CN1309505A - 动图象译码方法,动图象译码装置以及程序记录媒体 - Google Patents

Abstract

译码单元,在设定较早VOP显示时刻的先行VOP的数据比设定较晚VOP显示时刻的后续VOP的数据延迟输入时,可以从先行VOP的数据开始恢复译码处理,防止译码图象的图象品质恶化传播。具有:存储VOP数据的缓冲存储器206;将接收VOP的显示时刻与从缓冲存储器206最后输出到译码单元102的VOP数据的显示时刻Td′进行比较的比较部204。在排列变更单元101,当先行VOP的数据迟于后续VOP的数据,而且在其送出时刻以后接收时,将先行VOP到应在该时刻显示的显示对象VOP的数据作为视频流VOPstr输出到译码单元102。

Description

动图象译码方法，动图象译码装置以及程序记录媒体

本发明涉及动图象译码方法、动图象译码装置以及程序记录媒体，特别是涉及通过通信电路传送对动图象数据进行编码得到的编码数据流时，减少由于通信电路的利用状况和对于通信线路错误的数据流再送等引起的数据流延迟对译码图象的不好影响的动图象译码方法和动图象译码装置，以及存储用软件实现该动图象译码方法的图象译码程序的程序记录媒体。

近年来，迎来了对声音、图象、其他表现媒体进行统一处理的多媒体时代，将已往的信息媒体即报纸、杂志、电视、无线电收音机、电话等的信息传达给人的手段，已经被采纳作为多媒体的对象。一般来说，所谓多媒体，即同时相关连地显示的不仅是文字，还有图形、声音特别是图象等，然而，为了将上述已有的信息媒体作为多媒体的对象，用数字形式显示该信息则是必须条件。

当将上述各信息媒体具有的信息量作为数字信息量进行估计时，文字的信息量(平均1文字)是1～1字节，电话质量的声音是平均1秒64Kbits，现行电视接收质量的动画必须是平均1秒100Mbits以上的信息量，在上述电话和电视等信息媒体中原封不动地处理数字形式的庞大信息是不现实的。例如，电视电话使用具有64Kbps～1.5Mbps的传送速度的综合业务数字网(ISDN:Integrated Services Digital Network)，已经实用化了，然而，将由电视摄像机得到的图象信息作为数字数据，不可能仍用ISDN传送。

因此，必须使用信息压缩技术，例如，在电视电话的情况下，使用ITU-T(国际电气通信联合，电气通信标准化部门)的国际标准化H.261和H.263标准的动画压缩技术。另外，用MPEG-1标准的信息压缩技术，可将声音信息与图象信息一起存储到通常的音乐用CD(激光盘)中。

所谓MPEG(Moving Picture Experts Group)，是有关动画数据的压缩处理的国际标准，MPEG-1是动画数据压缩到1.5Mbps，也就是将电视信号信息压缩到约100分之一的标准。另外，由于将MPEG-1标准作为对象的传送速度主要被限制在约1.5Mbps，因此使用可满足高图象品质要求的标准化MPEG-2，动画数据被压缩在2～15Mbps。

当前，通过推进MPEG-1、MPEG-2和动画数据压缩处理标准化的作业群(ISO/IEC JTC1/SC29/WG11)，使以物体单位的图象数据的编码和图象数据的操作成为可能，在多媒体时代实现必要的新功能的MPEG-4也正在标准化。MPEG-4当初是以低位速度的编码处理的标准化为目标，而现在标准化的对象则扩展到与交替图象对应的高位速度的更通用的编码处理。

MPEG-4的特征之一是具有同时对与多个图象系列(物体)对应的图象数据进行编码并传送的结构。该结构可以通过多个物体的合成，构成1个动图象。在该结构中，例如可将前景和背景作为另外的图象系列(物体)处理，在各个图象系列可以分别变更帧频率、图象品质、或者位速度等。而且，可在多画面的显示领域上按水平或者垂直方向排列显示多个图象系列，可以提取并扩大显示用户所希望的图象系列。

对于没有背景形状的物体的编码处理，与MPEG-2一样，即为仅把显示物体象素值的象素值信号作为图象数据进行编码的一般编码处理。对于具有前景形状的物体的编码处理，要进行不仅把显示物体象素值的象素值信号而且把显示物体形状的形状信号同时作为图象数据进行编码的编码处理。

在MPEG-2和MPEG-4中，各图象系列的编码处理是在构成该图象系列的每个画面(MPEG-2是帧，MPEG-4是与VOP对应)进行，而对于一部分画面的编码处理，则是对与作为编码处理对象的画面(对象画面)对应的图象数据，与从已完成编码处理的画面(已处理画面)对应的图象数据得到的预测数据的差分数据进行编码的差分编码处理(画面间预测编码处理)。

由于有形状的物体其形状和大小时刻在变化，则在对应于MPEG-4的编码处理中，形状信号和象素值信号的编码算法依存于已处理画面的物体形状。因此，MPEG-4对应的编码处理，与处理如MPEG-2对应的编码处理的画面的形状和大小不变化的图象数据比较，在编码数据流的传送错误方面减弱了，而利用画面间的相关的图象修复和图象处理等的图象修整变得困难。换句话说，在MPEG-4对应的译码处理系统中，当发生编码数据流的传送线路错误时，将会产生译码图象严重的图象品质恶化。

在MPEG-4中，如上所述，可由多个图象系列(物体)构成1个动图象，1个动图象的各画面为帧，与1个图象系列的各画面为VOP(Video Object Plane图象对象平面)是有区别的，当1个动图象由1个图象系列构成时，帧与VOP一致。

以下，具体说明MPEG-4对应的译码处理系统。

一般来说，在数据的传送线路(通信电路)中，由于作为噪声和辐凑对策的数据再送等将引起数据的传送延迟，则由对图象数据进行编码并输出编码数据流的动图象编码装置和传送编码数据流的动图象传送装置等送出的编码数据流，其构成该编码数据流的位流顺序(发送时的数据流顺序)与接收侧接收时的数据流顺序(接收时的数据流顺序)不同。具体地说，与上述编码数据流的一部分的VOP对应的数据流(以上称VOP数据)的序号，在发送时的顺序与接收时的序号不同。

在编码数据流的发送侧，例如，将编码数据流细分，按被称为分组的各传送单位传送时，把显示该发送顺序的号码信息赋予各分组。这样，在编码数据流的接收侧，根据赋予各分组的号码信息，排列变更接收的编码数据流的VOP数据，可使其顺序与发送顺序一致。

图30是说明已有的动图象译码装置的方框图。

动图象译码装置1000接收构成1个动图象的多个物体对应的编码数据流Vin，对各个物体对应的编码数据流，进行排列变更其VOP数据的处理，此后，再对编码数据流Vin进行译码处理以及各物体的译码图象数据的合成等。另外，各物体的编码数据流Vin中的各VOP数据，在发送侧赋予了指示在接收侧显示该VOP数据的时刻(VOP显示时刻)的信息。

也就是说，动图象译码装置1000具有：排列变更单元1001，从发送侧接收所定物体对应的编码数据流Vin，对该编码数据流中的各VOP对应的数据流(VOP数据)进行排列变更处理，使其顺序与发送侧的VOP数据的顺序一致，并将已进行了该排列变更处理的编码数据流Vin作为视频数据流VOPstr输出；译码单元1002，对该视频数据流VOPstr，必要时参照参照图象数据VOPref进行译码处理，制成译码图象数据VOPout。并且，动图象译码装置1000还具有视频存储器1003，记录来自上述译码单元1002的译码图象数据VOPout，同时，将记录的译码图象数据VOPout中的上述译码处理时必要的图象数据，作为上述参照画面数据VOPref供给译码单元1002。

排列变更单元1001具有：暂时存储来自上述发送侧的编码数据流Vin的缓冲存储器1101；内装定时器并产生构成由接收侧指定的动图象的各画面的显示时刻(指定显示时刻)Td的显示时刻输出部分1102。根据上述指定显示时刻Td，将特定的VOP数据作为视频数据流VOPstr，从上述缓冲存储器1101输出到上述译码单元1102。上述特定的VOP数据是作为编码数据流Vin存储在上述缓冲存储器1101的VOP数据，也是其VOP显示时刻比已经作为视频数据流VOPstr输出到译码单元的VOP数据的VOP显示时刻延迟而比上述指定显示时刻Td早到的VOP数据。上述译码单元1002具有译码器1103，对进行了利用画面内象素值相关的画面内编码处理的VOP数据，进行不参照参照图象数据VOPref的译码处理；对进行了利用画面间的象素值相关的画面间预测编码处理的VOP数据，进行参照参照图象数据VOPref的译码处理，生成构成对应物体的各VOP的译码图象数据VOPout。

在图30中，上述排列变更单元1001、译码单元1002、以及视频存储器1003仅显示对应于1个物体，而该动图象译码装置1000的各上述排列变更单元1001、译码单元1002、以及视频存储器1003至少具有构成上述动图象的同时显示的物体的最大数。同时显示的物体的最大数是在1个动图象中出现的所有的物体数以下。另外，动图象译码装置中的排列变更单元不必要全都有显示时刻输出部分1102，至少与1个物体对应的排列变更单元具有显示时刻输出部分1102就可以了。这时，将来自具有显示时刻输出部分1102的排列变更单元的指定显示时刻Td，供给没有显示时刻输出部分1102的排列变更单元的缓冲存储器1101。

动图象译码装置1000具有：视频合成单元1004，根据上述指定显示时刻Td，将选择与VOP显示时刻最接近该指定显示时刻Td的VOP对应的译码图象的显示画面选择信号VOPsel，输出到对应于各物体的视频存储器，再从对应于该各物体的视频存储器，将与VOP显示时刻最接近该指定显示时刻Td的VOP对应的译码图象数据作为显示图象数据VOPdsp读出，对从对应于各VOP的视频存储器读出的显示图象数据进行合成，制成合成图象数据Vout；根据上述合成图象数据Vout，显示构成动图象的1场面图象的显示单元1005。在显示单元1005，通过反复进行在指定显示时刻Td显示1场面图象的处理，可将上述动图象显示出来。

下面说明已有的动图象译码装置的动作。

当与构成1个动图象的多个物体对应的编码数据流Vin输入到该动图象译码装置1000时，对应于各物体的编码数据流Vin顺序存储在对应于各物体的排列变更单元的缓冲存储器中。对编码数据流的排列变更处理、编码数据流的译码处理、向译码图象数据的视频存储器的存储处理，对各物体是共同的，因此对于这些处理，仅就1个物体予以说明。

在上述缓冲存储器1101中存储输入的所有编码数据流，直到存储的数据量达到缓冲器容量。此后，当再输入编码数据流时，仅相当于输入的编码数据流的数据量的部分，按照向缓冲存储器的输入顺序较早的顺序，消去存储在缓冲存储器1101中的编码数据流。

在内装定时器的显示时刻输出部分1102，在接收侧，产生构成动图象的各画面的显示时刻(指定显示时刻)Td，显示指定显示时刻Td的信息被输出到缓冲存储器1101。在缓冲存储器1101，根据指定显示时刻Td，选择上述缓冲存储器1101中存储的所定VOP数据，被选择的VOP数据作为视频数据流VOPstr输出到译码单元1002。

这时选择的所定VOP数据是其VOP显示时刻早于指定显示时刻Td，而迟于在该时刻已经输出到译码单元1002的VOP数据中的最后VOP数据的VOP显示时刻。在排列变更单元1001中，进行VOP数据的排列变更，以使接收的编码数据流中的VOP数据的顺序(以下称接收侧VOP顺序)与从发送侧输出的编码数据流中的VOP数据的顺序(发送侧VOP顺序)一致。也就是说，即使在发送侧VOP顺序由于通信线路等的状况与接收侧VOP顺序不同，VOP数据以与发送侧VOP顺序不同的顺序输入缓冲存储器1101时，来自缓冲存储器1101的VOP数据也能以与发送侧VOP顺序一致的正确VOP顺序，作为视频数据流VOPstr输出到译码单元1002。

在译码单元1002，输入的视频数据流VOPstr由译码器1103译码，作为已经过译码处理的数据，输出各VOP的译码图象数据VOPout。从译码单元1002输出的译码图象数据VOPout一次存储在视频存储器1003中。当输入的视频数据流VOPstr是进行了画面内编码处理的内部VOP对应的VOP数据时，则在译码单元1002，对上述视频流VOPstr，进行不参照视频存储器1003中存储的已经译码的数据的画面内译码处理。当输入的视频数据流VOPstr是与进行了画面间预测编码处理的中间VOP对应的VOP数据时，则在译码单元1002，对上述视频数据流VOPstr，进行参照视频存储器1003中存储的已经译码的数据(参照图象数据)VOPref的画面预测译码处理。

显示上述显示时刻输出部分1006的指定显示时刻Td的信息，被供给视频合成单元1004。在视频合成单元1004，根据该指定显示时刻Td，将用于选择VOP显示时刻最接近该指定显示时刻Td的VOP译码图象数据的显示画面选择信号VOPsel输出到视频存储器1003。将VOP显示时刻设定在最接近指定显示时刻Td的VOP译码图象数据作为显示图象数据VOPdsp，从视频存储器1003供给视频合成单元1004。这儿，作为上述显示图象数据VOPdsp对应于各物体，从对应于各物体的视频存储器供给视频合成单元1004。

在将来自视频合成单元1004的显示画面选择信号VOPsel输入到视频存储器1003的时刻，在视频存储器1003存储的译码图象数据已经输出到视频合成单元1004的情况下，或者在视频存储器1003未存储译码图象数据的情况下，对于来自上述视频合成单元1004的显示画面选择信号VOPsel，不输出译码图象数据。

在视频合成单元1004，对各物体的显示图象数据VOPdsp进行合成处理，经该合成处理得到的合成图象数据Vout被输出到显示单元1005。该合成图象数据Vout是对应于动图象的1场面(1画面)的图象数据。在显示单元1005，根据合成图象数据Vout，显示动图象的各场面的图象。在显示单元1005，根据指定显示时刻Td，反复进行显示各场面图象的处理，显示出上述动图象。

图31是说明已有动图象译码装置的编码数据流处理流程的图。这里，显示对1个图象系列(物体)的编码数据流的处理。

首先，如图31(a)所示，对接收的编码数据流中的VOP数据的顺序是与发送侧的VOP顺序一致的正确顺序的情况予以说明。

在未因传送线路延迟而使编码数据流欠缺的情况下，作为编码数据流Vin，例如VOP1～VOP4的VOP数据，按照在各个VOP设定的VOP显示时刻T1～T4(T1＜T2＜T3＜T4)早到的顺序输入到上述动图象译码装置1000。

这些VOP数据在输入到排列变更单元1001的缓冲存储器1101以后经过一定时间(延迟时间Bdt1)，根据来自显示时刻输出部分1102的指定显示时刻Td，VOP1～VOP4的VOP数据作为视频数据流VOPstr1～VOPstr4输出到译码单元1002。在上述缓冲存储器1101的VOP数据的延迟时间Bdt1根据上述缓冲存储器1101的容量决定，上述缓冲存储器1101的容量越大，则该VOP数据的延迟时间越长。这时，上述缓冲存储器1101的容量，将对应于2个VOP的VOP数据作为存储可能的容量。

在译码单元1002，各VOP的视频数据流VOPstr1～VOPstr4将按照其VOP显示时刻T1～T4的顺序被译码。各VOP的译码图象数据暂时记录在视频存储器1003，根据来自视频合成单元1004的显示画面选择信号VOPsel，各VOP的译码图象数据作为显示图象数据VOPdsp1～VOPdsp4输出到视频合成单元1004。

下面如图31(b)所示，对接收的编码数据流中的VOP数据的顺序与发送侧的VOP顺序不一致的情况予以说明。

当编码数据流中的VOP数据流的顺序不正确时，例如VOP1～VOP4的VOP数据作为编码数据流Vin按照到达动图象译码装置1000的顺序，即VOP1、VOP2、VOP3、VOP4的顺序输入到上述动图象译码装置1000的排列变更单元1001。

这些VOP数据在输入到排列变更单元1001的缓冲存储器1101以后经过一定时间(延迟时间Bdt2)，根据显示时刻输出部分1102的指定显示时刻Td，VOP1～VOP4的VOP数据作为视频数据流VOPstr1～VOPstr4输出到译码单元1002。这时，在VOP2的VOP数据按照指定显示时刻Td从排列变更单元1001输出的时刻，VOP2的VOP数据被存储在缓冲器1101中，因此，在VOP3的VOP数据后面到达动图象译码装置1000的VOP2的VOP数据，在VOP3的VOP数据之前输出到译码单元1002。上述缓冲存储器1101的容量，将对应于3个VOP的VOP数据作为存储可能的容量。

在译码单元1002，各VOP的视频数据流VOPstr1～VOPstr4按照该VOP显示时刻T1～T4的顺序被译码。各VOP的译码图象数据暂时记录在视频存储器1003中，根据来自视频合成单元1004的显示画面选择信号VOPsel，各VOP的译码图象数据作为显示图象数据VOPdsp1～VOPdsp4输出到视频合成单元1004。

然而，由于上述排列变更单元1001的缓冲存储器1101中可能存储的VOP数据的数据量有一定的限度。则传送线路延迟在由其引起的VOP数据到顺序的混乱是可由排列变更单元1001吸收的程度时，没有问题，但当产生不能吸收上述到达顺序混乱的大的传送线路延迟时，将使译码动作产生大的故障。

图32是已有动图象译码装置的编码数据流处理流程图。这里，显示VOP2的VOP数据相对于其他VOP的VOP数据来说不可能用排列变更单元1001进行VOP数据的排列变更的延迟到达动图象译码装置的情况。换句话说，这时是VOP2的VOP数据的到达时刻比原来到达时刻的延迟在缓冲存储器1101的延迟时间以上的情况。

在VOP数据以正确的输入定时输入到排列变更单元1001时，再以从该正确输入定时开始经过上述缓冲延迟时间以后的输出定时，从该排列变更单元1001输出到译码单元1002。因此，即使在VOP数据稍许延迟到达动图象译码装置1000的情况下，只要延迟到达的VOP数据在其输出定时以前输入到上述排列变更单元1001，即可正常输出到译码单元1002。

但是，如图32所示，在VOP2的VOP数据的传送延迟很大的情况下，在将VOP2的VOP数据输出到译码单元1002的时刻(VOP2的输出定时)，将会产生VOP2的VOP数据未能存储到排列变更单元1001的缓冲存储器1101的状况。这时，VOP2的VOP数据不能在译码单元1002中译码。

此后，在将VOP3的VOP数据输出到译码单元1002的时刻(VOP3的输出定时)，将存储在排列变更单元1001的缓冲存储器1101的VOP3的VOP数据输出到译码单元1002。在译码单元1002，紧接着VOP1的VOP数据译码处理，即进行VOP3的VOP数据的译码处理。

在将VOP4的VOP数据输出到译码单元1002的时刻(VOP4的输出定时)，即使VOP2的VOP数据到达了动图象译码装置1000,VOP2的VOP数据也被废弃，仅将VOP4的VOP数据输出到译码单元1002。这是因为不可能在VOP3的VOP数据的译码后再对译码顺序在VOP3的VOP数据之前的VOP2的VOP数据进行译码。在译码单元1002,VOP4的VOP数据的译码处理是接着上述VOP3的VOP数据的译码处理进行的。

另外，在视频存储器1003，存储来自上述译码单元1002的VOP1、VOP3、VOP4的译码图象数据，在应该显示各VOP的时刻，各VOP的译码图象数据作为显示图象数据VOPdsp，从视频存储器1003输出到视频合成单元1004。但是，由于VOP2的VOP数据(视频数据流VOPstr2)未输入到译码单元1002，则在应该显示VOP2的时刻，作为VOP2的译码图象数据，VOP1的译码图象数据(显示图象数据VOPdsp1)从视频存储器1003输出到视频合成单元1004。

这种情况下，在对VOP3的VOP数据的画面间译码处理时，由于不可能参照VOP2的译码图象数据，则VOP3的译码图象的图象品质将恶化。而且，在对VOP4的VOP数据的画面间译码处理时，由于参照了图象品质恶化的VOP3的译码图象数据，则VOP4的译码图象的图象品质也恶化了。

这样，在已有的动图象译码装置中，在由于传送线路延迟显著延迟接收到编码数据流的一部分(即特定的VOP数据)的情况下，与延迟接收到的VOP数据的VOP的VOP显示时刻比较，VOP显示时刻延迟的全部VOP的译码图象的图象品质恶化了，这是存在的问题。

另外，在已有的动图象译码装置1000中，使排列变更单元1001的缓冲存储器1101的存储容量增大，则作为编码数据流Vin，将各VOP的VOP数据输入到排列变更单元1001到对应的VOP数据作为视频数据流VOPstr从排列变更单元1001之后输出的时间将变大，因此可将显著延迟到达的VOP的VOP数据，作为以正常顺序的视频数据流VOPstr输出。

然而，在这种情况下，将作为编码数据流Vin的各VOP的VOP数据输入到动图象译码装置1000之后到显示各VOP的译码图象的延迟时间全体变大。其结果是特别对于将摄影的图象发送到接收侧终端进行实时显示的监视系统等，由于从编码数据流输入到译码图象显示的应答时间增大，将损害作为监视系统的功能，这也是出现的问题。

另外，排列变更单元1001的缓冲存储器1101存储容量的增加，也将产生与消耗电力的增加和机器成本增加有关的问题。

鉴于上述问题，本发明的目的是提供一种即使在对动画数据进行编码得到的编码数据流的一部分显著延迟接收到的情况下，虽然与延迟接收到部分对应的译码图象的图象品质恶化，但可以防止在以后显示的译码图象中依次继承的动图象译码方法和动图象译码装置，以及存储用于实施动图象译码方法的程序的程序记录媒体。

本发明(权利要求1)的动图象译码方法是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码方法，包括：接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻早晚顺序，在各图象对应的送出时刻进行送出接收的各图象的编码数据的排列变更处理的排列变更步骤；对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码步骤；上述排列变更步骤为，当比在迟于第1送出时刻的第2送出时刻延迟接收到应在第1送出时刻送出的显示图象的编码数据时，送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的显示图象的编码数据的步骤。

本发明(权利要求2)是在权利要求1记载的动图象译码方法中，将上述排列变更步骤作为：在该显示构成上述动图象的显示顺序是最后的最终显示图象的时刻以前，接收到构成上述动图象的显示图象的编码数据时，送出接收到的显示图象的编码数据，在应该显示上述最终显示图象的时刻以后，接收到构成上述动图象的显示图象的编码数据时，废弃接收到的显示图象的编码数据的步骤。

本发明(权利要求3)是在权利要求1记载的动图象译码方法中，将上述排列变更步骤作为：比在迟于第1送出时刻的第2送出时刻延迟接收到应在第1送出时刻送出的显示图象的编码数据时，在可能送出其个别时刻是在从第1送出时刻到第2送出时刻的范围内的时刻的全部显示图象的编码数据的情况下，送出该全部显示图象的编码数据，在不可能送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的全部显示图象的编码数据的情况下，废弃接收到的显示图象的编码数据的步骤。

本发明(权利要求4)的动图象译码方法是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码方法，包括：接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，进行送出接收的各图象的编码数据的排列变更处理的排列变更步骤；对由上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码步骤，将上述译码步骤作为：当经上述排列变更处理，送出了正常的译码处理是不可能的显示图象的编码数据时，则从该编码数据的送出时刻开始，经过此后的上述排列变更处理，直到送出了正常的译码处理是可能的显示图象的编码数据之间，中断对显示图象的编码数据的译码处理的步骤。

本发明(权利要求5)是在权利要求4记载的动图象译码方法中，将上述译码步骤为：根据用户的操作信号，决定是否进行在送出上述正常的译码处理是不可能的显示图象的编码数据时的译码处理的中断的步骤。

本发明(权利要求6)是在权利要求4记载的动图象译码方法中，将上述译码步骤作为：由上述排列变更处理送出的显示图象的编码数据，包含判定是否含有指示显示图象的形状的形状信息的形状判定步骤，在上述显示图象的编码数据包含形状信息的情况下，当送出了上述正常的译码处理是不可能的显示图象的编码数据时，从该编码数据的送出时刻开始，直到此后送出了正常的译码处理是可能的显示图象的编码数据之间，中断对上述编码数据的译码处理，在上述显示图象的编码数据不包含形状信息的情况下，由上述排列变更处理送出的显示图象的编码数据，不管上述正常的译码处理是否可能，对上述编码数据继续进行译码处理的步骤。

本发明(权利要求7)的动图象译码装置是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码装置，包括：数据排列变更部分，接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，输出接收的各图象的编码数据；译码部分，对由上述数据排列变更部分送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据；显示图象输出部分，将从该译码部分输出的各图象对应的译码图象数据，作为在所定定时进行各图象的显示的显示图象数据输出，使上述数据排列变更部分具有如下功能：在迟于第1送出时刻的第2送出时刻延迟接收到应在第1送出时刻送出的显示图象的编码数据时，送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的显示图象的编码数据。

本发明(权利要求8)是在权利要求7记载的动图象译码装置中，使上述显示图象输出部分具有如下功能：当由上述数据排列变更部分送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的显示图象的编码数据时，在送出的该编码数据的显示图象中，仅将其个别时刻最接近第2送出时刻的显示图象的译码图象数据作为显示图象数据输出。

本发明(权利要求9)的动图象译码装置是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码装置，具有：排列变更部分，接收作为来自发送侧的编码数据的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，送出接收的各图象的编码数据；译码部分，对由上述数据排列变更部分输出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据；显示图象输出部分，将从该译码部分输出的各图象对应的译码图象数据，作为在所定定时进行各图象的显示的显示图象数据输出，使上述译码部分具有以下功能：当从数据排列变更部分送出了正常的译码处理是不可能的显示图象的编码数据时，从该编码数据的送出时刻到此后由数据排列变更部分送出了正常的译码处理是可能的显示图象的编码数据之间，中断对显示图象的编码数据的译码处理。

本发明(权利要求10)是在权利要求9记载的动图象译码装置中，使上述显示图象输出部分具有以下功能：在上述译码部分中断对显示图象的编码数据的译码处理期间，将最后由上述译码部分进行译码处理的图象译码数据作为显示图象数据输出。

本发明(权利要求11)的程序存储媒体是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序记录媒体，上述程序的构成如下：排列变更程序，计算机接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻进行送出接收的各图象的编码数据的排列变更处理，在该排列变更处理时，计算机比在迟于第1送出时刻的第2送出时刻延迟接收到应在第1送出时刻送出的显示图象的编码数据的情况下，用于计算机送出其个别时刻是从第1送出时刻到第2送出时刻范围内的时刻的显示图象的编码数据；译码程度，用于计算机对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据。

本发明(权利要求12)的程序存储媒体是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序存储媒体，上述程序的构成如下：计算机接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，进行送出接收的各图象的编码数据的排列变更处理的排列变更程序；计算机对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据，在该译码处理时，当经上述排列变更处理，送出了正常的译码处理是不可能的显示图象的编码数据时，从该编码数据的送出时刻到此后经排列变更处理送出正常的译码处理是可能的显示图象的编码数据的期间，用于计算机中断对显示图象的编码数据的译码处理的译码程序。

本发明(权利要求13)的动图象译码方法是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码方法，包含：排列变更步骤，接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，进行送出接收的各图象的编码数据的排列变更处理；译码步骤，对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据，将上述排列变更步骤作为：当在该所要求的送出时刻未接收到应在所要求的送出时刻送出的显示图象的编码数据时，则在接收到在上述所要求的送出时刻应送出的显示图象的编码数据以前，停止显示图象的编码数据的送出，在接收到在上述所要求的送出时刻应送出的显示图象的编码数据之后，再恢复显示图象的编码数据的送出的步骤。

本发明(权利要求14)的动图象译码方法是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码方法，包含：排列变更步骤，接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，进行送出接收的各图象的编码数据的排列变更处理；译码步骤，对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据，将上述排列变更步骤作为：当在该所要求的送出时刻未接收到应在所要求的送出时刻送出的显示图象的编码数据时，则在满足所定条件以前，或者在接收到在上述所要求的送出时刻应送出的显示图象的编码数据以前，停止显示图象的编码数据的送出，在满足上述所定条件以后，或者在接收到在上述所要求的送出时刻应送出的显示图象的编码数据以后，再恢复显示图象的编码数据的送出的步骤。

本发明(权利要求15)是在权利要求14记载的动图象译码方法中，将上述所定条件定为：在上述排列变更处理时，存储接收到的各图象的编码数据流的缓冲存储器的残留存储容量在所定值以下。

本发明(权利要求16)是在权利要求14记载的动图象译码方法中，将上述所定条件定为：在上述排列变更处理时，停止显示图象的编码数据的送出的时间在所定值以上。

本发明(权利要求17)的动图象译码装置是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码装置，具有：数据排列变更部分，接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻，输出接收的各图象的编码数据；译码部分，对由上述数据排列变更部分送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据；显示图象输出部分，将该译码部分输出的各图象对应的译码图象数据，作为在所定定时进行各图象的显示的显示图象数据输出，使上述数据排列变更部分具有如下功能：当在该所要求的送出时刻未接收到应在所要求的送出时刻送出的显示图象的编码数据时，则在接收到在上述所要求的送出时刻应送出的显示图象的编码数据以前，停止显示图象的编码数据的送出，在接收到在上述所要求的送出时刻应送出的显示图象的编码数据以后，再恢复显示图象的编码数据的送出。

本发明(权利要求18)的动图象译码装置是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码的动图象译码装置，具有：数据排列变更部分，接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻，输出接收的各图象的编码数据；译码部分，对由上述数据排列变更部分送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据；显示图象输出部分，将该译码部分输出的各图象时应的译码图象数据，作为在所定定时进行各图象的显示的显示图象数据输出，使上述数据排列变更部分具有如下功能：当在该所要求的送出时刻未接收到应在所要求的送出时刻送出的显示图象的编码数据时，则在满足所定条件以前，或者在接收到在上述所要求的送出时刻应送出的显示图象的编码数据以前，停止显示图象的编码数据的送出，在满足上述所定条件以后，或者在接收到在上述所要求的送出时刻应送出的显示图象的编码数据以后，再恢复显示图象的编码数据的送出。

本发明(权利要求19)是在权利要求18记载的动图象译码装置中，使上述显示图象输出部分具有如下功能：由上述数据排列变更部分停止向译码部分送出显示图象的编码数据后再恢复显示图象的编码数据的送出时，对一定期间内显示图象的显示，应使由上述送出停止产生的显示图象的显示定时的延迟每当图象显示时较小。

本发明(权利要求20)的程序存储媒体是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序存储媒体，上述程序的构成如下：排列变更程序，计算机接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻进行送出接收的各图象的编码数据的排列变更处理，在该排列变更处理时，计算机在该所要求的送出时刻未能接收到应在所要求的送出时刻送出的显示图象的编码数据时，计算机在接收到应在上述所要求的送出时刻送出的显示图象的编码数据以前，停止显示图象的编码数据的送出，在接收到应在上述所要求的送出时刻送出的显示图象的编码数据以后，再恢复显示图象的编码数据的送出；译码程序，计算机对由上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据。

本发明(权利要求21)的程序存储媒体是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序存储媒体，上述程序的构成如下：排列变更程序，计算机接收作为来自发送，侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻进行送出接收的各图象的编码数据的排列变更处理，在该排列变更处理时，计算机在所要求的送出时刻未能接收到应在所要求的送出时刻送出的显示图象的编码数据时，计算机在满足所定条件以前或者在接收到应在上述所要求的送出时刻送出的显示图象的编码数据以前，停止显示图象的编码数据的送出，在满足上述所定条件以后或者在接收到应在上述所要求的送出时刻送出的显示图象的编码数据以后，再恢复显示图象的编码数据的送出；译码程序，计算机对由上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据。

图1是说明本发明实施例1的动图象译码装置100的方框图。

图2是说明本发明实施例1的动图象译码装置100的编码数据流的处理流程图。

图3是说明构成上述实施例1的动图象译码装置100的排列变更单元101的方框图。

图4是显示上述实施例1的排列变更单元101动作的流程图。

图5是说明构成上述实施例1的动图象译码装置100的译码单元102的方框图。

图6是显示上述实施例1的译码单元102动作的流程图。

图7是说明上述实施例1的动图象译码装置100的编码数据流处理的其它例子的图形。

图8是说明构成上述实施例1的动图象译码装置100的排列变更单元其他例子(排列变更单元101a)的方框图。

图9是显示上述实施例1的排列变更单元101a动作的流程图。

图10是说明本发明实施例2的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

图11是显示上述实施例2的排列变更单元101b动作的流程图。

图12是说明上述实施例2的动图象译码装置动作的图形，显示6个图象系列(物体A～F)显示的时间带(图(a))、以及由各排列变更单元(译码单元)处理各图象系列的编码数据流的时间带。

图13是说明本发明实施例3的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元101c。

图14是显示实施例3的排列变更单元101c动作的流程图。

图15是说明本发明实施例4的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元101d。

图16是显示实施例4的排列变更单元101d动作的流程图。

图17是说明本发明实施例5的动图象译码装置的方框图，显示构成该动图象译码装置的译码单元102e。

图18是显示实施例5的译码单元102e动作的流程图。

图19是说明本发明实施例6的动图象译码装置的方框图，显示构成该动图象译码装置的译码单元102f。

图20是显示实施例6的译码单元动作的流程图。

图21是说明本发明实施例7的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元101g。

图22是显示实施例7的排列变更单元101g动作的流程图。

图23是说明本发明实施例8的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元101h。

图24是显示实施例8的排列变更单元101h动作的流程图。

图25是说明本发明实施例9的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元101i。

图26是说明实施例9效果的图形，显示与延迟VOP(i)连续的后续VOP(i+1)～(i+3)的实际显示时刻Td0逐渐接近原来显示时刻Td的情况(图(a))，以及与延迟VOP(i)连续的后续VOP(i+1)～(i+3)在原来显示时刻(指定显示时刻Td)显示的情况(图(b))。

图27是说明本发明实施例10的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元10是101j。

图28是显示实施例10的排列变更单元101j动作的流程图。

图29是说明存储用计算机系统实现上述各实施例的动图象译码装置的译码程序的记录媒体(图29(a)(b))，以及上述计算机系统(图(c))的图。

图30是说明已有动图象译码装置的方框图。

图31是说明已有动图象译码装置的编码数据流的处理流程的图，显示接收的编码数据流中VOP数据的顺序正确的情况(图(a))，以及接收的编码数据流中VOP数据的顺序不正确的情况(图(b))。

图32是说明已有动图象译码装置中编码数据流的处理流程的图。

以下，对对本发明的实施例予以说明。

图1是说明本发明实施例1的动图象译码装置的图。

本实施例1的动图象译码装置100具有代替图30所示的已有动图象译码装置1000的排列变更单元1001的排列变更单元101，在设定较迟的VOP显示时刻的VOP(后续VOP)的VOP数据之后，接收到设定较早的VOP显示时刻的VOP(先行VOP)的VOP数据时，排列变更单元101输出从上述先行VOP到根据由该译码装置侧指定的指定显示时刻显示的显示对象VOP的VOP数据。这里，显示对象VOP是将其VOP显示时刻设定在指定显示时刻以前而且最接近指定显示时刻的VOP。上述先先VOP的VOP数据在后续VOP的VOP数据之后接收到的情况，严密地说具有两种情况，即：先行VOP的VOP数据与从排列变更单元101输出的送出时刻(换言之即在后级的单元101、104进行译码处理、合成处理等的时刻)相配合接收的第1种情况；先行VOP的VOP数据与从排列变更单元101输出的送出时刻比较，延迟接收的第2种情况。

然而，即使先行VOP的VOP数据在后续VOP的VOP数据之后接收到时，在先行VOP的VOP数据与其送出时刻相配合接收的第1种情况下，在排列变更单元101通过与已往的排列变更处理同样的通常排列变更处理，在后接收到的先行VOP的VOP数据也比在先接收到的后续VOP的VOP数据在先输出。因此，在单元101，不进行输出从上述先行VOP到根据由该译码装置侧指定的指定显示时刻显示的显示对象VOP的VOP数据的排列变更处理(实施例1的特有的排列变更处理)。

另一方面，有先行VOP的VOP数据比上述后续VOP的VOP数据数据延迟，并且，先行VOP的VOP数据比其送出时刻延迟接收的第2种情况下，通常，后续VOP的VOP数据数据已经从排列变更单元101送出。因此，在排列变更单元101，进行输出从上述先行VOP到根据由该译码装置侧指定的指定显示时刻显示的显示对象VOP的VOP数据的排列变更处理(实施例1的特有的排列变更处理)。

在以后各实施例的说明中，上述先行VOP的VOP数据在后续VOP的VOP数据数据之后接收的情况(或者时)，不是进行通常的排列变更处理的第1种情况(先行VOP的VOP数据与其送出时刻相配合接收的情况)，而是显示进行上述实施例1的特有的排列变更处理的第2种情况(先行VOP的VOP数据比其送出时刻延迟接收的情况)。

另外，本动图象译码装置100还具有代替已有动图象译码装置1000的译码单元1002的译码单元102，在中止含有差错的VOP数据的译码处理的同时，仅对设定了比已经译码的VOP所设定的VOP显示时刻延迟的VOP显示时刻的VOP的VOP数据进行译码。

并且，本动图象译码装置100与已有动图象译码装置1000同样，还具有记录经译码单元102的译码处理得到的译码画面数据VOPout的视频存储器103。

这里，排列变更单元101、译码单元102、以及视频存储器103，与已有的动图象译码装置1000同样，至少都按构成1个动图象的同时显示的图象系列(物体)的最大数设置，视频存储器103具有与已有动图象译码装置1000的视频存储器1003同样的构成。

本动图象译码装置100还具有：视频合成单元104，从与在该时刻显示的各物体对应的视频存储器(图1仅显示与1个物体对应的视频存储器103)，根据显示画面选择信号VOPsel，将上述各物体的译码图象数据VOPout作为显示图象数据VOPdsp读出，通过各物体的显示图象数据VOPdsp的合成，制成1个动图象的1场面图象数据的合成图象数据Vout；根据该合成图象数据Vout，将合成图象作为1个动图象的场面显示的显示单元105。

上述视频合成单元104是在将来自视频合成单元104的显示画面选择信号VOPsel输入到视频存储器103时刻存储在视频存储器103的译码图象数据，并将设定在最接近显示画面选择信号VOPsel显示的指定显示时刻Td的VOP显示时刻的VOP的译码图象数据输出到显示单元105。

本实施例1的动图象译码装置100的显示单元105具有与已有动图象译码装置1000的显示单元1005完全相同的构成。

以下说明其动作。

在本实施例1的动图象译码装置100中，当接收到与构成1个动图象的多个物体(图象系列)对应的编码数据流Vin时，对应于在该时刻显示的各物体的编码数据流Vin，顺序输入到与各物体对应的排列变更单元(图1仅显示与1个物体对应的排列变更单元101)。在以下的说明中，对编码数据流的排列变更处理、编码数据流的译码处理、以及向译码图象数据的视频存储器的存储处理，对于各物体是共同的，因此对这些处理，仅以一个物体予以说明。

在排列变更单元101,VOP数据在按各VOP设定的VOP显示时刻的序号输入的状态下，各VOP数据按输入到排列变更单元101的序号作为视频数据流VOPstr输出到译码单元102。另一方面，在排列变更单元101，当设定较早的VOP显示时刻的VOP(先行VOP)的VOP数据在设定较迟的VOP显示时刻的VOP(后续VOP)的VOP数据之后输入时，从先行VOP到显示对象VOP(VOP显示时刻在指定显示时刻以前最接近指定显示时刻的VOP)的VOP数据作为视频数据流VOPstr输出到译码单元102。

当上述视频数据流VOPstr输入到译码单元102时，在视频数据流VOPstr中包含的VOP数据是无缺陷的正常译码可能的正常VOP数据的情况下，在译码单元102，对视频数据流VOPstr中的各VOP数据顺序进行译码处理。另一方面，由于不存在参照图象数据等理由，在视频数据流VOPstr包含在显示图象中可能产生图象品质恶化的高缺陷VOP数据的情况下，在译码单元102，在正常VOP数据输入以前，中断对视频数据流VOPstr的缺陷VOP数据的译码处理。

缺陷VOP数据是越过设定较早的VOP显示时刻的VOP数据而输入到译码单元102的设定较迟的VOP显示时刻的VOP数据、包含传送差错等缺陷的VOP数据等。正常VOP数据是在先输入到译码单元102的设定较迟的VOP显示时刻的VOP数据之后输入的设定较早的VOP显示时刻的VOP数据、已进行了画面内编码处理的VOP(内部VOP)的VOP数据等。在中断对译码单元102的VOP数据的译码处理期间，与译码处理中断前已经进行了译码处理的VOP对应的译码图象数据VOPout，将从视频存储器103作为显示图象数据VOPdsp而输出。上述编码数据流Vin的排列变更处理、视频数据流VOPstr的译码处理、以及在视频存储器的译码图象数据VOPout的存储，都由与同时显示的多个物体分别对应的排列变更单元、译码单元、以及视频存储器进行。

在视频合成单元104，根据在排列变更单元101内部产生的指定显示时刻Td，用于选择VOP显示时刻最接近该指定显示时刻Td的VOP译码图象数据的显示画面选择信号VOPsel，输出到对应于各物体的视频存储器。这样，设定最接近指定显示时刻Td的VOP显示时刻的VOP译码图象数据作为显示图象数据VOPdsp，从各物体的视频存储器供给视频合成单元104。

在视频合成单元104，对从各物体的视频存储器读出的显示图象数据VOPdsp进行合成处理，经该合成处理得到的合成图象数据Vout被输出到显示单元105。该合成图象数据Vout是与动图象的1场面(1画面)对应的图象数据。在显示单元105，根据合成图象数据Vout，显示动图象的各场面的图象。也就是说，在显示单元105，根据指定显示时刻Td，反复进行显示各场面图象的处理，即可显示上述动图象。

下面，具体说明对上述VOP数据的排列变更处理和译码处理，以及从视频存储器的显示图象数据的读出处理。

图2是实施例1的动图象译码装置的编码数据流的处理流程图。

在动图象译码装置接收到的VOP数据，显示分别设定VOP显示时刻T1～T4(T1＜T2＜T3＜T4)的VOP1～VOP4的VOP数据。这时，VOP2的VOP数据相对于VOP3的VOP数据，不可能用排列变更单元101进行VOP数据的排列变更，而由动图象译码装置延迟接收。

这时，在排列变更单元101,VOP1的VOP数据输出到译码单元102以后，与VOP1的VOP数据连续的不是VOP2的VOP数据，而是VOP3的VOP数据输出到译码单元102。此后，从比VOP3的VOP数据延迟接收的VOP2的VOP数据到在该时刻接收的最后的VOP4的VOP数据，全部VOP数据都输出到译码单元102。

按这种顺序VOP数据输出到译码单元102时，在译码单元102，对VOP1的VOP数据进行译码处理后，检出比VOP2的VOP数据在先输入到译码单元102的VOP3的VOP数据为缺陷VOP数据，则对该VOP3的VOP数据不进行译码处理。然后，在VOP3的VOP数据输入后的VOP2和VOP4的VOP数据输入时刻，在译码单元102，进行对VOP2～VOP4的VOP数据的译码处理。由上述译码单元102进行VOP数据的译码处理时，经该译码处理得到的各VOP的译码图象数据VOPout顺序输出到视频存储器103，存储在该存储器中。

当译码单元102进行VOP数据的译码处理时，译码处理中断，由于没有新的VOP译码图象数据VOPout写入视频存储器103，则在译码单元102的译码处理中断期间，根据来自视频合成单元104的显示画面选择信号VOPsel,最后写入的VOP译码图象数据VOPout作为显示图象数据VOPdsp从视频存储器103输出。其结果是在VOP2和VOP3的译码图象显示的定时，根据VOP1的显示图象数据VOPdsp显示VOP1的译码图象。

另外，在译码单元102，当VOP2的VOP数据大大迟于VOP3的VOP数据时，则在从接收VOP3的VOP数据到接收VOP2的VOP数据期间，接收到内部VOP的VOP数据时，由该内部VOP进行译码处理。因此，当在该动图象译码装置100中作为编码数据流Vin，输入了一部分VOP的VOP数据完全消失的数据流时，在设定比VOP数据消失的VOP较迟的VOP显示时刻的内部VOP的VOP数据被输入时刻，再恢复VOP数据的译码处理。对于内部VOP的VOP数据的译码处理，不参照已经译码的VOP的图象数据地进行，根据由该译码得到的译码图象数据改写参照图象数据。这样，在译码单元102的译码处理避免了永久停止的原封不动的状态。

下面详细说明构成本实施例1的动图象译码装置100的排列变更单元101。

图3是说明实施例的动图象译码装置的排列变更单元101的方框图。

上述排列变更单元101具有：根据输入的编码数据流Vin，对接收到VOP数据的VOP(接收VOP)提取设定的VOP显示时刻Tin的第1时刻提取部201；内芷定时器(图中未示出)，根据编码数据流Vin中的基准时刻信息，顺序更新并输出在动图象译码装置100侧的VOP的显示定时指定的指定显示时刻Td的显示时刻输出部分202；在更新上述指定显示时刻Td时，输出更新前的指定显示时刻(更新前显示时刻)Td′的更新前时刻输出部分203；对上述VOP显示时刻Tin和更新前显示时刻Td′进行比较，输出根据比较结果的控制信号Cswl的比较部204。

上述排列变更单元101还具有：根据上述控制信号Cswl，选择VOP显示时刻Tin和更新前显示时刻Td′的其中之一，将选择的时刻作为译码恢复时刻Tstart输出的选择开关205；存储上述编码数据流Vin的缓冲存储器206。上述选择开关205，在提取的VOP显示时刻Tin是比更新前显示时刻Td′较早的时刻时，选择VOP显示时刻Tin，在VOP显示时刻Tin是比更新前显示时刻Td′较迟的时刻时，选择更新前显示时刻Td′。上述缓冲存储器206，在选择开关205选择VOP显示时刻Tin作为译码恢复时刻Tstart时，将VOP显示时刻设定在VOP显示时刻Tin和指定显示时刻Td之间的时刻的VOP的VOP数据作为视频数据流VOPstr输出，另一方面，在选择开关205选择更新前显示时刻Td′作为译码恢复时刻Tstart时，将VOP显示时刻设定在更新前显示时刻Td′和指定显示时刻Td之间的时刻的VOP的VOP数据作为视频数据流VOPstr输出。

下面详细说明排列变更单元101的动作。

图4是该排列变更单元101的动作流程图。

首先，与1个图象系列(物体)对应的编码数据流Vin被接收到排列变更单元101(步骤S101)，由第1时刻提取部201提取与作为该编码数据流Vin接收的VOP数据对应的VOP显示时刻(接收VOP的VOP显示时刻)Tin(步骤S102)。在显示时刻输出部分202，根据编码数据流Vin中包含的基准时刻信息，更新并输出显示动图象译码装置侧的VOP的显示定时的指定显示时刻Td(步骤S103)。在更新前时刻输出部分202，根据指定显示时刻Td的更新，输出其更新前的显示时刻Td′(步骤S104)。接收的VOP数据作为编码数据流Vin记录在缓冲存储器206中(步骤S105)。

然后，在第1比较部204，接收VOP的VOP显示时刻Tin与更新前显示时刻Td′比较(步骤S106)。当该比较结果是VOP显示时刻Tin比更新前显示时刻Td′较早时(Tin＜Td′)，则在缓冲存储器206存储的VOP数据中，其VOP显示时刻是在提取的VOP显示时刻Tin和指定显示时刻Td之间的时刻的VOP数据，将作为视频数据流VOPstr输出(步骤S108)。另一方面，当在上述步骤S106的比较结果是VOP显示时刻Tin在更新前显示时刻Td′以后时(Tin≥Td′)，则在缓冲存储器206存储的VOP数据中，其VOP显示时刻是在提取的更新前显示时刻Td′和指定显示时刻Td之间的时刻的VOP数据，将作为视频数据流VOPstr输出。也就是说，在这种情况下(Tin≥Td′)，在缓冲存储器206的还没有输出到译码单元102的VOP数据中，其VOP显示时刻比指定显示时刻早的VOP数据将作为视频数据流VOPstr输出(步骤S107)。

在排列变更单元101，通过上述步骤S101～S108的处理，当设定较早VOP显示时刻的VOP数据比设定较迟VOP显示时刻的VOP数据延迟接收到时，从VOP数据的接收延迟的VOP(延迟VOP)到在该时刻应显示的VOP(显示对象VOP)的VOP数据，重新输出到译码单元102。因此，在译码102，当接收到延迟VOP的VOP数据时，对从延迟VOP到在该时刻的显示对象VOP的VOP数据，顺序进行译码处理，则该时刻的显示对象VOP的图象显示，可图象品质不恶化地良好地进行。

下面详细说明构成本实施例1的动图象译码装置100的译码单元102。

图5是说明实施例1的动图象译码装置的译码单元102的方框图。

一般情况下，指定动图象译码装置的VOP显示定时的指定显示时刻Td的更新，在作为编码数据流接收的各VOP数据对应的VOP以全部显示的定时进行，VOP数据在各VOP的指定显示时刻Td的更新定时，从排列变更单元101送出到译码单元102，然而指定显示时刻Td的更新间隔较长，当显示单元105平均1秒显示可能的帧数少于平均1秒输入的VOP数据的数目时，在指定显示时刻Td的更新定时，多个VOP的VOP数据从排列变更单元101送出到译码单元102。在译码单元102，对在指定显示时刻Td的更新定时输入多个VOP的VOP数据时的各VOP数据的译码处理，与对在指定显示时刻Td的更新定时仅输入1个VOP的VOP数据时的VOP数据的译码处理同样进行。因此，在以下的说明中，对指定显示时刻Td的更新定时是1个VOP的VOP数据从排列变更单元101输出到译码单元102的定时的情况予以说明。

上述译码单元102具有：第2时刻提取部301，顺序接收来自上述排列变更单元101作为视频数据流VOPstr输出的VOP的VOP数据，提取在接收的VOP数据设定的VOP显示时刻Tin；差错检出部分302，对来自排列变更单元101的视频数据流VOPstr，进行检查是否没有由该视频数据流VOPstr的传送差错造成的数据欠缺的差错检出处理，在有数据欠缺时仅输出传送差错通知信号TRerr。

上述译码单元102具有：译码器303，对视频数据流VOPstr，根据需要进行将已译码的VOP的图象数据作为参照图象数据VOPref参照的译码处理并输出译码图象数据VOPout，与此同时，当在该译码处理过程中检出文法差错(语法差错)、意思差错(语义差错)等数据流差错时，输出译码差错通知信号STerr；差错通知部304，对上述传送差错通知信号TRerr和译码差错通知信号STerr的逻辑和进行运算，作为逻辑的信号输出差错通知信号Nerr。该差错通知信号Nerr是显示发生了上述传送差错和译码差错的至少其中之一或者任何差错也没有发生的信号。

上述译码单元102还具有：最大时刻保持部306，接收来自第2时刻提取部301的VOP显示时刻Tin，将最后进行正常译码处理的VOP的VOP显示时刻Tin作为已译码的VOP最大显示时刻Tmax予以保持306；第2比较部307，将作为译码处理对象的VOP(译码对象VOP)的VOP显示时刻Tin与保持在最大时刻保持部306的已译码VOP最大显示时刻Tmax比较，输出根据比较结果的控制信号Cpre。

最大时刻保持部306，在正确完成对译码对象VOP的译码处理时，若该译码对象VOP的VOP显示时刻Tin是比在该时刻保持的已译码最大时刻Tmax延迟的时刻，则将已译码最大时刻Tmax更新为译码对象VOP的VOP显示时刻Tin。另外，从第2比较部307输出的控制信号Cpre是用于通知译码对象VOP是否是已经进行了译码处理的已译码VOP的已译码VOP通知信号。

上述译码单元102还具有：第1通断开关305，设置在上述第2时刻提取部301和最大时刻保持部306之间，根据差错通知信号Nerr控制从上述第2时刻提取部301向最大时刻保持部306的VOP显示时刻Tin的供给；第2通断开关308，设置在上述译码器303的前段，根据差错通知信号Nerr和控制信号Cpre控制向该译码器303的视频数据流VOPstr的供给。

第1通断开关305，在发生上述传送差错和译码差错的至少其中之一时为非导通状态；在传送差错和译码差错的任何一个差错都没有发生时为导通状态。第2通断开关308，在发生上述传送差错和译码差错的至少其中之一时，或者译码对象VOP的VOP显示时刻Tin是保持在最大时刻保持部306的已译码最大时刻Tmax以前的时刻时(Tin≤Tmax)为非导通状态；当传送差错和译码差错的任何一个差错都没有发生，而且译码对象VOP的VOP显示时刻Tin是比保持在最大时刻保持部306的已译码最大时刻Tmax延迟的时刻时(Tin＞Tmax)为导通状态。

下面详细说明译码单元102的动作。

图6是该译码单元102的动作流程图。

首先，作为对应于1图象系列的视频数据流VOPstr，由译码单元102接收构成该图象系列的所定VOP的VOP数据(步骤S201)。接着，在第2时刻提取部301，提取接收的VOP数据(译码对象VOP的VOP数据)的VOP显示时刻Tin(步骤S202)。

在差错检出部分302，根据接收数据(视频数据流)，进行检查是否没有由于传送差错产生的数据欠缺的传送差错检出处理，在译码器303，根据视频数据流VOPstr，进行数据流差错(译码差错)的检出处理(步骤S203)。

当在步骤S203的差错检出处理结果是检出差错时，则根据输入了传送差错通知信号TRerr和译码差错通知信号STerr的差错通知部304的差错通知信号Nerr，第2通断开关308为非导通状态，将停止向视频数据流VOPstr的译码器303的供给。因此，中断了对译码器303的视频数据流VOPstr的译码处理。这时，根据来自差错通知部304的差错通知信号Nerr，第1通断开关305为非导通状态，译码对象VOP的VOP显示时刻Tin不供给最大时刻保持部306(步骤S204)。

另一方面，当在步骤S203的差错检出处理结果是未检出差错时，则根据上述差错通知信号Nerr，第1通断开关305为导通状态，在第2比较部307，译码对象VOP的VOP显示时刻Tin与保持在最大时刻保持部306的已译码最大时刻Tmax进行比较(步骤S205)。当该比较结果是VOP显示时刻Tin为已译码最大时刻Tmax以前的时刻时(Tin≤Tmax)，则根据来自在第2比较部307的显示译码对象VOP是已译码VOP的控制信号Cpre，第2通断开关308为非导通状态。在译码器303，停止向视频数据流VOPstr的译码器303的供给，中断了对视频数据流VOPstr的译码处理(步骤S204)。

当在步骤S205的比较结果是VOP显示时刻Tin为比已译码最大时刻Tmax延迟的时刻时(Tin＞Tmax)，则在最大时刻保持部306，已译码最大时刻Tmax被更新为译码对象VOP的VOP显示时刻Tin(步骤S206)。这时，根据来自第2比较部307的显示译码对象VOP不是已译码VOP的控制信号Cpre，第2通断开关308为导通状态。这样，在译码器303，对译码对象VOP，根据需要进行参照参照图象数据VOPref的译码处理(步骤S207)。从译码器303输出相对于译码对象VOP的译码图象数据VOPout(步骤S208)。

下面对实施例1的效果予以说明。

构成本实施例1的动图象译码装置100的排列变更单元101中具有：保持输入的VOP数据的缓冲存储器206；将输入的VOP数据的VOP显示时刻Tin与从该缓冲存储器206最后输出到译码单元102的VOP数据的VOP显示时刻Td′进行比较的比较部204。当设定较早VOP显示时刻的VOP(先行VOP)的VOP数据比设定较迟VOP显示时刻的VOP(后续VOP)的VOP数据延迟接收到时，将从先行VOP到此时刻应显示的VOP(显示对象VOP)的VOP数据，作为视频数据流VOPstr输出到译码单元102，在译码单元，当先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，可从先行VOP的VOP数据进行译码处理。

在构成本实施例1的动图象译码装置100的译码单元102中具有：检出传送差错的差错检出部分302；在进行视频数据流VOPstr的译码处理的同时，检出文法差错等数据流差错的译码器303；将输入的VOP数据的VOP显示时刻Tin与最后译码的VOP数据的VOP显示时刻Tmax进行比较的比较部307。由于对因差错受到损伤的VOP数据(差错VOP数据)或者VOP显示时刻比最新的已译码的VOP数据的显示时刻早的VOP数据(延迟VOP数据)中断译码处理，此后，当正常的VOP数据输入时，又恢复对VOP数据的译码处理，因此可避免产生显著的图象品质恶化，同时可以防止显示图象的图象品质恶化状态连续下去。

如图2所示，当VOP2的VOP数据比VOP3的VOP数据延迟接收到时，在译码单元102继续有欠缺的视频数据流VOPstr即视频数据流VOPstr3的译码处理，则由于在视频数据VOPstr3的译码处理时，不可能参照已译码的VOP2的译码图象数据(显示图象数据VOPdsp2)，将使VOP3的显示图象的图象品质恶化。这时，即使从延迟接收到的VOP2的VOP数据(视频数据流VOPstr2)开始重新恢复译码处理，由于在恢复时刻的参照图象数据已更新为VOP3的译码图象数据(显示图象数据VOPdsp3)，因此也不可能进行正确的译码。

在译码单元102，在译码处理时由于不存在参照图象等理由，检知了引起严重图象恶化的传播可能性高的视频数据流VOPstr3，则中断该译码处理，此后，直到接收到未引起图象品质恶化的VOP数据(这里是视频数据流VOPstr2)之前，将与最后正确进行译码处理的VOP1对应的译码图象数据VOPout作为显示图象数据VOPdsp1，从视频存储器103输出到显示单元105。因此，可以防止显著图象品质恶化的发生以及图象品质恶化的传播。

在上述实施例1中，作为动图象译码装置，与处理由多个物体(图象系列)构成的动图象的编码数据的MPEG-4对应，即作为排列变更单元101和译码单元102，显示处理构成1个动图象的多个物体的编码数据流，然而，动图象译码装置与处理由1个物体(图象系列)构成的动图象编码数据的MPEG-2对应，即仅有对应于1个图象系列的排列变更单元101、译码单元102以及视频存储器103也可以。

在上述实施例1中，在发送侧设定的VOP的顺序，是根据在VOP设定的VOP显示时刻决定的，当图象系列包含不仅是进行了画面间正向予测编码处理的P-VOP，也包含进行了双方向予测编码处理的B-VOP时，若VOP的应该显示的顺序与VOP的应该译码的顺序不一致，则不能从VOP显示时刻直接判定VOP的译码顺序。但是，即使在图象系列中包含B-VOP的情况下，从VOP显示时刻求出应进行各VOP译码处理的时刻(VOP译码时刻)，通过将VOP显示时刻替换为VOP译码时刻，即可与图象系列中不包含B-VOP的情况一样进行实施例1的排列变更单元101和译码102中的处理。

在上述实施例1中，作为译码器303，显示不进行对应的参照图象数据(在画面间予测译码处理时参照的已译码VOP的图象数据)不存在的VOP数据的译码处理，然而，译码器303也可以进行对应的参照图象数据不存在的VOP数据的译码处理。

具体地说，如图7所示，在VOP2(VOP显示时刻T2)的VOP数据比VOP3(VOP时刻T3)的VOP数据延迟接收到的情况下，当VOP3的VOP数据作为视频数据流VOPstr3输出到译码单元102时，由译码器303对视频数据流VOPstr3进行译码处理，VOP3的译码图象数据VOPout被存储到视频存储器103中。然后，VOP3的译码图象数据VOPout作为显示图象数据VOPdsp3，从视频存储器103读出到视频合成单元104，显示VOP3的译码图象。

在这样构成的动图象译码装置中，当视频数据流VOPstr3是内部VOP时，视频存储器中的参照图象数据更新为VOP3的译码图象数据VOPout，VOP3的译码图象中的图象品质恶化传播到后续的VOP的译码图象中，然而，当输入到动图象译码装置的编码数据流Vin仅由对应于内部VOP的VOP数据构成时，在延迟的VOP2的VOP数据输入前，可以显示正常的译码图象。

在输入到动图象译码装置的编码数据流Vin仅由对应于内部VOP的VOP数据构成的情况下，图象系列(物体)没有前景等的形状，也没有背景等的形状，直到输入延迟的VOP2的VOP数据，与显示进行了正常译码处理的VOP1的译码图象比较，对接着VOP1的VOP数据输入的VOP3的VOP数据译码，显示VOP3的译码图象，是显示图象的失调较少的情况。

在如上述那样对于对应的参照图象数据不存在的内部VOP的VOP数据进行译码处理而构成译码器303的动图象译码装置中，当延迟的VOP的VOP数据到达时，通过对从最后到达的内部VOP到应在该时刻显示的VOP的VOP数据进行译码处理，可以避免对应的参照图象数据不存在的内部VOP译码图象的图象品质恶化传播到后续VOP的译码图象中。

图8是说明具有这种构成的动图象译码装置的方框图。

本动图象译码装置对于对应的参照图象数据不存在的内部VOP的VOP数据进行译码处理，而且当延迟的VOP的VOP数据到达时，从最后到达的内部VOP到应在该时刻显示的VOP的VOP数据进行译码处理。

构成本动图象译码装置的排列变更单元1O1a具有：内部VOP时刻提取部201a，在上述实施例1的排列变更单元101中，根据编码数据Vin提取内部VOP的VOP显示时刻，即是接收VOP的VOP显示时刻Tin以前的时刻，输出最新的内部VOP的VOP显示时刻Tivop(Tivop≤Tin)，实施例1的选择开关205，根据来自第1比较部204的控制信号Csw1，选择并输出上述最近输入的内部VOP的VOP显示时刻Tivop和来自显示时刻输出部分202的指定显示时刻Td的其中之一。

也就是说，选择开关205，当输入的VOP数据的显示时刻Tin早于更新前显示时刻Td′时，作为接收VOP的VOP显示时刻Tin以前的时刻，选拔最近输入的内部VOP的VOP显示时刻Tivop(Tivop≤Tin)，当VOP显示时刻Tin不早于更新前显示时刻Td′，选择更新前显示时刻Td′。

本动图象译码装置的排列变更单元101a的其他构成与实施例1的排列变更单元101相同。

下面简单说明图8所示动图象译码装置的动作。

图9是本动图象译码装置的排列变更单元101a的动作流程图。

在步骤S101～步骤S106，进行与实施例1的排列变更单元101完全同样的处理。当在步骤S106的判定结果是输入的VOP数据的VOP显示时刻Tin早于更新前显示时刻Td′时，则选择开关205选择最近输入的内部VOP的VOP显示时刻Tivop，被选择的VOP显示时刻Tivop作为译码恢复时刻Tstart输出到存储器206(步骤S108a)。这时，从最近输入的内部VOP到应在该时刻显示的VOP的VOP数据作为视频数据流VOPstr，从存储器206输出到译码单元。

另一方面，当在步骤S106的判定结果是VOP显示时刻Tin不早于更新前显示时刻Td′时，则选择开关205选择更新前显示时刻Td′，被选择的更新前显示时刻Td′作为译码恢复时刻Tstoft输出到存储器206(步骤S107a)。这时，从VOP显示时刻比更新前显示时刻Td′延迟的VOP(即VOP数据已经输出到译码单元的VOP的下一个阵归的VOP)到应在该时刻显示的VOP的VOP数据，作为视频数据流VOPstr从存储器206输出到译码单元。

实施例2

图10是说明本发明实施例2的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

如上所述，1个动图象(相当于1个电影、1个节目等的图象)由多个图象系列(物体)构成，因此，在动图象译码装置中，排列变更单元至少应按1个动图象再生时同时显示的图象系列(物体)的最大数设置。但是，由于各排列变更单元的处理完全相同，因此为了说明方便，仅对动图象译码装置的多个排列变更单元中的1个(排列变更单元101b)予以说明。

本实施例2的排列变更101b与实施例1的排列变更单元101一样，具有：第1时刻提取部201，显示时刻输出部分202，更新前时刻输出部分203，第1比较部204，选择开关205，以及缓冲存储器206。该排列变更单元1O1b还具有：根据输入到动图象译码装置中的编码数据流Vin包含的场面记述信息，提取对应的物体的有效时刻Tval的有效时刻提取部401；将来自上述显示时刻输出部分202的指定显示时刻Td与对应的物体的有效时刻Tval进行比较的第3比较部402；设置在缓冲存储器206的前段，根据按照在该第3比较部402的比较结果的控制信号Csw3，控制向输入了编码数据流的缓冲存储器206的供给的通断开关403。

在上述场面记述信息中包含显示在动图象的各个场面中物体配置的信息，显示在各个场面中出现的物体的信息。从该场面记述信息中可以取得在动图象再生时动图象包含的各物体在显示领域出没的定时。上述对应的物体的有效时刻Tval，即为与该编码数据流已经输入到排列变更单元的图象系列(物体)对应的最迟VOP显示时刻。上述通断开关403，根据第3比较部302的控制信号Csw3，在指定显示时刻Td是有效时刻Tval以前的时刻时为导通状态，在指定显示时刻Td是有效时刻Tval以后的时刻时为非导通状态。也就是说，接收到的VOP数据，在该接收时刻的指定显示时刻Td是图象系列的最后的VOP的VOP显示时刻(有效时刻)Tval以前的时刻时，通过上述通断开关403，作为存储器输入数据MEMin输出到缓冲存储器206。另一方面，接收到的VOP数据，在该接收时刻的指定显示时刻Td是比图象系列的最后的VOP的VOP显示时刻(有效时刻)Tval延迟的时刻时，不用上述通断开关403，不作为存储器输入数据输出到缓冲器206。

图10中与图3的符号相同的符号，显示与实施例1的排列变更单元101的构成要素相同的构成要素。

下面说明其动作。

本实施例2的动图象译码装置的动作，除了排列变更单元101b的动作以外，都与实施例1的动图象译码装置的动作相同，因此，以下主要说明排列变更单元101b的动作。

图11是该排列变更单元101b的动作流程图。

首先，对应于1个图象系列(物体)的编码数据流Vin由排列变更单元101b接收(步骤S101)，在第1时刻提取部201，提取与作为该编码数据流Vin接收的VOP数据对应的VOP显示时刻(接收VOP的VOP显示时刻)Tin(步骤S102)。

在显示时刻输出部分202，根据编码数据流Vin中包含的基准时刻信息，更新并输出显示动图象译码装置侧的VOP的显示定时的指定显示时刻Td(步骤S103)。在更新前时刻输出部分202，根据指定显示时刻Td的更新，输出其更新前的显示时刻Td′(步骤S104)。

接着，在第3比较部402，将来自显示时刻输出部分202的指定显示时刻Td，与从上述有效时刻提取部401a输出的有效时刻Tval进行比较(步骤S301)。当该比较结果是指定显示时刻Td是有效时刻Tval以后的时刻时，根据第3比较部402的控制信号Csw3，通断开关403为非导通状态，废弃接收到的VOP数据(步骤S302)。另一方面，当上述步骤S301的比较结果是指定显示时刻Td是有效时刻Tval以前的时刻时，根据第3比较部402的控制信号Csw3，通断开关403为导通状态，接收的VOP数据作为存储器输入数据MEMin记录在缓冲存储器206中(步骤S105)。

此后，与实施例1的排列变更单元101同样，在第1比较部204，进行VOP显示时刻Tin与更新前显示时刻Td′的比较处理(步骤S106)以及根据比较结果的VOP数据的输出处理(步骤S107、108)。也就是说，当接收VOP的VOP显示时刻Tin是早于更期前显示时刻Td′时(Tin＜Td′)，则VOP显示时刻是接收VOP的VOP显示时刻Tin和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出(步骤S108)。另一方面，当在上述步骤S105的比较结果是VOP显示时刻Tin是迟于更新前显示时刻Td′时(Tin≥Td′)，则VOP显示时刻是更新前显示时刻Td′和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出。这种情况下(Tin≥Td′)，缓冲存储器206中还未输出到译码单元102的VOP数据，其VOP显示时刻早于指定显示时刻Td的VOP数据作为视频数据流VOPatr输出(步骤S106)。

下面，对本实施例2的动图象译码装置中各物体对应的排列变更单元的动作及作用效果予以说明。

在动图象译码装置中，同时显示的物体的VOP数据的排列变更处理和译码处理，由对应于同时显示的各个物体的排列变更单元和译码单元并列进行。但是，同时显示的物体个数随动图象的场面而有所不同。

具体地说，在1个动图象包含6个图象系列(即物体A～F)的情况下，当1个动图象再生时，所有的物体不是从最初场面到最后场面分开显示的。例如，如图2(a)所示，在时刻t0～t1期间是3个物体A、B、C，在时刻t1～t2期间是3个物体A、E、F，在时刻t2～t3期间是2个物体A、D，在作为合成图象显示时，同时显示的图象系列(物体)的最大数是3。

在对这样动图象编码数据流进行译码再生的动图象译码装置中，至少3个排列变更单元(第1～第3排列变更单元)是必要的。也就是说，在时刻t0～t1期间，3个物体A、B、C的编码数据流分别由第1～第3排列变更单元进行排列变量处理。在时刻t1～t2期间，3个物体A、E、F的编码数据流分别由第1～第3排列变更单元进行排列变更处理。在时刻t2～t3期间，2个物体A、D分别由第1、第2排列变更单元排列变更处理。图12(b)显示在上述各期间由排列变更单元(译码单元)处理的编码数据流是哪个物体的编码数据流。

这时，在第1排列变更单元，从动图象的再生开始(时刻t0)到再生结束(时刻t3)，进行物体A的编码数据流的排列变更处理。在第2排列变更单元，在时刻t0～t1期间进行物体B的编码数据流的排列变更处理，在时刻t1～t2期间进行物体E的编码数据流的排列变更处理，在时刻t2～t3期间进行物体D的编码数据流的排列变更处理。在第3排列变更单元，在时刻t0～t1期间进行物体C的编码数据流的排列变更处理，在时刻t1～t2期间进行物体F的编码数据流的排列变更处理，在时刻t2～t3期间不进行编码数据流的排列变更处理。

因此，在同时显示的图象系列(物体)的最大数(最大图象系列数)设定为3的动图象译码装置中，仅有3组排列变更单元、译码单元、以及视频存储器，例如，如上所述，在对3个物体的编码数据流进行排列变更处理和译码处理的时刻t0～t1期间或时刻t1～t2期间，可能处理的物体数是不富裕的。

当设定较早VOP显示时刻的VOP(先行VOP)的VOP数据比设定较迟VOP显示时刻的VOP(后续VOP)延迟输入到动图象译码装置时，则从先行VOP到在该输入时刻由指定显示时刻Td显示的应显示VOP(显示对象VOP)的VOP数据，作为视频数据流VOPstr从缓冲存储器206输出到译码单元。

这种情况下，应同时进行译码处理的图象系列数可能超过动图象译码装置的最大图象系列数。具体地说，在物体E的VOP数据被输入到第2排列变更单元的时刻t1～t2期间，物体B的延迟到达的VOP数据(延迟VOP的VOP数据)被输入到第2排列变更单元时，在该第2排列变更单元，从延迟VOP到物体B的最后VOP的存储在缓冲存储器的VOP数据输出到第2译码单元。

这种情况下，对于最大图象系列数即同时译码处理可能的图象系列有富裕的动图象译码装置不存在问题，而对于最大图象系列数没有富裕的动图象译码装置，有必要同时进行译码处理的图象系列数可能超过最大图象系列。也就是说，在最大图象系列数是3的动图象译码装置中，在上述时刻t1～t2期间，第1、第2、第3译码单元分别对物体A、物体E、物体F进行译码处理，而在物体B的VOP数据从第2排列变更单元输出到第2译码单元的时刻，同时进行译码处理的必要的图象系列数为4，则超过了动图象译码装置同时译码处理可能的最大图象系列数3。

在本实施例2的排列变更单元102中，根据输入的编码数据流包含的场面记述信息，提取各图象系列(物体)的最后VOP的VOP显示时刻(有效时刻Tval,对应于该排列变更单元102的图象系列的VOP数据在接收时刻的指定显示时刻Td，迟于对应的图象系列的有效时刻Tval时，废弃输入的VOP数据。

本实施例2的排列变更单元101b与实施例1的排列变更单元101一样，当先行VOP的VOP数据比后续VOP的VOP数据延迟接收到时，可将从先行VOP到该时刻应显示的显示对象VOP的VOP数据作为视频数据流VOPstr输出到译码单元102，因此在译码单元，在先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，可从先行VOP的VOP数据开始，恢复译码处理。

本实施例2的排列变更单元101b具有：根据编码数据流Vin中包含的场面记述信息，将物体的最后VOP的VOP显示时刻作为有效时刻Tval提取的有效时刻提取部401；将接收VOP数据的时刻的指定显示时刻Td与对应于该VOP数据的物体的有效时刻Tval进行比较的第3比较部402。当VOP数据接收时的指定显示时刻Td经过有效时刻Tval时，将废弃接收VOP的VOP数据，即可避免将不必要进行译码处理的VOP的VOP输入到缓冲存储器206。

这样，可以进行考虑到由动图象译码装置同时进行译码处理的可能的图象系列数的译码处理。也就是说，对于最大图象系列数(同时能译码处理的图象系列)没有富裕的动图象译码装置，可以避免同时进行译码处理的必要的图象系列数超过最大图象系列数。而且，由于没有必要进行译码处理的VOP的VOP数据未输出到缓冲存储器206，则可以有效利用缓冲存储器206的记录领域。

在上述实施例2中，当在由动图象译码装置侧所定定时产生的指定显示时刻Td迟于有效时刻(即对应于接收VOP的物体的最后VOP显示时刻)时，必须废弃接收VOP的VOP数据，然而，即使指定Td迟于有效时刻Tval时，由动图象译码装置同时进行译码处理的图象系列数有富裕的情况下，也可以将接收VOP的VOP数据供给缓冲存储器206。

例如，在图12(b)显示的时刻t2～t3期间，同时应进行译码处理的图象系列数「 2 」少于动图象译码装置的最大图象系列「 3 」时，当物体E的延迟VOP数据输入到第2排列变更单元时，通过将从延迟VOP到在该时刻应显示的显示对象VOP的VOP数据，输出到在该时刻未进行译码处理的第3译码单元，可以进行对应。这时，对应于第2排列变更单元的第2译码单元，可继续进行对于物体D的VOP数据的译码处理。

实施例3

图13是说明本发明实施例3的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

本实施例3的动图象译码装置的排列变更单元101c与实施例1的排列变更单元101一样，具有：第1时刻提取部201、显示时刻输出部分202、更新前时刻输出部分203、第1比较部204、以及缓冲存储器206。本排列变更单元101c具有：将其VOP数据记录在缓冲存储器206内的VOP中最早VOP的VOP显示时刻作为最早时刻Tmin提取的最早时刻提取部501；将从第1时刻提取部201输出的接收VOP的VOP显示时刻Tin与上述最早时刻Tmin进行比较，输出根据比较结果的控制信号STRsw的第4比较部502；设置在缓冲存储器206的前段，根据该第4比较部502的比较结果的控制信号STRsw，控制向输入了编码数据流的缓冲存储器206的供给的通断开关503。该排列变更单元101c具有选择开关205c，来代替实施例1的排列变更单元101的选择开关205，根据来自上述第1比较部204的控制信号Csw1和来自第4比较部502的控制信号STRsw，选择上述接收VOP的VOP显示时刻Tin和来自显示时刻输出部分202的指定显示时刻Td的其中之一，并输出到缓冲存储器206。

上述通断开关503，根据来自第4比较部502的控制信号STRsw，当接收VOP的VOP显示时刻Tin是最早时刻Tmin以前的时刻时为非导通状态，当接收VOP的VOP显示时刻Tin是最早时刻Tmin以后的时刻时为导通状态。也就是说，接收的VOP数据，当其VOP显示时刻Tin是缓冲存储器206记录的VOP数据的VOP中最早的VOP的VOP显示时刻(最早时刻)Tmin以前的时刻时，将被上述通断开关503废弃，不作为存储输入数据MEMin输出到缓冲存储器206。另一方面，接收的VOP数据，当其VOP显示时刻Tin是最早时刻Tmin以后的时刻时，通过上述通断开关503，作为存储器输入数据MEMin输出到缓冲存储器206。

另外，在上述选择开关205c，当VOP显示时刻Tin是早于时刻Tmin的时刻时，不管来自第1比较部204的控制信号Csw1如何，根据来自第4比较部502的控制信号STRsw，选择更新前显示时刻Td′，更新前显示时刻Td′作为译码单元恢复时刻Tstart输出到缓冲存储器206。另一方面，当提取的VOP显示时刻Tin是最早时刻Tmin以后的时刻时，在上述选择开关205c，根据第1比较部204的控制信号Csw1，选择VOP显示时刻Tin和更新前显示时刻Td′的其中之一，选择的时刻作为译码恢复时刻Tstart输出到缓冲存储器206。也就是说，在这种情况下，选择开关205c，当VOP显示时刻Tin是更新前显示时刻Td′以后的时刻时，选择更新前显示时刻Td′，相反，当VOP显示时刻Tin是更新前显示时刻Td′以前的时刻时，选择VOP显示时刻Tin。

图13中与图3的符号相同的符号，显示与实施例1的排列变更单元101的构成要素相同的要素。

下面说明其动作。

本实施例3的动图象译码装置的动作，除了排列变更单元101c的动作以外，与实施例1的动图象译码装置的动作是一样的，以下主要说明排列变更单元101c的动作。

图14是本排列变更单元101c的动作流程图。首先，与实施例1的排列变更单元101一样，进行作为编码数据流Vin输入的VOP数据的接收(步骤S101)、接收VOP的VOP显示时刻Tin的提取(步骤S102)、指定显示时刻Td的输出(步骤S103)、更新前显示时刻Td′的输出(步骤S104)。

此后，在该排列变更单元101c的最早时刻提取部501，根据来自缓冲存储器206的时刻信息Itime，在缓冲存储器206记录的VOP数据的VOP中最早的VOP(最早VOP)的VOP显示时刻将作为最早时刻Tmin被提取(步骤S400)。

接着，在第4比较部502，从第1时刻提取部201输出的VOP显示时刻Tin与从上述最早时刻提取部501输出的最早时刻Tmin进行比较(步骤S401)。

当该比较结果是VOP显示时刻Tin是最早时刻Tmin以前的时刻时，根据来自第4比较部502的控制信号STRsw，通断开关503为非导通状态，废弃接收VOP的VOP数据(步骤S402)。这时，即使在来自第1比较部204的控制信号Csw1显示VOP显示时刻Tin是早于更新前显示时刻Td′的时刻的情况下，在选择开关205c，根据来自第4比较部502的控制信号STRsw，选择更新前显示时刻Td′。

另一方面，当在上述步骤S401的比较结果是VOP显示时刻Tin是最早时刻Tmin以后的时刻时，在缓冲存储器206记录的VOP数据中，VOP显示时刻是从接收VOP的VOP显示时刻Tin到指定显示时刻Td范围内的时刻的VOP数据可能重新再送到译码单元102。因此，与实施例1同样，进行步骤S105～S108的处理。

也就是说，根据来自第4比较部502的控制信号STRsw，通断开关503为导通状态，接收VOP的VOP数据作为存储器输入数据MEMin供给缓冲存储器206，记录在缓冲存储器206中(步骤S105)。

此后，与实施例1的排列变更单元101同样，进行在第1比较部204的VOP显示时刻Tin和更新前显示时刻Td′的比较处理(步骤S106)、以及根据比较结果的VOP数据的输出处理(步骤S107、S108)。也就是说，当VOP显示时刻Tin早于更新前显示时刻Td′时(Tin＜Td′)，VOP显示时刻是接收VOP的VOP显示时刻Tin和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出(步骤S108)。另一方面，当在上述步骤S105的比较结果是VOP显示时刻Tin是更新前显示时刻Td′以后时(Tin≥Td′)，则VOP显示时刻是更新前显示时刻Td′和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出(步骤S106)。

下面说明实施例3的作用效果。

与实施例1中的说明一样，在实施例1的排列变更单元101中，由于VOP数据的传送线路延迟，在由动图象译码装置侧指定的显示时刻(指定显示时刻Td，存在不可能输出到译码单元102的VOP数据时，从延迟接收的VOP数据的延迟VOP到应在该时刻显示的显示对象VOP的全部VOP数据，重新送出到译码单元102。因此，即使在一部分VOP数据延迟接收的情况下，也可在译码单元102正确地进行译码处理，避免了由延迟VOP引起的图象品质恶化，以及对与延迟VOP连续的VOP图象品质产生坏影响的图象品质恶化的传播。

然而，缓冲存储器206暂时存储VOP数据，由于存储器容量等的限制，在缓冲存储器206中的VOP数据，将从其接收时刻早的数据逐次消去。

因此，当延迟VOP的VOP显示时刻Tin是最早时刻Tmin以前的时刻时，由于从延迟VOP到显示对象VOP的VOP数据的一部分将从缓冲存储器206中消失，则将把缓冲存储器206记录的从延迟VOP到显示对象VOP的VOP数据重新变更后送到译码单元102，在译码单元102，就不可能与从延迟VOP到显示对象VOP的各VOP对应地正确进行译码处理。在内部VOP译码处理时参照的参照图象数据，在对译码单元102的下面的VOP的译码处理时，将改写成未正确进行译码处理的译码差错VOP译码图象数据。其结果是重新将从延迟VOP到显示对象VOP的VOP数据，从排列变更单元送到译码单元102，反之，将是发生图象品质恶化传播的原因。

在本实施例2中，即使延迟VOP的VOP显示时刻Tin是更新前显示时刻Td′以前的时刻，在该VOP显示时刻Tin是最早时刻Tmin以后的时刻的情况下，也就是在缓冲存储器206仅限于记录VOP显示时刻是从延迟VOP的VOP显示时刻Tin到指定显示时刻Td的范围的时刻的全部VOP的VOP数据的情况下，重新将从延迟VOP到显示对象VOP的VOP数据从排列变更单元101c送到译码单元102。

最早时刻提取部501检查在缓冲存储器206中存储的VOP数据的各VOP的VOP显示时刻，将最早时刻Tmin输出到第4比较部502。第4比较部502将接收VOP的VOP显示时刻Tin与最早时刻Tmin进行比较，把根据比较结果的控制信号STRsw输出到通断开关503和选择开关205c。若VOP显示时刻Tin是最早时刻Tmin以后的时刻，则开关503为导通状态，接收VOP的VOP数据被记录在缓冲存储器206中。另一方面，若VOP显示时刻Tin是最早时刻Tmin以前的时刻，则开关503为非导通状态，废弃接收VOP的VOP数据。选择开关205c，根据第1比较部204的比较结果，若VOP显示时刻Tin是更新前显示时刻Td′以前的时刻，则选择VOP显示时刻Tin作为译码恢复时刻Tstart，若VOP显示时刻Tin是更新前显示时刻Td′以后的时刻，则选择更新前显示时刻Td′作为译码恢复时刻Tstart。但是，若接收VOP的VOP显示时刻Tin在最早时刻Tmin之前，则与第1比较部204的比较结果无关，选择开关205c将选择更新前显示时刻Td′作为译码恢复时刻Tstart。

在本实施例3的排列变更单元101c中，与实施例1的排列变更单元101同样，当设定较早VOP显示时刻的VOP(先行VOP)的VOP数据比设定较迟VOP显示时刻的VOP(后续VOP)的VOP数据延迟接收到时，将从先行VOP到应在该时刻显示的显示对象VOP的VOP数据，作为视频数据流VOPstr输出到译码单元102，则在译码单元，当先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，也可以从先行VOP的VOP数据开始恢复译码处理。

本实施例3的排列变更单元101c具有在缓冲存储器206存储了VOP数据的VOP的VOP显示时刻中根据来自缓冲存储器206的时刻信息Itime提取最早的时刻(最早时刻)Tmin的最早时刻提取部501，仅在VOP显示时刻是从延迟VOP的VOP显示时刻Tin到指定显示时刻Td范围内的时刻全部VOP的VOP数据记录在缓冲存储器206中的情况下，将从延迟VOP到显示对象VOP的VOP数据重新送出到译码单元102，则在延迟VOP比在缓冲存储器206中存储VOP数据的最早VOP还早的情况下，可以避免在从延迟VOP到显示对象VOP的VOP数据的译码处理过程中发生图象品质恶化的传播。

实施例4

图15是说明本发明实施例4的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

本实施例4的动图象译码装置的排列变更单元101d与实施例2的排列变更单元101b同样，具有：第1时刻提取部201、有效时刻提取部401、显示时刻输出部分202、更新前时刻输出部分203、第1比较部204、第3比较部402以及缓冲存储器206。该排列变更单元101d具有：提取其VOP数据被记录在缓冲存储器206内的VOP中最早VOP的VOP显示时刻作为最早时刻Tmin的最早时刻提取部501；将从第1时刻提取部201输出的接收VOP的VOP显示时刻Tin与上述最早时刻Tmin进行比较，输出根据比较结果的控制信号STRsw的第4比较部502。

该排列变更单元101d还具有，通断开关403d来代替实施例2的排列变更单元101b的通断开关403，根据来自上述第3比较部402的控制信号Csw3和来自第4比较部502的控制信号STRsw，控制向输入了编码数据的缓冲存储器206的供给。该排列变更单元101d还具有选择开关205d，来代替实施例2的排列变更单元101b的选择开关205，根据来自上述第1比较部204的控制信号Csw1和来自第4比较部502的控制信号STRsw，选择上述接收VOP的VOP显示时刻Tin和来自显示时刻输出部分202的指定显示时刻Td的其之一，并输出到缓冲存储器206。

上述通断开关403d，在接收VOP数据时刻的指定显示时刻Td是有效时刻Tval以前的时刻(Td≤Tval)，而且接收VOP的VOP显示时刻Tin是最早时刻Tmin以后的时刻(Tin≥Tmin)时，为导通状态，另一方面，当VOP数据接收时刻的指定显示时刻Td是有效时刻Tval以后的时刻(Td＞Tval)时，或者接收VOP的VOP显示时刻Tin是最早时刻Tmin以前的时刻(Tin＜Tmin)时，为非导通状态。

也就是说，接收的VOP数据，在其接收时刻的指定显示时刻Td是图象系列的最终VOP的VOP显示时刻(有效时刻)Tval以前的时刻，而且接收VOP的VOP显示时刻Tin是缓冲存储器206记录VOP数据的VOP中最早VOP的VOP显示时刻(最早时刻)Tmin以后的时刻时，通过上述通断开关403d，将作为存储器输入数据MEMin输出到缓冲存储器206。另一方面，接收的VOP数据，在其接收时刻的指定显示时刻Td是迟于图象系列的最终VOP的VOP显示时刻(有效时刻)Tval的时刻时，或者接收VOP的VOP显示时刻Tin是缓冲存储器206记录VOP数据的VOP中最早VOP的VOP显示时刻(最早时刻)Tmin以前的时刻时，由上述通断开关403d废弃，不输出到缓冲存储器206。

在上述选择开关205d，当VOP显示时刻Tin是早于最早时刻Tmin的时刻时，不管来自第1比较部204的控制信号Csw1如何，根据来自第4比较部502的控制信号STRsw选择更新前显示时刻Td′，更新前显示时刻Td′作为译码恢复时刻Tstart输出到缓冲存储器206。另一方面，当提取的VOP显示时刻Tin是最早时刻Tmin以后的时刻时，在上述选择开关205d，根据第1比较部204的控制信号Csw1，选择VOP显示时刻Tin和更新前显示时刻Td′的其中之一，选择的时刻作为译码恢复时刻Tstart输出到缓冲存储器206。也就是说，这种情况下，在选择开关205d中，VOP显示时刻Tin是更新前显示时刻Td′以后的时刻时，选择更新前显示时刻Td′，相反，VOP显示时刻Tin是更新前显示时刻Td′以前的时刻时，选择VOP显示时刻Tin。

图15中，与图10和图13中的符号相同的符号，显示与实施例2的排列变更单元101b和实施例3的排列变更单元101c的构成要素相同的构成要素。

下面说明其动作。

本实施例4的动图象译码装置的动作，除了排列变更单元101d以外，与实施例2的动图象译码装置的动作相同，以下主要说明排列变更单元101d的动作。

图16是该排列变更单元101d的动作流程图。

首先，与实施例2的排列变更单元101b同样，进行作为编码数据流Vin输入的VOP数据的接收(步骤S101)、接收VOP的VOP显示时刻Tin的提取(步骤S102)、指定显示时刻Td的输出(步骤S103)、更新前显示时刻Td′的输出(步骤S104)。

此后，在本排列变更单元101d的最早时刻提取部501，根据来自缓冲存储器206的时刻信息Itime，在缓冲存储器206记录VOP数据的VOP中最早的VOP(最早VOP)的VOP显示时刻作为最早时刻Tmin提取(步骤S400)。

接着，在第3比较部402，从显示时刻输出部分202输出的指定显示时刻Td，与从上述有效时刻提取部401a输出的有效时刻Tval进行比较(步骤S301)。当该比较结果是VOP数据接收时刻的指定显示时刻Td是有效时刻Tval以后的时刻(Td＞Tval)时，则根据来自第3比较部402的控制信号Csw3，通断开关403d为非导通状态，接收的VOP数据被废弃(步骤S302)。另一方面，当在上述步骤301的比较结果是指定显示时刻Td是有效时刻Tval以前的时刻(Td≤Tval)时，在第4比较部502，从第1时刻提取部201输出的VOP显示时刻Tin与从上述最早时刻提取部501输出的最早时刻Tmin进行比较(步骤S401)。

当该比较结果是VOP显示时刻Tin是最早时刻Tmin以前的时刻(Tin＜Tmin)时，根据来自第4比较部502的控制信号STRsw，通断开关403d为非导通状态，接收VOP的VOP数据被废弃(步骤S402)。这时，即使来自第1比较部204的控制信号Csw1显示VOP显示时刻Tin是早于更期前显示时刻Td′的时刻时，选择开关205d也将根据来自第4比较部403d的控制信号STRsw，选择更新前显示时刻Td′。

另一方面，当在上述步骤S401的比较结果是VOP显示时刻Tin是最早时刻Tmin以后的时刻(Tin≥Tmin)时，在缓冲存储器206记录的VOP数据中，VOP显示时刻是从接收VOP的VOP显示时刻Tin到指定显示时刻Td范围内的时刻的VOP数据，可以重新再送到译码单元102。因此，与实施例2一样，进行步骤S105～S108的处理。

也就是说，根据来自第4比较部502的控制信号STRsw，通断开关403d为导通状态，接收VOP的VOP数据作为存储器输入数据MEMin供给缓冲存储器206，记录在缓冲存储器206中(步骤S105)。

此后，与实施例2的排列变更单元101同样，进行在第1比较部204进行VOP显示时刻Tin与更新前显示时刻Td′的比较处理(步骤S106)，以及根据比较结果的VOP数据的输出处理(步骤S107、108)。也就是说，当VOP显示时刻Tin是早于更新前显示时刻Td′的时刻(Tin＜Td′)时，VOP显示时刻是接收VOP的VOP显示时刻Tin和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出(步骤S108)。另一方面，当在上述步骤S105的比较结果是VOP显示时刻Tin是更新前显示时刻Td′以后的时刻(Tin≥Td′)时，VOP显示时刻是更新前显示时刻Td′和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出(步骤S106)。

本实施例4的排列变更单元101d与实施例1的排列变更单元101同样，当先行VOP的VOP数据比后续VOP的VOP数据延迟接收到时，将从先行VOP到应在该时刻显示的显示对象VOP的VOP数据，作为视频数据流VOPstr输出到译码单元102，则在译码单元，当先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，可以从先行VOP的VOP数据开始恢复译码处理。

同样，本实施例4的排列变更单元101d与实施例2的排列变更单元101b一样，具有：根据编码数据流Vin包含的场面记述信息，提取物体的最后VOP的VOP显示时刻作为有效时刻Tval的有效时刻提取部401；将接收VOP数据时刻的指定显示时刻Td与对应于该VOP数据的物体的有效时刻Tval进行比较的第3比较部402。当VOP数据接收时的指定显示时刻Td经过有效时刻Tval时，废弃接收VOP的VOP数据，因此可以避免将没有必要进行译码处理的VOP的VOP数据输入到缓冲存储器206。这样，就可以进行考虑到由动图象译码装置同时可进行译码处理的图象系列数的译码处理。而且，由于未将没有必要进行译码处理的VOP的VOP数据输出到缓冲存储器206，则可有效利用缓冲存储器206的记录领域。

本实施例4的排列变更单元101d与实施例3的排列变更单元101c一样，具有：在缓冲存储器206存储VOP数据的VOP的VOP显示时刻中，根据来自缓冲存储器206的时刻信息Itime提取最早的时刻(最早时刻)Tmin的最早时刻提取部501。在缓冲存储器206中仅记录VOP显示时刻是从延迟VOP的VOP显示时刻Tin到指定显示时刻Td范围内时刻的全部VOP的VOP数据的情况下，由于重新将从延迟VOP到显示对象VOP的VOP数据送出到译码单元102，则在延迟VOP比在缓冲存储器206中存储VOP数据的最早VOP还早时，可以避免在从延迟VOP到显示对象VOP的VOP数据的译码处理过程中产生图象品质恶化的传播。实施例5

图17是说明本发明实施例5的动图象译码装置的方框图，显示构成该动图象译码装置的译码单元。

本实施例5的动图象译码装置的译码单元102e与实施例1的译码单元102一样，具有：第2时刻提取部301、差错检出部分302、译码器303、通断开关305、最大时刻保持部306、第2比较部307、以及通断开关308。

该译码单元102e具有形状有无判定部601，根据从动图象译码装置的排列变更单元(参照图1)输出的视频数据流VOPstr，判定该视频数据流VOPstr是否包含显示物体形状的形状信息，输出显示视频数据流VOPstr对应的图象系列(物体)是否有形状的形状通知信号Nshape。

该译码单元102e还具有开关控制部304e，来代替实施例1的译码单元102的差错通知部304，根据来自上述形状有无判定部601的形状通知信号Nshape、来自差错检出部分302的传送差错通知信号TRerr、以及来自译码器303的译码差错通知信号STerr，输出使上述通断开关305和308为非导通状态的开关控制信号Coff。

开关控制部304e，仅在传送差错通知信号TRerr和译码差错通知信号STerr至少其中之一通知差错发生，而且形状通知信号Nshape通知对应于视频数据流VOPstr的图象系列(物体)有形状时，向上述通断开关305和308输出使其为非导通状态的开关控制信号Coff。当未检出差错发生时或对应于视频数据VOP的图象系列(物体)没有形状时，根据开关控制信号Coff，通断开关305和308不是非导通状态。这时，通断开关308由来自第2比较部307的控制信号Cpre进行通断控制。

图17中，与图5的符号相同的符号，显示与实施例1的译码单元102的构成要素相同的构成要素。

下面说明其动作。

本实施例5动图象译码装置的动作，除了译码单元102e的动作以外，与实施例1动图象译码装置的动作一样，以下主要说明译码单元102e的动作。

图18是该译码单元102e的动作流程图。

首先，本实施例5的译码单元102e与实施例1的译码单元102一样，作为对应于1个图象系列的视频数据流VOPstr，构成该图象系列的所定VOP的VOP数据由译码单元102接收(步骤S201)，接着在第2时刻提取部301提取接收的VOP数据(译码对象VOP的VOP数据)的VOP显示时刻Tin(步骤S202)。

此后，在本实施例5的译码单元102e，由形状提取部601判断上述图象系列(物体是否有形状信号(步骤S501)。当该判定结果是上述图象系列具有形状时，则在差错检出部分302进行传送差错的检出和在译码器303进行数据流差错的检出(步骤S203)。另一方面，当在上述步骤S501的判定结果是上述图象系列没有形状时，不进行在步骤S203的差错检，在第2比较部307，译码对象VOP的VOP显示时刻Tin与在最大时刻保持部306保持的已译码最大时刻Tmax进行比较(步骤S205)。

当在上述步骤203的差错检出处理结果是检出差错时，则根据来自输入了传送差错通知信号TRerr和译码差错通知信号STerr的开关控制部304e的开关控制信号Coff，第2通断开关308为非导通状态，停止向视频数据流VOPstr的译码器303的供给。因此，对译码器303的视频数据流VOPstr的译码处理中断了。这时，根据来自开关控制部304c的开关控制信号Coff，第1通断开关305为非导通状态，译码对象VOP的VOP显示时刻Tin不供给最早时刻保持部306(步骤S204)。

另一方面，当在步骤S203的差错检出处理结果是未检出差错时，则第1通断开关305为导通状态，在第2比较部307，译码对象VOP的VOP显示时刻Tin与保持在最大时刻保持部306的已译码最大时刻Tmax进行比较(步骤S205)。当该比较结果是VOP显示时刻Tin是已译码最大时刻Tmax以前的时刻(TIN≤Tmax)时，根据来自第2比较部307的显示译码对象VOP是已译码VOP的控制信号Cpre，第2通断开关308为非导通状态。这时，在译码器303，由于向视频数据流VOPstr的译码器303的供给停止，则对视频数据流VOPstr的译码处理中断了(步骤S204)。

另一方面，当在步骤205的比较结果是VOP显示时刻Tin迟于已译码最大时刻Tmax(Tin＞Tmax)时，在最大时刻保持部306，已译码最大时刻Tmax更新为译码对象VOP的VOP显示时刻Tin(步骤S206)。这时，根据来自第2比较部307的显示译码对象VOP不是已译码VOP的控制信号Cpre，第2通断开关308为导通状态。在译码器303，对译码对象VOP，必要时进行参照参照图图象数据VOPref的译码处理(步骤S207)。从译码器303输出相对于译码对象VOP的译码图象数据VOPout(步骤S208)。

下面说明本实施例5的作用效果。

对各图象(VOP)的大小不变化的图象系列的编码处理，即使在接收侧由于接收数据的一部分欠缺在部分画面上产生图象品质恶化，该图象品质恶化对其他画面的影响也很少。另一方面，对具有形状的图象系列的编码处理，由于在该编码处理时，进行了依存在局部已译码处理的图象形状的形状信号编码处理和象素值编码处理，则在接收侧由于接收数据的一部分欠缺产生图象品质恶化的传播时，对整体将产生显著的图象品质恶化。

一般来说，在有实时性要求的用途中，图象的大小不变化，即多采用对没有形状的图象系列的编码处理，而在不怎么要求实时性的用途中，多采用对有形状的图象系列的编码处理。因此，在没有要求实时性的形状的图象系列的译码处理中，由于接收数据的欠缺等产生了一些图象品质恶化，也可以继续译码。

在本实施例5中，在输入的视频数据流VOPstr有形状信息的情况下，当检出传送差错或数据流差错发生时，则通断开关308为中断对上述视频数据流VOPstr译码处理的非导通状态。另一方面，在输入的视频数据流VOPstr没有形状信息的情况下，即使检出传送差错或数据流差错发生时，也维持对视频数据流VOPstr继续译码处理的通断开关308的导通状态。

本实施例5的译码单元102e具有：根据输入的视频数据流VOPstr，判定该视频数据流VOPstr是否包含显示物体形状信息的形状有无判定部601。仅在视频数据流VOPstr有形状信息的情况下，当检出视频数据流VOPstr的差错时，中断对该视频数据流VOPstr的译码处理，可减小传送差错等对图象品质的不好影响，对于没有形状信号的图象系列，可进行不损害实时性的译码处理，但是传送差错等对图象品质的不好影响增大了，对于有形状信号的图象系列，可减低由传送差错等引起的图象品质的恶化。

在本实施例5中，根据输入的视频数据流VOPstr是否有形状信息，决定在差错检出时是否中断译码处理，然而在差错检出时是否中译码处理，也可以根据用户的意愿和用途由用户的操作来决定。

实施例6

图19是说明本发明实施例6的动图象译码装置的方框图，显示构成该动图象译码装置的译码单元。

本实施例6的译码单元102f，根据用户的操作，产生显示在差错检出时是否中断译码处理的差错时处理指示信号Ecsel，根据该差错时处理指示信号Ecsel，决定在差错检出时是否中断译码处理。

也就是说，译码单元102f具有：外部指示部701，来代替实施例5的译码单元102e的形状有无判定部601，在传送差错等的检出时，根据用户的操作，产生用于指示是否中断对输入的视频数据流VOPstr的译码处理的差错时处理指示信号Ecsel。译码单元102f还具有差错通知部304f，来代替实施例5的译码单元102e的开关控制部304e，根据差错时处理指示信号Ecsel、传送差错通知信号TRerr以及数据流差错通知信号STerr，产生开关控制信号Coff。

差错通知部304f，在传送差错通知信号TRerr和译码差错通知信号STerr的至少其中之一通知差错发生，而且差错时处理指示信号Ecsel显示在传送差错等检出时中断对输入的视频数据流VOPstr的译码处理的情况下，将使其为非导通状态的开关控制信号Coff输出到上述通断开关305和308。在未检出差错的发生时，或者差错时处理指示信号Ecsel显示在传送差错等检出时未中断对输入的视频数据流VOPstr的译码处理时，根据开关控制信号Coff，通断开关305和308不是非导通状态。这时，通断开关308由来自第2比较部307的控制信号Cpre进行通断控制。

本实施例6的译码单元102f的其他构成与实施例5的译码单元102e的构成一样。

图19中，与图17中符号相同的符号，显示与实施例5的译码单元102e的构成要素相同的构成要素。

下面对其动作予以说明。

图20是本实施例6的译码单元的动作流程图。

在本实施例6的译码单元102f中，根据用户的操作，由外部指示部701决定在差错检出时是否中断译码处理，再从外部指示部701输出显示在差错检出时是否中断译码处理的差错时处理指示信号Ecsel。

首先，与实施例5的译码单元102e一样，作为对应于1个图象系列的视频数据流VOPstr，由译码单元102接收构成该图象系列的所定VOP的VOP数据(步骤S201)，接着在第2时刻提取部301提取接收的VOP数据(译码对象VOP的VOP数据)的VOP显示时刻Tin(步骤S202)。

此后，在本实施例6的译码单元102f中，由开关控制部304f判断差错时处理指示信号Ecsel是否显示在传送差错等检出时对输入的视频数据流VOPstr中断译码处理(步骤S701)。当该判定结果是差错时处理指示信号Ecsel显示在传送差错等检出时对视频数据流VOPstr中断译码处理时，在差错检出部分进行传送差错的检出和在译码部分303进行数据流差错的检出(步骤S203)。另一方面，上述步骤S701的判定结果是差错时处理指示信号Ecsel显示在传送差错等检出时不中断对视频数据流VOPstr的译码处理时，则不进行步骤S203的差错检出，在第2比较部307，译码对象VOP的VOP显示时刻Tin与保持在最大时刻保持部306的已译码最大时刻Tmax进行比较(步骤S205)。

此后，进行与实施例5的各步骤S204、S206～S208的处理同样的处理。

这样，在本实施例6的译码单元102f中具有：根据用户的操作，产生用于指示在传送差错等检出时是否中断对视频数据流VOPstr的译码处理的差错时处理指示信号Ecsel的外部指示部701，根据该差错时处理指示信号Ecsel，决定差错检出时是否中断译码处理，所以可以根据用户的意愿和用途，选择在差错检出时是否中断译码处理。

实施例7

图21是说明本发明实施例7的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

本实施例7的排列变更单元101g与实施例1的排列变更单元101一样，具有：第1时刻提取部201、显示时刻输出部分202、更新前时刻输出部分203、第1比较部204、以及缓冲存储器206。该排列变更单元101g还具有：缓冲器残量计算部801，根据显示缓冲存储器206的使用状况的信息Iuse，计算缓冲存储器206的空闲领域的容量(缓冲器残量)，当缓冲器残量在所定阈值以下时，输出数据输入限制信号Irest；通断开关802，设置在缓冲存储器206的前段，根据该数据输入限制信号Irest，控制向输入的编码数据流Vin的缓冲存储器206的供给。该排列变更单元101g还具有选择开关205，来代替实施例1的排列变更单元101的选择开关205，根据来自上述第1比较部204的控制信号Csw1和来自缓冲器残量计算部801的数据输入限制信号Irest，选择上述接收VOP的VOP显示时刻Tin和更新前显示时刻Td′的其中之一并输出到缓冲存储器206。

上述通断开关802，根据来自缓冲器残量计算部801的数据输入限制信号Irest，当缓冲器残量比所定阈值小时为非导通状态，当缓冲器残量比所定阈值大时为导通状态。也就是说，接收的VOP数据，在缓冲存储器206的空闲领域的容量小于所定阈值时，被上述通断开关802废弃，不作为存储器输入数据MEMin输出到缓冲器206。另一方面，接收的VOP数据，在缓冲存储器206的空闲领域的容量是所定阈值以上时，通过上述通断开关503，作为存储器输入数据MEMin输出到缓冲存储器206。

在上述选择开关205g，当缓冲器残量Br比阈值Bth小时(Br＜Bth)，选择更新前显示时刻Td′，相反，当缓冲器残量Br是阈值Bth以上时(Br≥Bth)，根据来自第1比较部204的控制信号Csw1，选择VOP显示时刻Tin和更新前显示时刻Td′的其中之一。

也就是说，当接收VOP的VOP显示时刻Tin是更新前显示时刻Td′以后的时刻时(Tin＞Td′)选择更新前显示时刻Td′，更新前显示时刻Td′作为译码恢复时刻Tstart输出到缓冲存储器206。另一方面，当接收VOP的VOP显示时刻Tin是早于更新前显示时刻Td′的时刻时(Tin＜Td′)，选择VOP显示时刻Tin,VOP显示时刻Tin作为译码恢复时刻Tstart输出到缓冲存储器206。

本实施例7中，代替实施例3的排列变更单元101c中最早时刻提取部501和第4比较部502，具有缓冲器残量计算部801，图21中，与图13中符号相同的符号，显示与实施例3的排列变更单元101c的构成要素相同的构成要素。

下面说明其动作。

本实施例7的动图象译码装置的动作，除了排列变更单元101g的动作以外，与实施例3的动图象译码装置的动作一样，以下主要说明排列变更单元101g的动作。

图22是该排列变更单元101g的动作流程图。

首先，与实施例3的排列变更单元101c一样，进行作为编码数据流Vin输入的VOP数据的接收(步骤S101)、接收VOP的VOP显示时刻Tin的提取(步骤S102)、指定显示时刻Td的输出(步骤S103)、更新前显示时刻Td′的输出(步骤S104)。

此后，在该排列变更单元101g的缓冲器残量计算部801，根据显示缓冲器206使用状况的信息Iuse计算缓冲器残量Br(步骤S801)，将缓冲器残量Br与阈值Bth进行比较(步骤S801)。

当该比较结果是缓冲残量Br比阈值Bth少时，则根据来自缓冲器残量计算部801的数据输入限制信号Irest，通断开关802为非导通状态，接收VOP的VOP数据被废弃(步骤S402)。这时，来自第1比较部204的控制信号Csw即使显示VOP显示时刻Tin是早于更新前显示时刻Td′的时刻时，在选择开关205g，根据来自缓冲器残量计算部801的数据输入限制信号Irest，将选择更新前显示时刻Td′。

另一方面，当在上述步骤S801的比较结果是缓冲器残量Br在阈值Bth以上时，根据来自缓冲器残量计算部801的数据输入信号Irest，通断开关802为导通状态，接收VOP的VOP数据作为存储器输入数据MEMin供给缓冲存储器206，记录在缓冲存储器206中(步骤S105)。

此后，与实施例3的排列变更单元101c一样，进行在第1比较部204的VOP显示时刻Tin与更新前显示时刻Td′的比较处理(步骤S106)，以及根据比较结果的VOP数据的输出处理(步骤S107、S108)。

本实施例7的排列变更单元101g与实施例1的排列变更单元101一样，当先行VOP的VOP数据比后续VOP的VOP数据延迟接收时，将从先行VOP到应在该时刻显示的显示对象VOP的VOP数据，作为视频数据流VOPstr输出到译码单元102，在译码单元，当先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，可从先行VOP的VOP数据开始恢复译码处理。

本实施例7的排列变更单元101g还有冲器残量计算部801，根据显示缓冲存储器206的使用状况的信息Iuse，计算缓冲存储器206的空闲领域的容量(缓冲器残量)，当缓冲器残量在所定阈值以下时，输出数据输入限制信号Irest的缓。在缓冲器残量Br是阈值Bth以上时，将接收VOP的VOP数据供给缓冲存储器206，则可避免缓冲存储器206的溢出。

实施例8

图23是说明本发明实施例8的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

本实施例8的排列变更101h与实施例1的排列变更单元101一样，具有：第1时刻提取部201、显示时刻输出部分202、更新前时刻输出部分203、第1比较部204、以及缓冲存储器206。该排列变更单元101h还具有：第5比较部901，将从第1时刻提取部201输出的接收VOP的VOP显示时刻Tin与来自显示时刻输出部分106的指定显示时刻Td进行比较，根据从VOP显示时刻Tin到指定显示时刻Td(Tin＜Td)的时间ΔT(ΔT=Td-Tin)是否在一定时间Tth以内，输出控制信号Csw5；通断开关902，设置在缓冲存储器206的前段，根据来自该第5比较部901的控制信号Csw5，控制向输入了编码数据流的缓冲存储器206的供给。该排列变更单元101h还具有选择开关205h代替实施例1的排列变更单元101的选择开关205，根据来自上述第1比较部204的控制信号Csw1和来自第5比较部901的控制信号Csw5，选择上述接收VOP的VOP显示时刻Tin和更新前显示时刻Td′的其中之一，并输出到缓冲存储器206。

上述通断开关902，根据来自第5比较部901的控制信号Csw5，仅从VOP显示时刻Tin到指定显示时刻Td的时间ΔT超过一定时间Tth时为非导通状态，该经过时间ΔT是所定阈值Tth以下时为导通状态。也就是说，接收的VOP数据，当从其VOP显示时刻Tin到指定显示时刻Td的时间ΔT超过一定时间Tth时，由上述通断开关902废弃，不作为存储器输入数据MEMin输出到缓冲存储器206。另一方面，接收的VOP数据，当从其VOP显示时刻Tin到指定显示时刻Td的时间ΔT是一定时间Tth以内时，通过上述通断开关902，作为存储器输入数据MEMin输出到缓冲存储器206。

另外，在上述选择开关205h，当从VOP显示时刻Tin到指定显示时刻Td的时间ΔT超过一定时间Tth时，不管来自第1比较部204的控制信号Csw1如何，选择更新前显示时刻Td′，更新前显示时刻Td′作为译码恢复时刻Tstart输出到缓冲存储器206。另一方面，当从VOP显示时刻Tin到指定显示时刻Td的时间ΔT是一定时间Tth以内时，在上述选择开关205h，根据来自第1比较部204的控制信号Csw1，选择VOP显示时刻Tin和更新前显示时刻Td′中的较早时刻作为译码恢复时刻Tstart。

本实施例8具有第5比较部901，代替实施例3的排列变更单元101c中的最早时刻提取部501和第4比较部502，图23中，与图13中的符号相同的符号，显示与实施例3的排列变更单元101c的构成要素相同的构成要素。

下面说明其动作。

本实施例8的动图象译码装置的动作，除了排列变更单元101h的动作以外，与实施例3的动图象译码装置的动作一样，下面主要说明排列变更单元101h的动作。

图24是本排列变更单元101h的动作流程图。

首先，与实施例3的排列变更单元101c一样，进行作为编码数据流Vin的输入VOP数据的接收(步骤S110)、接收VOP的VOP显示时刻Tin的提取(步骤S101)、指定显示时刻Td的输出(步骤S103)、更新前显示时刻Td′的输出(步骤S104)。

此后，在该排列变更单元101h的第5比较部901，进行从VOP显示时刻Tin到指定显示时刻Td的时间ΔT是否超过一定时间Tth的判定(步骤S901)。

当该判定结果是时间ΔT(=Td-Tin)超过一定时间Tth时，则根据来自第5控制部901的控制信号Csw5，通断开关902为非导通状态，接收VOP的VOP数据被废弃(步骤S402)。这时，即使来自第1比较部204的控制信号Csw1是显示VOP显示时刻Tin是早于更新前显示时刻Td′的时刻时，选择开关205h也将根据来自第5控制部901的控制信号Csw5，选择更新前显示时刻Td′。

另一方面，当在上述步骤S901的判定结果是时间ΔT(=Td-Tin)是在一定时间Tth以内时，则根据来自第5控制部901的控制信号Csw5，通断开关902为导通状态，接收VOP的VOP数据作为存储器输入数据MEMin供给缓冲存储器206，记录在缓冲存储器206中(步骤S105)。

此后，与实施例3的排列变更单元101c一样，进行在第1比较部的204的VOP显示时刻Tin与更新前显示时刻Td′的比较处理(步骤S106)，以及根据比较结果的VOP的输出处理(步骤S107、S108)。

在本实施例8的排列变更单元101h中，与实施例1的排列变更单元101一样，当先行VOP的VOP数据比后续VOP的VOP数据延迟接收时，将从先行VOP到应在该时刻显示的显示对象VOP的VOP数据作为视频数据流VOPstr输出到译码单元102，在译码单元，在先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，可从先行VOP的VOP数据开始恢复译码处理。

另外，在本实施例8的排列变更单元101h中，当延迟接收的延迟VOP的VOP显示时刻与在该延迟VOP接收时刻的译码侧的指定显示时刻Td的时间差是一定时间以内时，将接收VOP的VOP数据供给缓冲存储器206，则从延迟VOP到显示对象VOP的VOP数据的一部分从缓冲存储器206中削除，在对从延迟VOP到显示对象VOP的VOP数据不可能正常译码时，可以避免延迟VOP的编码数据输出到缓冲存储器。

实施例9

图25是说明本发明实施例9的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

本实施例9的排列变更单元101i具有：从输入的编码数据流Vin中提取相对于各VOP设定的VOP显示时刻Tin的第1时刻提取部201；内芷记时器(未图示)，根据编码流Vin中的基准时刻信息，更新并输出指定动图象译码装置100侧的VOP显示定时的指定显示时刻Td的显示时刻输出部分202；存储上述编码数据流Vin的缓冲存储器206。

本排列变更单元101i还具有：第1减法器1120，计算接收VOP(接收VOP数据的VOP)的VOP显示时刻Tin与在接收VOP的接收时刻设定的设定显示时刻Td0的更新前的值(更新前设定显示时刻Td0′的差分值(Td0′-Tin)；减法计数器1110，接受显示延迟接收所定VOP的VOP数据的延迟通知信号(start Sw信号)Ndel，输出作为修正时间Tdd的差分值(Td0′-Tin)，此后，每当由显示时刻输出部分202更新指定显示时刻Td时，使输出的修正时间Tdd值逐渐减小。该减法计数器1110，在输出的修正时间Tdd的值为0以后，输出0作为修正时间的值，此后，再次接受显示延迟接收所定VOP的VOP数据的延迟通知信号(start Sw信号)Ndel时，根据差分值(Td0′-Tin)使输出的修正时间Tdd逐渐减小。

上述排列变更单元101i具有：将从由显示时刻输出部分202输出的指定显示时刻Td中减去由减法计数器1101输出的修正时间Tdd得到的时刻Td0作为上述设定显示时刻输出的第2减法器1130；根据上述设定显示时刻Td0，输出其更新前的值(更新前设定显示时刻)Td0′的更新前时刻输出部分203i；根据来自上述第1时刻提取部201的VOP显示时刻Tin与上述更新前设定显示时刻Td0′的比较，输出上述延迟通知信号(start Sw信号)Ndel的延迟判定部204i；根据上述延迟通知信号(start Sw信号)Ndel，选择上述VOP显示时刻Tin和更新前设定显示时刻Td0′的其中之一，将选择的时刻作为译码恢复时刻Tstort输出的选择开关205i。

延迟判定部204i，判定接收VOP数据的接收VOP是否是比该译码处理可能接收的定时延迟接收VOP数据的延迟VOP，当接收VOP是延迟VOP时，输出上述延迟通知信号(start Sw信号)Ndel。选择开关205i，当上述延迟通知信号(start Sw信号)Ndel显示接收VOP是延迟VOP时，选择VOP显示时刻Tin，当上述延迟通知信号(start Sw信号)Ndel显示接收VOP不是延迟VOP时，选择更新前设定显示时刻Td0′。上述缓冲存储器206，将VOP显示时刻是从来自上述选择开关205i的译码恢复时刻Tstort到来自第2减法器1103的设定显示时刻Td0范围内的VOP的VOP数据作为视频数据流VOPstr输出。

下面说明其动作。

首先，当排列变更单元101i接收对应于1个图象系列(物体)的编码数据流Vin时，作为编码数据流Vin接收的VOP数据记录缓冲存储器206中。在第1时刻提取部201，提取作为该编码数据流Vin接收的VOP数据对应的VOP显示时刻(接收VOP的VOP显示时刻)Tin。在显示时刻输出部分202，根据编码数据流Vin包含的基准时刻信息，更新并输出显示动图象译码装置侧的VOP显示定时的指定显示时刻Td。

这时，在第1减法器1120，计算接收VOP(接收VOP数据的VOP)的VOP显示时刻Tin与在接收VOP的接收时刻设定的设定显示时刻Td0的更新前的值(更新前设定显示时刻Td0′的差分值(Td0′-Tin)，该差分值(Td0′-Tin)输出到减法计数器1110。在减法计数器1110，当显示所定VOP的VOP数据延迟接收的延迟通知信号(start Sw信号)Ndel从延迟判定部204i输入时，差分值(Td0′-Tin)作为修正时间Tdd输出到第2减法器1130。在差分值(Td0′-Tin)作为修正时间Tdd输出以后，每当由显示时刻输出部分202更新指定显示时刻Td时，输出的修正时间Tdd的值将逐渐减小。在修正时间Tdd的值为0以后，直到再次输入延迟通知信号(start Sw信号)Ndel，修正时间Tdd的值都维持在0。

另一方面，在减法计数器1110，当显示所定VOP的VOP数据延迟接收的延迟通知信号(start Sw信号)Ndel未输入时，不管来自第1减法器1120的差分值(Td0′-Tin)如何，作为修正时间Tdd的0输出到第2减法器1130。

在第2减法器1130，从由显示时刻输出部分202输出的指定显示时刻Td减去从减法计数器1101输出的修正时刻Tdd得到的时刻Td0作为上述设定显示时刻输出。在更新前时刻输出部分203i，根据上述设定显示时刻Td0，输出其更新前的值(更新前设定显示时刻Td0′。在延迟判定部204，根据来自上述第1时刻提取部201的VOP显示时刻Tin与上述更新前设定显示时刻Td0′的比较，输出上述延迟通知信号(start Sw信号)Ndel。也就是说，在延迟判定部204i，判定接收VOP数据的接收VOP是否是比该译码处理可能接收的定时延迟接收VOP数据的延迟VOP，当接收VOP是延迟VOP时，输出上述延迟通知信号(start Sw信号)Ndel。

在选择开关205i，根据上述延迟通知信号(start Sw信号)Ndel，选择上述VOP显示时刻Tin和更新前设定显示时刻Td0′的其中之一，选择的时刻作为译码恢复时刻Tstart输出到缓冲存储器206。也就是说，在选择开关205i，当上述延迟通知信号(start Sw信号)Ndel显示接收VOP是延迟VOP时，选择VOP显示时刻Tin，当上述延迟通知信号(start Sw信号)Ndel显示接收VOP不是延迟VOP时，选择更新前设定显示时刻Td0′。

在上述缓冲存储器206,VOP显示时刻是从来自上述选择开关205i的译码恢复时刻Tstart到来自第2减法器1103的设定显示时刻Td0范围内的VOP的VOP数据，作为视频数据流VOPstr输出。

下面说明本实施例9的效果。

在本实施例9的排列变更单元101i，当所定VOP的VOP数据延迟接收时，显示与所定VOP连续的所定的后续VOP，使比各VOP原来显示时刻延迟的实际显示时刻逐渐接近其原来显示时刻，因此即使VOP数据是延迟接收的延迟VOP时，与该延迟VOP连续的后续VOP的显示时刻被缓慢修正，即可显示移动平滑的动画。

也就是说，在延迟接收的VOP中，对原来的显示时刻(指定显示时刻Td)，实际的显示时刻(设定显示时刻Td0)仅比相当于其延迟时间的时间Tdd小。因此，从缓冲存储器206输出VOP显示时刻是其原来显示时刻Td以前的时刻的VOP(延迟VOP)的VOP数据，可显示该延迟VOP。

以下具体说明延迟接收VOP(i)的VOP数据的情况。

图26(a)是显示与延迟VOP(i)连续的后续VOP(i+1)～(i+3)的实际显示时刻(设定显示时刻Td0)逐渐接近原来显示时刻(指定显示时刻Td)的情况)

延迟VOP(i)在比其原来显示时刻t(i)延迟Tdd(=Tdd0)的时刻t′(i)显示，与延迟VOP(i)连续的后续VOP(i+1)在比其原来显示时刻t(i+1)延迟Tdd(=Tdd1＜Tdd0)的时刻t′(i+1)显示。后续VOP(i+2)在比其原来显示时刻t(i+2)延迟Tdd(=Tdd2＜Tdd1)的时刻t′(i+2)显示，后续VOP(i+3)在与其原来显示时刻t(i+3)相同时刻t′(i+3)显示。

这时，按照VOP(i)、VOP(i+1)、VOP(i+2)、VOP(i+3)的顺序，实际显示时刻(设定显示时刻Td0)与原来显示时刻(指定显示时刻Td)的差分值Tdd(=Td＜Td0)，由减法计数器1110减少，在VOP(i+3)，实际显示时刻Td0与原来显示时刻Td一致，则由于产生延迟VOP引起的后续VOP的显示时刻延迟完全消除。

当不调整与延迟VOP连续的后续VOP显示时刻时，后续VOP在原来显示时间显示，则在发生延迟VOP时，将在一定时间显示出移动不自然的动画。

图26(b)显示与延迟VOP(i)连续的后续VOP(i+1)～(i+3)在原来显示时刻(指定显示时刻Td)显示的情况。

延迟VOP(i)在比其原来显示时刻t(i)仅延迟Tdd(=Tdd0)的时刻t′(i)显示，而与延迟VOP(i)连续的后续VOP(i+1)、VOP(i+2)、VOP(i+3)分别在其原来显示时刻t(i+1)、t(i+2)、t(i+3)显示。

在本实施例9中，与实施例1的排列变更单元101一样，当先行VOP的VOP数据比后续VOP的VOP数据延迟接收时，将从先行VOP到应在该时刻显示的显示对象VOP的VOP数据作为视频数据流VOPsrt输出到译码单元102，则在译码单元，当先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，可从先行VOP的VOP数据开始恢复译码处理。

另外，由于具有在所定VOP的VOP数据延迟接收时，使与其连续的后续VOP的实际显示时刻(设定显示时刻Td0)与原来显示时刻(指定显示时刻Td)的差分值Tdd(=Td-Td0)比本来显示时刻的延迟小的减法计数器1101，则即使是延迟接收VOP数据的延迟VOP，由于与该延迟VOP连续的后续VOP显示时刻的缓慢修正，可显示移动平滑的动画。

实施例10

图27是说明本发明实施例10的动图象译码装置的方框图，显示构成该动图象译码装置的排列变更单元。

本实施例10的动图象译码装置的排列变更单元101j，与实施例1的排列变更单元101一样，具有：第1时刻提取部201、显示时刻输出部分202、更新前时刻输出部分203、第1比较部204、选择开关部205以及缓冲存储器206。

该排列变更101j具有：根据输入的编码数据流Vin和从上述选择开关205输出的译码恢复时刻Tstart，输出控制信号Cde的未接收数据判定部1201；设置在缓冲存储器206和上述选择开关205之间，根据来自未接收数据判定部1201的控制信号Cde，控制向从该选择开关205输出的译码恢复时刻Tstart的缓冲存储器206的供给的通断开关1202。

未接收数据判定部1201，对于VOP显示时刻是从接收VOP的VOP显示时刻Tin到译码恢复时刻Tstart之间的时刻的VOP，判定是否未接收VOP的数据的VOP(未接收VOP)，作为上述控制信号Cre输出显示该判定结果的信号。通断开关1202，当控制信号Cre显示是未接收VOP时为非导通状态，当控制信号Cre显示不是未接收VOP时为导通状态。也就是说，当发生未接收VOP时，译码恢复时刻Tstart不供给缓冲存储器206，不从缓冲存储器206输出视频数据流VOPstr，此后，当接收到未接收VOP的VOP数据时，从延迟接收的延迟VOP到显示对象VOP的VOP数据将作为视频数据流VOPstr，从缓冲存储器206输出。

下面说明其动作。

本实施例10的动图象译码装置的动作，除了排列变更单元101j的动作以外，与实施例1的动图象译码装置的动作一样，以下主要说明排列变更单元101j的动作。

图28是该排列变更单元101j的动作流程图。

首先，与实施例1的排列变更单元101一样，进行作为编码数据流Vin输入的VOP数据的接收(步骤S101)、接收VOP的VOP显示时刻Tin的提取(步骤S102)、指定显示时刻Td的输出(步骤S103)、更新前显示时刻Td′的输出(步骤S104)、以及向编码数据流Vin的缓冲存储器206的记录(步骤S105)。

此后，在该排列变更单元101j的未接收数据判定部1201，根据输入的编码数据流Vin和从上述选择开关205输出的译码恢复时刻Tstart，对于VOP显示时刻是从接收VOP的VOP显示时刻Tin到译码恢复时刻Tstart之间的时刻的VOP，判定是否是未接收VOP数据的VOP(未接收VOP)(步骤S1201)。

当在步骤S1201判定是未接收VOP时，通断开关1202，根据控制信号Cre为非导通状态，译码恢复时刻Tstart不供给缓冲存储器206。因此，不从缓冲存储器206输出视频数据流VOPstr。

另一方面，当在步骤S1201判定不是未接收VOP时，通断开关1202，根据控制信号Cre为导通状态，译码恢复时刻Tstart供给缓冲存储器206。

此后，与实施例1的排列变更单元101一样，进行在第1比较部204的VOP显示时刻Tin与更新前显示时刻Td′的比较处理(步骤S106)、以及根据比较结果的VOP数据的输出处理(步骤S107、S108)。也就是说，当数据VOP显示时刻Tin是早于更新前显示时刻Td′的时刻时(Tin＜Td′)，则VOP显示时刻是接收VOP的VOP显示时刻Tin和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出(步骤S108)。另一方面，在上述步骤S105的比较结果是VOP显示时刻Tin是更新前显示时刻Td′以后的时刻时(Tin≥Td′)，则VOP显示时刻是更新前显示时刻Td′和指定显示时刻Td之间的时刻的VOP的VOP数据，从缓冲存储器206输出(步骤S106)。

本实施例10与实施例1的排列变更单元101一样，当先行VOP的VOP数据比后续VOP的VOP数据延迟接收时，将从先行VOP到应在该时刻显示的显示对象VOP的VOP数据，作为视频数据流VOPstr输出到译码单元102，则在译码单元，当先行VOP的VOP数据比后续VOP的VOP数据延迟输入时，可从先行VOP的VOP数据开始恢复译码处理。

本实施例10具有未接收数据判定部1201，对于VOP显示时刻是从接收VOP的VOP显示时刻Tin到译码恢复时刻Tstart之间的时刻的VOP，判定是否是未接收VOP数据的VOP(未接收VOP)。当判定是未接收VOP时，停止向从接收VOP到显示对象VOP的VOP数据的译码单元的输出，当判定不是未接收VOP时，将从接收VOP到显示对象VOP的VOP数据输出到译码单元，在是未接收VOP的情况下直到接收到为止，停止从缓冲存储器向译码单元的视频数据流VOPstr的输出。其结果是译码单元仅由对输入的视频数据流VOPstr进行译码处理的译码器构成的情况下，可以避免在没有正确参照图象数据的状态下进行画面间予测译码处理，因此，防止了由于是未接收VOP产生的图象品质恶化，也可以阻止由所定VOP一旦产生的图象品质恶化在其以后的VOP中连续。

上述实施例10的排列变更单元101j具有实施例1的排列变更单元101中的未接收数据判定部1201和通断开关1202，也可以具有实施例2、3、4、7、8、9的排列变更单元101b、101c、101d、101g、101h、101i中的未接收数据判定部1201和通断开关1202。

上述各实施例所示的图象译码装置可以不用硬件而由软件实现。

例如，将用于在计算机上进行图象译码装置的动作的译码程序记录在程序记录媒体上，通过将来自该程序记录媒体的译码程序装入计算机系统，即可由软件实现各实施例所示图象译码装置。

以下予以简单说明。

图29是使用软塑料磁盘作为上述程序记录媒体的说明图。

图29(a)是说明软塑料磁盘物理格式的图形，图29(b)是显示软塑料磁盘和收容它的软塑料磁盘盒。

软塑料磁盘FD内装于该盒F内，在该磁盘的表面形成同心圆状由外周向内周的多个磁道TR，各磁道在角度方向被分割为16个区段Se。

存储上述译码程序的软塑料磁盘，在上述软塑料磁盘FD上的分配领域，记录上述译码程序的数据。

图29(c)显示对软塑料磁盘FD上的译码程序进行写入和读出的具体构成的一个例子。

上述译码程序通过软塑料磁盘驱动器FDD从计算机系统Cs写入软塑料磁盘FD。记录在软塑料磁盘FD上的译码程序通过软塑料磁盘驱动器FDD在计算机系统Cs中读出。在计算机系统Cs中，根据从软塑料肋FD装入的译码程序，构成上述各实施例的动图象译码装置。

在上述说明中，作为程序记录媒体仅列举了软塑料磁盘，但程序记录媒体不仅限于软塑料磁盘，例如：光盘、硬盘、磁盘、光磁盘、ROM、不丢失存储器卡片等也可以。

如上所述，本发明(权利1、7、11)包含排列变更步骤，即：作为来自发送侧的编码数据流，接收构成动图象的各图象的编码数据，对接收的各图象的编码数据，按照在该各图象设定的个别时刻从较早开始的顺序，进行在对应于各图象送出时刻送出的排列变更处理。当比在迟于第1送出时刻的第2送出时刻延迟接收在第1送出时刻应送出的显示图象的编码数据时，由于送出其个别时刻是从第1送出时刻到第2送出时刻范围内的时刻的显示图象的编码数据，则在延迟接收显示图象的编码数据时，在在先接收的显示图象的编码数据中，仅送出在该接收时刻应显示的显示图象数据的译码处理中必要的数据。因此，在进行上述送出的编码数据的译码处理的译码步骤中，可从延迟接收的显示图象的编码数据开始编码数据的译码处理，这样，即使在显示图象的编码数据延迟接收的情况下，也不会产生图象品质恶化的传播，可对编码数据进行译码处理。

本发明(权利要求2)是在权利要求1记载的动图象译码方法中，在构成上述动图象的显示顺序是最后的应该显示最终显示图象以前，接收构成上述动图象的显示图象的编码数据时，送出接收的显示图象的编码数据，而在应该显示上述最终显示图象的时刻以后，接收构成上述图象的显示图象的编码数据时，则废弃接收的显示图象的编码数据，已经进行译码处理的不必要的显示图象的编码数据也被废弃。因此，可以有效利用存储显示图象的编码数据的缓冲存储器，还可避免在译码处理部同时译码可能的图象系列(物体)的数量的不必要增大。

本发明(权利要求3)是在权利要求1记载的动图象译码方法中，在与迟于第1送出时刻的第2送出时刻延迟接收在上述第1送出时刻应送出的显示图象的编码数据时，在不可能送出其个别时刻是从第1送出时刻到第2送出时刻范围内的时刻的全部显示图象的编码数据的情况下，废弃接收的显示图象的编码数据，在不存在正确参照图象数据的状态下，可以避免进行参照译码图象数据的画面间予测译码处理，即可防止在译码过程中产生图象品质恶化的传播。

本发明(权利要求4、9、12)包含排列变更步骤，即：作为来自发送侧的编码数据流，接收构成动图象的各图象的编码数据，对接收的各图象的编码数据，按照在该各图象设定的个别时刻从较早开始的顺序，进行送出的排列变更处理。通过上述排列变更处理，当送出正常的译码处理不可能的显示图象的编码数据时，从该编码数据的送出时刻到其后经上述排列变更处理送出正常的译码处理可能的显示图象的编码数据之间，中断对显示图象的编码数据的译码处理，可避免产生显示图象的显著图象品质恶化，也可以防止与显示图象的图象品质恶化状态连续的图象品质恶化的传播。

本发明(权利要求5)是在权利要求4记载的动图象译码方法中，根据用户的操作信号，决定是否进行上述正常的译码处理是不可能的显示图象的编码数据送出时的译码处理的中断，根据用户的意愿和用途，可以在编码数据的差错检出时，选择是否中断译码处理。

本发明(权利要求6)是在权利要求4记载的动图象译码方法中，仅在上述显示图象的编码数据包含形状信息的情况下，当送出上述正常的译码处理不可能的显示图象的编码数据时，从该编码数据的送出时刻到其后送出正常的译码处理可能的显示图象的编码数据之间，中断对上述编码数据的译码处理，减小了传送差错等对图象品质的不好影响，对于没有形状信号的图象系列，可进行不损伤实时性的译码处理，但传送差错等对图象品质的不好影响大，对有形状信号的图象系列，可以减低由传送差错等引起的图象品质的恶化。

本发明(权利要求8)是在权利要求7记载的动图象译码装置中，在显示图象输出部分，当由数据排列变更部分送出其个别时刻是从第1送出时刻到第2送出时刻范围内的时刻的显示图象的编码数据时，在该送出的显示图象的编码数据中，由于仅将其个别时刻最接近第2送出时刻的显示图象的译码图象数据作为显示图象数据输出，则在译码侧，可经常在完成译码处理的显示图象中，进行最新显示图象的显示。

本发明(权利要求10)是在权利要求9记载的动图象译码装置中，在显示图象输出部分，在由译码部分对显示图象的编码数据中断译码处理期间，由于将由上述译码部分最后进行译码处理的图象译码数据作为显示图象数据输出，则在对编码数据中断译码处理期间，也可以显示已经进行了正确译码处理的显示图象。

本发明(权利要求13、17、20)中，在接收构成动图象的各图象的编码数据并进行该编码数据的译码处理时，直到该所要求的送出时刻，未能接收到在所要求的送出时刻应该向译码部分送出的显示图象的编码数据时，则直到接收在上述所要求的送出时刻应该送出的显示图象的编码数据，停止向显示图象的编码数据的译码部分的送出，在接收到在上述所要求的送出时刻应该送出的显示图象的编码数据以后，再恢复向显示图象的编码数据的译码部分的送出，在到达对应的送出时刻仍有未接收的未接收显示图象的编码数据时，则直到接收为止，停止向译码部分的编码数据的输出。其结果是即使译码部分仅由对输入的编码数据进行译码处理的译码器构成时，也可以避免在没有正确参照图象数据的状态下进行画面间予测译码处理，因此，防止了由于有未接收的显示图象的编码数据引起的图象品质恶，也可以阻止在所定显示图象一旦产生的图象品质恶化延续在以后的显示图象中。

本发明(权利要求14、18、21)中，在接收构成动图象的各图象的编码数据并进行该编码数据的译码处理时，在到达该所要求的送出时刻，未能接收到在所要求的送出时刻应该送出的显示图象的编码数据时，则直到满足所定条件，或直到接收在上述所要求的送出时刻应该送出的显示图象的编码数据，停止显示图象的编码数据的送出，在满足上述条件以后，或在接收到在上述所要求的送出时刻应该送出的显示图象的编码数据以后，再恢复显示图象的编码数据的送出，在到达对应的送出时刻仍有未接收的未接收显示图象的编码数据时，则直到接收为止，或直到所定条件满足为止，停止向译码部分的编码数据的输出。其结果是可防止由于有未接收的显示图象的编码数据引起的图象品质恶化，也可以防止由于不必要的编码数据阻碍缓冲存储器的动作。

本发明(权利要求15)是在权利要求14记载的动图象译码方法中，在上述排列变更处理时，由于将上述所定条件作为存储接收的各图象的编码数据流的缓冲存储器的残留存储容量为所定值以下的条件，则可以避免缓冲存储器的溢出。

本发明(权利要求16)是在权利要求14记载的动图象译码方法中，在上述排列变更处理时，由于将上述所定条件作为停止显示图象的编码数据的送出的时间为所定值以上的条件，则从编码数据到达延迟的延迟显示图象到在该时刻的显示对象的显示图象的编码数据的一部分从缓冲存储器中消除，在不可能对从延迟显示图象到显示对象的显示图象的编码数据正常译码的情况下，可以避免延迟显示图象的编码数据输出到缓冲存储器。

本发明(权利要求19)是在权利要求18记载的动图象译码装置中，在由数据排列变更部分停止向译码部分的显示图象的编码数据的送出后，当恢复显示图象的编码数据的送出时，由于因上述送出停止产生的显示图象的显示定时的延迟在每次显示图象显示时都使其减小，这样来进行一定时间内的显示图象的显示，则在所定显示图象的编码数据延迟接收的情况下，对与该所定显示图象连续的所定数的后续显示图象进行显示，使比该各图象的原来显示时刻延迟的实际显示时刻逐渐接近其原来显示时刻。因此，即使是延迟接收到编码数据的延迟显示图象，因与该延迟显示图象连续的后续显示图象的显示时刻得到了缓慢修正，可显示出动作平滑的动画。

Claims (21)

1．一种动图象译码方法，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码其特征是，包括：

接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，对接收的各图象的编码数据进行重新排列变更处理以在各图象对应的送出时刻，进行送出的排列变更步骤；

对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码步骤，

上述排列变更步骤，比在迟于第1送出时刻的第2送出时刻延迟接收到应在第1送出时刻送出的图象的编码数据时，其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的图象，送出编码数据。

2．根据权利要求1记载的动图象译码方法，其特征是：上述排列变更步骤，在构成上述动图象的显示顺序的最后的最终图象应该表示时刻以前，接收到构成上述动图象的图象的编码数据时，送出接收到的图象的编码数据，在应该显示上述最终图象的时刻以后，接收到构成上述动图象的图象的编码数据时，废弃接收到的图象的编码数据。

3．根据权利要求1记载的动图象译码方法，其特征是：上述排列变更步骤，应在上述第1送出时刻送出的图象的编码数据，比在迟于第1送出时刻的第2送出时刻延迟接收到时，在可能送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的全部图象的编码数据的情况下，送出该全部图象的编码数据，在不可能送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的全部图象的编码数据的情况下，废弃接收到的图象的编码数据。

4．一种动图象译码方法，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码，其特征是包括：

接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，对接收的各图象的编码数据进行重新排列变更处理进行送出的排列变更步骤；

对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码步骤，

上述译码步骤，在由上述排列变更处理，送出了不能正常译码处理的图象的编码数据时，则从该编码数据的送出时刻到此后经上述排列变更处理送出了正常的译码处理可能的图象的编码数据期间，中断对图象的编码数据的译码处理。

5．根据权利要求4记载的动图象译码方法，其特征是：上述译码步骤，在上述不能正常译码处理的图象的编码数据送出时根据用户的操作信号，决定是否中断其译码处理。

6．根据权利要求4记载的动图象译码方法，其特征是：上述译码步骤包括判定由上述排列变更处理送出的图象的编码数据是否含有显示图象形状的形状信息的形状判定步骤。

在上述图象的编码数据含有形状信息的情况下，当送出上述正常的译码处理不可能的图象的编码数据时，从该编码数据的送出时刻到其后送出正常的译码处理可能的图象的编码数据期间，中断对上述编码数据的译码处理，在上述图象的编码数据不含有形状信息的情况下，不管经上述排列变更处理送出的图象的编码数据对上述正常的译码处理是否可能，都继续进行对上述编码数据的译码处理。

7．一种动图象译码装置，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码其特征是，包括：

接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，输出已接收的各图象的编码数据的数据排列变更部分；

对从上述数据排列变更部分送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码部分；

将从该译码部分输出的各图象对应的译码图象数据，作为在所定的定时进行各图象的显示的显示图象数据而输出的显示图象输出部分，

在上述数据排列变更部分，比在迟于第1送出时刻的第2送出时刻，延迟接收到应在第1送出时刻送出的图象的编码数据时，送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的图象的编码数据。

8．根据权利要求7记载的动图象译码装置，其特征是：在上述显示图象输出部分，当由上述数据排列变更部分送出其个别时刻是从第1送出时刻到第2送出时刻的范围内的时刻的图象的编码数据时，在该编码数据被送出的图象中，仅将其个别时刻最接近第2送出时刻的图象的译码图象数据作为显示图象数据输出。

9．一种动图象译码装置，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码，其特征是，包括：

接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，送出已接收的各图象的编码数据的数据排列变更部分；

对从上述数据排列变更部分输出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码部分；

将从该译码部分输出的各图象对应的译码图象数据，作为在所定的定时进行各图象的显示的显示图象数据输出的显示图象输出部分，

上述译码部分，当从数据排列变更部分送出了正常的译码处理不可能的图象的编码数据时，在从该编码数据的送出时刻到此后从数据排列变更部分送出正常的译码处理可能的图象的编码数据期间，中断对图象的编码数据的译码处理。

10．根据权利要求9记载的动图象译码装置，其特征是：上述显示图象输出部分，在由上述译码部分中断对图象的编码数据的译码处理期间，将由上述译码部分最后进行译码处理的图象译码数据作为显示图象数据输出。

11．一种程序记录媒体，是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序记录媒体，其特征是上述程序由以下各程序构成：

计算机接收来作为自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻进行送出接收的各图象的编码数据的排列变更处理，在该排列变更处理时，当计算机在迟于第1送出时刻的第2送出时刻延迟接收到应在第1送出时刻送出的图象的编码数据的情况下，用于计算机送出其个别时刻是在从第1送出时刻到第2送出时刻的范围内的时刻的图象的编码数据的排列变更程序；

用于计算机对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码程序。

12．一种程序记录媒体，是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序存储媒体，其特征是上述程序由以下各程序构成：

计算机接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，进行送出接收的各图象的编码数据的排列变更处理的排列变更程序；

计算机对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据，在该译码处理时，当经上述排列变更处理，送出了正常的译码处理不可能的图象的编码数据时，在从该编码数据的送出时刻到此后经排列变更处理送出正常的译码处理可能的图象的编码数据期间，用于计算机中断对图象的编码数据的译码处理的译码程序。

13．一种动图象译码方法，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码其特征是，包括：

接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，进行送出接收的各图象的编码数据的排列变更处理的排列变更步骤；

对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码步骤，

上述排列变更步骤，当在到达该所要求的送出时刻时尚未接收到应在所要求的送出时刻送出的图象的编码数据的情况下，在接收到应在上述所要求的送出时刻送出的图象的编码数据以前，停止图象的编码数据的送出，在接收到应在上述所要求的送出时刻送出的图象的编码数据以后，再恢复图象的编码数据的送出。

14．一种动图象译码方法，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码其特征是，包括：

接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，进行送出接收的各图象的编码数据的排列变更处理的排列变更步骤；

对经上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码步骤，

其特征是：上述排列变更步骤，当在到达该所要求的送出时刻时尚未接收到应在所要求的送出时刻送出的图象的编码数据的情况下，在满足所定条件以前，或者在接收到应在上述所要求的送出时刻送出的图象的编码数据以前，停止图象的编码数据的送出，在满足上述所定条件以后，或者在接收到应在上7述所要求的送出时刻送出的图象的编码数据以后，再恢复图象的编码数据的送出。

15．根据权利要求14记载的动图象译码方法，其特征是：上述所定条件是在上述排列变更处理时，存储接收的各图象的编码数据流的缓冲存储器的残留存储容量为所定值以下。

16．根据权利要求14记载的动图象译码方法，其特征是：上述所定条件是在上述排列变更处理时，停止图象的编码数据的送出的时间为所定值以上。

17．一种动图象译码装置，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码其特征是，包括：

接收来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，输出接收的各图象的编码数据的数据排列变更部分；

对从上述数据排列变更部分输出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码部分；

将从该译码部分输出的各图象对应的译码图象数据，作为在所定定时进行各图象的显示的显示图象数据输出的显示图象输出部分，

上述数据排列变更部分，当在到该所要求的送出时刻时尚未接收到应在所要求的送出时刻送出的图象的编码数据的情况下，在接收到应在上述所要求的送出时刻送出的图象的编码数据以前，停止图象的编码数据的送出，在接收到应在上述所要求的送出时刻送出的图象的编码数据以后，再恢复图象的编码数据的送出。

18．一种动图象译码装置，是对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码其特征是，包括：

接收来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在各图象对应的送出时刻，输出接收的各图象的编码数据的数据排列变更部分；

对从上述数据排列变更部分输出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码部分；

将从该译码部分输出的各图象对应的译码图象数据，作为在所定定时进行各图象的显示的显示图象数据输出的显示图象输出部分，

上述数据排列变更部分，当在到达该所要求的送出时刻时尚未接收到应在所要求的送出时刻送出的图象的编码数据的情况下，在满足所定条件以前，或者在接收到应在上述所要求的送出时刻送出的图象的编码数据以前，停止图象的编码数据的送出，在满足上述所定条件以后，或者在接收到应在上述所要求的送出时刻送出的图象的编码数据以后，再恢复图象的编码数据的送出。

19．根据权利要求18记载的动图象译码装置，其特征是：上述显示图象输出部分，由上述数据排列变更部分停止向译码部分的图象的编码数据的送出以后，恢复图象的编码数据的送出时，进行一定期间内图象的显示，以便在每当图象显示时，由上述送出停止产生的图象的显示定时的延迟变小。

20．一种程序存储媒体，是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序存储媒体，其特征是上述程序由以下各程序构成：

计算机接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻进行送出接收的各图象的编码数据的排列变更处理，在该排列变更处理时，计算机在该所要求的送出时刻未能接收到应在所要求的送出时刻送出的图象的编码数据时，计算机在接收到应在上述所要求的送出时刻送出的图象的编码数据以前，停止图象的编数据的送出，在接收到应在上述所要求的送出时刻送出的图象的编码数据以后，再恢复图象的编码数据的送出的排列变更程序；

计算机对由上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码程序。

21．一种程序存储媒体，是存储用于通过计算机对由分别设定个别时刻的图象构成的动图象的图象数据进行编码得到的编码数据流进行译码处理的程序的程序存储媒体，其特征是上述程序由以下各程序构成：

计算机接收作为来自发送侧的编码数据流的各图象的编码数据，按照在该各图象设定的个别时刻的早晚顺序，在对应于各图象的送出时刻进行送出接收的各图象的编码数据的排列变更处理，在该排列变更处理时，计算机在该所要求的送出时刻未能接收到应在所要求的送出时刻送出的图象的编码数据时，计算机在满足所定条件以前，或者在接收到应在上述所要求的送出时刻送出的图象的编码数据以前，停止图象的编码数据的送出，在上述所定条件满足以后，或者在接收到应在上述所要求的送出时刻送出的图象的编码数据以后，再恢复图象的编码数据的送出的排列变更程序；

计算机对由上述排列变更处理送出的各图象的编码数据进行译码处理，生成对应于各图象的译码图象数据的译码程序。

Images