CN101594530B - 多路复用装置和方法以及解复用装置和方法 - Google Patents

Abstract

一种不使观看运动画面的用户感到不舒服的多路复用装置，运动画面包括：(i)编码单元(42)，以在对编码流中包括的所有存取单元中的两个存取单元按顺序解码的过程中，在两个预定存取单元的连接处不出现间隙的方式产生一个或多个编码流；和(ii)多路复用单元(18)，用于把其它信息与所述编码单元(42)产生的所述编码流进行多路复用。

Description

多路复用装置和方法以及解复用装置和方法

本申请是申请日为2005年6月1日，题为“在多角度观看多媒体流中多路复用的随机存取单元之间的无缝切换”的发明专利申请200580018145.3的分案申请。 

技术领域

本发明涉及一种用于多路复用包括编码画面与其它信息的一个或多个编码流，以产生多路复用数据的多路复用装置，和对多路复用数据解复用的解复用装置。本发明特别涉及能够执行诸如多角度播放等之类的特技播放的多路复用装置和解复用装置。

背景技术

最近，将声音、画面以及其它像素值集成到一种媒体中的多媒体时代已经到来，并且将报纸、杂志、TV、无线电和电话之类的通信工具的现有信息媒体也看成是多媒体的目标。一般地讲，多媒体是一种不仅将字符，而且也将图像、声音、特别是画面同时显现的形式。为了将上述现有信息媒体作为多媒体来处理，需要数字地显现信息。

但是，利用上述现有信息媒体直接地数字处理巨量信息时不现实的，因为在把上述每种信息媒体的数据量计算为数字数据量时，每个字符的数据量是1至2字节，而每秒声音的数据量不小于64千字节(电话语音质量)，每秒运动画面的数据量则不小于100兆字节(当前TV接收质量)。例如，由于具有64kbps至1.5mbps的传输速度的综合服务数字网(ISDN)的出现，TV电话已经投入商业使用，但是，TV摄像机的运动画面使用ISDN时，则不能传输它们。

这是为什么需要信息压缩技术的原因。例如，将国际电信同盟-电信标准化部(ITU-T)推荐的H.261或H.263的运动画面压缩技术标准用于TV电话。此外，利用MPEG-1标准的信息压缩技术，也使得能够将图像信息与声音信息一同存储在一张普通音乐CD(光盘)中。

在这里，运动画面专家组(MPEG)是数字压缩运动画面信号的，并且已经被ISO/IEC(国际标准化组织/国际工程协会(InternationalStandardization Organization/Internation Engineering Consortium))标准化的国际标准。MPEG-1是一种将运动画面信号压缩到1.5Mbps，即，压缩到大约百分之一的标准。此外，满足MPEG-1标准的质量是能够在大约1.5Mbps的传输率实现的中等水平。因此，将MPEG-2标准化以便满足更高画面质量的需要，并且它将运动画面信号压缩到2至15Mbps。当前，标准化MPEG-1和MPEG-2的工作组(ISO/IEC JTC1/SC29/WG11)已经将具有更高压缩率的MPEG-4标准化。MPEG-4标准(i)取得了比MPEG-1和MPEG-2更高的压缩率，(ii)允许在一个对象接一个对象的基础上编码，解码和执行操作，和(iii)实现了多媒体时代中的新的功能要求。MPEG-4的最初目的是要标准化具有低比特率的画面的编码方法，但是，目标扩展到了具有高比特率的隔行扫描画面的通用目的的编码方法。此后，ISO/IEC和ITU-T共同标准化了作为具有高压缩率的画面的下一代画面编码方法的MPEG-4AVC(高级视频编码)。预期用于下一代光盘装置或在对移动终端的广播中使用。

一般地讲，在对运动画面编码中，通过减少时间和空间冗余来压缩信息量。在针对减少时间冗余的画面间预测编码中，通过参考在前画面或随后画面，在一块接一块的基础上执行运动评估和预测画面产生，并且对得到的预测画面和要编码的画面之间的差值进行编码。这里使用的“画面(Picture)”是代表一个画面的术语。在逐行画面中，它代表一帧；在隔行画面中，它代表一帧或一场。这里所述的“隔行扫描画面”表示由具有轻微时间滞后的两个场构成的帧。在隔行画面的编码和解码中，可以将一帧作为一帧来处理，将一帧作为两个场来处理，或在帧中在逐块的基础上将帧结构来处理或作为场结构来处理。

用于执行不参考任何参考画面的内部预测编码的画面叫做内编码画 面(Intra Coded Picture)(I画面)。此外，用于执行仅参考一个画面的相互间预测编码的画面叫做预测编码画面(Predictive Coded Picture)(P画面)。用于执行参考两个参考画面的相互间预测编码的画面叫做Bi-预测编码画面(Bi-predictive Coded Picture)(B画面)。B画面可以参考选择为在显示时间上在前和在后画面的任意组合的两个画面。这两个参考画面可以在一块接一块基础上规定，块是编码和解码的基础单元。这些参考画面如下相互区分：将编码比特流中较早说明的参考画面称为第一参考画面，而把以后说明的其它参考画面称为第二参考画面。应当注意，为了编码或解码I画面、P画面和B画面，这些参考画面必须是已经编码或解码的。

运动补偿内部预测编码用于P画面和B画面的编码。运动补偿内部预测编码是一种应用运动补偿的内部预测编码方法。运动补偿是一种通过估算画面的每个块的运动量(以下称为运动向量)和通过执行考虑到运动向量的预测编码而提高预测精度和减小数据量的方法。例如，通过估算要编码的画面的运动向量和通过给位移了每个运动向量的量的每个预测值与要编码的每个当前画面之间的每个预测余量编码，而减小数据量。在使用这种方法的情况下，由于在解码中需要运动向量信息，所以也要编码、记录或发送运动向量。运动向量是在一个宏块接一个宏块的基础上估算的。更具体地讲，运动向量是通过固定要编码的宏块、在搜索范围内移动参考画面的宏块、和发现最靠近标准块的参考宏块的位置而估算的。

图1A和1B分别是现有MPEG-2流的结构图。

如图1B中所示，MPEG-2流具有下面要说明的层级结构。流是由画面组(Group of Pictures)(以下称为GOP)构成的。将GOP用作编码处理过程中的基础单元能够编辑运动画面或执行随机存取。GOP是由I画面、P画面、和B画面构成的。流、GOP、和画面进一步包括指示单元的边界的同步信号(sync)，和指示各单元中共同数据的首部，在这里各单元分别是流、GOP和画面。

图2A和2B分别示出了如何执行MPEG-2中使用的画面间预测编码的例子。

图中带有斜线的画面是被其它画面参考的画面。如图2A中所示，在 MPEG-2中的预测编码中，P画面(P0，P6，P9，P12和P15)可以仅参考选择为在显示时间上紧挨靠前的I画面或P画面的单一画面。B画面(B1，B2，B4，B5，B7，B8，B10，B11，B13，B14，B16，B17，B19和B20)可以参考选择作为紧挨靠前的I画面或P画面和紧挨靠后的I画面或P画面的组合的两个画面。此外，要确定画面在流中放置的顺序。多个I画面和一个P画面按照显示时间的顺序放置，而每个B紧挨着要紧接着B画面之后显示的I画面之后放置，或紧接着一个P画面之后放置。作为GOP的结构的例子，如图2B中所示，从I3到B14的画面被组成一个单一的GOP。

图3A至3B分别示出了解码顺序，显示顺序，和在MPEG-2流中使用的GOP结构的解码时间和显示时间之间的发生的延迟量。

在此，MPEG-2流具有固定的帧频，并同时解码和显示P画面。在MPEG-2流中，如图3A和3B所示，作为从GOP顶部画面的解码时间到顶部画面的延迟时间的时间滞后的延迟量最大等于一个帧或两个场。在下文中将该延迟量称为帧延迟，并在逐帧的基础上计算帧延迟的长度(一帧对应于两场)。诸如数字多用盘(DVD)之类的光盘装置采用MPEG-2标准，其中定义帧延迟被固定为1。应该指出，在例如以60Hz显示已经以24Hz编码的流的下拉(pulling down)时，延迟量是可变的。由于能够根据按照帧频显示编码流的情况来确定延迟量，下面描述按照帧频显示编码流的情况。

图4是MPEG-4AVC流的结构图。在MPEG-4AVC中，不存在与GOP等价的概念。但是，由于可以通过在能够不依赖其它画面解码的特定画面的单元中将数据分段来构造等价于GOP的随机存取单元，以下将这种单元称为RUA(随机存取单元(Random Access Unit))。

MPEG-4AVC中有两种类型的I画面。它们是瞬时解码器刷新(IDR)画面和另一种类型。IDR画面是可以不用参考按解码顺序放置在IDR画面之前的画面，能够对按解码顺序放置在IDR之后的所有画面解码的I画面。IDR画面对应于MPEG-2闭合GOP的最前端I画面。在I画面不是IDR画面的情况下，按解码顺序位于该I画面的之后的画面可以参考按解码顺 序位于该I画面前面的画面。另外，通过把不是IDR画面的I画面放置在随机存取单元RAU顶部和限制随机存取单元RAU中的画面的预测结构，能够形成象MPEG-2中开放GOP的结构。

图5是MPEG-4AVC流中画面的预测结构的一个实例。由于MPEG-4AVC允许灵活的预测结构，例如，画面P2可以参考画面P8。在图5的例子中，由于在画面I8之后开始显示并且首先对画面P2解码，帧延迟变成2。由于预测结构在这种方式中是灵活的，不象MPEG-2的情况那样，帧延迟最大不限于1。这意味着帧延迟可以依据预测结构而改变。因此，不能以帧延迟固定为1为条件进行播放。

诸如DVD之类的数据包媒体具有特技播放功能，例如(i)播放，即有选择地播放相同流的特定部分或能够连续播放不同的流，和(ii)多角度播放，即以不同角度执行改变流的播放。使用该功能的基本单元是MPEG-2中的GOP，和MPEG-4AVC中的随机存取单元RAU。

图6A至6C示出了MPEG-2中要播放的改变流的实例。图6A至6C分别示出了流1，2，和3中包括的GOP。在此，通过在GOP 1-1后对GOP2-1解码使要播放的流从流1改变到流2。由于帧延迟量在GOP 1-1和GOP2-1二者中都是1，这样能够使其以固定的速率进行播放，而不允许在显示时出现间隙。同样，通过在GOP 1-1后对GOP 3-1解码，能够从流改变到流3。

按常规，已经提出了象上述那样涉及运动画面编码，多路复用，解码，和解复用的各种技术。(例如，参考日本专利申请公开No.2003-18549)。

图7是表示用于对运动画面数据编码和多路复用的传统多路复用装置的操作的流程图。

首先，在步骤101和102，多路复用装置对一个或多个流编码。接下来，在步骤103，产生管理信息，然后进行到步骤104。管理信息包括用于存取在步骤101产生的流的信息，和指示在诸如多角度播放等之类的特技播放时要播放的数据的信息。此后，在步骤104，将管理信息与流数据多路复用，以输出复用的数据。

图8是表示传统的多路复用装置的结构的方框图。

多路复用装置800包括编码单元11，存储器12，管理信息产生单元13和多路复用单元14。

编码单元11对输入的运动画面数据Vin编码，并将编码的数据strIn存储到存储器12中。

管理信息产生单元13从存储器12读出编码数据，作为读出数据strOut1，产生管理信息库，和向多路复用单元14输出该管理信息库。应该指出，该管理信息库不包括与帧延迟有关的信息。

多路复用单元14多路复用下列数据：(i)管理信息库，(ii)已经从存储器12读出的读出数据strOut2，和(iii)附加信息adInf，例如，由用户设置的、并与流分开获得的设置信息，然后输出复用的数据MuxDat。在此，如果不需要，可以不使用附加信息adInf。另外，可以采用诸如MPEG-2传送流(TS)或程序流(PS)之类的方案，或由应用预定的其它方案对读出数据strOut2打包，然后对其多路复用。例如，在蓝光盘(BD)标准中，采用把4字节首部加到被称为源数据包(Source Packet)的MPEG-2TS数据包的方案多路复用读出数据strOut2，然后存储。

图9A示出了从多路复用装置800输出的复用数据的结构实例。

如图9A所示，管理信息和一个或多个编码流被存储在复用数据中。另外，处理每个流作为一个或多个码片使其能够实现各种播放方法，例如摘要播放和多角度播放。在此，一个码片示出一个画面或一个随机存取单元RAU中的画面序列，或相同流的随机存取单元RAU的序列。图9B和9C示出了播放实例。特别是，图9B示出了多角度播放的实例。在流1和流N分别以不同的角度存储视频的情况下，能够通过在流1的码片1-1之后通过改变角度来播放流N的码片N-2，并在码片N-2播放完后返回流1的播放。图9C示出了摘要播放的实例。例如，通过有选择地播放流1中的码片1-1和码片1-M来播放典型场景。

图10是表示对复用数据进行解复用，以获得编码数据并播放编码数据的传统解复用装置的操作流程图。

首先，在步骤S201中，解复用装置对复用数据解复用以获得管理信息，获得与要播放的一个或多个码片有关的信息，然后进展到步骤204。 与码片有关的信息包括码片的开始时间，结束时间，用于在码片中存取编码数据的存取信息等。在步骤204和205，解复用装置解码并显示该码片中的画面，直到该码片中的最后画面。在此，在用户操作发出指示结束播放的指令等的情况下，在该指令变为有效时结束播放。

图11是表示传统解复用装置的结构的方框图。

解复用装置900包括管理信息解复用单元21，码片信息分析单元22，解码单元24和显示26。

管理信息解复用单元21从诸如光盘之类的复用数据记录介质读出复用数据MuxDat，分析管理信息，和根据用户之类或预定方法确定要播放的码片。此后，管理信息解复用单元21向码片信息分析单元22输出码片信息Clip，作为与确定的码片有关的信息。

码片信息分析单元22向解码单元24输出用于存取构成码片的画面的存取信息acs。另一方面，解码单元24根据存取信息acs，从复用数据记录介质读出视频数据Vdat，对读出的数据解码，和把解码结果decOut输出到显示单元26。显示单元26按显示顺序显示解码结果。

MPEG-4AVC允许灵活的预测结构，码片的帧延迟因此是可变的。由于传统的解复用装置改变码片而没有考虑码片的帧延迟，在改变具有不同帧延迟的码片时在画面的显示间隔中出现间隙。

图12A至12C示出了从具有一个帧延迟的码片改变到具有两个帧延迟的帧的实例。

图12A示出了具有一个帧延迟的流1的随机存取单元RAU1-1，图12B示出了具有两个帧延迟的流2的随机存取单元RAU2-1。在此，图12C示出了在RAU1-1之后播放RAU2-1时的解码和显示时序。

由于RAU1-1的帧延迟是1，当显示在RAU1-1的解码顺序中在最后的画面P15时，对RAU2-1的顶部画面P18进行解码。然而，RAU2-1的帧延迟是2，在对解码顺序中处在第二的画面P2解码时，RAU2-1中的画面显示仍没有开始。因此，在对P2解码时没有显示画面。因此，在画面P15和画面B0之间的显示间隔中出现间隙。

同样，在随机存取单元RAU2-1之后播放随机存取单元RAU1-1的情 况下，在连续显示解码间隔中出现间隙。换句话说，在显示间隔中出现交迭。下文中，显示顺序中的间隙是指在连接的帧延迟量增加和降低的两种情况下出现连接中断。

如上所述，由于传统的解复用装置不能显示位于具有不同帧延迟的码片被改变的部分的画面，而保持固定的帧，因此传统的多路复用和解复用装置具有使观看运动画面的用户感觉不舒服的问题。

为了解决上述问题而考虑了本发明。本发明的目的是提供一种将编码流与其它信息多路复用以产生复用数据的多路复用装置，和用于对复用数据解复用以播放编码流的解复用装置，以便即使在进行诸如多角度播放之类的任何特技播放时也不回使用户感到不舒服。

发明内容

为了实现上述目的，本发明的多路复用装置将一个或多个编码流与其它信息复用，所述编码流包括以可随机存取的存取单元为单位的编码画面，所述多路复用装置包括：编码单元，用于产生编码流，以便在对编码流中包括的所有存取单元中的两个存取单元按顺序解码的过程中，在两个预定存取单元的连接中不出现间隙；多路复用单元，用于把其它信息与编码单元产生的编码流进行多路复用。例如，在本发明的第一方面中，编码单元产生编码流，以使两个存取单元中的延迟量变得彼此相等，每个延迟量是从对解码顺序中的顶部画面解码时起到显示显示顺序中的顶部画面时的时间滞后。

以使要被进行特技播放的两个存取单元(例如，码片)的延迟量(帧延迟)变得彼此相等的方式产生编码流。因此，在按顺序对这些存取单元解码时在这些存储单元的连接中不出现间隙。换句话说，这些存取单元在进行特技播放时彼此无缝地连接。这意味着帧频是不变的。因此，能够消除给观看由这些存取单元构成的运动画面的用户造成的不舒服的感觉。在此，例如，产生编码流，以便在根据应用程序的操作标准预定延迟量的情况下，将这两个存取单元的延迟量调节到预定的延迟量。

另外，在本发明的第二方面中，多路复用装置还包括延迟信息产生单 元，用于产生与延迟量有关的延迟信息，在该装置中，多路复用单元可以将其它信息与延迟信息产生单元产生的延迟信息进行复用。例如，在本发明的第三方面中，延迟信息产生单元产生指示延迟量的延迟信息。作为替换，在本发明的第三方面中，延迟信息产生单元产生指示能够无缝地连接两个存取单元的标记，作为延迟信息。

这样，在延迟信息(帧延迟信息)指示延迟量的情况下，解复用装置能够通过该延迟信息很容易地获得这两个存取单元中的延迟量。另外，在作为延迟信息的标记指示这两个存取单元的延迟量彼此相等的情况下，解复用装置能够很容易地获得这两个存取单元中的延迟量。因此，能够使解复用装置进行更正确的解复用处理。

另外，在本发明的第二方面中，编码单元可以以编码流中包括的所有存取单元中的两个存取单元的连接不出现间隙的方式产生编码流，该连接是角度可变点。

由于这两个存取单元具有不同的角度，与前面描述的情况相同，在按顺序对这些存取单元解码时，这些存取单元的连接中不出现间隙。换句话说，以无缝多角度的方式连接这些存取单元。这意味着帧频是不可变的。因此，能够消除给观看由这些存取单元构成的运动画面的用户造成的不舒服的感觉。

另外，为了实现上述目的，本发明的解复用装置多路复用数据进行解复用，所述复用数据包括：(i)包括以可随机存取的存取单元为单位的编码画面的编码流；和(ii)与所有存取单元中的两个预定存取单元中的延迟量有关的延迟信息，每个延迟量是从对解码顺序中的顶部画面解码时起到显示显示顺序中的顶部画面时的时间滞后，所述解复用装置包括：延迟信息解复用单元，用于对复用数据解复用，以获得延迟信息；和播放单元，用于根据在延迟信息解复用单元已经对复用数据解复用时获得的延迟信息，来按顺序解码和播放存取单元。

在以对这两个存取单元(例如，码片)进行特技播放的延迟量变得彼此相等的方式产生编码流的实例情况下，能够按顺序解码和播放这两个存取单元，而不允许在特技播放时不在这两个存取单元的连接中出现间隙。 换句话说，能够变成无缝地连接这些存取单元。这意味着能够使帧频不变。结果是，能够消除给观看由这些存取单元构成的运动画面的用户造成的不舒服的感觉。另外，在由延迟信息(帧延迟信息)指示延迟量的实例情况下，能够通过延迟信息很容易地获得这两个存取单元的延迟量。此外，在使用标记指示延迟信息的情况下，能够很容易地获得指示这两个存取单元的延迟量彼此相等的信息。因此，能够进行更正确的解复用处理。

另外，为了实现上述目的，在本发明的多路复用方法中，对运动画面编码，并将编码的运动画面与管理信息复用，该多路复用方法包括：产生一个或多个编码流；获得编码流中的帧延迟；产生包括用于指示获得的帧延迟的信息的管理信息；和对编码流与管理信息进行复用。在该多路复用方法中，编码流由一个或多个随机存取单元构成，帧延迟指示分别在这些随机存取单元中，从对解码顺序中的顶部画面解码时起到显示显示顺序中的顶部画面时的时间段期间分别出现的延迟量，并且编码流中的帧延迟是可变的。

另外，管理信息可以包括编码流的帧延迟。

另外，管理信息可以包括编码流中帧延迟的最大值。

另外，管理信息可以包括相等帧延迟，作为帧延迟彼此相等时编码流中的公共帧延迟。

另外，管理信息可以包括基于这些随机存取单元构成的播放单元的帧延迟。

另外，本发明的解复用方法是对根据多路复用方法复用的数据进行解复用并播放得到的解复用数据的解复用方法。所述解复用方法包括：获得要播放的这些随机存取单元所属的编码流的帧延迟；根据获得的帧延迟确定播放时的帧延迟；和根据确定的帧延迟播放这些随机存取单元中包括的画面。

另外，在确定帧延迟的过程中，可以以与刚刚作为当前随机存取单元被播放的随机存取单元的帧延迟相等的帧延迟来播放跟在当前随机存取单元之后的这些随机存取单元。

应该指出，本发明不仅能够作为上面已经描述的多路复用装置，解复 用装置，多路复用方法和解复用方法来实现，而且以用于多路复用装置和解复用装置的程序，存储该程序的记录介质，和由多路复用装置产生的复用数据来实现。

至此，由于即使在特技播放时本发明也能够保证以固定的帧频显示，因此能够消除用户不舒服的感觉。特别是，本发明能够改善数据包介质的播放质量，因此非常实用。

有关本申请的技术背景的进一步信息

在此引入2004年6月2日提交的包括说明书，附图和权利要求在内的日本专利公开No.2004-165030揭示的整体内容作为参考。

附图说明

从以下结合示出了本发明的特殊实施方式的附图的说明中，可以清楚地了解本发明的这些和其它目的、优点和特征。在附图中：

图1A和1B是显示MPEG-2流结构的示意图。

图2A和2B是显示MPEG-2中的GOP结构的示意图；

图3A和3B是显示MPEG-2流中的帧延迟的示意图；

图4是显示MPEG-4AVC流的结构的示意图；

图5是显示MPEG-4AVC流中预测结构的一个实例的示意图；

图6A至6C是显示MPEG-4AVC流中如何改变码片的实例的示意图；

图7是显示传统多路复用装置的操作的流程图；

图8是显示传统多路复用装置的结构的方框图；

图9A至9C是显示从传统多路复用装置输出的数据的结构实例的示意图；

图10是显示传统多路复用装置的操作的流程图；

图11是显示传统多路复用装置的结构的方框图；

图12A至12C是显示播放由传统多路复用装置输出的复用数据时出现的问题实例的示意图；

图13是显示本发明第一实施方式中的多路复用装置的操作的流程图；

图14是显示本发明第一实施方式中的多路复用装置的方框图；

图15A至15E是显示由本发明第一实施方式中的多路复用装置输出的数据结构的实例的示意图；

图16是显示本发明第二实施方式中的多路复用装置的操作的流程图；

图17是本发明第二实施方式中的多路复用装置的方框图；

图18是显示本发明第三实施方式中的解复用装置的操作的流程图；

图19是显示本发明第三实施方式中确定播放中的帧延迟时解复用装置的操作的流程图；

图20A至20D是显示本发明第三实施方式中确定播放中的帧延迟时解复用装置的操作实施例的流程图；

图21是显示本发明第三实施方式中的解复用装置的方框图；

图22是显示HD-DVD的数据层级的示意图；

图23是显示HD-DVD的逻辑空间结构的示意图；

图24是显示VOB信息文件的结构的示意图；

图25是时间映射的示意图；

图26是显示播放列表文件的结构的示意图；

图27是显示对应于播放列表的程序文件的结构的示意图；

图28是显示BD盘管理信息文件的结构的示意图；

图29是显示用于记录全局事件处理器的程序文件的结构的示意图；

图30是显示HD-DVD播放器的概况结构的方框图；和

图31A和31B是显示记录用于实现本发明的多路复用方法和解复用方法的程序的记录介质的结构的示意图；和图31C是说明记录和播放灵活盘上的程序的结构的示意图。

具体实施方式

以下参考附图说明本发明的实施方式。

(第一实施方式)

图13是显示本发明第一实施方式中的多路复用装置的操作的流程图。 多路复用装置输出经多路复用的数据，经复用的数据能够指示复用数据中存储的编码流的帧延迟信息。

首先，在步骤301中，多路复用装置产生MPEG-4AVC编码流。在步骤302，获得在步骤301产生的编码流的帧延迟，并进展到步骤303。在步骤303中，判断是否已经产生了多路复用数据中要存储的所有编码流，并重复步骤301和步骤303的过程，直到已经产生了所有编码流。在步骤304，产生要作为复用数据的管理信息存储的帧延迟信息，并进展到步骤305。在步骤305，除了由传统多路复用装置产生的信息之外，还产生用于指示帧延迟信息的管理信息。最后，在步骤306，将步骤301产生的编码流与在步骤305产生的管理信息进行复用，然后输出复用数据。

图14是显示本发明第一实施方式中的多路复用装置的结构的方框图。

多路复用装置100A包括编码单元15，存储器12，管理信息产生单元16，帧延迟获得单元17和多路复用单元18。

应该指出，本实施方式的多路复用装置100A的上述组件与图8所示的传统多路复用装置中的相同组件被赋予了相同的参考标号，并且不再对这些组件进行描述。

编码单元15对输入的运动画面数据Vin进行编码，并把得到的编码数据strIn存储到存储器12中。另外，编码单元15向帧延迟获得单元17输出编码数据strIn的帧延迟frDly。

帧延迟获得单元17产生要存储在管理信息中的延迟信息dlyInf作为帧延迟信息，然后将其输出到管理信息产生单元16。

管理信息产生单元16根据对从存储器12读出的编码数据strIn和延迟信息dlyInf的分析结果产生管理信息库，作为读出数据strOut1，然后将其输出到多路复用单元18。

多路复用单元18对管理信息库，从存储器12读出的读出数据strOut2和与编码数据分开获得的、作为用户设置信息的附加信息adInf，然后输出复用数据MuxDat。应该指出，可以将编码时的帧延迟限制在预定值或低于预定值，该帧延迟由编码单元15设置。

图15A至15E示出了由多路复用装置100A输出的复用数据的结构实 施例。

复用数据示出了如图15A所示的存储在复用数据中的码片的帧延迟信息。在此，复用数据中存储码片数量为N，帧延迟为从延迟1到延迟N。应该指出，各个码片可以是指示相同编码流中的不同区域的单元，或者可以是属于不同编码流的码片。

图15B至15C示出了帧延迟信息的结构。图15B存储各个码片的帧延迟作为表信息。图15C示出了码片的帧延迟的最大值。作为最大值，可以示出复用数据中存储的所有码片的帧延迟中的最大值，或者可以根据播放列表给出按顺序要播放的码片的帧延迟中的最大值。另外，可以将预定值表示为最大值。图15D示出了各个码片中共同使用的帧延迟的值。在各个码片的帧延迟是可变的情况下，可以表示出这些值。另外，在各个码片的帧延迟不可变的情况下，可以表示出在播放时使用的帧延迟。图15E示出了码片的帧延迟是否彼此相等。例如，存储指示这些帧延迟是否彼此相等的标记信息。应该指出，图15B至15D示出的信息可以被组合使用。

应该指出，可以表示出只与特定的码片有关的帧延迟信息。首先，能够根据码片的播放方法，给出与用于多角度播放或摘要播放的码片有关的帧延迟信息。另外，能够根据码片中顶部随机存取单元的属性来设置帧延迟。例如，在定义在IDR画面改变角度的情况下，可以给出只与其顶部随机存取单元是IDR画面的码片有关的帧延迟信息。另外，可以只在保证彼此无缝地连接码片的摘要播放的情况下给出帧延迟信息。

另外，可以给出复用数据中存储的编码流的帧延迟信息，而不直接给出各个码片的帧延迟信息。此时，通过把每个码片所属的编码流与指示编码流的帧延迟的信息相关联，能够给出各个码片的帧延迟。可以在下面的两种情况下使用该方法：(i)相同编码流中的各个码片的帧延迟不可变的情况下，和(ii)给出相同编码流中包括的码片的帧延迟的最大值的情况下。

在使用诸如蓝光盘(BD)或高清晰(HD)-DVD之类的应用标准的情况下，这些标准定义帧延迟应该彼此相等，或定义帧延迟间的最大值或预定值，由于该应用标准给出了与帧延迟有关的信息，应该指出，不能存 储帧延迟作为管理信息。

另外，在利用诸如TS或实时传输协议(RTP)之类的协议经网络接收复用数据的情况下，可以获得帧延迟信息作为播放控制信息。例如，在向播放终端通知播放控制信息时使用刻录段落(session)描述协议(SDP)的情况下，能够描述SDP中的帧延迟信息。另外，通过指示诸如同步多媒体综合语言(SMIL)之类的场景描述语言中的帧延迟信息，可以向播放终端通知帧延迟。

另外，可以在一个随机存取接随机存取的基础上指示帧延迟信息。另外，可以通过例如将其加到随机存取单元RAU中的顶部画面来在编码流中指示帧延迟信息。

这样，通过由多路复用装置输出的复用数据中的管理信息来指示帧延迟信息。因此，在播放复用数据时调节帧延迟使其能够播放编码流，而不允许在改变码片时在显示中出现间隙。

(第二实施方式)

图16是显示本发明第二实施方式中的多路复用装置的操作的流程图。

首先，在步骤401，多路复用装置设置存储在复用数据中的编码流共同使用的帧延迟的值。在步骤402，根据已经在步骤401设置的帧延迟来产生MPEG-4AVC编码流。在步骤403，判断是否已经产生了多路复用数据中要存储的所有编码流，并重复步骤402的过程，直到对所有编码流进行了编码。在步骤404，产生要作为复用数据的管理信息存储的帧延迟信息，并进展到步骤405。在步骤405，除了由传统多路复用装置产生的信息之外，还产生用于指示帧延迟信息的管理信息。最后，在步骤406，将步骤401产生的编码流与在步骤405产生的管理信息进行复用，然后输出得到的复用数据

图17是显示本发明第二实施方式中的多路复用装置的结构的方框图。

多路复用装置100B包括帧延迟确定单元41，编码单元42，存储器12，管理信息产生单元16，和多路复用单元18。

应该指出，本实施方式的多路复用装置100B的上述组件与图8所示 的传统多路复用装置中的相同组件被赋予了相同的参考标号，并且不再对这些组件进行描述。

帧延迟确定单元41确定编码流的帧延迟，并向编码单元42和管理信息产生单元16输出延迟信息dlyInf。在此确定的帧延迟可以是应用标准预定的值，或者可以针对多路复用装置设置，或由用户设置。编码单元42根据延迟信息dlyInf指示的帧延迟来对输入的运动画面数据Vin进行编码，然后把编码的数据strIn存储到存储器12中。换句话说，编码单元42以使随机存取单元的单元中的帧延迟彼此相等的方式产生一个或多个编码数据strIn，以致在按顺序对作为一个或多个编码数据strIn中包括的存取单元(其编码数据或码片)的两个特定的存取单元解码时，使这些存取单元的连接中不出现间隙。应该指出，防止在解码时这些存取单元的连接中出现间隙是指防止画面的显示间隔中出现间隙，防止画面的解码间隔中出现交迭。

管理信息产生单元16根据对从存储器12读出的编码数据strOut1和延迟信息dlyInf的分析结果来产生管理信息库，作为读出数据strOut1和延迟信息dlyInf，然后将管理信息库输出到多路复用单元18。

多路复用单元18复用(i)管理库，(ii)已经从存储器12读出的读出数据strOut2，和(iii)诸如由用户设置信息之类从编码数据分开获得的附加信息adInf，然后输出得到的复用数据MuxDat。

应该指出，在由应用标准等预先定义帧延迟的情况下，多路复用装置100B可以具有不包括帧延迟确定单元41的结构，可以代替的是，编码单元42根据固定的帧延迟来执行编码处理。在帧延迟在编码流中不变的条件下，能够在管理信息中不包括帧延迟信息的情况下确定播放时的帧延迟。因此，不需要在管理信息总是指示帧延迟信息。

由于由多路复用装置以这种方式输出复用数据的情况下复用数据中要存储在的编码流中的帧延迟是不可变的，因此各个码片的帧延迟也是不可变的。因此，即使在改变码片的情况下，也能够在开始播放时在显示中无缝地播放编码流，而不需要调节帧延迟。

应该指出，在上述实施方式中，可以采用除MPEG-4AVC外的编码方 案，只要其定义帧延迟是可变的。

另外，可以在无缝连接或无缝多角度播放中按顺序播放的这些随机存取单元(编码流或码片)的帧延迟不可变。在此，无缝连接是指无缝地连接相同流或不同流中包括的码片。另外，无缝多角度播放是指连接编码流中包括的、其角度彼此不同的码片，并且改变这些角度。例如，可以在从开始时间到第30秒的时间段期间采用一种角度，并在从第30秒到第60秒的时间段期间选择多个角度来进行播放。此时，表示不同角度的每个码片具有相同的帧延迟。另外，可以使每个角度的帧延迟不变，而与其是否能够无缝地进行多角度播放无关。这是由于，在多角度播放时帧延迟以角度为单位改变的情况下，再现质量是可改变的。应该指出，可以对编码流进行这种无缝连接或无缝多角度播放。

应该指出，可以要求无缝连接或多角度播放中使用的每个存取单元满足下列条件：能够不参考比第一存取单元早解码的第二存取单元中的画面来对第一存取单元中的任意画面解码。象这样的存取单元对应于MPEG-2中的封闭GOP，或MPEG-4AVC中以IDR画面开始的随机存取单元RAU。因此，可以使能够参考相同存取单元内的画面对其组成画面解码的存取单元中的帧延迟不可变。

另外，在使上面描述的无缝连接等中按顺序播放的这些存取单元的帧延迟不可变的情况下，多路复用装置预先判断是否应该对应该产生的这些存取单元进行无缝连接或无缝多角度播放。此后，在多路复用装置判断这些存取单元应该是目标的情况下，以使目标随机存取单元的帧延迟彼此相等的方式进行编码，以产生编码流。例如，在对两个编码流进行无缝连接等的情况下，产生向后编码流，以使向后编码流的帧延迟与向前编码流的帧延迟相等。

另外，管理信息库中包括的帧延迟信息可以指示针对诸如无缝连接之类的特定存取单元(编码流或码片)的帧延迟是共同。另外，也可以是指示存取单元可以变成无缝连接的目标，多角度播放等的标记。这样的标记被存储在播放列表，时间映射等中，作为指示连接属性的信息。

(第三实施方式)

图18是表示本发明第三实施方式中的解复用装置的操作的流程图。解复用装置输入和播放由第一和第二实施方式中的多路复用装置产生的多路复用数据。

首先，在步骤501，解复用装置对复用数据解复用，以获得管理信息，并获得与要播放的码片有关的信息。根据由来自用户的指令，或管理信息中的播放列表等预定的播放顺序来确定要播放的码片。

接下来，在步骤502，获得在步骤501被确定为要播放码片的码片帧延迟信息，并进展到步骤503。在步骤503，根据在步骤502获得的帧延迟信息确定在播放码片时的帧延迟。

在步骤504和步骤505，解码并显示码片中的画面，直到码片中最后的画面。在此，在通过用户操作指令播放结束的情况下，在该指令变为有效时结束播放。应该指出，在步骤501至步骤503中，只在改变属于不同编码流的码片时可以确定帧延迟。

图19是显示图18的步骤503中的播放期间确定帧延迟时的操作的流程图。

首先，在步骤601，解复用装置判断包括在解复用数据中的编码流的帧延迟是否不可变。在帧延迟不可变的情况下，流程进展到步骤603。相反，在帧延迟可变的情况下，流程进展到步骤602。

在步骤603，确定播放具有共同帧延迟的复用数据中的编码流。在步骤602，判断按顺序要播放的码片的帧延迟是否不可变。在帧延迟不可变的情况下，流程进展到步骤604。相反，在帧延迟可变的情况下，流程进展到步骤605。在步骤604，确定根据播放中顶部码片的帧延迟来播放编码流。在步骤605，确定调节播放中的帧延迟。下面描述可用于在播放中调节帧延迟的方法。

1.调节要播放码片的帧延迟中的最大帧延迟。

2.刚刚播放的码片的帧延迟。

3.使用预定的帧延迟。

在能够确定要播放的码片的情况下，第一种方法特别有效。在由用户 指令动态改变要播放的码片的情况下，第二种方法特别有效。另外，在能够从复用数据的管理信息，或编码流中的信息，或由应用标准获得帧延迟的最大值的情况下，第三种方法有效。另外，可以使用为该装置预定的帧延迟。

图20C和20D分别示出了第一和第二种方法的实施例。图20C示出了在具有一帧延迟的码片1之后播放具有两帧延迟的码片2的实施例。在此，播放码片1时的帧延迟是2。图20D示出了正在播放具有两帧延迟的码片2时由用户指令改变到具有一帧延迟的码片1的实施例。此时，码片1的帧延迟最初是1，根据码片2的帧延迟，在码片1的帧延迟是2的前提下对其进行播放。以这种方式确定帧延迟，使得能够在播放编码流时在码片1和码片2之间进行改变的位置的显示间隔中不出现间隙。

应该指出，可能存在复用数据中的编码流的帧延迟彼此相等时，解复用数据中没有给出帧延迟信息的情况，如第二实施方式中所示。在象这样播放复用数据的情况下不需要步骤502中的过程。另外，优选的是，在步骤503中开始显示时确定帧延迟的情况下，调节播放中顶部码片的帧延迟。

另外，在由应用标准等定义帧延迟的最大值的情况下，解复用装置可以一直根据预定义的最大值来播放复用数据。

图21是显示第三实施方式的解复用装置的结构的方框图。

解复用装置200包括管理信息解复用单元51，码片信息分析单元52，帧延迟确定单元53，解码单元54，和显示单元55。

管理信息解复用单元51从诸如光盘之类的复用数据记录介质读出复用数据MuxDat，分析管理信息，并根据用户指令或预定方法来确定要播放的码片。此后，管理信息解复用单元51向码片信息分析单元52输出码片信息Clip，作为与确定的码片有关的信息。

码片信息分析单元52向解码单元24输出用于存取组成码片的画面的存取信息acs。另外，码片信息分析单元52获得要播放的码片的延迟信息dly，并将延迟信息dly输出到帧延迟确定单元53。

解码单元24根据存取信息acs，从复用数据记录介质读出视频数据Vdat，对视频数据Vdat解码，然后向显示单元54输出解码结果decOut。

帧延迟确定单元53确定播放时的帧延迟，并向显示单元54输出延迟T。

显示单元54根据延迟T来显示画面。应该指出，可能存在如第二实施方式所示，在复用数据中的编码流的帧延迟彼此相等的情况下，复用数据中没有给出帧延迟信息的情况。在象这样播放复用数据的情况下，解复用装置可以具有不包括帧延迟确定单元53的结构。

另外，在对这些存取单元进行无缝连接或多角度播放时，虽然在播放列表等中给出的连续播放单元的帧延迟是不可变的，在不保证无缝连接的情况下，在连接处的帧延迟是可变的。在复用数据的管理信息不包括指示此时的帧延迟的信息的情况下，可以在解码单元24中获得存取单元的帧延迟，可以把获得的帧延迟输入到帧延迟确定单元53。在此，在帧延迟不可变的播放区中，根据播放顺序中顶部的存取单元的帧延迟来确定该帧延迟。相反，在帧延迟可变的播放区中，帧延迟确定单元调节播放时的帧延迟。应该指出，在上述任何情况中，可以应用与应用标准等中确定的帧延迟的最大值相同的帧延迟。

(第四实施方式)

诸如多角度播放摘要播放之类的功能对用于播放包媒体的光盘装置特别重要。在这里，要说明将上述第一和第二实施方式中的多路复用装置输出的复用数据记录到作为下一代光盘的蓝光盘(BD)中的例子。

首先，说明BD-ROM的记录格式。

图22是指示BD-ROM的结构，特别是作为盘介质的BD盘104的结构，和存储在盘中的数据的示意图。存储在BD盘104中的数据包括AV数据103，诸如有关AV数据和AV播放顺序的管理信息之类的BD管理信息102，和实现互动性的BD播放程序101。在这里，为了方便，将BD盘的说明集中于用于播放电影的音频和视频内容的AV应用，但是可以对另一种应用进行同样的说明。

图23是显示存储在上述BD盘中的逻辑数据的目录文件的结构示意图。例如，如同DVD、CD等一样，BD盘具有从其内周到其外周的记录 区，并具有在内周的读入和外周的读出之间的、用于存储逻辑数据的逻辑地址空间。此外，在读入内侧，具有叫作脉冲分割区(Burst Cutting Area)(BCA)的，只能由驱动器读出的专用区。由于这个区不能从应用读出，所以可以将它用于，例如，版权保护技术。

文件系统信息(卷)存储在逻辑地址空间的最前端，并且视频数据之类的应用数据也存储在这里。如背景技术中所述，文件系统是例如UDF或ISO9660，它允许如同正常PC的情况一样读出利用目录结构或文件结构存储的逻辑数据。

在该实施方式中，作为BD盘上的目录结构和文件结构，BDVIDEO目录紧接着路径目录(ROOT(根目录))之下放置。这个目录是存储诸如AV内容或在BD中处理的管理信息(图22中说明的101，102和103)之类的数据的目录。

在BDVIDEO目录之下，记录着以下七个文件。

(i)BD.INFO(文件名是固定的)，这是一条“BD管理信息”，并且是存储有关整个BD盘的信息的文件。BD播放器首先读出这个文件。

(ii)BD.PROG(文件名是固定的)，这是“BD播放程序”之一，并且是存储有关整个BD盘的播放控制信息的文件。

(iii)XXX.PL(“XXX”是可变的，而扩展名“PL”是固定的)，这是一条“BD管理信息”，并且是存储作为脚本(播放序列)的播放列表信息的文件。每个播放列表具有一个文件。

(iv)XXX.PROG(“XXX”是可变的，而扩展名“PROG”是固定的)，这是“BD播放程序”之一，并且是存储根据播放列表准备的播放控制信息的文件。对应播放列表是根据文件体名(根据“XXX”的匹配)识别的。

(v)YYY.VOB(“YYY”是可变的，而扩展名“VOB”是固定的)，这是“AV数据”之一，并且是存储VOB(与背景技术中说明的VOB相同)的文件。每个VOB具有一个文件。

(vi)YYY.VOBI(“YYY”是可变的，而扩展名“VOBI”是固定的)，这是一条“BD管理信息”，并且是存储有关作为AV数据的VOB的流管理信息的文件。对应播放列表是根据文件体名(根据“YYY”的匹配)识 别的。

(vii)ZZZ.PNG(“ZZZ”是可变的，而扩展名“PNG”是固定的)，这是“AV”数据之一，并且是存储用于构成副标题和菜单的图像数据PNG(这是由V3C标准化的画面格式，念作“ping”)的文件。每个PNG图像具有一个文件。

以下参考图24至图29说明BD导航数据的结构(BD管理信息)。

图24是显示VOB管理信息文件(“YYY.VOBI”)的内部结构的示意图。

VOB管理信息具有VOB的流属性信息(Attribute)和时间映射表(TMAP)。流属性具有视频属性(Video)和音频属性(Audio#0至Audio#m)。更具体地讲，在音频流的情况下，由于VOB同时具有多个音频流，所以通过音频流的号码(Number)来指示数据字段的存在或不存在。

下面是分别存储在字段中的视频属性(Video)，和对应字段可能具有的值。

(i)压缩格式(Coding)：MPEG-1；MPEG-2；MPEG-4；和MPEG-4AVC(高级视频编码)。

(ii)分辨率(Reslution)：1920x1080；1440x1080；1280x720；720x480；和720x565。

(iii)宽高比(Aspect)：4比3；和16比9。

(iv)帧速率(Framerate)：60；59.94(60/1.001)；50；30；29.97(30/1.001)；25；24；和23.976(24/1.001)。

以下是分别存储在字段中的音频属性(Audio)，和相应字段可能具有的值。

(i)压缩格式(Coding)：AC3；MPEG-1；MPEG-2；和LPCM。

(ii)声道号(Ch)：1至8。

(iii)语言属性(Language)：

时间映射表(TMAP)是用于存储基于VOBU的信息的表，并且具有VOB具有的VOBU数量和相应的VOBU信息条(VOBU#1至VOBU#n)。各VOBU信息条包括作为VOBU的最前端TS数据分组的地址(I画面的 开始地址)的I_start，和直到I画面的结束地址的偏离地址(I_end)，和I画面的播放开始时间(PTS)。

图25是显示VOBU详细情况的示意图。

众所周知，由于可以对MPEG视频流执行可变比特率压缩以便高质量地记录视频流，所以播放时间与数据大小之间没有正比性。另一方面，由于在作为音频压缩标准的AC3中执行固定比特率压缩，所以可以从初等表达式获得时间与地址之间的关系。但是，在MPEG视频数据的情况下，每个帧具有固定的显示时间，例如，在NTSC情况下，一个帧具有1/29.97秒的显示时间，但是根据图像特征，或压缩中使用的画面类型，例如，I画面、P画面、或B画面，压缩每个帧之后的数据大小极大地改变。因此，在MPEG视频流的情况下，不能利用初等表达式表示时间与地址之间的关系。

如所预期的，在多路复用MPEG视频数据的MPEG系统流中，即，在VOB中，不能利用初等表达式表示时间与数据大小之间的关系。因此，在VOB中用时间映射表(TMAP)将时间与地址联系在一起。

以这种方式，在给出了时间信息的情况下，首先搜索时间所属的VOBU(按顺序跟随VOBU的PTS)，使紧挨着该时间之前的PTS跳入TMAP具有的VOBU(由I_start指定的地址)，从该VOBU的最前端I画面开始解码，并且从对应于该时间的画面开始显示。

接下来，参考图26说明播放列表信息(“XXX.PL”)的内部结构。

播放列表信息包括单元列表(CellList)和事件列表(EventList)。

单元列表(CellList)是播放列表中的播放单元序列，并且各单元以这个列表中指示的规定顺序播放。单元列表(CellList)的内容是单元号(Number)和每个单元的信息(Cell#1至Cell#n)。

单元信息(Cell#)具有VOB文件名(VOBName)，该VOB中的开始时间(In)和结束时间(Out)，和副标题(SubtitleTable)。在每个VOB中将开始时间(In)和结束时间(Out)表示为帧号。利用上述时间映射表(TMAP)可以获得播放所需的VOB数据的地址。

副标题表(SubtitleTable)是存储与VOB同步播放的副标题信息的表。 如同音频的情况一样，多种语言包括在副标题中。副标题表(SubtitleTable)的第一信息包括语言号(Number)和随后根据语言准备的表(Language#1至Language#k)。

每个语言表(Language#)包括语言信息(Lang)，要独立显示的副标题的副标题信息条的号(Number)，和要独立显示的副标题的副标题信息(Speech#1至Speech#j)。副标题信息(Speech#)包括图像数据文件名(Name)，副标题显示开始时间(In)，副标题显示结束时间(Out)，和副标题显示位置(Position)。

事件列表(EventList)是定义播放列表中发生的每个事件的表。事件列表包括事件号(Number)和各个事件(Event#1至Event#m)。每个事件(Event#)包括事件类型(Type)，事件ID(ID)，事件发生时间(Time)，和事件持续时间(Duration)。

图27是具有根据播放列表准备的事件处理程序(这是用于菜单选择的时间事件和用户事件)的事件处理程序表(“XXX.PROG”)。

事件处理程序表包括定义的事件处理程序/程序号(Number)，和相应的事件处理程序/程序(Program#1至Program#n)。每个事件处理程序/程序(Program#)的内容是事件处理程序的开始的定义(<event_handler>tag)和与早先说明的事件ID组成对的事件处理程序ID(ID)，紧接着它的是在跟随在函数(Function)后面的“{}”中说明的程序。存储在早先说明的“XXX.PL”的事件列表(EventList)中的事件(Event#1至Event#m)是利用“XXX.PROG”的事件处理程序的ID(ID)指定的。

接下来，参考图28说明有关整个BD盘的信息(“BD.INFO”)的内部结构。

有关整个BD盘的信息包括标题列表(TitleList)和全局事件的事件表(EventList)。

标题列表(TitleList)包括盘的标题号(Number)和跟随在标题号后面的多条标题信息(Title#1至Title#n)。各条标题信息(Title#)包括被包括在标题中的播放序列表(PLTable)，和标题中的章列表(ChapterList)。播放序列表(PLTable)包括标题中的播放列表的号(Number)，和作为播 放列表的文件名的播放列表名(Name)。

章列表(ChapterList)包括被包括在标题中的章号(Number)和多条章信息(Chapter#1至Chapter#n)。每条章信息(Chapter#)包括被包括在该章中的单元表(CellTable)，单元表(CellTable)包括单元号(Number)和多条单元项信息(CellEntry#1至CellEntry#k)。单元项信息(CellEntry#)包括播放列表名，播放列表名包括该播放列表中的单元和单元号。

事件列表(EvenList)包括全局事件号(Number)和多条全局事件。应当注意，首先定义的全局事件叫做第一事件(FirstEvent)，并且是BD插入播放器后首先调用的事件。全局事件的事件信息仅有一个事件类型(Type)和一个事件ID(ID)。

图29是全局事件处理程序的程序的表(“BD.PROG”)。该表的内容与图27中说明的事件处理程序表的内容相同。

在第一和第二实施方式中的多路复用装置的复用输出数据使用象上述这样的BD-ROM的情况下，VOBU由一个或多个随机存取单元RAU组成，在播放列表中规定了码片的播放顺序。在此，可以由BD管理信息给出帧显示信息。例如，可以把帧延迟信息存储在播放列表的播放条目中，或指示诸如EP映射之类的地址信息的表中。帧延迟信息也可以存储在指示编码流的属性信息的表中。另外，在指示(i)在存储在复用数据中的编码流的帧延迟的最大值，(ii)在所有编码流等间共同的帧延迟的情况下，可以指示帧延迟作为比与各个编码流有关的信息高的信息。

应该指出，可以根据与播放列表或预定顺序不同的信息来确定码片的播放顺序。

应该指出，可以将诸如EP映射之类的存取信息存储在表中作为二进制数据，或呈可以是XML(可扩展标记语言)等的文本数据的形式。

(第五实施方式)

图30是大致示出播放与第五实施方式有关的BD盘的播放器的功能结构的方框图。

通过光拾取头202读出BD盘201上的数据。根据相应数据的类型， 将读出的数据发送到专用存储器。将BD播放程序(“BD.PROG”或“XXX.PROG”的内容)发送到程序存储器203。另外，把BD管理信息(“BD.INFO”，“XXX.PL”或“YYY.VOBI”)发送到管理信息存储器204。还将AV数据(“YYY.VOB”或“ZZZ.PNG”)发送到AV存储器205。

程序处理单元206处理记录在程序存储器203中的BD播放程序。另外，管理信息处理单元207处理记录在管理信息存储器204中的BD管理信息。显现处理单元208处理记录在AV存储器205中的AV数据。

程序处理单元206接收管理信息处理单元207要播放的播放列表的信息，和诸如程序的执行定时之类的事件信息，并执行程序的处理。另外，可以动态地改变程序要播放的播放列表。这可以通过将播放列表的播放指令发送到管理信息处理单元207来实现。程序处理单元206接收来自用户的事件，也就是说，通过遥控器接收请求，并且在具有对应于用户事件的程序的情况下，执行该程序。

管理信息处理单元207接收来自程序处理单元206的指令，分析播放列表和对应于播放列表的VOB的管理信息，并指令显现处理单元208播放目标AV数据。管理信息处理单元207还接收来自显现处理单元208的标准时间信息，根据时间信息指令显现处理单元208停止播放AV数据。此外，管理信息处理单元207产生一个事件，以把程序执行定时通知给程序处理单元206。

显现处理单元208具有能够分别处理视频、音频、副标题/图像(静止画面)的解码器。它根据来自管理信息处理单元207的指令，解码和输出AV数据。在视频数据，和副标题/图像的情况下，将它们解码，然后提供到对应的专用平面上，即，视频平面210和图像平面209上。此后，合成处理单元211对视频执行合成处理，和将视频输出到TV之类的显示装置。

在多角度播放或摘要播放时，显现处理单元208翻译用户请求的多角度播放或摘要播放的操作，并将与角度可变点等有关的信息通知给管理信息处理单元207。管理信息处理单元207根据要播放的码片的帧延迟信息来确定播放时的帧延迟，并将该帧延迟通知给显现处理单元208。

可以将诸如EP映射之类的存取信息存储在表中作为二进制数据，或 呈可以是XML(可扩展标记语言)等的文本数据的形式。

(第六实施方式)

另外，通过把用于实现上述实施方式中给出的复用方法和解复用方法的程序记录到诸如软盘之类的记录介质上，能够很容易地在独立的计算机系统中执行各个实施方式中给出的处理。

图31C示出了计算机系统如何使用诸如软盘之类的记录介质中记录的程序来执行本实施方式中的运动画面编码方法和运动画面解码方法。

图31A示出了作为记录介质的软盘的物理格式的例子。图31B示出了软盘以及该软盘外观的正示意图和横截面图。软盘(FD)容纳在外壳F中，从盘的外周到内周在盘的表面上同心地形成有多个轨道(Tr)，并且每个轨道在角度方向上被分割成16个扇区(Se)。因此，在软盘存储上述程序的情况下，程序被存储在软盘(FD)上分配给它的区中。

此外，图31C示出了记录和播放软盘上的程序的结构。在把用于实现多路复用方法和解复用方法的上述程序记录在软盘FD上的情况下，计算机系统Cs通过软盘驱动器将程序写在软盘上。在利用软盘中的程序构造上述用于实现多路复用方法和解复用方法的多路复用装置和解复用装置的情况下，通过软盘驱动器从软盘读出程序，并将它发送到计算机系统。

应当注意，上述说明是利用软盘作为记录介质进行的，但是，程序可以记录在光盘上。此外，记录介质不限于此，也可以使用诸如IC卡，ROM盒之类的另外的记录介质，只要它能够记录程序。

至此，根据上述各种实施方式说明了与本发明有关的多路复用装置，解复用装置，BD盘播放器等，但是本发明不限于这些实施方式。本发明包括熟悉本领域的人员根据这些实施方式可以想到的各种改变，并且这些改变在本发明的技术主题的范围内。

例如，本发明包括以下装置：(i)光盘记录装置，该光盘记录装置包括本实施方式中的多路复用装置，运动画面发送装置；数字电视广播装置；Web服务器；通信装置，移动信息终端等；和(ii)运动画面接收装置，该运动画面接收装置包括本实施方式中的解复用装置；数字电视广播接收 装置；通信装置；移动信息终端，等等。

应当注意，(图14、图17、和图21等)的方框图的各功能块一般以作为集成电路的大规模集成电路的LSI来实现。每个功能块可以制成为芯片。另外，可以将一个，一些，或全部功能块集成到一个芯片中(例如，可以将除了存储器之外的功能块制造成一个芯片)。

在这里，将电路称为LSI，但是，根据集成度，可以称之为集成电路(IC)、系统LSI、超LSI、或超大LSI。

此外，制造成集成电路的方法不限于此，也可以通过专用电路或通用处理器来实现。此外，在制造LSI或能够重新配置LSI中的电路单元的连接或设置的可重配置处理器之后，可以使用可编程的可现场编程门阵列(FPGA)。

此外，在半导体技术进一步发展或出现了任何派生技术，导致可以考虑替代LSI的集成电路制造方法时，自然可以用这种技术集成这些功能块。生物技术的应用是有可能的。

此外，在各功能块中，可以独立地配置存储要编码或记录的数据的装置，而不是集成在一个芯片中。

尽管以上仅详细说明了本发明的示例实施方式，熟悉本领域的人员应当知道，可以对示例实施方式进行多种修改而不脱离本发明的新的教导和优点。因此，所有这些修改包括在本发明的范围内。

工业实用性

本发明的多路复用方法和解复用方法可以应用于具有诸如多角度播放和摘要播放之类的特技播放功能的一般装置，因此它们在多路MPEG-4AVC编码流的包媒体的播放中特别有效。

Claims (5)

1.一种多路复用装置，用于将一个或多个编码流与另外的信息多路复用，所述一个或多个编码流包括可随机访问的访问单元，每个访问单元由多个编码图像构成，所述多路复用装置包括：

编码单元，用于以通过使各个访问单元中的延迟量相等，使得在对两个访问单元连续进行解码时，在两个访问单元的连接中不出现间隙的方式产生所述一个或多个编码流，所述两个访问单元是从所述一个或多个编码流中包括的所述访问单元中选择的，所述延迟量各指示从按解码顺序对首张图像解码时起到按显示顺序显示首张图像时的时延；和

多路复用单元，用于把所述另外的信息与所述一个或多个编码流多路复用，所述另外的信息包括指示所述两个访问单元是否能够被无缝连接的标记，所述一个或多个编码流是由所述编码单元产生的，

其中所述两个访问单元中被无缝连接的访问单元的首张图像是IDR图像。

2.一种多路复用方法，用于将一个或多个编码流与另外的信息多路复用，所述一个或多个编码流包括可随机访问的访问单元，每个访问单元由多个编码图像构成，所述多路复用方法包括：

编码步骤，用于以通过使各个访问单元中的延迟量相等，使得在对两个访问单元连续进行解码时，在两个访问单元的连接中不出现间隙的方式产生所述编码流，所述两个访问单元是从所述一个或多个编码流中包括的所述访问单元中选择的，所述延迟量各表示从按解码顺序对首张图像解码时起到按显示顺序显示首张图像时的时延；和

多路复用步骤，用于把所述另外的信息与所述一个或多个编码流多路复用，所述另外的信息包括表示所述两个访问单元是否能够被无缝连接的标记，所述一个或多个编码流是在所述编码步骤中产生的，

其中所述两个访问单元中被无缝连接的访问单元的首张图像是IDR图像。

3.根据权利要求2所述的多路复用方法，其特征在于还包括：

记录步骤，在记录介质中记录在所述多路复用步骤中进行多路复用得到的多路复用数据。

4.一种解复用装置，对多路复用数据进行解复用，所述解复用装置包括：

标记解复用单元，用于从多路复用数据解复用出标记，所述多路复用数据包括：

具有可随机访问的访问单元的一个或多个编码流，每个访问单元由多个编码图像构成；和

另外的信息，所述另外的信息包括指示在连续对访问单元中的两个访问单元解码时，是否能够无缝连接所述两个访问单元的标记；

确定单元，用于在由所述标记解复用单元解复用的标记指示能够无缝连接所述两个访问单元时，确定根据解码延迟播放所述两个访问单元，所述解码延迟表示首先被播放的访问单元中首先被解码的图像的解码时间与首先被播放的访问单元中首先被显示的图像的显示时间之间的时延；和

播放单元，用于利用所述解码延迟，连续解码和播放所述两个访问单元，

其中所述两个访问单元中被无缝连接的访问单元的首张图像是IDR图像。

5.一种解复用方法，对多路复用数据进行解复用，所述解复用方法包括：

标记解复用步骤，用于从多路复用数据解复用出标记，所述多路复用数据包括：

具有可随机访问的访问单元的一个或多个编码流，每个访问单元由多个编码图像构成；和

另外的信息，所述另外的信息包括指示在连续对访问单元中的两个访问单元解码时，是否能够无缝连接所述两个访问单元的标记；

确定步骤，在所述标记解复用步骤中解复用的标记指示能够无缝连接所述两个访问单元时，确定根据解码延迟播放所述两个访问单元，所述解码延迟表示首先被播放的访问单元中首先被解码的图像的解码时间与首先被播放的访问单元中首先被显示的图像的显示时间之间的时延；和

播放步骤，利用所述解码延迟，连续解码和播放所述访问单元，

其中所述两个访问单元中被无缝连接的访问单元的首张图像是IDR图像。

Images