CN100571356C

CN100571356C - 流产生装置，流产生方法，流再生装置，流再生方法

Info

Publication number: CN100571356C
Application number: CNB2005800135718A
Authority: CN
Inventors: 远间正真; 冈田智之; 矢羽田洋; 角野真也
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-04-28
Filing date: 2005-04-25
Publication date: 2009-12-16
Anticipated expiration: 2025-04-25
Also published as: JP4091962B2; US8442382B2; US20070116426A1; CN101686364B; ATE515883T1; JP4410275B2; PL1743481T3; PL1942670T3; BRPI0506370A8; BRPI0506370A; JP2007535208A; JP2010050980A; US7965766B2; EP2184919A3; JP2008219887A; CN101686364A; EP1743481A1; WO2005107253A1; ATE524924T1; KR100891397B1

Abstract

本发明的流产生装置是产生包括编码画面和用于管理保存作为参考画面的解码画面的缓存器的命令的流的流产生装置，所述命令被添加到作为参考画面的编码画面。该装置包括判断单元，用于判断是否要在特技播放时跳过添加了所述命令的编码画面；添加单元，在判断要跳过编码画面的情况下，将指示与命令相同内容的重复信息添加到按解码顺序跟随在被判断要跳过的编码画面后面的、并且在特技播放时不跳过的另一个编码画面；和产生单元，用于产生包括编码画面、命令、和重复信息的流。

Description

流产生装置，流产生方法，流再生装置，流再生方法

技术领域

本发明涉及一种产生包括编码画面的流的流产生装置，流产生方法，画面编码装置，画面编码方法，记录介质及其程序。

背景技术

在整体地处理声频、视频和其它像素值的多媒体时代，将信息传递给人的现有信息介质，特别是，报纸、杂志、电视、无线电、电话等已经被包括在多媒体的范围内。多媒体一般是指不仅将字符，而且也把图形、声音、特别是图像等结合在一起显现的东西，但是，为了将上述现有信息介质包括在多媒体的范围中，将以数字形式表示这种信息成为一个先决条件。

但是，如果要把上述信息介质中的每一种携带的信息量作为数字信息量来评估，那么，在文本的情况下一个字节的信息量是1至2字节，而声音所需的信息量是每秒64Kb(电话质量)，而对于运动画面则需要每秒100Mb或更高的数据量(当前的电视接收质量)，用信息介质应付如此巨大的数字形式的信息量是不现实的。例如，尽管视频电话已经通过提供64Kb/s至1.5Mb/s的传输速度的综合服务数字网(ISDN)而在实际使用，但是，不能够直接通过ISDN发送电视上的图像和摄像机拍摄的图像。

因此，需要信息压缩技术，例如，在视频电话的情况下，采用了国际电信同盟-电信标准化部(ITU-T)国际标准化的运动画面压缩技术的H.261和H.263标准。此外，利用MPEG-1标准信息压缩技术，也使得能够将视频信息与声频信息一同存储在普通音乐光盘(CD)上。

在这里，运动画面专家组(MPEG)是标准化国际组织和国际电工委员会(ISO/IEC)标准化的一个运动画面信号压缩国际标准。MPEG-1是用于将运动画面信号压缩到1.5Mbps的标准，也就是说，将电视信号压缩到大约百分之一。此外，由于MPEG-1标准的范围内的目标画面质量受限于大约1.5Mbps的传输速度能够实现的中等程度的质量，所以使用为满足未来改进的画面质量而标准化的MPEG-2来实现具有压缩到2至15Mbps的运动画面信号的电视广播质量。此外，促进MPEG-1和MPEG-2的标准化的工作组(ISO/IEC JTC1/SC29/WG11)当前正在标准化具有超过MPEG-1和MPEG-2压缩率的，也允许在每个对象基础上编码、解码和操作，和实现了多媒体时代所需的新功能的MPEG-4。MPEG-4最初的目标是标准化低比特率编码方法。但是，现在这种标准已经扩展到进一步包括隔行扫描图像的高比特率编码的更为通用的编码方法的标准化。此后，ISO/IEC和ITU-T协作标准化作为下一代画面编码方法的MPEG-4高级视频编码(AVC)。这种编码方法是为了用于下一代光盘有关的装置和针对蜂窝电话终端的广播。

一般地讲，在运动画面编码中，通过减少时间和空间方向上的冗余来压缩信息量。因此，在针对减少时间冗余的画面间预测编码中，通过参考在前或随后的画面，在一块接一块的基础上执行运动评估和预测画面的产生，并且对得到的预测画面与要编码的画面之间的差值进行编码。在这里，一个画面是指一个屏幕：它指示进展的画面中的一帧；和它指示一个隔行扫描画面中的一帧或一场。在这里，隔行扫描画面是它的帧是由时间上相互不同的两个场构成的画面。在隔行扫描画面的编码和解码中，允许将一帧作为一个帧来处理，作为两个场来处理它，或在该帧中在一块接一块的基础上作为一帧结构或一场结构来处理它。

I画面是不参考参考画面而内部编码的画面。P画面是通过仅参考一个画面而画面间预测编码的画面。此外，B画面是可以通过同时参考两个画面而画面间预测编码的画面。B画面可以参考作为在B画面之前或之后显示的任何一对画面的两个画面。可以为作为编码和解码的基本单元的每个块指定参考画面。为了区别编码比特流中在前说明的参考画面和随后说明的参考画面，将前者称为第一参考画面，而把后者称为第二参考画面。应当指出，作为编码和解码这些画面的一个条件，被参考的画面必须是已经编码和解码的。

图1是显示现有MPEG-2的流的结构的示意图。如图1中所示，MPEG-2的流具有下面要说明的等级结构。流是由一个以上的画面组(Group of Pictures)(GOP)构成的，并且通过将流用作编码的基本单元而允许运动画面的编辑和随机存取。每个GOP是由一个以上的画面构成的。每个画面是I画面、P画面或B画面中的一个。每个流、GOP和画面进一步又是由指示每个单元的断开点的同步代码(sync)和一个该单元中的共同数据的首部构成的。

图2A和图2B是显示MPEG-2中使用的画面之间的预测结构的实施例的示意图。在示意图中，示为对角线阴影区的画面是要被其它画面参考的画面。如图2A中所示，在MPEG-2中，可以通过参考紧挨着所述P画面之前显示的I画面或P画面对P画面(P0，P6，P9，P12，P15)进行预测编码。此外，可以通过参考在所述B画面之前或之后显示的I画面或P画面来对B画面(B1，B2，B4，B5，B7，B8，B10，B11，B13，B14，B16，B17，B19，B20)进行预测编码。此外，流中的排列顺序如下确定：I画面和P画面以显示顺序排列；每个B画面紧接着一个紧接着所述B画面之后显示的I画面或P画面之后排列。作为GOP结构，例如，如图2B中所示，从I3到B14的画面可以包括在一个GOP中。

图3是显示MPEG-4AVC的流的结构的示意图。在MPEG-4AVC中，没有等同于GOP的概念。因此，在以后要说明的参数集的排列方法和画面的预测结构不受约束的情况下，需要搜索其画面数据在随机存储时被顺序地分析并且能够被解码的画面。但是，通过将数据分割成每个画面可以不依赖其它画面解码的特殊画面单元，可以构造能够随机存取和等价于GOP的单元。将这种分割的单元称为随机存储单元(RAU)，并且将RAU构成的流称为具有随机存储结构的流。

在这里，解释作为处理流的基本单元的存取单元(以下称为AU)。AU是用于存储一个画面中的编码数据的单元，包括参数集和片数据。参数集划分成对应于每个画面的首部的数据的画面参数集(PPS)和对应于MPEG-2中GOP的单元的首部的顺序参数集(SPS)，和更多的参数集。SPS包括可用于参考的画面的最大数量，画面大小，等等。PPS包括可变长度编码方法，量化步骤的初始值，和多个参考画面。给每个画面附加指示参考PPS和SPS中哪一个的标识符。

对于MPEG-4AVC的I画面，有两种类型的I画面：一种瞬间解码器刷新(Instantaneous Decoder Refresh)(IDR)画面；和一种不是IDR画面的I画面。IDR画面是可以不用参考解码顺序中领先该IDR画面的画面解码的I画面，即它的解码所需的条件被重置，并且等价于MPEG-2的封闭GOP的引导I画面。对于不是IDR画面的I画面，在解码顺序中紧随所述I画面的画面可以参考在解码顺序上领先所述I画面的画面。在这里，IDR画面和I画面指示仅由I片构成的画面。P画面指示由P片或I片构成的画面。B画面指示由B片，P片或I片构成的画面。应当注意，IDR画面的片和非IDR画面的片存储在不同类型的NAL单元中。

除了对画面解码所需的数据之外，MPEG-4 AVC的AU还可以包括对画面解码所需的、叫作补充增强信息(Supplemnetal EnhancementInformation)(SEI)的补充信息，AU的边界信息，等等。诸如参数集、片数据和SEI之类的数据都存储在网络抽象层(Network Abstraction Layer)(NAL)单元(NALU)中。NAL单元是由首部和有效载荷构成的，并且首部包括指示存储在有效载荷中的数据的类型(以下称为NAL单元类型)的字段。为诸如片和SEI之类的每种数据类型定义NAL单元类型的值。通过参考NAL单元类型，可以指定存储在NAL单元中的数据类型。SEI的NAL单元可以存储一条或更多的SEI消息。SEI消息也是由首部和有效载荷构成的，并且通过首部中指示的SEI消息的类型来识别存储在有效载荷中的信息的类型。

图4是显示MPEG-4 AVC的预测结构的实施例的示意图。在MPEG-4AVC中，P画面的AU可以参考B画面的AU。如图4中所示，P画面(P7)的AU可以参考B画面(B2)的AU。在这里，为了通过仅显示I画面和P画面的AU执行高速播放，必须对I0，B2，P4和P7解码。因此，当执行诸如跳入(jump-in)播放、可变速度播放或倒放之类的特技播放的时候，不能够预先确定需要解码的AU，从而最终需要对所有的AU解码。但是，通过在流中存储指示用于特技播放而对AU解码所需的补充信息，那么通过参考补充信息可以确定要解码的AU。这种补充信息叫作特技播放信息。此外，如果预先在预测结构中设定某种限制，例如，P画面的AU不参考B画面的AU，那么仅能够解码和显示I画面和P画面的AU。此外，对于I画面和P画面的AU，如果解码顺序与播放顺序相同，那么可以顺序的解码和播放I画面和P画面的AU。

图5是显示现有多路复用器的结构的方框图。

多路复用器17是接收视频数据，将输入的视频数据编码成MPEG-4AVC的流，产生有关编码数据的数据库信息，多路复用和记录编码数据和数据库信息的多路复用器。它包括流属性确定单元11，编码单元12，具有通用数据库信息产生单元14的数据库信息产生单元13，多路复用单元15，和记录单元16。

流属性确定单元11确定用于编码MPEG-4 AVC的编码参数和有关特技播放的强制事项，并且将它们作为属性信息TYPE输出到编码单元12。在这里，有关特技播放的强制事项包括是否将构造随机存取单元的约束应用到MPEG-4 AVC的流，是否包括指示要在执行可变速度播放或倒放时解码的AU的信息，或是否要对AU之间的预测结构给予约束的信息。编码单元12根据属性信息TYPE，将输入的视频数据编码成MPEG-4 AVC的流，并且在把编码数据输出到多路复用器15的同时，将流中的存取信息输出到通用数据库信息产生单元14。在这里，存取信息指示有关作为用于存取流的基本单元的存取基础的信息，包括存取基础中的引导AU的开始地址、大小、显示时间、等等。流属性确定单元11进一步将诸如压缩方法和分辨率之类的产生数据库信息所需的信息，作为通用数据库信息输出到通用数据库信息产生单元14。数据库信息产生单元13产生数据库信息，并且仅是由通用数据库信息产生单元14构成的。通用数据库信息产生单元14利用存取信息和通用数据库信息，产生存取流时参考的表数据，和存储着诸如压缩方法之类的属性信息的表数据，并将产生的表数据作为数据库信息INFO输出到多路复用单元15。多路复用单元15通过多路复用编码数据和数据库信息INFO，产生多路复用数据，并将多路复用数据输出到记录单元16。记录单元16把从多路复用单元15输入的多路复用数据存储在光盘，硬盘、或诸如存储器之类的记录介质中。

图16是显示现有去多路复用器的结构的方框图。

去多路复用器27是根据外部输入的、指令执行特技播放的命令，对来自光盘的MPET-4 AVC的AU数据进行分离、解码和显示的去多路复用器，MPEG-4AVC的流与数据库信息一起记录在所述光盘上。它包括数据库信息分析单元21，解码/显示AU确定单元23，AU分离单元24，解码单元25，和显示单元26。

数据库信息分析单元21是仅由通用数据库信息分析单元22构成的。指令执行诸如可变速度播放、倒放或跳入播放之类的特技播放的特技播放指令信号输入到通用数据库信息分析单元22中。当输入特技播放指令信号时，通用数据库信息分析单元22通过从多路复用数据的数据库信息获得存取信息ACS来分析输入的信号，获得包括存取基础的地址信息等等的存取目的地信息，和通知AU分离单元24，所述存取基础中包括要解码或显示的AU。AU分离单元24分析构成存取基础的AU，获得有关要解码和显示的AU的特技播放信息TRK，和把获得的信息输出到解码/显示AU确定单元。解码/显示AU确定单元根据预定规则来确定要解码和显示的AU，和把要解码的AU的标识信息和要显示的AU的标识信息分别通知给AU分离单元24和显示单元26。AU分离单元24根据存取目的地信息分离要解码的AU中的数据，并把分离的数据输出到解码单元25。解码单元25对输入的AU数据解码，并将解码的数据输出到显示单元25。最后，显示单元26选择指示要在显示AU信息中显示的AU，并显示选定的AU(参考日本专利申请公开No.2003-18549)。

发明内容

在解码装置中，在参考画面或等待显示的画面被解码之后，将所述画面存储在被称作解码画面缓存器(DPB)的缓冲存储器中。但是，在MPEG-4AVC中，画面的预测结构是灵活可变的，以致DPB中的存储器管理变得复杂。因此，存在着难于执行诸如快进之类的特技播放的问题。例如，在执行仅解码和显示I画面和P画面的高速播放的情况下，存储器管理信息可能存储在被跳过的B画面中。如果存储器管理信息指示在DPB中保持了特定画面而不将其从DPB删除，那么不能获得该信息。因此，这个特定画面可能被从DPB删除，而不能对参考该特定画面的随后的I画面或P画面进行解码。

图7A和图7B是显示DPB的存储器管理的示意图。如图7A中所示，可以将多个帧的画面数据存储在DPB中。在这个例子中，可以存储四帧的画面数据。此外，在DPB中，可以设置两种类型的存储区：长期存储器；和短期存储器。存储在短期存储器中的画面数据被从最早解码顺序的画面依次取出。另一方面，存储在长期存储器中的画面数据保持在DPB中，并且能够被其它画面参考，直到被称作存储器管理控制操作(MMCO)的存储器管理命令设置它以便不被其它画面参考。例如，当需要较长期地存储I画面时，例如，当解码顺序中的随后画面参考随机存储基础中的引导I画面时，使用长期存储器。默认是将每个画面存储在短期存储器中。在这里，存储器管理命令可以指定将多少帧的多少存储器分配分别用作长期存储器和短期存储器。应当指出，存储器管理命令仅可以对参考画面发布。图7B示出了把四个帧的帧存储器中用于一个帧的存储器分配用作长期存储器，和把其中三个帧的存储器分配用作短期存储器的例子。长期存储器和短期存储器的分配可以根据存储器管理命令MMCO动态地改变。

图8示出了使用存储器管理命令的例子。图8(a)显示了随机存取基础中画面的排列。在图中，I，P，B和Br分别指示I画面，P画面，非参考B画面，和参考B画面。附属于每个画面的数字指示显示的顺序。在这里，非参考画面B指示不被其它画面参考的B画面，而参考B画面指示被其它画面参考的B画面。此外，箭头指示预测结构。例如，P9指示它参考P5和I1，B2参考I1和Br3，和Br3参考I1和P5。P画面仅参考I画面或P画面，从而参考B画面不被参考。图8(b)示出了图8(a)中所示的以解码顺序排列的画面。在这里，在Br11中，假设将I1转移到长期存储器的存储器管理命令存储在构成画面的片的首部信息中。图8(c)至(h)示出了当DPB可以存储四个帧的画面数据时，DPB中存储的画面。在这里，Br仅参考以显示顺序紧接着Br之前或之后的I画面或P画面，并且根据按显示顺序排在Br之后的两个画面，I画面或P画面的存储器管理命令，从DPB删除这个Br。图8(c)示出了在P9删除了Br3之后，存储在DPB中的画面。在DPB中，I1，P5和P9都存储在短期存储器中。在对P13解码之后，如图8(d)中所示，I1，P5，P9和P13存储在DPB中。在这里，由于存储了四个画面，所以DPB存满。之后，在对Br11解码之后，Br11应当存储在DPB中。但是，由于DPB存满，所以需要删除DPB中存储的一个画面。在这里，原来应当从DPB除去最早解码的I1。但是，显示了将一个长期存储器分配给I1，从而使I1转移到长期存储器(图8(e))。因此，当存储Br11时，如图8(f)所示，最早解码的P5被从存储在短期存储器中的画面中删除。应当注意，P5的删除也由存储器管理命令执行，从而存储在Br11中的存储器管理命令包括专门指示使P5成为非参考的命令，换句话说，指示可以删除P5的命令。图8(g)示出了在P17解码之后删除Br11和把P17存储在DPB中时的状态。最后，在P21参考I1的同时，在解码P21时将I1转移到长期存储器，并且可用作参考，从而可以没有任何问题地参考I1(图8(h))。

接下来，说明有关在执行快进和跳入播放之类的特技播放时的存储器管理的问题。具体地讲，介绍作为一般使用的通过仅解码和播放I画面和P画面(IP播放)的快进播放。图9示出了当IP-播放与图8中所示的相同的随机存取单元时的存储管理。首先，如图9(c)中所示，在解码I1，P5和P9之后，将I1，P5和P9存储在DPB的短期存储器中。接下来，在存储了P13之后，I1、P5、P9和P13四个存储在DPB中，以致DPB在此变为存满(图9(d))。此后，原来应当根据存储器管理命令将Br11设置为存储I1的长期存储器，并将I1转移到长期存储器中。但是，跳过了Br11而没有对其进行解码，以致I1仍然存储在短期存储器中。因此，当把解码的P17存储在DPB中时，由于I1是存储在短期存储器中的画面中具有最早解码顺序的画面，所以它被删除(图9(e))。因此，当解码P21时，有P5，P9，P13和P17四个画面存储在DPB中，以致由于没有I1因而不能对P21解码(图9(f))。在对画面解码的同时又在执行特技播放时跳过画面的情况下，如果跳过了其中存储有存储器管理命令的画面，那么将造成存储器管理中断以致不能正确地随后的画面进行解码的问题。因此，不对所有参考画面解码就不能实现IP播放，并且增加根据IP播放的处理量。

本发明的目的是提供一种流产生装置、流产生方法、画面编码装置、画面编码方法、记录介质和程序，在执行特技播放时能够防止由于缓存器中没有解码所需的参考画面造成特技播放中断，并且能够通过跳跃播放容易地实现画面的特技播放。

为了达到上述目的，根据本发明的流产生装置产生包括编码画面和用于管理存储作为参考画面的解码画面的缓存器的命令的流的流产生装置，命令被添加到编码画面上，所述装置包括：判断单元，用于判断在特技播放时是否要跳过添加了命令的编码画面；添加单元，在判断要跳过编码画面的情况下，将指示与命令相同的内容的重复信息添加到按解码顺序跟随在被判断要跳过的编码画面后面的、并且是在特技播放时不跳过的另一个编码画面；和产生单元，用于产生包括编码画面、命令和重复信息的流。

根据这种结构，可以防止由于缓存器中没有解码所需的参考画面而造成的特技播放中断。也就是说，通过画面的跳跃播放可以容易地实现特技播放。

在这里，所述命令可以指令把存储在缓存器中的参考画面的属性从短期存储器改变到长期存储器。

根据这种结构，即使在具有短期和长期参考画面两种类型的情况下，或在画面之间的关系复杂的情况下，也能够容易地实现特技播放。

在这里，在添加了命令的编码画面是在对另一个编码画面解码时要参考的参考B画面的情况下，所述判断单元判断在特技播放时跳过该参考B画面。

此外，所述添加单元进一步将重复信息添加到按解码顺序跟随在判断要跳过的参考B画面后面的I画面和P画面中的一个上。

根据这种结构，在除了I画面和P画面之外也将B画面用作参考画面的情况下，即使在仅跳跃播放I画面和P画面时，也能确保将需要的参考画面存储在缓存器中。

在这里，在添加了命令的编码画面是对特定P画面解码时要跳过的P画面，并且可以通过按解码顺序有选择地对在前I画面或P画面解码而对该特定P画面解码的情况下，所述判断单元判断在特技播放时跳过该P画面。

此外，所述添加单元可以将重复信息添加到按解码顺序跟随在判断要跳过的P画面的后面的、并且是对特定P画面解码所需的另一个画面。

根据这种结构，在利用存取点P画面执行跳跃播放的情况下，保证能把需要的参考画面存储在缓存器中。

此外，相同的单元包括在本发明的流产生方法、画面编码装置、画面编码方法、记录介质和程序中。

有关本申请的技术背景的进一步的信息

以下的日本专利申请公开，包括说明书、附图和权利要求在内的全部内容，结合在此作为参考：2004年4月28日申请的日本专利申请2004-134211，和2004年9月17日申请的日本专利申请2004-272517。

附图说明

从以下结合示出了本发明特定实施方式的附图做出的说明中，可以对本发明的这些和其它目的、优点和特征有清楚的了解。其中：

图1是显示MPEG-2视频中的一种流结构的示意图；

图2A和图2B是显示MPEG-2视频中的GOP结构的实施例的示意图；

图3是显示MPEG-4AVC的流结构的示意图；

图4是显示MPEG-4AVC的预测结构的实施例的示意图；

图5是显示编码MPEG-4AVC的流并且多路复用编码流的现有多路复用器的结构的方框图；

图6是显示播放现有多路复用器产生的多路复用数据的现有去多路复用装置的结构的方框图；

图7A和图7B是指示MPEG-4AVC中的解码画面/缓存器中的存储器管理的示意图；

图8是显示当需要使用存储器管理命令时的一个实施例的示意图；

图9是显示播放图9中所示的随机存取单元中的I和P画面时的存储器管理的示意图；

图10是显示根据第一实施方式的编码装置的结构的方框图；

图11是显示重复存储器管理命令的方法的示意图；

图12A是显示当在现有技术中使用AP-P画面时的画面和存储器管理命令的示意图；

图12B是显示当根据第一实施方式使用AP-P画面时的画面和存储器管理命令的示意图。

图13是显示当播放I和P画面时实现存储器管理而不造成中断的编码方法的流程图；

图14是显示当对AP-P画面解码时实现存储器管理而不造成中断的编码方法的流程图；

图15是显示实现根据第六实施方式的解码方法的解码装置的方框图；

图16是显示当播放I画面和P画面时能够保证实现存储器管理而不会造成中断的对编码流解码的方法的流程图；

图17是显示当播放AP-P画面时能够保证实现存储器管理而不会造成中断的对编码流解码的方法的流程图；

图18是显示根据第二实施方式的第一多路复用器的结构的方框图；

图19A和图19B是显示播放支持信息的内容的示意图；

图20是显示指定其中存储播放支持信息的NAL单元的方法的示意图；

图21是显示第一多路复用器的操作的流程图；

图22是显示根据第三实施方式的第二多路复用器的结构的方框图；

图23是显示根据第四实施方式的去多路复用器的方框图；

图24是显示去多路复用器的第一操作的流程图；

图25是显示去多路复用器的第二操作的流程图；

图26是显示根据第五实施方式的HD-DVD的数据层级的示意图；

图27是显示HD-DVD上逻辑空间的结构的示意图；

图28是显示VOB信息文件的结构的示意图；

图29是时间映射表的说明图；

图30是显示播放列表文件的示意图；

图31是显示对应于播放列表的程序文件的结构的示意图；

图32是显示BD盘总数据库信息文件的结构的示意图；

图33是显示记录全局事件处理程序的文件结构的示意图；

图34是显示根据第六实施方式的HD-DVD播放机的示意方框图；和

图35A，图35B和图35C示出了其中记录着用于实现本发明的画面编码方法和画面解码方法的程序的记录介质。

具体实施方式

以下参考附图说明本发明的实施方式。

(第一实施方式)

在这个实施方式中，说明了能够仅从执行特技播放时跳跃播放所需的画面获得DPB中管理存储器所需的命令的编码装置和解码装置。

编码装置产生包括存储器管理命令和编码画面的流。当产生流时，编码装置判断在执行跳跃播放时是否要跳过添加了存储器管理命令的编码画面，在判断要跳过编码画面的情况下，在执行特技播放时，将指示与该命令相同内容的重复信息添加到不跳过的、并且在要跳过的编码画面之后对其解码的编码画面。

图10是显示本实施方式中编码装置1000的结构的方框图。编码装置1000包括画面类型确定单元1001，重复判断单元1002，重复信息产生单元1003，画面编码单元1004，和编码数据输出单元1005。画面类型确定单元1001确定要被编码的画面的画面类型，并且将确定的画面类型Pt输入到重复判断单元1002和画面编码单元1004。画面编码单元1004根据画面类型Pt对输入的画面Vin编码，将编码数据pic输入到编码数据输出单元1005，并将存储器管理信息mmco输入到重复判断单元1002。如果没有为编码画面发布存储器管理信息mmco，则在存储器管理信息mmco中指出。重复判断单元1002根据存储器管理信息mmco和画面类型Pt判断是否重复存储器管理命令，并将判断结果输入到重复信息产生单元1003作为重复命令Re。重复信息产生单元1003在重复命令Re指令重复存储器管理命令时产生DRPMR SEI，并将SEI数据sei输入到编码数据输出单元1005。在这里，当重复命令Re指令重复存储器管理命令时，也将产生DRPMR SEI所需的信息输入到重复信息产生单元1003。编码数据输出单元1005输出编码数据pic和SEI数据sei。

因此，根据重复命令Re产生的SEI数据sei包括与存储器管理信息mmco相同的内容，并实质上包括存储管理信息mmco的拷贝。

图11示出了作为本实施方式中由编码装置1000编码的流的一个实施例，存储在信息记录介质中的MPEG-4AVC流的随机存取单元。尽管这个实施例与图9中所示的现有技术的例子相同，但是，它与现有技术的例子的区别在于，利用解码参考画面标记重复补偿增强信息(以下称为DRPMRSEI)，在P17重复在Br11中存储的存储器管理命令。更具体地讲，在P17通过使P5为非参考而重复设置在Br11中的，用于将I1转移到长期存储器的存储器管理命令。因此，即使在播放IP时跳过了Br11，在解码P17时也能够知道，I1在Br11被转移到长期存储器。结果，I1转移到长期存储器，在对P17解码后从DPB删除P5，并存储P17取而代之(图11(e))。因此，如图11(f)中所示，在解码P21时，DPB中有I1，以致能够通过参考I1而对P21解码。因此，当对参考B画面发布存储管理命令时，通过按解码顺序对紧接着所述参考B画面之后的P画面使用DRPMR SEI来重复存储器管理命令，那么即使在执行IP播放时也能对I画面和P画面解码，而不中断存储器管理。更具体地讲，参考B画面的使用是MPEG-4AVC的重要特征，在具有诸如I B Br B P B Br B P B Br B P...这样结构的随机存取基础中，通过对I和P画面解码可以容易地实现四倍速播放，和通过对I、P和Br画面解码可以实现倍速播放，从而能够增大特技播放的功能性。在这种情况下，可以有效地保证没有中断的存储器管理。在这里，当I处于除随机存取基础的开始之外的位置时，可以使用DRPMR SEI，按解码顺序在紧接着所述I画面之后的I画面中重复存储器管理命令。

在这里，如果在IP播放中对画面解码时，保证DPB中有所述画面参考的画面，那么在按解码顺序与紧接着所述画面之后的P画面或I画面不同的画面中，可以重复向Br发布存储器管理命令。例如，在即使按解码顺序紧接着所述画面之后的P画面中没有重复，存储器管理也没有中断的情况下，可以将它发送到跟随在所述P画面之后的P画面。同样，当仅对参考I画面或P画面解码时，可以保证存储器管理不被中断。

此外，存储器管理命令可以通过除DRPMR之外的信息存储在编码流中，或可以在诸如数据库信息之类的信息中分开指示。

此外，在执行除IP播放之外的特技播放时，也可以保证存储器管理不被中断。以下说明在执行跳入播放时的实施例。跳入播放是一种从指定时间的画面开始显示画面的操作。当从除随机存取单元中的前导画面之外的画面开始显示画面时，从随机存取单元中的前导画面顺序地对用于解码要显示的画面所需的画面解码。在这里，在MPEG-4AVC中，参考关系是灵活的。因此，利用其中为解码或参考画面而给出特定限制的P画面(以下称为存取点(AP)-画面)能够减少跳入播放或倒放的解码处理。AP-P画面具有以下两个特征：

1.可以通过按解码顺序有选择地对AP-P画面前的I画面或P画面解码来对AP-P画面解码。

2.按解码顺序在AP-P画面之后的画面不参考按解码顺序在AP-P画面之前的画面。

图12A是显示在现有技术中使用AP-P画面时的画面和存储器管理的示意图。在图中，显示为AP-P的画面指示AP-P画面。为了对AP-P25解码，仅需要对I1，P7和P16解码，以致可以跳过P4，P10，P13和P22。因此，通过有选择地对画面解码，可以减少对位于随机存取单元中某个中间点的AP-P画面解码所需的画面的数量。结果是，能够减少在随机存取单元中的该中间点中执行播放时的解码处理。同样，按解码顺序在AP-P25画面之后的画面不参考按解码顺序在AP-P25之前的画面。此外，可以利用SEI消息等，或者在数据库信息中，指示为了解码AP-P画面而需要解码的P画面。在这里，如果指令将I1转移到长期存储器的存储器管理命令MMCO1存储在P4中，那么当仅对解码AP-P25所需的画面进行解码时，不能获得存储器管理命令。

图12B是显示在第一实施方式中使用AP-P画面时的画面和存储器管理命令的示意图。如图12B中所示，通过在对AP-P 25解码时必定要解码的P7中重复存储器管理命令MMCO1，发现在对P7解码时需要将I1存储在长期存储器中。因此，在把存储器管理命令发布给在对AP-P画面解码时要跳过的画面的情况下，通过在对AP-P进行画面解码所需的P画面中重复存储器管理命令，可以实现没有中断的存储器管理。应当注意，如果可以保证存储器管理不中断，那么可以在不是紧接着具有原始存储器管理命令的P画面之后的、但是是对AP-P画面解码所需的P画面中重复该命令。

此外，更一般地讲，在显示为了对特定P画面解码而需要解码的画面时，通过仅对需要解码的画面进行解码，可以保证实现存储器管理。

图13是产生能够保证在执行IP播放时存储器管理不被中断的编码流的编码方法的流程图。从步骤S1001到S1008的处理过程显示了用于对构成了随机存取单元的一个画面进行编码的处理过程。首先，在步骤S1001，判断要编码的画面是I画面还是P画面。如果它是I画面或P画面时，处理过程前进到步骤S1002，而如果不是的话，处理过程前进到步骤S1004。在步骤S1002，判断存储器管理命令是否发布给了按解码顺序跟随要编码的画面之前的P画面或I画面之后的参考B画面。在发布了存储器管理命令的情况下，处理过程前进到步骤S1003，如果没有发布命令，那么处理过程前进到步骤S1004。在这里，在随机存取单元中，按解码顺序要编码的画面前面没有参考B画面的情况下，例如，在随机存取单元中的前导画面的情况下，则判断不发布命令。接下来，在步骤S1003，产生其中存储着存储器管理命令的DRPMR SEI。在把存储器管理命令发布到多个参考B画面的情况下，所有存储器管理命令的内容都包括在DRPMR SEI中。接下来，在步骤S1004，对画面数据编码，处理过程前进到步骤S1005。在步骤S1005，判断是否对当前画面发布的存储器管理命令。如果发布命令，那么处理过程前进到步骤S1006，如果不发布命令，处理过程则前进到步骤S1008。在步骤S1006，判断当前画面是否是参考B画面。如果该画面是参考B画面，处理过程则前进到步骤S1007，如果不是，处理过程则前进到步骤S1008。在步骤S1007，存储该存储器管理命令的内容和用于指定对其发布存储器管理命令的画面的信息。最后，在步骤S1008，输出编码数据。在这里，在DRPMR SEI是在步骤S1003中产生的情况下，输出的编码数据包括DRPMR SEI。应当注意，在步骤S1001没有确定画面类型的情况下，从步骤S1001至S1003的处理过程可以在步骤S1004之后执行。此外，画面的编码数据可以在逐个画面的基础上输出，或按照编码完成的顺序输出。

图14是用于产生其中保证在对AP-P解码时存储器管理不被中断的编码流的编码方法的流程图。尽管基本处理过程与图13中所示的IP播放的处理过程相同，但是在步骤S1101、S1102和S1003中的判断处理过程不同。在步骤S1101，判断当前画面是否是对AP-P画面进行解码所需的I画面或P画面。接下来，在步骤S1102，判断是否向随机存取单元内的，跟随在对按照解码顺序在当前画面之前的AP-P画面解码所需的P画面或I画面之后的、并且是对该AP-P画面解码所不需要的P画面或I画面发布存储器管理命令。同样，在步骤S1103，判断当前画面是否是对AP-P画面解码所不需要的I画面或P画面。

在这里，在通过有选择地仅对AP-P画面前面的P画面进行解码就能够对AP-P画面解码的情况下，可以仅判断该P画面是否是对AP-P画面解码所需要的P画面。但是，在它是对作为随机存储单元的首部的I画面进行解码所需的P画面的情况下，可以指示需要对I画面进行解码。

此外，本方法不仅可以应用于AP-P画面，而且也可以应用于给预测结构等赋予了特殊约束的一般画面。

应当注意，通过组合图13和图14中所示的处理过程，可以实现在执行IP播放时和执行AP-P解码时不中断的存储器管理。例如，可以实现诸如有效地解码要利用AP-P跳入的画面并且从其开始IP播放这样的操作。

此外，在补充信息之类的信息中指出了执行特技播放时需要解码的画面的情况下，可以重复存储器管理命令，以便通过仅对需要解码的画面进行解码来获得解码所需的存储器管理命令。

图15是显示本实施方式中解码装置2000的结构的方框图。解码装置2000包括画面类型获得单元2001，解码判断单元2002，管理命令分析单元2003，DPB 2004，和解码单元2005。首先，将编码数据Vin输入到画面类型获得单元2001。画面类型获得单元2001通过从编码数据检测画面边界而获得画面的画面类型，并且将画面类型Ptd输入到解码判断单元2002。解码判断单元2002根据画面类型Ptd判断是否要对画面解码，并且将判断结果输入到管理命令分析单元2003和解码单元2005。当指令管理命令分析单元2003根据判断结果Rep对画面解码时，如果画面数据中重复存储器管理命令，那么管理命令分析单元2003通过分析重复的存储器命令(重复信息)和把管理命令Cmd发送到DPB而执行存储器管理处理过程。当指令解码单元2005根据判断结果Rep对画面解码时，解码单元2005通过向DPB发送获得参考画面数据的请求Req而获得参考数据Ref，对画面获得单元得到的画面数据DicDat解码，并且输出解码的画面Vout。应当注意，应当通过附图中没有示出的单元执行包括在画面的片数据中的原始存储器命令。

应当注意，可以将指定特技播放时需要解码的画面的补充信息存储在诸如随机存取单元的引导AU之类的编码流中或数据库信息中。在这里，通过分析补充信息，解码判断单元2002可以确定要解码的AU。

图16是显示对其中保证了在解码装置2000中执行IP播放时存储器管理不被中断的编码流进行解码的操作的流程图。首先，在步骤S2001中，判断要解码的画面是否是I画面或P画面。当判断画面是I画面或P画面时，操作前进到步骤S2002。如果画面不是上述画面，那么画面的处理过程结束，而不对画面解码，并且对下一个画面执行处理。在步骤S2002中，判断当前画面是否包括DRPMR SEI，如果它包括DRPMR SEI，那么操作前进到步骤S2003，如果不包括，那么操作前进到步骤S2004。在步骤S2003中，通过分析CRPMR SEI的内容来执行存储器管理处理过程，并且操作前进到步骤S2004。在步骤S2004中，对画面解码。应当注意，在步骤S2003中，如果已经通过片段首部中或DRPMR SEI中的在前命令执行了存储器管理处理过程，那么不进行存储器管理处理过程。

图17是显示在其中保证了对AP-P画面解码时存储器管理不中断的编码流中对AP-P画面解码时的操作的流程图。尽管基本处理过程与图16中所示的执行IP播放时的处理过程相同，但是步骤S2101中的判断处理过程不同。在步骤S2101中，判断要解码的画面是否是对AP-P画面解码所需要的画面。如果该画面是对AP-P画面解码所需的画面，操作则前进到步骤S2002，如果是不需要的，那么结束对画面的处理过程，并且执行对下一个画面的处理过程。

当使用除DRPMR SEI之外的方法来重复存储器管理命令时，通过预定的方法获得存储器管理命令。

应当注意，通过组合图16和图17中所示的处理过程，可以实现在执行IP播放时和在执行AP-P播放时不中断的存储器管理。

在这里，在诸如当执行IP播放时仅对I画面或P画面解码，或在对AP-P画面解码时跳过对AP-P画面解码不需要的P画面或I画面之类的操作中，可以将保证能够从画面获得管理DPB所需的存储器管理命令的标志信息设置到数据库信息或编码流。例如，在参考B画面的片段的网络抽象层(Network Abstraction Layer(NAL))单元中，把被称作nal_ref_idc的、指示该片段是否是参考画面的片段的字段的值设置为1或更大的值。在非参考B画面中，将同样的字段设置到0。因此，nal_ref_idc字段可以是标志信息。同样，在数据库信息中，可以用显示MPEG-4AVC和MPEG-2Video等的编码解码器类型信息作为标志。

应当注意，在上面解释的是MPEG-4AVC。但是，可以将类似的方法应用到其它编码方法。

(第二实施方式)

图18是显示本实施方式中的多路复用器的方框图。

多路复用器35接收输入的视频数据，将输入数据编码成MPEG-4 AVC的流，将以下信息与流一起多路复用和记录：对构成流的AU的存取信息；和包括用于确定执行特技播放时的操作的补充信息的数据库信息。多路复用器35包括流属性确定单元11，编码单元12，数据库信息产生单元32，多路复用单元34，和记录单元16。与图5中所示的现有技术的多路复用器中执行相同操作的单元被赋予相同的标记，并且在这里省略了对有关相同单元的说明。应当注意，编码方法不仅仅限于MPEG-4 AVC，而是也可以应用MPEG-2 Video和MPEG-4 Video之类的其它方法。此外，它可以包括用编码单元1000来取代编码单元12。

流属性确定单元11确定用于对编码MPEG-4 AVC编码的编码参数和有关特技播放的约束事项，并且将它们作为属性信息TYPE输出到编码单元12和播放支持信息产生单元33。在这里，有关特技播放的约束事项包括关于是否为在MPEG-4 AVC流的流中构造随机存取单元而使用一种约束，是否包括指示在执行可变速度播放和逆向播放时要解码或显示的AU的信息，或是否要约束AU之间的预测结构之类的信息。播放支持信息产生单元33根据输入的属性信息TYPE，产生指示是否具有随机存取结构的支持信息HLP，并且将产生的信息输出到多路复用单元34。多路复用单元34通过多路复用从编码单元12输入的编码数据、数据库信息INFO、和支持信息HLP来产生多路复用数据，并将多路复用数据输出到记录单元16。应当注意，编码单元12可以通过将MPEG-4 AVC的流分组成MPGEG-2传送流(TS)、程序流(PS)等将其输出。或者，可以利用诸如BD之类的应用程序定义的方法而对流进行分组。

图19A和图19B示出了支持信息HLP中指示的信息的实施例。支持信息HLP具有以下两种方法：一种如图19A中所示的直接指出有关流的信息的方法；和一种如图19B中所示的，指示流是否满足特定应用标准定义的约束的方法。在图19A中，将以下信息指出为流的信息：i)流是否具有随机存取结构；ii)是否存在对存储在AU中的画面之间的预测结构的约束；和iii)是否具有指示要在执行特技播放时解码的AU或显示的AU的信息。

在这里，要在执行特技播放时解码或显示的AU的信息可以直接指出要解码或显示的AU，或可以指出解码或显示的优先次序。例如，指示要在一个随机存取单元接一个随机存取单元的基础上解码和显示的AU的信息可以指示它存储在具有由应用程序定义的特定类型的NAL单元中。在这里，可以指示是否具有指示构成随机存取单元的AU之间的预测结构的信息。此外，可以将有关要在特技播放时解码和显示的AU的信息一起加到每个一个以上的随机存取单元的组中，或可以加到构成随机存取单元的每个AU。

此外，当指示要解码和显示的AU的信息存储在具有一种特定类型的NAL单元中时，它可以指示NAL单元的NAL单元类型。在图20的例子中，在支持信息HLP中，有关要在特技播放时解码或显示的AU的信息包括在NAL单元类型是0的NAL单元中。在这里，通过从流中的AU数据中分离出NAL单元类型是0的NAL单元，可以获得有关特技播放的信息。

此外，预测结构的约束可以指出是否满足一个或更多的预定约束事项，或是否满足以下各个约束。

i)I画面和P画面的相应AU具有相同的解码和显示顺序。

ii)P画面的AU不参考B画面的AU。

iii)在随机存取单元中前导AU之后显示的AU仅参考包括在随机存取单元中的AU。

iv)每个AU按解码顺序仅参考最多N个AU。在这里，可以将每个参考AU或所有AU计数为一个AU，并且支持信息HLP可以指示N的值。

应当注意，在MPEG-4 AVC中，为了提高画面质量，用对该画面解码之后执行了用于降低块失真的滤波(解块)的画面作为参考画面，而可以用所述解块之前的画面作为显示画面。在这里，需要画面解码装置存储解块之前和之后的画面数据。在这里，可以将指示是否需要将解块之前的画面作为显示画面存储的信息存储在支持信息HLP中。

在这里，支持信息HLP可以包括所有上述信息，或可以包括一部分信息。此外，可以包括基于预定条件的必要信息。例如，可以包括有关仅在对预测结构的没有约束的情况下是否具有特技播放信息的信息。

此外，支持信息HLP可以包括指示下述情况的信息：是否可以通过仅对I画面和P画面解码来实现IP播放而不造成存储器管理中断；或是否可以通过仅对解码AP-P画面所需的I画面或P画面解码来对AP-P画面解码，而不造成存储器管理中断。

此外，支持信息HLP中也可以包括除上述信息之外的信息。

在图19B中，支持信息HLP不直接显示涉及流的结构的信息，而仅示出是否满足涉及HD DVD标准定义的流结构的约束，HD DVD标准是用于将高清晰度(HD)的高精度画面存储到DVD中的标准。此外，在诸如BD-ROM之类的应用标准中，在针对有关流结构的约束定义了多种模式的情况下，可以将指示应用哪种模式的信息存储在支持信息HLP中。例如，可以使用模式1没有约束，模式2具有随机存取结构，并且将指定要在执行特技播放时解码的AU的信息包括在流中。在这里，可以指出是否满足诸如下载或流动之类的通信服务中或广播标准中定义的约束。

应当注意，支持信息可以指示图19A和图19B中所示的两类信息。此外，在已经知道流满足特定应用标准的约束的情况下，可以不指出有关该流是否满足应用标准，而是通过转换成一种直接说明如图19A所示的流结构的方法来存储有关应用标准的约束。

在这里，在流动过程中支持信息HLP中指示的信息发生了改变情况下，可以相应地存储每个部分的信息。例如，在编辑并相互连接不同的流的情况下，支持信息HLP可能在流线化(streamline)过程中改变。因此，也要转换支持信息HLP的内容。

应当注意，可以把指示要在执行特技播放时解码或显示的AU的信息作为数据库信息存储。

图21是显示多路复用器35的操作的流程图。在步骤S11中，根据用户设置或预定条件确定属性信息TYPE。在步骤S12中，根据属性信息TYPE对流编码。在步骤S13中，根据属性信息TYPE产生支持信息HLP。然后，在步骤S14中，针对编码流的每个存取基础产生存取信息，并且与其它必要信息一同产生数据库信息INFO。在步骤S15中，多路复用支持信息HLP和数据库信息INFO，并在步骤S16中记录多路复用的数据。在这里，步骤S13的操作可以在步骤S12的操作之前进行，或可以在步骤S14的操作之后执行。

(第三实施方式)

图22是显示本实施方式中第二多路复用器的结构的方框图。

多路复用器43接收从图中未示出的服务器输出的分成信息分组的流，与该流一同多路复用和记录包括对构成流的AU的存取信息和确定执行特技播放时的操作的补充信息的一般数据库信息。多路复用器43包括流属性获得单元41，流接收单元42，数据库信息产生单元32，多路复用单元34，和记录单元16。与第二实施方式中说明的多路复用器中执行相同操作的单元被赋予了相同的标记，并且在此省略了对这些相同单元的描述。

流属性获得单元41根据从流中分开得到的流信息来产生属性信息TYPE，并且将属性信息TYPE输出到播放支持信息产生单元33。在这里，流信息包括有关特技播放的信息，例如：是否应用构成MPEG-4 AVC的流中的随机存取单元的约束；是否包括指示要在执行可变速度播放和逆向播放时解码或显示的AU的信息；和是否给予有关AU之间的预测结构的约束。流接收单元接收通过MPEG-2传送流(TS)和实时传输协议(RTP)分组的MPEG-4 AVC的流，将接收的流作为用于记录的流输出到多路复用器34，并且还将存取信息输出到一般数据库信息产生单元14。

在这里，当在产生数据分组丢失的环境中接收TS数据分组、RTP数据分组等时，在由于数据分组丢失而使指示流中该数据的信息和数据丢失时执行错误隐藏处理的情况下，HLP可以存储有关的信息作为支持信息。作为指示数据丢失的信息，可以显示以下的信息：指示流中数据是否丢失的标志信息；指示将特定的错误通知代码插入流中以便通知丢失部分的信息；或插入的错误通知代码的标识信息。

(第四实施方式)

图22是显示本实施方式中的去多路复用器的结构的方框图。

去多路复用器55从第二和第三实施方式中说明的多路复用器产生的多路复用数据中分离出MPEG-4AVC流，并且播放分离出的MPEG-4AVC。去多路复用器55包括数据库信息分析单元51，特技播放操作确定单元53，解码/显示AU确定单元54，AU分离单元24，解码单元25，和显示单元26。在这里，与图6中所示现有技术的去多路复用器中的单元执行相同操作的单元被赋予了相同的标记，并且省略了对相同单元的描述。

数据库信息分析单元51包括播放支持信息分析单元52和一般数据库信息分析单元22。在输入特技播放指令信号时，播放支持信息分析单元52从多路复用的数据中的数据库信息获得和分析支持信息HLP，根据分析结果产生特技播放支持信息，和把特技播放支持信息通知给特技播放操作确定单元53。特技播放操作确定单元53根据特技播放支持信息确定决定要在执行特技播放时解码和显示的AU的方法，并且将指示确定的方法的特技播放模式通知给解码/显示AU确定单元54。解码/显示AU确定单元54分析AU分离单元24得到的特技播放信息TRK，确定要通过特技播放模式MODE指示的方法解码和显示的AU，并把要解码的AU的标识信息和要显示的AU的标识信息分别通知AU分离单元24和显示单元。在这里，要显示的AU可以由解码/显示AU确定单元54根据指定的播放速度来确定。此外，当特技播放信息TRK存储在数据库信息中的时候，可以通过在数据库信息分析单元51中设置另一个单元来获得存储在数据库信息中的特技播放信息TRK。

图24是显示去多路复用器55的操作的流程图。当输入了特技播放指令信号时，在步骤S20，多路复用器55从多路复用的数据获得支持信息HLP。在步骤S21，根据获得的支持信息HLP执行确定要解码和显示的AU的操作。在步骤S22，判断是否要在执行特技播放时使用特技播放信息TRK。在步骤S23中，从流获得特技播放信息TRK并进行分析，操作前进到步骤S24。如果不使用特技播放信息TRK，那么操作直接前进到步骤S24。在步骤S24中，根据步骤S21中确定的方法来确定要解码和显示的AU，并且操作前进到步骤S25。在步骤S25，将对确定的AU进行解码并显示。应当注意，可以仅在播放开始时或播放开始之后执行特技播放的情况下获得支持信息HLP。

图25是显示步骤S21中处理过程的内容的流程图。以下，在步骤S30、S33、和S35中根据从支持信息HLP得到的特技播放支持信息来执行判断。在步骤S30，判断流是否具有随机存取结构，如果流具有随机存取结构，那么操作前进到步骤S31，如果流没有随机存取结构，操作则前进到步骤S32。在步骤S31，确定从随机存取单元中的前导AU开始解码。在步骤S32中，当随机存取单元中的前导AU是IDR画面的AU时，确定从所述AU开始解码，解码从所述AU开始。在这里，在包括在前IDR画面的AU的显示时间在确定的时间之前或更早的情况下，首先可以根据预定的规则确定要编码的AU，例如，根据N个在前存取基础或除IDR之外的I画面中的前导AU的开始解码。在步骤S33中，判断特技播放信息TRK是否包括在流中。如果TRK包括在流中，那么操作前进到步骤S34，如果不包括TRK，那么操作前进到步骤S35。在步骤S34中，通过确定要根据特技播放信息TRK解码或显示的AU来结束该过程。在步骤S35，判断是否具有对AU之间的预测结构的约束。如果有约束，那么操作前进到步骤S36，如果没有约束，那么操作前进到步骤S37。在步骤S36，通过根据对有关预测结构的约束确定当对在执行可变速度播放和逆向播放时需要显示的AU解码时只需要对一个AU解码来结束处理过程。此外，在步骤S37，通过确定对所有AU进行了解码来结束处理过程。结果，作为步骤S31和S32的结果确定了决定要首先解码的AU的方法，并且作为步骤S34、S36和S37的结果，执行了指定在执行可变速度播放或特技播放时要解码的AU的方法。然后，将它们输出到解码/显示AU确定单元54作为相应特技播放模式MODE的信息。应当注意，当执行跳入播放时，处理过程可以在步骤S32或步骤S31之后结束。在这里，作为确定执行特技播放时要解码的AU的一种方法，可以使用一种预定的方法：例如，在步骤S33中判断特技播放信息TRK没有包括在流中的情况下，仅对I画面和P画面的AU解码，或仅对I画面、P画面、和要参考的B画面的AU解码。

应当注意，在用于确定要显示的AU的信息包括在特技播放信息TRK中的情况下，指示根据特技播放信息TRK确定要显示的AU的信息可以包括在特技播放模式MODE中。

在这里，在不能实现通过由特技播放操作确定单元53确定的方法进行解码的情况下，可以确定通过一种预定方法对AU解码。例如，在指示通过特技播放模式MODE从编码流获得播放信息TRK的情况下，如果不能在编码流中获得特技播放信息TRK，那么对所有AU解码，或可以根据从支持信息HLP得到的其它信息确定要解码的AU。在这里，可以验证数据库信息是否包括特技播放信息TRK。

在此，在支持信息HLP中包括除有关特技播放的信息之外的信息的情况下，可以根据该信息来转换解码或显示操作。例如，在记录通过广播和通信接收到的数据时，可以根据数据分组丢失信息转换这些操作。

此外，记录多路复用的数据的介质不仅仅限于光盘，而可以是诸如硬盘和非易失性存储器之类的其它记录介质。

此外，解码/显示AU确定单元23的操作彼此不同。通过准备图6中所示现有技术去多路复用器，可以根据通过分离设置的播放支持信息分析单元52和特技播放操作确定单元53确定的特技播放模式，转换要使用的去多路复用器。例如，准备具有执行以下三种操作类型的解码/显示AU确定单元23的现有技术的去多路复用器中的任意两个，并且可以根据播放的多路复用的数据的支持信息HLP转换去多路复用器。三种类型是：i)确定去多路复用器以便始终对所有AU解码；ii)始终获得特技播放信息TRK和确定要解码的AU；和iii)通过假设流遵循一种特定预测结构，来确定要解码的AU。

(第五实施方式)

作为一种通过根据第二实施方式的多路复用器将多路复用的数据记录到光盘上的方法，以下说明有关存储作为下一代光盘的BD的数据库信息的支持信息HLP的方法。

首先，说明BD-ROM的记录格式。

图26是显示BD-ROM的结构，特别是，作为一种盘介质的BD盘(104)的结构，以及记录在盘上的数据(101，102，和103)的示意图。记录在BD盘(104)上的数据是AV数据(103)，有关AV数据和AU播放顺序的数据库信息之类的BD数据库信息(102)，和用于实现互动的BD播放程序(101)。在本实施方式中，为了解释的目的，说明了主要用于播放电影中AV内容的AV应用的BD盘。但是，毫无疑问，即使将其用于其它用途也是一样的。

图27是显示记录在BD盘上的逻辑数据的目录/文件结构的示意图。BD盘具有与，例如，DVD、CD等一样的从内径向外径的螺旋形式的记录区，和具有在内径的引入端到外径的引出端之间的可记录逻辑数据的逻辑地址空间。此外，在进入端的内侧具有叫作模冲切割区(Burst CuttingArea(BCA))的，仅由驱动器读取的专用区。这个区不能从应用程序读取，从而可以将它用于，例如，版权保护技术等。

在逻辑地址空间中，记录着由最终系统信息(volume(卷))引导的视频数据之类的应用数据。如现有技术中说明的，文件系统是UDF，ISO96660，等等。它允许读出如同普通个人计算机PC中一样利用目录和文件结构存储的逻辑数据。

在本实施方式中，作为BD盘上的目录和文件结构，BDVIDEO目录放置在根目录(ROOT)下面。在这个目录中，存储着诸如AV内容和BD中处理的数据库信息之类的数据(图26中所述的101，102和103)。

在BDVIDEO目录下面，记录着以下七种类型的文件：

BD.INFO(固定的文件名)

是作为“BD数据库信息”之一的文件，并且将有关BD盘的信息作为整体记录在这个文件中。BD播放器首先读出这个文件。

BD.PORG(固定的文件名)

是作为“BD播放程序”之一的文件，并且将有关BD盘的播放控制信息中作为整体记录在该文件中。

XXX.PL(“XXX”是可变的，扩展名“PL”是固定的)

是作为“BD数据库信息”之一的文件，并且将作为脚本的播放列表信息(播放顺序)记录在该文件中。每个播放列表有一个文件。

XXX.PROG(“XXX”是可变的，扩展名“PROG”是固定的)

是作为“BD播放程序”之一的文件，并且将每个播放列表的播放控制信息记录在该文件中。用文件体名标识播放列表的相应物(“XXX”匹配)。

YYY.VOB(“YYY”是可变的，扩展名“VOB”是固定的)

是作为“AV数据”之一的文件，并且将VOB(与现有技术例子中说明的VOB相同)记录在该文件中。每个VOB有一个文件。

YYY.VOBI(“YYY”是可变的，扩展名“VOBI”是固定的)

是作为“BD数据库信息”之一的文件，将有关作为AV数据的VOB的流数据库信息记录在该文件中。用文件体名标识VOB的相应物(“YYY”匹配)。

ZZZ.PNG(“ZZZ”是可变的，扩展名“PNG”是固定的)

是作为“AV数据”之一的文件，并且有用于构造副标题和菜单的图像数据PNG(一种按W3C标准化的画面格式，并且读作“ping”)记录在文件中。每个PNG有一个文件。

参考图28至32说明BD的导航数据的结构(BD数据库信息)。

图28是显示VOB数据库信息文件(“YYY.VOBI”)的内部结构的示意图。

VOB数据库信息具有所述VOB的流属性信息(Attribute)和时间映射表(TMAP)。每个视频属性(Video)和声频属性(Audio#01至Audio#m)具有流属性。更具体地讲，在声频流的情况下，由于VOB可以同时具有多个声频流，声频流的号码(Number)指示是否有一个数据字段。

以下内容指示视频属性(Video)的字段及其值。

压缩方法(编码)：

MPEG1

MPEG2

MPEG3

MPEG4(高级视频编码(Advanced Video Coding))。

分辨率：

1920×1080

1440×1080

1280×720

720×480

720×565

高宽比：

4∶3

16∶9

帧频

60

59.94(60/1.001)

50

30

29.97(30/1.001)

25

24

23.976(24/1.001)

以下是声频属性(Audio)的字段及其值。

压缩方法(编码)：

AC3

MPEG1

PMEG2

LPCM

声道的号码(Ch)：

1至8

语言属性(Language)

时间映射表是具有每个VOBU的信息的表。表包括所述VOB保持的VOBU的数量(Number)和每个VOBU信息(VOBU#1至VOBU#n)。每个VOBU信息是由引导TS数据分组的VOBU的地址I_start(I画面开始)，直到I画面的结束地址的偏移地址(I_end)，和I画面的播放开始时间(PTS)构成的。在MPEG-4AVC的流具有随机存取结构的情况下，VOBU对应于一个或更多的随机存取单元。

图29是说明VOBU信息的详细情况的示意图。

众所周知，存在着将MPEG视频流压缩到可变比特率以便以高质量画面记录的情况，并且播放时间与数据大小之间不是简单的对应关系。与此相反，AC3是一种以固定比特率压缩声频的声频压缩标准。因此，通过初等表达式可以获得时间与地址之间的关系。但是，在MPEG视频数据的情况下，每个帧具有固定的显示时间，例如，在NTSC情况下，一个帧具有1/29.97秒的显示时间。但是，每个压缩帧的数据大小根据画面的特性和用于压缩的类型，具体地讲，根据I/P/B画面，大大地改变。因此，在MPEG视频的情况下，时间与地址之间的关系不能用初等表达式说明。

事实上，不能用初等表达式的形式说明通过多路复用MPEG视频数据得到的MPEG流。更具体地讲，VOB也不能用初等表达式说明时间和数据大小。因此，将时间映射表用于连接VOB中时间与地址之间的关系。

因此，当给予了时间信息时，首先搜索时间所属的VOBU(跟踪每个VOBU的PTS)，跳过紧靠着所述时间之前的PTS到具有TMAP的VOBU(由I_start指定的地址)，从该VOBU中的引导I画面开始对画面解码，并且从所述时间的画面开始显示画面。

接下来，参考图30，说明播放列表信息(“XXX.PL”)的内部结构。

播放列表信息是由信元列表(CellList)和事件列表(EventList)构成的。

信元列表(CellList)是播放列表中的播放顺序，并且以列表中说明的顺序播放信元。信元列表(CellList)的内容包括信元的数量(Number)和每个信元信息(Cell#1至Cell#n)。

信元信息(Cell#)包括VOB文件名(VOBName)，VOB中的开始时间(In)和结束时间(Out)，和副标题表。开始时间(In)和结束时间(Out)由每个VOB中的帧号说明，播放所需的VOB数据的地址可以利用时间映射表(TMAP)获得。

副标题表是具有要与VOB同时播放的副标题信息的表。副标题可以具有与声频相同的多种语言，并且副标题表的第一个信息是由多个语言(Number)和每种语言(Language#1和Language#k)的伴随表构成的。

每个语言表(Language#)是由语言信息(Lang)，分开显示的副标题信息号(Number)，和副标题的的副标题信息(Speech#1至Speech#j)构成的。副标题信息(Speech#)是由对应的图像数据文件名(Name)，副标题显示开始时间(In)，副标题显示结束时间(Out)，和副标题的显示位置(Position)构成的。

事件列表(EventList)是定义播放列表中产生的事件的表。事件列表是由伴随着事件号(Number)的每个事件构成的。每个事件(Event#)是由事件的类型(Type)，事件ID(ID)，事件产生时间(Time)，和持续时间构成的。

图31是具有每个播放列表的事件处理程序(用于菜单选择的时间事件和用户事件)的事件处理程序表(“XXX.PROG”)。

事件处理程序表具有定义的事件处理程序/程序号(Number)，和单个事件处理程序/程序(Program#1至Program#n)。每个时间处理程序/程序(Program#)中的说明具有关于每个处理程序的开始的定义(<event_handler>tag)，和与事件相伴的事件处理程序的ID。此后，在跟随在函数(Function)后面的波形括号“{”和“}”之间说明程序。利用事件处理程序的ID指定存储在“XXX.PL”的事件列表中的事件(Event#1至Event#m)。

以下参考图32，说明有关BD盘的信息的总体内部结构(“BD.INFO”)。

BD盘总体信息是由标题列表和用于全局事件的事件表构成的。

标题列表是由盘中的多个标题(Number)和下面的每个标题信息(Title#1至Title#n)构成的。每个标题信息(Title#)包括被包括在标题中的播放编目表(PLTable)和该标题中的章列表。播放编目表包括该标题中的多个播放列表(Number)和播放列表名(Name)，更具体地讲，是播放列表的文件名。

章列表是由包括在该标题中的多个章(Number)和各个章信息(Chapter#1至Chapter#n)构成的。每条章信息(Chapter#)具有包括在该章中的单元(cell)的表。单元表是由多个单元(Number)和各个单元项信息(CellEntry#1至CellEntry#k)构成的。单元项信息(Chapter#)是由包括该单元的播放列表名和该播放列表中的单元号说明的。

事件列表(EventList)具有多个全局事件(Number)和各个全局事件信息。在这里，应当指出，将首先定义的全局事件称为第一事件，第一事件是在把BD盘插入播放器时首先调用的事件。全局事件的事件信息仅有事件类型(Type)和事件ID(ID)。

图34示出了全局事件处理程序的程序表(“BD.PROG“)。这个表与图32中说明的事件处理程序表相同。

在这种BD-ROM格式中，将支持信息HLP作为VOB数据库信息的流属性信息存储。当把支持信息HLP仅用于MPEG-4AVC时，可以仅在压缩方法是MPEG-4AVC时存储支持信息HLP。

应当注意，除了流属性信息和时间映射表之外，还可以通过设置用于存储VOB数据库信息中的播放支持信息的区来存储支持信息HLP。此外，也可以将支持信息HLP作为除VOB数据库信息之外的BD数据库信息来存储。

此外，支持信息HLP不仅可以用BD-ROM格式存储，也可以用其它记录格式存储，例如，作为数据库信息的BD-RE(Rewritable(可重写))。

(第六实施方式)

图34是显示播放记录在根据第五实施方式的BD盘上的数据的播放器的功能结构的方框图。

通过光拾取器(202)读出记录在BD盘(201)上的数据。根据数据的相应类型，将读出的数据传送到特定存储器。将BD播放程序(“BD.PROG”或“XXX.PROG”文件的内容)，BD数据库信息(“BD.INFO”“XXX.PL”或“YYY.VOBI”)，和AV数据(“YYY.VOB”或“ZZZ.PNG”)分别传送到程序记录存储器(203)，数据库信息记录存储器(204)，和AV记录存储器(205)。

程序处理单元(206)，数据库信息处理单元(207)，和显现处理单元(208)分别处理记录在程序记录存储器(203)中的BD播放程序，记录在数据库信息记录存储器(204)中的BD数据库信息，和记录在AV记录存储器(205)中的AV数据。

程序处理单元(206)处理用于接收有关要由数据库信息处理单元(207)播放的播放列表的信息和诸如执行程序的定时之类的事件信息的程序。此外，程序可以动态地改变要播放的播放列表。在这种情况下，可以通过将播放播放列表的指令发送到数据库信息处理单元(207)来实现。程序处理单元(206)接收来自用户的事件，更具体地讲，从远端控制器键发送的请求，并且如果存在对应于用户事件的程序，则执行该事件。

数据库信息处理单元(207)接收程序处理单元(206)的指令，分析相应的播放列表和对应于播放列表的VOB的数据库信息，并且向显现处理单元(208)发出播放目标AV数据的指令。此外，数据库信息处理单元(207)接收来自显现处理单元(208)的标准时间信息，根据时间信息指令显现处理单元(208)停止AV数据播放，并进一步产生指示执行程序处理单元(206)的定时的程序的事件。

显现处理单元(208)具有分别对应于视频、声频、和副标题/图像(静止画面)的解码器。根据从数据库信息处理单元(207)发送的指令，每个解码器对AV数据解码，并输出解码的AV数据。视频数据、副标题和图像在它们被解码之后分别在专用平面、视频平面(210)和图像平面(209)上描述，并且通过合成单元(211)合成图像和输出到电视机之类的显示装置。

以下说明在执行特技播放时的播放器操作。

数据库信息处理单元207包括根据第四实施方式的去多路复用器55中的特技播放操作确定单元53的功能，在经过程序处理单元206输入了执行诸如可变速度播放、逆向播放、或跳入播放之类的特技播放的特技播放指令信息时，获得和分析来自数据库信息处理器204的支持信息HLP，并确定在执行特技播放时决定解码和显示的操作的方法。显现处理单元208包括去多路复用器55中的解码/显示AU确定单元54的功能，它根据数据库信息处理单元207确定的方法来确定要解码和显示的AU，并解码和显示确定的AU。在这里，数据库信息处理单元207可以具有解码/显示AU确定单元54的功能。

此外，当特技播放信息TRK存储在BD数据库信息中时，数据库信息处理单元207从数据库信息存储器204获得特技播放信息TRK。在显现处理单元208中分析获得的特技播放信息TRK’。

应当注意，可以将图10、15、18、22和23中所示的方框图中的每个功能框实现为LSI，LSI是集成电路装置。可以将这种LSI组合成一个或多个芯片形式(例如，可以将不是一个存储器的多个功能块组合到一个单一的芯片中)。在这里，将LSI作为一个例子，但是，根据集成的程度，可以将其称为“IC”，“系统IC”，“super LSI”和“ultra LSI”。

组合成集成电路的方法不限于LSI，并且可以用专用线路或一般处理器实现它。在LSI制造之后，可以利用可编程的现场可编程门阵列(FPGA)，或可以为LSI中电路单元重新配置连接和设置的可重新配置的处理器。

此外，也可以使用新取得的技术来实施功能块的集成，这些新的技术是与组合成集成电路的技术一同开发的，并且由于半导体技术或不是半导体技术的另外的技术中取得的进展，这些技术取代了LSI。生物技术是的应用可以作为这些新技术的一个例子。

在功能块之间，只有存储数据的单元可以分开构造而不组合到芯片形式中，例如，本实施方式中所述的存储介质115。

应当注意，图10、15、18、22至25和34中所示的功能块中的主要部分，或图13、14、16和17中所示的流程，可以通过处理器或程序实现。

如上所述，可以在上述任何一个设备和系统中使用上述实施方式中提出的画面编码方法和画面解码方法。因此，可以取得上述实施方式中所述的效果。

(第七实施方式)

此外，通过将用于实现上述每个实施方式中所示的活动画面编码方法或活动画面解码方法的程序记录在诸如软盘之类的记录介质中，可以容易地在独立的计算机系统中执行上述每个实施方式所示的处理过程。

图35A，图35B和图35C是用于记录在计算机系统中实现上述实施方式中的活动画面编码方法和活动画面解码方法的程序的记录介质的示意图。

图35B示出了软盘的正视图和示意剖面图以及软盘本身，而图35A示出了软盘作为记录介质本身的物理格式的例子。软盘FD容纳在外壳F中，在盘的表面上的径向方向上绕圆周形成有多个同心的轨道Tr，每个轨道Tr在角度方向上分割成16个扇区。因此，在存储上述程序的软盘中，上述程序记录在上述软盘FD上为它分配的一个区中。

此外，图35C示出了在软盘FD上和从软盘FD记录和播放程序的配置。当把程序记录到软盘FD上时，计算机Cs经过软盘驱动器，将作为程序的活动画面编码方法和活动画面解码方法写在软盘FD上。在利用记录在软盘上的程序在计算机中构造上述活动画面编码方法和活动画面解码方法时，经过软盘驱动器从软盘读出程序并传送到计算机系统。

应当注意，上述说明是在记录介质是软盘的假设上作出的，但是，利用光盘也可以执行相同的处理过程。此外，记录介质不限于这些，而是可以用相同的方式使用诸如CD-ROM、存储卡、和盒式ROM之类的其它介质，如果能够将程序记录在它们之上的话。

尽管以上仅详细说明了本发明的一些示例实施方式，但是，熟悉本领域的人员应当知道，可以对上述示例进行多种修改而不脱离本发明的新的教导和优点。因此，所有这些修改将包括在本发明的范围内。

工业可用性

在特技播放通过多路复用MPEG-4 AVC的流得到的数据时，根据本发明的多路复用器和去多路复用器可以执行有效的解码或现实，从而本发明特别适用于针对特技播放功能的封装介质的播放装置。

Claims

1.一种用于产生流的流产生装置，所述流包括(i)通过对用于管理缓存器的命令进行编码而获得的信息，所述缓存器保存作为参考画面的解码画面，和(ii)编码画面的像素数据，所述装置包括：

判断单元，用于判断第一编码画面是否是与在特技播放时要被跳过的画面对应的编码画面，所述第一编码画面被加入有通过对所述命令编码而获得的第一信息；

编码单元，用于在所述判断单元判断所述第一编码画面是与在特技播放时要被跳过的画面对应的编码画面时，对与所述命令相同的内容进行编码，作为第二信息；和

产生单元，用于通过把所述第二信息加到第二编码画面来产生所述流，所述第二编码画面按照解码顺序在所述第一编码画面之后，并且与在特技播放时不要被跳过的画面相对应。

2.一种产生流的流产生方法，所述流包括(i)通过对用于管理缓存器的命令进行编码而获得的信息，所述缓存器保存作为参考画面的解码画面，和(ii)编码画面的像素数据，所述方法包括：

判断第一编码画面是否是与在特技播放时要被跳过的画面对应的编码画面，所述第一编码画面被加入有通过对所述命令编码而获得的第一信息；

在所述判断步骤判断所述第一编码画面是与在特技播放时要被跳过的画面对应的编码画面时，对与所述命令相同的内容进行编码，作为第二信息；和

通过把所述第二信息加到第二编码画面来产生所述流，所述第二编码画面按照解码顺序在所述第一编码画面之后，并且与在特技播放时不要被跳过的画面相对应。

3.一种用于再生如权利要求1所述的流产生装置产生的流的流再生装置，所述流包括(i)通过对用于管理缓存器的命令进行编码而获得的信息，所述缓存器保存作为参考画面的解码画面，和(ii)编码画面的像素数据，所述装置包括：

管理命令分析单元，用于在特技播放时要被解码的编码画面被加入有通过对所述命令编码而获得的信息时，总是对通过对所述命令编码而获得的信息进行解码，并且用于根据被解码的命令的内容，在缓存器中保存作为参考画面的解码画面；和

解码单元，用于通过参考所述缓存器中保存的参考画面，对编码画面进行解码。

4.一种用于再生如权利要求2所述的流产生方法产生的流的流再生方法，所述流包括(i)通过对用于管理缓存器的命令进行编码而获得的信息，所述缓存器保存作为参考画面的解码画面，和(ii)编码画面的像素数据，所述方法包括：

管理命令分析步骤，在特技播放时要被解码的编码画面被加入有通过对所述命令编码而获得的信息时，总是对通过对所述命令编码而获得的信息进行解码，并且管理缓存器，使得在缓存器中根据被解码的命令的内容，保存作为参考画面的解码画面；和

解码步骤，通过参考所述缓存器中保存的参考画面，对编码画面解码。

5.一种在记录介质上记录流的记录方法，所述流包括(i)通过对用于管理缓存器的命令进行编码而获得的信息，所述缓存器保存作为参考画面的解码画面，和(ii)编码画面的像素数据，所述记录方法包括：

在所述判断步骤中判断所述第一编码画面是与在特技播放时要跳过的画面对应的编码画面时，对与所述命令相同的内容进行编码，作为第二信息；

通过把所述第二信息加到第二编码画面来产生所述流，所述第二编码画面按照解码顺序在所述第一编码画面之后，并且与在特技播放时不要被跳过的画面相对应；和

把在所述产生步骤中产生的流记录到所述记录介质上。

6.一种流再生系统，包括：(a)上面记录有流的记录介质，所述流包括(i)通过对用于管理缓存器的命令进行编码而获得的信息，所述缓存器保存作为参考画面的解码画面，和(ii)编码画面的像素数据；和(b)从所述记录介质读取所述流并再生所述流的流再生装置，

其中所述记录介质上记录的流具有下述结构：

当第一编码画面是与在特技播放时要被跳过的画面对应的编码画面时，其中所述第一编码画面被加入有通过对所述命令编码而获得的第一信息，则在其中对与所述命令相同的内容进行编码的第二信息被加入第二编码画面，所述第二编码画面按照解码顺序在所述第一编码画面之后，并且与在特技播放时不要被跳过的画面相对应；

所述流再生装置从所述记录介质读取所述流并再生所述流，所述流再生装置包括：