CN101010952A - 图像再生方法以及图像再生装置 - Google Patents

Abstract

本发明提供一种无缝地再生将编码方式不同多个流连结起来的连结流的图像再生装置。在再生将MPEG－2方式和MPEG－4AVC方式等不同编码方式的流连结多个而成的连结流的图像再生装置(100)中，包括：蓄积上述连结流Bst的流缓冲器(102)；与各种编码方式相对应的多个解码器Dd1～Ddn，对解码从流缓冲器(102)输出的连结流Bst中的各流的解码器，依照该各流的编码方式从上述多个解码器之中进行选择。

Description

图像再生方法以及图像再生装置

技术领域

本发明涉及图像再生方法以及图像再生装置。特别是涉及使通过连结编码方式不同的多个图像编码流而得到的连结流的无缝再生成为可能的技术。

背景技术

历来，就有将不同系统流连续起来无缝地、即没有连接点地进行再生的再生装置。例如，在日本专利特开2002-298509号公报(专利2002-17283号)中，公开了对具有非连续系统时间信息的比特流进行无缝再生的装置。

以下，就上述公报记载的流再生装置简单地进行说明。

图27是说明该流再生装置的图。

该流再生装置200对由创作(authoring)编码装置所编辑的多媒体比特流解码来进行再生。在这里，上述创作编码装置按照与用户的希望相应的脚本(scenario)来进行原始多媒体数据的编码以及编辑。

该流再生装置200具有：根据读出控制信号Csr来读出记录介质M中所记录的多媒体比特流Rs的流读出部201；和蓄积被读出的多媒体比特流Rs的流缓冲器202。在这里，该流缓冲器202输出已蓄积的流中所包含的同步信息等控制数据Stc。

上述流再生装置200还具有：基于对流进行指定的控制信号Csd从流缓冲器202取得所指定的流Ps，并输出已取得的指定流Es，同时输出与该指定流Es有关的再生时间信息Stm的系统解码器203；和蓄积由系统解码器203所取得的指定流Es的视频缓冲器204。

上述流再生装置200还具有：基于解码控制信号Cd对视频缓冲器204输出输出请求信号Srv，并对根据该输出请求信号从视频缓冲器204输出的缓冲器输出流Bs进行解码并输出解码数据Dd的解码器205；和蓄积该解码数据Dd的帧缓冲器206。

另外，上述流再生装置200还具有对其各部进行控制的控制部210。该控制部210为了基于通过用户操作所发生的指令信号Sop，使记录介质M中所记录的多媒体比特流之中的所需要流得以再生，而对流读出部201、系统解码器203以及解码器205作为各自的控制信号输出读出控制信号Csr、系统解码器控制信号Csd以及解码器控制信号Cd。

此外，在上述多媒体比特流不仅包含视频编码数据还包含音频编码数据等其他编码数据。虽然上述流再生装置200实际上还具有音频解码器等，但在这里，为了简化说明，仅表示视频编码流的解码系统。另外，对于利用控制部210的各部的控制也简化来表示。

另外，在此，上述记录介质M中所记录的多媒体比特流，在某系统流(VOB)与别的系统流被连续再生的情况下，为了在系统流的连接点进行平滑的再生，而嵌入表示平滑再生的信息。这一表示平滑再生的信息是表示在系统流的连接点处将对应于一个VOB的系统时钟转换成对应于其他的VOB的系统时钟的无缝再生标志，并作为上述控制数据Stc从流缓冲器202提供给控制部210。

然后，上述控制部210在按照无缝再生标志对应于一个VOB的系统流与对应于别的VOB的系统流被连续再生的情况下，基于从系统解码器203所输出的再生时间信息Stm，在系统流的连接点处将对应于一个VOB的系统时钟转换成对应于其他的VOB的系统时钟。

接着就动作进行说明。

在上述图像再生装置(流再生装置)200中，若基于用户操作的指令信号Sop被输入，则控制部210对流读出部201、系统解码器203、解码器205等进行控制以使记录介质M中所记录的多媒体比特流之中的所需要流的再生得以进行。

也就是说，流读出部201基于来自控制部210的读出控制信号Csr，读出记录介质M中所记录的多媒体比特流Rs蓄积在并流缓冲器202中。此时，已蓄积的流中所包含的同步信息等控制数据Stc从流缓冲器202被输出到控制部210。

接着，系统解码器203基于来自控制部210的、对流进行指定的控制信号Csd，从流缓冲器202取得所指定的流Ps，并将该已取得的流Es输出到视频缓冲器204，同时将与已取得的指定流Es有关的再生时间信息Stm输出到控制部210。

然后，解码器205基于来自控制部210的解码控制信号Cd，对视频缓冲器204输出输出请求信号Srv，并依照该输出请求信号Srv对从视频缓冲器204所输出的缓冲器输出流Bs进行解码并输出解码数据Dd。该解码数据Dd被蓄积在帧缓冲器206中。帧缓冲器206以适当的显示顺序将解码数据Bd输出到未图示的显示部。

在这里，在按照来自流缓冲器202的控制数据Stc中所包含的无缝再生标志，对应于一个VOB的系统流与对应于别的VOB的系统流被连续再生的情况下，基于从系统解码器203所输出的再生时间信息Stm，在系统流的连接点处使由解码器205所参照的系统时钟从上述对应于一个VOB的系统时钟转换成对应于其他的VOB的系统时钟。在解码器205中，进行不同的VOB的系统流中所包含的比特流的无缝再生。

图28表示利用了播放列表的再生方法(图(a))、播放列表的记述例(图(b))以及访问信息的记述例(图(c))。

在利用播放列表的再生中，如图28(a)所示，首先，基于播放列表PL来决定流的进行再生的部分与再生顺序，接着，基于播放列表PL中所包含的访问信息来决定上述所决定的再生部分的地址位置，进而，从所决定的地址位置起按顺序取得流的再生部分并进行解码、再生。

在这里，播放列表(第1数据)PL指定将哪个流(用文件名等指定)STRM的哪个部分(通过再生开始时刻与再生结束时刻等来表示)以怎样的顺序进行再生。

访问信息(第2数据)AI是用于确定由播放列表PL所指定的再生部分在盘上的地址位置的信息。例如，包含记录了随机存取单位的开头画面(解码顺序)的PTS(Presentation Time Stamp)与地址信息的关系的表。

流STRM是编码数据经过分组化的流(例如，BD(Blu-ray Disk)中通过TS(Transport Packet)分组；在HDDVD(High DefinitionDVD)中通过PES(Packetized Elementary Stream)分组而被分组化)、或者编码数据未被分组化的编码流。

更详细地说，在播放列表PL中，能够表示各项目(由播放列表所示的各个再生单位)间的连接条件(是否可以无缝连接、是否为针对多角度(multi-angle)的转换点等)。

另外，作为访问信息AI使其不仅表示PTS与地址的关系还表示流的编码方式和帧频等属性信息。

作为播放列表的例子，例如图28(b)所示那样有，

播放列表{

项目1：stream1.ts pts.in：0，pts_out：60

项目2：stream2.ts pts.in：30，pts_out：60

项目1与项目2：可以无缝连接

项目3：stream3.ts pts.in：60，pts_out：90

项目2与项目3：不可无缝连接

}。

这表示对从stream1.ts的0秒起到60秒的部分、从stream2.ts的30秒起到60秒的部分、从stream3.ts的60秒起到90秒的部分按顺序进行再生的意思。

另外，作为访问信息的例子，例如图28(c)所示那样有，

访问信息for stream1.ts{

属性信息{

编码方式：MPEG-4AVC

帧频：24Hz

…

}

访问表for stream1.ts{

pts：0 address：1000

pts：5 address：1500

…

pts：60 address：9000

}。

这表示stream1.ts内的视频的编码方式是MPEG-4AVC，例如，为了从0秒起进行再生只要从第1000byte起取得数据即可。

此外，设在每个流中持有访问信息。

图29是说明BD-RE(Rewritable)对应的播放列表的格式的图，图29(a)表示播放列表与该播放列表指定的再生部分的对应关系，另外，图29(b)表示播放列表中的记述内容，图29(c)表示播放项目中的记述内容。

图29中，C1～C3是夹子(clip)，这就是将访问信息与流的组、也就是将流和与其相关联的访问信息汇总起来表示。R1～R7是夹子C1～C3中的用户希望再生的所希望的范围。MPL1～MPL4是播放列表(Movie Playlist)，PI1～PI7是播放项目(PlayItem)。

在此，Movie Playlist MPL1包含PlayItem PI1以及PlayItem PI3，PlayItem PI1以及PlayItem PI3指定夹子C1中的范围R1以及夹子C2中的范围R3。以下，同样地Movie Playlist MPL2包含PlayItem PI2，PlayItem PI2指定夹子C1中的范围R2。Movie Playlist MPL3包含PlayItem PI5以及PlayItem PI7，PlayItem PI5以及PlayItem PI7指定夹子C2中的范围R5以及夹子C3中的范围R7。Movie PlayListMPL4包含PlayItem PI4以及PlayItem PI6，PlayItem PI4以及PlayItem PI6指定夹子C2中的范围R4以及夹子C3中的范围R6。

以下的记述是播放列表的格式(参照图29(b))。

PlayList(){

…

Number_of_PlayItems

…

for(PlayItem_id＝0；

PlayItem_id＜number_of_PlayItems

PlayItem_id++){

PlayItem()

}

…

}

在这里，number_of_PlayItems是构成播放列表的播放项目的个数。

另外，

for(PlayItem_id＝0；

PlayItem_id＜number_of_PiayItems

PlayItem_id++){

PlayItem()

的记述部分是播放项目的表。

另外，以下的记述是播放项目的表中所包含的播放项目的格式(参照图29(c))。

PlayItem(){

…

Clip_Information_file_name

…

…

IN_time

OUT_time

…

}

在这里，Clip_Information_file_name是保存访问信息的文件的文件名，IN_time是再生开始PTS，OUT_time是再生结束PTS。

图30是说明图29所示的夹子的图，图30(a)表示播放列表与夹子中的该播放列表指定的再生部分的对应关系，图30(b)表示访问信息内的流属性信息(StreamCondingInfo)的记述内容。

此外，在此，播放列表MPL11～MPL13由1以上的项目所构成。

图30中，C111、CI12是访问信息(Clip Information)，是在针对已录像的AV流的随机存取时所需要的数据。

另外，CAV11、CAV12是与访问信息对应起来的流(Clip AVstream)，保存着已录像的AV流。

从而，例如，通过利用Movie Playlist MPL11中的PlayItem PI11指定Clip C1中的Clip Information CI1，来指定Clip AV streamCAV11的所希望的再生范围R11。

以下，是访问信息内的流属性信息(StreamCodingInfo(i，stream_index))的格式。

StreamCodingInfo(i，stream_index){

…

stream_coding_type

…

…

}

在这里，stream_coding_type表示编码方式。

{

…

stream_coding_type

…

…

}内记述访问信息(Clip Information)内的流属性信息。

若使用这样被规定的播放列表，例如，就可以指定夹子中的规定范围(例如，图29所示的范围R1乃至R7)来进行再生。

专利文献1：日本专利特开2002-298509号公报

可是，近年来，上述的HD DVD或BD等大容量记录介质被提出，或者以实用方式来提供。这种大容量记录介质承认或者正在承认在各自的规格支持多个编码方式。为此，就考虑在这些记录介质中将编码方式相异的多个流通过编辑连结起来作为一个内容来进行记录。

果然，以往的图像再生装置200是对编码方式相同的与各个VOB相对应的流进行无缝再生。为此，就有无法对在上述那样的记录介质中所记录的、将编码的种类相异的多个流连结起来的流进行无缝再生之类的问题。

发明内容

本发明就是鉴于上述那样的问题点而完成的，其目的是获得一种能够无缝地再生将编码方式不同的流相互连结起来的内容的图像再生方法以及图像再生装置。

本发明所涉及的图像再生方法是一种再生将编码方式不同的多个编码流连结而成的连结流的图像再生方法，包括：位置检测步骤，检测上述连结流中的编码流的连结位置；和解码步骤，解码上述连结流中的编码方式不同的各个编码流，其中在上述解码步骤中，在上述检测到的编码流的连结位置上，将编码方式转换成与作为解码对象的编码流对应的编码方式。

本发明所涉及的图像再生方法是在上述图像再生方法中，在上述解码步骤中，将上述连结流保存在一个流缓冲器中，并对从该流缓冲器读出的连结流进行解码。

本发明所涉及的图像再生方法是在上述图像再生方法中，在上述解码步骤中，当上述流缓冲器的占有量达到规定值时，开始上述连结流的解码。

本发明所涉及的图像再生方法是在上述图像再生方法中，在上述解码步骤中，将通过上述连结流的解码而得到的解码数据保存在一个帧缓冲器中。

本发明所涉及的图像再生方法是在上述图像再生方法中，包括：显示步骤，将上述帧缓冲器中所保存的解码数据从显示时刻早的开始按顺序进行图像显示。

本发明所涉及的图像再生方法是在上述图像再生方法中，在上述显示步骤中，使上述解码数据以其解码定时为基准、延迟上述连结流中的、进行图像显示时需要最大延迟的部分的延迟时间以上来显示。

本发明所涉及的图像再生方法是在上述图像再生方法中，在上述显示步骤中，依照与上述连结流所包含的各个编码流对应的编码方式的类别，来决定进行图像显示时的显示延迟时间。

本发明所涉及的图像再生方法是在上述图像再生方法中，在上述显示步骤中，在上述连结流中包含与MPEG-4AVC方式相对应的编码流的情况下，将图像显示延迟N帧以上，在上述连结流中不含与MPEG-4AVC方式相对应的编码流的情况下，将图像显示延迟1帧以上。

本发明所涉及的图像再生方法是在上述图像再生方法中，在上述显示步骤中，将图像显示始终延迟N帧以上。

本发明所涉及的图像再生方法是在上述图像再生方法中，增加构成上述连结流的先行流的显示延迟时间。

本发明所涉及的图像再生方法是在上述图像再生方法中，使对构成上述连结流的先行流进行解码的期间和对构成该连结流的后续流进行解码的期间一部分重复。

本发明所涉及的图像再生方法是在上述图像再生方法中，使对构成上述连结流的后续流的一部分进行解码的动作比对其他部分进行解码的动作高速化。

本发明所涉及的图像再生方法是在上述图像再生方法中，使对构成上述连结流的先行流的一部分进行解码的动作比对其他部分进行解码的动作高速化。

本发明所涉及的图像再生方法是在上述图像再生方法中，反复进行构成上述连结流的先行流的最终显示帧的显示。

本发明所涉及的图像再生方法是在上述图像再生方法中，在构成上述连结流的先行流的最终显示帧、和跟着该先行流的后续流的开头显示帧之间，显示规定的帧。

本发明所涉及的图像再生方法是在上述图像再生方法中，在构成上述连结流的先行流与后续流的连结部前后、显示该先行流的帧的期间和显示该后续流的帧的期间重复的情况下，废弃上述显示期间重叠的先行流的帧和后续流的帧中的某一个的解码数据。

本发明所涉及的图像再生方法是在上述图像再生方法中，在构成上述连结流的先行流与后续流的连结部前后、显示该先行流的帧的期间和显示该后续流的帧的期间重复的情况下，在对上述先行流进行了解码以后，暂时停止上述后续流的解码动作。

本发明所涉及的图像再生装置是一种再生将编码方式不同的多个编码流连结而成的连结流的图像再生装置，包括：蓄积被输入的连结流的一个流缓冲器；与各种编码方式相对应的多个解码器；对解码从上述流缓冲器输出的连结流中的各编码流的解码器，依照该各编码流的编码方式从上述多个解码器之中进行选择的解码器选择部；蓄积通过上述编码流的解码而得到的图像数据的一个帧缓冲器；和显示从该帧缓冲器输出的图像数据的显示部。

本发明所涉及的再生列表数据是一种将多个编码流中应再生的多个再生部分以这些部分被连续再生的方式进行指定并再生的再生列表数据，具有：表示上述多个编码流中的多个再生部分，并且表示上述多个再生部分的再生顺序的第1数据；和决定由该第1数据所决定的再生部分的地址位置的第2数据，上述第1数据包含表示不同编码方式的再生部分的连结位置的信息、或者表示在进行该连续再生的前后的再生部分帧显示延迟时间不同的信息。

本发明所涉及的再生列表数据是一种将多个编码流中应再生的多个再生部分以这些部分被连续再生的方式进行指定并再生的再生列表数据，具有：表示上述多个编码流中的多个再生部分，并且表示上述多个再生部分的再生顺序的第1数据；和决定由该第1数据所决定的再生部分的地址位置的第2数据，上述第2数据具有表示上述编码方式不同的多个再生部分各自中的帧显示延迟量的信息。

本发明所涉及的图像再生方法是一种将编码方式不同的多个编码流基于表示应再生的编码流或者其部分的播放列表信息来连续进行再生的图像再生方法，包括：检测上述编码方式的转换位置的位置检测步骤；和解码上述编码方式不同的各个编码流的解码步骤，在上述解码步骤中，在上述检测到的编码方式的转换位置，将解码编码流的编码方式转换成与作为解码对象的编码流对应的编码方式。

本发明所涉及的图像再生装置是一种将编码方式不同的多个编码流基于表示应再生的编码流或者其部分的播放列表信息来连续进行再生的图像再生装置，包括：蓄积被输入的流的一个流缓冲器；与各种编码方式相对应的多个解码器；对解码从上述流缓冲器输出的编码流的解码器，依照该编码流的编码方式从上述多个解码器之中进行选择的解码器选择部；蓄积通过上述编码流的解码而得到的图像数据的一个帧缓冲器；和显示从该帧缓冲器输出的图像数据的显示部。

根据本发明所涉及的图像再生方法，在再生将编码方式不同的多个编码流连结而成的连结流的方法中，包括：检测上述连结流中的编码流的连结位置的步骤，其中对各个编码流依照该检测到的图像编码流的连结位置转换编码方式来进行解码，所以就可以无缝地进行将编码方式不同的编码流连结起来的连结流的再生。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，将上述连结流保存在一个流缓冲器中，所以就具有能够有效地利用流缓冲器的缓冲器容量的效果。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，当上述流缓冲器的占有量达到规定值时，开始上述连结流的解码，所以就可以回避流缓冲器中的下溢。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，将通过上述连结流的解码而得到的解码数据保存在一个帧缓冲器，所以就具有能够有效地利用帧缓冲器的缓冲器容量的效果。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，将上述帧缓冲器中所保存的解码数据，从显示时刻早的开始按顺序进行图像显示，所以就具有能够对通过采用后方参照等的预测编码处理而得到的编码流的解码数据正确地进行图像显示的效果。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，使上述解码数据以其解码定时为基准，延迟上述连结流中的、进行图像显示时需要最大延迟的部分的延迟时间以上来显示，所以就具有以下效果：即便在连结流内包含与多个种类的编码方式相应的流的情况下，也能够没有间断地对解码数据进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，依照与上述连结流所包含的各个编码流对应的编码方式的类别，来决定进行图像显示时的显示延迟时间，所以就具有以下效果：即便在连结流内包含与多个种类的编码相应的流的情况下，也能够一边回避超过图像显示所必要以上的延迟一边没有间断地对解码数据进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，在上述连结流中包含与MPEG-4AVC方式相对应的编码流的情况下，将图像显示延迟N帧以上，在上述连结流中不含与MPEG-4AVC方式相对应的编码流的情况下，将图像显示延迟1帧以上，所以就具有以下效果：在连结流中包含与MPEG-4AVC对应的编码流的情况下也能够没有间断对解码数据进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，将图像显示始终延迟N帧以上，所以就具有以下效果：即便在连结流中包含与MPEG-4AVC对应的流的情况下，也能够对连结流的解码数据没有间断地进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，增加构成上述连结流的先行流的显示延迟时间，所以就具有以下效果：即便在先行流的显示延迟时间比后续流的显示延迟时间少的情况下，也能够对连结流的解码数据没有间断地进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，使对构成上述连结流的先行流进行解码的期间和对构成该连结流的后续流进行解码的期间一部分重复，所以就具有以下效果：能够生成把不使其重复时发生的显示间隙填补起来的解码数据，而对连结流的解码数据没有间断地进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，使对构成上述连结流的后续流的一部分进行解码的动作比对其他部分进行解码的动作高速化，所以就具有以下效果：能够生成把未高速化时发生的显示间隙填补起来的解码数据，而对连结流的解码数据没有间断地进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，使对构成上述连结流的先行流的一部分进行解码的动作比对其他部分进行解码的动作高速化，所以就具有以下效果：能够生成把未高速化时发生的显示间隙填补起来的解码数据，而对连结流的解码数据没有间断地进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，反复进行构成上述连结流的先行流的最终显示帧的显示，所以就具有以下效果：能够通过反复显示将显示间隙填补起来，并能够对连结流的解码数据没有间断地进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，在构成上述连结流的先行流的最终显示帧、和跟着该先行流的后续流的开头显示帧之间，显示规定的帧，所以就具有以下效果：能够通过规定的帧将显示间隙填补起来，并能够对连结流的解码数据没有间断地进行图像显示。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，在构成上述连结流的先行流与后续流的连结部前后，显示该先行流的帧的期间与显示该后续流的帧的期间重复的情况下，废弃上述显示期间重叠的先行流的帧和后续流的帧中的某一个解码数据，所以就具有能够对连结流的解码数据没有间断地进行图像显示，并能够消除图像的重复的效果。

根据本发明所涉及的图像再生方法，在上述图像再生方法中，在构成上述连结流的先行流与后续流的连结部前后，显示该先行流的帧的期间和显示该后续流的帧的期间重复的情况下，在对上述先行流进行了解码以后，暂时停止上述后续流的解码动作，所以就具有能够对连结流的解码数据没有间断地进行图像显示的效果。

根据本发明所涉及的图像再生装置，在再生将编码方式不同的多个编码流连结而成的连结流的装置中，包括：蓄积连结流的流缓冲器；与各种编码方式相对应的多个解码器，其中对解码从上述流缓冲器输出的连结流中的各编码流的解码器，依照该各编码流的编码方式从上述多个解码器之中进行选择，所以就具有可以无缝地再生将编码方式不同的编码流连结起来的连结流的效果。

根据本发明所涉及的再生列表数据，作为一种将多个编码流中应再生的多个再生部分以这些部分被连续再生的方式进行指定并再生的再生列表数据，具有：表示上述多个编码流中的多个再生部分，并且表示上述多个再生部分的再生顺序的第1数据；和决定由该第1数据所决定的再生部分的地址位置的第2数据，上述第1数据包含表示不同编码方式的再生部分的连结位置的信息、或者表示在进行该连续再生的前后的再生部分帧显示延迟时间不同的信息，所以就具有可以无缝地连续再生将编码方式不同的多个编码流的所需要部分连结而成的连结流的效果。

根据本发明所涉及的再生列表数据，作为一种将多个编码流中应再生的多个再生部分以这些部分被连续再生的方式进行指定并再生的再生列表数据，具有：表示上述多个编码流中的多个再生部分，并且表示上述多个再生部分的再生顺序的第1数据；和决定由该第1数据所决定的再生部分的地址位置的第2数据，上述第2数据具有表示上述编码方式不同的多个再生部分各自中的帧显示延迟量的信息，所以就具有可以无缝地连续再生将编码方式不同的多个编码流的所需要部分连结而成的连结流的效果。

根据本发明所涉及的图像再生方法，作为一种将编码方式不同的多个编码流基于表示应再生的编码流或者其部分的播放列表信息来连续进行再生的图像再生方法，包含：检测上述编码方式的转换位置的位置检测步骤；和解码上述编码方式不同的各个编码流的解码步骤，在上述解码步骤中，在上述检测到的编码方式的转换位置，将解码编码流的编码方式转换成与作为解码对象的编码流对应的编码方式，所以就具有可以无缝地连续再生将编码方式不同的多个编码流的所需要部分连结而成的连结流的效果。

本发明所涉及的图像再生装置，作为一种将编码方式不同的多个编码流基于表示应再生的编码流或者其部分的播放列表信息来连续进行再生的图像再生装置，包含：蓄积被输入的流的一个流缓冲器；与各种编码方式相对应的多个解码器；对解码从上述流缓冲器输出的编码流的解码器，依照该编码流的编码方式从上述多个解码器之中进行选择的解码器选择部；蓄积通过上述编码流的解码而得到的图像数据的一个帧缓冲器；和显示从该帧缓冲器输出的图像数据的显示部，所以就具有可以无缝地连续再生将编码方式不同的多个编码流的所需要部分连结而成的连结流的效果。

附图说明

图1是用于说明根据本发明的实施方式1的图像再生装置100的图。

图2是说明上述实施方式1的图像再生装置100中的显示部的框图。

图3是说明决定上述实施方式1的图像再生装置100中的图像显示时的延迟时间的动作一例(图(a))以及其他例子(图(b))的图。

图4是将利用上述实施方式1的图像再生装置100的无缝再生的一例(图(b))与发生显示的间断的再生例子(图(a))进行对比来说明的图。

图5是将利用上述实施方式1的图像再生装置100的无缝再生的其他例子(图(b))与发生显示的间断的再生例子(图(a))进行对比来说明的图。

图6是用于说明本发明的实施方式2的图像再生装置100a的图。

图7是说明利用上述实施方式2的图像再生装置100a的无缝再生动作的图。

图8是将利用上述实施方式2的图像再生装置100a使编码方式不同的流在其连结部分进行了多路化的情况(图(b))与不进行该流的连结部分的多路化的情况(图(a))进行对比来表示的图。

图9将利用上述实施方式2的图像再生装置100a的无缝再生的例子(图(b))与发生显示的间断的再生例子(图(a))进行对比来说明的图。

图10是用于说明本发明的实施方式3的图像再生装置100b的图。

图11是说明利用上述实施方式3的图像再生装置100b的无缝再生动作的图。

图12是将利用上述实施方式3的图像再生装置100b的无缝再生的一例(图(b))以及其他例子(图(c))与发生显示的间断的再生例子(图(a))进行对比来说明的图。

图13是用于说明本发明的实施方式4的图像再生装置100c的图。

图14是说明上述实施方式4的图像再生装置100c中的显示部的图，图(a)表示其构成，图(b)表示其动作。

图15是将利用上述实施方式4的图像再生装置100c的无缝再生的例子(图(b))与发生显示的间断的再生例子(图(a))进行对比来说明的图。

图16是用于说明本发明的实施方式5的图像再生装置100d的图。

图17是说明上述实施方式5的图像再生装置100d中的显示部的图，图(a)表示其构成，图(b)表示其动作。

图18是将利用上述实施方式5的图像再生装置100d的无缝再生的例子(图(b))与发生显示的间断的再生例子(图(a))进行对比来说明的图。

图19是说明即便在上述实施方式5的图像再生装置100d上所输入的连结流中的MPEG-2对应的先行流的最终显示帧通过用户的编辑而成为B帧的情况(图(a))下，也可以在该实施方式5中进行无缝再生(图(b))的图。

图20是说明即便在上述实施方式5的图像再生装置100d上所输入的连结流中的MPEG-4AVC对应的先行流的最终显示帧通过用户的编辑而成为B帧的情况(图(a))下，也可以在该实施方式5中进行无缝再生(图(b))的图。

图21是用于说明本发明的实施方式6的图像再生装置100e的图。

图22是将利用上述实施方式6的图像再生装置100e的无缝再生的一例(图(b))以及其他例子(图(c))与发生显示定时重叠的再生例子(图(a))进行对比来说明的图。

图23是说明根据本发明的实施方式7的图像再生装置100f的图。

图24是说明上述实施方式7的图像再生装置100f中所用的播放列表的图，表示使用了播放列表的再生方法(图(a))、该播放列表的记述例(图(b))、以及访问信息中的记述内容(图(c))。

图25是说明上述实施方式7中所用的BD-RE(Rewritable)对应的播放列表的格式的图，表示播放列表与该播放列表指定的再生部分的对应关系(图(a))、该播放列表中的记述内容(图(b))、以及播放项目中的记述内容(图(c))。

图26是说明图25所示的夹子的图，表示播放列表与该播放列表指定的再生部分的对应关系(图(a))、播放列表中的记述内容(图(b))、以及相当于该播放列表中的属性信息的StreamCondingInfo的记述内容(图(c))。

图27是用于说明以往的图像再生装置200的图。

图28是用于说明以往的图像再生装置中所用的播放列表的图，表示使用了播放列表的再生方法(图(a))、播放列表中的记述内容(图(b))、以及访问信息的记述例(图(c))

图29是说明以往的图像再生装置中所用的BD-RE(Rewritable)对应的播放列表的格式的图，表示播放列表与该播放列表指定的再生部分的对应关系(图(a))、播放列表中的记述内容(图(b))、以及播放项目中的记述内容(图(c))。

图30是说明图29所示的夹子的图，表示播放列表与该播放列表指定的再生部分的对应关系(图(a))、以及相当于该播放列表中的属性信息的StreamCondingInfo的记述内容(图(b))。

附图标记说明

11时钟计数器

12字节计数器

13帧计数器

21解码开始控制部

22流输入控制部

23图像输出控制部

24、24D显示控制部

100、100a～100f图像再生装置

101、101A～101C、101D、101E、101F系统解码器102，

102A、102B、111流缓冲器

103开闭开关

104输入侧转换开关

105输出侧转换开关

106、106E帧缓冲器

107、107C、107D显示部

107a开闭开关

107b显示器

107c选择开关

107d控制部

107e帧缓冲器

107f数据库

110、110A、110B流读出部

120编辑部

130用户界面

AI访问信息

AL访问信息中追加的信息

a1、a2节点

Bc、CLc、Fc计数输出

Bd缓冲器输出数据

Bst缓冲器输出流

C1、C2、C3夹子

CBbp编码边界字节位置信息

CBfp编码边界帧位置信息

Chr读出控制信号

Csd系统解码器控制信号

Cse选择控制信号

Cst编码流

c1第1输入节点

c2第2输入节点

c3输出节点

Dbo缓冲器占有量信息

Dcd编码信息

Dd1、Dd2、Dd3、...、Ddn、Dd1B、Dd2B、Dd3B、...、DdnB解码器

Drd读出信息

M记录介质

MPL1、MPL2、MPL3、MPL4电影播放列表

PI、PI1、PI2、PI3、PI4、PI5、PI6、PI7播放项目

PIA播放项目中追加的信息

PL播放列表

PLA、PLB播放列表中追加的信息

Sd解码数据

Sdi输入侧转换控制信号

Sdo输出侧转换控制信号

Sst系统流

Tdec解码开始定时信息

Tdis显示定时信息

具体实施方式

以下，就本发明的实施方式进行说明。

(实施方式1)

图1是用于说明根据本发明的实施方式1的图像再生装置的图。

该实施方式的图像再生装置100再生将编码方式相异的多个图像编码流相互连结而成的连结流。

该图像再生装置100具有：将记录介质M中所记录的多媒体位流作为系统流Sst进行读出的流读出部110；蓄积从记录介质M所读出的系统流Sst的流缓冲器111；从该流缓冲器111读出系统流Sst，并抽取系统流Sst中所包含的辅助信息CBbp、CBfp、Dcd以及编码流Cst的系统解码器101；以及蓄积来自该系统解码器101的编码流Cst的一个流缓冲器102。在此，从HDDVD或BD等支持多个编码方式的记录介质读出对应于各种编码方式的VOB流作为系统流Sst，并从系统解码器101输出将编码方式不同的多个图像编码流连结而成的连结流作为编码流Cst。在此，例如设连结流将对应于MPEG-2方式的图像编码流、和对应于MPEG-4AVC(Advanced Video Coding)的图像编码流连结起来。但是，上述编码方式并不限于MPEG-2方式或MPEG-4AVC方式。

上述图像再生装置100还具备：与各种编码方式相对应的多个解码器[1]Dd1～[N]Ddn；对解码从上述流缓冲器102所输出的流Bst的解码器为使各编码方式的流由相对应的解码器来解码而从上述多个解码器中进行选择的解码器选择部；蓄积通过所选择的解码器的解码而得到的图像数据Sd的一个帧缓冲器106；以及显示从该帧缓冲器106所输出的图像数据Bd的显示部107。

在这里，设上述解码器Dd1与MPEG-2编码方式相对应，解码器Dd2与MPEG-4AVC编码方式相对应。

另外，上述解码器选择部具有：被设置在上述多个解码器Dd1～Ddn的前级，基于解码器输入转换信号Sdi将从流缓冲器102所读出的各编码方式的流供给到上述多个解码器中某一个的输入侧转换开关104；以及被设置在上述多个解码器Dd1～Ddn的后级，基于解码器输出转换信号Sdo来选择某一个解码器输出，并供给到帧缓冲器106的输出侧转换开关105。上述输入侧转换开关104具有一个输入节点Na与多个输出节点Nb1～Nbn，并根据输入侧转换控制信号Sdi来转换输入节点Na与多个输出节点Nb1～Nbn之间的连接。上述输出侧转换开关105具有多个输入节点Nc1～Ncn与一个输出节点Nd，并根据输出侧转换控制信号Sdo来转换多个输入节点Nc1～Ncn与一个输出节点Nd之间的连接。另外，在输入侧转换开关104的输出节点Nb1～Nbn上分别连接着上述解码器Dd1～Ddn的输入节点，并在输出侧转换开关105的输入节点Nc1～Ncn上分别连接着上述解码器Dd1～Ddn的输出节点。

上述图像再生装置100还具有：基于流缓冲器102的缓冲器占有量Dbo输出表示解码开始定时的信息Tdec的解码开始控制部21；被设置在上述流缓冲器102与输入侧转换开关104之间、并基于解码开始定时信息Tdec进行开闭的开关103；基于该解码开始定时信息Tdec进行计数动作，并输出计数器输出CLc的时钟计数器11；以及基于来自上述系统解码器101的编码信息Dcd及上述时钟计数器11的输出CLc将指示显示定时的信息Tdis输出到上述显示部107的显示控制部24。在这里，开闭开关103在流缓冲器102的占有量成为一定值、例如达到最大值时，就成为打开状态以进行编码流的解码。另外，时钟计数器11当开始向流的解码器的输入时，将计数器输出CLc复位。另外，显示控制部24依照连结流中所包含的流的编码方式来决定对于连结流全体的显示延迟，并输出与该已决定的显示延迟相对应的显示定时信息Tdis。

上述图像再生装置100还具有：基于来自上述开闭开关103的缓冲器输出流Bst对从上述流缓冲器102供给到解码器的流的字节数进行计数，并输出计数输出Bc的字节计数器12；以及基于来自上述系统解码器101的，表示编码边界字节位置的信息CBbp及该字节计数器12的计数输出Bc，将输入侧转换控制信号Sdi输出到上述输入侧转换开关104的流输入控制部22。

上述图像再生装置100还具有：基于来自上述输出侧转换开关105的解码数据Sd对帧缓冲器106中所蓄积的解码数据Sd的帧数进行计数，并输出计数输出Fc的帧计数器13；以及基于来自上述系统解码器101的、表示编码边界帧位置的信息CBfp及该帧计数器13的计数输出Fc，将输出侧转换控制信号Sdo输出到上述输出侧转换开关105的图像输出控制部23。

图2是说明该实施方式1的图像再生装置100中的显示部107的图。

上述显示部107具有开闭开关107a和显示器107b，其中，该开闭开关107a具有输入节点a1与输出节点a2，并基于来自显示控制部24的显示定时信息Tdis对输入节点a1与输出节点a2被连接的导通状态、和输入节点a1与输出节点a2成为非连接的非导通状态进行转换，该显示器107b显示从该开闭开关107a的输出节点a2所输出的解码数据。

接着就其动作进行说明。

在该图像再生装置100中通过流读出部110从支持多个编码的HDDVD或BD等记录介质M将流Rs读出并输入到流缓冲器111，当流缓冲器111中的流蓄积量达到一定值时，流缓冲器111中所蓄积的流Rs作为系统流Sst按照被输入到该缓冲器111的顺被输出。然后，当该系统流Sst被输入到系统解码器101，系统解码器101抽取系统流Sst中所包含的、编码边界字节位置信息CBbp、编码边界帧位置信息CBfp、编码信息Dcd等辅助信息以及编码流Cst并输出。此时，编码边界字节位置信息CBbp被供给到流输入控制部22、编码边界帧位置信息CBfp被供给到图像输出控制部23、进而编码信息Dcd被供给到显示控制部24。另外，从系统解码器101所输出的编码流Cst被供给到流缓冲器102蓄积起来。

在这里，编码流Cst包含将编码方式不同的多个图像编码流连结起来的连结流。但是，在此，为了简化说明而设种类不同的编码方式为MPEG-2方式与MPEG-4AVC方式这两种。从而，设上述编码流Cst包含编码不同的两个流，一个是通过MPEG-2编码方式对一个图像序列的图像数据进行编码而成的图像编码数据，另一个是通过MPEG-4AVC编码方式对其他图像序列的图像数据进行编码而成的图像编码数据。

然后，当流缓冲器102的占有量为一定量，例如流缓冲器102成为满的状态时，解码开始控制部21基于来自流缓冲器102的缓冲器占有量信息Dbo将解码开始定时信息Tdec输出到上述开闭开关103以及时钟计数器11。

于是，开闭开关103成为打开状态，流缓冲器102中所蓄积的编码流Bst被读出。此时，字节计数器12对从流缓冲器102所读出的编码流Bst的字节数进行计数，并将计数输出Bc输出到流输入控制部22。

在流输入控制部22中基于计数输出Bc以及编码边界字节位置信息CBbp来检测编码不同的两个流的边界位置，并在与该流边界位置对应的定时转换一个输入节点Na与多个输出节点Nb1～Nbn的连接。

从输入侧转换开关104所输出的、连结流中的对应于各编码方式的流由相对应的解码器进行解码。通过该解码而得到的解码数据被输出到输出侧转换开关105。例如，在上述连结流中的比编码边界位置靠前的流对应于MPEG-2编码方式，而上述连结流中的比编码边界位置靠后的流对应于MPEG-4AVC编码方式的情况下，在上述输入侧转换开关104中，在对应于编码边界位置的定时，输入节点Na与输出节点Nb1的连接被转换成输入节点Na与输出节点Nb2的连接。由此，若利用解码器Dd1的、MPEG-2编码方式的流的解码完成，则开始利用解码器Dd2的MPEG-4AVC编码方式的流的解码。

另外，帧计数器13对从输出侧转换开关105所输出的解码数据Sd的帧数进行计数，并将计数输出Fc输出到图像输出控制部23。图像输出控制部23基于计数输出Fc及编码边界帧位置信息CBfp来检测编码不同的两个解码数据的帧边界位置，并在对应于该帧边界位置的定时转换多个输入节点Nc1～Ncn与一个输出节点Nd的连接。

例如，在上述连结流中的比编码边界位置靠前的流对应于MPEG-2编码方式，而上述连结流中的比编码边界位置靠后的流对应于MPEG-4AVC编码方式的情况下，在上述输出侧转换开关105中，在对应于编码边界帧位置的定时，输入节点Nc1与输出节点Nd的连接被转换成输入节点Nc2与输出节点Nd的连接。由此，在输出侧转换开关105中，若通过解码器Dd1对MPEG-2编码方式的流进行解码而得到的解码数据的输出完成，则开始通过解码器Dd2对MPEG-4AVC编码方式的流进行解码而得到的解码数据的输出。

然后，从输出侧转换开关105所输出的解码数据Sd被蓄积在帧缓冲器106中。该帧缓冲器106将解码数据Sd按与各编码相对应的显示顺序重排，并作为缓冲器输出数据Bd输出到显示部107。

显示控制部24基于时钟计数器11的计数输出CLc以及来自系统解码器101的编码信息Dcd发生表示显示定时的信息Tdis，上述显示部107基于该显示定时信息Tdis在与各编码方式相对应的显示定时显示与各编码方式相对应的流的解码数据。

具体而言，显示部107在显示定时信息Tdis所示的定时、将上述开闭开关107a为导通状态、且帧缓冲器106中所蓄积的、未显示的解码完毕的帧的数据之中显示时刻最早的帧的数据输出到显示器107。此时，显示控制部24依照连结流中所包含的各个流的编码方式的种类，使显示该连结流中的各帧的图像的定时一律相对于与各帧对应的流的解码定时进行延迟。但是，在此，为了简化说明，在不使显示各帧的图像的定时延迟、也就是显示延迟为0帧的情况下，设一个帧的图像显示定时与解码其后一个的帧的流的定时相一致。

图3(a)表示在显示控制部24中决定使各帧的显示定时延迟多少帧的处理的一例。

显示控制部24基于来自系统解码器101的编码信息Dcd，来判定从系统解码器101抽取出的连结流Cst中是否包含对应于MPEG-4AVC编码方式的流(步骤1)。在该判定结果为连结流Cst不含对应于MPEG-4AVC编码方式的流的情况下，显示控制部24将各帧的显示定时的延迟时间决定为相当于1帧的时间(步骤2)。另一方面，在上述步骤1中的判定结果为连结流Cst包含对应于MPEG-4AVC编码方式的流的情况下，显示控制部24将各帧的显示定时的延迟时间决定为相当于N帧的时间(步骤3)。

以下，图4是就在对应于MPEG-2编码方式的编码流M2之后，连结着对应于MPEG-4AVC编码方式的编码流M4的情况下的显示定时的延迟具体地进行说明的图。在这里，表示N＝2的情况、也就是在再生MPEG-4AVC编码方式的编码流时需要使显示定时延迟2帧的情况。

图4(a)表示显示延迟时间为1帧的情况下，图4(b)表示显示延迟时间为N(＝2)帧的情况。

例如，在MPEG-2编码方式的编码流M2中包含与I帧、P帧、B帧对应的流，流的解码顺序如图4(a)所示是I、P、B、B、P、B、B、P、B、B。在此情况下，由于B帧参照在显示顺上位于其后方的P帧来实施预测编码处理，所以P帧的流就比参照其的B帧的流在先得以解码，各帧的显示定时就相应地推迟1帧时间。

然而，在该MPEG-2编码方式的流上连结着MPEG-4AVC编码方式的流的情况下，仅仅使各帧的显示定时相应地延迟1帧时间，如图4(a)中虚线的圆形标记所示那样，在连结流的编码方式从MPEG-2方式转换成MPEG-4AVC方式的部分显示就会间断。

也就是、在MPEG-4AVC编码方式的编码流M4中包含与I帧、P帧、B帧、Bs(storedB)帧对应的流，流的解码顺序如图4(a)所示是I、P、Bs、B、B、P、Bs，B、B、P、Bs、B、B。在这里，Bs帧是在其他的B帧的编码时被参照的帧。为此，Bs帧的流就需要比参照其的B帧的流在先进行解码，各帧的显示定时就相应地推迟2帧时间。从而，若要将MPEG-4AVC编码方式的流M4的解码数据以对应于MPEG-2编码方式的1帧时间的延迟来进行显示，则在编码方式转换的部分就不存在应再生的数据，显示就会间断。

因而，判定在连结流中是否包含对应于MPEG-4AVC编码方式的流，在包含MPEG-4AVC编码方式的流的情况下，如图4(b)所示，通过在连结流的再生时将各帧的显示延迟时间一律设为2帧时间，就能够回避在编码方式转换的部分显示间断。

另外，图5是就在对应于MPEG-2编码方式的编码流M2之后连结着对应于MPEG-4AVC编码方式的编码流M4a情况下的显示定时的延迟具体地进行说明的图，表示N＝3的情况，也就是在对MPEG-4AVC编码方式的编码流M4a进行解码时，在与MPEG-2编码方式对应的流中需要使其显示定时延迟3帧的情况。

图5(a)表示显示延迟时间为1帧的情况下，图5(b)表示显示延迟时间为N(＝3)帧的情况。

例如，在MPEG-2编码方式的编码流M2中，与上述同样地包含对应于I帧、P帧、B帧的流，流的解码顺序如图5(a)所示是I、P、B、B、P、B、B、P、B、B。在此情况下，由于B帧参照在显示顺上位于其后方的P帧来实施预测编码处理，所以P帧的流就比参照其的B帧的流在先得以解码，各帧的显示定时就相应地推迟1帧时间。

然而，在该MPEG-2编码方式的流M2上连结着MPEG-4AVC编码方式的流M4a的情况下，仅仅使各帧的显示定时相应延迟1帧时间，如图5(a)中虚线的圆形标记所示那样，在连结流的编码方式从MPEG-2方式转换成MPEG-4AVC方式的部分就不存在应再生的数据，显示就会间断2帧。

也就是说，在MPEG-4AVC编码方式的流M4a中，包含对应于I帧、P帧、B帧、Bs帧的流，流的解码顺序如图5(a)所示是I、P、Bs、Bs、B、B、B、P、Bs、Bs、B、B、B。在这里，Bs帧是其他的B帧的编码时被参照的帧。为此，Bs帧的流就比参照其的B帧的流在先进行解码，各帧的显示定时就相应地推迟3帧时间。从而，若要将MPEG-4AVC编码方式的编码流M4a的解码数据以与MPEG-2编码方式对应的1帧时间的延迟来进行显示，则在编码方式转换的部分显示就会间断2帧。

因而，判定在连结流中是否包含对应于MPEG-4AVC编码方式的流M4a，在包含MPEG-4AVC编码方式的编码流M4a的情况下，如图5(b)所示，通过在连结流的再生时将显示延迟时间设为3帧时间，就能够回避在编码方式转换的部分显示间断。

这样，在本实施方式1中，在再生将对应于两种编码方式中的某一个的、作为图像编码数据的流连结多个而成的连结流的图像再生装置100中具备：蓄积上述连结流Cst的流缓冲器102；以及与各种编码方式对应的多个解码器Dd1～Ddn，并对解码从流缓冲器102所输出的连结流Bst中的各图像编码流的解码器，依照该各图像编码流的编码方式从上述多个解码器之中进行选择，所以就具有将不同编码方式的流连结起来的内容的无缝再生成为可能的效果。

另外，在上述实施方式1中，将上述连结流Cst保存在一个缓冲器流102中，并从该流缓冲器102顺次读出各个流进行解码，所以就具有能够有效地利用流缓冲器102的缓冲器容量的效果。

另外，在上述实施方式1中，当上述流缓冲器102的占有量达到规定值时，开始上述流的解码，所以就可以回避流缓冲器102中的下溢。

另外，在上述实施方式1中，将通过上述流的解码而得到解码数据保存在一个帧缓冲器106中，所以就具有能够有效地利用帧缓冲器106的缓冲器容量的效果。

另外，在上述实施方式1中，将上述帧缓冲器106中所保存的解码数据从显示时刻较早的起按顺序进行显示，所以就具有能够对实施了采用后方参照等的预测编码处理的图像数据正确地进行再生的效果。

另外，在上述实施方式1中，将上述解码数据相对于其解码定时，延迟连结流中的各个编码方式的流之中需要最大延迟的流的延迟时间以上来显示，所以就具有以下效果：即便在连结流内包含与多个种类的编码方式对应的流的情况下，也能够没有间断地对解码数据进行再生。

另外，在上述实施方式1中，依照上述连结流Cst中所包含的各流的编码方式的类别来决定显示解码数据延迟时间，所以就具有以下效果：即便在连结流内包含编码方式不同的多个流的情况下，也能够没有间断地对解码数据进行再生。

另外，在上述实施方式1中，在上述连结流Cst中包含MPEG-4AVC编码方式的流的情况下，将显示解码数据时的延迟时间设为N(N≥2)帧显示所需要的时间，在上述连结流Cst中不包含MPEG-4AVC编码方式的流的情况下，将显示解码数据时的延迟时间设为1以上的帧显示所需要的时间，所以就具有以下效果：即便在连结流包含MPEG-4AVC编码方式的流的情况下，也能够没有间断地对解码数据进行再生。

另外，在上述实施方式1中，通过将上述显示解码数据时的延迟时间始终设为N(N＝2)以上的帧显示所需要的时间，就取得以下效果：即便在上述连结流中包含MPEG-4AVC编码方式的流的情况下，也能够一边可靠地回避显示的间断一边再生解码数据。

此外，在上述实施方式1中，显示控制部24依照在连结流Cst中是否包含MPEG-4AVC编码方式的流，将各帧的显示定时的延迟时间决定为相当于1帧的时间、或者相当于N(N≥2)帧的时间中的某一个，但用显示控制部24来决定各帧的显示定时的延迟时间的处理并不限于此。

例如，图3(b)表示用显示控制部24来决定使各帧的显示定时延迟多少帧的处理的其他例子。

在该例子中，显示控制部24基于来自系统解码器101的编码信息Dcd来判定从系统解码器101抽取出的连结流Cst中是否包含MPEG-4AVC编码方式的流(步骤11)，在该判定结果为连结流Cst不包含MPEG-4AVC编码方式的流的情况下，显示控制部24基于编码信息Dcd来判定连结流Cst中是否包含利用B帧的编码方式的流(步骤13)。然后，在步骤13中的判定结果为连结流Cst中包含利用B帧的编码方式的流的情况下，将各帧的显示定时的延迟时间决定为相当于1帧的时间(步骤14)。另一方面，在上述步骤13中的判定结果为连结流Cst中不包含利用B帧的编码方式的流的情况下，将各帧的显示定时的延迟时间决定为相当于0帧的时间，也就是将图像显示时的延迟时间设为0(步骤15)。

另外，在上述步骤11中的判定结果为连结流Cst中包含MPEG-4AVC编码方式的流的情况下，显示控制部24判定在再生MPEG-4AVC编码方式的流之际是没有使显示定时延迟的必要(N＝0)、还是有此必要(不是N＝0)(步骤12)。然后，在步骤12中的判定结果为不是N＝0的情况下，显示控制部24将各帧的显示定时的延迟时间决定为相当于N帧的时间(步骤16)，而在N＝0的情况下，显示控制部24则进行步骤13～步骤15的处理来决定图像显示中的延迟时间。

(实施方式2)

图6是用于说明根据本发明的实施方式2的图像再生装置的图。

该实施方式2的图像再生装置100a通过对将编码方式不同的两个流连结而成的连结流中的先行流的末尾部分和该连结流中的后续流的开头部分并行进行解码，就能够对被连结起来的编码方式不同的两个流没有显示间断地无缝地进行再生。

该实施方式2的图像再生装置100a的构成基本上与实施方式1的相同，但该实施方式2中的流缓冲器111A、系统解码器101A、流缓冲器102A、流输入控制部22A以及显示控制部24A其动作与实施方式1中的不同。

即，上述系统解码器前级的流缓冲器111A与实施方式1的相比具有较大的缓冲器容量，可以根据来自系统解码器101A的控制信号Chr，随机且高速地输出所蓄积的系统流Sst。具体而言就是基于来自上述系统解码器101A的控制信号Chr，高速地输出编码方式不同的两个流的连结部分前后的数帧部分的流。

在这里，上述控制信号Chr包含有表示编码方式不同的前后的流的边界位置的信息、和表示在先行流的最终显示帧与后续流的开头显示帧之间有多少帧的显示间隙的信息。

上述系统解码器101A从自流缓冲器111A所读出的系统流Sst抽取辅助信息CBbp、CBfp、Dcd以及编码流Cst，同时将上述控制信号Chr输出到流缓冲器111A，使在先行流末尾高速地输出的部分和在后续流开头高速地输出的部分多路化，并输出到其后级的流缓冲器102A。

在这里，上述系统解码器101A采用可以在先行流的解码中对后续流进行缓冲、且可以对先行流与后续流这两方同时进行解码的构成。这样一来，在上述系统解码器110A中就需要先读流缓冲器101A中所蓄积的流，所以上述系统解码器110A前级的流缓冲器的容量与实施方式1的相比就较大地进行。

此外，在此情况下，音频流的系统解码器(未图示)也采用在其前级侧持有先读用流缓冲器的构成。

另外，上述系统解码器101A将表示使先行流的末尾部与后续流的开头部怎样进行多路化的多路化信息CBmu输出到流输入控制部22A。

上述流缓冲器102A蓄积从该系统解码器101A所输出的编码流Cst，并按顺序输出已蓄积的流。在这里，流缓冲器102A以与该流被输入到缓冲器102A时的位速率一致的位速率输出已蓄积的流。

上述流输入控制部22A基于来自系统解码器101A的编码边界字节位置信息CBbp以及多路化信息Cbmu、和来自字节计数器12的计数输出Bc，将输入侧转换控制信号Sdi输出到输入侧转换开关104。输入侧转换开关104基于输入侧转换控制信号Sdi来转换输入节点与输出节点的连接，以使得来自流缓冲器102A的输出流Bst的MPEG2对应的部分被输入到解码器[1]Dd1，该输出流Bst的MPEG-4AVC对应的部分被输入解码器[2]Dd2。

另外，在该实施方式2中，上述显示控制部24A不是如实施方式1的显示控制部24那样，依照连结流中所包含的流的编码方式来决定对于连结流全体的显示延迟，并输出与该已决定的显示延迟相对应的显示定时信息Tdis，而是输出表示与各编码方式的流相应的显示定时的显示定时信息Tdis。

接着就动作进行说明。

该实施方式2的图像再生装置100a的动作主要在下面这一点与实施方式1的不同，即，系统解码器101A由其前级的流缓冲器111A，通过随机存取高速地读出编码方式不同的流的连结部前后的数帧部分，对先行流的末尾部分与后续流的开头部分并行进行解码，所以在以下主要就这一点进行说明。

通过流读出部110A读出将编码方式不同的流连结而成的连结流，并蓄积在流缓冲器111A中，当流缓冲器111A的流蓄积量成为一定值以上时，系统解码器101A从流缓冲器111A读出连结流作为系统流Sst，并从该系统流Sst抽取辅助信息CBbp、CBfp、Dcd以及编码流Cst。另外，此时，系统解码器101A基于上述系统流的首标部分中所包含的辅助信息，判定该连结流中的编码方式不同的前后的流的边界位置、以及先行流的最终帧与后续流的开头帧之间的显示间隙的大小，并将包含表示上述流边界位置的信息与表示上述显示间隙的大小的信息的控制信号Chr输出到流缓冲器111A。

于是，流缓冲器111A将按输入顺序并以通常速度输出上述连结流的处理在相当于上述显示间隙的大小的定时转换成通过随机存取高速输出上述连结流的处理。在该高速输出处理中，上述连结流中的流边界前后的数帧部分从流缓冲器111A被高速地输出到系统解码器101A。

在系统解码器101A中，当这样从流缓冲器111A所高速输出的先行流的末尾部分与后续流的开头部分被输入时，将这些编码方式不同的流被高速地输出的部分多路化并输出到流缓冲器102A。

在流缓冲器102A中，顺次蓄积从系统解码器101A所输出的流Cst，当流的蓄积量达到一定以上时，将已蓄积的流按输入顺序以与其输入速率相一致的速率进行输出。也就是说，以通常速率被输入到流缓冲器102A的流就以通常速率进行输出，而以高速速率被输入的流则以高速速率进行输出。

然后，从流缓冲器102A输出的流Bst通过由流输入控制部22A所控制的输入侧转换开关104被输入到编码方式相对应的解码器。

各解码器若流被输入就开始流的解码器，每当1帧部分的流的解码完成，就将解码数据从该解码器输出到帧缓冲器106。显示部107基于来自显示控制部24a的显示定时信息Tdis，从显示时刻较早的起按顺序显示帧缓冲器106中所蓄积的解码数据。

以下，关于系统解码器101A中所输入的系统流Sst是在对应于MPEG-2编码方式的编码流M2之后连结着对应于MPEG-4AVC编码方式的编码流M4的连结流的情况，就实施方式2的图像再生装置的动作具体地进行说明。

在该两流的连结部分产生的显示间隙的大小是1帧期间，所以系统解码器102A判定为在MPEG-2编码流M2与MPEG-4AyC编码流M4的连结部分，需要进行从其前级的流缓冲器的高速读出，流缓冲器111A根据来自系统解码器101A的控制信号Chr，从流缓冲器111A高速地读出MPEG-2编码流M2的最终帧部分和MPEG-4AVC编码流M4的开头帧部分，将这些高速地读出的部分多路化并输出到流缓冲器102A。

图7是说明本实施方式2的图像再生装置中被输入将编码方式不同的流连结而成的连结流的情况下的系统解码器101A的动作的图。

首先，当从记录介质所读出的连结流的首标信息被输入到系统解码器101A时，该系统解码器101A基于作为该首标信息的辅助信息来检测先行流与后续流间的连结部分的显示间隙，并决定各自的流的帧显示时刻以使该显示间隙得以吸收(步骤21)。

接着，系统解码器101A将以通常速度来解码各帧时各帧的解码完成赶得上各帧的显示的解码开始定时设为各帧的解码时刻(步骤22)。

接着，系统解码器101A判定后续流的开头解码帧的解码时刻是否比先行流的最终解码帧的解码时刻晚(步骤23)。

在该判定结果为后续流的开头解码帧的解码时刻比先行流的最终解码帧的解码时刻还要晚时，系统解码器101A就不对流缓冲器111A送出控制信号Chr。在此情况下，在连结流的连结部前后，从流缓冲器111A的读出就以通常的读出速度进行，系统解码器101A在先行流向流缓冲器102A的输入完成以后，进行后续流向流缓冲器的输入(步骤23)。

另一方面，在上述步骤23的判定结果为后续流的开头解码帧的解码时刻不比先行流的最终解码帧的解码时刻晚时，系统解码器101A就对流缓冲器111A送出控制信号Chr。在此情况下，在连结流的连结部前后，从流缓冲器111A的读出就比通常的读出速度更高速地进行，系统解码器101A通过规定的多路化方法将先行流被高速地读出的部分与后续流被高速地读出的部分多路化并输入到其后级的流缓冲器102A(步骤24)。

图8是说明对上述先行流与后续流进行多路化的方法的图。

图8(a)表示在连结流的连结部前后、流的读出以通常的读出速度进行，先行流与后续流的邻接部分不进行多路化地按解码顺序输入到流缓冲器的情况。另外，图8(b)表示在连结流的连结部前后、流的读出高速地进行，将先行流与后续流的邻接部分进行多路化并输入到流缓冲器102A的情况。

此外，在这里，为了使说明简化而表示位速率是固定的情况。另外，图中，W1、W2表示流的传送速度。

首先，如图8(b)所示，在MPEG-2编码方式的流M2的解码途中，预先对作为后续流的MPEG-4AVC编码方式的流M4进行解码。在此情况下，为了能够将数据并列输入到解码器，系统解码器101A通过自流缓冲器111A进行2倍速以上的读出，提高数据的传送速度并对系统解码器后级的流缓冲器102A输入数据。

即，在预先对后续流进行解码的情况下，为了能够大致并列地将数据输入到解码器而提高先行流的传送速度(定时t1)。接着，为了使后续流的第1个帧能够在规定解码时刻进行解码，对先行流与后续流进行多路化(定时t2)。后续流的开头帧的输入一完成，就以通常的速度将MPEG-4AVC编码方式的流M4输入到解码器(定时t3)。

以后，以通常的速度对MPEG-4AVC编码方式的流M4进行解码。在MPEG-2编码方式的流M2与MPEG-4AVC编码方式的流M4的结合部分，高速地进行向解码器的数据输入，相应地与图8(b)所示的以固定速率进行向解码器的数据输入的情况、即不进行多路化的情况相比，数据输入就较快地结束(定时t4)。

图9是具体地说明在对应于MPEG-2编码方式的编码流M2之后、连结着对应于MPEG-4AVC编码方式的编码流M4的情况下，在先行流与后续流的连结部分进行无缝再生的情形的图。

在MPEG-2编码流M2之后连结着MPEG-4AVC编码流M4的情况下，若以通常速度读出该两流的连结部分，则如图9(a)所示，在该两流的连结部分显示就会相应地间断1帧期间。

相对于此，如本实施方式2那样，通过将上述两个流的边界的前后1帧部分高速地进行读出，如图9(b)所示那样，针对先行流的最终显示帧与后续流的开头显示帧这两帧的解码处理在实质上是并行进行，该两流的连结部分的1帧的显示间隙就得以吸收。

由此就能够回避在MPEG-2编码流M2上连结了MPEG-4AVC编码流M4的连结流的编码方式转换的部分显示间断。

这样，根据本实施方式2，在先行流是MPEG-2编码方式的流M2，后续流是MPEG-4AVC编码方式的流M4的情况下，由于将后续流的解码开始加快1帧部分，所以在MPEG-2编码方式的流M2的再生结束以后，就能够没有间断地再生MPEG-4AVC编码方式的流M4。另外，能够使通过连结流全体而被再生的帧的延迟收敛于1帧部分。

进而，基本上只要MPEG-4AVC编码方式的流M4的读出能够较快地执行就可以实现该实施方式2的图像再生装置，解码器的解码能力可以使用通常速度的。

此外，在上述实施方式2中，上述图像再生装置100a采用以下构成，即设上述系统解码器前级的流缓冲器与实施方式1的相比具有较大的缓冲器容量，且在先行流的解码中可以对后续流进行缓冲，并设系统解码可以对两个流大致同时地进行解码，但上述图像再生装置100a并不限于这样，还可以采用设流读出部110A可以进行针对记录介质的随机存取而带来的高速读出的构成。在此情况下，设系统解码器101A及其前级的流缓冲器111A将流以与该其输入速率相应的速率进行输出。然后，在此情况下，在流读出部中对先行流的末尾部分与后续流的开头部分分别每一定字节就进行转换来读出，由此就能够一边将这些部分多路化一边进行读出。

另外，在上述实施方式2中，设系统解码器将先行流与后续流的连结部前后进行多路化并输出到流缓冲器，但在解码器[1]Dd1～[N]Ddn持有在1帧的显示时间可以解码至少2帧以上的流的处理能力的情况下，就不需要将先行流与后续流的连结部前后进行多路化。

也就是说，在系统流是在MPEG-2对应的流M2之后、连结着MPEG-4AVC对应的流M4的情况下，将该系统流在其连结部前后以通常的2倍以上的读出速度从帧缓冲器111A进行读出，由此在用解码器[1]Dd1对先行流的最终帧开始解码起、直到用解码器[2]Dd2对后续流的开头帧结束解码的时间合计就收敛于1帧显示期间内，而不需要并行进行用解码器[1]Dd1的先行流的最终帧的解码、和用解码器[2]Dd2的后续流的开头帧的解码，从而，就不需要对先行流的最终帧和解码器[2]Dd2中的后续流的开头帧进行多路化。

(实施方式3)

图10是用于说明根据本发明的实施方式3的图像再生装置的图。

该实施方式3的图像再生装置100b通过对被连结起来的编码方式不同的两个流之中的后续流的开头部分高速地进行解码，就能够对被连结起来的编码方式不同的两个流没有显示间断地无缝地进行再生。

该实施方式3的图像再生装置100b基本上具有与实施方式1的图像再生装置100相同的构成，但流读出部110B、流缓冲器111B、系统解码器101B、流缓冲器102B、以及解码器Dd1B～DdnB的构成与实施方式1的不同。

即，上述系统解码器前级的流缓冲器111B与实施方式1的相比具有较大的缓冲器容量，可以根据来自系统解码器101B的控制信号Chr，高速地输出所蓄积的系统流Sst。具体而言，流缓冲器111B基于来自上述系统解码器101B的高速读出控制信号Chr，将被连结起来的编码方式不同的两个流之中的后续流的开头部分高速地进行输出。

在这里，上述高速读出控制信号Chr包含有表示编码方式不同的前后的流的边界位置的信息、和表示在先行流的最终帧与后续流的开头帧之间有多少帧的显示间隙的信息。

上述系统解码器101B从自流缓冲器111B所读出的系统流Sst抽取辅助信息CBbp、CBfp、Dcd以及编码流Cst，同时对流缓冲器111B输出上述高速读出控制信号Chr，并依照来自流缓冲器111B的流的输入速率高速地进行动作。也就是说，系统解码器101B将后续流开头被高速地读出的部分高速地输出到流缓冲器102B。

上述系统解码器101B后级的流缓冲器102B蓄积从该系统解码器101B所输出的编码流Cst，并按顺序输出已蓄积的流。另外，流缓冲器102B可以以与来自系统解码器101B的流的输入速率相应的速度输出流，后续流开头被高速地读出的部分高速地进行输出。

上述解码器Dd1B～DdnB依照流的输入速率高速动作，并对后续流开头被高速地读出的部分高速地进行解码。

上述显示控制部24B不是如实施方式1的显示控制部24那样，依照连结流中所包含的流的编码方式来决定对于连结流全体的显示延迟，并输出与该已决定的显示延迟相对应的显示定时信息Tdis，而是输出表示与各编码方式的流相应的显示定时的显示定时信息Tdis。

这样，在本实施方式3中，系统解码器101B、流缓冲器102B以及解码器Dd1B～DdnB依照数据输入速率高速地动作，，流缓冲器或解码器的吞吐量依照流的输入速率进行变化。

接着就动作进行说明。

该实施方式3的图像再生装置100b除高速地读出被连结起来的编码方式不同的两个流之中的后续流的开头部分并高速地进行解码的动作以外与实施方式1的相同，所以以下主要就与实施方式1不同的动作进行说明。

将编码方式不同的流连结而成的连结流由流读出部110B读出，并蓄积在流缓冲器111B中，当流缓冲器111B的流蓄积量成为一定值以上时，系统解码器101B从流缓冲器111B读出连结流作为系统流Sst，并从该系统流Sst中抽取辅助信息CBbp、CBfp、Dcd以及编码流Cst。另外，此时，系统解码器101B基于上述系统流的首标部分中所包含的辅助信息，来判定该连结流中的编码方式不同的前后的流的边界位置、以及先行流的最终帧与后续流的开头帧之间的显示间隙的大小，并将包含表示上述流边界位置的信息与表示上述显示间隙的大小的信息的高速读出控制信号Chr输出到流缓冲器111B。

于是，流缓冲器111B将输出上述连结流的速率在相当于上述显示间隙的大小的定时，从通常速率转换成高速速率。在该高速读出的处理中，上述连结流中的后续流的开头部分被高速地读出，并输出到系统解码器101B。

在系统解码器101B中，当这样被高速地读出的后续流的开头部分从流缓冲器111B输入时，以与其输入速率相应的速率将后续流的开头部分を输出到流缓冲器102B。

在流缓冲器102B中，顺次蓄积从系统解码器101B所输出的流Cst，当流的蓄积量达到一定以上时，将已蓄积的流按输入顺序以与其输入速率相一致的速率进行输出。也就是说，以通常的速率被输入到流缓冲器102B中的流以通常速率进行输出，以高速输入速率被输入的流以高速速率进行输出。

然后，从流缓冲器102B所输出的流Bst与实施方式1同样地经由输入侧转换开关104，被输入到与编码方式相对应的解码器Dd1B～DdnB。

当流被输入，各解码器Dd1B～DdnB就以与输入速率相应的速度对所输入的流进行解码，并将解码数据输出到帧缓冲器106。于是，显示部107基于来自显示控制部24B的显示定时信息Tdis，从显示时刻较早的起按顺序显示帧缓冲器106中所蓄积的解码数据。

以下，关于系统解码器101B中所输入的系统流Sst是在对应于MPEG-2编码方式的编码流M2之后、连结着对应于MPEG-4AVC编码方式的编码流M4的连结流的情况，就实施方式3的图像再生装置的动作具体地进行说明。

在此情况下，由于在该两流的连结部分产生的显示间隙的大小是1帧期间，所以系统解码器101B判定为在MPEG-2编码流M2与MPEG-4AVC编码流M4的连结部分需要进行高速读出。

图11是说明本实施方式3的图像再生装置中被输入将编码方式不同的流连结而成的连结流的情况下的系统解码器101B的动作的图。

首先，当从记录介质读出的连结流的首标信息被输入到系统解码器101B时，该系统解码器101B基于作为该首标信息的辅助信息，检测先行流与后续流的连结部分处的显示间隙，并决定各自的流的帧的显示定时以使该显示间隙得以吸收(步骤31)。

接着，系统解码器101B将以通常速度来解码各帧时各帧的解码完成赶得上各帧的显示的解码开始定时设为各帧的解码时刻(步骤32)。

接着，系统解码器101B判定该连结流的后续流的开头解码帧的解码时刻是否比该连结流的先行流的最终解码帧的解码时刻晚(步骤33)。

在该判定结果为后续流的开头解码帧的解码时刻比先行流的最终解码帧的解码时刻还要晚时，系统解码器101B就不对流缓冲器111B送出高速读出控制信号Chr。在此情况下，后续流的开头部分以通常速率从流缓冲器111B输出，系统解码器101B以通常速率进行连结流向流缓冲器102B的输入(步骤35)。

另一方面，在上述步骤33中的判定结果为后续流的开头解码帧的解码时刻不比先行流的最终解码帧的解码时刻晚时，系统解码器101B就对流读出部110b送出高速读出控制信号Chr。在此情况下，后续流的开头部分(规定期间)的输出以比通常速率更高速(N倍的速度)速率进行，系统解码器101B以高速速率将后续流的开头部分输入到流缓冲器102B(步骤34)。

图12(a)、(b)是说明在MPEG-2对应的流M2之后、连结着MPEG-4AVC对应的流M4的情况下，通过后续流的开头部分的高速解码，在这些流的连结部分进行无缝再生的情形的图。

图12(a)表示在MPEG-2对应的流M2与MPEG-4AVC对应的流M4的连结部前后、来自流缓冲器的流的读出以通常的读出速度进行时的各帧的显示定时。在此，对应于MPEG-2编码方式的编码流M2是将各帧延迟1帧部分来进行显示的，而对应于MPEG-4AVC编码方式的编码流M4则是将各帧延迟2帧部分来进行显示的。

在此情况下，若将MPEG-4AVC编码方式的流M4的解码数据以与MPEG-2编码方式对应的1帧时间的延迟来进行显示，则在编码方式转换的部分就不存在应再生的数据，显示就会间断。

相对于此，在本实施方式3中，如图12(b)所示那样，在连结流的再生时，将MPEG-4AVC对应的流的、与图中虚线椭圆所示的最初的I、P、Bs、B帧相当的部分以2倍速等高速来进行读出，并进行高速解码，由此就能够回避在编码方式转换的部分显示间断。

这样，根据本实施方式3，高速地读出将编码方式不同的流连结而成的连结流中的后续流的开头部分并进行高速解码，所以即便在后续流中的显示延迟比先行流中的显示延迟大的情况下，也能够在编码方式不同的前后流的边界部分没有显示间断地再生连结流。另外，能够使通过连结流全体而被再生的帧的显示延迟收敛于先行流的显示延迟部分。

此外，在上述实施方式3中，图像再生装置如图12(b)所示那样，在连结流的再生时将作为后续流的MPEG-4AVC对应流的、与图中虚线椭圆所示的最初的I、P、Bs、B帧相当的部分以2倍速等高速来进行读出，并进行高速解码，由此将回避在编码方式转换的部分显示间断，但图像再生装置也可以如图12(c)所示那样，在连结流的再生时将作为先行流的MPEG-2对应流，就图中虚线椭圆所示的最后的B、P、B、B帧以2倍速等高速来进行读出，并进行高速解码，由此将回避在连结流中的编码方式转换的部分显示间断。

另外，上述实施方式3的图像再生装置还可以在编码方式不同的两个流的连结部前后将流高速地读出而并行进行解码。

在此情况下，还可以使对应于先行流的编码方式的解码器和对应于后续流的编码方式的解码器高速地进行动作。

具体而言，在连结流的再生时，将MPEG-4AVC对应流的最初两帧(I，P)和MPEG-2对应流的最后两帧(B，B)分别以2倍速等高速来进行读出并进行高速解码。

这样在上述实施方式3中所说明的、可以无缝地再生编码方式不同的前后流的图像再生装置，只要编码方式不同的前后流中一方的读出和解码能够高速化就可以实现。

此外，在该实施方式3中，设上述图像再生装置100b对上述系统解码器前级的流缓冲器较大地设定其缓冲器容量，并可以进行流的高速速率的输出，但上述图像再生装置100b并不限于这样，还可以采用使流读出部110可以进行针对记录介质的高速读出的构成。在此情况下，设系统解码器及其前级和后级的流缓冲器将流以与其输入速率相应的速率来进行输出。

(实施方式4)

图13是用于说明根据本发明实施方式4的图像再生装置的图。

该实施方式4的图像再生装置100c，通过在被连结起来的编码方式不同两个流的连结部，反复进行先行流的最终显示帧的显示，就能够没有显示间断地再生编码方式不同的两个流。

以下详细叙述，该实施方式4的图像再生装置100c基本上具有与实施方式1的图像再生装置100相同的构成，但显示部107C以及显示控制部24C的构成与实施方式1的不同。

也就是说，显示控制部24C不是如实施方式1的显示控制部24那样，依照连结流中所包含的流的编码方式来决定对于连结流全体的显示延迟，并输出与该已决定的显示延迟相对应的显示定时信息Tdis，而是与实施方式2的显示控制部24A同样，输出表示与将要再生的流的编码方式相应的显示定时的显示定时信息Tdis。

上述显示部107C为了在编码方式不同的两个流的连结部，进行无缝再生，而反复进行先行流的最终显示帧的显示，以下详细地进行说明。

图14是说明该实施方式4的图像再生装置100c中的显示部107C的图，图14(a)表示块构成，图14(b)表示动作流程。

在这里，上述显示部107C具有开闭开关107a和选择开关107c，其中，该开闭开关107a具有输入节点a1与输出节点a2，并基于来自显示控制部24C的显示定时信息Tdis对输入节点a1与输出节点a2被连接的导通状态、和输入节点a1与输出节点a2成为非连接的非导通状态进行转换，该选择开关107c具有第1、第2两个输入节点c1、c2和一个输出节点c3，并基于选择控制信号Cse对第1输入节点c1与输出节点c3被连接的状态、和第2输入节点c2与输出节点c3被连接的状态进行转换，上述开闭开关107a的输出节点a2与上述选择开关107c的一个输入节点c2连接起来。

另外，上述显示部107C还具有：被连接在开闭开关107a的输出节点a2与选择开关107c的第1输入节点c1之间的显示帧缓冲器107e；基于开闭开关107a的输出来判定各帧的解码数据从该开关107a被输出的间隔是否比规定的间隔大，并依照判定结果将上述选择控制信号Cse输出到选择开关107c的控制部107d；以及显示从上述选择开关107c的输出节点c3所输出的解码数据的显示器107b。

接着就动作进行说明。

在该实施方式4中，仅显示解码数据的动作与实施方式1的不同，所以以下主要就显示部107C的动作进行说明。

在该实施方式4的图像再生装置100c中，连结流从存储介质M的读出以及解码与实施方式1同样地进行，各帧的解码数据被顺次蓄积在帧缓冲器106中。

然后，在该实施方式4中，每当基于来自显示控制部24C的显示定时信息Tdis显示部107C的开闭开关107a成为导通状态，帧缓冲器106内的、未显示帧的解码完毕数据就从显示时刻较早的起按顺序被输入到显示部107C内。通常在选择开关107c中为第2输入节点c2与输出节点c3被连接的状态，为此，被输入到显示部107C的未显示帧的解码数据就顺次在显示器107b上得以显示。

在这里，上述显示定时信息Tdis表示与解码数据的编码方式相应的显示定时，在对编码方式不同的流的连结部分进行再生时，在该连结部的前后、在显示部107C上从其前级的帧缓冲器106解码数据被输入的时间间隔进行变化。

控制部107d检测该解码数据被输入的时间间隔的变化，当对选择开关107c输出对其进行控制的选择控制信号Cse时，在选择开关107c中，从第2输入节点c2与输出节点c3的连接状态转换成第1输入节点c1与输出节点c3被连接的状态，显示帧缓冲器107e中所保持的解码数据被输出到显示器107b，并使其显示出来。

图14(b)是说明上述控制部107d的动作的流程。

上述控制部107d判定后续流的开头显示帧与先行流的最终显示帧的显示间隔是否超过规定间隔(步骤41)，在判定为帧显示间隔超过规定间隔时，对上述选择开关107c进行控制以使其第1输入节点c1连接到输出节点c3(步骤43)。由此在显示器107b中使最近所显示的帧得以再次显示。

另一方面，在上述控制部107d判定为帧显示间隔未超过规定间隔时，对上述选择开关107c进行控制以使其第2输入节点c2连接到输出节点c3(步骤42)。由此在显示器107b中，在显示定时信息Tdis表示的定时使显示时刻最早的未显示的帧得以显示。

图15是说明在MPEG-2对应流M2之后、连结着MPEG-4AVC对应流M4的情况下，通过反复进行先行流的最终显示帧的显示，而在这些流的连结部分进行无缝再生的情形的图。

图15(a)表示在MPEG-2对应流M2与MPEG-4AVC对应流M4的连结部发生显示间隙的情况。

在此、MPEG-2对应流M2是将各帧延迟1帧部分来进行显示的，而MPEG-4AVC对应流M4则是将各帧延迟2帧部分来进行显示的。

为此，若要将MPEG-4AVC对应流M4的解码数据以对应于MPEG-2编码方式的1帧时间的延迟来进行显示，则在编码方式转换的部分应再生的数据就不存在于显示部前级的帧缓冲器106内，显示就会间断。

相对于此、在本实施方式4中，如图15(b)所示那样，通过反复进行MPEG-4AVC对应流最终显示帧、即P画面的显示，就能够回避在连结流中的编码方式转换的部分显示间断。

这样，根据本实施方式4，反复显示将编码方式不同的流连结而成的连结流中的先行流的最终显示帧，直到跟着该先行流的后续流的开头显示帧的解码完成为止，所以即便在后续流中的显示延迟比先行流中的显示延迟大的情况下，也能够在编码方式不同的前后流的边界部分没有显示间断地再生连结流。

另外，在该实施方式4中，通过显示部的控制来实现编码方式不同的两个编码流的连结部分的无缝显示，所以还具有不会招致以往的图像再生装置中的显示部以外的硬件增加之类的效果。

(实施方式5)

图16是用于说明根据本发明的实施方式5的图像再生装置的图。

该实施方式5的图像再生装置100d在被连结起来的编码方式不同的两个流的连结部，在先行流的最终显示帧与后续流的开头显示帧之间插入规定的帧并显示这些帧，由此就能够没有显示间断地再生编码方式不同的两个流。

以下详细叙述，该实施方式5的图像再生装置100d基本上具有与实施方式1的图像再生装置100相同的构成，但显示部107D以及显示控制部24D的构成与实施方式1的不同。

也就是说，显示控制部24D不是如实施方式1的显示控制部24那样，依照连结流中所包含的流的编码方式来决定对于连结流全体的显示延迟，并输出与该已决定的显示延迟相对应的显示定时信息Tdis，而是与实施方式2的显示控制部24A同样，输出表示与将要再生的流的编码方式相应的显示定时的显示定时信息Tdis。

上述显示部107D为了在编码方式不同的两个流的连结部，进行无缝再生，而在先行流的最终显示帧与后续流的开头显示帧之间的插入规定的帧并显示这些帧，以下详细地进行说明。

图17是说明该实施方式5的图像再生装置100d中的显示部107D的图，图17(a)表示显示部的块构成，图17(b)表示显示部的动作流程。

在这里，上述显示部107D具备取代实施方式4的显示部107C中的显示缓冲器107e的、保存了规定的帧的图像数据的数据库107f，该显示部107D的其他构成与实施方式4的显示部107C的相同。

接着就动作进行说明。

在该实施方式5中，仅显示解码数据的动作与实施方式1的不同，所以以下主要就显示部107D的动作进行说明。

在该实施方式5的图像再生装置100d中，连结流从存储介质M的读出以及解码与实施方式1同样地进行，各帧的解码数据被顺次蓄积在帧缓冲器106中。

然后，在该实施方式5中，每当基于来自显示控制部24D的显示定时信息Tdis显示部107D的开闭开关107a成为导通状态，帧缓冲器106内的、未显示帧的解码完毕数据就从时间较早的起按顺序被输入到显示部107D内。通常在选择开关107D中为第2输入节点c2与输出节点c3被连接的状态，为此，被输入到显示部107D的未显示帧的解码数据就顺次在显示器107b上得以显示。

在这里，上述显示定时信息Tdis表示与将要显示的解码数据的编码方式相对应的显示定时，在对编码方式不同的流的连结部分进行再生时，在该连结部的前后、在显示部107D上从其前级的帧缓冲器106解码数据被输入的时间间隔进行变化。

控制部107d检测该解码数据被输入的时间间隔的变化，当对选择开关输出对其进行控制的选择控制信号Cse时，在选择开关107c中，从第2输入节点c2与输出节点c3的连接状态转换成第1输入节点c1与输出节点c3被连接的状态，数据库107f中所保持的规定帧的图像数据被输出到显示器107b，并使其显示出来。

图17(b)是说明上述显示部107D内的控制部107d的动作的流程。

上述控制部107d判定后续流的开头显示帧与先行流的最终显示帧的显示间隔是否超过规定间隔(步骤51)，在判定为帧显示间隔超过规定间隔时，对上述选择开关107c进行控制以使其第1输入节点c1连接到输出节点c3(步骤53)。由此在显示器107b中使数据库107f中所保存的规定的帧得以显示。

另一方面，在判定为帧显示间隔未超过规定间隔时，对上述选择开关107c进行控制以使其第2输入节点c2连接到输出节点c3(步骤52)。由此在显示器107b中在显示定时信息Tdis表示的定时、使显示时刻最早的未显示的帧得以显示。

图18是说明在MPEG-2对应流M2之后、连结着MPEG-4AVC对应流M4的情况下，通过在先行流的最终显示帧与后续流的开头显示帧之间插入规定的帧并显示这些帧，而没有显示间断地连续再生编码方式不同的两个流的情形的图。

图18(a)表示在MPEG-2对应流M2与MPEG-4AVC对应流M4的连结部发生显示间隙的情况。在此，MPEG-2对应流M2是将各帧延迟1帧部分来进行显示的，而MPEG-4AVC对应流M4则是将各帧延迟2帧部分来进行显示的。

为此，若要将MPEG-4AVC对应流M4的解码数据以对应于MPEG-2编码方式的1帧时间的延迟来进行显示，则在编码方式转换的部分应再生的数据就不存在于显示部前级的帧缓冲器106内，显示就会间断。

相对于此，在本实施方式5中，如图18(b)所示那样，通过在先行流的最终显示帧与后续流的开头显示帧之间插入规定的帧并显示这些帧，就能够没有显示间断地再生编码方式不同的两个流。

例如，通过在连结流的再生时，在显示了MPEG-2对应流的最终显示P帧之后、显示MPEG-4对应流的开头显示I帧之前，显示规定的帧、例如黑的帧，就能够回避在编码方式转换的部分显示间断。

在这里，设插入的帧为黑的帧是为了使画面的变化不容易显著。当然也可以是其他颜色、例如暗灰色或所谓的蓝屏等。另外，还可以是规定图样的帧或前面的帧。

这样，根据本实施方式5，在将编码方式不同的流连结而成的连结流中的先行流的最终显示帧、与跟着该先行流的后续流的开头显示帧之间插入规定的帧并显示这些帧，所以即便在后续流中的显示延迟比先行流中的显示延迟大的情况下，也能够在编码方式不同的前后流的边界部分没有显示间断地再生连结流。

另外，在上述各实施方式中，将编码方式不同的流连接起来的连结流，就先行流的最终显示帧是P帧，在先行流与后续流的连结部，对应于先行流的编码方式的帧显示延迟与对应于后续流的编码方式的帧显示延迟之差分为显示间隙的连接流进行了说明，但上述连结流通过用户的编辑时的范围指定，先行流的最终显示帧也可以不是I帧或P帧。

图19表示构成连结流的先行流以及后续流分别是MPEG-2对应流M2以及MPEG-4AVC对应流M4，先行流的最终显示帧通过用户的编辑而成为B帧的情况。

这样一来在MPEG-2对应的先行流的最终显示帧为B帧的情况下，连结流的连结部处的显示间隙如图19(a)所示成为2帧部分，比MPEG-2对应的先行流的最终显示帧为P帧时的连结部处的显示间隙即1帧部分变得要长。

在上述实施方式5的图像再生装置100d中，显示部107D内的控制部107d判定后续流的开头显示帧与先行流的最终显示帧的显示间隔是否超过规定间隔，在判定为该帧显示间隔超过规定间隔时，如图19(b)所示，在先行流的最终显示帧被显示后、直到后续流的开头显示帧被显示为止之间，控制上述选择开关107c以使数据库107f中所保存的黑色图像的帧得以显示，所以即便在图19(a)所示的连结流被输入的情况下，也能够将编码方式不同的前后流在其边界部分没有显示间断地进行再生。

另外，图20表示构成连结流的先行流以及后续流分别是MPEG-4AVC对应流M4以及MPEG-2对应流M2，先行流的最终显示帧通过用户的编辑而成为B帧的情况。

这样一来在MPEG-4AVC对应先行流的最终显示帧为B帧的情况下，与该先行流的最终显示帧为P帧时在连结部发生显示帧的重叠相反，在前后流的连结部，如图20(a)所示，将产生1帧部分的显示间隙。

在上述实施方式5的图像再生装置100d中，控制部107d判定后续流的开头显示帧与先行流的最终显示帧的显示间隔是否超过规定间隔，在判定为该帧显示间隔判定超过规定间隔时，如图20(b)所示，在先行流的最终显示帧被显示后、直到后续流的开头显示帧被显示为止之间，控制上述选择开关107c以使数据库107f中所保存的黑色图像的帧得以显示，所以即便在图20(a)所示的连结流被输入的情况下，也能够在编码方式不同的前后流的边界部分没有显示间断地进行再生。

另外，在图19以及图20的说明中表示连结流即便在先行流的最终显示帧不是I帧或P帧的情况下，用实施方式5的图像再生装置也可以实现这种连结流的无缝再生，但这种连结流的无缝再生用实施方式1～实施方式4中的任意一个图像再生装置都可以实现。

也就是说，在实施方式1的图像再生装置100中，用系统解码器101检测先行流的编码方式、后续流的编码方式、以及先行流的最终显示帧的编码类型并输出到显示控制部24，在显示控制部24中基于这些编码方式信息以在连结流的连结部不发生显示间隙的方式将显示定时信息Tdis输出到显示部107，由此就能够无缝再生包含经过编辑的先行流的连结流。

另外，在实施方式2的图像再生装置100a中，系统解码器101A从其前级的流缓冲器111A在连结流的连结部不发生显示间隙的定时、随机且高速地读出连结流的连结部前后的部分，由此就能够无缝再生包含经过编辑的先行流的连结流。

另外，在实施方式3的图像再生装置100b中，系统解码器101B从前级的流缓冲器111B，在连结流的连结部不发生显示间隙的定时、高速地读出连结流的后续流的开头部分或者其先行流的末尾部分，由此就能够无缝再生包含经过编辑的先行流的连结流。

另外，在实施方式4的图像再生装置100c中，显示部107C内部的控制部107d判定后续流的开头显示帧与先行流的最终显示帧的显示间隔是否超过规定间隔，在判定为帧显示间隔超过规定间隔时，直到对于最终显示帧的下一帧的显示定时信息被输入为止，控制上述选择开关107c以使帧缓冲器107e中所保存的图像数据被输出到显示器107b，由此就能够无缝再生包含经过编辑的先行流的连结流。

(实施方式6)

图21是用于说明根据本发明的实施方式6的图像再生装置的图。

该实施方式6的图像再生装置100e解决了以下课题：在将编码方式不同的流连结而成的连结流的再生中，在先行流的显示延迟比后续流的显示延迟大的情况下，在先行流与后续流的边界前后，帧的显示定时将会重叠。

该实施方式6的图像再生装置100e基本上具有与实施方式1的图像再生装置100相同的构成，但显示控制部24E及帧缓冲器106E的构成与实施方式1的不同。

也就是说，该实施方式6的显示控制部24E不是如实施方式1的显示控制部24那样，依照连结流中所包含的流的编码方式来决定对于连结流全体的显示延迟，并输出与该已决定的显示延迟相对应的显示定时信息Tdis，而是输出表示与各编码方式的流相应的显示定时的显示定时信息Tdis。

另外，该实施方式6的帧缓冲器106E的构成如下：当解码数据从各解码器输入时，将该解码数据逐帧写入缓冲器区域中，同时将所输入的解码数据的显示时刻与写入了所输入的解码数据的缓冲器区域的地址关联起来进行管理，在自后所输入的解码数据的显示时刻与在先所输入的解码数据的显示时刻重叠的情况下，将自后所输入的解码数据盖写到显示时刻与其相等的在先所输入的解码数据被写入的缓冲器区域中。

接着就动作进行说明。

在该实施方式6的图像再生装置100e中，连结流从存储介质M的读出以及解码与实施方式1同样地进行，各帧的解码数据被顺次蓄积在帧缓冲器106E中。

此时在帧缓冲器106E中，当来自解码器的解码数据被输入时，将该解码数据逐帧写入缓冲器区域(未图示)中。另外，帧缓冲器106E将所输入的解码数据的显示时刻与写入了所输入的解码数据的缓冲器区域的地址关联起来进行管理，在自后所输入的解码数据的显示时刻与在先所输入的解码数据的显示时刻重叠的情况下，将自后所输入的解码数据盖写到显示时刻与其相等的在先所输入的解码数据被写入的缓冲器区域中。

然后，在该实施方式6中，每当基于来自显示控制部24E的显示定时信息Tdis，显示部107的开闭开关107a成为导通状态，帧缓冲器106E内的、未显示帧的解码数据就从时间较早的起按顺序被输入显示部107内，被输入到显示部107的未显示帧的解码数据就顺次在显示器107b上得以显示。

图22(a)以及(b)是说明在MPEG-4AVC对应流M4之后、连结着MPEG-2对应流M2的情况下，通过帧缓冲器106E中的写入控制，在这些流的连结部分进行无缝再生的情形的图。

图22(a)表示在MPEG-4AVC对应流M4与MPEG-2对应流M2的连结部，先行流的最终显示帧的显示定时与后续流的开头显示帧的显示定时重叠的情况。在这里，MPEG-2对应流M2是将各帧延迟1帧部分来进行显示的，而MPEG-4AVC对应流M4则是将各帧延迟2帧部分来进行显示的。

为此，若在上述两流的边界部分、帧的显示延迟量从对应于MPEG-4AVC的2帧转换成对应于MPEG-2的1帧，则在编码方式转换的部分前后的帧的显示定时就会重叠。

相对于此、在该实施方式6的帧缓冲器106E中，将后续流的开头显示帧的解码数据盖写到先行流的最终显示帧的解码数据被写入的缓冲器区域中，由此在先行流的最终显示帧的显示定时，后续流的开头显示帧就得以显示。

这样，根据本实施方式6，在连结流中的流边界部分、后续流的解码数据的显示时刻与先行流的解码数据的显示时刻重叠的情况下，将自后所输入的解码数据盖写到显示时刻与其相等的在先所输入的解码数据被写入的缓冲器区域中，所以例如，在连结流中的先行流是MPEG-4AVC对应流，其后续流是MPEG-2对应流，先行流的最终显示帧的显示定时与后续流的开头显示帧的显示定时重叠的情况下，就能够跳越先行流的最终显示帧的显示而显示后续流的开头显示帧，即便在这样先行流的显示延迟比后续流的显示延迟大的情况下也能够在这些流的连结部分进行无缝的再生。

此外，在上述实施方式6中表示图像再生装置在先行流的最终显示帧的显示定时与后续流的开头显示帧的显示定时重叠的情况下，跳越先行流的最终显示帧的显示而显示后续流的开头显示帧，但该图像再生装置也可以在先行流的最终显示帧的显示定时与后续流的开头显示帧的显示定时重叠的情况下，显示开头流的最终显示帧，而丢弃后续流的开头显示帧的解码数据。

也就是说，还可以显示作为先行流的MPEG-4对应流M4的最终显示帧P，而废弃作为后续流的MPEG-2对应流M2的开头显示帧I。

另外，先行流的最终显示帧的显示定时与后续流的开头显示帧的显示定时重叠情况下的对应并不限于丢弃显示定时重复的帧的某一方数据，例如，还可以如图22(c)所示那样，在结束了先行流M4的解码以后，按在前后的流中显示时间重复的帧相应地暂时停止后续流M2的解码。

在此情况下，在先行流与后续流之间停止流的解码动作的控制就由系统解码器进行。也就是说，在系统解码器中，由于连结流中的先行流与后续流的编码信息在连结流解码开始之后立刻判明，所以就能够在连结流中的编码方式的转换部分，按在前后的流中显示时间重复的帧相应地暂时停止后续流的解码。

(实施方式7)

图23是说明根据本发明的实施方式7的图像再生装置的图。

该实施方式7的图像再生装置100f通过用户的操作创建用于将对应于记录介质中所记录的一个图像序列或者其一部分的流互相连接在一起进行再生的播放列表，并按照所创建的播放列表对不同的流连续进行再生。

该实施方式7的图像再生装置100f，从记录介质M读出多媒体流来进行再生的构成基本上与实施方式1的相同，但该实施方式7的图像再生装置100f除实施方式1的构成要素以外还具有：用户界面130；以及基于用户操作来创建播放列表，并保持该已创建的播放列表的编辑部120。此外，用编辑部120所创建的播放列表也可以取代用编辑部120进行保持而是写入到记录介质M中。

在这里，流读出部110F可以基于来自系统解码器101F的控制信号Cra，进行利用随机存取的从记录介质的数据读出，另外，系统解码器101F基于来自编辑部120的指令信号Csd来控制流读出部110F以进行利用随机存取的读出，并从记录介质M取得播放列表创建所必要的信息，将该信息作为播放列表创建用信息Dhd输出到编辑部120。进而，位于系统解码器101F的前级的流缓冲器111F顺次蓄积由流读出部110F所读出的流Rs，该流缓冲器111F中所蓄积的流由系统解码器101F读出。

另外，上述用户界面130发生与用户的操作相应的各种操作信号，例如，指示播放列表的编辑的播放列表编辑指令信号Sup将输出到编辑部120。该用户界面130虽然在上述实施方式1～6中为了说明的简化而没有图示，但作为本发明的实施方式的图像再生装置全部具有相当于上述用户界面130的、通过用户操作将操作信号を输出到本图像再生装置的所需部分的用户操作部。

上述编辑部120基于来自用户界面130的播放列表编辑指令信号Sup，将上述指令信号Csd输出到系统解码器101F，同时基于来自系统解码器101F的播放列表创建用信息Dhd来创建用户所指定的播放列表。在这里，由该编辑部120所创建的播放列表的信息既可以如上述那样用编辑部120进行保持，也可以写入到记录着编码流的记录介质M中。

图24～图26是说明用该实施方式7的编辑部120所创建的播放列表(再生控制数据)的图。

该实施方式7的图像再生装置100f中所用的播放列表对在图28～图30中已说明过的、以往的图像再生装置中所用的播放列表的记述进行了扩展，以下，就为了管理编码方式不同的多个流而扩展的记述部分进行说明。

图24表示利用了播放列表的再生方法(图(a))，播放列表的记述例(图(b))，以及访问信息的记述例(图(c))。

在利用了播放列表的再生中，如图24(a)所示那样，首先，基于播放列表PL来决定流应再生的部分及其再生顺序，接着，基于由播放列表PL所参照的访问信息来决定上述已决定的再生部分的地址位置，进而，从所决定的地址位置起按顺序取得流的再生部分并进行解码、再生。

在这里，播放列表PL指定将哪个流STRM的哪个部分以怎样的顺序进行再生，并参照访问信息AI、也就是用于确定由播放列表PL所指定的再生部分的盘上的地址位置的信息AI。

例如，在图24(b)所示的播放列表的记述例中，播放列表表示对作为项目1～项目3而列举的3个流连续进行再生。

项目1表示应再生stream1.ts的从0秒到60秒的范围。

项目2表示应再生stream2.ts的从30秒到60秒的范围，进而表示项目1与项目2可以无缝连接。

项目3表示应再生stream3.ts从60秒到90秒的范围，并表示项目2与项目3不可无缝连接。

而且，在该实施方式7所用的播放列表PL中包含有扩展部分PLA、PLB以及PLC。也就是说，在扩展部分PLA中记述为“播放列表内的项目中的最大延迟：3帧”，这意味着在用播放列表PL所示的多个项目之中、显示延迟最大的项目的延迟时间为3帧部分。扩展部分PLB是关于项目2的扩展部分，记述为“编码不同、帧延迟也不同”，表示在项目1所示的流与项目2所示的流的边界，编码转换、且帧显示延迟也转换。扩展部分PLB是关于项目3的扩展部分，记述为“图像尺寸不同，但帧延迟相同”，这表示在项目2所示的流与项目3所示的流的边界，图像尺寸转换、且帧显示延迟也转换。此外，作为扩展部分的信息还可以就编码不同、但帧延迟相同等情况来表示。

在这里，访问信息AI为各流中的每一个所有，例如，用于项目1的访问信息AI包含属性信息与访问表。

例如，在用于stream1.ts的访问信息中，如图24(c)所示，作为属性信息包含有表示编码方式是MPEG-4AVC的信息、表示帧频是24Hz的信息、以及表示帧延迟是2帧的信息，表示该帧延迟是2帧的信息是在该实施方式7所用的播放列表中被追加的扩展部分AIA。

进而，在用于stream1.ts的访问信息中还包含有记录了随机存取单位的开头画面(解码顺序)的PTS(Presentation Time Stamp)与地址信息的关系的表。

这样，实施方式7所用的播放列表PL作为被连续再生的各区间的连接点的信息，表示不同编码的流相互间的连接点、以及帧延迟不同的流相互间的连接点，但根据情况也可以包含在连接点中推荐的、渐显或渐隐等再生方法等的信息。

但是，实施方式7所用的播放列表PL并不限于上述情况，只要是包含表示不同编码的流彼此的连接点、以及帧延迟不同的流相互间的连接点的信息中的至少一方即可。

另外，从实施方式7所用的播放列表PL参照的访问信息作为流的属性信息，包含表示帧延迟的信息，但该属性信息既可以作为与访问表相同的数据单位来进行记录，也可以作为拆分文件等不同的数据单位。

接着，对上述播放列表的记录介质中的格式的例子进行说明。

图25是说明该实施方式7所用的BD-RE(Rewritable)对应的播放列表的格式的图，图25(a)表示播放列表与该播放列表指定的再生部分的对应关系，图25(b)表示该播放列表中的记述内容，图25(c)表示播放项目中的记述内容。

在这里，播放列表MPL1～MPL4与图29所示的以往的播放列表同样、由1个以上的项目所构成。

而且，在该实施方式7所用的播放列表的播放项目中，表示当前P1ayItem的再生开始PTS的IN_time和表示其之前的PlayItem的再生结束PTS的OUT_time中表示连接条件的字段(connectioncondition)PIA得以扩展，在此字段中能够一并表示编码的转换、帧延迟的转换等信息。

图26是说明图25所示的夹子的图，图26(a)表示播放列表与夹子中的该播放列表指定的再生部分的对应关系，图26(b)表示访问信息内的流属性信息(Stream CondingInfo)的记述内容。此外，保存着访问信息的文件由播放项目(PlayItem)中的文件名(Clip_Information_file_name)来进行指定。

在这里，播放列表MPL11～MPL13与图30所示的以往的播放列表同样，由1个以上的项目所构成。

而且，在该实施方式7所用的播放列表中，能够在其访问信息中所包含的属性信息(Stream CondingInfo)内的、例如被保留的字段“reserved”SCA中记述表示帧延迟的信息。

系统解码器101f通过参照播放列表中的、这些新追加的信息，即便在同一记录介质中混合存在根据多个编码方式经过编码的流的情况下，也可以进行夹子中的所希望的范围的再生。

此外，在该实施方式7中，作为本发明的编码方式不同的流的无缝再生中所用的播放列表，表示了对应BD的播放列表，但这种在无缝再生中所用的播放列表能够将对应HDDVD、进而与其相同格式的DVD的播放列表以可以进行本发明的编码方式不同的流的无缝再生的方式进行扩展。

也就是说，该实施方式7的、使用播放列表对编码方式不同的流进行再生的方法，如DVD的程序链接(program chain)中的单元(Cell)那样在直接通过地址而不是PTS来指定向流跳入位置的格式中也能够同样地应用。

在这里，由于单元具有BD中的播放项目的作用，所以也可以在由单元所指定的再生区间相互间帧延迟不同等连接条件记述在单元内。

接着就动作进行说明。

在该实施方式7的图像再生装置100f中，若用户通过用户界面130来进行创建播放列表的操作，则用户界面130对编辑部120输出指示播放列表创建的指令信号Sup。于是，编辑部120创建与用户操作相应的播放列表，并保持该已创建的播放列表。

此时，系统解码器110F基于来自编辑部120的控制信号Csd对流读出部110F输出随机存取控制信号Cra，对流读出部110F进行控制以通过随机存取从记录介质M读出所指定的流。此时，用户一边观看显示部107上所显示的图像一边操作用户界面，由此与该操作相对应的操作信号Sup被输出到编辑处理部120，编辑处理部120基于该操作信号Sup和来自系统解码器的解码位置信息Dps来决定流的再生部分。

然后编辑处理部120基于由用户所决定的流的再生部分进行播放列表创建并保持。

之后，当从用户界面130，通过用户的操作，进行与已创建的播放列表相应的再生的指示被输入，编辑部120基于来自用户界面130的操作信号Sup对系统解码器101F输出指示与播放列表相应的再生的控制信号Csd。于是，流读出部110F基于来自系统解码器101F的控制信号Cra，通过随机存取读出播放列表所示的流的再生部分并输出到流缓冲器111F。此流缓冲器111F中所蓄积的流被顺次输出到系统解码器101F，与实施方式1同样，编码方式不同的流就得以顺次再生。

由此，在该实施方式7的图像再生装置100f中，按照播放列表，编码方式不同的流的被指定的再生部分得以顺次显示。

此时，在系统解码器101F中，基于与播放列表内的显示延迟有关的信息PLA，编码信息被输出到显示控制部24，显示控制部24对显示部107进行控制以与播放列表内的项目中的最大帧延迟一致的显示延迟量，来进行被指定的再生部分的显示。

这样，根据本实施方式7，为了能够在播放列表中记述根据多个编码经过编码的流混合存在时的管理信息，而对播放列表的格式进行扩展，所以即便在同一媒体中混合存在根据多个编码经过编码的流的情况下，也可以连续再生编码方式不同的流的所需部分。

此外，播放列表所包含的播放项目的记述中新追加的connectioncondition等、表示编码方式不同的流的连接条件的信息既可以嵌入与播放列表相同的层次，也可以嵌入与播放列表不同的层次，另外，只要是记述同等的功能则还可以是其他手段。

进而，在上述各实施方式中，作为连结流表示了将MPEG-2方式的流与MPEG-4AVC方式的流连结起来的连结流，但连结流中所包含的流也可以是其他编码方式的流。特别是由于VC-1(VideoCodec 1)与MPEG-2方式的流同样在解码之际发生最大1帧的延迟，所以在上述各实施方式中取代MPEG-2方式的流而使用VC-1方式的流也将起到与上述各实施方式同样的效果。

另外，在上述各实施方式中，将连结流设为将MPEG-2或MPEG-4AVC等编码方式不同的流连结起来，但由于MPEG-4AVC方式的流其显示帧的延迟时间不定，所以连结流也可以是将MPEG-4AVC方式的流的、显示帧的延迟时间不同的部分彼此连结起来。

即，MPEG-4AVC方式的流并不限于显示帧的延迟时间为2帧以上(N≥2)的流，还有N＝0或者1的情况。为此，在将MPEG-4AVC方式的流的、显示帧的延迟时间不同的部分彼此连结起来的连结流中，在流转换的部分显示将会间断，但这一显示间断可以用与上述各实施的方法同样的方法来进行解决。

另外，在上述各实施方式中，仅仅表示了记录介质为光盘的情况，但只要记录格式相同，则还可以应用于光磁盘、硬盘等各种磁盘或SD存储卡等各种半导体存储器器件。

产业上的可利用性

本发明的图像再生方法对于将编码方式不同的多个流连结起来的连结流，能够将其解码处理转换成与各流相对应的编码方式的处理来进行解码，在进行支持多个编码的HDDVD或BD等记录介质中所记录的流的再生上是有用的。

Claims (22)

1.一种图像再生方法，再生将编码方式不同的多个编码流连结而成的连结流，其特征在于包括：

位置检测步骤，检测上述连结流中的编码流的连结位置；和

解码步骤，解码上述连结流中的编码方式不同的各个编码流，

在上述解码步骤中，在上述检测到的编码流的连结位置上，将编码方式切换成与作为解码对象的编码流对应的编码方式。

2.按照权利要求1记载的图像再生方法，其特征在于：

在上述解码步骤中，将上述连结流保存在一个流缓冲器中，并对从该流缓冲器读出的连结流进行解码。

3.按照权利要求2记载的图像再生方法，其特征在于：

在上述解码步骤中，当上述流缓冲器的占有量达到规定值时，开始上述连结流的解码。

4.按照权利要求1记载的图像再生方法，其特征在于：

在上述解码步骤中，将通过上述连结流的解码而得到的解码数据保存在一个帧缓冲器中。

5.按照权利要求4记载的图像再生方法，其特征在于包括：

显示步骤，将上述帧缓冲器中所保存的解码数据从显示时刻早的开始按顺序进行图像显示。

6.按照权利要求1记载的图像再生方法，其特征在于：

在上述显示步骤中，使上述解码数据以其解码定时为基准、延迟上述连结流中的、进行图像显示时需要最大延迟的部分的延迟时间以上来显示。

7.按照权利要求6记载的图像再生方法，其特征在于：

在上述显示步骤中，依照与上述连结流中所包含的各个编码流对应的编码方式的类别，来决定进行图像显示时的显示延迟时间。

8.按照权利要求7记载的图像再生方法，其特征在于：

在上述显示步骤中，在上述连结流中包含与MPEG-4AVC方式对应的编码流的情况下，将图像显示延迟N帧以上，在上述连结流中不包含与MPEG-4AVC方式对应的编码流的情况下，将图像显示延迟1帧以上。

9.按照权利要求6记载的图像再生方法，其特征在于：

在上述显示步骤中，将图像显示始终延迟N帧以上。

10.按照权利要求1记载的图像再生方法，其特征在于：

增加构成上述连结流的先行流的显示延迟时间。

11.按照权利要求1记载的图像再生方法，其特征在于：

使对构成上述连结流的先行流进行解码的期间和对构成该连结流的后续流进行解码的期间一部分重复。

12.按照权利要求1记载的图像再生方法，其特征在于：

使对构成上述连结流的后续流的一部分进行解码的动作比对其他部分进行解码的动作高速化。

13.按照权利要求1记载的图像再生方法，其特征在于：

使对构成上述连结流的先行流的一部分进行解码的动作比对其他部分进行解码的动作高速化。

14.按照权利要求1记载的图像再生方法，其特征在于：

反复进行构成上述连结流的先行流的最终显示帧的显示。

15.按照权利要求1记载的图像再生方法，其特征在于：

在构成上述连结流的先行流的最终显示帧、和跟着该先行流的后续流的先头显示帧之间，显示规定的帧。

16.按照权利要求1记载的图像再生方法，其特征在于：

在构成上述连结流的先行流与后续流的连结部前后、显示该先行流的帧的期间和显示该后续流的帧的期间重复的情况下，废弃上述显示期间重复的先行流的帧和后续流的帧中的某一个的解码数据。

17.按照权利要求1记载的图像再生方法，其特征在于：

在构成上述连结流的先行流与后续流的连结部前后、显示该先行流的帧的期间和显示该后续流的帧的期间重复的情况下，在对上述先行流进行了解码以后，暂时停止上述后续流的解码动作。

18.一种图像再生装置，再生将编码方式不同的多个编码流连结而成的连结流，其特征在于包括：

一个流缓冲器，蓄积被输入的连结流；

与各种编码方式对应的多个解码器；

解码器选择部，将解码从上述流缓冲器输出的连结流中的各编码流的解码器，依照该各编码流的编码方式，从上述多个解码器之中进行选择；

一个帧缓冲器，蓄积通过上述编码流的解码而得到的图像数据；和

显示部，显示从该帧缓冲器输出的图像数据。

19.一种再生列表数据，将多个编码流中应再生的多个再生部分以这些部分被连续再生的方式进行指定并再生，其特征在于具有：

第1数据，表示上述多个编码流中的多个再生部分，并且表示上述多个再生部分的再生顺序；和

第2数据，决定由该第1数据所决定的再生部分的地址位置，

上述第1数据包含表示不同编码方式的再生部分的连结位置的信息、或者表示在进行该连续再生的前后的再生部分帧显示延迟时间不同的情况。

20.一种再生列表数据，将多个编码流中应再生的多个再生部分以这些部分被连续再生的方式进行指定并再生，其特征在于具有：

第1数据，表示上述多个编码流中的多个再生部分，并且表示上述多个再生部分的再生顺序；和

第2数据，决定由该第1数据所决定的再生部分的地址位置，

上述第2数据具有表示上述编码方式不同的多个再生部分各自中的帧显示延迟量的信息。

21.一种图像再生方法，将编码方式不同的多个编码流基于表示应再生的编码流或者其部分的播放列表信息来连续进行再生，其特征在于包括：

位置检测步骤，检测上述编码方式的切换位置；和

解码步骤，解码上述编码方式不同的各个编码流，

在上述解码步骤中，在上述检测到的编码方式的切换位置，将解码编码流的编码方式切换成与作为解码对象的编码流对应的编码方式。

22.一种图像再生装置，将编码方式不同的多个编码流基于表示应再生的编码流或者其部分的播放列表信息来连续进行再生，其特征在于包括：

一个流缓冲器，蓄积被输入的流；

与各种编码方式对应的多个解码器；

解码器选择部，将解码从上述流缓冲器输出的编码流的解码器，依照该编码流的编码方式，从上述多个解码器之中进行选择；

一个帧缓冲器，蓄积通过上述编码流的解码而得到的图像数据；和

显示部，显示从该帧缓冲器输出的图像数据。

Images