CN102027751B - 再现装置 - Google Patents
再现装置 Download PDFInfo
- Publication number
- CN102027751B CN102027751B CN2010800015581A CN201080001558A CN102027751B CN 102027751 B CN102027751 B CN 102027751B CN 2010800015581 A CN2010800015581 A CN 2010800015581A CN 201080001558 A CN201080001558 A CN 201080001558A CN 102027751 B CN102027751 B CN 102027751B
- Authority
- CN
- China
- Prior art keywords
- data block
- section
- file
- data
- looked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
- H04N9/8244—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal involving the use of subcodes
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
- G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
- G11B20/1251—Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/005—Reproducing at a different information rate from the information rate of recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供一种能够无缝地接续的记录介质,该记录介质将在层边界等长跳跃发生点之前配置的流数据作为前方播放项目,将在长跳跃发生点之后配置的流数据作为后方播放项目。与3D区段块连续地配置2D再现专用块(Ln2D),该3D区段块中交织地配置有深度图数据块、右视数据块、左视数据块,在2D再现专用块(Ln2D)和长跳跃点LB之间配置有包含3D再现专用块(L3SS)的3D区段块。2D再现专用块(Ln2)和3D再现专用块(L3SS)是相同内容。
Description
技术领域
本发明是属于3D影像和2D影像的再现技术的技术领域的发明。
本发明涉及立体视觉影像的再现技术,尤其涉及在记录介质上的影像数据的配置。
背景技术
近年来,随着3D影像的电影作品增加,为了将这样的电影作品供家庭观赏,要求在光盘上以维持高画质的状态保存3D影像。
在光盘上保存3D影像时,要求与只能对保存有2D影像的光盘进行再现的再现装置(下面称作“2D再现装置”)之间具有再现兼容性。对于保存有3D影像的光盘,在2D再现装置不能将3D影像作为2D影像进行再现的情况下,需要把相同的内容制作成3D用光盘和2D用光盘这两种,导致成本增加。因此,对于保存有3D影像的光盘而言,要求在2D再现装置中作为2D影像进行再现,在能够再现2D影像和3D影像的再现装置(下面称作“2D/3D再现装置”)中,能够作为2D影像或3D影像来进行再现。此外,通过使用具有再现兼容性的光盘,在2D/3D再现装置中,能够用1个光盘来再现并观赏3D影像和2D影像。
图104是示出用于对记录有3D影像内容的光盘确保针对2D再现装置的兼容性的技术的示意图(例如参照专利文献1)。在光盘6701上保存有两种视频流。一种是2D/左视视频流,另一种是右视视频流。“2D/左视视频流”在3D影像的再现中表示视听者的左眼所看到的2D图像,即“左视”,在2D影像的再现中表示其2D影像本身。“右视视频流”在3D影像的再现中表示视听者的右眼看到的2D影像,即“右视”。在左右的视频流之间,帧频相同,但是帧的显示期间错开半个帧周期。例如,当各视频流的帧频在1秒之间为24帧时,2D/左视视频流和右视视频流的各帧每1/48秒交替显示。
如图104所示,在光盘6701上,各视频流分割为多个区段6702A-C、6703A-C。各区段包含1个以上的GOP(Group of Pictures),被光盘驱动器统 一读取。下面,将属于2D/左视视频流的区段称作“2D/左视区段”,将属于右视视频流的区段称作“右视区段”。2D/左视区段6702A-C和右视区段6703A-C交替配置在光盘6701的轨道6701A上。在邻接的两个区段6702A-6703A、6702B-6703B、6702C-6703C之间,再现时间相等。将这样的区段的配置称作“交织配置”。如下所示,以交织配置记录的区段组用于3D影像的再现和2D影像的再现双方。
在2D再现装置6704中,光盘驱动器6704A在光盘6701上的区段中,从开头起依次只读取2D/左视区段6702A-C,另一方面跳过右视区段6703A-C的读取。此外,影像解码器6704B将由光盘驱动器6704A读取的区段依次解码为影像帧6706L。由此,在显示装置6707上只显示左视,视听者看到一般的2D影像。
在3D再现装置6705中,光盘驱动器6705A从光盘6701交替读取2D/左视区段和右视区段,若用代码表示所读取的区段,则为6702A、6703A、6702B、6703B、6702C、6703C的顺序。此外,从所读取的各区段中,2D/左视视频流被传送到左影像解码器6705L,右视视频流被传送到右影像解码器6705R。各影像解码器6705L、6705R将各视频流交替解码为影像帧6706L、6706R。从而,在显示装置6708上交替显示左视和右视。另一方面,快门眼镜6709使得左右镜片与显示装置6708的画面切换同步地交替地变成不透明。因此,带着快门眼镜6709的视听者所看到的显示装置6708上所显示的影像成为3D影像。
不限定于光盘,在记录介质上保存3D影像内容时,如上所述利用区段的交织配置。由此,能够将该记录介质应用于2D影像的再现和3D影像的再现双方。
专利文献1:日本特許第3935507号公報
发明要解决的问题:
在光盘中,有些为如所谓的双层盘那样包括多个记录层。在这样的光盘中,有时会跨过两层而记录一系列的流数据。此外,在单层盘中,有时在一系列的流数据之间记录其他数据。在这些情况下,光盘驱动器的光拾取器(pickup)在从光盘读取数据的过程中,必需进行与层切换相伴的焦点跳转或与盘的半径方向移動相伴的轨道跳转。这些跳转一般寻道时间较长,所以称作“长跳跃”。为了不管是否发生长跳跃都把影像无缝地进行再现, 必须要使即将长跳跃之前所读取的区段的大小充分大,以便满足在长跳跃中影像解码器内的缓冲器不会发生下溢的条件。
在图104所示的区段的交织配置中,为了在2D影像和3D影像双方的再现中满足上述条件,只要使得即将长跳跃之前被存取的2D/左视区段充分扩大就可以。但是,此时,必须把再现时间与该区段相等的右视区段也一并扩大。其结果,在右影像解码器6705R内应确保的缓冲器容量成为比充分满足上述条件的容量还要大的容量。由于这会阻碍3D再现装置6705内的缓冲器容量进一步减少以及存储器的利用效率的进一步提高,所以并不优选。
在此,为了将在右影像解码器6705R内应确保的缓冲器容量抑制为必要最小限度,例如,考虑在进行长跳跃的紧之前或紧之后分离2D影像的再现路径和3D影像的再现路径的方案。在此,所谓“影像的再现路径”,是指表示其影像的视频流的各部分与其再现顺序之间的对应关系。此外,所谓“再现路径的分离”,是指在记录介质上记录了视频流的再现对象部分及其复制数据之后,将它们分别分配到不同的再现路径。在将2D影像的再现路径和3D影像的再现路径如上所述进行分离时,在再现2D影像时和再现3D影像时,能够分别设计即将长跳跃之前应读取的2D/左视区段的大小。因此,能够在将应在右影像解码器6705R内确保的缓冲器容量抑制到必要最小限度的状态下,在再现2D影像时和再现3D影像时的任一个情形下,都能够防止在长跳跃中发生各影像解码器6705L、6705R内的缓冲器下溢。
但是,另一方面,在记录介质上2D/左视视频流的相同部分重复记录在不同的区段来保存。从有效应用记录介质的记录区域的观点来看,希望能够抑制这种重复的增加。
发明内容
本发明的目的在于,提供一种记录介质,该记录介质能够减少在再现装置内应确保的缓冲器容量,且以能够抑制在不同的区段重复保存的数据量的增加的配置记录流文件。
用于解决技术问题的手段:
为了实现上述目的,本发明的再现装置,用于从记录有交织流和管理信息的记录介质再现影像,上述交织流由多个数据块构成,上述交织流包 括主视流和子视流,上述主视流用于平面视觉再现,上述子视流与上述主视流组合而用于立体视觉影像的再现,上述多个数据块包括由上述主视流构成的多个主视数据块和由上述子视流构成的多个子视数据块,上述管理信息包括2D管理信息和3D管理信息,上述2D管理信息在平面视觉再现时参照上述主视数据块,上述3D管理信息在立体视觉再现时参照上述主视数据块,在上述多个数据块的种类中有共用数据块、2D数据块和3D数据块,上述共用数据块包括上述主视数据块和上述子视数据块,上述共用数据块中所包含的主视数据块被2D管理信息及3D管理信息双方参照,上述2D数据块包括上述主视数据块,上述2D数据块中所包含的主视数据块不被3D管理信息参照,而被2D管理信息参照,上述3D数据块包括上述主视数据块和上述子视数据块,上述3D数据块中所包含的主视数据块不被2D管理信息参照,而被3D管理信息参照,2D数据块被记录于逻辑地址接续于记录有共用数据块的区域之后的区域中的、在平面视觉影像的再现中所产生的长跳跃的紧前面被存取的区域,3D数据块被记录于逻辑地址接续于记录有2D数据块的区域之后的区域中的、在立体视觉影像的再现中所产生的长跳跃的紧前面被存取的区域,2D数据块中所包含的主视数据块和3D数据块中所包含的主视数据块是相同的内容,上述再现装置包括:读取机构,从上述记录介质读取上述交织流;分离机构,从上述交织流分离上述主视数据块和上述子视数据块,并提取上述主视流和上述子视流;读取缓冲器,保存所提取的上述主视流和上述子视流;以及解码器,从读取缓冲器接受在上述主视流和上述子视流中包含的压缩图片的供给,并对上述压缩图片进行解码,上述读取机构在平面视觉影像的再现时,利用上述2D管理信息读取在共用数据块和2D数据块中包含的主视数据块,上述分离机构在立体视觉影像的再现时,利用上述3D管理信息从交织流分离在共用数据块和3D数据块中包含的主视数据块,并提取主视流。
发明的效果:
本发明的记录介质,由于在平面视觉再现用文件和立体视觉再现用文件中,在长跳跃的紧前面参照的数据块被保存在不同的区域,所以在长跳跃的紧前面,2D影像的再现路径和3D影像的再现路径分离。因此,能够在平面视觉再现用和立体视觉再现用中独立设计在长跳跃的紧前面参照的区段的大小,能够削减在立体视觉影像的再现时应确保的缓冲器容量。
并且,在2D影像的再现路径中,通过使长跳跃的紧前面被参照的2D数据块与两种文件所共用的共用数据块连续,能够利用该共用数据块,作为在长跳跃的紧前面被参照的平面视觉再现用文件的区段的一部分。另一方面,在平面视觉再现用文件中,将在长跳跃的紧前面被参照的区段中的、上述共用数据块也用作立体视觉再现用文件的区段,所以能够抑制在不同的区段中被重复保存的数据量的增大。
此外,在长跳跃位置的前面,将相同的内容集中配置为平面视觉再现用文件和立体视觉再现用文件,所以能够制作在长跳跃的后面将再现路径分支的1比n的多重连接的数据。
附图说明
图1示出关于记录介质、再现装置、显示装置以及眼镜的使用行为的形态。
图2示出在左侧描绘了用户的脸,用左眼看到描绘在右侧的作为对象物的恐龙的骨骼的情形的例子。
图3示出用于立体视觉的左视视频流、右视视频流的内部结构的一例。
图4示出深度视方式的一例。
图5示出以深度模式生成的立体视觉图像。
图6示出多层化后的光盘的内部结构。
图7示出以文件系统作为前提的光盘的应用格式。
图8示出第一实施方式的记录介质的内部结构。
图9示出在PES包串中怎样保存视频流。
图10示意地示出主TS怎样被复用。
图11示出主TS及子TS的内部结构。
图12是示出视频流的数据结构的示意图。
图13是示出在视频存取单元内的补充数据区域中所保存的解码切换信息的数据结构的图。
图14是说明解码计数器的图。
图15是示出在记录介质100上的、分别属于主TS、第一子TS及第二子TS的数据块组的物理配置的示意图。
图16(a)是示出在某个BD-ROM盘上分别连续记录的主TS1701和子TS1702的配置的示意图。图16(b)是示出本发明的实施方式1的记录介质100上交替记录的基视数据块B[0]、B[1]、B[2]、...与从属视数据块D[0]、D[1]、D[2]、...之间的配置的示意图。
图17(a)是示出在某个BD-ROM盘上邻接的基视数据块和从属视数据块之间视频流的再现时间不同时的再现路径的示意图。图17(b)是示出本发明的实施方式1的记录介质100上邻接的基视数据块和从属视数据块之间视频流的再现时间相等时的再现路径的示意图。图17(c)是示出在本发明的实施方式1的记录介质100上所有的基视数据块和从属视数据块之间视频流的再现时间相等时的再现路径的示意图。
图18(a)、(b)、(c)、(d)、(e)分别是示出文件2D(01000.m2ts)、第一文件DEP(02000.m2ts)、第二文件DEP(03000.m2ts)、第一文件SS(01000.ssif)、第二文件SS(02000.ssif)的各数据结构的示意图。
图19是示出针对图15所示的数据块组的2D再现模式下的再现路径1901、L/R模式下的再现路径1902以及深度模式下的再现路径1903的示意图。
图20是示出在记录介质100的层边界前后记录的数据块组的物理配置的第一例的示意图。
图21是示出针对图20所示的数据块组的2D再现模式下的再现路径和L/R模式下的再现路径的示意图。
图22是示出在某个BD-ROM盘的层边界前后以交织配置记录的数据块组和针对该数据块组的各再现模式下的再现路径的示意图。
图23是说明利用配置1来从前方播放项目(playitem)分支为多个后方播放项目而无缝地连接的例子的图。
图24是示出在记录介质100的层边界前后记录的数据块组的物理配置的第二例的示意图。
图25是示出针对图24所示的数据块组的2D再现模式下的再现路径和L/R模式下的再现路径的示意图。
图26是示出在本发明的实施方式1的记录介质100的层边界前后记录的数据块组的物理配置的第三例的示意图。
图27是示出针对图26所示的数据块组的2D再现模式下的再现路径和L/R模式下的再现路径的示意图。
图28是示出在记录介质100的层边界前后记录的数据块组的物理配置的第四例的示意图。
图29是示出针对图28所示的数据块组的2D再现模式下的再现路径和L/R模式下的再现路径的示意图。
图30是示出在记录介质100的层边界前后记录的数据块组的物理配置的第五例的示意图。
图31是示出针对图30所示的数据块组的2D再现模式下的再现路径和L/R模式下的再现路径的示意图。
图32是示出在记录介质100的层边界前后记录的数据块组的物理配置的第六例的示意图。
图33是示出针对图32所示的数据块组的2D再现模式下的再现路径和L/R模式下的再现路径的示意图。
图34(a)是示出从图28所示的配置的第一例中除去了深度图数据块后的示意图。图34(b)是示出针对图34(a)所示的数据块组的2D再现模式下的再现路径和L/R模式下的再现路径的示意图。
图35是示出从图20所示的配置的第一例中除去了深度图数据块后的示意图。
图36是示出PMT的数据结构的示意图。
图37是示出2D片段信息文件的数据结构的示意图。
图38(a)是示出图37所示的入口映射3030的数据结构的示意图,图38(b)是属于文件2D的源包组3110中的、根据入口映射3030而与各EP_ID3105对应的源包组的示意图。
图39(a)是表示偏移表3041的数据结构的示意图。图39(b)是表示偏移表项的有効区间的示意图。
图40(a)是示出图30所示的区段起点3042的数据结构的示意图,图40(b)是示出右视片段信息文件中所包含的区段起点3320的数据结构的示意图,图40(c)是示出由L/R模式的再现装置200从第一文件SS(01000.ssif)提取的基视数据块L1、L2、...的示意图。图40(d)是示出属于第一文件 DEP(02000.m2ts)的右视区段EXT2[0]、EXT2[1]、...以及区段起点3320所示的SPN3322之间的对应关系的示意图。图40(e)是示出属于第一文件SS544A的3D区段EXTSS[0]、EXTSS[1]、...与记录介质100上的数据块组3350之间的对应关系的一例的示意图。
图41是示出本发明的实施方式1的记录介质100上记录的、包含3D影像内容的数据块组的配置的一例的示意图。
图42是示出本发明的实施方式1的记录介质100中的、基视视频流3510和从属视视频流3520上所设定的入口点的例的示意图。
图43示出ATC序列复原顺序。
图44是示出2D播放列表文件(00001.mpls)521的数据结构的示意图。
图45是示出图44所示的PI#N的数据结构的示意图。
图46(a)、(b)分别是示出图45所示的连接条件3704为“5”、“6”时连接对象的两个再现区间3801、3802之间的关系的示意图。
图47是示出图44所示的2D播放列表文件(00001.mpls)521所示的PTS和从文件2D(01000.m2ts)541再现的部分之间的对应关系的示意图。
图48是示出3D播放列表文件(00002.mpls)的数据结构的示意图。
图49是示出图48所示的STN表SS4030的数据结构的示意图。
图50(a)、(b)、(c)分别是示出图49所示的从属视视频流的流登记信息串4112、PG流的流登记信息串4113及IG流的流登记信息串4114的数据结构的示意图。
图51是示出图48所示的3D播放列表文件(00002.mpls)522所示的PTS和从第一文件SS(01000.ssif)再现的部分之间的对应关系的示意图。
图52是示出索引文件(index.bdmv)内的索引表4410的示意图。
图53是在由图1所示的再现装置200选择了3D影像的标题时进行的、再现对象的播放列表文件的选择处理的流程图。
图54是图1所示的再现装置200的2D再现模式下的功能框图。
图55是图54所示的播放器变量存储部4608内的系统参数的一览表。
图56是图54所示的系统目标解码器4603的功能框图。
图57是图1所示的再现装置200的3D再现模式下的功能框图。
图58是图57所示的系统目标解码器4903的功能框图。
图59是图57所示的平面加法运算部4910的功能框图。
图60(a)、(b)是示出图59所示的第二剪切处理部5132进行的剪切处理的示意图。
图61(a)、(b)、(c)分别是示出通过图60所示的剪切处理而生成的左视和右视的PG平面以及视听者从这些视图平面能够感觉到的3D影像的示意图。
图62是示出图54所示的2D再现模式的再现装置200内的再现处理系统的示意图。
图63(a)是示出在图62所示的再现处理系统的2D区段的再现处理中、存储到读取缓冲器4602中的数据量DA的变化的图表,图63(b)是示出包含这些2D区段的3D区段块5510和2D再现模式下的再现路径5520之间的对应关系的示意图。
图64是有关本发明的实施方式1的BD-ROM盘的跳跃距离Sjump和最大跳跃时间Tjump之间的对应表的一例。
图65是示出图57所示的3D再现模式的再现装置200内的再现处理系统的示意图。
图66(a)、(b)是示出在图65所示的再现处理系统的L/R模式下的3D区段块的再现处理中存储在各读取缓冲器4921、4922中的数据量DA1、DA2的变化的图表,图66(c)是示出该3D区段块5810和L/R模式下的再现路径5820之间的对应关系的示意图。
图67(a)、(b)示出在图65所示的再现处理系统的深度模式下的3D区段块的再现处理中存储在各读取缓冲器4921、4922中的数据量DA1、DA2的变化的图表,图67(c)是示出在该3D区段块5910和深度模式下的再现路径5920之间的对应关系的示意图。
图68是示出图65所示的再现处理系统在L/R模式下的再现处理中所产生的长跳跃JLY、JBDJ1、JBDJ2的示意图。
图69(a)、(b)是示出利用图65所示的再现处理系统读取由具有扩大后的最小区段大小以上的大小的数据块组构成的3D区段块时的、各读取缓冲器4921、4922的存储数据量DA1、DA2的变化的图表,图69(c)是示出该3D区段块6110和L/R模式下的再现路径6120之间的对应关系的示意图。
图70是示出三个以上的多个3D区段块无缝地连接的数据结构的图。
图71是用于说明缓冲器余量的存储方法的图。
图72是用于说明L/R模式下的3D影像再现中向读取缓冲器存储的数据存储量的变化的说明图。
图73(a)是示出在L/R模式下再现配置1的数据的过程中产生的长跳跃的图,图73(b)示出在L/R模式下再现配置1的数据时的第一读取缓冲器4921的数据存储量的变化过程,图73(c)是示出第二读取缓冲器4922的数据存储量的变化过程的图。
图74(a)是示出在深度模式下再现配置1的数据的过程中所产生的长跳跃的图,图74(b)示出在深度模式下再现配置1的数据时的第一读取缓冲器4921的数据存储量的变化过程,图74(c)是示出第二读取缓冲器4922的数据存储量的变化过程的图。
图75(a)是示出在L/R模式下再现配置2的数据的过程中所产生长跳跃的图,图75(b)示出在L/R模式下再现配置2的数据时的第一读取缓冲器4921的数据存储量的变化过程,图75(c)是示出第二读取缓冲器4922的数据存储量的变化过程的图。
图76是用于说明播放项目之间无缝地连接时的数据配置方法的条件的图。
图77(a)是示出在深度模式下再现配置3的数据的过程中所产生的长跳跃的图,图77(b)示出在深度模式下再现配置3的数据时的第一读取缓冲器4921的数据存储量的变化过程,图77(c)是示出第二读取缓冲器4922的数据存储量的变化过程的图。
图78是说明用于减小2D/3D再现装置的3D影像再现中所需的读取缓冲器的大小的数据配置方法的图。
图79是说明使得终端的区段组满足式(2)-(5)的最小区段大小的制约的图。
图80是说明L/R模式下的缓冲器余量UL1和UL2的大小的计算方法的图。
图81是说明3D影像的多角度的实现方法的图。
图82是说明3D影像的多角度的实现方法的变形例的图。
图83(a)是示出在多角度区间、3D播放列表的播放项目及子播放项目所参照的流文件的图,图83(b)是说明记录有各角度影像的流文件的记录区域的数据配置的图。
图84是说明从角度1切换到角度3时的再现路径的图。
图85(a)是示出在本发明的实施方式1的BD-ROM盘上只包含复用流数据的、交织配置的数据块组的示意图,图85(b)是示出在该BD-ROM盘上包含属于其他文件的区段的、交织配置的数据块组的示意图。
图86是说明适合在区段之间保存不同于AV流的其他文件的、区段的配置方法的图。
图87是说明用于在交织的AV流的区段之间保存其他文件的大小条件的图。
图88是用于说明用1个读取缓冲器来构成读取缓冲器时的2D/3D再现装置的结构的图。
图89是用于说明用1个读取缓冲器来构成读取缓冲器时的系统目标解码器的结构的图。
图90是示出第一读取缓冲器4921和第二读取缓冲器4922的数据存储量的变化过程,以及做成1个读取缓冲器的结构时的读取缓冲器的数据存储量的变化过程的图。
图91用于示意地示出用1个读取缓冲器来构成读取缓冲器时的在读取缓冲器(1)内部所存储的数据的变化过程的图。
图92是示出用1个读取缓冲器来构成读取缓冲器时的AV流内的源包的ATS的结构的图。
图93是示出本发明的实施方式3的记录装置的内部结构的框图。
图94(a)、(b)是表示在本发明的实施方式3的记录装置中、用于3D影像的一个场景显示的左影像图片和右影像图片的示意图,图94(c)是示出由视频编码器6301从这些图片计算出的进深信息的示意图。
图95是利用集成电路来实现2D/3D再现装置的构成例。
图96是示出流处理部的代表性结构的功能框图。
图97是切换部为DMAC时的切换部53的周边的概念图。
图98是示出AV输出部的代表性结构的功能框图。
图99是示出AV输出部或再现装置的数据输出部分的详细内容的构成例。
图100是示出集成电路中的控制总线及数据总线的配置的图。
图101是示出集成电路中的控制总线及数据总线的配置的图。
图102是简单地示出再现装置中的动作顺序的流程图。
图103是详细示出再现装置中的动作顺序的流程图。
图104是示出用于在记录有3D影像内容的光盘中确保对2D再现装置的兼容性的技术的示意图。
具体实施方式
下面,参照附图,说明本发明的优选实施方式的记录介质及再现装置。
<实施方式1>
首先,简单说明立体视觉的原理。
一般来说,在左右眼中,由于左右眼位置的差异,从右眼看到的像和从左眼看到的像在视觉方面存在有若干差异。人能够利用该差异把眼中看到的像识别为立体的。在进行立体显示时,利用人类的视差来使得平面图像被看成宛如立体。
具体而言,在平面显示的图像中,右眼用图像和左眼用图像上存在有相当于与人类的视差相应的视觉差异的程度的差异,通过以短时间间隔切换显示这些图像,能够进行宛如立体显示。
所谓该短时间间隔,只要是通过上述切换显示使得人错觉为看到立体的程度的时间就可以。作为立体视觉的实现方法,有采用全息图技术的方法和采用视差图像的方式。
首先,作为第一个全息图技术的特征,能够以与人通常识别物体的方式相同的方式来将物体再现为立体,但是在动画生成中,虽然技术理论已经建立,但是由于需要伴随实时生成全息图用动画的庞大的运算量的计算机以及具有能够在1mm之间引出数千条线的分辨率的显示装置,这在当前的技术中是很难实现,几乎没有商用实用化的先例。
下面说明第二个采用视差图像的方式。该方式的优点是,只要最多准备右眼用和左眼用这两个视点的影像就能够实现立体视觉,在技术上,从 怎样使分别与左右眼对应的图只被对应的眼睛看到的观点出发,已实用化了以时分式(sequential segregation method)为代表的几个技术。
所谓时分式是指,在时间轴方向上交替显示左眼用影像及右眼用影像,并通过眼睛的残像反应来在脑内重叠左右场景,从而识别为立体影像的方法。
在上述中的任一个方式中,都至少由两个视点影像来构成立体视觉影像。视点影像是,具有某种偏向性的影像,将至少两个视点影像中的一个称作“主视影像”,将具有以主视为基准的偏向性的视点影像称作“子视”。此外,在从记录介质分别通过视频流来提供主视、子视时,将提供主视的视频流称作“主视视频流”。将提供子视的视频流称作“子视视频流”。在以后的说明中所出现的记录介质用于适当地记录这些主视视频流和子视视频流。
此外,本申请说明书中的再现装置,为了对上述的主视视频流和子视视频流进行再现,具备称作2D再现模式、3D再现模式这两种再现模式,是能够进行这些模式的相互切换的2D/3D再现装置(播放器)。
图1示出记录介质、再现装置、显示装置、眼镜的使用行为的方式。如该图1(a)所示,作为记录介质的一例的记录介质100、再现装置200与电视机300、3D眼鏡400、遥控器500一起构成家庭影院系统,供用户使用。
记录介质100例如向上述家庭影院系统提供电影作品。
再现装置200与显示装置300连接,对记录介质100进行再现。
显示装置300是电视机,通过显示电影作品的再现影像或显示菜单等,向用户提供交互式的操作环境。本实施方式的显示装置300,通过用户带上3D眼鏡400来实现立体视觉,但是若显示装置300为柱状透镜方式的,则不需要3D眼鏡400。柱状透镜方式的显示装置300为,在画面中的纵向上同时交替排列左眼用图片和右眼用图片,在显示装置的屏幕表面,通过被称为柱状透镜的鱼糕状的透镜,构成左眼用图片的像素只成像在左眼上,构成右眼用图片的像素只成像在右眼上,由此在左右眼中看到有视差的图片,实现立体视觉。
3D眼鏡400具备液晶快门,使用户视听到基于时分式或偏光眼镜方式的视差图像。所谓视差图像是,由进入右眼的影像和进入左眼的影像构成 的一组影像,通过仅与各个眼睛对应的图片进入用户的眼中,来实现立体视觉。该图1(b)示出显示左眼用影像时的情形。在画面上显示左眼用影像的瞬间,上述3D眼鏡400的与左眼对应的液晶快门透光,与右眼对应的液晶快门遮光。该图1(c)示出显示右眼用影像时的情形。在画面上显示右眼用影像的瞬间,与前面所述相反,使得与右眼对应的液晶快门透光,与左眼对应的液晶快门遮光。
遥控器500是受理用于AV再现的操作项目的设备。此外,遥控器500是从用户受理对层级化的GUI的操作的设备,为了受理上述的操作,遥控器500具备:用于调用构成GUI的菜单的菜单按钮,使得构成菜单的GUI部件的焦点移动的箭头按钮,对构成菜单的GUI部件进行确定操作的确定按钮,用于使层级化后的菜单返回到更上级的返回按钮,以及数值按钮。
在图1的家庭影院系统中,将使得显示装置300进行3D再现模式下的图像显示的再现装置的输出模式称作″3D输出模式″。将使得显示装置300进行2D再现模式下的图像显示的再现装置的输出模式称作″2D输出模式″。
以上说明了记录介质及再现装置的使用方式。
在本实施方式中,说明在信息记录介质中保存用于立体视觉的视差图像的方法。
视差图像方式是下述方法,分别准备进入右眼的影像和进入左眼的影像,通过向各个眼中只进入与各自相对应的图片来实现立体视觉。在图2中,在左侧描绘了用户的脸,在右侧,示出了从左眼看到作为对象物的恐龙的骨骼的情形的例子和从右眼看到作为对象物的恐龙的骨骼的情形的例子。若重复右眼和左眼的透光、遮光,则在用户的脑中,通过眼的残像反应而进行左右场景的重叠,能够识别在脸的中央延长线上存在立体影像。
在视差图像中,将进入左眼的图像称作左眼图像(L图像),将进入右眼的图像称作右眼图像(R图像)。此外,将各个图片成为L图像的运动图像称作左视视频,将各个图片成为R图像的运动图像称作右视视频。此外,对左视视频和右视视频进行数字化,将通过压缩编码得到的视频流称作左视视频流、右视视频流。
这些左视视频流和右视视频流,除了通过利用了时间方向的相关特性的图片间预测编码之外,还通过利用了视点间的相关特性的图片间预测编 码从而被压缩。右视视频流的图片是参照与左视视频流相同的显示时刻的图片被压缩而成的。作为利用了视点间的相关特性的视频压缩方法,有称作Multiview Video Coding(MVC)的MPEG-4AVC/H.264的修正标准。作为ISO/IEC MPEG和ITU-T VCEG的共同项目的Joint Video Team(JVT),于2008年7月完成了称作Multiview Video Coding(MVC)的MPEG-4AVC/H.264的修正标准的策划。MVC是集中多个视点的影像来进行编码的标准,通过除了影像的时间方向的类似性之外,还将视点间的类似性也用于预测编码中,从而与多个视点的独立的压缩相比,提高了压缩效率。
此外,将基于MVC被压缩编码后的左视视频流及右视视频流中的、能够以单体进行解码的视频流称作″基视视频流″。由后述的基视指示器决定将左视视频流及右视视频流中的哪个指定为基视视频流。此外,将左视视频流及右视视频流中的、基于与构成基视视频流的各个图片数据之间的帧间相关特性被压缩编码且在基视视频流被解码之后才能够被解码的视频流称作″从属视视频流″。
将基于视点间的相关性被压缩编码的左视视频流及右视视频流中的、能够以单体进行解码的视频流称作″基视视频流″。由播放项目信息内的基视指示器决定将左视视频流及右视视频流中的哪个指定为基视视频流。
在目前的立体视觉影像的编码中,认为基于该MVC方式的编码是最好的,所以在以后的说明中,设“主视视频流”为“基视视频流”,“子视视频流”为“从属视视频流”来进行说明。
对作为MVC视频流的基础的MPEG4-AVC格式的视频流进行说明。
MVC视频流具有GOP结构,包括封闭GOP和开放GOP。封闭GOP包括IDR图片、接续于该IDR图片之后的B图片以及P图片。开放GOP包括Non-IDR I图片、接续于Non-IDR I图片之后的B图片以及P图片。
基于与其他图片之间的帧相关性来对Non-IDR I图片、P图片、B图片进行压缩编码。B图片是指由Bidirectionally predictive(B)形式的片数据构成的图片,P图片是指由Predictive(P)形式的片数据构成的图片。作为B图片,有refrenceB(Br)图片和nonrefrenceB(B)图片。
在封闭GOP中,IDR图片被配置在开头。在显示顺序中,IDR图片不是开头,但是IDR图片以外的其他图片(B图片,P图片)不能与在封闭GOP 前面的GOP中所存在的图片有依存关系。这样,封闭GOP起到使依存关系完结的作用。
下面,对GOP的内部结构进行说明。在开放GOP和封闭GOP中的各个图片数据,具有H.264编码方式中的视频存取单元结构。各视频存取单元是通过排列视频存取单元分隔符、序列参数集、图片参数集、视组件而构成的。
所谓视组件,是具有存取单元结构且基于视点间的相关性而被压缩编码的图片数据。
视频存取单元分隔符被变换为网络抽象化单元而保存到源包中。若从该源包进行读取,则能够进行视频流内部的随机存取。
视频存取单元和图片之间的关系是,1视频存取单元=1图片。此外,在BD-ROM中,被限定为1PES包=1帧。即,若动画为帧结构,则1PES包=1图片,在为场结构的情况下,成为1PES包=2图片。根据这些情况,PES包以1比1的比率保存图片。
图3示出用于立体视觉的左视视频流和右视视频流的内部结构的一例。
该图的第二段示出左视视频流的内部结构。在该流中包含称作图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9的图片数据。这些图片数据按照Decode Time Stamp(DTS)而被解码。第一段表示左眼图像。将这样被解码后的图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9按照PTS以I1、Br3、Br4、P2、Br6、Br7、P5的顺序进行再现,由此再现左眼图像。
第四段示出右视视频流的内部结构。该右视视频流包含称作P1、P2、B3、B4、P5、B6、B7、P8的图片数据。这些图片数据按照DTS而被解码。第三段示出右眼图像。将这样被解码后的图片数据P1、P2、B3、B4、P5、B6、B7、P8按照PTS以P1、B3、B4、P2、B6、B7、P5的顺序进行再现,由此再现右眼图像。在此,在两个视频流之间,对表示3D影像的相同的帧或场的一对图片分配相同的PTS及相同的DTS。
第五段示出怎样改变3D眼鏡400的状态。如该第五段所示,在视听左眼图像时,关闭右眼的快门,在视听右眼图像时,关闭左眼的快门。
在该图中,例如,右视视频流的开头P图片参照左视视频流的I图片,右视视频流的B图片参照左视视频流的Br图片,右视视频流的第二个P 图片参照左视视频流的P图片。被称作″B-D演示模式″的模式是,在1/48秒的显示周期,将基视视频流的视频帧和从属视流的视频帧按″B″-″D″-″B″-″D″的方式交替输出。
被称作B-B演示模式的再现类型是,不交替输出基视视频流的视频帧和从属视流的视频帧,而是在将再现模式维持为3D模式的状态下,进行将相同的视频帧重复输出两次以上的处理。在B-B演示模式下,只有能够单独再现的基视视频流的视频帧按″B″-″B″-″B″-″B″的顺序重复输出。
此外,在B-D演示模式中,除了利用L图像和R图像来实现立体视觉效果的3D-LR方式之外,还有利用2D图像和深度信息来实现立体视觉效果的3D-Depth(深度)方式。
所谓3D-Depth方式是指下述模式:在视频解码器的后级组装视差影像生成器,根据视频流中的各个图片数据和该图片数据中的各个像素的深度信息,制作左视图片数据、右视图片数据。
该深度信息能够构成为用浓淡表示像素的深度的灰度级的图片数据(称作深度信息图片数据)。
图4示出深度视方式的一例。该图4(a)为2D图像,该图4(b)为针对图4(a)上所示的2D制作的灰度级。灰度级通过只有亮度成分的像素来表现。在灰度级的像素中,亮度越高(越白),进深越浅,亮度越低(越黑),进深越深。该图4(c)、(d)示出采用灰度级而生成的左眼影像和右眼影像。图5示出在3D-Depth模式下生成的立体视觉图像。若按2D的各帧来生成左眼影像和右眼影像,则通过眼镜来观看左眼影像和右眼影像,由此用户能够享受立体视觉。
在3D-Depth方式中,能够2D再现的视频流成为基视视频流。由灰度级的图片数据构成的视频流成为从属视视频流。
将对在该3D-Depth方式中所采用的灰度级的图片数据进行数字化、并进行压缩编码而得到的视频流,称作深度图流。深度图流是通过利用了时间方向的相关特性的图片间预测编码被压缩且不具有视点间的相关的视频流,视频流的格式与在3D-LR方式中所使用的从属视视频流相同。例如,在左视视频流及右视视频流被编码为MVC格式时,深度图流也同样编码 为MVC格式。通过采用这样的结构,在不改变再现装置的结构的情况下,能够顺利切换3D-LR方式和3D-Depth方式的再现。
下面,将采用3D-LR方式的B-D演示模式作为L/R模式,将采用3D-Depth方式的B-D演示模式作为深度模式。在深度模式和L/R模式中,能够通用基视视频流,所以只要变更应与基视视频流组合的视频流,就能够生成L/R模式和深度模式的影像。根据数据管理结构来处理这些组合,并结合播放器和所连接的电视机侧的特性,来切换显示方法。
<记录介质100>
本发明的记录介质可以制作成多层化后的光盘即BD-ROM盘、与BD-ROM盘具有再现兼容性的BD-RE盘、BD-R盘、AVC-HD介质。
图6示出多层化后的光盘的内部结构。
第一段示出多层化后的光盘的一例即BD-ROM,第二段是将各记录层上所存在的螺旋轨道拉伸为水平方向进行描绘的图。这些记录层中的螺旋轨道被作为1个连续的卷区域来处理。卷区域包括:位于最内周的导入区域、位于最外周的导出区域、存在于导入区域和导出区域之间的第一记录层的记录区域、第二记录层的记录区域、第三记录层的记录区域。这些第一记录层的记录区域、第二记录层的记录区域、第三记录层的记录区域构成1个连续的逻辑地址空间。
在卷区域,从开头起按对光盘进行存取的单位赋予了顺序号,将该顺序号称作逻辑地址。通过指定逻辑地址来从光盘读取数据。在此,在为BD-ROM那样的只读盘的情况下,基本上逻辑地址连续的扇区在光盘上的物理配置中也连续。即,能够在不进行寻址的情况下,读取逻辑地址连续的扇区的数据。但是,在记录层的边界,即使逻辑地址连续,也不能连续进行读取。因此,将层边界的逻辑地址预先登记到记录装置中。
在卷区域,在导入区域的紧后面记录有文件系统管理信息,接续于该文件系统管理信息之后存在被文件系统管理信息管理的分区区域。文件系统是用目录或称作文件的单位来表现盘上的数据的结构,在为BD-ROM的情况下,按UDF(Universal Disc Format)进行记录。在为日常使用的PC(个人计算机)的情况下,通过称作FAT或NTFS的文件系统,在计算机上表现 以称作目录或文件的结构记录于硬盘上的数据,提高实用性。通过该文件系统,能够利用目录/文件结构来读取与一般的PC同样地记录的逻辑数据。
第四段示出利用文件系统管理的分区区域的记录内容。在分区区域,存在构成文件的区段。在分区区域,区段形成在物理上连续的多个扇区上。
分区区域包括“记录有文件集描述符的区域”、“记录有终端描述符的区域”、“ROOT目录区域”、“BDMV目录区域”、“JAR目录区域”、“BDJO目录区域”、“PLAYLIST目录区域”、“CLIPINF目录区域”、“STREAM目录区域”。下面,对这些区域进行说明。
“文件集描述符”包含指示目录区域中的记录有ROOT目录的文件入口的扇区的逻辑块编号(LBN)。“终端描述符”示出文件集描述符的终端。
下面,详细说明各目录区域。如上所述的多个目录区域均具有共同的内部结构。即,“目录区域”包括“文件入口”、“目录文件”、“有关下级文件的文件记录区域”。
“文件入口”包括“描述符标签”、“ICB标签”和“配置描述符”。
“描述符标签”是表示自身为文件入口的标签。
“ICB标签”表示与文件入口自身有关的属性信息。
“配置描述符”包含表示目录文件的记录位置的逻辑块编号(LBN)。以上是对文件入口的说明。接着,详细说明目录文件。
各目录区域中包含的“目录文件”包含“对下级目录的文件识别描述符”和“下级文件的文件识别描述符”。
“下级目录的文件识别描述符”是用于对位于自身属下的下级目录进行存取的参照信息,包括:表示其下级目录的识别信息、其下级目录的目录名的长度、表示下级目录的文件入口记录在哪个逻辑块编号中的文件入口地址、以及其下级目录的目录名。
“下级文件的文件识别描述符”是用于对位于自身属下的文件进行存取的参照信息,包括:表示其下级文件的识别信息、其下级文件名的长度、表示有关下级文件的文件入口记录在哪个逻辑块编号中的文件入口地址、以及下级文件的文件名。
如上所述,在各目录的目录文件中的文件识别描述符上,下级目录及下级文件的文件入口表示记录在哪个逻辑块中,所以若循着该文件识别描 述符前进,就能够从ROOT目录的文件入口到达BDMV目录的文件入口,此外,能够从BDMV目录的文件入口到达PLAYLIST目录的文件入口。同样,也能够到达JAR目录、BDJO目录、CLIPINF目录、STREAM目录的文件入口。以上是对目录文件的说明。接着,对有关下级文件的文件记录区域进行详细说明。
各目录区域中所包含的“有关下级文件的文件记录区域”是记录有位于某个目录属下的下级文件的实体的区域,记录有有关该下级文件的“文件入口”和利用文件入口管理的一个以上的“区段”。此外,在某个目录属下包含多个下级文件时,在目录区域中存在多个“有关下级文件的文件记录区域”。
下级文件的“文件入口”包括“描述符标签”、“ICB标签”和“配置描述符”。
“描述符标签”是表示自身为文件入口的标签。作为标签,有文件入口描述符,空间位图描述符等种类,在为文件入口时,作为描述符标签记述了表示文件入口的“261”。
“ICB标签”表示有关文件入口自身的属性信息。
下级文件中的“配置描述符”包括:表示构成某个目录属下的下级文件的区段的记录位置的逻辑块编号(LBN);以及表示区段长度的数据。其中,通过将表示区段长度的数据的高位2比特设定为“00”,来表示是已分配且已记录区段;通过设定为“01”,来表示是已分配且未记录区段。通过设定为“11”,来表示配置标识符的后续的区段。在某个目录属下的下级文件被分割为多个区段的情况下,文件入口针对每个区段具有多个配置描述符。
UDF中的文件包括由文件入口管理的多个区段,通过参照上述的文件入口的配置标识符,能够得知构成文件的区段的逻辑地址。
例如,作为本申请的关注点的流文件是该文件所归属的目录区域内所存在的文件记录区域,通过循着目录文件中的文件识别描述符以及文件入口中的配置标识符前进,能够对流文件进行存取。
图7示出以文件系统为前提的记录介质100的应用格式。
BDMV目录是记录有由BD-ROM进行处理的TS及管理信息等数据的目录。在BDMV目录的属下,存在称作“PLAYLIST目录”、“CLIPINF目录”、 “STREAM目录”、“BDJO目录”、“JAR目录”这5个子目录,在BDMV目录中配置有“index.bdmv”、“MovieObject.bdmv”这2种文件。
下面,对位于BDMV目录属下的各文件进行说明。
“index.bdmv(文件名固定)”是保存有索引表的索引表文件,该索引表表示BD-ROM中的能够再现的多个标题的标题号与规定各个标题的程序文件即BD-J对象或电影对象之间的对应关系。
索引表文件是有关记录介质整体的管理信息,将盘插入再现装置之后,通过最先读取索引表文件,在再现装置中能够唯一地识别盘。索引表文件规定了构成光盘的标题结构的各个标题和规定动作模式的动作模式对象之间的对应关系。所谓标题结构是指,在装填光盘时,开始再现对视听者的警告及伴随内容供应商的标识显示等的标题(最先播放标题),在再现最先播放标题之后,进行构成电影作品的正编的一般标题(利用称作″1″,″2″,″3″的序列号识别的一般的标题)的再现,若正编标题再现结束,则对受理标题选择的标题(菜单标题)进行再现,等待用户进行一般标题的选择。电影作品和标题之间的关系是电影作品和其多个版本之间的关系。即,只有1个版本的电影作品成为“电影作品=标题”的关系。在电影作品中有剧场公开版、导演剪辑版、TV放映版等多个版本的情况下,电影作品中的各个版本分别成为1个标题。在再现装置中包含用于保存当前标题号的标题号寄存器,多个标题中的保存在该标题号寄存器中的标题成为当前的再现对象。通过对光盘的标题中的上述的最先播放标题、一般标题、菜单标题分别分配用于规定动作模式的动作模式对象,详细地规定光盘的标题以怎样的动作模式进行动作。在索引表中不直接记述标题和视频流之间的关系,而是记述标题和动作模式对象之间的关系,通过动作模式对象使视频流再现。这是为了规定不伴随AV再现而仅使动作模式对象动作的标题。
“MovieObject.bdmv(文件名固定)”保存一个以上的电影对象。电影对象是在以指令解释器为控制主体的动作模式(HDMV模式)中规定再现装置应该进行的控制顺序的程序文件,包含一个以上的指令和屏蔽标志,该屏蔽标志规定在由用户对GUI进行了菜单调用、标题调用的情况下是否屏蔽这些调用。
在“BDJO目录”,存在被赋予了扩展名bdjo的程序文件(xxxxx.bdjo[″xxxxx″可变,扩展名″bdjo″固定])。在BD-J模式中,该程序文件保存BD-J对象,该BD-J对象用于规定再现装置应该进行的控制顺序。该BD-J对象包含“应用管理表”。BD-J对象内的“应用管理表”是用于使再现装置执行以标题作为生存区间的应用信令的表。应用管理表中包含用于确定在与BD-J对象对应的标题成为当前标题时应该使其动作的应用的“应用标识符”和“控制码”。将通过应用管理表规定了生存区间的BD-J应用,特别地称作“BD-J应用”。在将控制码设定为AutoRun的情况下,表示在堆存储器中安装该应用之后自动启动,在设定为Present的情况下,表示在堆存储器中安装该应用之后应等待来自其他应用的调用来启动。另一方面,在BD-J应用中,存在有即使标题结束、其动作也不结束的应用。将该应用称作“非标题约束应用”。
相当于该Java(注册商标)应用的实体的是在BDMV目录下的JAR目录中所保存的Java(注册商标)存档文件(YYYYY.jar)。
应用例如是Java(注册商标)应用,由在虚拟机的堆区域(也称作工作存储器)安装的一个以上的xlet程序构成。由安装在该工作存储器中xlet程序及数据构成应用。
“STREAM目录”是保存有流文件的目录,在本目录中以xxxxx.m2ts([″xxxxx″可变,扩展名″m2ts″固定)以及xxxxx.ssif([″xxxxx″可变,扩展名″ssif″固定])的形式保存流文件。本实施方式中的流文件是在记录介质100上记录的影像内容实体中被整理为文件系统所确定的文件形式的文件。在此,影像内容实体的意思一般是影像、声音、字幕等各种流数据被复用后而成的流数据。该复用流数据根据内置的主视频流的种类,大致被分为主传输流(TS)和子TS。“主TS”包括基视视频流,作为主视频流。“基视视频流”能够被单独再现,表示2D影像。“子TS”包括从属视视频流,作为主视频流。“从属视视频流”在其再现时需要基视视频流,与该基视视频流组合来显示3D影像。从属视视频流的种类,有右视视频流、左视视频流及深度图流。在基视视频流所示的2D影像被L/R模式的再现装置用作3D影像的左视时,将“右视视频流”用作表示该3D影像的右视的视频流。“左视视频流”与其相反。在深度模式的再现装置将基视视频流所表示的2D影 像用作向虚拟2D屏幕的3D影像射影时,将“深度图流”用作表示该3D影像的深度图的流数据。
AV流文件按照内置的复用流数据的种类,分为文件2D、文件从属(下面,简称为文件DEP)及交织文件(下面,简称为文件SS)这三种。“文件2D”是用于2D再现模式下的2D影像的再现中的平面视觉再现用流文件,包含主TS。“文件DEP”包含子TS。“文件SS”是用于3D再现模式下的3D影像的再现中的立体视觉再现用流文件,包含表示相同的3D影像的主TS和子TS的对。文件SS特别与某个文件2D共用其主TS,与某个文件DEP共用其子TS。即,在记录介质100的文件系统中,主TS可以作为文件SS和文件2D的任一种被存取,子TS能够作为文件SS和文件DEP的任一种被存取。这样,将记录在记录介质100上的一系列数据共用于不同的文件、能够作为任一种文件被存取的结构,称作“文件的交差连接”。作为这样的文件2D和文件DEP,附加称作m2ts的扩展名并置于STREAM目录之下,在文件SS上附加称作ssif的扩展名并置于STREAM目录的下级目录即SSIF目录之下。
在“PLAYLIST目录”中,存在有被赋予了扩展名mpls的播放列表信息文件(xxxxx.mpls[″xxxxx″可变,扩展名″mpls″固定])。播放列表信息文件是保存有用于使再现装置再现播放列表的信息的文件。所谓″播放列表″是通过在传输流(TS)的时间轴上规定再现区间且逻辑上指定该再现区间彼此的再现顺序而被规定的再现路径,具有规定在TS中只再现谁的哪个部分、并以怎样的顺序展开场景的作用,播放列表信息定义该播放列表的″类型″。由播放列表信息定义的再现路径是所谓的″多路″。所谓多路是指,组合了对主TS定义的再现路径(主路径)和对从流定义的再现路径(子路径)。将包含在主路径中的再现区间称作播放项目,将包含在子路径中的再现区间称作子播放项目。主路径是1条,而子路径则能够定义多个,能够通过称作子路径ID的标识符来识别这些多个子路径。在该多路的再现时间轴上定义了章节位置。通过使再现装置参照该章节位置,能够使再现装置实现对多路的时间轴上的任意时刻的随机存取。在BD-J模式下,通过由用于再现控制的Java(TM)应用命令Java(TM)虚拟机生成用于再现该播放列表信息的JMF(JavaMedia Frame work)播放实例,由此能够开始多路的AV再现。JMF 播放实例是根据JMF播放器类而生成于虚拟机的堆存储器上的实际数据。在HDMV模式下,通过使再现装置执行导航指令,能够开始再现,该导航指令命令基于播放列表的再现。再现装置中包含用于保存当前播放列表信息的编号的播放列表编号寄存器,多个播放列表信息中的保存在该播放列表编号寄存器中的播放列表信息成为当前的再现对象。播放列表信息文件的种类,有2D播放列表信息文件和3D播放列表信息文件。“2D播放列表信息文件”规定文件2D的再现路径。“3D播放列表信息文件”针对2D再现模式的再现装置规定文件2D的再现路径,针对3D再现模式的再现装置规定文件SS的再现路径。
在“CLIPINF目录”中存在有被赋予了扩展名clpi的片段(clip)信息文件(xxxxx.clpi[″xxxxx″可变,扩展名″clpi″固定])。片段信息文件是文件2D及文件DEP分别以1比1的比例存在的片段信息文件,表示:存在于流文件内的源包串构成怎样的ATC序列;在这些ATC序列内组合了怎样的STC序列;以及ATC序列是怎样的TS。
片段信息文件是用于明确流文件的内容的文件,在要再现流文件内的TS的情况下,需要预先向存储器读取与该流文件对应的片段信息文件。即,在再现流文件时,采用预先向存储器读取片段信息文件的前置主义。采用这样的前置主义的理由如下。保存在流文件中的TS是与欧州数字广播标准有兼容性的数据结构,但在流存储器在用于作为广播节目而被处理的称作PMT、PCR、PAT的信息,所以在每次再现时进行读取是不明智的。这是由于在每次再现流时,需要对低速的记录介质进行存取来读取构成TS的包,并进行解析该TS包的有效载荷的处理。因此,以与保存有TS的流文件一对一的比率设置片段信息文件,并在再现流之前,将片段信息文件读取到存储器中,以便在不对构成TS的有效载荷的内容进行解析的情况下,就可把握TS的各要素。在本实施方式中,将片段信息文件中的与文件2D对应的片段信息文件称作“2D片段信息文件”,将与文件DEP对应的片段信息文件称作“从属视片段信息文件”。并且,在文件DEP包含右视视频流时,将对应的从属视片段信息文件称作“右视片段信息文件”。在文件DEP包含深度图流时,将对应的从属视片段信息文件称作“深度图片段信息文件”。
<流文件>
下面,详细说明流文件。
流文件保存1个或多个源包串。源包是附加有由2比特的复制许可指示器和30比特的ATS(到达时刻:Arrival Time Stamp)构成的4字节的TP_Extra_Header的TS包。TP_Extra_Header中的ATS是指实时传送被执行且被确保等时性的状态下的传送中的到达时刻。
将这些源包串中的、由到达定时时钟(ATC)时间轴上的时间戳连续的多个源包构成的源包串称作″ATC序列″。″ATC序列″是源包的排列,是指在其Arrival_Time_Stamp所参照的Arrival_Time_Clock中不存在不连续点(noarrival time-base discontinutiy)的排列。换言之,将在该Arrival_Time_Stamp所参照的Arrival_Time_Clock中存在连续性的源包串称作″ATC序列″。ATC序列是ATC的时间戳连续的源包串,所以在对再现装置的到达定时时钟进行计时的时钟计时器进行计时的期间,构成ATC序列的各源包被用于连续的源包拆包化处理及连续的包滤波处理中。
与ATC序列为源包的排列相对,将STC时间轴上的时间戳连续的TS包的排列称作STC序列。″STC序列″是TS包的排列,不具有TS的系统基准时刻即STC(System Time Clock)的不连续点(system time-basediscontinuity)。STC的不连续点是搭载有解码器为了得到STC而参照的PCR(Program Clock Reference)的PCR 包的不连续信息(discontinuity_indicator)为ON(开启)的点。STC序列是STC的时间戳连续的TS包串,所以在对再现装置的系统定时时钟进行计时的时钟计时器进行计时的期间,构成STC序列的各TS包被用于存在于再现装置内的解码器的连续的解码处理中。
此外,保存在流文件中的包串作为用于对多种PES流进行管理·控制的信息,具备欧洲数字广播标准中所规定的包管理信息(PCR,PMT,PAT)。
为了取得ATS的时间轴ATC(Arrival Time Clock)和PTS·DTS的时间轴STC(System Time Clock)的同步,PCR(Program_Clock_Reference)具有STC时间信息,该STC时间信息与将该PCR包传送给解码器的ATS相对应。
PMT(Program_map_table)具有与包含在流文件中的影像、声音、图形等各流的PID及各PID对应的流的属性信息,并具有与TS有关的各种描述符。作为描述符,有指示许可·不许可流文件的复制的复制控制信息等。
PAT(Program Association Table)表示在TS中使用的PMT的PID是什么,被登记为PAT用自身的PID排列。
这些PCR、PMT、PAT在欧州数字广播标准中具有规定构成一个广播节目(Program)的部分TS的作用,再现装置在欧州数字广播标准中,能够宛如对构成1个广播节目的部分TS进行处理那样,将TS用于解码器进行的处理中。这是试图得到欧州数字广播标准的终端装置和记录介质再现装置的兼容性的措施。将成为TS中的多路的基轴的流称作″主TS″。此外,将成为子路径的基轴的流称作″子TS″。
图8(a)示出主TS的内部结构,图8(b)示出子TS的内部结构。如图8(b)所示,主TS包括1条基视视频流、32条基视PG流、32条基视IG流、32条音频流。如该图8(b)所示,子TS包括1条从属视视频流、32条从属视PG流以及32条从属视IG流。
接着,对TS的内部结构进行说明。
图9进一步详细示出在PES包串中怎样保存视频流。该图9(a)中的第一段示出视频流的视频帧串。第二段示出PES包串。第三段示出通过变换这些PES包串来得到的TS包串。如该图的箭头yy1、yy2、yy3、yy4所示,视频流中的多个Video Presentation Unit即B图片、P图片,按每个图片被分割,并保存到PES包的有效载荷中。各PES包具有PES头,在PES头中保存作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
<TS包串>
图9(b)示出TS包的格式。第一段示出TS包串,第二段示出源包串。
第一段所示的TS包是被分为具有用于识别流的PID等信息的4Byte的“TS头”和用于保存数据的184Byte的“TS有效载荷”的固定长度的包,前面说明的PES包被分割而保存到TS有效载荷中。
根据第二段,在TS包上赋予4Byte的TP_Extra_Header,在被变换为192Byte的源包的状态下,构成TS。在TP_Extra_Header中记载有 ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向PID滤波器传送的开始时刻。在TS中排列有第三段所示的源包,从TS的开头起递增的编号被叫做SPN(源包编号)。
<TS中的复用>
图10是示意地示出怎样复用主TS的图。首先,将基视视频流及音频流(第一段)分别变换为PES包串(第二段),并变换为源包串(第三段)。同样,将左视PG流和左视交互图形(第七段目)分别变换为PES包串(第六段),进一步变换为源包串(第五段)。将这样得到的构成视频、音频、图形的源包按照其ATS的顺序排列。这是因为源包应该是按照其ATS读取到读取缓冲器中的。这样,若按照ATS排列源包,则能够得到主TS。
·复用于TS中的基本流
作为复用于这些TS中的基本流(ES),有视频流、音频流、演示图形流、交互图形流。
·视频流
成为基视的视频流,构成画中画应用中的主视频流。画中画应用除了该主视频流之外,还包括次视频流。主视频流是由在画中画应用中成为母画面的图片数据构成的视频流。相比而言,次视频流是由在画中画中作为子画面而嵌入母画面的一部分中的图片数据构成的视频流。
构成主视频流的图片数据和构成次视频流的图片数据被解码后,被保存到各自的平面存储器中。在用于保存构成次视频流的图片数据的平面存储器的前级,存在进行构成次视频流的图片数据的缩放变更及显示坐标的定位的构成要素(Scalling&Positioning)。
·音频流
音频流中有主音频流和次音频流这2种。主音频流是在进行混合再现时应成为主声音的音频流,次音频流是在进行混合再现时应成为副声音的音频流。次音频流中存在有用于该混合的降采样的信息以及用于增益控制的信息。音频流以DolbyAC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或者线性PCM等方式被压缩·编码记录。
·演示图形流(PG流)
PG流通过在解码器中采用流水线技术,能够实现与影像之间的严格的同步,是适合字幕显示的图形流,有2DPG流和立体视觉PG流这两种。作为立体视觉PG流,有称作左视PG流及右视PG流这两种。在左视PG流及右视PG流中,由基视指示器指定的PG流成为基视PG流,没有被基视指示器指定的PG流成为从属视PG流。
除了2DPG流之外还设置立体视觉PG流,这是因为在PG流表示字幕文字时,从2D显示的正面看到的字幕文字、在3D-LR模式下作为左眼用而显示的图形和作为右眼用而显示的字幕文字需要是不同的。因此,在2D再现的情况下,显示1条从正面看到的图形流,在3D-LR模式用时显示左视PG流和右视PG流共2条。同样,在3D-Depth模式的情况下,再现从正面看到的影像和表示深度信息的灰度级流。2D+offset(2D兼容流)和3D-LR流是不能混合的。
2DPG流能够定义最大32条,基视PG流能够定义最大32条,从属视PG流也能够定义最大32条。在这些PG流上分别赋予有包标识符,通过对解复用部指示应再现的包标识符,能够使得这些PG流中的所希望的PG流被用于再现。
使左视PG流和右视PG流的相互的语言属性一致,即使用户切换显示方式,也显示相同内容的字幕。作为前提,2D字幕和3D字幕1比1地对应,不能设置只有2D的字幕及只有3D的字幕。这是为了防止进行切换时使用户迷惑。通过这样做,用1个流编号,选择与2D/3D各自的显示模式相对应的流。在该情况下,在1个流编号中,语言属性等相同,2D和LR的字幕内容相同。
通过实现基于流水线技术的解码动作,实现与运动图像之间的严格的同步,所以PG流的用途不限定于如字幕那样的文字再现。若是显示电影作品的吉祥物角色并使其与运动图像同步地动作等那样的需要严格的同步的图形再现,则无论是怎样的再现都能够采用基于PG流的再现对象。
在虽然不复用于流文件中但用于显示字幕的流中,除了PG流之外,还有文本字幕(textST)流。textST流是用字符码显示字幕的内容的流。
PG流和文本字幕流没有区分这些种类,而是作为相同的流种类,这些PG流及文本字幕流登记在相同的流登记串中。此外,在执行流选择的规程时,按照流登记串中的流登记的顺序,确定应再现的PG流或文本字幕流。PG流和文本字幕流不区别流种类地用于流选择的规程中,所以将这些PG流及文本字幕流作为1个流种类即″PG_文本字幕流″的种类进行处理。
在1plane+Offset模式下,再现2D用PG_文本字幕流。在下面的说明中,将2DPG_文本字幕流设为1plane+OffsetPG_文本字幕流来进行说明。
·交互图形(IG)流
IG流具备对话操作的信息,是能够伴随视频流的再现进行而显示菜单、或者按照用户操作来显示弹出菜单的图形流。
IG流也与PG流同样,有2DIG流和立体视觉IG流这两种。在立体IG流中,有称作左视IG流及右视IG流这两种。左视图形流及右视图形流中的被基视指示器指定的图形流成为基视IG流,没有被基视指示器指定的图形流成为从属视IG流。2DIG流能够定义最大32条,基视IG流能够定义最大32条,从属视IG流也能够定义最大32条。在这些IG流上分别被赋予各自的包标识符,在解复用部,通过指示应再现的包标识符,这些IG流中的所希望的流被用于再现。
IG流的控制信息(称作对话控制段)具有用于规定用户接口模型的信息(User_interface_model),编者通过设定该用户接口模型信息,能够指定是伴随视频流的再现进行而显示菜单(称作始终开启),还是按照用户操作来显示弹出菜单(弹出菜单开启)中的某一种。
IG流具有对话操作的信息的意义如下。在Java虚拟机根据来自应用的请求,向作为再现控制的主体的再现控制引擎指示开始再现播放列表的情况下,Java虚拟机在向再现控制引擎命令再现之后,将表示开始了播放列表的再现的响应返回给应用。即,在再现控制引擎的播放列表再现持续的期间,Java虚拟机不必成为等待执行结束的状态。这是因为Java虚拟机是所谓的事件驱动式的动作主体,在再现控制引擎进行播放列表的再现的期间,也能进行动作。
另一方面,在HDMV模式中,在指令解释器对再现控制引擎命令进行播放列表再现的情况下,在播放列表再现结束之前,成为等待该播放列表 再现的执行结束的状态。在再现控制引擎的再现持续的期间,指令执行部不能执行对话处理。图形解码器代替该指令解释器来进行对话动作。由于使图形解码器进行对话动作,所以在IG流中组合有用于规定采用了按钮部件的对话操作的控制信息。
·对各流种类容许的显示模式
容许哪种3D显示模式是根据流种类而不同的。在主视频流的3D显示模式中,容许称作B-D演示模式和B-B演示模式这两种再现模式。在主视频流中,只在弹出菜单被开启时,容许B-B演示模式。将在B-D演示模式下再现的情况下的主视频流的类型称作″立体视觉B-D再现类型″。将在B-B演示模式下再现的情况下的主视频流的类型,称作立体视觉B-B再现类型。
在PG流的3D显示模式中,容许称作B-D演示模式、1plane+Offset模式、1plane+Zero Offset模式这三种再现模式。在PG流中,只在弹出菜单被开启时,容许1plane+Zero Offset模式。将在B-D演示模式下被再现的情况下的PG流的类型,称作″立体视觉再现类型″。将在1plane+Offset模式下被再现的情况下的PG流、PG_文本字幕流的类型,称作1plane+Offset类型。将在1plane+Zero Offset模式下被再现的情况下的PG流、PG_文本字幕流的类型,称作1plane+Zero Offset类型。
在文本字幕流的3D显示模式中,容许称作1plane+Offset模式、1plane+Zero Offset模式这两种再现模式。在文本字幕流中,只在弹出菜单被开启时,容许1plane+Zero Offset模式。
在IG流的3D显示模式中,容许称作B-D演示模式、1plane+Offset模式、1plane+Zero Offset模式这三种再现模式。在IG流中,只在弹出菜单被开启时,容许1plane+Zero Offset模式。在下面的说明中,只要不特别排除,在执行3D再现模式时,不能使用画中画。这是因为画中画及3D再现模式均需要两个用于保存非压缩图片数据的视频平面。此外,只要不特别排除,在3D再现模式下,不能使用声音混合。
接着,对主TS及子TS的内部结构进行说明。图11示出主TS及子TS的内部结构。
该图11(a)示出主TS的内部结构。主TS由以下的源包构成。
具有0x0100的包ID的源包构成Program_Map_Table,具有0x0101的包ID的TS包构成PCR。
具有0x1011的包ID的源包串构成主视频流。
从具有0x1220的包标识符的源包串到具有0x123F的包ID的源包串,构成32条基视PG流。
从具有0x1420的包标识符的源包串到具有0x143F的包ID的源包串,构成32条基视IG流。
从具有0x1100的包标识符的源包串到具有0x111F的包标识符的源包串,构成主音频流。
通过向解复用部指示这些源包的包标识符,能将在主TS中复用的多个ES中的、所希望的ES分离后提供给解码器。
图11(b)示出子TS的内部结构。子TS由以下的源包构成。
具有0x1012的包标识符的源包串构成从属视视频流,从具有0x1240的包标识符的源包串到具有0x125F的包标识符的源包串,构成32条从属视PG流。
从具有0x1440的包标识符的源包串到具有0x145F的包标识符的源包串,构成32条从属视IG流。
<视频流>
图12是示出视频流的数据结构的示意图。
视频流由多个GOP构成,通过将它们作为编码处理的基本单位,能够对运动图像进行编辑和随机存取。GOP由一个以上的视频存取单元构成。视频存取单元是用于保存已被编码的图片数据的单位,在为帧结构的情况下保存1帧的数据,在为场结构的情况下保存1场的数据。GOP开头的视频存取单元保存I图片的数据,保存有序列头、图片头、补充数据、压缩图片数据。序列头是保存了在该GOP中共用的信息的头,保存有分辨率、帧速率、高宽比、比特率等信息。图片头是保存有图片整体的编码方式等图片的解码中所需的信息的头。补充数据是在压缩数据的解码中非必需的附加信息,例如,有与影像同步地显示于TV上的CC字幕的文字信息或时间代码信息等。压缩图片数据是被压缩编码后的图片数据。GOP开头以外 的视频存取单元除了不包含序列头的这一点之外,其他与GOP开头的视频存取单元同样地保存有图片头、补充数据、压缩图片数据。此外,序列头、图片头、补充数据、压缩图片数据的内部结构根据视频编码方式的不同而不同。例如,若为MPEG-4AVC的情况,则序列头相当于SPS(序列参数集),图片头相当于PPS(图片参数集),补充数据相当于SEI(SupplementalEnhancement Information)。
基视视频流和从属视视频流均具有在此说明的GOP结构。基视视频流的开头图片是IDR图片或Non-IDR I图片,若从属视视频流为右视视频流,从属视视频流的开头图片是与基视视频流的对应GOP开头图片一起表示3D影像的相同帧或场的右视图片,并且是被赋予了与基视视频流的GOP开头图片同样的PTS的右视视频流的图片。此外,若从属视视频流为深度图流,则从属视视频流的开头图片是保存有针对基视视频流的对应GOP开头图片的深度图的图片,并且是被赋予了与基视视频流的GOP开头图片同样的PTS的深度图流的图片。在基视视频流与从属视视频流之间,将包含PTS相等且DTS相等的图片的VAU的对称作“3DVAU”。在属于相同的3DVAU的基视视频流和从属视视频流的对应GOP中,设定了与序列头的帧速率、分辨率、高宽比相同的值。
图13是表示保存在视频存取单元内的补充数据区域中的解码切换信息的数据结构的图。解码切换信息是用于使再现装置内的解码器容易确定下一应解码的视频存取单元的信息,该解码切换信息在基视视频流和从属视视频流双方中被包含于各视频存取单元中。在此,如后所述,该解码器以视频存取单元为单位对基视视频流和从属视视频流交替地进行解码。此时,该解码器一般配合赋予给各视频存取单元的DTS所示的时刻,来确定下一应解码的VAU。但是,在解码器的种类中,也有很多忽视DTS来依次连续解码视频存取单元的类型。作为这种解码器,优选各视频存取单元除了DTS之外还包含解码切换信息。
图13的上段示出解码切换信息的结构,图13的下段示出1个视频存取单元的数据结构。解码切换信息按照每一个视频存取单元,保存在视频存取单元内的补充数据区域(在MPEG-4AVC的情况下为SEI)。
解码切换信息包括下个存取单元类型、下个存取单元大小以及解码计数器。
下个存取单元类型是表示下一解码的视频存取单元是基视视频流和从属视视频流中的哪一种的信息。在值为“1”的情况下,表示基视视频流的视频存取单元,在值为“2”的情况下,表示从属视视频流的视频存取单元,在值为“0”的情况下,表示当前的视频存取单元位于流终端,不存在下一应解码的视频存取单元的情况。
下个存取单元大小是下一解码的视频存取单元的大小信息。若下一解码的视频存取单元的大小不明确,则在从保存有解码前的视频存取单元的缓冲器导出视频存取单元时,需要对存取单元的结构进行解析来确定大小。但是,由于存在下个存取单元大小,所以视频解码器能够在不对下一视频存取单元的结构进行解析的情况下确定大小。因此,解码器能够容易地从缓冲器提取包含解码前的图片的视频存取单元。
如图14(a)所示,在把基视视频流的GOP开头的I图片设为0时,解码计数器的值是按照解码顺序来对基视视频流和从属视视频流的视频存取单元进行递增计数的值。
若使用该信息,则能够适当进行因某种原因而没有读取视频存取单元时的出错处理。例如,如图14(a)所示,在因读取错误而没有读取基视视频流的第三个视频存取单元(Br图片)时,在没有任何信息的情况下,由于从属视视频流的第三个视频存取单元(B图片)参照基视视频流的第三个视频存取单元,所以有可能进行错误的解码,从而对载有噪声的图像进行解码。此时,若预先保持从属视视频流的第二个视频存取单元(P图片)的解码计数器的值,则能够预测下一个应到来的存取单元的解码计数器的值,所以解码器能够进行适当的出错处理。在图14(a)的例中,由于从属视视频流的第二个视频存取单元(P图片)的解码计数器4为“4”,所以下一个应到来的解码计数器应该是“5”,但是,实际上被读取的视频存取单元是基视视频流的第四个视频存取单元(P图片),解码计数器成为“7”。因此,在视频解码器中,能够判断跳过了1个视频存取单元的情况。由此,例如,能够进行将从属视视频流的第三个视频存取单元(B图片)判断为没有参照目的地的图片而使解码跳过(skip)的处理。
此外,如图14(b)所示,也可以将解码计数器设为按照每个影像视频流完结的值。在该情况下,在紧前面解码的是基视视频流的视频存取单元的情况下,能够预测下一个应到来的视频存取单元的解码计数器与紧前面的解码计数器为相同的值。在紧前面解码的是从属视视频流的视频存取单元的情况下,能够预测下一个应来到的视频存取单元的解码计数器等于在紧前面的解码计数器上加1后的值,所以同样能够进行适当的出错处理。
<复用流数据的交织配置>
在3D影像的无缝再现中,基视视频流和从属视视频流在记录介质100上的物理配置很重要。在此,所谓“无缝再现”是指不中断地从复用流数据顺利再现影像和声音的情况。
图15是示出分别属于主TS、第一子TS及第二子TS的数据块组在记录介质100上的物理配置的示意图。“数据块”是指记录介质100上的连续区域,即记录在物理上连续的多个扇区中的一系列的数据。在记录介质100中,物理地址实质上与逻辑地址相等,所以在各数据块内,LBN也连续。因此,再现装置200的BD-ROM驱动器在不使光拾取器进行寻址的情况下就能够连续读取1个数据块。下面,将属于主TS的数据块L1、L2、L3、...称作“基视数据块”,将属于子TS的数据块R1、R2、R3、...、D1、D2、D3、...称作“从属视数据块”。特别是,将属于第一子TS的数据块R1、R2、R3、...称作“右视数据块”,将属于第二子TS的数据块D1、D2、D3、...称作“深度图数据块”。参照图15,数据块组沿着记录介质100上的轨道1601被连续地记录。并且,基视数据块L1、L2、L3、...,右视数据块R1、R2、R3、...,以及深度图数据块D1、D2、D3、...每一个地交替配置。将这样的数据块组的配置称作“交织配置”。
在本发明的实施方式1的交织配置中,在邻接的三种数据块之间,区段ATC时间相等。例如,在图15中,开头的深度图数据块D1、开头的右视数据块R1以及开头的基视数据块L1连续。在这些数据块D1、R1、L1之间,区段ATC时间相等。在此,“ATC(Arrival Time Clock)”表示应作为ATS的基准的时钟。此外,“区段ATC时间”被定义为ATC的值,表示对1个区段内的源包赋予的ATS的范围,即,从其区段的开头的源包的ATS到下一区段的开头的源包的ATS之间的时间间隔。即,区段ATC时间等于在 再现装置200内将该区段内的源包全部从读取缓冲器传送到系统目标解码器所需的时间。此外,“读取缓冲器”是再现装置200内的缓冲存储器,暂时保存从记录介质100读取的数据块,直到传送到系统目标解码器为止。
在区段ATC时间相等的三种数据块之间,还可以是再现期间一致,且视频流的再现时间相等。例如,在图15中,在开头的三个数据块D1、R1、L1之间,再现期间一致,且视频流的再现时间相等。在后续的数据块组中也同样,也可以在区段ATC时间相等的三种数据块D2、R2、L2之间,再现期间一致,且视频流的再现时间相等。
在本发明的实施方式1的交织配置中,进一步,区段ATC时间相等的三个连续的数据块按照深度图数据块、右视数据块及基视数据块的顺序,即数据量由小变大的顺序配置。例如,在图15中,将开头的基视数据块L1中所包含的图片作为参照图片,来对包含在开头的右视数据块R1中图片进行了压缩。因此,开头的右视数据块R1的大小Sext2[1]是开头的基视数据块L1的大小Sext1[1]以下,即,Sext2[1]≤Sext1[1]。另一方面,深度图的每个像素的数据量即进深值的比特数一般比基视视频流中所包含的图片的每个像素的数据量即色度坐标值和α值的比特数之和小。并且,主TS与第二子TS不同,除了主视频流之外,还包括主音频流等基本流。因此,在图15中,开头的深度图数据块D1的大小Sext3[1]为开头的基视数据块L1的大小Sext1[1]以下,即Sext3[1]≤Sext1[1]。因此,在图15中,开头的深度图数据块D1、开头的右视数据块R1及开头的基视数据块L1按照该记述顺序配置。接着连续的三个区段D2、R2、L2的顺序也同样。
位于区段ATC时间相等的数据块的各开头的VAU属于相同的3DVAU,尤其是包括表示相同的3D影像的GOP的开头的图片。例如,在图15中,区段ATC时间相等的三个连续的数据块Dn、Rn、Ln(n=1,2,3,...)中的、深度图数据块Dn的前端包括深度图流的I图片,右视数据块Rn的前端包括右视视频流的P图片,基视数据块Ln的前端包括基视视频流的I图片。该深度图流的I图片表示针对表示该基视视频流的I图片所表示的2D影像的深度图。该右视视频流的P图片表示在将该基视视频流的I图片所表示的2D影像作为左视时的右视。尤其是,将该基视视频流的I图片作 为参照图片,来对该P图片进行了压缩。因此,3D再现模式的再现装置200能够从任一个数据块的组Dn、Rn、Ln开始再现3D影像。
<将复用流数据分割为数据块的意义>
再现装置200在从记录介质100无缝地再现3D影像时,必需并行地处理主TS和子TS。但是,一般能够用于该处理的读取缓冲器的容量是有限的。特别是,能够从记录介质100连续向读取缓冲器读取的数据量是有限的。因此,再现装置200必需把主TS和子TS分割为区段ATC时间相等的部分的对来进行读取。
图16(a)是示出在某个BD-ROM盘上分别连续记录的主TS1701和子TS1702的配置的示意图。再现装置200在对这些主TS1701和子TS1702并行地进行处理时,如图16(a)上的实线箭头(1)-(4)所示,BD-ROM驱动器交替地、且每次读取区段ATC时间相等的部分地读取主TS1701和子TS1702。此时,如图16(a)上的虚线箭头所示,BD-ROM驱动器121必需在读取处理的中途大幅改变BD-ROM盘上的读取对象区域。例如,在读取箭头(1)所示的主TS1701的前端部分时,BD-ROM驱动器121暂时停止光拾取器的读取动作,加快BD-ROM盘的转动速度。由此,使得在箭头(2)所示的记录有子TS 1702的前端部分的BD-ROM盘上的扇区快速移动到光拾取器的位置。这样,将使光拾取器暂时停止读取动作、并在其间将光拾取器定位于下一读取对象区域上的操作,称作“跳跃”。图16(a)所示的虚线的箭头表示在读取处理的中途所需要的各跳跃的范围。在各跳跃的期间,光拾取器的读取处理停止,只进行解码器的解码处理。其结果,很难使读取处理赶上解码处理,所以很难可靠地持续无缝的再现。
图16(b)是表示在本发明的实施方式1的记录介质100上交替记录的基视数据块B[0]、B[1]、B[2]、...和从属视数据块D[0]、D[1]、D[2]、...的配置的示意图。参照图16(b),主TS和子TS分别被分割为多个数据块而被交替配置。此时,在再现3D影像时,如图16(b)的箭头(1)-(4)所示,再现装置200从开头起依次读取数据块B[0]、D[0]、B[1]、D[1]、...。仅通过该方式,再现装置200就能够顺利实现交替地读取主TS和子TS。尤其是,由于在读取处理中不产生跳跃,所以能够可靠地持续3D影像的无缝的再现。
<在邻接的数据块之间使区段ATC时间一致的意义>
在图15所示的交织配置中,邻接的三种数据块Dn、Rn、Ln均具有相同的区段ATC时间。即,在这些区段之间,从各区段的开头的源包到下一区段的开头的源包之间的ATS之差相等(其中,在该差的计算中,考虑了在ATS中发生折回(wrap-around)的情形)。此时,再现装置200内的系统目标解码器在ATC中计时的相同的时间内,从读取缓冲器读取包含在基视数据块Ln和从属视数据块Dn或Rn双方中的所有的TS包。因此,尤其是在插入再现时,系统目标解码器在基视流和从属视流之间能够容易使TS包的解码处理同步。
<使再现时间相等的数据块邻接的意义>
图17(a)是示出在邻接的基视数据块和从属视数据块之间区段ATC时间不同、且视频流的再现时间不同时的再现路径的示意图。在图17(a)所示的例中,开头的基视数据块B[0]的再现时间为4秒,开头的从属视数据块D[0]的再现时间为1秒。在此,从属视数据块D[0]的解码所需的基视视频流的部分,具有与该从属视数据块D[0]相同的再现时间。因此,为了节约再现装置200内的读取缓冲器的容量,如图17(a)的箭头1810所示,最好使得再现装置200每相同再现时间例如每1秒交替地读取基视数据块B[0]和从属视数据块D[0]。但是,此时,如图17(a)的虚线所示,在读取处理的中途发生跳跃。其结果,很难使读取处理赶上解码处理,所以很难可靠持续进行无缝再现。
图17(b)是表示在邻接的基视数据块和从属视数据块之间视频流的再现时间相等时的再现路径的示意图。在本发明的实施方式1的记录介质100上,如图17(b)所示,在邻接的一对数据块之间,视频流的再现时间相等。例如,在开头的基视数据块B[0]和从属视数据块D[0]的对中,视频流的再现时间均等于1秒,在第二个数据块的对B[1]、D[1]中,视频流的再现时间均等于0.7秒。此时,再现装置200在再现3D影像时,如图17(b)的箭头1820所示,从开头依次读取数据块B[0]、D[0]、B[1]、D[1]、...。仅通过上述动作,再现装置200能够顺利实现每相同再现时间交替读取主TS和子TS。尤其是,在该读取处理中,由于不产生跳跃,所以能够可靠且持续地进行3D影像的无缝再现。
此外,若在邻接的基视数据块和从属视数据块之间区段ATC时间相等,则在这些数据块之间再现期间也可以不一致,进而视频流的再现时间也可以不相等。此时,与图17(b)所示同样,再现装置200仅通过从开头起依次读取数据块组,就能够顺利实现主TS和子TS的交替读取。尤其是,在该读取处理中,由于不产生跳跃,所以能够可靠地且持续地进行3D影像的无缝再现。
此外,如图17(c)所示,也可以使得基视数据块和从属视数据块的所有区段的区段ATC时间相同。通过这样构成,复用流的区段大小的决定方法与图17(b)所示的方式相比变容易,所以能够容易制作数据。此外,若将该固定的区段ATC时间设定为后述的最小区段大小的区段ATC时间,则能够使得2D/3D再现装置中所需的读取缓冲器的大小变小。
<针对数据块的AV流文件的交差连接>
在记录介质100的文件系统中,属于复用流数据的各数据块能够作为文件2D或文件DEP内的1个区段而被存取。即,能够根据文件2D或文件DEP的文件入口中所记录的配置描述符,知道各数据块的逻辑地址。在图15所示的例中,包含在文件2D(01000.m2ts)的文件入口161中的配置描述符#1、#2、#3、...,表示基视数据块L1、L2、L3、...的各大小和其前端的LBN。第一文件DEP(02000.m2ts)的文件入口1620中所包含的配置描述符#1、#2、#3、...,表示右视数据块R1、R2、R3、...的各大小和其前端的LBN。第二文件DEP(03000.m2ts)的文件入口1630中所包含的配置描述符#1、#2、#3、...,表示深度图数据块D1、D2、D3、...的各大小和其前端的LBN。
图18(a)是表示文件2D(01000.m2ts)的数据结构的示意图。如图15所示,文件入口1610内的配置描述符#1、#2、#3、...参照基视数据块L1、L2、L3、...。因此,如图18(a)所示,能够将各基视数据块L1、L2、L3、...作为文件2D的区段EXT2D[0]、EXT2D[1]、EXT2D[2]、...进行存取。下面,将属于文件2D的区段EXT2D[0]、EXT2D[1]、EXT2D[2]、...,称作“2D区段”。
图18(b)是示出第一文件DEP(02000.m2ts)的数据结构的示意图。如图15所示,文件入口1620内的配置描述符#1、#2、#3、...参照右视数据块 R1、R2、R3、...。因此,如图18(b)所示,能够将各右视数据块R1、R2、R3、...作为第一文件DEP的区段EXT2[0]、EXT2[1]、EXT2[2]、...进行存取。下面,将属于作为右视流文件的文件DEP的区段EXT2[0]、EXT2[1]、EXT2[2]、...,称作“右视区段”。
图18(c)是示出第二文件DEP(03000.m2ts)的数据结构的示意图。如图15所示,文件入口1630内的配置描述符#1、#2、#3、...参照深度图数据块D1、D2、D3、...。因此,如图18(c)所示,能够将各深度图数据块D1、D2、D3、...作为第二文件DEP的区段EXT3[0]、EXT3[1]、EXT3[2]、...进行存取。下面,将属于作为深度图流文件的文件DEP的区段EXT3[0]、EXT3[1]、EXT3[2]、...称作“深度图区段”。并且,将如右视区段和深度图区段那样属于某个文件DEP的区段总称为“从属视区段”。
对于图15所示的数据块组,如下所示实现AV流文件的交差连接。包含在第一文件SS(01000.ssif)的文件入口1640中的配置描述符#1、#2、#3、...,将邻接的右视数据块和基视数据块的对R1+L1、R2+L2、R3+L3、...分别看作为1个区段,表示各大小和其前端的LBN。第二文件SS(02000.ssif)的文件入口1650中所包含的配置描述符#1、#2、#3、...交替地表示深度图数据块D1、D2、D3、...和基视数据块L1、L2、L3、...的各大小和其前端的LBN。
图18(d)是示出第一文件SS(01000.ssif)的数据结构的示意图。如图15所示,文件入口1640内的配置描述符#1、#2、#3、...参照邻接的右视数据块和基视数据块的对R1+L1、R2+L2、R3+L3、...。因此,如图18(d)所示,能够将邻接的数据块的各对R1+L1、R2+L2、R3+L3、...作为第一文件SS的区段EXTSS[0]、EXTSS[1]、EXTSS[2]、...进行存取。下面,将属于文件SS的区段EXTSS[0]、EXTSS[1]、EXTSS[2]、...称作“3D区段”。各3D区段EXTSS[n](n=0,1,2,...)与文件2D共用基视数据块Ln,与第一文件DEP共用右视数据块Rn。
图18(e)是示出第二文件SS(02000.ssif)的数据结构的示意图。如图15所示,文件入口1650内的配置描述符#1、#2、#3、...交替地参照深度图数据块D1、D2、D3、...和基视数据块L1、L2、L3、...。因此,如图18(e)所示,能够将各数据块D1、L1、D2、L2、...作为第二文件SS的区段 EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]、...进行存取。第二文件SS的各区段与文件2D共用基视数据块Ln,与第二文件DEP共用深度图数据块Dn。
<对交织配置的数据块组的再现路径>
图19是示出在2D再现模式下对图15所示的数据块组的再现路径1901、L/R模式下对图15所示的数据块组的再现路径1902及深度模式下对图15所示的数据块组的再现路径1903的示意图。
再现装置200在2D再现模式下再现文件2D。因此,如2D再现模式下的再现路径1901所示,依次读取基视数据块L1、L2、L3,作为2D区段EXT2D[0]、EXT2D[1]、EXT2D[2]。即,首先,读取开头的基视数据块L1,但紧之后的深度图数据块D2和右视数据块R2的读取被最初的跳跃J2D1跳过。接着,读取第二个基视数据块L2,紧之后的深度图数据块D3和右视数据块R3的读取被第二次跳跃J2D2跳过。接着,读取第三个基视数据块L3。
再现装置200在L/R模式下再现第一文件SS。因此,如L/R模式下的再现路径1902所示,依次读取邻接的右视数据块和基视数据块的对R1+L1、R2+L2、R3+L3,作为3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]。即,首先,连续读取开头的右视数据块R1和其紧后面的基视数据块L1,其紧后面的深度图数据块D2的读取被最初的跳跃JLR1跳过。接着,连续读取第二个右视数据块R2和其紧后面的基视数据块L2,其紧后面的深度图数据块D3的读取被第二次跳跃JLR2跳过。接着,连续读取第三个右视数据块R3和其紧后面的基视数据块L3。
再现装置200在深度模式下再现第二文件SS。因此,如深度模式下的再现路径1903所示,交替读取深度图数据块D1、D2、D3和基视数据块L1、L2,作为第二文件SS的区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]。即,首先,读取开头的深度图数据块D1,其紧后面的右视数据块R1的读取被最初的跳跃JLD1跳过。接着,读取开头的基视数据块L1,接着读取其紧后面的深度图区段D2。进一步,其紧后面的右视区段R2的读取被第二次跳跃JLD2跳过,读取第二个基视数据块L2。
如图19的各再现路径1901-1903所示,在数据块组以交织配置被记录的区域,再现装置200只要实质上从开头起依次读取其数据块组就可以。在此,在其读取处理的中途发生跳跃。但是,各跳跃的距离不同于图16(a)所示的距离,充分短于主TS和子TS的任一个的全长。此外,任一个跳跃都不同于图17(a)所示的跳跃,不会在1个数据块的读取中途发生。并且,在区段ATC时间相等的基视数据块和从属视数据块的各对中,先读取大小比较小的从属视数据块。因此,与先读取大小比较大的从属视数据块的情况相比,再现装置200能够减少读取缓冲器的容量。
再现装置200在L/R模式下读取数据块组,作为第一文件SS的区段组。即,再现装置200从第一文件SS的文件入口1640内的配置描述符#1、#2、...读取各3D区段EXTSS[0]、EXTSS[1]、...的前端的LBN及其大小,并传给BD-ROM驱动器121。BD-ROM驱动器121从该LBN连续读取其大小的数据。这些处理与将数据块组读取作为第一文件DEP和文件2D的各区段的处理相比,BD-ROM驱动器121的控制在如下二点(A)、(B)上较简单:(A)再现装置200只要利用1处的文件入口依次参照区段就可以;(B)读取对象的区段的总数实质上减半,所以应传递给BD-ROM驱动器的LBN和大小的对的总数较少。优点(A)还表现在深度模式下将数据块组作为第二文件SS的区域来读取的处理中。但是,再现装置200在读取3D区段EXTSS[0]、EXTSS[1]、...之后,必需将它们分别分离为右视数据块和基视数据块后传送给解码器。在该分离处理中使用片段信息文件。这将在后面详细说明。
<长跳跃>
一般而言,在作为记录介质而采用光盘时,将如下操作称作“跳跃”,即,用于使光拾取器暂时停止读取动作,在此期间将光拾取器定位到下一读取对象区域上。
在跳跃中,除了使光盘的转速上下的操作之外,还有轨道跳跃及焦点跳跃。轨道跳跃是指使光拾取器在盘的半径方向上移动的操作。焦点跳跃是指在光盘为多层盘时使光拾取器的焦点从1个记录层向别的记录层移动的操作。一般这些跳跃的寻道时间较长,并且,由于跳跃而读取被跳过的扇区数较多,所以特别叫做“长跳跃”。在跳跃期间,光拾取器的读取操作停止。
将在跳跃期间读取操作被跳过的记录介质100上的区域的长度称作“跳跃距离”。跳跃距离通常用该部分的扇区数来表示。具体而言,上述的长跳跃被定义为跳跃距离超过规定阈值的跳跃。例如,在BD-ROM标准中,其阈值根据盘的种类及与驱动器的读取处理有关的性能而被规定为40000扇区。
作为产生长跳跃的情形的代表,除了在主TS和子TS跨过记录层的边界来被记录的情况,以及主TS和子TS在它们之间夹着别的数据而被记录的情形之外,还有在播放项目之间存在有1比n的多重连接的情形。
<在长跳跃前后的复用流数据的配置>
在记录介质100中,一系列的主TS和子TS被分离在需要长跳跃的位置的前后时,这些数据块组被记录为下述的5种配置1-5中的任一种。并且,在对这些数据块组的存取中利用AV流文件的交差连接。由此,如后所述,再现装置200在将读取缓冲器的容量维持在必要最小限度的状态下,能够容易地实现长跳跃中的影像的无缝再现。
下面,将记录层的边界作为需要长跳跃的位置的例子,关于数据块组分开配置在需要长跳跃的位置的前后时的数据配置方法,说明其数据结构。
[配置1]
图20是示出记录在记录介质100的层边界前后的数据块组的物理配置的第一例的示意图。该图所示的数据配置是在需要长跳跃的位置的前后分离的主TS和子TS的播放项目彼此无缝地连接时有利的数据配置方法。在该图中,数据块组属于包含左视视频流的主TS、包含右视视频流的子TS以及包含深度图流的子TS。如图20所示,在位于层边界LB的前面的第一记录层中,以交织配置记录有深度图数据块组...、D0、D1、右视数据块组...、R0、R1、以及基视数据块组...、L0、L1。下面,将这些数据块组称作“第一3D区段块”2001。此外,接续于第一3D区段块2001的后端L1之后配置了基视数据块L22D、L32D。并且,在基视数据块L32D和层边界LB之间,以交织配置记录有深度图数据块组D2、D3、右视数据块组R2、R3、以及基视数据块组...、L2SS、L3SS。下面,将这些数据块组称作“第二3D区段块”2002。
另一方面,在位于层边界LB之后的第二记录层中,以交织配置记录有深度图数据块组D4、...、右视数据块组R4、...、以及基视数据块组L4、...。下面,将这些数据块组称作“第三3D区段块”2003。
各3D区段块2001、2002、2003的交织配置与图15所示的配置相同。即,深度图数据块、右视数据块及基视数据块按照该记述顺序交替排列。并且,在三个连续的数据块Dn、Rn、Ln(n=...,1,2,3,4,...)之间,区段ATC时间相等。在位于第一3D区段块2001的后端的三个数据块D1、R1、L1和位于第二3D区段块2002的前端的三个数据块D2、R2、L2SS之间,各流数据的内容连续。
位于第一3D区段块2001和第二3D区段块2002之间的基视数据块L22D,与第二3D区段块2002的基视数据块L2SS以比特为单位(bit-for-bit)保持一致。同样,基视数据块L32D与第二3D区段块2002的基视数据块L3SS以比特为单位保持一致。即,数据块组L22D、L32D和数据块组L2SS、L3SS中的一个是另一个的复制数据。下面,将前者L22D、L32D称作“2D再现专用块”,将后者L2SS、L3SS称作“3D再现专用块”。
能够将图20所示的各数据块中除了3D再现专用块L2SS、L3SS之外的数据块作为文件2D或文件DEP的某个的区段进行存取。例如,在第一文件2D(01000.m2ts)的文件入口2010中,配置描述符#1表示从第一3D区段块2001内的最后起倒数第二个基视数据块L0的大小和其前端的LBN。因此,能够将该基视数据块L0作为第一文件2D的1个2D区段EXT2D[0]进行存取。将由第一3D区段块2001内的最后的基视数据块L1和其紧后面连续的2D再现专用块组L22D、L32D构成的基视数据块的一组L1+L22D+L32D看作单一的区段,配置描述符#2表示其大小和其前端的LBN。因此,能够将该基视数据块的一组L1+L22D+L32D作为第一文件2D的单一的2D区段EXT2D[1]进行存取。这些文件2D中的基视数据块L1、L22D、L32D构成在产生长跳跃的位置的紧之前连续长度较大的区段(大区段)。文件2D能够在长跳跃的紧前面形成大区段,所以即使在2D再现模式下进行再现的情况下,也不需要担心读取缓冲器的下溢。在下面的说明中,将作为在文件2D的再现中在跨过层边界LB的长跳跃的紧前面被存取的区段的2D区段EXT2D[1],称作“即将跳跃之前2D区段”。
在第二文件2D(01001.m2ts)的文件入口2011中,配置描述符#1表示第三3D区段块2003内的基视数据块L4的大小和其前端的LBN。因此,能够将该基视数据块L4作为第二文件2D的1个2D区段EXT2D[2]进行存取。
对于图20所示的数据块组,也与图15所示的方式同样地实现AV流文件的交差连接。尤其是,在第一文件SS(01000.ssif)的文件入口2020中,将邻接的右视数据块和基视数据块的对R0+L0、R1+L1、R2+L2SS、R3+L3SS分别看作1个区段,配置描述符#1、#2、#3、#4表示各大小和其前端的LBN。因此,能够将邻接的数据块的各对R0+L0、R1+L1、R2+L2SS、R3+L3SS,作为第一文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]进行存取。其中的EXTSS[2]、EXTSS[3]是构成在文件SS的再现中在跨过层边界LB的长跳跃的紧前面被存取的第二3D区段块2002的区段组,下面称作“即将跳跃之前3D区段组”。此外,在第二文件SS(01001.ssif)的文件入口2021中,将邻接的右视数据块和基视数据块的对R4+L4看作1个区段,配置描述符#1表示大小和其前端的LBN。因此,能够将邻接的数据块的对R4+L4作为第二文件SS的3D区段EXTSS[4]进行存取。
在此,除了位于2D再现专用块L32D和层边界LB之间的3D区段EXTSS[2]、EXTSS[3]之外,3D区段EXTSS[0]、EXTSS[1]及EXTSS[4]分别与文件2D共用基视数据块...、L0、L1、L4。另一方面,2D再现专用块L22D、L32D是只能作为文件2D中的层边界LB紧前面的2D区段EXT2D[1]的一部分被存取的、文件2D所固有的基视数据块。并且,3D再现专用块L2SS、L3SS是只能作为文件SS中的层边界LB紧前面的3D区段EXTSS[2]的一部分被存取的、文件SS固有的基视数据块。
在图20中,2D播放列表及3D播放列表均包含无缝地连接的两个播放项目#1、#2。在此,将无缝地连接的播放项目的连接源播放项目称作“前方播放项目”,将连接目的地播放项目称作“后方播放项目”。首先,对2D播放列表和3D播放列表的各前方播放项目所参照的数据进行说明。2D播放列表的前方播放项目参照第一文件2D。3D播放列表的前方播放项目参照第一文件SS,从与3D播放列表的前方播放项目同步地再现的子播放项目参照文件DEP。如上所述,在第一文件2D的2D区段EXT2D[0]、EXT2D[1]和在第一文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3] 中所参照的基视数据块的内容是相同的。由此,在2D播放列表的再现中,在播放项目的无缝连接地点再现基视数据块L1、L22D、L32D,在3D播放列表的再现中,在播放项目的无缝连接地点再现相同内容的L1、L2SS、L3SS。因此,在基于2D播放列表的2D再现中和基于3D播放列表的3D再现中,虽然再现路径(所再现的逻辑地址)不同,但是能够再现相同的左视视频帧。
接着,对各后方播放项目所参照的数据进行说明。2D播放列表的后方播放项目参照第二文件2D。3D播放列表的后方播放项目参照第二文件SS,从与3D播放项目的后方播放项目同步地再现的子播放项目参照文件DEP。如该图所示,第二文件2D和第二文件SS将相同的基视数据块L4用作实体。
在此,将从2D播放列表的前方播放项目所参照的即将跳跃之前2D区段EXT2D[1]的终端起到后方播放项目所参照的2D区段EXT2D[2]的开头为止的距离,设定为根据2D再现装置的跳跃性能而按规定标准决定的最大跳跃距离以下。此外,将3D播放列表的前方播放项目所参照的即将跳跃之前3D区段块2002和后方播放项目所参照的3D区段块2003之间的跳跃距离,设定为根据2D/3D再现装置的跳跃性能而按规定标准决定的最大跳跃距离以下。
图21是示出针对图20所示的数据块组的、在2D再现模式下的再现路径、L/R模式下的再现路径及深度模式下的再现路径的示意图。
再现装置200在2D再现模式下再现文件2D。因此,读取基视数据块L0,作为最初的2D区段EXT2D[0];并且连续读取基视数据块L1和其紧后面的2D再现专用块L22D、L32D,作为第二个2D区段EXT2D[1];在长跳跃之后,读取基视数据块L4,作为第三个2D区段EXT2D[2]。
再现装置200在L/R模式下再现第一文件SS。因此,如L/R模式下的再现路径所示,读取右视数据块R0和其紧后面的基视数据块L0的对R0+L0,作为最初的3D区段EXTSS[0];读取右视数据块R1和其紧后面的基视数据块L1,作为第二个3D区段EXTSS[1];读取右视数据块R2和其紧后面的3D再现专用块L2SS,作为第三个3D区段EXTSS[2];读取右视数据块R3和其紧后面的3D再现专用块L3SS,作为第四个3D区段 EXTSS[3];在长跳跃之后,读取右视数据块R4和其紧后面的基视数据块L4,作为第五个3D区段EXTSS[4]。
如图21所示,在2D再现模式下,读取2D再现专用块L22D、L32D,而3D再现专用块L2SS、L3SS的读取则被跳过。反之,在L/R模式下,2D再现专用块L22D、L32D的读取被跳过,而读取3D再现专用块L2SS、L3SS。但是,数据块L22D、L2SS以比特为单位保持一致,数据块L32D、L3SS也以比特为单位保持一致,所以无论在哪个再现模式下所再现的左视视频帧相等。这样,在配置1中,在长跳跃JLY之前,2D再现模式下的再现路径和L/R模式下的再现路径分离。关于深度模式也同样。
[配置1的优点]
图22是表示以交织配置记录在某个BD-ROM盘的层边界前后的数据块组和各再现模式下对该数据块组的再现路径的示意图。参照图22,与图20所示的配置1同样,深度图数据块组...、D1、D2、右视数据块组...、R1、R2、以及基视数据块组...、L1、L2以交织配置记录在第一记录层上,构成第一3D区段块2301。另一方面,深度图数据块组D3、...,右视数据块组R3、...,以及基视数据块组L3、...以交织配置记录在第二记录层上,构成第二3D区段块2302。各3D区段块2301、2302的交织配置与图20所示的2001、2002相同。并且,在位于第一3D区段块2301的后端的三个数据块D2、R2、L2和位于第二3D区段块2302的前端的三个数据块D3、R3、L3之间,各流数据的内容连续。
图22所示的数据块组与图20所示的数据块组不同,在层边界LB紧前面不包含2D再现专用块Ln2D和3D再现专用块LnSS。因此,如下所示,2D再现模式下的再现路径2310和L/R模式下的再现路径2311在长跳跃JLY紧前面没有分离,均通过相同的基视数据块L2。
能够将图22所示的基视数据块L1-L3都作为文件2D的1个区段EXT2D[0]-EXT2D[2]进行存取。另一方面,能够将邻接的右视数据块和基视数据块的各对R1+L1、R2+L2、R3+L3作为文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]进行存取。无论哪个3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]都与文件2D分别共用基视数据块L1、L2、L3。
2D再现模式的再现装置200再现文件2D。因此,如2D再现模式下的再现路径2310所示,首先,读取从第一3D区段块2301内的最后起倒数第二个基视数据块L1作为最初的2D区段EXT2D[0],而其紧后面的深度图数据块D2和右视数据块R2的读取则被最初的跳跃J2D 1跳过。接着,读取第一3D区段块2301内的最后的基视数据块L2作为第二个2D区段EXT2D[1]。在其紧后面的层边界LB,产生长跳跃JLY,在执行焦点跳跃的同时,位于第二3D区段块2302的前端的2个数据块D3、R3的读取被跳过。接着,读取第二3D区段块2302内的开头的基视数据块L3,作为第三个2D区段EXT2D[2]。
L/R模式的再现装置200再现文件SS。因此,如L/R模式下的再现路径2311所示,首先,连续读取开头的右视数据块R1和其紧后面的基视数据块L1的对R1+L1,作为最初的3D区段EXTSS[0],其紧后面的深度图数据块D2的读取则被最初的跳跃JLR1跳过。接着,连续读取第二个右视数据块R2和其紧后面的基视数据块L2,作为第二个3D区段EXTSS[1]。在其紧后面产生长跳跃JLY,在执行焦点跳跃的同时,第二3D区段块2302内的开头的深度图数据块D3的读取被跳过。接着,连续读取第二3D区段块2302内的开头的右视数据块R3和其紧后面的基视数据块L3,作为第三个3D区段EXTSS[2]。
如上所述,在图22所示的数据块组中,与图20所示的方式不同,2D再现模式下的再现路径2310和L/R模式下的再现路径2311均在长跳跃JLY紧前面通过相同的基视数据块L2。在此,在长跳跃JLY的期间,BD-ROM驱动器121停止读取处理,系统目标解码器继续进行存储在读取缓冲器中的流数据的解码处理。因此,为了使再现装置200在长跳跃JLY的前后无缝地再现影像,必需防止长跳跃JLY的期间的缓冲器下溢。
在L/R模式中,在第一3D区段块2301被解码的期间,在读取缓冲器中存储一定量的数据。将该一定量的数据称作“缓冲器余量”(将在后面进行详细说明)。在长跳跃JLY的期间,除了在紧前面被读取的3D区段EXTSS[1]即右视数据块R2和基视数据块L2之外,其缓冲器余量的数据被解码。因此,为了在L/R模式下防止缓冲器下溢,只要缓冲器余量充分大即可。另 一方面,各数据块R2、L2的大小只要是到长跳跃JLY紧前面为止能够维持缓冲器余量的值Smin2、Smin1就可以。
但是,为了在2D再现模式下防止缓冲器下溢,2D区段EXT2D[1]即基视数据块L2的大小Sext2D[1]必需满足下面的条件:是在从开始读取2D区段EXT2D[1]起到长跳跃JLY结束为止的期间从读取缓冲器传送到系统目标解码器的数据量以上。如图22所示,满足该条件的大小S ext2D[1]一般比L/R模式下的无缝再现中所必需的最小限的大小Smin1大。因此,L/R模式的再现装置200内应确保的读取缓冲器的容量必需比L/R模式下的无缝再现中所必需的最小限度的值大。并且,右视数据块R2和基视数据块L2的区段ATC时间必需相等。因此,右视数据块R2的大小Sext2[1]一般比L/R模式下的无缝再现中所必需的最小限度的值Smin2大。因此,在L/R模式下的再现装置200内应确保的读取缓冲器的容量必须还要比在L/R模式下的无缝再现中所必需的最小限度的值大。其结果,在图22所示的配置中,很难进一步削减L/R模式的再现装置200内应确保的读取缓冲器的容量。
相对于此,在图21所示的配置1中,如上所述,在长跳跃JLY的前面,在2D再现模式下的再现路径和在L/R模式下的再现路径分离。因此,不同于图22所示的配置,能够分别如下确定位于层边界LB前面的即将跳跃之前2D区段EXT2D[1]的大小Sext2D[1]和其紧前面的右视数据块R1的大小Sext2[1]。
首先,即将跳跃之前2D区段EXT2D[1]的大小Sext2D[1],等于基视数据块L1的大小Sext1[1]、2D再现专用块L22D的大小S2D[2]以及2D再现专用块L32D的大小S2D[3]之和Sext1[1]+S2D[2]+S2D[3]。因此,在实现2D再现模式下的无缝再现时,其和Sext1[1]+S2D[2]+S2D[3]只要是在开始读取即将跳跃之前2D区段EXT2D[1]起到长跳跃JLY结束为止的期间从读取缓冲器传送到系统目标解码器的数据量以上就可以。在此,在即将跳跃之前2D区段EXT2D[1]中,与3D区段EXTSS[1]共用的只有位于区段开头的基视数据块L1。因此,通过适大扩大2D再现专用块L22D的大小S2D[2]和2D再现专用块L32D的大小S2D[3],能够在使即将跳跃之前2D区段EXT2D[1]的大小Sext2D[1]=Sext1[1]+S2D[2]+S2D[3]维持一定的状态下,将基视数据块 L1的大小Sext1[1]限制为更小。随之,能够将区段ATC时间与基视数据块L1相等的右视数据块R1的大小Sext2[1]也限制为更小。
另一方面,属于位于层边界LB紧前面的即将跳跃之前3D区段块2002的右视数据块R2、R3和基视数据块L2SS、L3SS的各大小Sext2[2]、Sext2[3]、Sext1[2]、Sext1[3],只要是能够在长跳跃JLY紧前面为止维持缓冲器余量的程度的值就可以。在此,3D再现专用块L2SS是2D再现专用块L22D的复制数据,3D再现专用块L3SS是2D再现专用块L32D的复制数据,所以2D再现专用块L32D的大小S2D的扩大使位于3D再现专用块L3SS紧前面的右视数据块R3的大小扩大。但是,其大小能够比图22所示的位于层边界LB紧前面的右视数据块R3的大小充分小。这样,能够使得L/R模式下的再现装置200内应确保的读取缓冲器的容量,更接近L/R模式下的无缝再现中所必需的最小限度的值。
这样,在配置1中,能够在将再现装置200内应确保的读取缓冲器的容量限制在必要最小限度的状态下,将各数据块的大小设计成能够在2D再现模式和L/R模式双方实现长跳跃中的影像的无缝再现的大小。
以上,在配置1中,能够在产生长跳跃的地点,分离为2D再现模式下的再现路径和L/R模式下的再现路径,所以即将跳跃之前3D区段块的终端EXT1[3]的大小能够免受用于在2D再现模式下防止缓冲器下溢的条件的影响。
此外,在图20的说明中,作为需要长跳跃的位置而举例了层边界,但在进行1比n的播放项目的多重连接时也能够产生长跳跃。在进行1比n的播放项目的多重连接的情况下,能够将构成n个播放项目的n个TS中的第一个TS配置在构成其紧前面的播放项目的TS的紧后面。但是,第二个以后的TS则不能配置在构成其紧前面的播放项目的TS的紧后面。在存在1比n的多重连接的情况下,在从紧前面的播放项目向n个播放项目的第二个项目以后的播放项目跳跃的情况下,其跳跃需要跳过一个以上的TS的记录区域,因此,在存在1比n的播放项目的多重连接的地方产生长跳跃。在伴随这样的1比n的播放项目多重连接的长跳跃中也能够应用配置1。具体而言,如图23所示,关于2D播放列表及3D播放列表中的任一个,都将由作为前方播放项目即播放项目#1参照的数据集中而全部配置,其后配 置n个后方播放项目所参照的数据。此时,与图20所示的配置同样,对于前方播放项目,在2D播放列表和3D播放列表中分离再现路径来配置数据,即将跳跃之前3D区段块的终端EXT1[3]的大小能够免受用于防止2D再现模式下的缓冲器下溢的条件的影响。
以上,通过使用配置1,能够制作从前方播放项目向多个播放项目分支而无缝地连接的多重连接的数据。
[配置2]
图24是示出在记录介质100的层边界前后记录的数据块组的物理配置的第二例的示意图。这些数据块组属于包含左视视频流的主TS、包含右视视频流的子TS以及包含深度图流的子TS。下面,将该配置称作“配置2”。若将图24与图20进行比较,在以下两点上不同于配置1:与第一3D区段块2001连续地配置了第二3D区段块2002这一点;以及,与3D区段块2002的后端L3SS连续地配置2D再现专用块组L12D、L22D、L32D,由此能够连续作为1个2D区段EXT2D[1]被存取这一点。关于其他特征,由于配置2与配置1相同,所以关于其详细说明,援引对配置2的说明。
位于层边界LB紧前面的2D再现专用块组L12D、L22D、L32D和第二3D区段块2002内的3D再现专用块组L1SS、L2SS、L3SS以比特为单位保持一致。即,2D再现专用块组L12D、L22D、L32D和3D再现专用块组L1SS、L2SS、L3SS中的一方是另一方的复制数据。
能够将图24所示的各数据块中的除了3D再现专用块L1SS、L2SS、L3SS之外的数据块,作为文件2D或文件DEP中的某个的区段进行存取。例如,在第一文件2D的文件入口2010中,配置描述符#1表示第一3D区段块2001内的最后的基视数据块L0的大小和其前端的LBN。因此,能够将该基视数据块L1作为1个2D区段EXT2D[0]进行存取。将由2D再现专用块L12D、L22D、L32D构成的基视数据块的一组L12D+L22D+L32D看作单一的区段,配置描述符#2表示其合计大小和其前端的LBN。因此,能够将2D再现专用块组L12D、L22D、L32D作为下一2D区段EXT2D[1]进行存取。该文件2D中的基视数据块L12D、L22D、L32D在产生长跳跃的地方的紧前面,构成连续长度较大的区段。文件2D能够在长跳跃的紧前面形成大区段,所以在2D再现模式下进行再现的情况下,也不用担心读取缓冲器的下溢。此外, 在第二文件2D的文件入口2011中,配置描述符#1表示第三3D区段块2003内的最初的基视数据块L4的大小和其前端的LBN。因此,能够将该基视数据块L4作为第二文件2D的1个2D区段EXT2D[2]进行存取。
在第一文件SS的文件入口2020中,将邻接的右视数据块和基视数据块的对R0+L0、R1+L1SS、R2+L2SS、R3+L3SS分别看作1个区段,配置描述符#1、#2、#3、#4表示各大小和其前端的LBN。因此,能够将邻接的数据块的各对R0+L0、...、R3+L3SS作为第一文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]进行存取。此外,在第二文件SS的文件入口2021中,将邻接的右视数据块和基视数据块的对R4+L4看作1个区段,配置描述符#1表示大小和其前端的LBN。因此,能够将邻接的数据块的对R4+L4,作为第二文件SS的3D区段EXTSS[4]进行存取。
在此,2D再现专用块L12D、L22D、L32D是只能作为文件2D中的层边界LB紧前面的2D区段EXT2D[1]被存取的、文件2D固有的基视数据块,各3D再现专用块L1SS、L2SS、L3SS是只能作为3D区段EXTSS[1]、EXTSS[2]、EXTSS[3]的一部分被存取的、文件SS固有的基视数据块。
在图24中,2D播放列表及3D播放列表均包含无缝地连接的两个播放项目#1、#2。首先,对2D播放列表和3D播放列表的各前方播放项目所参照的数据进行说明。2D播放列表的前方播放项目参照第一文件2D。3D播放列表的前方播放项目参照第一文件SS,从与3D播放列表的前方播放项目同步再现的子播放项目参照文件DEP。如上所述,第一文件2D的2D区段EXT2D[0]、EXT2D[1]和第一文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]的内容相同。由此,在2D播放列表的再现中,在播放项目的无缝连接地点再现基视数据块L12D、L22D、L32D,在3D播放列表的再现中,在播放项目的无缝连接地点再现相同内容的L1SS、L2SS、L3SS。因此,在基于2D播放列表的2D再现和基于3D播放列表的3D再现中,虽然再现路径不同,但是能够再现相同的数据。
接着,对各后方播放项目所参照的数据进行说明。2D播放列表的后方播放项目参照第二文件2D。3D播放列表的后方播放项目参照第二文件SS,与3D播放项目的后方播放项目同步再现的子播放项目参照文件DEP。如该图所示,第二文件2D和第二文件SS把相同的基视数据块L4用作实体。
在此,将2D播放列表的前方播放项目所参照的2D区段EXT2D[0]的终端起到即将跳跃之前2D区段EXT2D[1]开头为止的距离,以及2D播放列表的前方播放项目所参照的即将跳跃之前2D区段EXT2D[1]的终端起到被后方播放项目参照的2D区段EXT2D[2]开头为止的距离,设定为根据2D再现装置的跳跃性能而按规定标准决定的最大跳跃距离以下。此外,将3D播放列表的前方播放项目所参照的即将跳跃之前3D区段块2002和后方播放项目所参照的3D区段块2003之间的跳跃距离,设定为根据2D/3D再现装置的跳跃性能而按规定标准决定的最大跳跃距离以下。
图25是示出针对图24所示的数据块组的、在2D再现模式下的再现路径、L/R模式下的再现路径以及深度模式下的再现路径的示意图。
再现装置200在2D再现模式下再现文件2D。因此,读取基视数据块L0,作为最初的2D区段EXT2D[0];连续读取2D再现专用块L12D、L22D、L32D,作为第二个2D区段EXT2D[1];在长跳跃之后,读取基视数据块L4,作为第三个2D区段EXT2D[2]。
再现装置200在L/R模式下再现第一文件SS。因此,如L/R模式下的再现路径所示,读取右视数据块R0和其紧后面的基视数据块L0的对R0+L0,作为最初的3D区段EXTSS[0];读取右视数据块R1和其紧之后的3D再现专用块L1SS,作为第二个3D区段EXTSS[1];读取右视数据块R2和其紧之后的3D再现专用块L2SS,作为第三个3D区段EXTSS[2];读取右视数据块R3和其紧之后的3D再现专用块L3SS,作为第四个3D区段EXTSS[3];在长跳跃之后,读取右视数据块R4和其紧之后的3D再现专用块L4,作为第五个3D区段EXTSS[4]。
如图24所示,在2D再现模式下,读取2D再现专用块L12D、L22D、L32D,而3D再现专用块L1SS、L2SS、L3SS的读取被跳过。反之,在L/R模式下,2D再现专用块L12D、L22D、L32D的读取被跳过,而3D再现专用块L1SS、L2SS、L3SS被读取。但是,数据块L12D、L22D、L32D和L1SS、L2SS、L3SS以比特为单位保持一致,所以在任一个再现模式下,被再现的左视视频帧都相等。这样,在配置2中,在长跳跃JLY之前,2D再现模式下的再现路径和L/R模式下的再现路径分离。在深度模式下也同样。
即将跳跃之前2D区段EXT2D[1]的大小Sext2D[1]等于2D再现专用块L12D的大小S2D[2]、2D再现专用块L22D的大小S2D[2]、以及2D再现专用块L32D的大小S2D[3]之和S2D[1]+S2D[2]+S2D[3]。因此,在实现2D再现模式下的无缝再现时,该和S2D[1]+S2D[2]+S2D[3]只要是在从即将跳跃之前2D区段EXT2D[1]的读取开始起到长跳跃JLY结束为止的期间从读取缓冲器向系统目标解码器传送的数据量以上就可以。此外,属于位于2D再现专用块L12D紧前面的即将跳跃之前3D区段块2002的右视数据块R1、R2、R3和基视数据块L1SS、L2SS、L3SS的各大小Sext2[1]、Sext2[2]、Sext2[3]、Sext1[1]、Sext1[2]、Sext1[3],只要是在长跳跃JLY紧前面为止能够维持缓冲器余量的程度的值就可以。
在此,3D再现专用块L1SS是2D再现专用块L12D的复制数据,3D再现专用块L2SS是2D再现专用块L22D的复制数据,3D再现专用块L3SS是2D再现专用块L32D的复制数据,所以2D再现专用块L12D、L22D、L32D的合计大小S2D[1]+S2D[2]+S2D[3]的扩大使位于各3D再现专用块L1SS、L2SS、L3SS紧前面的右视数据块R1、R2、R3的大小扩大。但是,由于3D再现专用块被分割为三个L1SS、L2SS、L3SS地与右视数据块成对,所以右视数据块R1、R2、R3的各大小能够充分小于图22所示的位于层边界LB紧前面的右视数据块R2的大小。这样,L/R模式的再现装置200内应确保的读取缓冲器的容量能够进一步削减到在L/R模式下的无缝再现中所必需的最小限度的值。
这样,在配置2中,能够在将再现装置200内应确保的读取缓冲器的容量限制在必要最小限度的状态下,将各数据块的大小设计成能够在2D再现模式和L/R模式双方实现长跳跃中的影像的无缝再现的大小。
以上,在配置2中,能够在产生长跳跃的地点分离为2D再现模式下的再现路径和L/R模式下的再现路径,所以即将跳跃之前3D区段块的终端EXT1[3]的大小能够免受用于防止在2D再现模式下缓冲器下溢的条件的影响。
此外,在图24的说明中,作为需要长跳跃的位置而举例了层边界,但是配置2也能够应用于伴随1比n的播放项目多重连接的长跳跃中。具体而言,关于前方播放项目,与图24所示的配置同样,在2D播放列表和3D 播放列表中分离再现路径来配置数据,在其后依次配置n个后方播放项目所参照的数据,由此能够制作从前方播放项目分支为多个播放项目来无缝地连接的多重连接的数据。
[配置3]
图26是示出在记录介质100的层边界前后记录的数据块组的物理配置的第三例的示意图。这些数据块组属于包含左视视频流的主TS、包含右视视频流的子TS以及包含深度图流的子TS。下面,将该配置称作“配置3”。将图26与图20进行比较,配置1与配置2的不同点只在于,即将跳跃之前3D区段块2002被置换为即将跳跃之前3D区段块2004。关于其他特征,由于配置2与配置1相同,所以对于其详细内容的说明,援引对配置2的说明。
即将跳跃之前3D区段块2004中的交织配置与其它3D区段块的交织配置相比,深度图数据块和右视数据块的配置顺序相反,右视数据块、深度图数据块、左视数据块按照该记述顺序交替排列。在即将跳跃之前3D区段块2004中所包含的3D再现专用块L2SS、L3SS与2D再现专用块组L22D、L32D以比特为单位保持一致,这一点与配置1相同。
在配置3中,如图27所示,在L/R模式的再现路径中按照由右视数据块R0和左视数据块L0的对构成的3D区段EXTSS[0]、由右视数据块R1和左视数据块L1的对构成的3D区段EXTSS[小仅由右视数据块R2构成的3D区段EXTSS[2]、由左视数据块L2SS和右视数据块R3的对构成的3D区段EXTSS[3]、仅由左视图数据块L3SS构成的3D区段EXTSS[4]的顺序,存取数据块。
通过采用这样的配置,在配置3中,与配置1同样,能够在产生长跳跃的地点分离为2D再现模式下的再现路径和L/R模式下的再现路径,所以即将跳跃之前3D区段块的终端EXT1[3]的大小能够免受用于防止在2D再现模式下缓冲器下溢的条件的影响。此外,配置3与配置1同样,能够应用于伴随1比n的播放项目多重连接的长跳跃中,能够制作从前方播放项目分支为多个播放项目来进行无缝连接的多重连接的数据。
除了这些效果之外,在配置3中,能够将在深度模式和L/R模式双方再现3D影像时的无缝连接中所需的缓冲器余量抑制为较少。其结果,能够 使得2D/3D再现装置在深度模式和L/R模式双方再现3D影像时所需的读取缓冲器的大小,比再现配置1的数据时更小。对于缓冲器余量的具体的削減量,将在后面详细说明。
此外,在图26中,在即将跳跃之前3D区段块2004中,将右视数据块、深度图数据块、左视数据块按照该记述顺序依次交替排列,在其它3D区段块中,将深度图数据块、右视数据块、左视数据块按照该记述顺序依次交替排列。但是,配置3的特征在于,即将跳跃之前3D区段块的交织配置与其它3D区段块的交织配置相比,深度图数据块和右视数据块的顺序相反,例如,在其它3D区段块中,按照右视数据块、深度图数据块、左视数据块的顺序交替地交织配置的情况下,在即将跳跃之前3D区段块中,按照深度图数据块、右视数据块、左视数据块的顺序交替地交织配置数据块就可以。
[配置4]
图28是示出在记录介质100的层边界前后记录的数据块组的物理配置的第四例的示意图。这些数据块组属于包含左视视频流的主TS、包含右视视频流的第一子TS以及包含深度图流的第二子TS。下面,将该配置称作“配置4”。参照图28,在位于层边界LB之前的第一记录层中,以交织配置记录有深度图数据块组...、D1、D2、右视数据块组...、R1、R2、以及基视数据块组...、L1、L2。下面,将这些数据块组称作“第一3D区段块”2101。并且,在第一3D区段块2101的后端L2和层边界LB之间配置有1个基视数据块L32D。另一方面,在位于层边界LB之后的第二记录层中,以交织配置记录有深度图数据块组D3、D4、...、右视数据块组R3、R4、...、以及基视数据块组L3SS、L4、...。下面,将这些数据块组称作“第二3D区段块”2102。
各3D区段块2101、2102的交织配置与图15所示的配置相同。即,将深度图数据块、右视数据块及基视数据块按照该记述顺序交替排列。并且,在三个连续的数据块Dn、Rn、Ln(n=...,1,2,3,4,...)之间,区段ATC时间相等。在位于第一3D区段块2101的后端的三个数据块D2、R2、L2和位于第二3D区段块2102的前端的三个数据块D3、R3、L3SS之间,各流数据的内容连续。
位于层边界LB紧前面的基视数据块L32D和第二3D区段块2102内的前端的基视数据块L3SS以比特为单位(bit-for-bit)保持一致。即,这些数据块L32D、L3SS中的一方为另一方的复制数据。下面,将前者L32D称作“2D再现专用块”,将后者L3SS称作“3D再现专用块”。
能够将图28所示的各数据块中的除了3D再现专用块L3SS之外的数据块,作为文件2D或文件DEP的某个区段进行存取。例如,在文件2D(01000.m2tS)的文件入口2110中,配置描述符#1表示从第一3D区段块2101内的最后起倒数第二个基视数据块L1的大小和其前端的LBN。因此,能够将该基视数据块L1作为文件2D的1个2D区段EXT2D[0]进行存取。将第一3D区段块2101内的最后的基视数据块L2和其紧后面的2D再现专用块L32D的对L2+L32D看作单一的区段,配置描述符#2表示其大小和其前端的LBN。因此,能够将该基视数据块的对L2+L32D作为文件2D的单一的2D区段EXT2D[1]进行存取。并且,配置描述符#3表示第二3D区段块2102内的第二个基视数据块L4的大小和其前端的LBN。因此,能够将该基视数据块L4作为别的1个2D区段EXT2D[2]进行存取。
对于图28所示的数据块组,也能够通过与图15所示的方式相同的方式来实现AV流文件的交差连接。尤其是,在第一文件SS的文件入口2120中,将邻接的右视数据块和基视数据块的对R1+L1、R2+L2、R3+L3SS、R4+L4分别看作1个区段,配置描述符#1、#2、#3、#4表示各大小和其前端的LBN。因此,能够将邻接的数据块的各对R1+L1、R2+L2、R3+L3SS、R4+L4作为第一文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]进行存取。在此,除了层边界LB的紧之后的3D区段EXTSS[3]之外,3D区段EXTSS[0]、EXTSS[1]、EXTSS[3]分别与文件2D共用基视数据块L1、L2、L4。另一方面,只能将2D再现专用块L32D作为位于层边界LB紧前面的文件2D的区段EXT2D[1]的一部分进行存取。并且,只能将3D再现专用块L3SS作为层边界LB的紧之后的3D区段EXTSS[2]的一部分进行存取。
图29是示出针对图28所示的数据块组的、2D再现模式下的再现路径2201和L/R模式下的再现路径2202的示意图。此外,本领域的技术人员能够根据图15所示的内容容易地类推出深度模式下的再现路径。
再现装置200在2D再现模式下再现文件2D。因此,如2D再现模式下的再现路径2201所示,首先,读取第一3D区段块2101内的最后起倒数第二个基视数据块L1作为最初的2D区段EXT2D[0],其紧后面的深度图数据块D2和右视数据块R2的读取被最初的跳跃J2D 1跳过。接着,连续读取第一3D区段块2101内的最后的基视数据块L2和其紧后面的2D再现专用块L32D的对L2+L32D,作为第二个2D区段EXT2D[1]。在其紧后面的层边界LB产生长跳跃JLY,在执行焦点跳跃的同时,位于第二3D区段块2102的前端的5个数据块D3、R3、L3SS、D4、R4的读取被跳过。接着,读取第二3D区段块2102内的第二个基视数据块L4,作为第三个2D区段EXT2D[2]。
再现装置200在L/R模式下,再现第一文件SS。因此,如L/R模式下的再现路径2202所示,首先,连续读取开头的右视数据块R1和其紧后面的基视数据块L1的对R1+L1作为最初的3D区段EXTSS[0],其紧后面的深度图数据块D2的读取被最初的跳跃JLR1跳过。接着,连续读取第二个右视数据块R2和其紧后面的基视数据块L2,作为第二个3D区段EXTSS[1]。在其紧后产生长跳跃JLY,在执行焦点跳跃的同时,2D再现专用块L32D和第二3D区段块2102内的开头的深度图数据块D3的读取被跳过。接着,连续读取第二3D区段块2102内的开头的右视数据块R3和其紧之后的3D再现专用块L3SS,作为第三个3D区段EXTSS[2];其紧后面的深度图数据块D4的读取被第二个跳跃JLR2跳过。并且,连续读取下一右视数据块R4和其紧后面的基视数据块L4,作为第四个3D区段EXTSS[3]。
如图29所示,在2D再现模式下,读取2D再现专用块L32D,而3D再现专用块L3SS的读取被跳过。反之,在L/R模式下,2D再现专用块L32D的读取被跳过,而读取3D再现专用块L3SS。但是,由于双方的数据块L32D、L3SS以比特为单位保持一致,所以在任一个再现模式下,所再现的左视视频帧都相等。这样,在配置4下,在长跳跃JLY的前后2D再现模式下的再现路径2201和L/R模式下的再现路径2202被分离。关于深度模式也同样。
在图29所示的配置4中,如上所述,在长跳跃JLY的前后分离为2D再现模式下的再现路径2201和L/R模式下的再现路径2202。因此,不同 于图22所示的配置,能够如下所述分别决定位于层边界LB紧前面的2D区段EXT2D[1]的大小Sext2D[1]和其紧前面的右视数据块R2的大小Sext2[1]。
首先,2D区段EXT2D[1]的大小Sext2D[1]等于基视数据块L2的大小Sext1[1]和2D再现专用块L32D的大小S2D之和Sext1[1]+S2D。因此,在2D再现模式下实现无缝再现时,该和Sext1[1]+S2D只要是在从开始读取2D区段EXT2D[1]起到长跳跃JLY结束为止的期间从读取缓冲器向系统目标解码器传送的数据量以上就可以。另一方面,属于位于层边界LB紧前面的3D区段EXTSS[1]的右视数据块R2和基视数据块L2的各大小Sext2[1]、Sext1[1],只要是到长跳跃JLY紧前面为止能够维持缓冲器余量的程度的值就可以。在此,2D区段EXT2D[1]中的、与3D区段EXTSS[1]共用的只有位于前侧的基视数据块L2。因此,通过适当扩大2D再现专用块L32D的大小S2D,能够在将2D区段EXT2D[1]的大小S ext2D[1]=Sext1[1]+S2D维持一定的状态下,将基视数据块L2的大小Sext1[1]限制为更小。随之,右视数据块R2的大小Sext2[1]也能限制为更小。
在此,3D再现专用块L3SS是2D再现专用块L32D的复制数据,所以2D再现专用块L32D的大小S2D的扩大使位于3D再现专用块L3SS紧前面的右视数据块R3的大小扩大。但是,其大小能够充分小于图22所示的位于层边界LB紧前面的右视数据块R3的大小。这样,L/R模式的再现装置200内应确保的读取缓冲器的容量能够进一步接近L/R模式下的无缝再现中所必需的最小限度的值。
这样,在配置4中,能够在将再现装置200内应确保的读取缓冲器的容量限制在必要的最小限度的状态下,将各数据块的大小设计成能够在2D再现模式和L/R模式双方实现长跳跃中的影像的无缝再现的大小。并且,仅通过在文件2D和文件SS之间切换再现对象的AV流文件,就能够容易地实现在2D再现模式和L/R模式中变更读取对象的数据块,特别是2D再现专用块L32D和3D再现专用块L3SS之间的切换。
[配置5]
图30是示出在记录介质100的层边界前后记录的数据块组的物理配置的第五例的示意图。这些数据块组属于包含左视视频流的主TS、包含右视视频流的第一子TS以及包含深度图流的第二子TS中。下面,将该配置称 作“配置5”。将图30和图28进行比较,配置5与配置4相比,其不同点在于,在第二3D区段块2402的前端设置了两个3D再现专用块L3SS、L4SS。关于其他特征,配置5与配置4相同,关于其详细说明,援引对配置4的说明。
位于层边界LB紧前面的2D再现专用块(L3+L4)2D和第二3D区段块2402内的3D再现专用块的对L3SS、L4SS以比特为单位保持一致。即,2D再现专用块(L3+L4)2D和3D再现专用块的对L3SS、L4SS中的一方为另一方的复制数据。
将图30所示的各数据块中的除了3D再现专用块L3SS、L4SS之外的数据块作为文件2D或文件DEP中的某一个的区段进行存取。例如,在文件2D的文件入口2410中,配置描述符#1表示从第一3D区段块2401内的最后起倒数第二个基视数据块L1的大小和其前端的LBN。因此,能够将该基视数据块L1作为文件2D的1个2D区段EXT2D[0]进行存取。将第一3D区段块2401内的最后的基视数据块L2和其紧后面的2D再现专用块(L3+L4)2D的对L2+(L3+L4)2D看作单一的区段,配置描述符#2表示其大小和其前端的LBN。因此,能够将该基视数据块的对L2+(L3+L4)2D作为文件2D的1个2D区段EXT2D[1]进行存取。并且,配置描述符#3表示第二3D区段块2402内的第三个基视数据块L5的大小和其前端的LBN。因此,能够将该基视数据块L5作为别的1个2D区段EXT2D[2]进行存取。
在第一文件SS的文件入口2420中,将邻接的右视数据块和基视数据块的对R1+L1、R2+L2、R3+L3SS、R4+L4SS、R5+L5分别作为1个区段,配置描述符#1、#2、#3、#4、#5表示各大小和其前端的LBN。因此,能够将邻接的数据块的各对R1+L1、...、R5+L5作为第一文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]、EXTSS[4]进行存取。只能将2D再现专用块(L3+L4)2D作为文件2D的区段EXT2D[1]的一部分进行存取,只能将各3D再现专用块L3SS、L4SS作为3D区段EXTSS[2]、EXTSS[3]的一部分进行存取。
图31是示出针对图30所示的数据块组的、2D再现模式下的再现路径2501和L/R模式下的再现路径2502的示意图。此外,本领域的技术人员能够根据图15所示的内容容易地类推出深度模式下的再现路径。
再现装置200在2D再现模式下再现文件2D。因此,如2D再现模式下的再现路径2501所示,首先,读取第一3D区段块2401内的最后起倒数第二个基视数据块L1作为最初的2D区段EXT2D[0],其紧后面的深度图数据块D2和右视数据块R2的读取被最初的跳跃J2D1跳过。接着,连续读取第一3D区段块2401内的最后的基视数据块L2和其紧后面的2D再现专用块(L3+L4)2D的对L2+(L3+L4)2D作为第二个2D区段EXT2D[1]。在其紧后面的层边界LB产生长跳跃JLY,在执行焦点跳跃的同时,位于第二3D区段块2402的前端的8个数据块D3、R3、L3SS、D4、R4、L4SS、D5、R5的读取被跳过。接着,读取第二3D区段块2402内的第三个基视数据块L5,作为第三个2D区段EXT2D[2]。
再现装置200在L/R模式下再现第一文件SS。因此,如L/R模式下的再现路径2502所示,首先,连续读取开头的右视数据块R1和其紧后面的基视数据块L1的对R1+L1作为最初的3D区段EXTSS[0],其紧后面的深度图数据块D2的读取被最初的跳跃JLR1跳过。接着,连续读取第二个右视数据块R2和其紧后面的基视数据块L2,作为第二个3D区段EXTSS[1]。在其紧后产生长跳跃JLY,在执行焦点跳跃的同时,2D再现专用块(L3+L4)2D和第二3D区段块2402内的开头的深度图数据块D3的读取被跳过。接着,连续读取第二3D区段块2402内的开头的右视数据块R3和其紧之后的3D再现专用块L3SS作为第三个3D区段EXTSS[2],其紧后面的深度图数据块D4的读取被第二个跳跃JLR2跳过。同样,连续读取下一右视数据块R4和其紧之后的3D再现专用块L4SS作为第四个3D区段EXTSS[3],其紧后面的深度图数据块D5的读取被第三个跳跃JLR3跳过。进一步连续读取下一右视数据块R5和其紧后面的基视数据块L5,作为第五个3D区段EXTSS[4]。
如图31所示,在2D再现模式下,读取2D再现专用块(L3+L4)2D,而3D再现专用块L3SS,L4SS的读取被跳过。反之,在L/R模式下,2D再现专用块(L3+L4)2D的读取被跳过,而读取3D再现专用块L3SS、L4SS。但是,2D再现专用块(L3+L4)2D和3D再现专用块的对L3SS、L4SS以比特为单位保持一致,所以在任一个再现模式下,所再现的左视视频帧相同。这样,在配置5中,在长跳跃JLY的前后2D再现模式下的再现路径2501和L/R模 式下的再现路径2502被分离。因此,能够如下所述分别决定位于层边界LB紧前面的2D区段EXT2D[1]的大小Sext2D[1]和其紧前面的右视数据块R2的大小Sext2[1]。此外,对于深度模式也同样。
首先,2D区段EXT2D[1]的大小Sext2D[1]等于基视数据块L2的大小Sext1[1]和2D再现专用块(L3+L4)2D的大小S2D之和Sext1[1]+S2D。因此,在2D再现模式下实现无缝再现时,该和Sext1[1]+S2D只要是在开始读取2D区段EXT2D[1]起到长跳跃JLY结束为止的期间从读取缓冲器传送到系统目标解码器的数据量以上就可以。另一方面,属于位于层边界LB紧前面的3D区段EXTSS[1]的右视数据块R2和基视数据块L2的各大小Sext2[1]、Sext1[1]只要是在长跳跃JLY紧前面为止能够维持缓冲器余量的程度的值就可以。在此,通过适当扩大2D再现专用块(L3+L4)2D的大小S2D,能够在将2D区段EXT2D[1]的大小Sext2D[1]=Sext1[1]+S2D维持一定的状态下,将基视数据块L2的大小Sext1[1]限制为更小。随之,也能够将右视数据块R2的大小Sext2[1]限制为更小。
在此,3D再现专用块的对L3SS、L4SS是2D再现专用块(L3+L4)2D的复制数据,所以2D再现专用块(L3+L4)2D的大小S2D的扩大使位于各3D再现专用块L3SS,L4SS紧前面的右视数据块R3、R4的大小扩大。但是,对于1个2D再现专用块(L3+L4)2D,3D再现专用块被分割为两个L3SS、L4SS,所以各大小充分小于图22所示的位于层边界LB紧前面的右视数据块R3的大小。这样,在L/R模式的再现装置200内应确保的读取缓冲器的容量能够进一步削减到L/R模式下的无缝再现中所必需的最小限度的值。
这样,在配置5中,能够在将再现装置200的解码器内应确保的缓冲器容量抑制为必要最小限度的状态下,将各数据块的大小设计成在2D再现模式和L/R模式双方能够实现长跳跃中的影像的无缝再现的大小。并且,仅通过在文件2D和文件SS之间切换再现对象的AV流文件,就能够容易地实现在2D再现模式和L/R模式中变更读取对象的数据块,特别是2D再现专用块(L3+L4)2D和3D再现专用块的对L3SS、L4SS之间的切换。此外,在深度模式下也同样。
在配置5中,2D再现专用块(L3+L4)2D的复制数据被设计成两个3D再现专用块L3SS、L4SS。除此之外,也可以将复制数据设计成三个以上的3D再现专用块。
[配置6]
图32是示出在记录介质100的层边界前后记录的数据块组的物理配置的第六例的示意图。这些数据块组属于包含左视视频流的主TS、包含右视视频流的第一子TS以及包含深度图流的第二子TS。下面,将该配置称作“配置6”。将图32与图30进行比较,配置6与配置5的不同点在于,能够将2D再现专用块(L2+L3)2D单独作为1个2D区段EXT2D[1]进行存取。关于其他特征,配置6与配置5相同,关于其详细说明,援引对配置5的说明。
位于层边界LB紧前面的2D再现专用块(L2+L3)2D和第二3D区段块2602内的3D再现专用块的对L2SS、L3SS以比特为单位保持一致。即,2D再现专用块(L2+L3)2D和3D再现专用块的对L2SS、L3SS中的一方为另一方复制数据。
能够将图32所示的各数据块中的除了3D再现专用块L2SS、L3SS之外的数据块作为文件2D或文件DEP中的某一个的区段进行存取。例如,在文件2D的文件入口2610中,配置描述符#1表示第一3D区段块2401内的最后的基视数据块L1的大小和其前端的LBN。因此,能够将该基视数据块L1作为1个2D区段EXT2D[0]进行存取。将2D再现专用块(L2+L3)2D看作单一的区段,配置描述符#2表示其大小和其前端的LBN。因此,能够将2D再现专用块(L2+L3)2D作为下一2D区段EXT2D[1]进行存取。配置描述符#3表示第二3D区段块2602内的第三个基视数据块L4的大小和其前端的LBN。因此,能够将该基视数据块L4作为第三个2D区段EXT2D[2]进行存取。
在第一文件SS的文件入口2620中,将邻接的右视数据块和基视数据块的对R1+L1、R2+L2SS、R3+L3SS、R4+L4分别看作1个区段,配置描述符#1、#2、#3、#4表示各大小和其前端的LBN。因此,能够将邻接的数据块的各对R1+L1、...、R4+L4作为第一文件SS的3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]进行存取。只能将2D再现专用块(L2+L3)2D 作为文件2D的1个区段EXT2D[1]进行存取,只能将各3D再现专用块L2SS、L3SS作为3D区段EXTSS[1]、EXTSS[2]的一部分进行存取。
图33是示出针对图32所示的数据块组的、2D再现模式下的再现路径2701和L/R模式下的再现路径2702的示意图。此外,本领域的技术人员能够根据图15所示的内容而容易地类推出深度模式下的再现路径。
再现装置200在2D再现模式下再现文件2D。因此,如2D再现模式下的再现路径2701所示,首先,读取第一3D区段块2601内的最后的基视数据块L1,作为最初的2D区段EXT2D[0]。接着,连续读取其紧后面的2D再现专用块(L2+L3)2D,作为第二个2D区段EXT2D[1]。在其紧后面的层边界LB产生长跳跃JLY,在执行焦点跳跃的同时,位于第二3D区段块2602的前端的8个数据块D2、R2、L2SS、D3、R3、L3SS、D4、R4的读取被跳过。接着,读取第二3D区段块2602内的第三个基视数据块L4,作为第三个2D区段EXT2D[2]。
再现装置200在L/R模式下再现第一文件SS。因此,如L/R模式下的再现路径2702所示,首先,连续读取开头的右视数据块R1和其紧后面的基视数据块L1的对R1+L1,作为最初的3D区段EXTSS[0]。在紧之后产生长跳跃JLY,在执行焦点跳跃的同时,2D再现专用块(L2+L3)2D和第二3D区段块2602内的开头的深度图数据块D3的读取被跳过。接着,连续读取第二3D区段块2602内的开头的右视数据块R2和其紧之后的3D再现专用块L2SS作为第二个3D区段EXTSS[1],其紧后面的深度图数据块D3的读取被最初的跳跃JLR1跳过。同样,连续读取下一右视数据块R3和其紧之后的3D再现专用块L3SS作为第三个3D区段EXTSS[2],其紧后面的深度图数据块D4的读取被第二个跳跃JLR2跳过。进一步连续读取下一右视数据块R4和其紧后面的基视数据块L4,作为第四个3D区段EXTSS[3]。
如图33所示,在2D再现模式下,读取2D再现专用块(L2+L3)2D,而3D再现专用块L2SS、L3SS的读取被跳过。反之,在L/R模式下,2D再现专用块(L2+L3)2D的读取被跳过,而读取3D再现专用块L2SS、L3SS。但是,2D再现专用块(L2+L3)2D和3D再现专用块的对L2SS、L3SS以比特为单位保持一致,所以在任一个再现模式下,所再现的左视视频帧均相等。这样,在配置6中,在长跳跃JLY的前后2D再现模式下的再现路径2701和L/R 模式下的再现路径2702被分离。因此,能够如下所述分别决定位于层边界LB紧前面的2D区段EXT2D[1]的大小Sext2D[1]和其紧前面的右视数据块R2的大小Sext2[1]。此外,对于深度模式也相同。
首先,在层边界LB紧前面连续的两个2D区段EXT2D[0]、EXT2D[1]的大小之和Sext2D[0]+Sext2D[1],等于基视数据块L1的大小Sext2D[0]和2D再现专用块(L2+L3)2D的大小S2D之和Sext1[1]+S2D。因此,在2D再现模式下实现无缝再现时,该和Sext1[1]+S2D只要为在开始读取2D区段EXT2D[1]起到长跳跃JLY结束为止的期间从读取缓冲器向系统目标解码器传送的数据量以上就可以。另一方面,属于位于层边界LB紧前面的3D区段EXTSS[0]的右视数据块R1的大小Sext2[0]和基视数据块L1的各大小Sext2[0]、Sext2D[0]只要是直到长跳跃JLY紧前面为止能够维持缓冲器余量的程度的值就可以。在此,通过适当扩大2D再现专用块(L2+L3)2D的大小S2D,能够在将2D区段的对EXT2D[0]、EXT2D[1]的大小之和Sext2D[0]+Sext2D[1]维持一定的状态下,将基视数据块L1的大小Sext2D[0]限制为更小。随之,将右视数据块R1的大小Sext2[0]也限制为更小。
在此,3D再现专用块的对L2SS、L3SS是2D再现专用块(L2+L3)2D的复制数据,所以2D再现专用块(L2+L3)2D的大小S2D的扩大使位于各3D再现专用块L2SS、L3SS紧前面的右视数据块R2、R3的大小扩大。但是,相对于1个2D再现专用块(L2+L3)2D,3D再现专用块被分割为两个L2SS、L3SS,所以各大小充分小于图22所示的位于层边界LB紧前面的右视数据块R3的大小。这样,L/R模式的再现装置200内应确保的读取缓冲器的容量能够进一步削减到L/R模式下的无缝再现中所必需的最小限度的值。
这样,在配置6中,能够在将再现装置200内应确保的读取缓冲器的容量抑制到必要的最小限度的状态下,将各数据块的大小设计成在2D再现模式和L/R模式双方能够实现长跳跃中的影像的无缝再现的大小。并且,仅通过在文件2D和文件SS之间切换再现对象的AV流文件,就能够容易地实现在2D再现模式和L/R模式下变更读取对象的数据块,特别是在2D再现专用块(L2+L3)2D和3D再现专用块的对L2SS、L3SS之间的切换。此外,在深度模式下也相同。
在配置6中,2D再现专用块(L2+L3)2D的复制数据被设计成两个3D再现专用块L2SS、L3SS。除此之外,如图28所示,也可以将复制数据设置成1个3D再现专用块,或设置成三个以上的3D再现专用块。
此外,与配置1-5不同,也可以将2D再现专用块作为文件2D的两个以上的区段进行存取。并且,也可以将各数据块作为两种以上的文件2D或文件SS的区段进行存取。
<只与L/R模式对应的复用流数据的配置>
在3D影像的再现中只利用L/R模式时,可以从上述的配置1-6中除去深度图数据块。图34(a)是示出从图28所示的配置4除去了深度图数据块后的示意图。这些数据块组属于包含左视流的主TS和包含右视视频流的子TS中。参照图34(a),在位于层边界LB之前的第一3D区段块2801中,以交织配置记录有右视数据块组...、R1、R2以及基视数据块组...、L1、L2。另一方面,在位于层边界LB之后的第二3D区段块2802中,以交织配置记录有右视数据块组R3、R4、...以及基视数据块组L3SS、L4、...。并且,在第一3D区段块2801的后端L2和层边界LB之间配置有2D再现专用块L32D,在第二3D区段块2802的前端配置有3D再现专用块L3SS。这些数据块L32D、L3SS的一方是另一方的复制数据,它们以比特为单位保持一致。
在各3D区段块2801、2802的交织配置中,右视数据块和基视数据块按照该记述顺序交替排列。并且,在两个连续的数据块Rn、Ln(n=...,1,2,3,4,...)之间,区段ATC时间相等。在位于第一3D区段块2801的后端的两个数据块R2、L2和位于第二3D区段块2802的前端的两个数据块R3、L3SS之间,各流数据的内容连续。
能够将如图34(a)所示的各数据块中的除了3D再现专用块L3SS之外的数据块作为文件2D或文件DEP的某个区段进行存取。例如,在文件2D的文件入口2810中,配置描述符#1表示从第一3D区段块2801内的最后起倒数第二个基视数据块L1的大小和其前端的LBN。因此,能够将该基视数据块L1作为1个2D区段EXT2D[0]进行存取。将该基视数据块的对L2+L32D看作单一的区段,配置描述符#2表示其大小和其前端的LBN。因此,能够将该基视数据块的对L2+L32D作为第二个2D区段EXT2D[1]进行 存取。配置描述符#3表示第二3D区段块2802内的第二个基视数据块L4的大小和其前端的LBN。因此,能够将该基视数据块L4作为第三个2D区段EXT2D[2]进行存取。
对于图34(a)所示的数据块组,也能够通过与图15所示的方式相同的方式实现AV流文件的交差连接。尤其是,由于从各3D区段块2801、2802删除了深度图数据块,所以区段ATC时间相等的右视数据块和基视数据块的对也可以连续配置两个以上。此时,也可以将这些两个以上的对作为1个3D区段进行存取。参照图34(a),在文件SS的文件入口2820中,将第一3D区段块2801中的四个连续的右视数据块和基视数据块R1、L1、R2、L2看作1个区段,配置描述符#1表示它们的整体的大小和前端的LBN。因此,能够将这些数据块R1、L1、R2、L2作为1个3D区段EXTSS[0]进行存取。将第二3D区段块2802中的四个连续的右视数据块和基视数据块R3、L3SS、R4、L4看作1个区段,配置描述符#2表示它们的整体的大小和前端的LBN。因此,能够将这些数据块R3、L3SS、R4、L4作为下一3D区段EXTSS[1]进行存取。在此,3D区段EXTSS[0]、EXTSS[1]分别与2D区段EXT2D[0]、EXT2D[1]、EXT2D[2]共用基视数据块L1、L2、L4。另一方面,只能将2D再现专用块L32D作为位于层边界LB紧前面的2D区段EXT2D[1]的一部分进行存取。并且,只能将3D再现专用块L3SS作为层边界LB的紧之后的3D区段EXTSS[1]的一部分进行存取。
图34(b)是表示针对图34(a)所示的数据块组的、2D再现模式下的再现路径2803和L/R模式下的再现路径2804的示意图。
再现装置200在2D再现模式下再现文件2D。因此,如2D再现模式下的再现路径2803所示,首先,读取第一3D区段块2801内的最后起倒数第二个基视数据块L1作为最初的2D区段EXT2D[0],其紧后面的右视数据块R2的读取则被最初的跳跃J2D1跳过。接着,连续读取第一3D区段块2801内的最后的基视数据块L2和其紧后面的2D再现专用块L32D的对L2+L32D,作为第二个2D区段EXT2D[1]。在其紧后面的层边界LB产生长跳跃JLY,在执行焦点跳跃的同时,位于第二3D区段块2802的前端的3个数据块R3、L3SS、R4的读取被跳过。接着,读取第二3D区段块2802内的第二个基视数据块L4,作为第三个2D区段EXT2D[2]。
再现装置200在L/R模式下再现文件SS。因此,如L/R模式下的再现路径2804所示,首先,连续读取第一3D区段块2801内的数据块组R1、L1、R2、L2,作为最初的3D区段EXTSS[0]。在其紧后面产生长跳跃JLY,在执行焦点跳跃的同时,2D再现专用块L32D的读取被跳过。接着,连续读取第二3D区段块2802内的数据块组R3、L3SS、R4、L4,作为下一3D区段EXTSS[1]。
如图34(b)所示,在2D再现模式下,读取2D再现专用块L32D,而3D再现专用块L3SS的读取被跳过。反之,在L/R模式下,2D再现专用块L32D的读取被跳过,而读取3D再现专用块L3SS。但是,双方的数据块L32D、L3SS以比特为单位保持一致,所以在任一个再现模式下,所再现的左视视频帧相等。这样,在配置4中,即使在只能对应于L/R模式的情况下,2D再现模式下的再现路径2801和L/R模式下的再现路径2802也会在长跳跃JLY的前后分离。因此,通过适当扩大2D再现专用块L32D的大小S2D,能够在将2D区段EXT2D[1]的大小Sext2D[1]=Sext1[1]+S2D维持一定的状态下,将基视数据块L2的大小Sext1[1]限制为更小。随之,右视数据块R2的大小Sext2[1]也限制为更小。其结果,能够使得L/R模式的再现装置200内应确保的读取缓冲器的容量更接近于L/R模式下的无缝再现中所必需的最小限度的值。
接着,对从配置1除去深度图数据块后的例子进行说明。
图35是示出从图20所示的配置1除去深度图数据块后的示意图。这些数据块组属于包含左视流的主TS和包含右视视频流的子TS。如图35所示,在位于层边界LB之前的第一记录层记录有第一3D区段块2005,在该第一3D区段块2005中交织配置了右视数据块组...、R0、R1以及基视数据块组...、L0、L1。此外,在第一3D区段块2005的后端L1连续地配置有2D再现专用块L22D、L32D。并且,在2D再现专用块L32D和层边界LB之间记录有第二3D区段块2006,该第二3D区段块2006中交织配置了右视数据块R2、R3以及3D再现专用块L2SS、L3SS。
2D再现专用块L22D、L32D和3D再现专用块L2SS、L3SS中的一方是另一方的复制数据,以比特为单位保持一致。另一方面,在位于层边界LB 之后的第二记录层上,记录第三3D区段块2007,在该第三3D区段块2007中交织配置了右视数据块组R4、...、以及基视数据块组L4、...。
在各3D区段块2005、2006、2007的交织配置中,右视数据块和基视数据块按照该记述顺序交替排列。并且,在两个连续的数据块Rn、Ln(n=...,1,2,3,4,...)之间,区段ATC时间相等。在位于第一3D区段块2005的后端的两个数据块R1、L1和位于第二3D区段块2006的前端的两个数据块R2、L2SS之间,各流数据的内容连续,在位于第二3D区段块2006的后端的两个数据块R3、L3SS和位于第三3D区段块2007的前端的两个数据块R4、L4之间,各流数据的内容连续。
能够将图35所示的各数据块中的除了3D再现专用块L2SS、L3SS之外的数据块,作为文件2D或文件DEP的某个区段进行存取。例如,在第一文件2D的文件入口2010中,配置描述符#1表示从第一3D区段块2005内的最后起倒数第二个基视数据块L0的大小和其前端的LBN。因此,能够将该基视数据块L0作为第一文件2D的1个2D区段EXT2D[0]进行存取。将由第一3D区段块2005内的最后的基视数据块L1和其紧后面连续的2D再现专用块组L22D、L32D构成的基视数据块的一组L1+L22D+L32D看作单一的区段,配置描述符#2表示其大小和其前端的LBN。因此,能够将该基视数据块的一组L1+L22D+L32D作为第一文件2D的单一的2D区段EXT2D[1]进行存取。这些文件2D中的基视数据块L1、L22D、L32D在产生长跳跃的地方的紧前面构成连续长度较大的区段。文件2D能够在长跳跃的紧前面形成大区段,所以即使在2D再现模式下进行再现的情况下,也不用担心读取缓冲器的下溢。此外,在第二文件2D的文件入口2011中,配置描述符#1表示第三3D区段块2007内的基视数据块L4的大小和其前端的LBN。因此,能够将该基视数据块L4作为第二文件2D的1个2D区段EXT2D[2]进行存取。
对于图35所示的数据块组,也能够通过与图15所示的方式相同的方式实现AV流文件的交差连接。尤其是,从各3D区段块2005、2006、2007除去了深度图数据块,所以也可以将区段ATC时间相等的右视数据块和基视数据块的对连续配置2个以上。此时,也可以将这些两个以上的对作为1个3D区段进行存取。参照图35,在第一文件SS的文件入口2020中,将 第一3D区段块2005中的四个连续的右视数据块和基视数据块R0、L0、R1、L1看作1个区段,配置描述符#1表示它们的整体的大小和前端的LBN。因此,也可以将这些数据块R0、L0、R1、L1作为1个3D区段EXTSS[0]进行存取。将第二3D区段块2006中的四个连续的右视数据块和基视数据块R2、L2SS、R3、L3SS看作1个区段,配置描述符#2表示它们的整体的大小和前端的LBN。因此,能够将这些数据块R2、L2SS、R3、L3SS看作下一3D区段EXTSS[1]进行存取。此外,在第二文件SS的文件入口2021中,将邻接的右视数据块和基视数据块的对R4+L4看作1个区段,配置描述符#1表示大小和其前端的LBN。因此,能够将邻接的数据块的对R4+L4作为第二文件SS的3D区段EXTSS[4]进行存取。
在此,3D区段EXTSS[0]、EXTSS[1]分别与2D区段EXT2D[0]、EXT2D[1]、EXT2D[2]共用基视数据块L0、L1、L4。另一方面,只能将2D再现专用块L22D、L32D作为位于层边界LB之前的2D区段EXT2D[1]的一部分进行存取。并且,只能将3D再现专用块L2SS、L3SS作为层边界LB的紧之后的3D区段EXTSS[1]的一部分进行存取。
在图35中,2D播放列表及3D播放列表均包含无缝地连接的两个播放项目#1、#2。2D播放列表的前方播放项目参照第一文件2D。3D播放列表的前方播放项目参照第一文件SS,从与3D播放列表的前方播放项目同步地再现的子播放项目参照文件DEP。如上所述,第一文件2D的2D区段EXT2D[0]、EXT2D[1]和第一文件SS的3D区段EXTSS[0]、EXTSS[1]所参照的基视数据块的内容相同。由此,在2D播放列表的再现中,在播放项目的无缝连接地点再现基视数据块L1、L22D、L32D,在3D播放列表的再现中,在播放项目的无缝连接地点再现该内容的L1、L2SS、L3SS。因此,在基于2D播放列表的2D再现和基于3D播放列表的3D再现中,虽然再现路径不同但能够对相同的左视视频帧进行再现。
接着,对各后方播放项目所参照的数据进行说明。2D播放列表的后方播放项目参照第二文件2D。3D播放列表的后方播放项目参照第二文件SS,从与3D播放项目的后方播放项目同步地再现的子播放项目参照文件DEP。如该图所示,第二文件2D和第二文件SS将相同的基视数据块L4用作实体。
在此,将从2D播放列表的前方播放项目所参照的即将跳跃之前2D区段EXT2D[1]的终端起到后方播放项目所参照的2D区段EXT2D[2]开头为止的距离,设定为根据2D再现装置的跳跃性能而按规定标准决定的最大跳跃距离以下。此外,将3D播放列表的前方播放项目所参照的即将跳跃之前3D区段块2006和后方播放项目所参照的3D区段块2007之间的跳跃距离,设定为根据2D/3D再现装置的跳跃性能而按规定标准决定的最大跳跃距离以下。
再现装置200在2D再现模式下再现文件2D。因此,读取基视数据块L0作为最初的2D区段EXT2D[0],连续读取基视数据块L1和其紧后面的2D再现专用块L22D、L32D作为第二个2D区段EXT2D[1],在长跳跃之后,读取基视数据块L4作为第二文件2D的最初的2D区段EXT2D[2]。
再现装置200在L/R模式下再现第一文件SS。因此,首先,连续读取第一3D区段块2005内的数据块组R0、L0、R1、L1作为最初的3D区段EXTSS[0],连续读取第二3D区段块2006内的数据块组R2、L2SS、R3、L3SS作为第二个3D区段EXTSS[1],在长跳跃之后,读取右视数据块R4和其紧后面的基视数据块L4作为第二文件SS的最初的3D区段EXTSS[4]。
这样,在2D再现模式下,读取2D再现专用块L22D、L32D,而3D再现专用块L2SS、L3SS的读取被跳过。反之,在L/R模式下,2D再现专用块L22D、L32D的读取被跳过,而读取3D再现专用块L2SS、L3SS。但是,数据块L22D和L2SS以比特为单位保持一致,数据块L32D、L3SS也以比特为单位保持一致,因此,在任一个再现模式下,所再现的左视视频帧都相等。这样,在配置1中,即使在作为3D再现只能对应于L/R模式的情况下,2D再现模式下的再现路径和L/R模式下的再现路径也在长跳跃之前分离。因此,通过适当扩大2D再现专用块L22D、L32D的大小S2D[2]、S2D[3],能够在将2D区段EXT2D[1]的大小Sext2D[1]=Sext1[1]+S2D[2]+S2D[3]维持一定的状态下,将基视数据块L1的大小Sext1[1]限制为更小。随之,也能够将右视数据块R2的大小Sext2[1]限制为更小。其结果,能够使得L/R模式的再现装置200内应确保的读取缓冲器的容量更接近于L/R模式下的无缝再现中所必需的最小限度的值。关于其他配置2、3、5及6也同样。
这样,即使配置1-6只能对应于L/R模式,也能够在将再现装置200内应确保的读取缓冲器的容量抑制到必要最小限度的状态下,将各数据块的大小设计成在2D再现模式和L/R模式双方能够实现长跳跃中的影像的无缝再现的大小。
<AV流文件所包含的其他TS包>
在AV流文件所包含的TS包的种类中,除了从图10、11所示的基本流变换来的之外,还有PAT(Program Association Table(程序辅助表))、PMT(Program Map Table(程序映射表))及PCR(Program Clock Reference(程序参考时钟))。PCR、PMT及PAT是由欧州数字广播标准所规定的,本来具有对构成1个节目的部分传输流进行规定的功能。通过利用PCR、PMT及PAT,AV流文件也与该部分传输流同样地被规定。具体而言,PAT表示相同的AV流文件所包含的PMT的PID。PAT自身的PID是0。PMT包含在相同的AV流文件中所包含的表示影像、声音、字幕等的各基本流的PID和其属性信息。PMT还包括有关该AV流文件的各种描述符(称作描述符)。描述符特别包括表示该AV流文件的复制许可/禁止的复制控制信息。PCR包含应该与被分配给自身的ATS相对应的STC(System Time Clock)的值。在此,STC是在解码器内作为PTS及DTS的基准而使用的时钟。解码器利用PCR,使STC与ATC同步。
图36是示出PMT2910的数据结构的示意图。PMT2910包含PMT头2901、描述符2902及流信息2903。PMT头2901表示PMT2910中所包含的数据的长度等。各描述符2902是与包含PMT2910的AV流文件的整体有关的描述符。上述复制控制信息包含在描述符2902之一中。流信息2903是与AV流文件所包含的各基本流有关的信息,每一个被分配给不同的基本流。各流信息2903包含流类型2931、PID2932及流描述符2933。流类型2931包含有在该基本流的压缩中所使用的编解码器的识别信息等。PID2932表示该基本流的PID。流描述符2933包括该基本流的属性信息,例如帧速率及高宽比。
通过使用PCR、PMT及PAT,能够使再现装置内的解码器对AV流文件进行与遵循欧州数字广播标准的部分传输流同样的处理。由此,能够确 保记录介质100用的再现装置和遵循欧州数字广播标准的终端装置之间的兼容性。
以上是对流文件的详细说明。
<片段信息文件>
下面,对片段信息文件进行详细说明。
图37是表示2D片段信息文件531的数据结构的示意图。从属视片段信息文件也具有同样的数据结构。在下面,首先,以2D片段信息文件531的数据结构为例,对在所有片段信息文件中共通的数据结构进行说明。之后,对2D片段信息文件和从属视片段信息文件的数据结构上的区别点进行说明。
参照图37,2D片段信息文件531包含片段信息3010、流属性信息3020、入口映射3030及3D元数据3040。3D元数据3040包含偏移表3041和区段起点3042。
如图37所示,片段信息3010包含系统速率3011、再现开始时刻3012及再现结束时刻3013。系统速率3011表示在再现装置200内从读取缓冲器向系统目标解码器传送属于对应的文件2D的“TS包”的速度的最高值。在文件2D中,将源包的ATS的间隔设定成,使得TS包的传送速度被抑制在系统速率以下。再现开始时刻3012表示文件2D的开头的VAU的PTS,例如开头的影像帧的PTS。再现结束时刻3012表示从文件2D的后端的VAU的PTS延迟规定量后的STC的值,例如是在最后的影像帧的PTS上加上1帧量的再现时间后的值。
如图37所示,流属性信息3020是文件2D所包含的各基本流的PID3021和其属性信息3022之间的对应表。在视频流、音频流、PG流及IG流中,属性信息3022分别不同。例如,与主视频流的PID0x1011对应的属性信息包括:用于该视频流的压缩的编解码器的种类、构成该视频流的各图片的分辨率、高宽比、以及帧速率。另一方面,与主音频流的PID0x1101对应的属性信息包括:在该音频流的压缩中所使用的编解码器的种类、该音频流中所包含的频道数、语言、以及采样频率。属性信息3022被再现装置200用于解码器的初始化中。
[入口映射]
图38(a)是示出入口映射3030的数据结构的示意图。参照图38(a),入口映射3030包括表3100。表3100的数量与在主TS中复用的视频流的数量相同,对每个视频流各分配了一个表3100。在38(a)中,用分配目的地的视频流的PID区分各表3100。各表3100包含入口映射头3101和入口点3102。入口映射头3101包括:与该表3100对应的PID以及在该表3100中所包含的入口点3102的总数。入口点3102使得PTS3103和源包编号(SPN)3104的对分别与不同的入口点ID(EP_ID)3105相对应。进一步,入口点3102具备表示能否向该特征点切换角度的标志(is_angle_change标志)。位于构成多角度区间的交织单元的开头的源包能够进行角度切换,所以指向交织单元的开头源包的入口点的is_angle_change标志必需设定为开启。此外,指向交织单元的开头源包的入口点通过入口点,与播放项目信息中的In_Time相对应。PTS3103与入口映射头3101所示的PID的视频流中所包含的某个I图片的PTS相等。SPN3104与保存有该I图片的源包组的开头的SPN相等。“SPN”表示从开头起依次对属于1个AV流文件中的源包组分配的顺序号。SPN被用作该AV流文件内的各源包的地址。在2D片段信息文件531内的入口映射3030中,SPN表示对属于文件2D541的源包组即构成主TS的源包组分配的编号。因此,入口点3102表示文件2D541所包含的I图片的PTS和地址即SPN之间的对应关系。
入口点3102也可以不对文件2D541内的所有I图片设定。但是,在I图片位于GOP的开头且包含该I图片的开头的TS包位于2D区段的开头时,必需对在该I图片设定入口点3102。
图38(b)是示出属于文件2D541的源包组3110中的、通过入口映射3030与各EP_ID3105对应的源包组的示意图。图38(c)是示出该源包组3110和记录介质100上的数据块组3120之间的对应关系的示意图。再现装置200在从文件2D541再现2D影像时,利用入口映射3030,根据表示任意场景的帧的PTS确定包含该帧的源包的SPN。具体而言,在作为再现开始位置而指定了特定的入口点的PTS例如PTS=360000时,首先,再现装置200根据入口映射3030检索与该PTS对应的SPN=3200。再现装置200接着求出将该SPN和每1个源包的数据量192字节之乘积除以每1个扇区的数据量2048字节时的商SPN/192×2048。其值等于记录有主TS中的、包含被分 配了该SPN的源包的校准单元(aligned unit)之前的部分的扇区的总数。在图38(b)所示的例中,其值3200×192/2048=300等于记录有SPN为从0到3199的源包组3111的扇区的总数。再现装置200接着参照文件2D541的文件入口内的配置描述符,确定从记录有2D区段组的扇区组的开头起数第(上述总数+1)个扇区的LBN。在图38(c)所示的例中,确定从记录有能够作为2D区段EXT2D[0]、EXT2D[1]、EXT2D[2]、...进行存取的基视数据块L1、L2+L32D、L4、...的扇区组中的、开头起数第301个扇区的LBN。再现装置200向BD-ROM驱动器指定该LBN。由此,从该LBN的扇区以校准单元为单位依次读取基视数据块组。并且,再现装置200从最初读取的校准单元,选择再现开始位置的入口点所示的源包来对I图片进行解码。之后,利用前面解码了的图片依次对后续的图片进行解码。这样,再现装置200能够从文件2D541再现确定的PTS以后的2D影像。
入口映射3030还有利于快速再现及倒退再现等特殊再现的高效处理。例如,2D再现模式的再现装置200首先参照入口映射3030,从再现开始位置,例如从包含PTS=360000以后的PTS的入口点、EP_ID=2、3、...依次读取SPN=3200、4800、...。再现装置200接着利用文件2D541的文件入口,确定与各SPN对应的扇区的LBN。再现装置200接着对BD-ROM驱动器指定各LBN。由此,从各LBN的扇区读取校准单元。再现装置200进一步根据各校准单元,选择各入口点所表示的源包来解码I图片。这样,再现装置200在不对2D区段组EXT2D[n]自身进行解析的情况下,就能够从文件2D541有选择地再现I图片。
[偏移表]
图39(a)是示出偏移表3041的数据结构的示意图。偏移表3041是用于3D再现模式的再现装置200的剪切处理中的信息。所谓“剪切处理”是指根据表示2D影像的数据生成表示左视和右视的平面数据的对的处理。所谓“平面数据”是指像素数据的2D排列,其排列的大小等于影像帧的分辨率。一组像素数据由色度坐标值和α值(不透明度)的组合来构成。色度坐标值用RGB值或YCrCb值表示。在剪切处理的对象中,包含从主TS内的PG流、IG流及次视频流的各个流生成的平面数据、以及根据BD-J对象生成的图像平面数据。剪切处理使平面数据内的各像素数据的位置在水平方向上变 化。因此,在通过剪切处理得到的平面数据的对中,左视和右视的各显示位置从原来的2D影像的显示位置向左右偏离。通过使视听者作为两眼视差而察觉这些位移,对于该视听者而言,左视和右视的对被看成1个3D影像。
参照图39(a),偏移表3041按照PG流、IG流及次视频流的PID,分别包含表3210。各表3210是PTS3201和偏移值3202的对应表。PTS3201表示根据PG流、IG流及次视频流生成的各平面数据的显示时刻。偏移值3202是用带符号的像素数来表示剪切处理中的各像素数据的水平方向的位移量的值。例如,加符号表示右向的位移,减符号则相反。根据3D影像的进深在屏幕的前面还是在屏幕的后面来决定偏移值3202的符号。下面,将PTS3201和偏移值3202的对3203称作“偏移表项”。
图39(b)是表示偏移表项的有効区间的示意图。各偏移表项的有効区间在由STC计时的时间中是从该偏移表项的PTS所示的时刻起到下一偏移表项的PTS所示的时刻为止的期间。在平面数据的PTS属于某个偏移表项的有効区间时,在剪切处理中,该平面数据内的像素数据的表示位置只变化该偏移表项的偏移值。在图39(a)所示的例中,偏移表项#1的PTS为180000,偏移表项#2的PTS为270000,偏移表项#3的PTS为360000。此时,如图39(b)所示,偏移表项#1的偏移值“+5”在180000~270000的STC的范围3204内有效,偏移表项#2的偏移值“+3”在270000~360000的STC的范围3205内有效。
[区段起点]
图40(a)是示出2D片段信息文件中所包含的区段起点3042的数据结构的示意图。参照图40(a),“区段起点(Extent_Start_Point)”3042包含基视区段ID(EXT1_ID)3311和SPN3312。EXT1_ID3311是对属于第一文件SS(01000.ssif)544A的各基视数据块从开头起依次分配的顺序号。SPN3312对各EXT1_ID3311各分配1个,与位于用该EXT1_ID3311识别的基视数据块的前端的源包的SPN相等。在此,该SPN是对属于第一文件SS544A的基视数据块组中所包含的各源包从开头起依次分配的顺序号。
在图15所示的交织配置的数据块组中,基视数据块被文件2D和与其对应的文件SS共用。但是,在图20、24、26、28、30、32所示的配置1-5中,2D再现专用块只属于文件2D,3D再现专用块只属于文件SS。因此, 区段起点3042所示的SPN3312一般不同于位于属于文件2D的2D区段的前端的源包的SPN。
图40(b)是表示右视片段信息文件中所包含的区段起点3320的数据结构的示意图。参照图40(b),区段起点3320包含右视区段ID(EXT2_ID)3321和SPN3322。EXT2_ID3321是对属于第一文件SS544A中的各右视数据块从开头起依次分配的顺序号。对各EXT2_ID3321各分配了1个SPN3322,该SPN3322与位于由该EXT2_ID3321识别的右视数据块的前端的源包的SPN相等。在此,该SPN是对属于第一文件SS544A的右视数据块组中所包含的各源包从开头起依次分配的顺序号。
图40(d)是表示属于第一文件DEP(02000.m2ts)的右视区段EXT2[0]、EXT2[1]、...和区段起点3320所示的SPN3322之间的对应关系的示意图。在图15、20、24、26、28、30、32中的任一个所示的数据结构中,右视数据块都被第一文件DEP和第一文件SS所共用。因此,如图40(d)所示,区段起点3320所示的各SPN3322与位于各右视区段EXT2[0]、EXT2[1]、...的前端的源包的SPN相同。
如以下说明的那样,在从第一文件SS544A再现3D影像时,2D片段信息文件的区段起点3042和右视片段信息文件的区段起点3320用于各3D区段所包含的数据块的边界的检测。
图40(e)是表示属于第一文件SS544A的3D区段EXTSS[0]、EXTSS[1]、...和记录介质100上的数据块组3350之间的对应关系的一例的示意图。参照图40(e),数据块组3350与图26所示的配置3相同。此外,以下的说明在交织配置及配置1-5中的任一个数据结构中都同样成立。在数据块组3350中,能够将邻接的右视数据块和基视数据块的对R1+L1、R2+L2、R3+L3SS、R4+L4分别作为3D区段EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]进行存取。并且,在第n个3D区段EXTSS[n](n=0,1,2,...)中,基视数据块L(n+1)所包含的源包的数量等于在区段起点3042中分别与EXT1_ID=n+1、n的各个相对应的SPN之间的差A(n+1)-An(在此,A0=0)。另一方面,在右视数据块R(n+1)中所包含的源包的数量等于在区段起点3320中分别与EXT2_ID=n+1、n的各个相对应的SPN间的差B(n+1)-Bn(在此,B0=0)。
L/R模式的再现装置200在从第一文件SS544A再现3D影像时,除了各片段信息文件的入口映射之外,还利用区段起点3042、3320,根据表示任意场景的右视的帧的PTS,确定记录有包含该帧的右视数据块的扇区的LBN。具体而言,再现装置200首先根据例如右视片段信息文件532的入口映射来检索与该PTS对应的SPN。假设该SPN所示的源包包含在第一文件DEP的第三个右视区段EXT2[2]即右视数据块R3中的情况。再现装置200接着从表示右视片段信息文件的区段起点3320所示的SPN3322中,检索在目标的SPN以下最大的“B2”和与此对应的EXT2_ID“2”。再现装置200接着根据2D片段信息文件的区段起点3042,检索与该EXT2_ID“2”相等的EXT1_ID所对应的SPN3312的值“A2”。再现装置200还求出所検索到的SPN3024、3320的值之和B2+A2。从图40(e)可知,该和B2+A2等于在包含于3D区段组EXTSS[0]、EXTSS[1]、...的数据块中的、第三个右视数据块R3之前所配置的块中所包含的源包的总数。因此,将该和B2+A2和每1个源包的数据量192字节之乘积除以每1个扇区的数据量2048字节时的商(B2+A2)×192/2048,等于从3D区段组的开头起第三个右视数据块R3的紧前面为止的扇区数。若利用该商找到第一文件SS544A的文件入口内的配置描述符,则能够确定记录有该右视数据块R3的前端的扇区的LBN。
再现装置200在如上所述确定LBN之后,向BD-ROM驱动器指定该LBN。由此,能够以校准单元为单位读取该LBN的扇区以后记录的3D区段组即第三个右视数据块R3以后的3D区段组。
再现装置200进一步利用区段起点3042、3320,从所读取的各3D区段中交替提取从属视数据块和基视数据块。例如,假设从图40(e)所示的数据块组3350依次读取3D区段组EXTSS[n](n=0,1,2,...)的情况。再现装置200首先从最初的3D区段EXTSS[0]的开头提取B1个源包,作为最初的从属视数据块R1。再现装置200接着提取第B1个源包和在其后接续的(A1-1)个源包的合计A1个源包,作为最初的基视数据块L1。再现装置200接着提取第(B1+A1)个源包和其后接着的(B2-B1-1)个源包的合计(B2-B1)个源包,作为第二个从属视数据块R2。再现装置200进一步提取第(A1+B2)个源包和其后接着的(A2-A1-1)个源包的合计(A2-A1)个源包,作为第二个基视数据块L2。之后,再现装置200同样根据所读取的源包数 检测出各3D区段内的数据块间的边界,来交替提取从属视和基视的各数据块。所提取的基视数据块和右视数据块被并行地传送给系统目标解码器进行解码。
这样,L/R模式的再现装置200能够从第一文件SS544A再现特定的PTS以后的3D影像。其结果,再现装置200能够实际得到有关BD-ROM驱动器的控制的上述优点(A)、(B)。
<文件基本(file base)>
图40(c)是表示L/R模式的再现装置200从第一文件SS544A提取的基视数据块L1、L2、...的示意图。图40(e)所示的数据块组3350包含2D再现专用块L32D和3D再现专用块L3SS双方。但是,图40(c)所示的基视数据块组不同于文件2D的2D区段组,代替2D再现专用块L32D而包含3D再现专用块L3SS。因此,区段起点3042所示的SPN3312等于位于各基视数据块的前端的源包的SPN。如图40(c)所示的基视数据块组那样,将利用区段起点从1个文件SS提取的基视数据块组称作“文件基本”。并且,将文件基本所包含的基视数据块称作“基视区段”。如图40(c)所示,各基视区段通过2D片段信息文件内的区段起点被参照。
基视区段除了2D再现专用块和3D再现专用块之外,与2D区段共用实体即基视数据块。并且,相互对应的2D再现专用块和3D再现专用块以比特为单位保持一致。因此,文件基本包含与文件2D相同的主TS。但是,基视区段不同于2D区段,不被任一个文件的文件入口内的配置描述符参照。如上所述,利用片段信息文件内的区段起点,从文件SS内的3D区段提取基视区段。这样,文件基本不同于图7所示的原来的文件,不包含文件入口,并且,在基视区段的参照时需要区段起点。在这个意义上,文件基本是“虚拟文件”。尤其是,在文件系统中不识别文件基本,在图7所示的目录/文件结构中不会表现出文件基本。
记录介质100上所记录的3D影像内容也可以只包含1种相对主TS的子TS。图41是示出包含该内容的数据块组的配置的一例的示意图。参照图41,数据块组3400各包含1种从属视数据块D[n](n=...,0,1,2,3,...)和基视数据块B[n]。在层边界LB之前,以交织配置记录有从属视数据块组...、D[0]、D[1]和基视数据块组...、B[0]、B[1],构成第一3D区段块3401。 在第一3D区段块3401的后端B[1]和层边界LB之间,配置有2D再现专用块B[2]2D。另一方面,在层边界LB之后,以交织配置记录有从属视数据块组D[2]、D[3]、...和基视数据块组B[2]SS、B[3]、...,构成第二3D区段块3402。第二3D区段块3402内的开头的基视数据块B[2]SS是3D再现专用块,与2D再现专用块B[2]2D以比特为单位保持一致。
在图41中,示出数据块组3400和文件2D3410的区段组之间的对应关系。第一3D区段块3401内的基视数据块...、B[0]、B[1]除了最后的基视数据块B[1]之外,单独作为1个2D区段...、EXT2D[0]而属于文件2D3410。第一3D区段块3401内的最后的基视数据块B[1]与其紧后面的2D再现专用块B[2]2D的对作为1个2D区段EXT2D[1],属于文件2D3410。第二3D区段块3402内的基视数据块B[3]、...除了3D再现专用块B[2]SS之外,作为2D区段EXT2D[2]、...而属于文件2D3410。通过将文件2D3410的文件入口内的配置描述符用作参照数据,能够对各2D区段进行存取。
在图41上示出了数据块组3400和文件DEP3412的区段组之间的对应关系。第一3D区段块3401内的各从属视数据块...、D[0]、D[1]及第二3D区段块3402内的各从属视数据块D[2]、D[3]、...作为从属视区段...、EXT2[0]、EXT2[1]、EXT2[2]、...,属于文件DEP3412。通过将文件DEP3412的文件入口内的配置描述符用作参照数据,能够对各从属视区段进行存取。
在图41上示出了数据块组3400和文件SS3420的区段组之间的对应关系。数据块组3400不同于图15所示的数据块组,不包含深度图数据块。因此,在任一个3D区段块3401、3402内的交织配置中,从属视数据块...、D[0]、D[1]、D[2]、D[3]、...和基视数据块...、B[0]、B[1]、B[2]SS、B[3]、...都交替连续。此时,文件SS3420也可以包含区段ATC时间相等的从属视数据块和基视数据块的对连续有两个以上的部分,作为1个3D区段。在图41中,第一3D区段块3401内的在两个连续的、从属视数据块和基视数据块的对D[0]+B[0]、D[1]+B[1],作为1个3D区段EXTSS[0]而属于文件SS3420。并且,第二3D区段块3402内的两个连续的、从属视数据块和基视数据块的对D[2]+B[2]SS、D[3]+B[3],作为1个3D区段EXTSS[1]而属于文件SS3420。3D区段EXTSS[0]、EXTSS[1]与2D区段EXT2D[0]、EXT2D[1]、EXT2D[2]、EXT2D[3]共用基视数据块B[0]、B[1]、B[2]SS、B[3], 3D区段EXTSS[0]、EXTSS[1]与从属视区段EXT2[0]、EXT2[1]、EXT2[2]、EXT2[3]共用从属视数据块D[0]、D[1]、D[2]、D[3]。将文件SS3420的文件入口内的配置描述符用作参照数据,能够对各3D区段进行存取。
再现装置200在读取3D区段EXTSS[0]、EXTSS[1]之后,利用分别与文件2D3410及文件DEP3412对应的片段信息文件内的区段起点,从各3D区段EXTSS[0]、EXTSS[1]提取基视数据块B[0]、B[1]、B[2]SS、B[3]。这些基视数据块B[0]、B[1]、B[2]SS、B[3]作为基视区段EXT1[0]、EXT1[1]、EXT1[2]、EXT1[3],属于文件基本3411。各基视区段EXT1[0]、EXT1[1]、EXT1[2]、EXT1[3]被与文件2D3410对应的2D片段信息文件内的区段起点所参照。
下面,只要没有特别区分,将基视数据块(除了2D再现专用块之外)视为与基视区段相同,将从属视数据块视为与从属视区段相同。
<从属视片段信息文件>
从属视片段信息文件的数据结构与图37-图40所示的2D片段信息文件相同。因此,在以下的说明中涉及从属视片段信息文件和2D片段信息文件之间的区别点,关于相同点,则援引上述说明。
从属视片段信息文件和2D片段信息文件在以下三点(i)、(ii)、(iii)不同:(i)在流属性信息上附加有条件;(ii)在入口点上附加有条件;(iii)3D元数据不包含偏移表。
(i)基视视频流和从属视视频流应该由L/R模式的再现装置200用于3D影像的再现时,利用基视视频流压缩作为右视视频流的从属视视频流。此时,从属视视频流和基视视频流的视频流属性相等。在此,有关基视视频流的视频流属性信息在2D片段信息文件的流属性信息3020内,与PID=0x1011对应。有关从属视视频流的视频流属性信息在从属视片段信息文件的流属性信息内,与PID=0x1012或0x1013对应。因此,在这些视频流属性信息之间,图37所示的各项目即编解码器、分辨率、高宽比及帧速率必需一致。若编解码器的种类一致,则基视视频流和从属视视频流的图片之间成立编码中的参照关系,所以能够对各图片进行解码。若分辨率、高宽比及帧速率都一致,则能够使得左右影像的画面显示同步。因此,能够使得视听者很舒服地以3D影像的方式看到这些影像。
(ii)从属视片段信息文件的入口映射包括对从属视视频流分配的表。该表与图38(a)所示的表3100同样,包括入口映射头和入口点。入口映射头表示对应的从属视视频流的PID即0x1012或0x1013。各入口点将一对PTS和SPN与1个EP_ID对应起来。各入口点的PTS与从属视视频流中所包含的某个GOP的开头的图片的PTS相同。各入口点的SPN与保存有属于相同的入口点的PTS所示的图片的源包组的开头的SPN相同。在此,SPN表示对属于文件DEP的源包组即构成子TS的源包组从开头起依次分配的顺序号。各入口点的PTS必须与2D片段信息文件的入口映射中的、分配给基视视频流的表内的入口点的PTS一致。即,在包含有在相同的3DVAU中所包含的一对图片中的一个图片在内的源包组的开头设定有入口点时,始终需要对包括另一个图片的源包组的开头也设定入口点。
图42是示出对基视视频流3510和从属视视频流3520设定的入口点的例子的示意图。在各视频流3510、3520中,从开头数相同顺序的GOP表示相同的再现期间的影像。参照图42,在基视视频流3510中,对从开头数位于第奇数位置的GOP#1、GOP#3、GOP#5的各开头设定入口点3501B、3503B、3505B。并且,在从属视视频流3520中,也对从开头数位于第奇数位置的GOP#1、GOP#3、GOP#5的各开头设定入口点3501D、3503D、3505D。此时,例如,再现装置200在从GOP#3起开始再现3D影像时,能够根据对应的入口点3503B、3503D的SPN立即计算出文件SS内的再现开始位置的地址。尤其是,在入口点3503B、3503D均被设定在数据块的前端时,从图40(e)可知,入口点3503B,3503D的SPN之和等于在从文件SS的开头起到再现开始位置为止的部分所包含的源包的数。同图40(e)的说明中所述,能够根据该源包的数量计算出记录有文件SS内的再现开始位置的部分的扇区的LBN。这样,在3D影像的再现中,也能够提高插入再现等需要视频流的随机存取的处理的响应速度。
对利用区段起点来从BD-ROM驱动器所读取的流文件的源包中分离为构成基视的ATC序列和构成从属视流的ATC序列的顺序进行说明。图43示出ATC序列复原顺序。
在步骤S91,将基视用ATC序列设为ATC序列1,从属视用ATC序列设为ATC序列2。在步骤S92中,将变量x初始化为1。该变量x指示区 段起点所示的基视区段ID(EXT1_ID)、右视区段ID(EXT2_ID)的索引号。下面,重复步骤S94~步骤S96的循环。
重复以下处理:判断由变量x指示的源包编号bx是否为由基视数据块的最后的数值n指示的源包编号bn(步骤S93),若不是,则将从源包编号bx+ax指示的源包(bx+ax)到由bx+1+ax指示的源包(bx+1+ax)紧前面的包为止的包追加到ATC序列2(步骤S94),将从源包(bx+1+ax)到源包(bx+1+ax+1)紧前面的包为止的包追加到ATC序列1中(步骤S95),并使变量x递增(步骤S96)。直到在步骤S93判断为“是”为止
若在步骤S93判断为“是”,则将从源包编号bn起的(number_of_source_packet2-bn)个源包追加到ATC序列2(步骤S97),将从源包编号an起的(number_of_source_packet1-an)个源包追加到ATC序列1(步骤S98)。
如上所示,若ATC序列1、2被复原,则在存储器上生成用扇区数来表示基视数据块的开头LBN及连续长度的文件入口,并虚拟地打开文件基本(步骤S99)。同样,在存储器上生成用扇区数表示从属视数据块的开头LBN及连续长度的文件入口,并虚拟地打开文件从属(步骤S100)。
<播放列表信息文件>
下面,对播放列表信息文件进行详细说明。
<2D播放列表文件>
图44是示出2D播放列表文件的数据结构的示意图。参照图44,2D播放列表文件521包括主路径3601和两个子路径3602、3603。
主路径3601是播放项目信息(PI)的排列,规定文件2D的主要再现路径即再现对象部分和其再现顺序。根据固有的播放项目ID=#N(N=1,2,3,...)来识别各PI。各PI#N用一对PTS规定主要的再现路径的不同的再现区间。该对中的一个表示该再现区间的开始时刻(In-Time),另一个表示结束时刻(Out-Time)。并且,主路径3601内的PI的顺序表示对应的再现区间的再现路径内的顺序。
各子路径3602、3603是子播放项目信息(SUB_PI)的排列,规定能够并列地附随于文件2D的主要再现路径的再现路径。该再现路径表示与主路径3601所表示的文件2D的部分不同的别的部分,或在别的文件2D上所复用 的流数据的部分和其再现顺序。该流数据表示应该与按照主路径3601从文件2D再现的2D影像同时再现的别的2D影像。该别的2D影像,例如包含画中画方式中的副影像、浏览器画面、弹出菜单或字幕。在子路径3602、3603上,按照向2D播放列表文件521登记的顺序分配了顺序号“0”、“1”。该顺序号作为子路径ID而用于各子路径3602、3603的识别中。在各子路径3602、3603中,用固有的子播放项目ID=#M(M=1,2,3,...)识别各SUB_PI。各SUB_PI#M用一对PTS规定再现路径的不同的再现区间。该对中的一方表示该再现区间的再现开始时刻,另一方表示再现结束时刻。并且,各子路径3602、3603内的SUB_PI的顺序表示对应的再现区间的再现路径内的顺序。
图45是示出PI#N的数据结构的示意图。参照图45,PI#N包括参照片段信息3701、再现开始时刻(In_Time)3702、再现结束时刻(Out_Time)3703、连接条件3704及流选择表(下面,简称为STN(Stream Number)表)3705。参照片段信息3701是用于识别2D片段信息文件的信息。再现开始时刻3702和再现结束时刻3703表示文件2D541的再现对象部分的前端和后端的各PTS。连接条件3704规定在将由再现开始时刻3702及再现结束时刻3703规定的再现区间的影像与由前一个的PI#(N-1)规定的再现区间的影像连接时的条件。STN表3705表示在从再现开始时刻3702到再现结束时刻3703为止的期间,再现装置200内的解码器能够从文件2D541选择的基本流的列表。
SUB_PI的数据结构与图45所示的PI的数据结构相比,在包含有参照片段信息、再现开始时刻及再现结束时刻的这一点上相同。尤其是,SUB_PI的再现开始时刻和再现结束时刻用与PI的数据结构相同的时间轴上的值来表示。SUB_PI还包括称作“SP连接条件”的字段。SP连接条件具有与PI的连接条件相同的意义。
[连接条件]
连接条件3704的值有“1”、“5”、“6”这三种。在连接条件3704为“1”时,从由PI#N规定的文件2D的部分再现的影像,也可以不一定要与从紧前面的PI#(N-1)规定的文件2D的部分再现的影像无缝地连接。另一方面,在连接条件3704为“5”或“6”时,该两种影像必需无缝地连接。
图46(a)、(b)分别是表示在连接条件3704为“5”、“6”时连接对象的两个再现区间3801、3802之间的关系的示意图。在此,PI#(N-1)规定文件2D的第一部分3801,PI#N规定文件2D的第二部分3802。参照图46(a),在连接条件3704为“5”时,在两个PI#(N-1)、PI#N之间也可以中断STC。即,第一部分3801的后端的PTS#1和第二部分3802的前端的PTS#2也可以不连续。但是,必须要满足若干个制约条件。例如,在接续于第一部分3801之后向解码器提供了第二部分3802时,必须要制作各部分3801、3802,以便该解码器能够顺利进行解码处理。并且,必需使得包含在第一部分3801中的音频流的最后的帧与包含在第二部分3802中的音频流的开头帧重复。另一方面,参照图46(b),在连接条件3704为“6”时,在解码器的解码处理中,第一部分3801和第二部分3802必需作为一系列的部分。即,在第一部分3801和第二部分3802之间,STC和ATC均必需是连续的。同样,在SP连接条件为“5”或“6”时,在由邻接的两个SUB_PI规定的文件2D的部分之间,STC和ATC均必需是连续的。
[STN表]
再次参照图45,STN表3705是流登记信息的排列。所谓“流登记信息”,是单独地表示在从再现开始时刻3702起到再现结束时刻3703之间能够从主TS选择作为再现对象的基本流的信息。流编号(STN)3706是分别分配给流登记信息的顺序号,被再现装置200用于各基本流的识别中。STN3706在相同的种类的基本流之间,还表示选择的优选顺序。流登记信息包括流入口3709和流属性信息3710。流入口3709包括流路径信息3707和流识别信息3708。流路径信息3707是表示选择对象的基本流所属的文件2D的信息。例如,在流路径信息3707表示“主路径”时,该文件2D与参照片段信息3701所示的2D片段信息文件相对应。另一方面,在流路径信息3707表示“子路径ID=1”时,选择对象的基本流所属的文件2D与子路径ID=1的子路径所包含的SUB_PI的参照片段信息所表示的2D片段信息文件相对应。该SUB_PI所规定的再现开始时刻或再现结束时刻中的任一个,被包含在由包括STN表3705的PI规所定的、从再现开始时刻3702到再现结束时刻3703为止的期间。流识别信息3708表示在由流路径信息3707确定的文件2D中所复用的基本流的PID。在再现开始时刻3702到再 现结束时刻3703为止的期间,能够选择该PID所示的基本流。流属性信息3710表示各基本流的属性信息。例如,音频流、PG流及IG流的各属性信息表示语言的种类。
[基于2D播放列表文件的2D影像的再现]
图47是表示2D播放列表文件(00001.mpls)521所示的PTS和从文件2D(01000.m2ts)541再现的部分之间的对应关系的示意图。参照图47,在2D播放列表文件521的主路径3601中,PI#1规定表示再现开始时刻IN1的PTS#1和表示再现结束时刻OUT1的PTS#2。PI#1的参照片段信息3701表示2D片段信息文件(01000.clpi)531。再现装置200在按照2D播放列表文件521再现2D影像时,首先,从PI#1读取PTS#1、#2。再现装置200接着参照2D片段信息文件531的入口映射,检索与PTS#1、#2对应的文件2D541内的SPN#1、#2。再现装置200接着根据SPN#1、#2计算各自对应的扇区数。再现装置200还利用这些扇区数和文件2D541的文件入口内的配置描述符,确定记录有再现对象的2D区段组EXT2D[0]、...、EXT2D[n]的扇区组P1的前端的LBN#1和后端的LBN#2。扇区数的计算和LBN的确定,与用图38(b)、(c)说明的内容相同。再现装置200最后向BD-ROM驱动器指定从LBN#1到LBN#2的范围。由此,从该范围的扇区组P1读取属于2D区段组EXT2D[0]、...、EXT2D[n]的源包组。同样,PI#2所示的PTS#3、#4的对首先利用2D片段信息文件531的入口映射变换为SPN#3、#4的对。接着,利用文件2D541的文件入口内的配置描述符,将SPN#3、#4的对变换为LBN#3、#4的对。并且,从LBN#3到LBN#4为止的范围的扇区组P2读取属于2D区段组的源包组。从PI#3所示的PTS#5、#6的对向SPN#5、#6的对的变换、从SPN#5、#6的对向LBN#5,#6的对的变换、以及从LBN#5到LBN#6的范围的扇区组P3对源包组的读取也同样。这样,再现装置200能够按照2D播放列表文件521的主路径3601从文件2D541再现2D影像。
2D播放列表文件521也可以包括入口标志3901。入口标志3901表示主路径3601中的实际应开始再现的时刻。如图47所示,也可以对PI#1设定多个入口标志3901。特别是在随机存取再现中,入口标志3901用于再现开始位置的检索。例如,在2D播放列表文件521规定电影标题的再现路径 时,对各章节的开头赋予入口标志3901。由此,再现装置200能够按每个章节来再现该电影标题。
<3D播放列表文件>
图48是示出3D播放列表文件4000的数据结构的示意图。参照图48,3D播放列表文件4000包括主路径4001、子路径4002及扩展数据4003。
主路径4001规定主TS的再现路径。因此,主路径4001与图44所示的2D播放列表文件的主路径3601相同。2D再现模式的再现装置200能够按照3D播放列表文件4000的主路径4001,从文件2D再现2D影像。
子路径4002规定子TS的再现路径,即包含左视视频流的文件DEP或包含深度图流的文件DEP中的某个的再现路径。子路径4002的数据结构与图44所示的2D播放列表文件的子路径3602、3603的数据结构相同。因此,对于该同样的数据结构的详细内容,尤其是对SUB_PI的数据结构的详细说明,能够援引利用图44进行的说明。
子路径4002的SUB_PI#N(N=1,2,3,...)与主路径4001的PI#N一对一地对应。并且,各SUB_PI#N所规定的再现开始时刻和再现结束时刻分别与对应的PI#N所规定的再现开始时刻和再现结束时刻相同。子路径4002在此基础上,还包括子路径类型4021。“子路径类型”一般表示在主路径和子路径之间再现处理是否应该同步。在3D播放列表文件4000中,子路径类型4021特别表示3D再现模式的种类,即应该按照子路径4002来再现的从属视视频流的种类。在图48中,子路径类型4021的值为“3DL/R”,所以表示3D再现模式为L/R模式,即右视视频流为再现对象。另一方面,在子路径类型4021的值为“3D深度”时,表示3D再现模式为深度模式,即深度图流为再现对象。在检测到子路径类型4021的值为“3DL/R”或“3D深度”时,3D再现模式的再现装置200使遵循主路径4001的再现处理和遵循子路径4002的再现处理同步。
扩展数据4003是只由3D再现模式的再现装置200解释的部分,被2D再现模式的再现装置200所忽略。扩展数据4003特别包括扩展流选择表4030。“扩展流选择表(STN_table_SS)”(下面,简称为STN表SS)为3D再现模式下应该追加在主路径4001内的各PI所示的STN表中的流登记信息的排列。该流登记信息表示能够从子TS选择作为再现对象的基本流。
图49是示出STN表SS4030的数据结构的示意图。参照图49,STN表SS4030包含流登记信息串4101、4102、4103、...。流登记信息串4101、4102、4103、...分别与主路径4001内的PI#1、#2、#3、...相对应,3D再现模式的再现装置200将该流登记信息串4101、4102、4103、...与包含在对应的PI内的STN表中的流登记信息串组合起来使用。针对各PI的流登记信息串4101包括:弹出期间的偏移(Fixed_offset_during_Popup)4111、从属视视频流的流登记信息串4112、PG流的流登记信息串4113、以及IG流的流登记信息串4114。
弹出期间的偏移4111表示是否能够从IG流再现弹出菜单。3D再现模式的再现装置200根据该偏移4111的值,变换视频平面和PG平面之间的显示模式(presentation mode)。在此,视频平面的显示模式有基视(B)-从属视(D)显示模式和B-B显示模式这两种,PG平面和IG平面的各显示模式有:2平面模式、1平面+偏移模式、以及1平面+零偏移模式这三种。例如,在弹出期间的偏移4111的值为“0”时,不从IG流再现弹出菜单。此时,选择B-D显示模式作为视频平面的显示模式,选择2平面模式或1平面+偏移模式作为PG平面的显示模式。另一方面,在弹出期间的偏移4111的值为“1”时,从IG流再现弹出菜单。此时,选择B-B显示模式作为视频平面的显示模式,选择1平面+零偏移模式作为PG平面的显示模式。
在“B-D显示模式”下,再现装置200交替输出从左视和右视的视频流解码后的平面数据。因此,在电视机300的屏幕上,交替地显示视频平面所表示的左视和右视的帧,所以视听者将它们看成3D影像。在“B-B显示模式”下,再现装置200在将动作模式维持为3D再现模式的状态下(特别是将帧速率维持为3D再现时的值,例如48帧/秒的状态下),每帧两次仅输出从基视视频流解码后的平面数据。因此,在电视机300的屏幕上,关于视频平面,只显示左视和右视中某一个的帧,所以视听者只能将它们看成2D影像。
在“2平面模式”下,在子TS包含左视和右视的图形流双方时,再现装置200从各图形流解码左视和右视的图形平面数据并交替地输出。在“1平面+偏移模式”下,再现装置200通过剪切处理,根据主TS内的图形流生成左视和右视的平面数据的对并交替地输出。在任一个模式下,在电视 机300的屏幕上都交替地显示左视和右视的PG平面,所以视听者将它们看成3D影像。在“1平面+零偏移模式”下,再现装置200在将动作模式维持为3D再现模式的状态下,使得剪切处理暂时停止,每帧两次仅输出从主TS内的图形流解码后的平面数据。因此,在电视机300的屏幕上,只能显示左视和右视中的某一个的PG平面,所以视听者只能将它们看成2D影像。
3D再现模式的再现装置200针对每个PI参照弹出期间的偏移4111,在从IG流再现弹出菜单时,选择B-B显示模式和1平面+零偏移模式。由此,在显示弹出菜单的期间,其它3D影像暂时变更为2D影像,所以能够提高弹出菜单的识别性和操作性。
从属视视频流的流登记信息串4112、PG流的流登记信息串4113及IG流的流登记信息串4114,分别包含表示能够从子TS选择为再现对象的从属视视频流、PG流及IG流的流登记信息。这些流登记信息串4112、4113、4114分别与包含在对应的PI内的STN表中的流登记信息串中的表示基视视频流、PG流及IG流的流登记信息进行组合来使用。3D再现模式的再现装置200在读取STN表内的某个流登记信息时,还自动读取组合在该流登记信息中的、STN表SS内的流登记信息串。由此,在只是将2D再现模式简单切换为3D再现模式时,再现装置200使得已设定的STN及语言等流属性保持不变。
图50(a)是表示从属视视频流的流登记信息串4112的数据结构的示意图。参照图50(a),该流登记信息串4112一般包含多个流登记信息(SS_dependet_view_block)4201。它们的数量与对应的PI内的流登记信息中的表示基视视频流的数量相同。各流登记信息4201包含STN4211、流入口4212及流属性信息4213。STN4211是分别分配给流登记信息4201的顺序号,与对应的PI内的组合对象的流登记信息的STN相同。流入口4212包含:子路径ID参照信息(ref_to_ Subpath_id)4221、流文件参照信息(ref_to_subClip_entry_id)4222、以及PID(ref_to_stream_PID_subclip)4223。子路径ID参照信息4221表示用于规定从属视视频流的再现路径的子路径的子路径ID。流文件参照信息4222是用于识别保存有该从属视视频流的文件DEP的信息。PID4223是该从属视视频流的PID。流属性信息4213包 含该从属视视频流的属性,例如帧速率、分辨率及视频格式。特别是,它们与对应的PI内的组合对象的流登记信息所示的基视视频流的属性信息相同。
图50(b)是示出PG流的流登记信息串4113的数据结构的示意图。参照图50(b),该流登记信息串4113一般包含多个流登记信息4231。它们的数量与对应的PI内的流登记信息中的、表示PG流的数量相同。各流登记信息4231包含:STN4241、立体视觉标志(is_SS_PG)4242、基视流入口(stream_entry_for_base_view)4243、从属视流入口(stream_entry_for_depentdent_view)4244、以及流属性信息4245。STN4241是分别对流登记信息4231分配的顺序号,与对应的PI内的组合对象的流登记信息的STN相同。立体视觉标志4242表示在记录介质100中是否包含有基视和从属视,例如左视和右视双方的PG流双方。在立体视觉标志4242为开启时,在子TS中包含双方的PG流。因此,基视流入口4243、从属视流入口4244及流属性信息4245中任一个的字段均被再现装置读取。在立体视觉标志4242为关闭时,这些字段4243-4245均被再现装置所忽略。基视流入口4243和从属视流入口4244均包含子路径ID参照信息、流文件参照信息及PID。子路径ID参照信息表示用于规定基视和从属视的各PG流的再现路径的子路径的子路径ID。流文件参照信息是用于识别保存有各PG流的文件DEP的信息。PID是各PG流的PID。流属性信息4245是各PG流的属性,例如语言的种类。
图50(c)是示出IG流的流登记信息串4114的数据结构的示意图。参照图50(c),该流登记信息串4114一般包含多个流登记信息4251。它们的数量与对应的PI内的流登记信息中的表示IG流的数量相同。各流登记信息4251包含:STN4261、立体视觉标志(is_SS_IG)4262、基视流入口4263、从属视流入口4264、以及流属性信息4265。STN4261是分别对流登记信息4251分配的顺序号,与对应的PI内的组合对象的流登记信息的STN相同。立体视觉标志4262表示在记录介质100中是否包含基视和从属视,例如左视和右视双方的IG流。在立体视觉标志4262为开启时,子TS中包含左视和右视双方的IG流。因此,基视流入口4263、从属视流入口4264及流属性信息4265中的任一个的字段均被再现装置读取。当立体视觉标志4262 为关闭时,这些字段4263-4265均被再现装置所忽略。基视流入口4263和从属视流入口4264均包含子路径ID参照信息、流文件参照信息及PID。子路径ID参照信息表示用于规定基视和从属视的各IG流的再现路径的子路径的子路径ID。流文件参照信息是用于识别保存有各IG流的文件DEP的信息。PID是各IG流的PID。流属性信息4265包含各IG流的属性,例如语言的种类。
[基于3D播放列表文件的3D影像的再现]
图51是示出3D播放列表文件(00002.mpls)522所示的PTS和从文件SS(01000.ssif)544A再现的部分之间的对应关系的示意图。参照图51,在3D播放列表文件522的主路径4301中,PI#1规定表示再现开始时刻IN1的PTS#1和表示再现结束时刻OUT1的PTS#2。PI#1的参照片段信息表示2D片段信息文件(01000.clpi)531。另一方面,在子路径类型表示“3DL/R”的子路径4302中,SUB_PI#1规定与PI#1相同的PTS#1、#2。SUB_PI#1的参照片段信息表示右视片段信息文件(02000.clpi)532。
再现装置200在按照3D播放列表文件522再现3D影像时,首先,从PI#1和SUB_PI#1读取PTS#1,#2。再现装置200接着参照2D片段信息文件531的入口映射,检索与PTS#1、#2对应的文件2D内的SPN#1、#2。与此并行地,再现装置200参照右视片段信息文件532的入口映射,検索与PTS#1、#2对应的文件DEP内的SPN#11、#12。再现装置200接着如图40(e)的说明中所述,利用各片段信息文件531、532的区段起点3042、3320,根据SPN#1、#11,计算从文件SS544A的开头起到再现开始位置为止的源包数SPN#21。再现装置200同样根据SPN#2、#12,计算从文件SS544A的开头起到再现结束位置为止的源包数SPN#22。再现装置200进一步计算与SPN#21、#22的各个对应的扇区数。再现装置200接着利用它们的扇区数和文件SS544A的文件入口内的配置描述符,来确定记录有再现对象的3D区段组EXTSS[0]、...、EXTSS[n]的、扇区组P11的前端的LBN#1和后端的LBN#2。扇区数的计算和LBN的确定与在图40(e)的说明中所述相同。再现装置200最后对BD-ROM驱动器指定从LBN#1到LBN#2的范围。由此,从该范围的扇区组P11读取属于3D区段组EXTSS[0]、...、EXTSS[n]的源包组。同样,首先,利用片段信息文件531、532的各入口映射,将 PI#2和SUB_PI#2所示的PTS#3、#4的对变换为SPN#3、#4的对和SPN#13、#14的对。接着,根据SPN#3、#13计算从文件SS544A的开头起到再现开始位置为止的源包数SPN#23,根据SPN#4、#14计算从文件SS544A的开头起到再现结束位置为止的源包数SPN#24。接着,利用文件SS544A的文件入口内的配置描述符,将SPN#23、#24的对变换为LBN#3、#4的对。并且,从LBN#3到LBN#4的范围的扇区组P12读取属于3D区段组的源包组。
与上述读取处理并行地,再现装置200如图40(e)的说明中所述,利用各片段信息文件531、532的区段起点3042、3320,从各3D区段提取基视区段,将其与剩下的右视区段并行地进行解码。这样,再现装置200按照3D播放列表文件522,从第一文件SS544A再现3D影像。
以上对播放列表信息文件进行了详细说明。
<索引表>
图52是示出索引文件(index.bdmv)内的索引表4410的示意图。参照图52,索引表4410包含称作“最先播放”4401、“顶部菜单”4402及“标题k”的44303(k=1,2,...,n:n为1以上的整数)的项目。各项目与电影对象MVO-2D、MVO-3D、...、或BD-J对象BDJO-2D、BDJO-3D、...中的某一个相对应。每次在通过用户的操作或应用程序调用了标题或菜单时,再现装置200的控制部参照索引表4410所对应的项目。控制部进一步从记录介质100调用与该项目对应的对象,按照该对象执行各种处理。具体而言,在项目“最先播放”4401中指定在记录介质100被插入到BD-ROM驱动器中时应调用的对象。在项目“顶部菜单”4402中指定例如用于通过用户的操作而输入了称作“返回菜单”的指令时使电视机300显示菜单的对象。在项目“标题k”4403中分别指定构成记录介质100上的内容的标题。例如,在通过用户的操作而指定了再现对象的标题时,在被分配了该标题的项目“标题k”中指定用于从与该标题对应的AV流文件再现影像的对象。
在图52所示的例中,对2D影像的标题分配了项目“标题1”和项目“标题2”。与项目“标题1”对应的电影对象MVO-2D,包含与利用2D播放列表文件(00001.mpls)521的2D影像的再现处理有关的命令组。在由再现装置200参照了项目“标题1”时,按照该电影对象MVO-2D,从记 录介质100读取2D播放列表文件521,沿着其中规定的再现路径执行2D影像的再现处理。与项目“标题2”对应的BD-J对象BDJO-2D包含与采用了2D播放列表文件521的2D影像的再现处理有关的应用管理表。在由再现装置200参照了项目“标题2”时,按照该BD-J对象BDJO-2D内的应用管理表,从JAR文件调用并执行Java应用程序。由此,从记录介质100读取2D播放列表文件521,沿着其中规定的再现路径执行2D影像的再现处理。
在图52所示的例中,进一步,项目“标题3”和项目“标题4”被分配到3D影像的标题中。与项目“标题3”对应的电影对象MVO-3D除了与采用了2D播放列表文件521的2D影像的再现处理有关的命令组之外,还包括与采用了3D播放列表文件(00002.mpls)522、(00003.mpls)523中的任一个的3D影像的再现处理有关的命令组。在与项目“标题4”对应的BD-J对象BDJO-3D中,应用管理表除了与采用了2D播放列表文件521的2D影像的再现处理有关的Java应用程序之外,还规定与采用了3D播放列表文件522、523中的任一个的3D影像的再现处理有关的Java应用程序。
在再现装置200参照了项目“标题3”时,首先按照电影对象MVO-3D来执行以下四种判断处理:(1)再现装置200自身是否与3D影像的再现对应;(2)用户是否选择了3D影像的再现,(3)电视机300是否与3D影像的再现对应;以及(4)再现装置200的3D影像再现模式是否是L/R模式和深度模式中的某一种。接着根据这些判断结果来选择某个播放列表文件521-523作为再现对象。在再现装置200参照了项目“标题4”时,按照BD-J对象BDJO-3D内的应用管理表,从JAR文件调用Java应用程序来予以执行。由此,首先,进行上述判断处理,接着选择与该判断结果对应的播放列表文件。
[3D影像标题的选择时的播放列表文件的选择]
图53是在选择了3D影像的标题时进行的再现对象的播放列表文件的选择处理的流程图。在图52所示的索引表4410中,项目“标题3”被参照时按照电影对象MVO-3D执行该选择处理,在项目“标题4”被参照时,按照BD-J对象BDJO-3D所规定的Java应用程序来执行该选择处理。
在此,作为该选择处理的前提,假设再现装置200包含第一标志和第二标志的情况。在第一标志为“0”时,再现装置200仅能够对应于2D影像的再现,在第一标志为“1”时,再现装置200还能够对应于3D影像的再现。在第二标志为“0”时,再现装置200为L/R模式,在第二标志为“1”时,再现装置200为深度模式。
在步骤S4501,再现装置200检查第一标志的值。在该值为0时,处理进入步骤S4505。在该值为1时,处理进入步骤S4502。
在步骤S4502,再现装置200使电视机300显示菜单,来使用户选择2D影像和3D影像中的某一个的再现。在用户操作遥控器105等选择了2D影像的再现时,处理进入步骤S4505,在选择了3D影像的再现时,处理进入步骤S4503。
在步骤S4503,再现装置200检查电视机300是否与3D影像的再现对应。具体而言,再现装置200通过HDMI线缆与电视机300之间交换CEC消息,向电视机300询问电视机300是否与3D影像的再现对应。在电视机300与3D影像的再现对应时,处理进入步骤S4504。在电视机300不对应于3D影像的再现时,处理进入步骤S4505。
在步骤S4504,再现装置200检查第二标志的值。在该值为0时,处理进入步骤S4506。在该值为1时,处理进入步骤S4507。
在步骤S4505,再现装置200选择2D播放列表文件521作为再现对象。此外,此时,再现装置200也可以使电视机300显示3D影像的再现没有被选择的理由。
在步骤S4506,再现装置200选择L/R模式用的3D播放列表文件522作为再现对象。
在步骤S4507,再现装置200选择深度模式用的3D播放列表文件523作为再现对象。
以上,对本发明的实施方式1的记录介质100进行了说明。
<2D再现装置的结构>
2D再现模式的再现装置200在从记录介质100再现2D影像内容时,作为2D再现装置进行动作。图54是2D再现装置4600的功能框图。参照图54,2D再现装置4600包含BD-ROM驱动器4601、再现部4600A及控 制部4600B。再现部4600A包括读取缓冲器4602、系统目标解码器4603及平面加法运算部4610。控制部4600B包括动态脚本存储器4604、静态脚本存储器4605、程序执行部4606、再现控制部4607、播放器变量存储部4608及用户事件处理部4609。再现部4600A和控制部4600B被安装在相互不同的集成电路中。除此之外,再现部4600A和控制部4600B也可以集中于一个集成电路中。
BD-ROM驱动器4601在记录介质100插入到内部时,对该记录介质100照射激光来检测其反射光的变化。并且,根据该反射光的光量变化,读取记录介质100中记录的数据。具体而言,BD-ROM驱动器4601具备光拾取器即光学头。该光学头包括:半导体激光器、准直镜、分光镜、物镜、聚光透镜及光检测器。从半导体激光器出射的光束依次通过准直镜、分光镜及物镜而集中于记录介质100的记录层上。集中的光束在该记录层中进行反射/衍射。该反射/衍射光通过物镜、分光镜及聚光透镜而集中到光检测器。光检测器生成与该集光量对应的电平的再现信号。并且,从该再现信号解调出数据。
BD-ROM驱动器4601根据来自再现控制部4607的请求,从记录介质100读取数据。在该数据中的文件2D的区段即2D区段被传送到读取缓冲器4602,动态脚本信息被传送到动态脚本存储器4604,静态脚本信息被传送到静态脚本存储器4605。“动态脚本信息”包括索引文件、电影对象文件及BD-J对象文件。“静态脚本信息”包括2D播放列表文件和2D片段信息文件。
读取缓冲器4602、动态脚本存储器4604及静态脚本存储器4605都是缓冲存储器。将再现部4600A内的存储器元件用作读取缓冲器4602,将控制部4600B内的存储器元件用作动态脚本存储器4604及静态脚本存储器4605。除此之外,也可以将单一的存储器元件的不同的区域用作这些缓冲存储器4602、4604、4605。读取缓冲器4602保存2D区段,动态脚本存储器4604保存动态脚本信息,静态脚本存储器4605保存静态脚本信息。
系统目标解码器4603从读取缓冲器4602以源包为单位读取2D区段来进行解复用处理,并且对分离后的各基本流进行解码处理。在此,预先从再现控制部4607向系统目标解码器4603传送各基本流的解码中所需的信 息,例如编解码器的种类及流的属性。系统目标解码器4603进一步将解码后的主视频流、次视频流、IG及PG流,分别按每个VAU作为主影像平面数据、副影像平面数据、IG平面数据及PG平面数据进行发送。另一方面,系统目标解码器4603将解码后的主音频流和次音频流进行混合后,向电视机300的内置扬声器103A等的声音输出装置发送。除此之外,系统目标解码器4603从程序执行部4606接收图形数据。该图形数据是用于将GUI用的菜单等的图形显示于画面上的数据,用JPEG或PNG等的栅格数据表现。系统目标解码器4603对该图形数据进行处理后作为图像平面数据进行发送。此外,对于系统目标解码器4603的详细内容将在后面进行说明。
用户事件处理部4609通过遥控器105或再现装置200的前面板来检测用户的操作,根据其操作的种类,来向程序执行部4606或再现控制部4607委托处理。例如,用户按下遥控器105的按钮而指示了弹出菜单的显示时,用户事件处理部4609检测出该按下并识别该按钮。用户事件处理部4609进一步向程序执行部4606委托与该按钮对应的指令的执行,即弹出菜单的显示处理。另一方面,例如,在用户按下了遥控器105的快进或倒退按钮时,用户事件处理部4609检测出该按下并识别该按钮。用户事件处理部4609进一步对再现控制部4607委托当前再现中的播放列表的快进或倒退处理。
再现控制部4607对将2D区段及索引文件等各种数据从记录介质100向读取缓冲器4602、动态脚本存储器4604及静态脚本存储器4605传送的处理进行控制。在该控制中,利用管理图7所示的目录/文件结构的文件系统。即,再现控制部4607利用文件打开用的系统调用,来使BD-ROM驱动器4601向各缓冲存储器4602、4604、4605传送各种文件。在此,文件打开是指下面的一系列处理。首先,通过系统调用向文件系统赋予検索对象的文件名,从目录/文件结构検索该文件名。在该検索中成功时,首先,传送对象的文件的文件入口被传送到再现控制部4607内的存储器中,在该存储器内生成FCB(File Control Block)。之后,从文件系统向再现控制部4607返回传送对象文件的文件句柄。之后,再现控制部4607通过向BD-ROM驱动器4601提示该文件句柄,使得BD-ROM驱动器4601从记录介质100向各缓冲存储器4602、4604、4605传送该传送对象的文件。
再现控制部4607对BD-ROM驱动器4601和系统目标解码器4603进行控制,从文件2D解码影像数据和声音数据。具体而言,再现控制部4607首先根据来自程序执行部4606的命令或来自用户事件处理部4609的委托,从静态脚本存储器4605读取2D播放列表文件来解释其内容。再现控制部4607接着按照该解釈的内容尤其是再现路径,对BD-ROM驱动器4601和系统目标解码器4603指定再现对象的文件2D,并指示该读取处理及解码处理。将这样的基于播放列表文件的再现处理称作“播放列表再现”。除此之外,再现控制部4607利用静态脚本信息来向播放器变量存储部4608设定各种播放器变量。再现控制部4607进一步参照它们的播放器变量,对系统目标解码器4603指定解码对象的基本流,并提供各基本流的解码中所需的信息。
播放器变量存储部4608是用于存储播放器变量的寄存器组。播放器变量的种类有系统参数(SPRM)和通用参数(GPRM)。SPRM表示再现装置200的状态。图55是SPRM的一览表。对各SPRM分配顺序号4701,各顺序号4701分别与变量值4702对应。主要SPRM的内容如下。在此,括号内的数字表示顺序号4701。
SPRM(0):语言代码
SPRM(1):主音频流编号
SPRM(2):字幕流编号
SPRM(3):角度编号
SPRM(4):标题编号
SPRM(5):章节编号
SPRM(6):程序编号
SPRM(7):单元编号
SPRM(8):选择关键字信息
SPRM(9):导航定时器
SPRM(10):再现时刻信息
SPRM(11):卡拉OK用混合模式
SPRM(12):家长用国家信息
SPRM(13):家长等级
SPRM(14):播放器设定值(视频)
SPRM(15):播放器设定值(音频)
SPRM(16):音频流用语言代码
SPRM(17):音频流用语言代码(扩展)
SPRM(18):字幕流用语言代码
SPRM(19):字幕流用语言代码(扩展)
SPRM(20):播放器区域码
SPRM(21):次视频流编号
SPRM(22):次音频流编号
SPRM(23):再现状态
SPRM(24):预留
SPRM(25):预留
SPRM(26):预留
SPRM(27):预留
SPRM(28):预留
SPRM(29):预留
SPRM(30):预留
SPRM(31):预留
SPRM(10)表示解码处理中的图片的PTS,该图片每次在被解码并写入主影像平面存储器中时被更新。因此,若参照SPRM(10),则能够知道当前的再现时刻。
SPRM(16)的音频流用语言代码及SPRM(18)的字幕流用语言代码表示再现装置200的默认的语言代码。用户能够利用再现装置200的OSD等来变更这些语言代码,也可以通过程序执行部4606使应用程序变更这些语言代码。例如,在SPRM(16)表示“英語”时,再现控制部4607在播放列表再现处理中,首先,从PI内的STN表检索包含“英語”的语言代码的流入口。再现控制部4607接着从该流入口的流识别信息提取PID来传送给系统目标解码器4603。由此,系统目标解码器4603选择该PID的音频流来进行解码。能够由再现控制部4607利用电影对象文件或BD-J对象文件执行这些处理。
再现控制部4607在再现处理中根据再现状态的变化来更新播放器变量。再现控制部4607特别是更新SPRM(1)、SPRM(2)、SPRM(21)及SPRM(22)。SPRM(1)、SPRM(2)、SPRM(21)及SPRM(22)依次表示处理中的音频流、字幕流、次视频流及次音频流的各STN。例如,假设程序执行部4606变更SPRM(1)时的情况。此时,再现控制部4607首先在当前时刻从再现处理中的PI内的STN表检索包含有变更后的SPRM(1)所示的STN的流入口。再现控制部4607接着从该流入口内的流识别信息提取PID来传送给系统目标解码器4603。由此,系统目标解码器4603选择该PID的音频流并进行解码。这样,再现对象的音频流被切换。同样,能够切换再现对象的字幕及次视频流。
程序执行部4606是处理器,执行电影对象文件及BD-J对象文件中所保存的程序。程序执行部4606按照各程序特别是执行如下的控制:(1)对再现控制部4607命令播放列表再现处理;(2)将菜单用或游戏用图形数据生成为PNG或JPEG的栅格数据,并将其传送给系统目标解码器4603来与其他影像数据合成。能够通过程序设计来较自由地设计这些控制的具体内容。即,由记录介质100的写作工序中的电影对象文件及BD-J对象文件的编程工序来确定这些控制内容。
平面加法运算部4610从系统目标解码器4603接收主影像平面数据、副影像平面数据、IG平面数据、PG平面数据及图像平面数据,并将它们相互重叠来合成为1个影像帧或场。合成后的影像数据被传送到电视机300,并显示于其屏幕上。
<系统目标解码器>
图56是系统目标解码器4603的功能框图。参照图56,系统目标解码器4603包括:源拆包器4810、ATC计数器4820、第一27MHz时钟4830、PID滤波器4840、STC计数器(STC1)4850、第二27MHz时钟4860、主影像解码器4870、副影像解码器4871、PG解码器4872、IG解码器4873、主声音解码器4874、副声音解码器4875、图像处理器4880、主影像平面存储器4890、副影像平面存储器4891、PG平面存储器4892、IG平面存储器4893、图像平面存储器4894、以及声音混合器4895。
源拆包器4810从读取缓冲器4602读取源包,并从其中提取TS包来传送给PID滤波器4840。源拆包器4810进一步根据各源包的ATS调整该传送时刻。具体而言,源拆包器4810首先监视ATC计数器4820生成的ATC的值。在此,ATC计数器4820根据第一27MHz时钟4830的时钟信号的脉冲来使ATC的值递增。源拆包器4810接着在ATC的值与源包的ATS一致的瞬间,将从该源包提取的TS包传送给PID滤波器4840。通过这样的送出时刻的调整,从源拆包器4810向PID滤波器4840传送的TS包的平均传送速度RTS不会超过图38所示的2D片段信息文件所示的系统速率3111。
PID滤波器4840首先对从源拆包器4810传过来的TS包中所含的PID进行监视。在该PID与从再现控制部4807预先指定的PID一致时,PID滤波器4840选择该TS包,并传送给适合对该PID所示的基本流进行解码的解码器4870-4875。例如,在PID为0x1011时,该TS包被传送给主影像解码器4870。另一方面,在PID属于0x1B00-0x1B1F、0x1100-0x111F、0x1A00-0x1A1F、0x1200-0x121F及0x1400-0x141F的各范围时,TS包分别被传送给副影像解码器4871、主声音解码器4874、副声音解码器4875、PG解码器4872及IG解码器4873。
PID滤波器4840进一步利用各TS包的PID来从该TS包中检测出PCR。此时,PID滤波器4840将STC计数器4850的值设定为预定值。在此,STC计数器4850的值根据第二27MHz时钟4860的时钟信号的脉冲被递增。此外,预先从再现控制部4807对PID滤波器4840指示应对STC计数器4850设定的值。各解码器4870-4875将STC计数器4850的值用作STC。即,根据该TS包所包含的PTS或DTS所示的时刻来调节对从PID滤波器4840送出的TS包进行解码处理的时期。
如图56所示,主影像解码器4870包括:传输流缓冲器(TB:TransportStream Buffer)4801、复用缓冲器(MB:Multiplexing Buffer)4802、基本流缓冲器(EB:Elementary Stream Buffer)4803、压缩影像解码器(DEC)4804、以及解码图片缓冲器(DPB:Decoded Picture Buffer)4805。TB4801、MB4802、EB4803及DPB4805均为缓冲存储器,分别利用内置于主影像解码器4870中的存储器元件的一个区域。除此之外,也可以将其中的某一个或全部分离到不同的存储器元件。TB4801原样存储从PID滤波器4840接收的TS包。 MB4802存储从存储在TB4801中的TS包复原的PES包。此外,在从TB4801向MB4802传送TS包时,从该TS包除去TS头。EB4803从PES包提取被编码后的VAU来予以保存。在该VAU中保存有压缩图片,即I图片、B图片及P图片。此外,在从MB4802向EB4803传送数据时,从该PES包除去PES头。DEC4804在原来的TS包中所包含的DTS所示的时刻,从EB4803内的各VAU解码图片。除此之外,DEC4804也可以利用图13所示的解码切换信息,与该DTS无关地从各VAU依次解码图片。DEC4804根据保存在各VAU内的压缩图片的压缩编码方式,例如,根据MPEG-2、MPEG-4AVC、VC1以及流属性来切换解码方法。DEC4804进一步将解码后的图片即帧或场传送给DPB4805。DPB4805暂时保持解码后的图片。DEC4804在对P图片及B图片进行解码时,参照保持在DPB4805中的解码后的图片。DPB4805进一步在原来的TS包中所包含的PTS所示的时刻,将所保持的各图片写入主影像平面存储器4890。
副影像解码器4871具有与主影像解码器4870同样的结构。副影像解码器4871首先将从PID滤波器4840接收的次视频流的TS包解码为非压缩的图片。副影像解码器4871接着在该TS包所包含的PTS所示的时刻,将非压缩的图片写入副影像平面存储器4891。
PG解码器4872将从PID滤波器4840接收的TS包解码为非压缩的图形数据,并将其在该TS包所包含的PTS所示的时刻写入PG平面存储器4892。
IG解码器4873将从PID滤波器4840接收的TS包解码为非压缩的图形数据,并将其在该TS包所包含的PTS所示的时刻写入IG平面存储器4893。
主声音解码器4874首先将从PID滤波器4840接收的TS包存储到内置的缓冲器中。主声音解码器4874接着从该缓冲器内的各TS包除去TS头和PES头,并将剩下的数据解码为非压缩的LPCM声音数据。主声音解码器4874进一步在原来的TS包所包含的PTS所示的时刻向声音混合器4895送出该声音数据。主声音解码器4874根据TS包所包含的主音频流的压缩编码方式例如AC-3或DTS及流属性,切换压缩声音数据的解码方法。
副声音解码器4875包括与主声音解码器4874同样的结构。副声音解码器4875首先将从PID滤波器4840接收的次音频流的TS包解码为非压缩的LPCM声音数据。副声音解码器4875接着在该TS包所包含的PTS所示的时刻,将非压缩的LPCM声音数据向声音混合器4895送出。副声音解码器4875根据TS包所包含的次音频流的压缩编码方式例如dolby数字+、DTS-HD LBR及流属性,切换压缩声音数据的解码方法。
声音混合器4895分别从主声音解码器4874和副声音解码器4875接收非压缩的声音数据,并利用它们来进行混合(声音的重叠)。声音混合器4895进一步向电视机300的内置扬声器103A等送出通过该混合得到的合成音。
图像处理器4880从程序执行部4806接收图形数据,即PNG或JPEG的栅格数据。此时,图像处理器4880对该图形数据进行绘制处理后写入图像平面存储器4894。
<3D再现装置的结构>
3D再现模式的再现装置200在从记录介质100再现3D影像内容时,作为3D再现装置来进行动作。该结构的基本部分与图54-56所示的2D再现装置的结构相同。因此,下面,对与2D再现装置的结构相比较的扩展部分及变更部分进行说明,对于基本部分的详细说明则援引上述的对2D再现装置的说明。此外,在按照2D播放列表文件进行的2D影像的再现处理即2D播放列表再现处理中所使用的结构与2D再现装置的结构相同。因此,对于其详细说明,也援引上述的对2D再现装置的说明。在以下的说明中,假设按照3D播放列表文件进行的3D影像的再现处理即3D播放列表再现处理。
图57是3D再现装置4900的功能框图。3D再现装置4900包括:BD-ROM驱动器4901、再现部4900A及控制部4900B。再现部4900A包括:切换器4911、第一读取缓冲器4921、第二读取缓冲器4922、系统目标解码器4903、及平面加法运算部4910。控制部4900B包括:动态脚本存储器4904、静态脚本存储器4905、程序执行部4906、再现控制部4907、播放器变量存储部4908、以及用户事件处理部4909。再现部4900A和控制部4900B被安装在相互不同的集成电路中。除此之外,再现部4900A和控制部4900B也可以集中在1个集成电路中。尤其是,动态脚本存储器4904、 静态脚本存储器4905、程序执行部4906及用户事件处理部4909与图54所示的2D再现装置内的各部件相同。因此,对于这些部件的详细说明,援引上述的对2D再现装置的说明。
BD-ROM驱动器4901包括与图54所示的2D再现装置内的驱动器4601同样的结构要素。BD-ROM驱动器4901在从再现控制部4907指示了LBN的范围时,从该范围所示的记录介质100上的扇区组读取数据。尤其是,从BD-ROM驱动器4901向切换器4911传送属于文件SS的区段即3D区段的源包组。在此,如图18(d)及图41所示,各3D区段包括1个以上的基视和从属视的数据块的对。这些数据块必须要并行地传送到不同的读取缓冲器4921、4922。因此,对BD-ROM驱动器4901要求2D再现装置内的BD-ROM驱动器4601的存取速率以上的存取速率。
切换器4911从BD-ROM驱动器4901接收3D区段。另一方面,切换器4911从再现控制部4907接收表示该3D区段所包含的各数据块的边界的信息,例如从该3D区段的开头到各边界为止的源包数。在此,再现控制部4907利用片段信息文件内的区段起点生成该信息。切换器4911进一步利用该信息从各3D区段提取基视数据块,并送出到第一读取缓冲器4921。另一方面,切换器4911向第二读取缓冲器4922送出剩下的从属视数据块。
第一读取缓冲器4921和第二读取缓冲器4922均是采用了再现部4900A内的存储器元件的缓冲存储器。特别将单一的存储器元件内的不同的区域用作各读取缓冲器4921、4922。除此之外,也可以将不同的存储器元件分别用作各读取缓冲器4921、4922。第一读取缓冲器4921从切换器4911接收基视数据块加以保存。第二读取缓冲器4922从切换器4911接收从属视数据块加以保存。
系统目标解码器4903首先从保存在第一读取缓冲器4921中的基视数据块和保存在第二读取缓冲器4922中的从属视数据块交替读取源包。系统目标解码器4903接着通过解复用处理来从各源包分离基本流,进一步从分离后的基本流中解码由再现控制部4907指示的PID所示的部分。系统目标解码器4903接着按每个其类别将解码后的基本流写入内置的平面存储器中。将基视视频流写入左影像平面存储器,将从属视视频流写入右影像平面存储器。另一方面,将次视频流写入副影像平面存储器,将IG流写入IG 平面存储器,将PG流写入PG平面存储器。在此,在视频流以外的流数据由基视和从属视的流数据的对构成时,对左视和右视双方的平面数据分别准备对应的平面存储器。除此之外,系统目标解码器4903将来自程序执行部4906的图形数据例如JPEG或PNG等栅格数据进行处理后,写入图像平面存储器。
系统目标解码器4903将从左影像和右影像的各平面存储器输出的平面数据的输出与B-D显示模式和B-B显示模式对应起来。在从再现控制部4907指示了B-D显示模式时,系统目标解码器4903从左影像和右影像的各平面存储器交替输出平面数据。另一方面,在从再现控制部4907指示了B-B显示模式时,系统目标解码器4903在将动作模式保持3D再现模式的状态下,仅从左影像和右影像中的某一个的平面存储器中每帧两次地输出平面数据。
系统目标解码器4903进一步将来自图形平面存储器即PG平面存储器、G平面存储器及图像平面存储器的各图形平面数据的输出,与2平面模式、1平面+偏移模式及1平面+零偏移模式对应起来。在从再现控制部4907指示了2平面模式时,系统目标解码器4903从各图形平面存储器交替输出左视和右视的图形平面数据。在从再现控制部4907指示了1平面+偏移模式或1平面+零偏移模式时,系统目标解码器4903在将动作模式维持3D再现模式的状态下,从各图形平面存储器输出图形平面数据。在从再现控制部4907指示了1平面+偏移模式时,进一步,系统目标解码器4903将由再现控制部4907指定的偏移值传送给平面加法运算部4910。在此,再现控制部4907根据片段信息文件内的偏移表设定该偏移值。另一方面,在从再现控制部4907指示了1平面+零偏移模式时,系统目标解码器4903向平面加法运算部4910传送“0”作为偏移值。
在从程序执行部4906等命令了3D播放列表再现处理时,再现控制部4907首先参照保存在静态脚本存储器4905中的3D播放列表文件。再现控制部4907接着根据3D播放列表文件,按照图51所示的顺序,向BD-ROM驱动器4901指示记录有读取对象的3D区段的扇区组的LBN的范围。另一方面,再现控制部4907参照保存在静态脚本存储器4905内的片段信息文件内的3D元数据,检索与读取对象的各3D区段有关的区段起点。再现控 制部4907进一步根据该区段起点生成表示包含在各3D区段中的数据块的边界的信息。该信息被从再现控制部4907送出到切换器4911。
除此之外,再现控制部4907还利用3D播放列表文件内的STN表和STN表SS,对系统目标解码器4903和平面加法运算部4910的动作条件进行控制。例如,选择再现对象的基本流的PID并传送给系统目标解码器4903。此外,根据STN表SS中的弹出期间的偏移4111来选择各平面的显示模式之后,指示给系统目标解码器4903和平面加法运算部4910。
播放器变量存储部4908与2D再现装置内的存储部4908同样,包含图55所示的SPRM。但是,在图55中预留的SPRM(24)-(32)中的某两个分别包括图53所示的第一标志和第二标志。例如,SPRM(24)包括第一标志,SPRM(25)包括第二标志。此时,在SPRM(24)为“0”时,再现装置200仅能够对应于2D影像的再现,在SPRM(24)为“1”时,还能够对应于3D影像的再现。在SPRM(25)为“0”时,再现装置200为L/R模式,在SPRM(25)为“1”时,再现装置200为深度模式。
平面加法运算部4910从系统目标解码器4903接收各种平面数据,将它们相互重叠来合成1个帧或场。尤其是,在L/R模式下,左影像平面数据表示左视视频平面,右影像平面数据表示右视视频平面。因此,平面加法运算部4910在左影像平面数据上重叠其他平面数据中的表示左视的平面数据,在右影像平面数据上重叠表示右视的平面数据。另一方面,在深度模式下,右影像平面数据表示针对左影像平面数据所表示的视频平面的深度图。因此,平面加法运算部4910首先从双方的影像平面数据生成左视和右视的视频平面数据的对。之后,平面加法运算部4910与L/R模式下的合成处理同样地进行合成处理。
在从再现控制部4907指示1平面+偏移模式或1平面+零偏移模式作为副影像平面、PG平面、IG平面或图像平面的显示模式时,平面加法运算部4910对从系统目标解码器4903接收的平面数据进行剪切处理。由此,生成左视和右视的平面数据的对。尤其是,在指示了1平面+偏移模式时,在该剪切处理中,利用从系统目标解码器4903或程序执行部4906指示的偏移值。另一方面,在指示了1平面+零偏移模式时,在该剪切处理中将偏移值设定为“0”。因此,相同的平面数据被作为表示左视和右视的数据重复 输出。之后,平面加法运算部4910与L/R模式下的合成处理同样地进行合成处理。向电视机300送出合成后的帧或场,并显示于其屏幕上。
<系统目标解码器>
图58是系统目标解码器4903的功能框图。图58所示的构成要素与图54所示的2D再现装置中的系统目标解码器4603相比,在以下两点上不同:(1)从读取缓冲器向各解码器输入的输入系统双重化的一点;以及(2)主影像解码器能够对应于3D再现模式,副影像解码器、PG解码器及IG解码器能够对应于2平面模式的一点。即,这些影像解码器均能够对基视和从属视的各自的流交替进行解码的一点。另一方面,主声音解码器、副声音解码器、声音混合器、图像处理器及各平面存储器与图54所示的2D再现装置中的各部件相同。因此,在下面,对图58所示的构成要素中的不同于图54所示的构成要素进行说明,对于同样的构成要素的详细说明,则援引对图54的说明。并且,各影像解码器均具有同样的结构,所以在下面,对主影像解码器5015的结构进行说明,对于其他影像解码器的结构,则援引该说明。
第一源拆包器5011从第一读取缓冲器4921读取源包,并从中取出TS包来向第一PID滤波器5013送出。第二源拆包器5012从第二读取缓冲器4922读取源包,并从中取出TS包来向第二PID滤波器5014送出。各源拆包器5011、5012进一步根据各源包的ATS来调整各TS包的送出时刻。该调整方法与图54所示的源拆包器4610采用的方法相同,所以关于其详细说明,援引对图54的说明。通过这样的调节,从第一源拆包器5011向第一PID滤波器5013传送的TS包的平均传送速度RTS1,不会超过图37所示的2D片段信息文件所示的系统速率3011。同样,从第二源拆包器5012向第二PID滤波器5014传送的TS包的平均传送速度RTS2不会超过从属视片段信息文件所示的系统速率。
第一PID滤波器5013在每次从第一源拆包器5011接收TS包时,将其PID与选择对象的PID进行比较。再现控制部4907预先按照3D播放列表文件内的STN表,指定该选择对象的PID。在双方的PID一致时,第一PID滤波器5013向被分配了该PID的解码器传送该TS包。例如,在PID为0x1011时,该TS包被传送给主影像解码器5015内的TB(1)5001。除此之 外,在PID属于0x1B00-0x1B 1F、0x1100-0x111F、0x1A00-0x1A1F、0x1200-0x121F及0x1400-0x141F的各范围时,对应的TS包分别被传送给副影像解码器、主声音解码器、副声音解码器、PG解码器及IG解码器。
第二PID滤波器5014在每次从第二源拆包器5012接收TS包时,将该PID与选择对象的PID进行比较。再现控制部4907预先按照3D播放列表文件内的STN表SS来指定该选择对象的PID。具体而言,当双方的PID一致时,第二PID滤波器5014将该TS包传送给被分配了该PID的解码器。例如,在PID为0x1012或0x1013时,该TS包被传送给主影像解码器5015内的TB(2)5008。除此之外,在PID属于0x1B20-0x1B3F、0x1220-0x127F及0x1420-0x147F的各范围时,将对应的TS包分别传送给副影像解码器、PG解码器及IG解码器。
主影像解码器5015包括:TB(1)5001、MB(1)5002、EB(1)5003、TB(2)5008、MB(2)5009、EB(2)5010、缓冲切换器5006、DEC5004、DPB5005、以及图片切换器5007。TB(1)5001、MB(1)5002、EB(1)5003、TB(2)5008、MB(2)5009、EB(2)5010以及DPB5005均为缓冲存储器。各缓冲存储器利用内置于主影像解码器5015的存储器元件的一个区域。除此之外,这些缓冲存储器中的某个或全部也可以分离为不同的存储器元件。
TB(1)5001从第一PID滤波器5013接收包含基视视频流的TS包之后原样进行存储。MB(1)5002从存储在TB(1)5001中的TS包复原PES包来进行存储。此时,从各TS包除去TS头。EB(1)5003从存储在MB(1)5002中的PES包提取出被编码后的VAU来进行存储。此时,从各PES包除去PES头。
TB(2)5008从第二PID滤波器5014接收包含从属视视频流的TS包之后原样进行存储。MB(2)5009从存储在TB(2)5008中的TS包复原PES包来进行存储。此时,从各TS包除去TS头。EB(2)5010从存储在MB(2)5009中的PES包提取出被编码后的VAU来进行存储。此时,从各PES包除去PES头。
缓冲切换器5006在原来的TS包中所包含的DTS所示的时刻,将分别存储在EB(1)5003和EB(2)5010中的VAU传送给DEC5004。在此,在基视视频流和从属视视频流之间,属于相同的3DVAU的一对图片的DTS相同。 因此,缓冲切换器5006将存储在EB(1)5003和EB(2)5010中的DTS相同的一对VAU中的、存储在EB(1)5003中的一方,先传送给DEC5004。除此之外,缓冲切换器5006也可以从DEC5004返回图13所示的该VAU内的解码切换信息。此时,缓冲切换器5006能够使用该解码切换信息1401,来决定应该从EB(1)5003和EB(2)5010中的哪一个传送下一个应该传送的VAU。
DEC5004对从缓冲切换器5006传送的VAU进行解码。在此,DEC5004根据保存在该VAU内的压缩图片的编码方式,例如根据MPEG-2、MPEG-4AVC、VC1以及流属性,切换解码方法。DEC5004进一步将被解码后的非压缩的图片即影像帧或场传送给DPB5005。
DPB5005暂时保存解码后的非压缩的图片。在DEC5004对P图片及B图片进行解码时,DPB5005根据来自DEC5004的请求,从所保持的非压缩的图片中向DEC5004提供参照图片。
图片切换器5007在原来的TS包中所包含的PTS所示的时刻,将非压缩的各图片从DPB5005写入左影像平面存储器5020和右影像平面存储器5021中的任一个。在此,在基视视频流和从属视视频流之间,属于相同的3DVAU的一对图片的PTS相等。因此,图片切换器5007将保持在DPB5005中的、PTS相等的一对图片中的、属于基视视频流的一方先写入左影像平面存储器5020,接着,将属于从属视视频流的另一方写入右影像平面存储器5021中。
<平面加法运算部>
图59是平面加法运算部4910的功能框图。参照图59,平面加法运算部4910包括:视差影像生成部5110、切换器5120、四个剪切处理部5131-5134、以及四个加法运算部5141-5144。
视差影像生成部5110从系统目标解码器4903接收左影像平面数据5101和右影像平面数据5102。在再现装置200为L/R模式时,左影像平面数据5101表示左视视频平面,右影像平面数据5102表示右视视频平面。此时,视差影像生成部5110将各视频平面数据5101、5102原样向切换器5120送出。另一方面,在再现装置200为深度模式时,左影像平面数据5101表示2D影像的视频平面,右影像平面数据5102表示针对该2D影像的深 度图。此时,视差影像生成部5110首先根据该深度图计算该2D影像的各部分的两眼视差。视差影像生成部5110接着加工左影像平面数据5101,根据所计算的两眼视差,向左右移动视频平面中的该2D影像的各部分的显示位置。由此,生成表示左视和右视的视频平面的对。视差影像生成部5110进一步向切换器5120送出该视频平面的对,作为左影像和右影像的平面数据的对。
在从再现控制部4907指示了B-D显示模式时,切换器5120将PTS相等的左影像平面数据5101和右影像平面数据5102,按照该记述顺序送出到第一加法运算部5141。在从再现控制部4907指示了B-B显示模式时,切换器5120将PTS相等的左影像平面数据5101和右影像平面数据5102中的一方,每帧两次地向第一加法运算部5141送出,其他则丢弃。
各剪切处理部5131-5134具有与视差影像生成部5110与切换器5120的对同样的结构。在2平面模式下,利用这些结构。尤其是,在再现装置200为深度模式时,来自系统目标解码器4903的平面数据被变换为左视和右视的平面数据的对。在再现控制部4907指示了B-D显示模式时,左视和右视的平面数据被交替地送出到各加法运算部5141-5144。另一方面,在再现控制部4907指示了B-B显示模式时,向各加法运算部5141-5144每帧两次地送出左视和右视的平面数据中的一方,另一方则丢弃。
在1平面+偏移模式下,第一剪切处理部5131从系统目标解码器4903接收偏移值5151,并利用该偏移值5151对副影像平面数据5103进行剪切处理。由此,该副影像平面数据5103被变换为表示左视和右视的一对副影像平面数据之后被交替地送出。另一方面,在1平面+零偏移模式下,该副影像平面数据5103被重复两次地送出。
在1平面+偏移模式下,第二剪切处理部5132从系统目标解码器4903接收偏移值5151,利用它们对PG平面数据5104进行剪切处理。由此,该PG平面数据5104被变换为表示左视和右视的一对PG平面数据之后被交替地送出。另一方面,在1平面+零偏移模式下,该PG平面数据5104被重复两次地送出。
在1平面+偏移模式下,第三剪切处理部5133从系统目标解码器4903接收偏移值5151,并利用该偏移值5151对IG平面数据5105进行剪切处 理。由此,该IG平面数据5105被变换为表示左视和右视的一对IG平面数据之后被交替地送出。另一方面,在1平面+零偏移模式下,该IG平面数据5105被重复两次地送出。
图60(a)、(b)是示出第二剪切处理部5132的剪切处理的示意图。在图60(a)、(b)中,从PG平面数据5104如下所述地生成左视PG平面数据5204L和右视PG平面数据5204R的对。第二剪切处理部5132首先从偏移值5151中检索被分配给PG平面的偏移值。第二剪切处理部5132接着根据该偏移值,将与PG平面数据5104所示的图形影像的显示位置相对应的左视和右视的各显示位置向左或右变化。其结果,能够得到左视和右视的PG平面数据的对。此外,在1平面+零偏移模式下,偏移值为“0”,所以原PG平面数据保持不变。第一剪切处理部5131对副影像平面数据5103同样地进行剪切处理,第三剪切处理部5133对IG平面数据5105同样地进行剪切处理。
参照图60(a),在偏移值的代码表示3D影像的进深比屏幕靠前时,第二剪切处理部5132首先将PG平面数据5104内的各像素数据的位置从原来的位置向右改变与偏移值相等的像素数5201L。在偏移值的代码表示3D影像的进深比屏幕靠后时,将原来的位置向左改变。第二剪切处理部5132接着从PG平面数据5104的范围除去溢出到右(或左)的像素数据组5202L。这样,将剩下的像素数据组5204L作为左视PG平面数据进行输出。
参照图60(b),在偏移值的代码表示3D影像的进深比屏幕靠前时,第二剪切处理部5132首先将PG平面数据5104内的各像素数据的位置从原来的位置向左改变与偏移值相等的像素数5201R。在偏移方向表示3D影像的进深比屏幕靠后时,将原来的位置向右改变。第二剪切处理部5132接着从PG平面数据5104的范围除去向左(或右)溢出的像素数据组5202R。这样,将剩下的像素数据组5204R作为右视PG平面数据进行输出。
图61(a)、(b)、(c)分别是表示利用图60所示的剪切处理生成的左视和右视的PG平面以及视听者根据这些能够感知的3D影像的示意图。参照图61(a),左视PG平面5301L从屏幕5302的范围向右位移偏移值5201L。其结果,左视PG平面5301L内的字幕的2D影像5303被看作比原来的位置向右位移偏移值5201L。参照图61(b),右视PG平面5301R则相反,从屏幕5302的范围向左位移偏移值5201R。其结果,右视PG平面5301R内的 字幕的2D影像5303被看成比原来的位置向左位移偏移值5201R。在将这些PG平面5301L、5301R交替显示到屏幕5302上时,如图61(c)所示,使视听者5304观察到的字幕的3D影像5305位于屏幕5302的前方。能够用偏移值5201L、5201R,对此时的3D影像5305和屏幕5302之间的距离进行调整。在使PG平面数据5104内的各像素数据的位置向与图60(a)、(b)所示的方向相反的方向变化时,使视听者5304观察到的字幕的3D影像5305位于屏幕5302的后方。
这样,在1平面+偏移模式下,利用剪切处理,根据1个平面数据生成左视和右视的平面数据的对。由此,即使根据1个平面数据也能够显示视差影像。即,能够对平面图像赋予进深感。尤其是,使得视听者观察到该平面图像从屏幕浮起来,或者是位于屏幕后面。此外,在1平面+零偏移模式下,由于偏移值为“0”,所以平面图像维持不变。
再次参照图59,图像平面数据5106利用系统目标解码器4903,对从程序执行部4906向系统目标解码器4903传送的图形数据进行解码。该图形数据是JPEG或PNG等的栅格数据,表示菜单等的GUI用图形组件。第四剪切处理部5134与其他剪切处理部5131-5133同样地对图像平面数据5106进行剪切处理。但是,第四剪切处理部5134与其他剪切处理部5131-5133不同,不是从系统目标解码器4903接收偏移值,而是从程序API5152接收偏移值。在此,由程序执行部4906执行程序API5152。由此,计算出与图形数据所表示的图像的进深相当的偏移值,并将其传给第四剪切处理部5134。
第一加法运算部5141首先从切换器5120接收视频平面数据,从第一剪切处理部5131接收副影像平面数据。第一加法运算部5141接着将视频平面数据和副影像平面数据一组一组地进行重叠后传给第二加法运算部5142。第二加法运算部5142从第二剪切处理部5132接收PG平面数据,重叠到来自第一加法运算部5141的平面数据上之后传给第三加法运算部5143。第三加法运算部5143从第三剪切处理部5133接收IG平面数据,并将其重叠到来自第二加法运算部5142的平面数据上之后,传给第四加法运算部5144。第四加法运算部5144从第四剪切处理部5134接收图像平面数据,并将其重叠到来自第三加法运算部5143的平面数据上之后,传给电视 机300。其结果,按照在图59上箭头5100所示的顺序,左影像平面数据5101或右影像平面数据5102、副影像平面数据5103、PG平面数据5104、IG平面数据5105及图像平面数据5106重叠。通过这些的合成处理,各平面数据所示的影像在电视机300的屏幕上,按照左影像平面或右影像平面、副影像平面、IG平面、PG平面及图像平面的顺序重叠来加以显示。
平面加法运算部4910除了上述处理之外,配合电视机300等的数据的输出目的地装置的3D影像的显示方式,改变由四个加法运算部5141-5144合成的平面数据的输出形式。例如,在输出目的地装置利用时分式时,平面加法运算部4910将合成后的平面数据作为1个影像帧或场送出。另一方面,在输出目的地装置采用柱状透镜时,平面加法运算部4910利用内置的缓冲存储器,将左视和右视的平面数据的对与1个影像帧或场合成后进行送出。具体而言,平面加法运算部4910将前面合成后的左视平面数据暂时保存并保持在该缓冲存储器中。平面加法运算部4910接着合成右视平面数据之后,进一步与保持在缓冲存储器中的左视平面数据合成。在该合成中,左视和右视的各平面数据在纵向上被分割为细长的短条形的小区域,各小区域在1个帧或场中沿着横向交替排列而重构为1个帧或场。这样,左视和右视的平面数据的对合成为1个影像帧或场。平面加法运算部4910将该合成后的影像帧或场向输出目的地装置送出。
以上是对再现装置的说明。
<为了影像的无缝再现而数据块的大小应满足的条件>
在本发明的实施方式的记录介质100中,如图15、41所示,基视数据块和从属视数据块一个一个地交替配置,形成交织配置。并且,在层边界等需要长跳跃的部位,如图20、24、26、28、30、32所示,基视数据块和其复制数据配置成2D再现专用块和3D再现专用块。如上述说明,这些数据块的配置有利于2D影像和3D影像中任一个的无缝再现。为了进一步可靠地实现这些无缝再现,各数据块的大小只要满足基于再现装置200的性能的条件就可以。下面,对这些条件进行说明。
<基于2D再现模式的性能的条件>
图62是2D再现模式的再现装置200内的再现处理系统的示意图。参照图62,该再现处理系统包含图54所示的要素中的BD-ROM驱动器4601、 读取缓冲器4602及系统目标解码器4603。BD-ROM驱动器4601从记录介质100读取2D区段,并以读取速度Rud-2D向读取缓冲器4602传送。系统目标解码器4603以平均传送速度Rext2D从读取缓冲器4602内所存储的各2D区段读取源包,解码为影像数据VD和声音数据AD。
平均传送速度Rext2D等于从图45所示的源拆包器3711向PID滤波器3713传送的TS包的平均传送速度RTS的192/188倍,一般按2D区段的不同而不同。平均传送速度Rext2D的最大值Rmax2D等于对文件2D的系统速率的192/188倍。在此,如图37所示,该系统速率被规定在2D片段信息文件中。此外,上述係数192/188等于源包和TS包之间的字节数之比。平均传送速度Rext2D通常用比特/秒表示,具体而言,等于将以比特为单位表示的2D区段的大小除以区段ATC时间后得到的值。“以比特为单位表示的区段的大小”等于该区段内的源包数和每1个源包的字节数(=192字节)的乘积的8倍。
读取速度Rud-2D通常用以比特/秒表示,被设定为比平均传送速度Rext2D的最高值Rmax2D高的值,例如设定为54Mbps:Rud-2D>Rmax2D。由此,在BD-ROM驱动器4601从记录介质100读取1个2D区段的期间,能够防止伴随系统目标解码器4603的解码处理的、读取缓冲器4602的下溢。
图63(a)是表示在2D区段的再现处理中存储在读取缓冲器4602中的数据量DA的变化的图表。图63(b)是表示包含这些2D区段的3D区段块5510和2D再现模式下的再现路径5520之间的对应关系的示意图。参照图63(b),3D区段块5510由交织配置的基视数据块组和从属视数据块组构成。按照再现路径5520,从记录介质100向读取缓冲器4602读取各基视数据块L0、L1、...,作为1个2D区段EXT2D[0]、EXT2D[1]、...。首先,在开头的基视数据块L0即2D区段EXT2D[0]的读取期间PR2D[0],如图63(a)所示,存储数据量DA以等于读取速度Rud-2D和平均传送速度Rext2D[0]之间的差Rud-2D-Rext2D[0]的速度增加。
在开头的2D区段EXT2D[0]的后端被读取时,产生最初的跳跃J2D[0]。在该跳跃期间PJ2D[0]中,后续的两个数据块D1、R1的读取被跳过,所以停止从记录介质100读取数据。因此,在最初的跳跃期间PJ2D[0]中,如图63(a)所示,存储数据量DA以平均传送速度Rext2D[0]减少。
在此,假设下述情况:在最初的读取期间PR2D[0]存储到读取缓冲器4602中的数据量即开头的2D区段EXT2D[0]的大小Sext2D[0],等于从该读取期间PR2D[0]经过最初的跳跃期间PJ2D[0]而从读取缓冲器4602向系统目标解码器4603传送的数据量。此时,如图63(a)所示,在最初的跳跃期间PJ2D[0]结束时,存储数据量DA不小于最初的读取期间PR2D[0]开始时的值。
接续于最初的跳跃J2D[0]之后,开始下一基视数据块L1即2D区段EXT2D[1]的读取。在该读取期间PR2D[1],如图63(a)所示,存储数据量DA以等于数据传送速度之差Rud-2D-Rext2D[1]的速度再次增加。
实际上,BD-ROM驱动器4601不像图63(a)所示那样连续进行读取/传送动作,而是断续地进行读取/传送动作。由此,在各2D区段的读取期间PR2D[0]、PR2D[1]、...,存储数据量DA不超过读取缓冲器4602的容量,即读取缓冲器4602不会发生溢出。因此,图63(a)的图表,将实际上階段状的增减作为直线性的增减近似地予以表示。
如上所示,在2D再现模式下沿着再现路径5520,交替地重复2D区段Ln=EXT2D[n](n=0,1,2,...)的读取和越过一对从属视数据块Dn、Rn的记录区域的跳跃J2D[n]。随之,读取缓冲器4602的存储数据量DA在读取期间PR2D[n]以速度Rud-2D-Rext2D[n]增加,在跳跃期间PJ2D[n]以Rext2D[n]减少。因此,在从这些2D区段EXT2D[n]无缝地再现2D影像时,必须要满足以下的条件[1]、[2]。
[1]需要在各跳跃期间PJ2D[n]持续从读取缓冲器4602向系统目标解码器4603供给数据,确保该解码器4603的连续的输出。从图63(a)能够明确可知,若在各读取期间PR2D[n]存储到读取缓冲器4602中的数据量即各2D区段EXT2D[n]的大小Sext2D[n]等于从该读取期间PR2D[n]经过下一跳跃期间PJ2D[n]从读取缓冲器4602向系统目标解码器4603传送的数据量,则在该跳跃期间PJ2D[n]的中途,存储数据量DA不会返回到该读取期间PR2D[n]紧前面的值。尤其是,读取缓冲器4602不会发生下溢。在此,读取期间PR2D[n]的长度等于将2D区段EXT2D[n]的大小Sext2D[n]除以读取速度Rud-2D后得到的值Sext2D[n]/Rud-2D。因此,各2D区段EXT2D[n]的大小Sext2D[n]只要满足下式(1)就可以:
[数1]
在式(1)中,跳跃时间Tjump-2D[n]为跳跃期间PJ2D[n]的长度,以秒为单位表示。另一方面,读取速度Rud-2D和平均传送速度Rext2D均用比特/秒表示。因此,在式(1)中,将平均传送速度Rext2D除以数“8”,将2D区段的大小Sext2D[n]的单位从比特变换为字节。即,2D区段的大小Sext2D[n]用字节单位表示。函数CEIL()表示将括号内的数值的小数点以下的尾数进行进位的操作。
[2]读取缓冲器4602的容量有限,所以限制跳跃时间Tjump-2D[n]的最大值。即,即使在跳跃期间PJ2D[n]紧前面,存储数据量DA充满整个读取缓冲器4602的容量,若跳跃时间Tjump-2D[n]过长,则在跳跃期间PJ2D[n],存在存储数据量DA达到0从而读取缓冲器4602产生下溢的风险。下面,将从记录介质100向读取缓冲器4602的数据供给被中断的状态下存储数据量DA从读取缓冲器4602的最大容量达到0为止的时间、即能够保证无缝再现的跳跃时间Tjump-2D的最大值,称作“最大跳跃时间”。
在光盘标准中,通常,根据光盘驱动器的存取速度等来决定跳跃距离和最大跳跃时间之间的关系。图64是与BD-ROM盘有关的跳跃距离Sjump和最大跳跃时间Tjump之间的对应表的一例。在图64中,用扇区单位表示跳跃距离Sjump,用m秒单位表示最大跳跃时间Tjump。在此,设1扇区=2048字节。参照图64,在跳跃距离Sjump属于0扇区、1-10000扇区、10001-20000扇区、20001-40000扇区、40001扇区-1/10行程(stroke)及1/10行程以上的各范围时,最大跳跃时间Tjump分别为50m秒、250m秒、300m秒、350m秒、700m秒以及1400m秒。
将跳跃距离Sjump等于0扇区时的最大跳跃时间特别称作“零扇区迁移时间Tjump-0”。所谓“零扇区迁移”,是指在两个连续的数据块之间的光拾取器的移動。在零扇区迁移期间,光拾取器暂时停止读取动作而待机。零扇区迁移时间除了基于记录介质100的旋转的光拾取器的位置的移動时间之外,也可以包括伴随纠错处理的开销。所谓“伴随纠错处理的开销”是指, 在两个连续的数据块间的边界与ECC块间的边界不一致时,由于采用该ECC块的纠错处理被进行两次而产生的多余的时间。在纠错处理中,需要1个整体的ECC块。因此,在两个连续的数据块共用1个ECC块时,在任一个数据块的读取处理中都读取该ECC块的整体来用于纠错处理。其结果,在每次读取这些数据块中的1个数据块时,除了其数据块之外,还读取最大32扇区的多余的数据。用该多余的数据的读取时间的合计即32[扇区]×2048[字节]×8[比特/字节]×2[次]/读取速度Rud-2D来评价伴随纠错处理的开销。此外,也可以通过以ECC块为单位构成各数据块,来从零扇区迁移时间除去伴随纠错处理的开销。
在记录介质100为多层盘时,在伴随层切换的长跳跃中,除了图64中规定的最大跳跃时间Tjump之外,在焦点跳跃等该记录层的切换操作中,还需要特定的时间,例如350m秒。下面,将该时间称作“层切换时间”。
如上所述,用两个参数TJ[n]、TL[n]之和决定应该代入式(1)中的跳跃时间Tjump-2D[n]:Tjump-2D[n]=TJ[n]+TL[n]。第一参数TJ[n]表示依据BD-ROM盘的规格而按跳跃距离规定的最大跳跃时间。在例如图64的表中,第一参数TJ[n]等于从第n个2D区段EXT2D[n]的后端到第(n+1)个2D区段EXT2D[n+1]的前端为止的扇区数、即与跳跃距离对应的最大跳跃时间。在第n个2D区段EXT2D[n]和第(n+1)个2D区段EXT2D[n+1]之间有层边界LB时,第二参数TL[n]表示层切换时间,例如表示350m秒,在没有层边界LB时,表示0。例如,在将跳跃时间Tjump-2D[n]的最大值限制在700m秒时,两个2D区段EXT2D[n]、EXT2D[n+1]之间的跳跃距离,在它们的2D区段之间没有层边界时,该跳跃距离允许的范围在1/10行程(=约1.2GB)内,在有层边界时,该跳跃距离允许的范围在40000扇区(=约78.1MB)内。
<基于3D再现模式的条件>
图65是示出3D再现模式的再现装置200内的再现处理系统的示意图。参照图65,该再现处理系统包括:图57所示的要素中的BD-ROM驱动器4901、切换器4911、第一读取缓冲器4921、第二读取缓冲器4922、以及系统目标解码器4903。BD-ROM驱动器4901从记录介质100读取3D区段,并以读取速度Rud-3D向切换器4911传送。切换器4911从各3D区段提取基视区段,从而与从属视区段分离。基视区段被保存到第一读取缓冲器4921, 从属视区段被保存到第二读取缓冲器4922。第二读取缓冲器4922内的存储数据在L/R模式下为右视区段,在深度模式下为深度图区段。系统目标解码器4903从第一读取缓冲器4921内所存储的各基视区段以第一平均传送速度Rext1读取源包。L/R模式下的系统目标解码器4903从第二读取缓冲器4922内所存储的各右视区段以第二平均传送速度Rext2读取源包。深度模式的系统目标解码器4903从第二读取缓冲器4922内所存储的各深度图区段以第三平均传送速度Rext3读取源包。系统目标解码器4903进一步将所读取的基视区段和从属视区段的对解码为影像数据VD和声音数据AD。
将第一平均传送速度Rext1称作“基视传送速度”。基视传送速度Rext1等于图58所示的从第一源拆包器5011向第一PID滤波器5013传送的TS包的平均传送速度RTS1的192/188倍,一般按每个基视区段而不同。基视传送速度Rext1的最高值Rmax1等于针对文件2D的系统速率的192/188倍。该系统速率被2D片段信息文件规定。基视传送速度Rext1通常用比特/秒表示,具体而言,等于将用比特单位表示的基视区段的大小除以区段ATC时间后得到的值。区段ATC时间表示对该基视区段内的源包赋予的ATS的范围。因此,区段ATC时间等于从第一读取缓冲器4921向系统目标解码器4903传送该基视区段内的所有源包所需的时间。
将第二平均传送速度Rext2称作“右视传送速度”,将第三平均传送速度Rext3称作“深度图传送速度”。任一个传送速度Rext2、Rext3均等于从第二源拆包器5012向第二PID滤波器5014传送的TS包的平均传送速度RTS2的192/188倍,一般按每个从属视区段而不同。右视传送速度Rext2的最高值Rmax2等于针对包含右视视频流的文件DEP的系统速率的192/188倍,深度图传送速度Rext3的最高值Rmax3等于针对包含深度图流的文件DEP的系统速率的192/188倍。各系统速率被右视片段信息文件和深度图片段信息文件规定。各传送速度Rext2、Rext3通常用比特/秒表示,具体而言,等于将用比特单位表示的从属视区段的大小除以区段ATC时间后得到的值。区段ATC时间表示对各从属视区段内的源包赋予的ATS的范围。因此,区段ATC时间等于从第二读取缓冲器4922向系统目标解码器4903传送该从属视区段内的全部源包所需的时间。
读取速度Rud-3D通常用比特/秒表示,并设定为比第一-三平均传送速度Rext1-Rext3中的任一个的最高值Rmax1-Rmax3高的值,例如72Mbps:Rud-3D>Rmax1,Rud-3D>Rmax2,Rud-3D>Rmax3。由此,在由BD-ROM驱动器4901从记录介质100读取1个3D区段的期间,能够防止伴随系统目标解码器4903的解码处理的各读取缓冲器4921、4922的下溢。
[L/R模式]
图66(a)、(b)是表示在L/R模式下的3D区段块的再现处理中存储到各读取缓冲器4921、4922中的数据量DA1、DA2的变化的图表。图66(c)是表示该3D区段块5810和L/R模式下的再现路径5820之间的对应关系的示意图。参照图66(c),3D区段块5810由交织配置的基视数据块组和从属视数据块组构成。沿着再现路径5820,读取邻接的右视数据块Rk和基视数据块Lk的各对(k=0,1,2,...),作为1个3D区段EXTSS[k]。在此,为了便于说明,假设已经读取(n-1)个3D区段,并且整数n充分大于1的情况。此时,两读取缓冲器4921、4922的存储数据量DA1、DA2已经维持在各自的下限值UL1、UL2以上。将这些下限值UL1、UL2称作“缓冲器余量”。将在后面说明用于确保缓冲器余量UL1、UL2的方法。
参照图66(c),在第(2n-1)读取期间PRR[n],从记录介质100向第二读取缓冲器4922读取第n个右视区段Rn。在第(2n-1)读取期间PRR[n],如图66(b)所示,第二读取缓冲器4922的存储数据量DA2按与读取速度Rud-3D和右视传送速度Rext2[n]之差Rud-3D-Rext2[n]相等的速度增加。另一方面,如图66(a)所示,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n-1]减少。
在读取了第n个右视区段Rn的后端后,产生第n次的零扇区迁移J0[n]。在第n零扇区迁移期间PJ0[n],停止从记录介质100读取数据。因此,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n-1]持续减少,第二读取缓冲器4922的存储数据量DA2按右视传送速度Rext2[n]减少。
从第n零扇区迁移期间PJ0[n]的结束时刻起开始第2n读取期间PRL[n]。在第2n读取期间PRL[n],从记录介质100向第一读取缓冲器4921读取第n个基视区段Ln。因此,如图66(a)所示,第一读取缓冲器4921的存储数据量DA1按与读取速度Rud-3D和基视传送速度Rext1[n]之差Rud-3D-Rext1[n] 相等的速度增加。另一方面,如图66(b)所示,第二读取缓冲器4922的存储数据量DA2按右视传送速度Rext2[n]持续减少。
在读取了第n个基视区段Ln的后端后,产生第n个跳跃JLR[n]。在第n跳跃期间PJLR[n],第(n+1)个深度图区段D(n+1)的读取被跳过,所以停止从记录介质100读取数据。因此,在第n跳跃期间PJLR[n],如图66(a)所示,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n]减少。另一方面,如图66(b)所示,第二读取缓冲器4922的存储数据量DA2按右视传送速度Rext2[n]持续减少。
在此,假设下述情况:在第(2n-1)读取期间PRR[n]存储到第二读取缓冲器4922中的数据量、即第n个右视区段Rn的大小Sext2[n],至少等于从第(2n-1)读取期间PRR[n]经过第n跳跃期间PJLR[n]从第二读取缓冲器4922向系统目标解码器4903传送的数据量。此时,在跳跃期间PJLR[n]结束时,如图66(b)所示,第二读取缓冲器4922的存储数据量DA2不会小于第二缓冲器余量UL2。
从第n跳跃期间PJLR[n]的结束时刻起开始第(2n+1)读取期间PRR[n+1]。在第(2n+1)读取期间PRR[n+1],从记录介质100向第二读取缓冲器4922读取第(n+1)个右视区段R(n+1)。因此,如图66(b)所示,第二读取缓冲器4922的存储数据量DA2按与读取速度Rud-3D和右视传送速度Rext2[n+1]之差Rud-3D-Rext2[n+1]相等的速度增加。另一方面,如图66(a)所示,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n]持续减少。
在读取第(n+1)个右视区段R(n+1)的后端后,产生第(n+1)次零扇区迁移J0[n+1]。在第(n+1)零扇区迁移期间PJ0[n+1],停止从记录介质100读取数据。因此,第一读取缓冲器4921的存储数据量DA1以基视传送速度Rext1[n]持续减少,第二读取缓冲器4922的存储数据量DA2以右视传送速度Rext2[n+1]减少。
在此,假设如下情况:在第2n读取期间PRL[n]存储到第一读取缓冲器4921中的数据量、即第n个基视区段Ln的大小Sext1[n],至少等于从第2n读取期间PRL[n]经过第(n+1)零扇区迁移期间PJ0[n+1]从第一读取缓冲器4921向系统目标解码器4903传送的数据量。此时,在第(n+1)零扇区迁移 期间PJ0[n+1]结束时,如图66(a)所示,第一读取缓冲器4921的存储数据量DA1不会小于第一缓冲器余量UL1。
为了从3D区段EXTSS[n]=Rn+Ln、EXTSS[n+1]=R(n+1)+L(n+1)、...与它们之间的跳跃无关地无缝地再现3D影像,只要重复与上述同样的存储数据量DA1、DA2的变化就可以。为此,只要满足以下的条件[3]、[4]、[5]就可以。
[3]第n个基视区段Ln的大小Sext1[n],至少等于从第2n读取期间PRL[n]经过第(n+1)零扇区迁移期间PJ0[n+1]从第一读取缓冲器4921向系统目标解码器4903传送的数据量。在此,第2n读取期间PRL[n]的长度等于将第n个基视区段Ln的大小Sext1[n]除以读取速度Rud-3D后得到的值Sext1[n]/Rud-3D。第(2n+1)读取期间PRR[n+1]的长度等于将第(n+1)个右视区段R(n+1)的大小Sext2[n+1]除以读取速度Rud-3D后得到的值Sext2[n+1]/Rud-3D。因此,第n个基视区段Ln的大小Sext1[n]只要满足下式(2)就可以:
[数2]
[4]第n个右视区段Rn的大小Sext2[n],至少等于从第(2n-1)读取期间PRR[n]经过第n跳跃期间PJLR[n]从第二读取缓冲器4922向系统目标解码器4903传送的数据量。在此,第(2n-1)读取期间PRR[n]的长度等于将第n个右视区段Rn的大小Sext2[n]除以读取速度Rud-3D后得到的值Sext2[n]/Rud-3D。因此,第n个右视区段Rn的大小Sext2[n]只要满足下式(3)就可以:
[数3]
[5]应该代入式(2)、(3)中的跳跃时间Tjump-3D[n]不同于应该代入式(1)中的跳跃时间Tjump-2D[n],仅由第一参数TJ[n]决定:Tjump-3D[n]=TJ[n]。第一参数TJ[n]在例如图64的表中,等于从第n个基视区段Ln的后端到第(n+1)个右视区段R(n+1)的前端的扇区数,即与跳跃距离对应的最大跳跃时间。
[深度模式]
图67(a)、(b)是表示在深度模式下的3D区段块再现处理中各读取缓冲器4921、4922中所存储的数据量DA1、DA2的变化的图表。图67(c)是表示该3D区段块5910和深度模式下的再现路径5920之间的对应关系的示意图。参照图67(c),3D区段块5910由与图66(c)所示的3D区段块5810同样的交织配置的数据块组构成。按照再现路径5920,将深度图数据块Dk和基视数据块Dk分别作为1个区段进行读取(k=0,1,2,...)。与图66的情况同样,假设已经读取(n-1)个3D区段,且整数n充分大于1的情况。此时,两个读取缓冲器4921、4922的存储数据量DA1、DA2已经分别被维持在各自的缓冲器余量UL1、UL2以上。
参照图67(c),在第(2n-1)读取期间PRD[n],从记录介质100向第二读取缓冲器4922读取第n个深度图区段Dn。在第(2n-1)读取期间PRD[n],如图67(b)所示,第二读取缓冲器4922的存储数据量DA2按与读取速度Rud-3D和深度图传送速度Rext3[n]之差Rud-3D-Rext3[n]相等的速度增加。另一方面,如图67(a)所示,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n-1]减少。
在读取第n个深度图区段Dn的后端后,产生第n次的跳跃JLD[n]。在第n跳跃期间PJLD[n],由于第n个右视区段Rn的读取被跳过,所以停止从记录介质100读取数据。因此,在第n跳跃期间PJLD[n],如图67(a)所示,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n-1]持续减少。另一方面,如图67(b)所示,第二读取缓冲器4922的存储数据量DA2按深度图传送速度Rext3[n]减少。
从第n跳跃期间PJLD[n]的结束时刻起开始第2n读取期间PRL[n]。在第2n读取期间PRL[n],从记录介质100向第一读取缓冲器4921读取第n个基视区段Ln。因此,如图67(a)所示,第一读取缓冲器4921的存储数据量DA1按与读取速度Rud-3D和基视传送速度Rext1[n]之差Rud-3D-Rext1[n]相等的 速度增加。另一方面,如图67(b)所示,第二读取缓冲器4922的存储数据量DA2按深度图传送速度Rext3[n]持续减少。
在读取了第n个基视区段Ln的后端后,产生第n次的零扇区迁移J0[n]。在第n零扇区迁移期间PJ0[n],停止从记录介质100读取数据。因此,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n]减少,第二读取缓冲器4922的存储数据量DA2按深度图传送速度Rext3[n]持续减少。
在此,假设以下情况:在第(2n-1)读取期间PRD[n]存储到第二读取缓冲器4922中的数据量、即第n个深度图区段Dn的大小Sext3[n],至少等于从第(2n-1)读取期间PRD[n]经过第n零扇区迁移期间PJ0[n]从第二读取缓冲器4922向系统目标解码器4903传送的数据量。此时,在第n零扇区迁移期间PJ0[n]结束时,如图67(b)所示,第二读取缓冲器4922的存储数据量DA2不会小于第二缓冲器余量UL2。
从第n零扇区迁移期间PJ0[n]的结束时刻起开始第(2n+1)读取期间PRD[n+1]。在第(2n+1)读取期间PRD[n+1],从记录介质100向第二读取缓冲器4922读取第(n+1)个深度图区段D(n+1)。因此,如图67(a)所示,第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n]持续减少。另一方面,如图67(b)所示,第二读取缓冲器4922的存储数据量DA2按速度Rud-3D-Rext3[n+1]增加。
在读取第(n+1)个深度图区段D(n+1)的后端后,产生第(n+1)个跳跃JLD[n+1]。在第(n+1)跳跃期间PJLD[n+1],由于第(n+1)个右视区段R(n+1)的读取被跳过,所以停止从记录介质100读取数据。因此,在第(n+1)个跳跃期间PJLD[n+1],第一读取缓冲器4921的存储数据量DA1按基视传送速度Rext1[n]持续减少,第二读取缓冲器4922的存储数据量DA2按深度图传送速度Rext3[n+1]减少。
从第(n+1)个跳跃期间PJLD[n+1]的结束时刻起,开始第(2n+2)读取期间PRL[n+1]。在第(2n+2)读取期间PRL[n+1],从记录介质100向第一读取缓冲器4921读取第(n+1)个基视区段L(n+1)。因此,如图67(a)所示,第一读取缓冲器4921的存储数据量DA1按速度Rud-3D-Rext1[n+1]增加。另一方面,如图67(b)所示,第二读取缓冲器4922的存储数据量DA2按深度图传送速度Rext3[n+1]持续减少。
在此,假设下面的情况:在第2n读取期间PRL[n]存储到第一读取缓冲器4921中的数据量、即第n个基视区段Ln的大小Sext1[n],至少等于从第2n读取期间PRL[n]经过第(n+1)跳跃期间PJLD[n+1]从第一读取缓冲器4921向系统目标解码器4903传送的数据量。此时,在第(n+1)跳跃期间PJLD[n+1]结束时,如图67(a)所示,第一读取缓冲器4921的存储数据量DA1不会小于第一缓冲器余量UL1。
为了从深度图区段Dn、D(n+1)、...和基视区段Ln、L(n+1)、...,与它们之间的跳跃无关地无缝地再现3D影像,只要重复与上述同样的存储数据量DA1、DA2的变化就可以。为此,只要满足以下的条件[6]、[7]、[8]就可以。
[6]第n个基视区段Ln的大小Sext1[n]至少等于从第2n读取期间PRL[n]经过第(n+1)跳跃期间PJLD[n+1]从第一读取缓冲器4921向系统目标解码器4903传送的数据量。在此,第2n读取期间PRL[n]的长度等于将第n个基视区段Ln的大小Sext1[n]除以读取速度Rud-3D后得到的值Sext1[n]/Rud-3D。第(2n+1)读取期间PRD[n+1]的长度等于将第(n+1)个深度图区段D(n+1)的大小Sext3[n+1]除以读取速度Rud-3D后得到的值Sext3[n+1]/Rud-3D。因此,第n个基视区段Ln的大小Sext1[n]只要满足下式(4)就可以:
[数4]
[7]第n个深度图区段Dn的大小Sext3[n]至少等于从第(2n-1)读取期间PRD[n]经过第n零扇区迁移期间PJ0[n]从第二读取缓冲器4922向系统目标解码器4903传送的数据量。在此,第(2n-1)读取期间PRD[n]的长度等于将第n个深度图区段Dn的大小Sext3[n]除以读取速度Rud-3D后得到的值Sext3[n]/Rud-3D。因此,第n个深度图区段Dn的大小Sext3[n]只要满足下式(5)就可以:
[数5]
[8]应该代入式(4)、(5)中的跳跃时间Tjump-3D[n],例如在图64的表中,等于从第n个深度图区段Dn的后端起到第n个基视区段Ln的前端为止的扇区数、即与跳跃距离对应的最大跳跃时间。此外,在本发明的实施方式的数据块组的配置中,区段ATC时间相等的深度图区段Dn和基视区段Ln的对被配置成之间不会夹着层边界。
无论第n个基视区段Ln和第(n+1)个深度图区段D(n+1)之间是否有层边界LB,零扇区迁移时间Tjump-0[n]等于仅由实际的零扇区迁移中所需的时间评价的规定值。
其结果,为了实现从交织配置的数据块组进行2D影像的无缝再现、3D影像的L/R模式下的无缝再现以及3D影像的深度模式下的无缝再现中的某一个,只要将各数据块的大小设计成全部满足上述式(1)-(5)就可以。尤其是,基视数据块的大小只要为式(1)、(2)及(4)的各右边中的最大的右边值以上就可以。下面,将满足全部式(1)-(5)的数据块的大小的下限值称作“最小区段大小”。
<读取缓冲器的余量>
图66、67的各(a)、(b)图所示的各读取缓冲器4921、4922的存储数据量DA1、DA2的下限值UL1、UL2表示各自的缓冲器余量。所谓“缓冲器余量”是指,在1个3D区段块、即交织配置的一系列的数据块组的读取期间,应该在各读取缓冲器中维持的存储数据量的下限值。在流数据的读取中,在读取对象的记录层被切换时,或其他文件的读取处理被插入时,在不同的3D区段块之间产生长跳跃。在此,上述其他文件包含AV流文件以外的文件,例如电影对象文件、BD-J对象文件、以及JAR文件。长跳跃比在式(2)-(5)的导出中考虑的1个3D区段块内所产生的跳跃长。并且,在其他文件的读取处理被插入所导致的长跳跃中,其发生时期不确定,尤其是,也能够在1个数据块的读取中途产生。因此,与在式(2)-(5)中代入长跳跃的 最大跳跃时间来设定最小区段大小的方式相比,将缓冲器余量维持为能够防止在长跳跃中的各读取缓冲器的下溢的量的方式更为有利。
图68是表示在L/R模式下的再现处理中产生的长跳跃JLY、JBDJ1、JBDJ2的示意图。参照图68,在位于层边界LB之前的第一记录层上,配置有第一3D区段块6001,在其后端L3和层边界LB之间配置有2D再现专用块L42D。另一方面,在位于层边界LB之后的第二记录层上,配置有第二3D区段块6002。并且,在从任一个3D区段块6001、6002都离开的区域,记录有BD-J对象文件6003。在从第一3D区段块6001向第二3D区段块6002的再现处理中,产生伴随层切换的长跳跃JLY。另一方面,在第一3D区段块6001的读取过程中BD-J对象文件6003的读取处理被插入时,产生一对长跳跃JBDJ1、JBDJ2。如下所述对各长跳跃JLY、JBDJ计算所需的缓冲器余量UL1、UL2。
伴随层切换的长跳跃JLY的最大跳跃时间Tjump-LY,等于在图64的表中与第一长跳跃JLY的跳跃距离相对应的最大跳跃时间和层切换时间之和。该跳跃距离等于第一3D区段块6001内的最后的基视数据块L3的后端和第二3D区段块6002内的开头的右视数据块R4的前端之间的扇区数。另一方面,基视传送速度Rext1不超过最高值Rmax1。因此,在该长跳跃JLY的期间从第一读取缓冲器4921消耗的数据量,不超过基视传送速度的最高值Rmax1与最大跳跃时间Tjump-LY之积。将该乘积的值决定为第一缓冲器余量UL1。即,用下式(6)计算第一缓冲器余量UL1:
[数6]
例如,在跳跃距离为40000扇区时,根据图64的表,最大跳跃时间Tjump-LY为包含层切换时间350m秒的700m秒。因此,在针对文件2D的系统速率为48Mbps时,第一缓冲器余量UL1等于(48Mbps×192/188)×0.7秒=约4.09MB。
同样,在长跳跃JLY的期间,将从第二读取缓冲器4922消耗的数据量的最大值即右视传送速度的最大值Rmax2与最大跳跃时间Tjump-LY之积,决定为第二缓冲器余量UL2。即,用下式(7)计算第二缓冲器余量UL2:
[数7]
例如,在跳跃距离为40000扇区,即最大跳跃时间Tjump-LY为700m秒,针对第一文件DEP的系统速率为16Mbps时,第二缓冲器余量UL2等于(16Mbps×192/188)×0.7秒=约1.36MB。
再次参照图68,在第一3D区段块6001的读取期间发生了BD-J对象文件6003的读取处理的插入时,产生最初的长跳跃JBDJ1。由此,读取对象的位置从第二基视数据块L2的记录区域向BD-J对象文件6003的记录区域移动。该跳跃时间TBDJ预先被规定为一定值,例如900m秒。接着,BD-J对象文件6003被读取。该读取所需的时间等于将属于该文件6003的区段的大小SBDJ的8倍除以读取速度Rud-3D后得到的8×SBDJ[n]/Rud-3D(通常,区段的大小SBDJ用字节单位表示,读取速度Rud-3D则用比特/秒表示,所以需要为8倍)。接着,生成第二个长跳跃JBDJ2。由此,读取对象的位置从BD-J对象文件6003的记录区域返回到第二基视数据块L2的记录区域。该跳跃时间TBDJ等于最初的跳跃时间,例如900m秒。在进行共两次的长跳跃JBDJ1、JBDJ2和BD-J对象文件6003的读取的期间,不向第一读取缓冲器4921读入数据。因此,将该期间从第一读取缓冲器4921消耗的数据量的最大值决定为第一缓冲器余量UL1。即,用下式(8)计算第一缓冲器余量UL1:
[数8]
同样,将在进行两次的长跳跃JBDJ1、JBDJ2和BD-J对象文件6003的读取的期间,从第二读取缓冲器4922消耗的数据量的最大值决定为第二缓冲器余量UL2。即,用下式(9)计算第二缓冲器余量UL2:
[数9]
第一缓冲器余量UL1被设定为用式(6)、(8)的右边表示的值中的某个较大的值。第二缓冲器余量UL2被设定为用式(7)、(9)的右边表示的值中的某个较大的值。
<读取缓冲器的最小容量>
关于从图66、67的各(c)图所示的一系列的3D区段块进行的再现处理,如下所述计算各读取缓冲器4921、4922所需的容量的最小值。
在3D再现模式下读取第n个基视数据块Ln(n=0,1,2,...)时,第一读取缓冲器4921所需的容量RB1[n]只要为图66、67的各(a)图所示的图表的峰值中的最高值以上就可以。在此,若读取对象的基视数据块的大小Sext1为一定,则在基视传送速度Rext1等于最高值Rmax1时,峰值最高。因此,该容量RB1[n]只要在L/R模式和深度模式的任一个模式下都满足下式(10)就可以:
[数10]
在L/R模式下读取第n个右视数据块Rn时,第二读取缓冲器4922所需的容量RB2LR[n]只要为图66(b)所示的图表的峰值中的最高值以上就可以。在此,若读取对象的右视数据块的大小Sext2为一定,则在右视传送速度Rext2等于最高值Rmax2时,峰值最高。因此,该容量RB2LR[n]只要满足下式(11)就可以:
[数11]
在此,右视数据块均具备通过插入再现而被最先被读取的可能性。此时,在最先被读取的右视数据块整体被保存到第二读取缓冲器4922中之前,系统目标解码器4903不从第二读取缓冲器4922读取数据。因此,第二读取缓冲器4922的容量RB2LR[n]不同于第一读取缓冲器4921的容量RB1[n],要进一步满足“至少比第n个右视数据块Rn的大小Sext2[n]大”的条件。
同样,在深度模式下读取第n个深度图数据块Dn时所需的第二读取缓冲器4922的容量RB2LD[n]只要满足下式(12)就可以:
[数12]
<层边界前后的再现路径的分离效果>
在本发明的实施方式的记录介质100中,按图20、24、26、28、30、32中的任一个所示的配置1-6中的任一个记录了层边界前后的数据块组。由此,在层切换前后,在2D再现模式下,从2D再现专用块Ln2D再现基视视频流的特定部分,在3D再现模式下,从3D再现专用块LnSS再现基视视频流的特定部分。此时,与图22所示的配置不同,保存有该特定部分的2D区段的大小Sext2D等于基视区段的大小Sext1和2D再现专用块Ln2D的大小之和。式(1)只要被该和Sext2D满足就可以,另一方面,式(2)-(5)只要被2D再现专用块Ln2D以外的数据块的大小满足就可以。因此,通过调节2D再现专用块Ln2D的大小,能够与2D区段的整体的大小Sext2D满足式(1)的情况实质上相独立地,进一步缩小满足式(2)-(5)的从属视区段的大小Sext2、Sext3的下限值即最小区段大小。因此,从式(11)、(12)可知,第二读取缓冲器4922的最小容量RB2LR、RB2LD实质上独立于式(1)而能够被进一步削減。
<3D区段块内的区段ATC时间>
在3D区段块、即交织配置的数据块组中,邻接的数据块Dn、Rn、Ln(n=0,1,2,...)均具有相同的区段ATC时间。换言之,从各数据块的开头的源包到下一数据块的开头的源包为止的ATS之差相等。但是,在该差的计算中,考虑在ATS中发生折回的情形。此时,由ATC计时的相同的时间内,第一源拆包器5011从基视数据块Ln内的所有源包取出TS包来向第一PID滤波器5013送出,第二源拆包器5012从从属视数据块Dn或Rn内的所有源包取出TS包来向第二PID滤波器5014送出。因此,尤其在进行插入再现时,主影像解码器5015在基视视频流和从属视视频流之间,能够容易地使TS包的解码处理同步。
<使用区段ATC时间的区段大小的条件式>
在式(2)-(5)中,基视区段和从属视区段的各大小被位于其后方的区段的大小限制。但是,从写作工序中的使用的角度出发,针对各区段的大小的条件最好以不取决于其他区段的大小的形式表现。因此,如下所示,将式(2)-(5)利用采用了区段ATC时间的条件式重新表现。
如上所述,邻接的三个区段Dn、Rn、Ln(n=0,1,2,...)均具有相同的区段ATC时间Text[n]。设这些区段ATC时间的最小值为最小区段ATC时间minText,最大值为最大区段ATC时间maxText:minText≤Text[n]≤maxText。此时,第n个各区段EXT1[n]、EXT2[n]、EXT3[n]的大小Sext1[n]、Sext2[n]、Sext3[n]被限制在下式(13)、(14)、(15)的范围内:
CEIL(Rext1[n]×minText/8)≤Sext1[n]≤CEIL(Rext1[n]×maxText/8)(13)
CEIL(Rext2[n]×minTet/8)≤Sext2[n]≤CEIL(Rext2[n]×maxText/8)(14)
CEIL(Rext3[n]×minText/8)≤Sext3[n]≤CEIL(Rext3[n]×maxText/8)(15)
接着,设最大区段ATC时间maxText和最小区段ATC时间minText之差为一定值Tm:maxText=minText+Tm。此时,利用最小区段大小,即式(2)-(5)的各右边,如下所述计算最小区段ATC时间minText。
当第n个基视区段的大小等于最小区段大小时,根据式(2)、(13),最小区段ATC时间minText满足下式(16):
[数13]
第(n+1)个右视区段的大小Sext2[n+1]最大允许为右视传送速度Rext2的最高值Rmax2和最大区段ATC时间maxText的乘积:Sext2[n+1]≤Rmax2×maxText=Rmax2×(minText+Tm)。并且,基视传送速度Rext1[n]不超过最高值Rmax1:Rext1[n]≤Rmax1。最小区段ATC时间minText应该为式(16)的右边的上限,所以应该满足下式(17):
[数14]
若代替式(2)而使式(4)同样地变形,则最小区段ATC时间minText应该进一步满足下式(18):
[数15]
另一方面,在第n个基视区段的大小等于最小区段大小时,其区段ATC时间Text[n]等于最小区段ATC时间minText。第n个右视区段与第n个基视区段的区段ATC时间相同,所以根据式(3)、(14),最小区段ATC时间minText满足下式(19):
[数16]
右视传送速度Rext2[n]不超过最高值Rmax2,基视传送速度Rext1[n]不超过最高值Rmax1:Rext2[n]≤Rmax2,Rext1[n]≤Rmax1。最小区段ATC时间minText应该是式(19)的右边的上限,所以应该满足下式(20):
[数17]
若代替式(3)而使用式(5),则同样地最小区段ATC时间minText应该满足下式(21):
[数18]
其结果,最小区段ATC时间minText被定义为式(17)、(18)、(20)、(21)的各右边中的最大值。在此,能够将零扇区迁移时间Tjump-0、跳跃时间Tjump-3D及区段ATC时间的变动幅度Tm预先限定为一定。尤其是,与后述的变形例(F)同样,也可以利用最大跳跃距离MAX_EXTJUMP3D,对跳跃时间Tjump-3D进行评价。由此,实质上,能够只用平均传送时间的最大值Rmax等 常数来决定最小区段ATC时间minText。因此,用式(13)-(15)表示的针对区段大小的条件,有利于在写作工序中的应用。
<缓冲器余量的确保>
如下所述确保各缓冲器余量UL1、UL2。首先,在各数据块的设计中,确保称作“区段ATC时间Text为最小区段ATC时间minText以上”的条件。在此,如式(17)、(18)、(20)、(21)所示,最小区段ATC时间minText是平均传送速度Rext1、Rext2、Rext3分别等于最高值Rmax1、Rmax2、Rmax3时的值。但是,实际的平均传送速度Rext1、Rext2、Rext3一般分别小于最高值Rmax1、Rmax2、Rmax3。因此,实际的数据块的大小Rext1×Text、Rext2×Text、Rext3×Text一般比在上述条件下假设的值Rmax1×Text、Rmax2×Text、Rmax3×Text小。因此,在开始读取各数据块起到区段ATC时间Text经过之前,开始读取下一数据块。即,实际上,各读取缓冲器4921、4922的存储数据量DA1、DA2一般不同于图66、67的(a)、(b)所示的数据量,会在返回到读取开始时的值之前再次增加。这样,在每次读取一对基视和从属视的数据块的对时,各存储数据量DA1、DA2每次增加规定量。其结果,通过向各读取缓冲器4921、4922连续读入某种程度数量的数据块,能确保各缓冲器余量UL1、UL2。
图69(a)是示出3D区段块6110和L/R模式下的再现路径6120之间的对应关系的示意图。参照图69(a),3D区段块6110由交织配置的基视数据块组Lk和从属视数据块组Dk、Rk(k=0,1,2,...)构成。按照再现路径6120,读取邻接的右视数据块Rk和基视数据块Lk的各对,作为1个3D区段即从属视区段和基视区段的对。基视区段Lk的区段大小Sext1[k]等于基视传送速度Rext1[k]和区段ATC时间Text[k]的乘积:Sext1[k]=Rext1[k]×Text[k]。该区段大小Sext1[k]一般小于基视传送速度的最高值Rmax1和区段ATC时间Text[k]的乘积:Sext1[k]<Rmax1×Text[k]。对于从属视区段Dk、Rk的区段大小Sext3[k]、Sext2[k]也同样。
图69(b)是示出在L/R模式下按照再现路径6120读取3D区段块6110时的、第一读取缓冲器4921的存储数据量DA1的变化的图表。细实线的图表示出平均传送速度Rext1[k]、Rext2[k]、Rext3[k]分别等于最高值Rmax1、Rmax2、Rmax3时的变化。另一方面,粗实线的图表示出开头的基视区段L0的传送速度Rext1[0]比最高值Rmax1低的情况下的变化。此外,为了便于说明, 假设从属视传送速度Rext2[k]、Rext3[k]分别等于最高值Rmax2、Rmax3的情况。此时,从属视区段的大小Rext2[k]×Text[k]、Rext3[k]×Text[k]等于能够假设的最大值Rmax2×Text[k]、Rmax3×Text[k]。
参照图69(b),在细实线的图表中,从开始读取开头的基视区段L0起经过区段ATC时间Text[0]后,开始下一基视区段L1的读取。因此,此时的存储数据量DA1实质上等于开始读取时的值DM10。另一方面,在粗实线的图表中,从记录介质100向第一读取缓冲器4921读取开头的基视区段L0的整体需要时间Sext1[0]/Rud-3D。该时间比细实线的图表中的时间Rmax1×Text[0]/Rud-3D短时间ΔTb:ΔTb=Sext1[0]/Rud-3D-Rmax1×Text[0]/Rud-3D=(Rext1[0]-Rmax1)×Text[0]/Rud-3D。因此,在粗实线的图表中,与细实线的图表相比,存储数据量DA1提前时间ΔTb达到峰值。另一方面,各从属视区段D1、R1的大小Sext2[1]、Sext3[1],在双方的图表中为相同的值Rmax2×Text[1]、Rmax3×Text[1]。因此,从存储数据量DA1的峰值到下一基视区段L1的读取开始为止的时间ΔT,在双方的图表中相同。其结果,在粗实线的图表中,与细实线的图表不同,比开始读取开头的基视区段L0起经过区段ATC时间Text的时间提前时间ΔTb,开始读取下一基视区段L1。因此,该时刻的存储数据量DA1的值DM11比开头的基视区段L0的读取开始时的值DM10增加增量DM1[0]。从图69(b)可知,该增量DM1[0]等于存储数据量DA1的实际减少速度Rext1[0]和时间ΔTb的乘积:DM1[0]=Rext1[0]×ΔTb=Rext1[0]×(Rext1[0]-Rmax1)×Text[0]/Rud-3D。
图69(c)是第一读取缓冲器4921的存储数据量DA1表示出图69(b)所示的变化时的、第二读取缓冲器4922的存储数据量DA2的变化的图表。细实线的图表示出平均传送速度Rext1[k]、Rext2[k]、Rext3[k]分别等于最高值Rmax1、Rmax2、Rmax3时的变化。另一方面,粗实线的图表示出开头的基视区段L0的传送速度Rext1[0]比最高值Rmax1低时的变化。此外,为了便于说明,假设从属视传送速度Rext2[k]、Rext3[k]分别等于最高值Rmax2、Rmax3的情况。
参照图69(c),在细实线的图表中,从开头的右视区段R0的读取开始到经过了区段ATC时间Text[0]后,开始下一右视区段R1的读取。因此,此时的存储数据量DA2实质上等于读取开始时的值DM20。另一方面,在粗实线的图表中,与细实线的图表相比,开头的基视区段L0的整体提前时 间ΔTb被从记录介质100读取到第一读取缓冲器4921中。因此,在粗实线的图表中,比细实线的图表提前时间ΔTb,即比从开头的右视区段R0的读取开始到经过区段ATC时间Text的时间提前时间ΔTb,开始下一右视区段R1的读取。因此,该时刻的存储数据量DA2的值DM21比开头的右视区段R0的读取开始时的值DM20增加增量DM2[0]。从图69(c)明确可知,该增量DM2[0]等于存储数据量DA2的实际减少速度Rext2[0]和时间ΔTb的乘积:DM2[0]=Rext2[0]×ΔTb=Rext2[0]×(Rext1[0]-Rmax1)×Text[0]/Rud-3D。
在图69中,假设从属视传送速度Rext2[k]、Rext3[k]分别等于最高值Rmax2、Rmax3的情况。但是,实际上,从属视传送速度Rext2[k]、Rext3[k]也一般分别小于最高值Rmax2、Rmax3此时,在图69(c)的图表中,与图69(b)的图表同样,存储数据量DA2提前时间ΔTd达到峰值:ΔTd=Sext2[0]/Rud-3D-Rmax2×Text[0]/Rud-3D=(Rext2[0]-Rmax2)×Text[0]/Rud-3D。另一方面,在图69(b)的图表中,从存储数据量DA1的峰值到下一基视区段L1的读取开始为止的时间ΔT被缩短相同的时间ΔTd。在考虑这些的情况下,在每次处理一对基视区段Lk和右视区段Rk的对时,各读取缓冲器的存储数据量DA1、DA2增加用下式(22)、(23)表示的增量DM1[k]、DM2[k]:
DM1[k]=Rext1[k]×(ΔTb+ΔTd)
=Rext1[k]×{(Rext1[k]-Rmax1)+(Rext2[k]-Rmax2)}×Text[k]/Rud-3D (22)
DM2[k]=Rext2[k]×(ΔTb+ΔTd)
=Rext2[k]×{(Rext1[k]-Rmax1)+(Rext2[k]-Rmax2)}×Text[k]/Rud-3D (23)
在L/R模式下,在每次从各3D区段EXTSS[k]向各读取缓冲器4921、4922读取基视区段Lk和右视区段Rk时,各存储数据量DA1、DA2各增加增量DM1[k]、DM2[k]。在深度模式下,也同样,在每次向各读取缓冲器4921、4922读入基视区段Lk和深度图区段Dk时,各存储数据量DA1、DA2各增加增量DM3[k]、DM4[k]。在此,用下式(24)、(25)表示增量DM3[k]、DM4[k]:
DM3[k]=Rext1[k]×{(Rext1[k]-Rmax1)+(Rext3[k]-Rmax3)}×Text[k]/Rud-3D (24)
DM4[k]=Rext3[k]×{(Rext1[k]-Rmax1)+(Rext3[k]-Rmax3)}×Text[k]/Rud-3D (25)
因此,在3D区段块6110整体的区段ATC时间的合计Tsum=Text[0]+Text[1]+Text[2]+...满足下式(26)时,通过读取该3D区段块6110的整体,能够对各读取缓冲器4921、4922确保缓冲器余量UL1、UL2:
[数19]
在此,采用下面的近似:在整个3D区段块6110中,基视传送速度Rext1[k]等于平均值Rext1-av,从属视传送速度Rext2[k]、Rext3[k]等于平均值Rext2-av、Rext3-av。
此外,在读取一系列3D区段块期间,只要不发生长跳跃,各读取缓冲器的存储数据量DA1、DA2就持续增加。因此,在各存储数据量DA1、DA2超过规定的阈值时,再现装置200使BD-ROM驱动器4901断续地进行读取/传送动作。由此,读取速度Rud-3D降低,因此各存储数据量DA1、DA2的增加被抑制。这样,能够回避各读取缓冲器4921、4922的溢出。
(缓冲器余量的存储方法1)
接着,说明读取缓冲器中确保的用于层切换跳跃等的缓冲器余量的AV再现中的存储方法。
在用于3D区段块之间的无缝连接的配置方法的说明中,说明了如下内容:为了3D区段块之间的无缝连接,在3D区段块之间进行跳跃的情况下,消耗在跳跃前存储在第一读取缓冲器4921中的缓冲器余量UL1和跳跃前确保在第二读取缓冲器4922中的缓冲器余量UL2,来继续3D影像的再现。
虽然说明为该第一读取缓冲器4921的缓冲器余量UL1和第二读取缓冲器4922的缓冲器余量UL2在3D影像的再现开始时进行了缓冲存储,但是例如,在如图70所示,3D区段块无缝地连接3个以上时,在第一个3D区段块之间的跳跃时消耗缓冲器余量UL1、UL2,所以在第二个3D区段块之间的跳跃时没有缓冲器余量,所以发生读取缓冲器的缓冲器下溢,不能进行无缝再现。
因此,在3D区段块无缝地接续于某个3D区段块之后,并且接着与某个3D区段块无缝地连接的情况下,需要在对3D影像进行再现的同时,在3D区段块之间的跳跃前,向第一读取缓冲器4921和第二读取缓冲器4922存储缓冲器余量UL1、UL2。这里,将无缝地接续于某个3D区段块之后、且接着与某个3D区段块无缝地连接的3D区段块,称作无缝3D区段块6902。
因此,通过对无缝3D区段块6902区间中的“平均比特率”和“无缝3D区段块的合计区段ATC时间”设置如下的制约,在进行了无缝3D区段块6902区间的再现时,能够确保缓冲器余量UL1、UL2的数据存储量。无缝3D区段块的合计区段ATC时间>=
MAX(UL1×Rud3D/(REXT1×{(RMAX1+RMAX2)-(REXT1+REXT2)}),
UL1×Rud3D/(REXT1×{(RMAX1+RMAX3)-(REXT1+REXT3)}),
UL2×Rud3D/(REXT2×{(RMAX 1+RMAX2)-(REXT1+REXT2)}),
UL2×Rud3D/(REXT3×{(RMAX1+RMAX3)-(REXT1+REXT3)}))...式(27)
UL1和UL2是根据到无缝3D区段块的后方的3D区段块为止的跳跃时间来计算的读取缓冲器的缓冲器余量(单位:比特)。MAX()是返回项目的大值的函数。REXT1是3D区段块区间的2D/左眼AV流的平均比特率, REXT2是3D区段块区间的文件DEP的流的平均比特率,REXT3是3D区段块区间的深度图AV流的平均比特率。
下面,用图71说明上述式的依据。在此,用在L/R模式下进行3D影像的再现的情况进行了说明,若用同样的方法进行DEPTH模式的计算,能够导出式子。
图71示出在L/R模式下进行3D影像的再现的情况下的第一读取缓冲器4921和第二读取缓冲器4922的数据存储量的变化过程。在此,示出在无缝3D区段块刚进行了跳跃之后的状态,假设在消耗完UL1、UL2的缓冲器余量的状态下开始再现。此外,假设各区段利用上述的最小区段大小和最大区段大小的定义方法被交织配置。
上述最小区段大小和最大区段大小成为将区段的平均比特率作为RMAX1或RMAX2而计算出的大小。图71的表示数据存储量的变化过程的普通的线,示出区段的平均比特率为RMAX1、RMAX2时的数据存储量的变化过程。相对于此,表示数据存储量的变化过程的粗线,则示出2D/左眼AV流的区段(REXT1[n])的平均比特率小于RMAX1的REXT1的情况下的数据存储量的变化过程。
在2D/左眼AV流的区段的比特率小于RMAX1的情况下,区段的读取结束得比比特率为RMAX1时早,由此,后面的数据存储量的变化过程提前箭头7001所示的时间。由于该提前,在读取完区段时,与提前的时间相应地,箭头7002所示的大小(提前的时间×REXT1)被存储作为缓冲器余量。在设区段的再现时间为TEXT时,提前的时间表示为TEXT×(RMAX1-REXT1)/RUD3D。此外,由于第二读取缓冲器4922的数据存储量也同样提前,所以当读取完区段时,与提前的时间相应地,箭头7003所示的大小(提前的时间×REXT2)被存储作为缓冲器余量。
同样,在文件DEP的流的区段的比特率小于RMAX2的REXT2的情况下,由于发生提前,所以在第一读取缓冲器4921和第二读取缓冲器4922中存储与该提前相应的缓冲器余量。
在将2D/左眼AV流的区段组和对应的文件DEP的流的区段组的再现时间设为TEXT,各区段的平均比特率为REXT1、REXT2时,通过读取这 些区段,第一读取缓冲器4921中所存储的缓冲器余量和第二读取缓冲器4922中所存储的缓冲器余量如下所示。
第一读取缓冲器4921中所存储的缓冲器余量(单位:比特)=TEXT×(REXT1×{(RMAX1+RMAX2)-(REXT1+REXT2)}/RUD3D...式(28)
第二读取缓冲器4922中所存储的缓冲器余量(单位:比特)=TEXT×(REXT2×{(RMAX1+RMAX2)-(REXT1+REXT2)}/RUD3D...式(29)
因此,根据式(28)和(29),通过设置到存储无缝连接的跳跃所需的UL1、UL2的大小为止的时间,能够导出式(27)。
(缓冲器余量的存储方法2)
接着,对读取缓冲器中所确保的用于层切换跳跃等的缓冲器余量的AV再现中的存储方法的其他方案进行说明。
将无缝3D区段块6902内的区段的大小设定为,用式(1)-(5)求出的最小区段大小以上,在该计算式上追加了用于存储缓冲器余量的盈余(margin),变形为如下形式:
SEXT1[n]>=CEIL((Rud3D×REXT1[n])/(Rud3D-REXT1[n])×(TJUMP0+SEXT2[n+1]/Rud3D+TJUMP+TMERGIN)/8)...(30)
SEXT2[n]>=CEIL((Rud3D×REXT2[n])/(Rud3D-REXT2[n])×(TJUMP0+SEXT1[n]/Rud3D+TJUMP+TMERGIN)/8)...(31)
SEXT1[n]>=CEIL((Rud3D×REXT1[n])/(Rud3D-REXT1[n])×(TJUMP+SEXT3[n+1]/Rud3D+TJUMP0+TMERGIN)/8)...(32)
SEXT3[n]=CEIL((Rud3D×REXT3[n])/(Rud3D- REXT3[n])×(TJUMP+SEXT1[n]/Rud3D+TJUMP0+TMERGIN)/8)...(33)
TMERGIN为用于存储缓冲器余量的盈余时间(单位:秒)。
利用图72说明向L/R模式下的3D影像再现中的读取缓冲器存储的数据存储量的变化。
通过以具有如上计算出的最小区段大小的区段构成无缝3D区段块6902,如图72的数据存储量的变化过程所示,随着2D/左眼AV流的1区段的读取,向第一读取缓冲器4921多存储大小为TMERGIN×REXT1[n]的值的数据。随着文件DEP的流的1区段的读取,向第二读取缓冲器4922多存储大小为TMERGIN×REXT2[n]的值的数据。
此外,随着文件DEP的流的1区段的读取,能够使得向第一读取缓冲器4921输入的2D/左眼AV流的区段数据的输入提前TMERGIN的值大小,因此,在每次读取文件DEP的流的1区段时,在第一读取缓冲器4921中多存储大小为TMERGIN×REXT1[n]的值的数据。同样,随着2D/左眼AV流的1区段的读取,能够使得向第二读取缓冲器4922输入的文件DEP的流的区段数据的输入提前TMERGIN的值大小,所以在每次读取文件DEP的流的1区段时,向第一读取缓冲器4921多存储大小为TMERGIN×REXT1[n]的值的数据。
因此,通过对无缝3D区段块6902区间的“3D区段块的合计区段ATC时间”设置如下的制约,在进行无缝3D区段块6902区间的再现时,能够确保缓冲器余量UL1、UL2的数据存储量。无缝3D区段块的合计区段ATC时间>=
MAX(UL 1/(2×TMERGIN×REXT1/TEXT),
UL2/(2×TMERGIN×REXT2/TEXT),
UL2/(2×TMERGIN×REXT3/TEXT))...(式34)
UL1和UL2是根据到无缝3D区段块的后方的3D区段块为止的跳跃时间而计算出的读取缓冲器的缓冲器余量(单位:比特)。MAX()是返回项目的大值的函数。REXT1是3D区段块区间的2D/左眼AV流的平均比特率,REXT2是3D区段块区间的文件DEP的流的平均比特率,REXT3是3D区 段块区间的深度图AV流的平均比特率。TEXT是1区段的平均区段ATC时间。
此外,也可以在如上所述规定的同时,还采用由“平均比特率”和“无缝3D区段块的合计区段ATC时间”规定的方法。即,也可以如下所述规定“无缝3D区段块的合计区段ATC时间”。
无缝3D区段块的合计区段ATC时间>=
MAX(UL1/(2×TMERGIN×REXT1/TEXT+((REXT1×{(RMAX1+RMAX2)-(REXT1+REXT2)})/Rud3D),
UL1/(2×TMERGIN×REXT1/TEXT+((REXT1×{(RMAX1+RMAX3)-(REXT1+REXT3)})/Rud3D),
UL2/(2×TMERGIN×REXT2/TEXT+((REXT2×{(RMAX1+RMAX2)-(REXT1+REXT2)})/Rud3D),
UL2/(2×TMERGIN×REXT3/TEXT+((REXT3×{(RMAX1+RMAX3)-(REXT1+REXT3)})/Rud3D))...式(35)
<对配置1的数据进行3D再现时所需的缓冲器余量>
接着,说明对图20所示的配置1的数据进行3D再现时所需的缓冲器余量。
首先,对在L/R模式下再现时所需的缓冲器余量进行说明。
图73(a)是表示在L/R模式下再现配置1的数据的过程中产生的长跳跃的图。图73(b)示出在L/R模式下再现配置1的数据时的第一读取缓冲器4921的数据存储量的变化过程,图73(c)示出第二读取缓冲器4922的数据存储量的变化过程。
在此,考虑需要的缓冲器余量的最差值,假设排列在即将跳跃之前3D区段块2002的后端的区段ATC时间一致的三个数据块D3、R3、L3SS的大小为0的情况。
首先,对第一读取缓冲器4921的缓冲器余量UL1进行说明。为了在图73(a)所示的路径中进行再现时使得第一读取缓冲器4921不发生下溢,只要到即将读取后方播放项目的开头的左视数据块L4之前为(地点B)不发 生下溢就可以。即,只要地点B的读取缓冲器大小≥0就可以。为此,必须要在图73的地点A(即将读取3D区段块2001的终端的左视数据块L1之前)之前存储缓冲器余量UL1的数据量。
如下所述计算从地点A到地点B的第一读取缓冲器4921的减少量。从地点A到地点B的第一读取缓冲器的减少量=(TJUMPEX+3×TJUMP0+TJUMP+TLAYER+2×SEXT2/RUD3D)×RMAX1
=2×(TJUMP0+TJUMP +SEXT2/RUD3D)×RMAX1+(TJUMP0+TJUMPEX+TLAYER-TJUMP)×RMAX1...(36)
SEXT2表示从地点A到地点B为止存在的右视数据块的大小。如下所述计算从地点A到地点B的第一读取缓冲器4921的增量。
从地点A到地点B 的第一读取缓冲器4921的增量=2×SEXT1/RUD3D×(RUD3D-RMAX1)...(37)
SEXT1表示从地点A到地点B为止存在的左视数据块的大小。因此,根据式(36)、(37)能够如下所述计算地点A所需的缓冲器余量。
UL1=从地点A到地点B的第一读取缓冲器4921的减少量-从地点A到地点B的第一读取缓冲器4921的增量
=2×(TJUMP0+TJUMP+SEXT2/RUD3D)×RMAX 1+(TJUMP0+TJUMPEX+TLAYER-TJUMP)×RMAX1-2×SEXT1/RUD3D×(RUD3D-RMAX1)...(38)
在此,最小区段大小被决定为,使得(TJUMP0+TJUMP+SEXT2/RUD3D)×RMAX1和SEXT1/RUD3D×(RUD3D-RMAX1)成为0以上。即,若为满足式(2)的最小区段大小以上的区段大小,则该值必定成为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(38),在L/R模式下再现时所需的缓冲器余量UL1成为如下式(39)所示。
UL1=CEIL(TJUMPEX+TLAYER+TJUMP0-TJUMP)×RMAX1...(39)
接着,对第二读取缓冲器4922的缓冲器余量进行说明。第二读取缓冲器4922为了即使在无缝地连接时缓冲器也不发生下溢,只要到即将读取后方播放项目的开头的右视数据块R4之前(地点D)为止不发生下溢就可以。即,只要地点D的读取缓冲器大小≥0就可以。为此,必须到图73的地点C(即将读取3D区段块2001的终端的右视数据块R1之前)为止存储缓冲器余量(UL2)的数据量。
从地点C到地点D的第二读取缓冲器4922的减少量如下所述进行计算。从地点C到地点D的第二读取缓冲器的减少量=(TJUMPEX+3×TJUMP0+TJUMP+TLAYER+2×SEXT1/RUD3D)×RMAX2
=2×(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX2+(TJUMP0+TJUMPEX+TLAYER-TJUMP)×RMAX2...(40)
SEXT1表示从地点C到地点D为止存在的左视数据块的大小。地点A到地点B的第二读取缓冲器4921的增量如下所述进行计算。
从地点C到地点D的第二读取缓冲器的增量=2×SEXT2/RUD3D×(RUD3D-RMAX2)...(41)
SEXT2表示从地点C到地点D为止存在的左视数据块的大小。因此,地点C所需的缓冲器余量能够根据式(40)、(41)而如下所述进行计算。
UL2=从地点C到地点D的第二读取缓冲器的减少量-从地点C到地点D的第二读取缓冲器的增量
=2×(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX2+(TJUMP0+TJUMPEX+TLAYER-TJUMP)×RMAX2- 2×SEXT2/RUD3D×(RUD3D-RMAX2)...(42)
在此,将最小区段大小决定为,使得(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX2和SEXT2/RUD3D×(RUD3D-RMAX2)成为0以上。即,若是满足式(3)的最小区段大小以上的区段大小,则该值必定为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(42),在L/R模式下再现时所需的缓冲器余量UL1成为如下式(43)所示。
UL2=CEIL(TJUMPEX+TLAYER+TJUMP0-TJUMP)×RMAX2...(43)
以上为在L/R模式下再现配置1的数据时所需的缓冲器余量。
接着,对DEPTH模式下再现配置1的数据时所需的缓冲器余量进行说明。
图74(a)是示出在深度模式下再现配置1的数据时所产生的长跳跃的图。图74(b)示出在深度模式下再现配置1的数据时的第一读取缓冲器4921的数据存储量的变化过程,图74(c)示出第二读取缓冲器4922的数据存储量的变化过程。
在此,考虑所需的缓冲器余量的最差值,假设排列在即将跳跃之前3D区段块2002的后端的区段ATC时间一致的三个数据块D3、R3、L3SS的大小为0的情况。
首先,对第一读取缓冲器4921的缓冲器余量UL1进行说明。为了在图74(a)所示的路径中进行再现的情况下使得第一读取缓冲器4921不发生下溢,只要到即将读取后方播放项目的开头的左视数据块L4之前(地点B)为止不发生下溢就可以。即,只要地点B的读取缓冲器大小≥0就可以。为此,必须到图74的地点A(即将读取3D区段块2001的终端的左视数据块L1之前)为止存储缓冲器余量UL1的数据量。
如下所述计算从地点A到地点B的第一读取缓冲器4921的减少量。 从地点A到地点B的第一读取缓冲器的减少量=(TJUMPEX+3×TJUMP+TJUMP0+TLAYER+2×SEXT3/RUD3D)×RMAX1
=2×(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX1+(TJUMP+TJUMPEX+TLAYER-TJUMP0)×RMAX1...(44)
SEXT3表示从地点A到地点B为止存在的深度图数据块的大小。如下所述计算从地点A到地点B之间的第一读取缓冲器4921的增量。
从地点A到地点B 的第一读取缓冲器4921的增量=2×SEXT1/RUD3D×(RUD3D-RMAX1)...(45)
SEXT1表示从地点A到地点B为止存在的左视数据块的大小。因此,根据式(44)、(45)如下所述计算地点A所需的缓冲器余量。
UL1=从地点A到地点B的第一读取缓冲器4921的减少量-从地点A到地点B的第一读取缓冲器4921的增量
=2×(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX1+(TJUMP+TJUMPEX+TLAYER-TJUMP0)×RMAX1-2×SEXT1/RUD3D×(RUD3D-RMAX1)
...(46)
在此,最小区段大小被决定为,使得(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX1和SEXT1/RUD3D×(RUD3D-RMAX1)成为0以上。即,若为满足式(4)的最小区段大小以上的区段大小,则该值必定成为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(46)在深度模式下再现时所需要的缓冲器余量UL1成为如下式(47)所示。
UL1=CEIL(TJUMPEX+TLAYER-TJUMP0+TJUMP)×RMAX1...(47)
接着,对第二读取缓冲器4922的缓冲器余量进行说明。第二读取缓冲器4922为了即使在无缝地连接时缓冲器也不发生下溢,只要到即将读取后 方播放项目的开头的深度图数据块D4之前(地点D)为止不发生下溢就可以。即只要地点D的读取缓冲器大小≥0就可以。为此,必须到图74的地点C(即将读取3D区段块2001的终端的深度图数据块D1之前)为止存储缓冲器余量(UL2)的数据量。
如下所述计算从地点C到地点D的第二读取缓冲器4922的减少量。
从地点C到地点D的第二读取缓冲器的减少量
=(TJUMPEX+3×TJUMP+TJUMP0+TLAYER+2×SEXT1/RUD3D)×RMAX3
=2×(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3+(TJUMP+TJUMPEX+TLAYER-TJUMP0)×RMAX3...(48)
SEXT1表示在从地点C到地点D为止存在的左视数据块的大小。如下所述计算从地点A到地点B的第二读取缓冲器4921的增量。
从地点C到地点D的第二读取缓冲器的增量
=2×SEXT3/RUD3D×(RUD3D-RMAX3)...(49)
SEXT3表示从地点C到地点D为止存在的深度图数据块的大小。因此,能够根据式(48)、(49)如下所述计算地点C所需的缓冲器余量。
UL2=从地点C到地点D的第二读取缓冲器的减少量-从地点C到地点D的第二读取缓冲器的增量
=2×(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3+(TJUMP+TJUMPEX+TLAYER-TJUMP0)×RMAX3-2×SEXT3/RUD3D×(RUD3D-RMAX3)
...(50)
在此,最小区段大小被决定为,使得(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3和SEXT3/RUD3D×(RUD3D-RMAX3)成为0以上。即,若为满足式(5)的最小区段大小以上的区段大小,则该值必定成为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(50),在深度模式下再现时所需要的缓冲器余量UL1成为下式(51)。
UL2=CEIL(TJUMPEX+TLAYER-TJUMP0+TJUMP)×RMAX3...(51)
以上为在深度模式下再现配置1的数据时需要的缓冲器余量。
2D/3D再现装置通过将这样计算出的UL1和UL2确保为缓冲器余量,能够对在图20说明的配置1的数据进行无缝的再现。
<对配置2的数据进行3D再现时所需的缓冲器余量>
接着,说明对图24所示的配置2的数据进行3D再现时所需的缓冲器余量。首先,对在深度模式下进行再现时所需的缓冲器余量进行说明。
图75(a)是示出在深度模式下再现配置2的数据的过程中产生的长跳跃的图。图75(b)示出在深度模式下再现配置2的数据时的第一读取缓冲器4921的数据存储量的变化过程,图75(c)示出第二读取缓冲器4922的数据存储量的变化过程。
在此,考虑所需缓冲器余量的最差值,假设在即将跳跃之前3D区段块2002的后端排列的区段ATC时间一致的三个数据块D3、R3、L3SS的大小为0的情况。
首先,对第一读取缓冲器4921的缓冲器余量UL1进行说明。为了使得在图75(a)所示的路径中再现时第一读取缓冲器4921不会下溢,只要到即将读取后方播放项目的开头的左视数据块L4之前(地点B)为止不发生下溢就可以。即,只要地点B的读取缓冲器大小≥0就可以。为此,需要到图75的地点A(即将读取3D区段块2001的终端的左视数据块L1之前)为止,存储缓冲器余量UL1的数据量。
如下所述计算从地点A到地点B的第一读取缓冲器4921的减少量。
从地点A到地点B的第一读取缓冲器4921的减少量
=(2×TJUMP+TJUMP0+TLAYER+SEXT3/RUD3D)×RMAX1
=(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX 1+(TJUMP+TLAYER)×RMAX1...(52)
SEXT3表示从地点A到地点B为止存在的深度图数据块的大小。如下所述计算从地点A到地点B的第一读取缓冲器4921的增量。
从地点A到地点B的第一读取缓冲器4921的增量
=SEXT1/RUD3D×(RUD3D-RMAX1)...(53)
SEXT1表示从地点A到地点B为止存在的左视数据块的大小。因此,能够根据式(52)、(53),如下所述计算在地点A所需的缓冲器余量。
UL1=从地点A到地点B的第一读取缓冲器4921的减少量一从地点A到地点B的第一读取缓冲器4921的增量
UL1=从地点A到地点B的第一读取缓冲器4921的减少量-从地点A到地点B的第一读取缓冲器4921的增量
=(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX1+(TJUMP+TLAYER)×RMAX1-SEXT1/RUD3D×(RUD3D-RMAX1)...(54)
在此,将最小区段大小决定为,使得(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX1和SEXT1/RUD3D×(RUD3D-RMAX1)成为0以上。即,若为满足式(3)的最小区段大小以上的区段大小,则该值必定成为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(54),在深度模式下再现时所需要的缓冲器余量UL1成为如下式(55)所示。
UL1=CEIL(TLAYER+TJUMP)×RMAX1...(55)
接着,对第二读取缓冲器4922的缓冲器余量进行说明。第二读取缓冲器4922为了即使在无缝地连接时缓冲器也不发生下溢,只要到即将读取后方播放项目的开头的右视数据块R4之前(地点D)为止不发生下溢就可以。即,只要地点D的读取缓冲器大小≥0就可以。为此,需要到图75的地点 C(即将读取3D区段块2001的终端的右视数据块R1之前)为止,存储缓冲器余量(UL2)的数据量。
如下所述计算从地点C到地点D的第二读取缓冲器4922的减少量。
从地点C到地点D的第二读取缓冲器的减少量=(2×TJUMP+TJUMP0+TLAYER+SEXT1/RUD3D)×RMAX3
=(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3+(TJUMP+TLAYER)×RMAX3...(56)
SEXT1表示从地点C到地点D存在的左视数据块的大小。如下所述计算从地点A到地点B的第二读取缓冲器4921的增量。
从地点C到地点D的第二读取缓冲器的增量=SEXT3/RUD3D×(RUD3D-RMAX3)...(57)
SEXT2表示从地点C到地点D为止存在的深度图数据块的大小。因此,根据式(56)、(57),能够如下所述计算在地点C所需的缓冲器余量。UL2=从地点C到地点D的第二读取缓冲器的减少量-从地点C到地点D的第二读取缓冲器的增量
=(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3+(TJUMP+TLAYER)×RMAX3-SEXT3/RUD3D×(RUD3D-RMAX3)...(58)
在此,将最小区段大小决定为,使得(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3和SEXT3/RUD3D×(RUD3D-RMAX3)成为0以上。即,若为满足式(3)的最小区段大小以上的区段大小,则该值必定成为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(58),在L/R模式下再现时所需的缓冲器余量UL1成为如下式(59)所示。
UL2=CEIL(TLAYER+TJ UMP)×RMAX3...(59)
以上为在深度模式下再现配置2的数据时所需的缓冲器余量。
接着,对在L/R模式下再现时所需的缓冲器余量(UL1,UL2)进行说明。
在L/R模式下再现时所需的缓冲器余量可通过下式求出。
UL1=CEIL(TLAYER+TJUMP0)×RMAX1...(60)
UL2=CEIL(TLAYER+TJUMP0)×RMAX2...(61)
这些能够通过与DEPTH模式的缓冲器余量UL1、UL2同样的思考方法来计算,所以省略对计算方法的说明。
2D/3D再现装置通过将这样计算出的UL1和UL2确保为缓冲器余量,能够将在图24中说明的配置2的数据无缝地进行再现。
在此,根据式(60)、(61)求出的在L/R模式下再现配置2的数据时所需的缓冲器余量的值,小于根据式(39)、(43)求出的在L/R模式下再现配置1的数据时所需的缓冲器余量的值。此外,根据式(55)、(59)求出的在深度模式下再现配置2的数据时所需要的缓冲器余量的值,小于根据式(47)、(51)求出的在深度模式下再现配置1的数据时所需的缓冲器余量的值。
因此,用图24说明的配置2的数据结构能够将在无缝连接中所需的缓冲器余量(UL1,UL2)抑制为较小,所以能够将在再现3D影像时所需的第一读取缓冲器4921、第二读取缓冲器4922的大小设定为较小。
但是,为了按照图24说明的数据结构配置数据,需要图20中没有示出的、前述的下一条件。
“3D区段块6401的最后的2D/左眼AV流的区段的大小需要为,在将从自身区段的终端到2D即将跳跃之前区段6501为止的跳跃时间设为TJUMP时按照式(2)求出的、用于2D再现装置的最小区段大小以上的大小。将从3D区段块6401的最后的2D/左眼AV流的区段到2D即将跳跃之前区段6501为止的距离设定为,根据2D再现装置的跳跃性能而按规定标准决定的最大跳跃距离以下。”
如图76所示,在通过读取左视数据块L1而能够由2D再现装置无缝 地进行再现的跳跃距离大于即将跳跃之前3D区段块2002的大小时,能够按照用图24说明的数据结构配置数据,该左视数据块L1是具有根据3D区段块的区段大小的条件而决定的大小的3D区段块2001的最后的左视数据块L1。但是,在通过读取左视数据块L1而能够由2D再现装置无缝地进行再现的跳跃距离小于即将跳跃之前3D区段块2002的大小时,不能够按照用图24说明的数据结构配置数据,该左视数据块L1是具有根据3D区段块的区段大小的条件而决定的大小的3D区段块2001的最后的左视数据块L1。
因此,最好分情况使用,在满足上述条件的情况下,按照图24所示的配置2的数据结构来配置数据,在不满足上述条件的情况下,按照图20所示的配置1的数据结构配置数据。
此外,如式(1)所示,用于在2D再现模式下进行无缝连接的区段大小取决于系统速率,所以也可以确定用于符合上述条件的左视视频流的系统速率,若比该系统速率高,则按照图20所示的配置1的数据结构进行配置,若比该系统速率低,则按照图24所示的配置2的数据结构进行配置。
此外,在图24所示的配置2中,即将跳跃之前2D区段EXT2D[n]只由2D专用块构成,需要将与即将跳跃之前2D区段EXT2D[n]相同大小的数据复制为3D专用块,并记录到记录介质中。另一方面,在图20所示的配置1中,用作即将跳跃之前2D区段EXT2D[n]的一部分的基视数据块Ln,也能够用作3D区段EXTSS[n]的一部分,所以能够抑制在不同的区段重复保存的数据量的增加,从这一点来看是优选的。
<用于对配置3的数据进行3D再现时所需的缓冲器余量>
接着,对图26所示的配置3的数据进行3D再现时所需的缓冲器余量进行说明。首先,对在深度模式下进行再现时所需的缓冲器余量进行说明。
图77(a)是表示在深度模式下再现配置3的数据时所产生的长跳跃的图。图77(b)示出在深度模式下再现配置3的数据时的第一读取缓冲器4921的数据存储量的变化过程,图77(c)示出第二读取缓冲器4922的数据存储量的变化过程。
在此,考虑需要的缓冲器余量的最差值,假设在即将跳跃之前3D区段块2002的后端排列的、区段ATC时间一致的三个数据块D3、R3、L3SS的大小为0的情况。
首先,对第一读取缓冲器4921的缓冲器余量UL1进行说明。在图77(a)所示的路径上进行再现时,为了使得第一读取缓冲器4921不下溢,只要到即将读取后方播放项目的开头的左视数据块L4之前(地点B)为止不发生下溢就可以。即,只要地点B的读取缓冲器大小≥0就可以。为此,需要到图77的地点A(即将读取3D区段块2001的终端的左视数据块L1之前)为止存储缓冲器余量UL1的数据量。
从地点A到地点B的第一读取缓冲器4921的减少量=(2×TJUMP+2×TJUMP0+TLAYER+TJUMPEX+SEXT3/RUD3D)×RMAX1
=(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX1+(TJUMPEX+TLAYER)×RMAX1...(62)
SEXT3表示从地点A到地点B为止存在的深度图数据块的大小。如下所述计算从地点A到地点B的第一读取缓冲器4921的增量。
从地点A到地点B的第一读取缓冲器4921的增量
=2×SEXT1/RUD3D×(RUD3D-RMAX1)...(63)
SEXT1表示从地点A到地点B为止存在的左视数据块的大小。因此,可根据式(62)、(63)来如下所述计算地点A所需的缓冲器余量。
UL1=从地点A到地点B的第一读取缓冲器4921的减少量-从地点A到地点B的第一读取缓冲器4921的增量
=2×(TJUMP0+TJUMP+SEXT3/RUD3D)×RMAX1+(TJUMPEX+TLAYER)×RMAX1-2×SEXT1/RUD3D×(RUD3D-RMAX1)...(64)
在此,将最小区段大小决定为,使得(TJUMP0+TJUMP+ SEXT3/RUD3D)×RMAX1和SEXT1/RUD3D×(RUD3D-RMAX1)成为0以上。即,若为满足式(3)的最小区段大小以上的区段大小,则该值必然成为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(64),在深度模式下进行再现时所需要的缓冲器余量UL1成为如下式(65)。
UL1=CEIL(TLAYER+TJUMPEX)×RMAX1...(65)
接着,对第二读取缓冲器4922的缓冲器余量进行说明。第二读取缓冲器4922为了即使无缝地连接缓冲器也不发生下溢,只要到即将读取后方播放项目的开头的右视数据块R4之前(地点D)为止不发生下溢就可以。即,只要地点D的读取缓冲器大小≥0就可以。为此,必需到图77的地点C(即将读取3D区段块2001的终端的深度图数据块D1之前)为止存储缓冲器余量(UL2)的数据量。
如下所述计算从地点C到地点D的第二读取缓冲器4922的减少量。
从地点C到地点D的第二读取缓冲器的减少量=(2×TJUMP+2×TJUMP0+TJUMPEX+TLAYER+2×SEXT1/RUD3D)×RMAX3
=2×(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3+(TJUMPEX+TLAYER)×RMAX3...(66)
SEXT1表示从地点C到地点D为止存在的左视数据块的大小。如下所述计算从地点C到地点D的第二读取缓冲器4921的增量。
从地点C到地点D的第二读取缓冲器的增量
=2×SEXT3/RUD3D×(RUD3D-RMAX3)...(67)
SEXT3表示从地点C到地点D为止存在的深度图数据块的大小。因此,根据式(66)、(67),如下所述计算在地点C所需的缓冲器余量。
UL2=从地点C到地点D的第二读取缓冲器的减少量-从地点C到地点D的第二读取缓冲器的增量
=2×(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3+(TJUMPEX+TLAYER)×RMAX3-2×SEXT3/RUD3D×(RUD3D-RMAX3)...(68)
在此,将最小区段大小决定为,使得(TJUMP0+TJUMP+SEXT1/RUD3D)×RMAX3和SEXT3/RUD3D×(RUD3D-RMAX3)成为0以上。即,只要为满足式(3)的最小区段大小以上的区段大小,该值必定成为0以上。
因此,若考虑最差值,则该值成为0,所以根据式(68),在深度模式下再现时所需要的缓冲器余量UL2成为下式(69)。
UL2=CEIL(TLAYER+TJUMPEX)×RMAX3...(69)
以上是在深度模式下再现配置3的数据时所需要的缓冲器余量。
接着,对在L/R模式下再现时所需要的缓冲器余量进行说明。
按照下面所示的式,求出在L/R模式下再现时所需要的缓冲器余量。
UL1=CEIL(TJUMPEX+TLAYER)×RMAX1...(70)
UL2=CEIL(TJUMPEX+TLAYER)×RMAX2...(71)
由于此处能够用与深度模式的缓冲器余量UL1、UL2同样的思考方法进行说明,所以省略对计算方法的说明。
2D/3D再现装置通过将如上计算的UL1和UL2确保为缓冲器余量,能够将用图26说明的配置3的数据无缝地进行再现。
在此,在2D/3D再现装置能够再现L/R模式和深度模式双方的3D影像的情况下,所需的缓冲器余量成为最差值。在对利用图20说明的配置1的数据结构进行再现时的缓冲器余量的最差值(最大值),成为为了在深度模式下再现3D影像所需的缓冲器余量、即用式(47)、(51)求出的大小。在对利用图26说明的配置3的数据结构进行再现时的缓冲器余量的最差值(最 大值),成为为了在L/R模式下对3D影像进行再现所需的缓冲器余量即用式(70)、(71)求出的大小、或者为了在深度模式下对3D影像进行再现所需的缓冲器余量即用式(65)、(69)求出的大小中的某一个。在此,用式(70)、(71)求出的在L/R模式下再现配置3所需的缓冲器余量、以及用式(65)、(69)求出的在深度模式下再现配置3所需的缓冲器余量,均小于用式(47)、(51)求出的在深度模式下再现配置1所需的缓冲器余量。即,与配置1相比,配置3在深度模式和L/R模式双方能够将在无缝连接中所需的缓冲器余量(UL1,UL2)抑制为较小。因此,在能够再现L/R模式和深度模式两方的3D影像的情况下,从读取缓冲器所需的大小的观点出发,可以说最好以用图26说明的配置1的数据结构在记录介质上配置流数据。
(用于削减无缝连接时的读取缓冲器大小的数据结构)
除了在用图20、图24、图26说明的无缝连接下的数据配置方法之外,还用图78说明用于削减在2D/3D再现装置中的3D影像再现中所需的读取缓冲器的大小的数据配置方法。
对用于削减在3D影像再现中所需的读取缓冲器的大小的数据配置方法进行说明。
图78上段示出用图26说明的配置3下的L/R模式的再现路径和深度模式的再现路径。
在图78上段的数据结构中,即将跳跃之前3D区段块7501的终端的左视数据块、右视数据块、深度图数据块的各数据块的大小,可以不满足用式(2)-(5)求出的最小区段大小。这是因为,例如,在通过前述的定义方法将最小区段大小设为“区段的平均传输率×最小区段ATC时间”(例:REXT1[n]×MIN_TEXT)、将最大区段大小设为“区段的平均传输率×最小区段ATC时间”(例:REXT1[n]×MIN_TEXT)时,根据内容的再现时间,会出现不满足最小区段时间的尾数。例如,设最小区段ATC时间为2秒,最大区段ATC时间=最小区段ATC时间,AV流的ATC时间为11秒。在该情况下,在从AV流的开头起以最小区段ATC时间即2秒为单位划分区段时,在终端剩下1秒的区段ATC时间的区段。
假设如图78下段所示终端的区段组满足式(2)-(5)的最小区段大小,则2D/3D再现装置中所需的缓冲器余量即UL1和UL2能够减少,所以优选。
因此,如图79所示,设置如下限制,以使得终端的区段组满足式(2)-(5)的最小区段大小。
在将用于无缝连接的AV流的最小ATC时间设为TDURATION时,如下所述定义最大区段ATC时间。
TMAX_TEXT≥(TMIN_TEXT×TDURATION)/(TDURATION-MIN_TEXT)
...(72)
在图79下段记载有其依据。不满足AV流从开头起按最小区段ATC时间进行区段分割时所发生的最小区段时间的、终端区段的最大值,成为MIN_TEXT。将终端的MIN_TEXT的时间分配给能够用最小区段ATC时间分割的区段,若其成为最大区段ATC时间以下,则不会发生尾数。
在图79的例中,在MIN_TEXT为2秒、TDURATION为20秒的情况下,最大区段ATC时间成为2.222秒,在MIN_TEXT为2秒、TDURATION为30秒的情况下,最大区段ATC时间成为2.142秒。若最大区段ATC时间变大,则区段大小变大,所述2D/3D再现装置所需的缓冲器大小增大。因此,考虑跳跃性能等参数而适当地设定MAX_TEXT和TDURATION的关系。作为限制方式,将无缝地连接时的AV流的ATC时间(TDURATION)设为30秒以上,将MAX_TEXT设为2.15秒等,以规定的标准决定就可以。
若遵循上述限制,则终端的区段组始终保证区段ATC最小时间,所以能够削减2D/3D再现装置中所需的缓冲器余量即UL1和UL2。
能够根据用图75说明的计算方法,说明能够减少缓冲器余量UL1和UL2的理由。图80中集中示出了在L/R模式下的缓冲器余量UL1和UL2的大小的计算方法。
<多角度>
如图81(a)所示,作为在2D影像中实现多角度的数据配置,有将表示各角度影像的多个复用流组按每个角度进行交织配置的方法。
在3D影像中实现多角度的情况下,也可以如图81(b)所示,将交织配置了1个角度的左视视频流、右视视频流及深度图流的数据块的块作为1个单位,按每个角度交织地构成该块。
<用于在3D影像中实现多角度的其它数据结构>
此外,在3D影像中进行多角度的情况下,如图82(b)所示,也可以在多角度区间内不将左视视频流、从属视视频流及深度图流的区段分离给其他文件,而是将它们收到1条复用流内。在该情况下,为了在2D再现装置中进行再现,需要与左视视频流、从属视视频流及深度图流相配合地收到AV流的系统速率的范围内。
在这样的变形例中,为了应对在播放项目之间中途切换向系统目标解码器传送的AV流的数量的情形,如图82(a)所示,在各播放项目上设置了用于指示所再现的TS的条数的标志。具体而言,在为了再现3D影像而再现两个AV流(若是在L/R模式下,则为左视视频流和右视视频流,若是在深度模式下,则为左视视频流和深度图流)的非多角度区间的播放项目#1、#3中,将表示该TS模式的标志设定到2TS的模式上,在为了再现3D影像而再现1个AV流的多角度区间的播放项目#2中,将表示TS模式的标志设定到1TS的模式上。由此,2D/3D再现装置能够使用标志来切换向系统目标解码器的传送。此外,该标志还可以追加作为连接条件。例如,将从2TS向1TS转移的模式设定为连接条件“7”,将从1TS向2TS转移的模式设定为连接条件“8”。
下面,说明用于应对3D影像的多角度再现的详细内容。
<立体视觉交织流文件>
对记录有构成多角度的立体视觉交织文件的记录区域的数据配置进行说明。
图83(a)是示出在多角度区间3D播放列表的播放项目及子播放项目所参照的流文件的图。3D播放列表的播放项目及子播放项目包含多角度标志,该多角度标志表示构成多角度区间。在构成多角度区间的播放项目及子播放项目中,该标志被设定为开启。在该图中,示出了包含能够将3个角度影像进行切换再现的多角度区间的播放项目及子播放项目的3D播放列表,该3个角度影像包括:角度编号1的3D影像(下面称作A1影像)、 角度编号2的3D影像(下面称作A2影像)、以及角度编号3的3D影像(下面称作A3影像)。
多角度区间的播放项目包括:与保存有各角度影像的基视视频流的流文件相对应的参照片段信息8301、参照片段信息8302、以及参照片段信息8303。子路径类型表示3D的多角度区间的子播放项目,包括:与保存有各角度影像的从属视视频流的流文件相对应的参照片段信息8304、参照片段信息8305、以及参照片段信息8306。在该图中,各参照片段信息的框架内的记载示出与各个参照片段信息相对应的流文件的文件名。
参照片段信息8301和参照片段信息8304指定A1影像的基视流及从属视流,如在对图40(e)及图51的说明中所述,再现装置能够利用参照片段信息8301及参照片段信息8304所示的片段信息的区段起点,对保存有A1影像的第一文件SS(00001.ssif)8307进行再现。此外,参照片段信息8302和参照片段信息8305指定A2影像的基视流及从属视流,再现装置能够利用参照片段信息8302及参照片段信息8305所示的片段信息的区段起点,对保存有A2影像的第二文件SS(00002.ssif)8308进行再现。进一步,参照片段信息8303和参照片段信息8306指定A3影像的基视流及从属视流,再现装置能够利用参照片段信息8303及参照片段信息8306所示的片段信息的区段起点,对保存有A3影像的第三文件SS(00002.ssif)8309进行再现。
图83(b)表示第一文件SS8307、第二文件SS8308及第三文件SS8309在记录介质100上的物理配置。
第一文件SS8307的从属视视频流及基视视频流,在参照片段信息8301及参照片段信息8304所示的片段信息的入口映射中,按is_angle_change被设定为开启的每个区间、即能够进行角度切换的每个区间,被分割为从属视数据块D[0]A1、D[1]A1、...、基视数据块B[0]A1、B[1]A1...,D[n]A1和B[n]A1构成第一文件SS8307的“交织单元”A1[n](n=0,1,...)。能够将交织单元A1[n]作为第一文件SS8307的第n个区段进行存取。
第二文件SS8308的从属视视频流及基视视频流,在参照片段信息8302及参照片段信息8305所示的片段信息的入口映射中,按is_angle_change被设定为开启的每个区间、即能够进行角度切换的每个区间,被分割为从属视数据块D[0]A2、D[1]A2、...、基视数据块B[0]A2、B[1]A2...,D[n]A2和 B[n]A2形成第二文件SS8308的交织单元A2[n]。能够将交织单元A2[n]作为第二文件SS8308的第n个区段进行存取。
第三文件SS8309的从属视视频流及基视视频流,在参照片段信息8303及参照片段信息8306所示的片段信息的入口映射中,按is_angle_change被设定为开启的每个区间、即能够进行角度的每个区间,被分割为从属视数据块D[0]A3、D[1]A3、...、基视数据块B[0]A3、B[1]A3...,D[n]A3和B[n]A3形成第三文件SS8309的交织单元A3[n]。能够将交织单元A3[n]作为第三文件SS8309的第n个区段进行存取。
如该图的最下段所示,沿着记录介质100上的轨道而连续记录这些交织单元组。并且,A1的交织单元A1[0]、A1[1]、...,A2的交织单元A2[0]、A2[1]、...,A3的交织单元A3[0]、A3[1]、...,按照A1影像、A2影像、A3影像的顺序一个一个地交替配置。
图84是用于说明配置有图83所示的第一文件SS8307、第二文件SS8308及第三文件SS8309的存储区域中的再现路径的说明图。
下面,以在多角度区间的中途所再现的角度影像从角度编号1切换为角度编号3的情况为例进行说明。
在2D再现模式下,首先,读取构成第一文件SS8307的最初的交织单元A1[0]的基视数据块B[0]A1,作为角度编号1的影像,但是该再现过程中角度编号被切换为3,由此从B[0]A1的终端到在第三文件SS8309中能够进行角度切换的交织单元A3[1]的基视数据块B[1]A3开头为止发生跳跃,该B[1]A3被读取。
在3D再现模式下,首先,连续读取构成第一文件SS8307的最初的交织单元A1[0]的从属视数据块D[0]A1及基视数据块B[0]A1,作为角度编号1的影像,但是在该再现过程中角度编号被切换为3,由此从B[0]A1的终端到在第三文件SS8309中能够进行角度切换的交织单元A3[1]的从属视数据块D[1]A3开头为止发生跳跃,该从属视数据块D[1]A3和接下来的基视数据块B[1]A3被读取。
如上所示,根据角度编号的设定,使再现装置读取不同的角度影像的基视视频流及从属视视频流。
<变形例>
(A)本发明的实施方式1与在记录介质中保存3D影像时的区域的配置有关。但是,本发明也可以用于在记录介质中保存高帧速率的影像时。具体而言,例如,将高帧速率的影像分为第奇数个帧组和第偶数个帧组,只要将它们分别看作基视视频流和从属视视频流,以上述实施方式1的区段的配置记录到记录介质中就可以。只能以一般的帧速率再现影像的再现装置只要从该记录介质再现第奇数个帧组的影像就可以。另一方面,能够以高帧速率再现影像的再现装置能够有选择地再现仅第奇数个帧组的影像或双方的帧组的影像。这样,能够在保存有高帧速率的影像的记录介质中确保针对只能以一般的帧速率再现影像的再现装置的兼容性。
(B)在本发明的实施方式1中,基视视频流表示左视,从属视视频流表示右视。也可以反过来,基视视频流表示右视,从属视视频流表示左视。
(C)图39(a)所示的偏移表3141按每个PID包含偏移表项3304的表3310。偏移表除此之外,还可以按每个平面包含偏移表项的表。此时,能够简化3D再现装置的偏移表的解析处理。并且,也可以根据与平面的合成处理有关的3D再现装置的性能,对偏移表项的有効区间的长度设置例如1秒的下限。
(D)图48所示的3D播放列表文件包含表示子TS的再现路径的1个子路径。除此之外,3D播放列表文件也可以包括表示不同的子TS的再现路径的多个子路径。例如,也可以是一个子路径的子路径类型为“3DL/R”,另一个子路径的子路径类型为“3D深度”。在按照该3D播放列表文件再现3D影像时,通过在这两种子路径间切换再现对象的子路径,能够使再现装置200在L/R模式和深度模式之间容易地进行切换。尤其是,能够使得该切换处理比切换3D播放列表文件本身的处理更快速地实现。
3D播放列表文件也可以包括多个子路径类型相等的子路径。例如,在针对相同的场景的两眼视差不同的3D影像以右视相对于共用的左视的区别来表现时,按每个不同的右视视频流而不同的文件DEP被记录于记录介质100。另一方面,3D播放列表文件包含多为子路径类型为“3DL/R”的子路径。这些子路径分别规定不同的文件DEP的再现路径。除此之外,也可以针对1个文件2D包含两种以上的深度图流。此时,3D播放列表文件包 含子路径类型为“3D深度”的多个子路径。这些子路径分别规定包含各深度图流的文件DEP的再现路径。在按照这样的3D播放列表文件再现3D影像时,例如按照用户的操作来快速切换再现对象的子路径,所以能够在不实质性地切断3D影像的情况下,改变其两眼视差。由此,能够使用户容易地选择所希望的两眼视差的3D影像。
(E)以在平均传送速度Rext的评价中能够正确计算区段ATC时间为目的,也可以将各区段的大小设定为源包长度的某一定倍数,所述平均传送速度Rext是从读取缓冲器向系统目标记录器传送数据的平均传送速度。并且,在某个区段包括比该倍数多的源包时,也可以将超过该倍数的源包数与每1个源包的传送时间(=188×8/系统速率)之积加上相当于该倍数的区段ATC时间后得到的值,看作该区段的区段ATC时间。除此之外,也可以将区段ATC时间定义为,从1个区段的开头的源包的ATS起到相同区段的最后的源包的ATS为止的时间间隔加上每1个源包的传送时间后得到的值。此时,在区段ATC时间的计算中不需要参照下一区段,所以能够简化该计算。此外,在上述的区段ATC时间的计算中,必须要考虑在ATS发生折回(wrap around)的情形。
(F)在交织配置的数据块组中,例如,也可以配置BD-J对象文件等属于别的文件的区段。图86(a)是示出只包含复用流数据的交织配置的数据块组的示意图。图86(b)是示出包含属于其他文件的区段在内的交织配置的数据块组的示意图。
参照图86(a),数据块组6201交替地包含深度图数据块D1、D2、D3、右视数据块R1、R2、R3以及基视数据块L1、L2、L3。在L/R模式下的再现路径6202中,依次读取邻接的右视数据块和基视数据块的对R1+L1、R2+L2、R3+L3。在各对中,在右视数据块和基视数据块之间产生零扇区迁移J0。并且,各深度图数据块D1、D2、D3的读取被跳跃JLR跳过。在深度模式下的再现路径6203中,交替读取深度图数据块D1、D2、D3和基视数据块L1、L2、L3。在邻接的基视数据块和深度图数据块之间,产生零扇区迁移J0。并且,各右视数据块R1、R2、R3的读取被跳跃JLD跳过。
另一方面,参照图86(b),在与图86(a)同样的数据块组6204中,插入了属于别的文件的区段A1、A2。该别的文件可以是,例如电影对象文件、 BD-J对象文件及JAR文件中的某个。该区段A1、A2均插入到图86(a)中邻接的深度图数据块和右视数据块之间。此时,在L/R模式下的再现路径6205中,跳跃JLR的距离比图86(a)所示的再现路径6202长。但是,与将该区段A1、A2插入到某个基视数据块旁边的情况不同,也可以将零扇区迁移J0变更为一般的跳跃。在深度模式下的再现路径6206也同样。在此,能够从图64的表可知,将零扇区迁移变更为一般跳跃的情况与变更跳跃距离的情况相比,最大跳跃时间一般增加很多。因此,从式(2)-(5)可知,将零扇区迁移变更为一般的跳跃的情况与变更跳跃距离的情况相比,最小区段大小一般增加很多。因此,在交织配置的数据块组6201中插入区段A1、A2时,如图86(b)所示,插入到深度图数据块和右视数据块之间。由此,能够抑制最小区段大小随着该挿入而增大,因此能够回避读取缓冲器的最小容量的增大。
在图86(b)所示的配置中,也可以进一步将各区段A1、A2的以扇区为单位的大小G1、G2限制在最大跳跃距离MAX_EXTJUMP3D以下:G1≤MAX_EXTJUMP3D,G2≤MAX_EXTJUMP3D。该最大跳跃距离MAX_EXTJUMP3D,以扇区为单位表示在数据块组6204内生成的跳跃JLR、JLD中最大的跳跃距离。在该限制下,由于应该代入式(2)-(5)的右边的最大跳跃时间很难增大,所以最小区段大小很难增大。因此,能够回避随着区段A1、A2的挿入而读取缓冲器的最小容量的增大。
除此之外,也可以将各区段A1、A2的大小G1、G2和与其邻接的从属视数据块D2、R2、D3、R3的大小Sext3[2]、Sext2[2]、Sext3[3]、Sext2[3]之和限制在最大跳跃距离MAX_EXTJUMP3D以下:
CEIL(Sext3[2]/2048)+G1≤MAX_EXTJUMP3D,
CEIL(Sext2[2]/2048)+G1≤MAX_EXTJUMP3D,
CEIL(Sext3[3]/2048)+G2≤MAX_EXTJUMP3D,
CEIL(Sext2[3]/2048)+G2≤MAX_EXTJUMP3D。
在这些式中,通过将从属视数据块的以字节为单位的大小除以每1扇区的字节数2048,来将各大小的单位从字节变换为扇区数。只要满足这些条件式,应代入式(2)-(5)的右边的最大跳跃时间不会超过一定值。例如,在将最大跳跃距离MAX_EXTJUMP3D固定为40000扇区时,在图64的表中, 最大跳跃时间不超过350m秒。因此,最小区段大小不超过一定值。这样,能够可靠回避读取缓冲器的最小容量随着区段A1、A2的挿入而增大。
除了上述限制之外,也可以另外将各区段A1、A2的大小G1、G2和与其邻接的从属视数据块D2、R2、D3、R3的大小Sext3[2]、Sext2[2]、Sext3[3]、Sext2[3]之和,限制在相对该从属视数据块的大小的最大跳跃距离MAX_JUMP(·)以下:
CEIL(Sext3[2]/2048)+G1≤MAX_JUMP(Sext3[2]),
CEIL(Sext2[2]/2048)+G1≤MAX_JUMP(Sext2[2]),
CEIL(Sext3[3]/2048)+G2≤MAX_JUMP(Sext3[3]),
CEIL(Sext2[3]/2048)+G2≤MAX_JUMP(Sext2[3])。
所谓相对从属视数据块的大小的最大跳跃距离MAX_JUMP(·)是指,在将其大小用扇区数表示时,在图64的表中,与该扇区数所对应的最大跳跃时间相对应的扇区数中的最大值。例如,在从属视数据块的大小为5000扇区时,在图64的表中,5000扇区属于与最大跳跃时间250m秒对应的范围1-10000扇区。因此,最大跳跃距离MAX_JUMP(5000×2048字节)为该范围的最大值10000扇区。只要满足上述条件式,应代入式(2)-(5)的右边的最大跳跃时间不会发生变更,所以最小区段大小不变。因此,能够进一步可靠回避读取缓冲器的最小容量随着区段A1、A2的挿入而增大。
(在交织的区段间AV流以外文件的配置)
接着,对适合在交织的区域之间保存不同于AV流的别的文件(例如BD程序文件等)的区段的配置方法进行详细说明。
图87上段示出AV流的区段连续配置的情形。在该情形下,在为2D/3D再现装置的L/R模式的再现路径时,由于EXT2[n]和EXT1[n]连续,所以它们之间的区段的迁移时间成为0扇区的跳跃(TJUMP0)。在为2D/3D再现装置的深度模式的再现路径时,由于EXT1[n]和EXT3[n+1]连续,所以它们之间的区段的迁移时间成为0扇区的跳跃(TJUMP0)。如前所述,由于驱动器通过连续读取区段来高速读取TJUMP0的区间,所以如图64所示,TJUMP0的时间成为比其他跳跃时间小的值。
但是,即使在配置有AV流的区段的区间,也有配置AV流以外的别的文件(例如,BD程序文件等)的情形,所以有时不能像图87上段那样连续配置所有区段。在该情况下,需要在区段之间配置AV流以外的其他文件。
如图87中段所示,在EXT1[n]和EXT3[n]之间配置了AV流以外的其他文件时,EXT2[n]和EXT1[n]之间连续,但是EXT1[n]和EXT3[n+1]之间则不连续。在该情况下,在2D/3D再现装置的L/R模式的再现路径中,通过EXT2[n]和EXT1[n]连续,在TJUMP0进行区段的迁移,但是在2D/3D再现装置的深度模式的再现路径中,没有区段连续的区间(TJUMP0),所以需要比L/R播放器的再现路径更多的跳跃时间。
在此,必需将用于2D/3D再现装置进行无缝再现的最小区段大小设置为,关于SEXT1[n]满足式(2)和式(4)、关于SEXT2[n]满足式(3)、关于SEXT3[n]满足式(5)的大小。在如图87中段所示的区段的配置中,式(4)和式(5)的TJUMP0的值增加,所以SEXT1[n]、SEXT3[n]的最小区段大小变大。若区段大小变大,则如式(10)~式(12)所示,2D/3D再现装置中所需的缓冲器大小变大。
因此,在AV流的区段组之间配置AV流以外的其他文件时,如图87下段所示,配置在EXT3[n]和EXT2[n]之间(EXT2[n]、EXT1[n]、EXT3[n+1]连续配置)。通过进行这样的配置,在2D/3D再现装置的L/R模式的再现路径中,EXT2[n]和EXT1[n]连续,由此驱动器能够在TJUMP0进行区段迁移,在2D/3D再现装置的深度模式的再现路径中,EXT1[n]和EXT3[n+1]也连续,由此驱动器能够在TJUMP0进行区段迁移。由此,能够将出现在式(2)、式(3)、式(4)、式(5)中的TJUMP0的值设成较小,所以与图87中段所示的配置相比,能够使得最小区段大小较小,即,与图87中段所示的配置相比,能够抑制2D/3D再现装置中所需的缓冲器大小。
此外,在交织的AV流的区段组之间配置AV流以外的其他文件的情况下,在配置于EXT3[n]和EXT2[n]之间时,也可以将能够配置在EXT3[n]和EXT2[n]之间的文件的大小限制为如下式所示。
GAP(EXT3[n],EXT2[n])<=MAX_EXTJUMP3D...(73)
GAP(EXT3[n],EXT2[n])<=MAX_EXTJUMP3D...(74)
如图88所示,将EXT3[n]的终端和EXT2[n]的开头之间的间隔设为GAP(EXT3[n],EXT2[n])(单位:块数),将MAX_EXTJUMP3D(单位:块数)设为交织的区段区间的最大跳跃距离。通过这样规定,能够防止由于EXT3[n]和EXT2[n]的间隔变得过大而使代入式(2)、(3)、(4)、(5)中的TJUMP的值增大从而区段大小变得过大的情形。
此外,在交织的AV流的区段组之间配置AV流以外的其他文件时,在配置到EXT3[n]和EXT2[n]之间时,也可以将能够配置到EXT3[n]和EXT2[n]之间的文件的大小限制为如下式所示。
CEIL(SEXT3[n]/2048)+GAP(EXT3[n],EXT2[n])<=MAX_EXTJUMP3D
...(75)
CEIL(SEXT2[n]/2048)+GAP(EXT3[n],EXT2[n])<=MAX_EXTJUMP3D
...(76)
如图88所示,将EXT3[n]的终端和EXT2[n]的开头之间的间隔设为GAP(EXT3[n],EXT2[n])(单位:块数),将MAX_EXTJUMP3D(单位:块数)设为交织的区段区间的最大跳跃距离。通过这样规定,与式(73)、(74)相比,能够更有效地限制最小区域的大小。例如,在将MAX_EXTJUMP3D设为10000块时,在式(73)、(74)的情况下,根据SEXT3[n]、SEXT2[n]的值,有时区段之间的跳跃距离超过10000,所以TJUMP的值增加,若用图64的例进行说明,则成为250ms。但是,通过定义为如式(75)、(76)所示,能够将区段间的最大跳跃距离固定化,例如,在将MAX_EXTJUMP3D设为10000块时,进入TJUMP的值始终不超过一定的固定值。(若用图64进行说明,则不超过250ms)
此外,在交织的AV流的区段组之间配置AV流以外的其他文件时,在配置到EXT3[n]和EXT2[n]之间时,也可以将能够配置到EXT3[n]和EXT2[n]之间的文件的大小限制为如下式所示。
CEIL(SEXT3[n]/2048)+GAP(EXT3[n],EXT2[n])<=MAX_JUMP(SEXT3[n])
...(77)
CEIL(SEXT2[n]/2048)+GAP(EXT3[n],EXT2[n])<=MAX_JUMP(SEXT2[n])
...(78)
如图88所示,将EXT3[n]的终端和EXT2[n]的开头之间的间隔设为 GAP(EXT3[n],EXT2[n])(单位:块数),将MAX_JUMP(SEXT3[n])设为在跳跃SEXT3[n]的距离的时间内能够跳跃的最大跳跃距离(单位:块数),将MAX_JUMP(SEXT2[n])设为在跳跃SEXT2[n]的距离的时间内能够跳跃的最大跳跃距离(单位:块数)。例如,在SEXT3[n]为5000×2048(Byte)的情况下,跳跃该区段的时间,在图64的例中为250ms。在该情况下,根据图64的表,MAX_JUMP(SEXT3[n])成为在250ms内跳过的最大跳跃距离10000块。通过如式(77)、(78)那样进行规定,由于EXT3[n]和EXT2[n]之间的间隔,式(2)、(3)、(4)、(5)中的TJUMP的值不发生变动,所以与式(75)、(76)相比,能够将最小区段大小的大小高效地抑制为较小。
此外,作为对交织的AV流的区段的大小限制,也可以对EXT3[n]和EXT2[n]的大小施加如下式所示的限制,不允许交织的区间内的间隙。
CEIL(SEXT3[n]/2048)<=MAX_EXTJUMP3D...(79)
CEIL(SEXT2[n]/2048)<=MAX_EXTJUMP3D...(80)
如图88所示,将MAX_EXTJUMP3D(单位:块数)设为交织的区段区间内的最大跳跃距离。通过这样规定,能够将区段间的最大跳跃距离固定化,例如将MAX_EXTJUMP3D设为10000块时,进入TJUMP的值始终不超过一定的固定值。(若以图64为例,则不超过250ms)
<实施方式2>
在实施方式1中,如图54所示,利用第一读取缓冲器4921和第二读取缓冲器4922这两个缓冲器,将流数据输入系统目标解码器中,在本实施方式2中,对只利用1个读取缓冲器实现3D影像再现的结构进行说明。
具体而言,如图89所示,构成为,设置读取缓冲器(1)3707这1个缓冲器,向系统目标解码器3703进行输入,如图90所示,从读取缓冲器(1)3707向源拆包器(1)4111和源拆包器(2)4112输入。
通过这样构成,2D/3D再现装置能够将3D影像的再现中所需的读取缓冲器的大小设为较小。
图91上段示出在利用第一读取缓冲器4921和第二读取缓冲器4922这两个缓冲器时的、第一读取缓冲器4921的3D影像再现时的数据存储量的变化过程。图91中段示出在利用第一读取缓冲器4921和第二读取缓冲器 4922这两个缓冲器时的、第二读取缓冲器4922的3D影像再现时的数据存储量的变化过程。图91上段的第一读取缓冲器4921的顶点和图91上段的第二读取缓冲器4922的顶点不重叠,所以若向第一读取缓冲器4921输入EXT1[n]和EXT2[n](或EXT3[n]),则如图91下段的线9601所示,与设置两个读取缓冲器的情况相比,能够将缓冲器大小设为较小。
在该情况下,来自第一读取缓冲器4921的传输率需要成为输入到第一读取缓冲器4921的AV流的合计系统速率×192/188的速率。图92上段是示意地示出构成1个读取缓冲器时的读取缓冲器(1)3707的内部中所存储的数据的变化过程的图。图92上段示出在L/R模式下再现的情况下的数据的变化过程。此外,各箱表示读取缓冲器(1)3707。9701表示读取图92下段的3D区段块的开头区段EXT2[0]的时刻(A地点)的、存储在读取缓冲器(1)3707内部的数据。在读取开头EXT2[0]的时刻,没有开始向系统目标解码器3703进行传送,所以EXT2[0]的数据原样存储在缓冲器中。9702表示在正在读取EXT1[0]的过程中(B地点)的读取缓冲器(1)3707内部所存储的数据。在开始向系统目标解码器3703进行传送的情况下,读取缓冲器(1)3707内的EXT2[0]的数据随着向系统目标解码器3703传送而减少,此外,EXT1[0]的数据在被存储到读取缓冲器(1)3707中的同时,随着向系统目标解码器3703的传送而减少。9703表示在读取完EXT1[0]的地点(C地点)的读取缓冲器(1)3707内部所存储的数据。9704表示正在读取EXT2[1]的过程中(D地点)的读取缓冲器(1)3707内部所存储的数据。读取缓冲器(1)3707内的EXT1[0]的数据随着向系统目标解码器3703传送而减少,此外,EXT2[1]的数据在被存储到读取缓冲器(1)3707中的同时,随着向系统目标解码器3703传送而减少。通过这样控制读取缓冲器(1)3707,能够实现读取缓冲器(1)3707这1个缓冲器。
在此,在如前所述对源包赋予的ATS的定时,进行向系统目标解码器3703的数据传送。因此,在向读取缓冲器(1)3707输入了两个AV流时,在被输入了被赋予相同的ATS的源包的情况下,不能在同时刻从读取缓冲器(1)3707向系统目标解码器3703传送两个源包,所以在ATS的定时,不能进行向系统目标解码器3703的传送。例如,在存在被赋予了ATS=100的2D/左眼AV流的源包以及被赋予了ATS=100的文件DEP的流的源包时, 若先传送ATS=100的2D/左眼AV流的源包,则ATS=100的文件DEP的流的源包错开ATS+1源包的传送时间而被传送到系统目标解码器的源拆包器(2)4112,有可能在系统目标解码器3703的解码处理中产生缓冲器下溢等问题。
因此,如图93上段所示,设定AV流内的源包的ATS。图93上段示出2D/左眼AV流和文件DEP的流的源包串,在ATC时间排列源包。SP#N表示各源包,附加字N是在将AV流的开头源包设为0后递增的编号。此外,对各源包的开头赋予的箭头表示ATS的定时。此外,各源包的箱的大小表示2D/3D再现装置将各源包向系统目标解码器传送的时间(下面,设为“3D源包传送时间9801”)。此外,箭头9801表示2D/3D再现装置将1源包从读取缓冲器(1)3707向系统目标解码器传送的时间,箭头9802表示2D再现装置将1源包从读取缓冲器向系统目标解码器传送的时间(下面,设为“2D源包传送时间9802”)。
如图93上段所示,2D/左眼AV流的邻接的源包的ATS的间隔必须得在2D源包传送时间9802以上。这是因为若不遵守该制约,则不能赶上2D再现装置向系统目标解码器的传送。在图93下段的例中,2D/左眼AV流的SP#0和SP#1的ATS的间隔比2D再现装置将1源包从读取缓冲器向系统目标解码器传送的时间短,所以不能采用(NG)。此外,从文件DEP的流的源包的ATS到在该ATS上加上3D源包传送时间9801后得到的ATC时间为止的间隔,不能与从2D/左眼AV流的源包的ATS到在该ATS上加上3D源包传送时间9801后得到的ATC时间为止的间隔重叠。图93下段的文件DEP的流的SP#2和2D/左眼AV流的SP#3是NG的情形。
通过按这样的制约来构成AV流,能够防止被赋予了相同的ATS的两个源包输入到1个读取缓冲器(1)3707中。
<实施方式3>
下面,作为本发明的实施方式3,对本发明的实施方式1的记录介质的记录装置及记录方法进行说明。
该记录装置是被称作所谓的写作装置的装置。写作装置通常设置于发布用电影内容的制作工作室中,由写作人员使用它。记录装置按照写作人 员的操作,首先,将电影内容变换为基于MPEG标准的压缩编码方式的数字流即AV流文件。记录装置接着生成脚本。脚本是用于规定电影内容中所包含的各标题的再现方法的信息,具体而言,包括上述动态脚本信息及静态脚本信息。记录装置接着根据上述数字流及脚本生成BD-ROM盘用的卷图像或更新套件。记录装置最后利用实施方式1的区段的配置,将卷图像记录到记录介质中。
图93是表示该记录装置的内部结构的框图。参照图93,该记录装置包括:视频编码器6301,素材制作部6302,脚本生成部6303,BD程序制作部6304,复用处理部6305,格式处理部6306,以及数据库部6307。
数据库部6307是记录装置中内置的非易失性存储装置,特别是硬盘驱动器(HDD)。数据库部6307除此之外,还可以是设在记录装置外部的HDD,也可以是记录装置中内置或外设的非易失性半导体存储器装置。
视频编码器6301从写作人员接受非压缩的位图数据等的影像数据,用MPEG-4AVC或MPEG-2等压缩编码格式,对该影像数据进行压缩。由此,主影像的数据变换为主视频流,副影像的数据变换为次视频流。尤其是,3D影像的数据变换为基视视频流和从属视视频流。视频编码器6301将左视视频流通过其自身的图片间的预测编码来变换为基视视频流,并将右视视频流,不仅利用其自身的图片,还利用基视视频流的图片之间的预测编码,而变换为从属视视频流。此外,也可以是右视视频流变换为基视视频流。并且,也可以是左视视频流变换为从属视视频流。变换后的各视频流6311被保存到数据库部6307中。
视频编码器6301还在该图片间预测编码的处理过程中,检测左影像和右影像之间的各图像的运动向量,并根据它们计算3D影像内的各图像的进深信息。将计算出的各图像的进深信息整理到帧进深信息6310中,并保存到数据库部6307中。
图94(a)、(b)是示出在3D影像的一个场景的显示中所利用的左影像图片和右影像图片的示意图,图94(c)是视频编码器6301根据左影像图片和右影像图片计算出的进深信息的示意图。
视频编码器6301首先利用左右图片间的冗余性,压缩各图片。此时,视频编码器6301按每一8×8或16×16的像素矩阵即按每个宏块,对压缩前 的左右图片进行比较,检测两图片间的各图像的运动向量。具体而言,如图94(a)、(b)所示,首先,左影像图片6401和右影像图片6402分别被分割为宏块6403的矩阵。接着,在两图片6401、6402之间,将图像数据按每一个宏块6403进行比较,根据该结果检测各图像的运动向量。例如,在表示“家”的图像6404的区域,两图片6401、6402之间实质上相等。因此,从这些区域,检测不出运动向量。另一方面,在表示“球”的图像6405的区域,两图片6401、6402之间实质上不同。因此,从这些区域检测出表示“球”的图像6405的位移的运动向量。
视频编码器6301接着将检测到的运动向量用于各图片6401、6402的压缩中,另一方面,还用于各图像数据6404、6405所表示的影像的两眼视差的计算中。视频编码器6301进一步从这样得到的两眼视差,计算出“家”及“球”的图像6404、6405等各图像的“进深”。表示各图像的进深的信息,例如如图94(c)所示,被整理为与各图片6401、6402的宏块的矩阵相同大小的矩阵6406。图93所示的帧进深信息6310包含该矩阵6406。该矩阵6406内的块6407与各图片6401、6402内的宏块6403一对一地对应。各块6407将对应的宏块6403所表示的图像的进深,例如用8比特的深度表示。在图94所示的例中,将“球”的图像6405的进深记录到矩阵6406的区域6408内的各块中。该区域6408与表示该图像6405的各图片6401、6402内的整个区域相对应。
再次参照图93,素材制作部6302制作视频流以外的基本流如音频流6312、PG流6313及IG流6314后,保存到数据库部6307中。例如,素材制作部6302从写作人员接受非压缩的LPCM声音数据,将其用AC-3等压缩编码格式进行编码而变换为音频流6312。素材制作部6302除此之外,从写作人员接受字幕信息文件,并根据该字幕信息文件制作PG流6313。字幕信息文件规定表示字幕的图像数据、该字幕的显示时期以及应该赋予给该字幕的浅入/淡出等视觉效果。素材制作部6302进一步从写作人员接受位图数据和菜单文件,根据这些位图数据和菜单文件来制作IG流6314。位图数据表示菜单图像。菜单文件规定配置在该菜单上的各按钮的状态的转变以及应该赋予给各按钮的视觉效果。
脚本生成部6303按照从写作人员经由GUI接受的指示,制作BD-ROM脚本数据6315,并保存到数据库部6307中。BD-ROM脚本数据6315规定保存在数据库部6307中的各基本流6311-6314的再现方法。BD-ROM脚本数据6315包括:图7所示的文件集中的索引文件511、电影对象文件512、以及播放列表文件521-523。脚本生成部6303进一步制作参数文件6316后向复用处理部6305送出。参数文件6316规定从数据库部6307中所保存的基本流6311-6314中应该分别复用到主TS和子TS上的流数据。
BD程序制作部6304向写作人员提供BD-J对象及Java应用程序的编程环境。BD程序制作部6304通过GUI接受来自用户的要求,并按照该要求制作各程序的源代码。BD程序制作部6304进一步根据BD-J对象制作BD-J对象文件551,将Java应用程序压缩为JAR文件561。向格式处理部6306送出这些文件551、561。
在此,假设BD-J对象如下所述被编程的情况:BD-J对象使图54、59所示的程序执行部4606、906将GUI用的图形数据向系统目标解码器4603、4903送出。BD-J对象进一步使系统目标解码器4603、4903将该图形数据处理为图像平面数据。此时,BD程序制作部6304也可以利用保存在数据库部6307中的帧进深信息6310,对BD-J对象设定有关图像平面数据的偏移信息。
复用处理部6305按照参数文件6316,将保存在数据库部6307中的各基本流6311-6314复用于MPEG2-TS格式的流文件中。具体而言,如图10所示,各基本流被变换为源包串,各串的源包集中为一列构成一条复用流数据。这样,制作主TS和子TS。
与该处理并行地,复用处理部6305按以下的顺序制作2D片段信息文件和从属视片段信息文件。首先,对文件2D和文件DEP分别生成图39所示的入口映射3130。接着,利用各文件的入口映射,制作图40所示的区段起点的一览表3310。接着,从应该分别复用于主TS和子TS上的各基本流,提取图38所示的流属性信息。并且,如图38所示,入口映射、3D元数据及流属性信息的组合与片段信息相对应。
格式处理部6306根据数据库部6307中所保存的BD-ROM脚本数据6315、BD程序制作部6304制作的BD-J对象文件等程序文件集、以及由复 用处理部6305生成的复用流数据和片段信息文件,制作图7所示的目录结构的BD-ROM盘图像6320。在该目录结构中,将UDF用作文件系统。
格式处理部6306在制作文件2D、文件DEP及文件SS的各文件入口时,参照2D片段信息文件和从属视片段信息文件的各文件中所包含的入口映射和3D元数据。由此,各入口点和各区段起点的SPN被用于各配置描述符的制作中。尤其是,配置描述符被制作成,能够表示图15所示那样的交织配置。由此,文件SS和文件2D共用各基视数据块,文件SS和文件DEP共用各从属视数据块。另一方面,制作配置描述符,以便在需要长跳跃的部位表现图20、24、26、28、30、32的各个所示的配置1-6中的某一个。尤其是,仅由文件2D内的配置描述符参照基视数据块的一部分作为2D再现专用块,仅由文件SS的配置描述符参照该一部分的复制数据作为3D再现专用块。并且,基视和从属视的区段的各大小被设计成满足式(1)-(5),基于此,决定各配置描述符应该表示的逻辑地址的值。
除此之外,格式处理部6306利用数据库部6307中所保存的帧进深信息6310,对次视频流6311、PG流6313及IG流6314的各个,制作图39(a)所示的偏移表。格式处理部6306进一步将偏移表保存到2D片段信息文件的3D元数据内。在此,左右各影像帧内的图像数据的配置被自动调整为,使得各流表示的3D影像与其他流表示的3D影像不会在相同的视方向上重叠显示。并且,对各影像帧的偏移值被自动调整为,使得各流表示的3D影像的进深不会相互重叠。
之后,将由格式处理部6306生成的BD-ROM盘图像6320变换为BD-ROM压印用数据。并且,该数据被记录到BD-ROM盘的母盘上。通过将该母盘用于压印工序中,能够实现本发明的实施方式1的记录介质100的大量生产。
<实施方式4>
在本实施方式中,说明利用集成电路3实现了对在上述实施方式中说明的结构的数据进行再现的再现装置的构成例(图95)。
介质IF部1从介质接收(读取)数据并传送给集成电路3。此外,介质IF部1从介质接收在上述实施方式中说明的结构的数据。例如,在介质为 光盘或硬盘的情况下,介质IF部1为盘驱动器,在介质为SD卡或USB存储器等半导体存储器的情况下,介质IF部1为卡IF,在介质为包含CATV等的广播波的情况下,介质IF部1为CAN调谐器或Si调谐器,在介质为以太网(注册商标)、无线局域网、无线公用线路等网络的情况下,介质IF部1为网络接口等。
存储器2是暂时保存从介质接收到的(读取的)数据或暂时保存集成电路3中的处理途中的数据的存储器,例如使用SDRAM(SynchronousDynamic Random Access Memory),DDRx SDRAM(Double-Date-RatexSynchronous Dynamic Random Access Memory;x=1,2,3…)等。此外,可以具备任意个数的存储器2,根据需要可以是单个,也可以是多个。
集成电路3是对从介质IF部1传送来的数据进行影像·声音处理的系统LSI,包括:主控制部6、流处理部5、信号处理部7、存储器控制部9、AV输出部8等。
主控制部6包括具有时钟功能及插入功能的处理器核,处理器核按照保存在程序存储器等中的程序,进行集成电路3的整体控制。此外,在程序存储器等中预先保存有OS等基本软件。
流处理部5在主控制部6的控制下,接收从介质经由介质IF部1传送来的数据,并经由集成电路3内的数据总线保存到存储器2中,或者将所接收的数据分离为影像类数据和声音类数据。如前所述,包含左视视频流的2D/L用的AV片段和包含右视视频流的R用的AV片段在分别被分割为几个区段的状态下被配置在介质上(例如,参照图41、或图81、82(多角度))。因此,主控制部6进行控制,在集成电路3接收到包含左视流的左眼用数据的情况下,在存储器2的第一区域中保存数据,在接收到包含右视视频流的右眼用数据的情况下,在存储器2的第二区域中保存数据。在此,左眼用数据属于左眼用区段,右眼用数据属于右眼用区段。此外,存储器2中的第一、第二区域也可以是单一的存储器逻辑上被分割的区域,也可以是在物理上不同的存储器。此外,在本实施方式中,将包含左视视频流的左眼用数据作为主视数据,将包含右视视频流的右眼用数据作为子视数据来进行了说明,但也可以是右眼用数据为主视数据,左眼用数据为子视数据。
信号处理部7在主控制部6的控制下,通过适当的方式,对流处理部5所分离的影像类数据、声音类数据进行解码。由于影像类数据是利用MPEG-2、MPEG-4AVC、MPEG4-MVC、SMPTE VC-1等方式被编码记录,此外,声音类数据是利用dolbyAC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、线性PCM等方式被压缩·编码记录,所以信号处理部7能够以与其方式对应的方式进行解码。此外,信号处理部7的模型对应于例如第九实施方式的图65中的各种解码器。
存储器控制部9利用集成电路3内的各功能块调解向存储器2的存取。
AV输出部8在主控制部6的控制下,将在信号处理部7解码后的影像类数据进行重叠,或者进行影像类及数据的格式变换等之后,向集成电路3外输出。
图96是示出流处理部5的代表性结构的功能框图。流处理部5具备设备流IF部51、解复用部52、切换部53等。
设备流IF部51是介质IF部1和集成电路3之间的数据传送用接口,例如,介质为光盘或硬盘的情况下,该接口为SATA(Serial AdvancedTechnology Attachment),ATAPI(Advanced Technology Attachment PacketInterface)、PATA(Parallel Advanced Technology Attachment),在介质为SD卡或USB存储器等半导体存储器的情况下,该接口为卡IF,在介质为包括CATV等的广播波等的情况下,该接口为调谐器IF,在介质为以太网、无线局域网、无线公用线路等网络的情况下,该接口为网络接口等。此外,根据介质的种类,设备流IF部51可以代替介质IF部1的功能的一部分,也可以将介质IF部1内置于集成电路3中。
解复用部52将从介质传送的包含影像·声音的再现数据分离为影像类数据和声音类数据。上述各区段由影像·声音·PG(字幕)·IG(菜单)等的各源包构成(但是,子视数据有时不包含声音),按照各源包中所包含的PID(标识符),分离为影像类·声音类的各TS包,并向信号处理部7传送。将处理完的数据直接或暂时保存到存储器2中后,传送到信号处理部7。此外,解复用部52的模型对应于例如第九实施方式的图65中的源拆包器、PID滤波器。
切换部53切换输出目的地(保存目的地),以便在设备流IF部51接收左眼用数据时,将左眼用数据保存到存储器2的第一区域中,在接收右眼用数据时,将右眼用数据保存到存储器2的第二区域中。在此,切换部53例如为DMAC(Direct Memory Access Controller)。图97是切换部53为DMAC时的切换部53的周边的概念图。DMAC在主控制部6的控制下,将设备流IF部所接收的数据和其数据保存目的地地址向存储器控制部9发送。具体而言,在设备流IF部接收到左眼用数据时,将地址1(第一保存区域)发送给存储器控制部9,在接收到右眼用数据时,将地址2(第二保存区域)发送给存储器控制部9,从而利用接收数据切换其输出目的地(保存目的地)。存储器控制部9按照从DMAC发送来的保存目的地地址,向存储器2保存数据。此外,主控制部6利用在再现数据之前接收并保存在存储器2中的上述CLIPINF中所包含的区段起点(在为立体视觉再现的情况下,是上述文件基本或文件从属),来控制切换部53。即,主控制部6利用文件基本来识别设备流IF部51所接收的数据为左眼用数据,并控制切换部53,识别设备流IF部51所接收的数据为右眼用数据,从而控制切换部53来切换向存储器2输出的输出目的地(保存目的地)。此外,也可以代替主控制部6而设置用于控制切换部53的专用电路。
在此,作为流处理部5的代表性结构,对设备流IF部51、解复用部52、切换部53进行了说明,但是可以进一步具备对所接收的加密数据或密钥数据等进行解密的加密引擎部、用于进行介质~再现装置之间的设备认证协议等的执行控制或保持私钥的安全管理部、存储器直接存取用的控制器等。前面,说明了在将从介质接收的数据保存到存储器2中时切换部53利用左眼用数据·右眼用数据切换保存目的地的情况,但是在将从介质接收到的数据暂时保存到存储器2中后向解复用部52传送数据时,也可以区分左眼用数据和右眼用数据。
图98是示出AV输出部8的代表性结构的功能框图。AV输出部8具备:图像重叠部81、视频输出格式变换部82、音频·视频输出IF部83等。
图像重叠部81将解码后的影像类的数据进行重叠。具体而言,将左视视频数据或右视视频数据与PG(字幕)、IG(菜单)以图片为单位进行重叠。图像重叠部81的模型,例如为第11实施方式中的图98等。
视频输出格式变换部82根据需要,对解码后的影像类数据进行放大或缩小的大小调整处理、将扫描方式从逐行扫描方式和隔行扫描方式中的一种向另一种变换的IP变换处理、除去噪声的降噪处理、改变帧速率的帧速率变换处理等。
音频·视频输出IF部83配合数据发送形式,对进行了图像重叠及格式变换后的影像类数据和解码后的声音类数据进行编码等。此外,如后所述,音频·视频输出IF部83的一部分也可以设在集成电路3之外。
图99是更详细地示出AV输出部8或再现装置的数据输出部分的构成例。本实施方式中的集成电路3及再现装置与多个影像类数据、声音类数据的数据发送方式相对应。图98中的音频·视频输出IF部83与模拟视频输出IF部83a、模拟音频输出IF部83c、数字音频·视频输出IF部83b相对应。
模拟视频输出IF部83a将进行了图像重叠处理及输出格式变换处理后的影像类数据变换·编码为模拟影像信号形式,并予以输出。例如,NTSC、PAL、SECAM这3种方式中的某一种所对应的复合视频编码器、S影像信号(Y/C分离)用编码器、分量影像信号用编码器以及DAC(D/A转换器)等,对应于模拟视频输出IF部83a。
数字音频·视频输出IF部83b在对解码后的声音类数据和进行了图像重叠处理及输出格式变换的影像类数据进行一体化并进行加密之后,配合数据发送标准进行编码和输出。例如,HDMI(High-Definition MultimediaInterFace)等对应于数字音频·视频输出IF部83b。
模拟音频输出IF部83c对应于对解码后的声音类数据进行D/A变换并输出模拟声音数据的音频DAC等。
可以根据显示装置·扬声器4一侧所支持的数据接收装置(数据输入端子)来切换这些影像类数据及声音类数据的发送形式,或者通过用户的选择来切换发送形式。并且,也可以不仅采用单一的发送形式,而是并行地用多个发送形式来发送与同一内容对应的数据。
在此,作为AV输出部8的代表性结构,对图像重叠部81、视频输出格式变换部82、音频·视频输出IF部83进行了说明,但是也可以还具备进行滤波处理、画面合成、曲线描绘、3D显示等图形处理的图形引擎部等。
以上是对本实施方式中的再现装置的结构的说明。此外,上述集成电路3中所包含的各功能块也可以不是全部内置,也可以反过来将图95的存储器2内置于集成电路3。此外,在本实施方式中,将主控制部6和信号处理部7作为不同的功能块进行说明,但是,主控制部6也可以进行信号处理部7的处理的一部分。
此外,可以根据各处理块的处理顺序及处理内容,来任意配置集成电路3中的控制总线或数据总线的路径,例如,如图100所示,也可以将数据总线配置成直接连接各处理块彼此之间,也可以如图101所示,将数据总线配置成使得各处理块彼此通过存储器2(存储器控制部9)连接。
此外,集成电路3也可以是将多个芯片封装到1个封装中而成为外观上是1个的LSI的多芯片模块。
此外,也可以采用在制造LSI后能够编程的FPGA(Field ProgrammableGate Array)或能够重构LSI内部的电路单元的连接或设定的可重构处理器。
接着,对如上所示构成的再现装置的动作进行说明。
图102是简单地示出从介质接收(读取)数据、并在解码之后作为影像信号及声音信号输出的再现动作顺序的流程图。
S1:从介质接收(读取)数据(介质IF部1,流处理部5)。
S2:将在S1接收的(读取的)数据分离为各种数据(影像类数据·声音类数据)(流处理部5)。
S3:用适当的方式,对在S2分离的各种数据进行解码(信号处理部7)。
S4:对在S3被进行了解码处理后的各种数据中的、影像类的数据进行重叠处理(AV输出部8)。
S6:输出在S2~S5处理后的影像类数据及声音类数据(AV输出部8)。
图103是更详细地示出再现动作顺序的流程图。在主控制部6的控制下进行各动作·处理。
S101:流处理部5的设备流IF部51接收(读取)通过介质IF部1而保存在介质中的要再现的数据以外的、为了再现数据而需要的数据(PLAYLIST,CLIPINF等),并保存到存储器2中(介质IF部1,设备IF部51,存储器控制部9,存储器2)。
S102:主控制部6根据所接收的CLIPINF中所包含的流属性信息,识别介质中所保存的影像数据及声音数据的压缩格式,并对信号处理部7进行初始化,以便能够进行对应的解码处理(主控制部6)。
S103:流处理部5的设备流IF部51接收(读取)通过介质IF部1保存到介质中的影像·声音等要再现的数据,并经由切换部53、存储器控制部9,保存到存储器2中。此外,主控制部6控制切换部53,使切换部53切换数据的输出目的地(保存目的地),以便以区段为单位接收(读取)数据,在接收了(读取了)左眼用数据时,向第一区域保存,在接收了(读取了)右眼用数据时,保存到第二区域(介质IF部1,设备IF部51,主控制部6,切换部53,存储器控制部9,存储器2)。
S104:保存在存储器2中的数据被传送到流处理部5的解复用部52,解复用部52按照包含在构成流数据的源包中的PID,识别是影像类(主影像,副影像,PG(字幕),IG(菜单)),声音类(声音,副声音)中的哪一种,并以TS包为单位向信号处理部7所对应的各解码器传送。(解复用部52)。
S105:信号处理部7的各解码器对传送来的TS包,按适当的方式进行解码处理(信号处理部7)。
S106:在信号处理部7,配合显示装置4,对解码后的影像类数据中的与左视视频流及右视视频流相对应的数据进行大小调整(视频输出格式变换部82)。
S107:将在S106被调整大小后的视频流和PG(字幕)·IG(菜单)进行重叠(图像重叠部81)。
S108:对在S107重叠后的影像数据进行扫描方式的变换即IP变换(视频输出格式变换部82)。
S109:对于已进行了之前的处理的影像类数据及声音类数据,按照显示装置·扬声器4的数据输出方式或者对显示装置·扬声器4的数据发送方式,来进行编码或D/A变换等。例如,为了应对模拟输出或数字输出,分别对影像类数据·声音类数据进行处理。作为影像类数据的模拟输出,支持复合影像信号、S影像信号或分量影像信号等。此外,影像类·声音类数据的数字输出支持HDMI(音频·视频输出IF部83)。
S110:将在S109中处理后的影像类数据及声音类数据向显示装置·扬声器4进行发送和输出(音频·视频输出IF部83,显示装置·扬声器4)。
以上是对本实施方式中的再现装置的动作顺序的说明。此外,也可以按每个处理,将处理结果暂时保存在存储器2中。此外,在本动作顺序中,对在视频输出格式变换部82中进行大小调整处理及IP变换处理的情况进行了说明,但是也可以根据需要省略处理,或者进行其他处理(降噪处理,帧速率变换处理等)。并且,如果可能的话也可以变更处理顺序。
<补充>
<经由广播、通信电路进行的数据分发>
本发明的实施方式1的记录介质除了光盘之外,还包括:包含例如SD存储卡的便携式半导体存储器装置等所有能够用作封装介质的便携式介质。此外,在实施方式1的说明中,例举了预先记录有数据的光盘即BD-ROM或DVD-ROM等现有的只读光盘。但是,本发明的实施方式不限定于此。例如,在利用终端装置,将经由广播或网络而分发的3D影像的内容写入BD-RE或DVD-RAM等现有的能够写入的光盘中时,也可以采用实施方式1的区段的配置。在此,该终端装置可以被组装到再现装置中,也可以是与再现装置不同的装置。
<半导体存储卡的再现>
对代替光盘而使用半导体存储卡作为本发明的实施方式1的记录介质时的、再现装置的数据读取部进行说明。
再现装置中的从光盘读取数据的部分例如由光盘驱动器构成。相对于此,从半导体存储卡读取数据的部分由专用接口(I/F)构成。更具体而言,在再现装置上设置卡槽,在其内部安装上述I/F。在向该卡槽插入半导体存储卡时,通过该I/F,该半导体存储卡与再现装置电连接。并且,通过该I/F,从半导体存储卡向再现装置读取数据。
<对BD-ROM盘上的数据的著作权保护技術>
在此,作为以下补充事项的前提,对用于保护记录在BD-ROM盘中的数据的著作权的结构进行说明。
从例如著作权的保护或数据的保密性的提高的观点出发,有些情况下,记录在BD-ROM盘中的数据的一部分被加密。该加密数据例如包括:视频流、音频流、或其他流。此时,如下所述对加密数据进行解读。
在再现装置中,预先存储有在用于对BD-ROM盘上的加密数据进行解读的“密钥”的生成中所需的数据的一部分,即设备密钥。另一方面,在BD-ROM盘中,记录有在该“密钥”的生成中所需的数据的别的一部分,即MKB(介质密钥块),以及该“密钥”自身的加密数据,即加密标题密钥。设备密钥、MKB及加密标题密钥相互对应,并且,还与图6所示的记录介质100上的BCA201中所写入的特定的ID即卷ID对应。若设备密钥、MKB、加密标题密钥及卷ID的组合不正确,则不能进行加密数据的解读。即,只有在它们的组合正确的情况下,生成上述“密钥”即标题密钥。具体而言,首先,利用设备密钥、MKB及卷ID对加密标题密钥进行解密。只有在通过他们导出标题密钥时,才能够将该标题密钥用作上述“密钥”来对加密数据进行解读。
即使想用再现装置对BD-ROM盘上的加密数据进行再现,例如,若预先与该BD-ROM盘上的加密标题密钥、MKB及卷ID对应起来的设备密钥没有存储在该再现装置内,则不能再现该加密数据。这是因为,如果不用MKB、设备密钥及卷ID的正确组合对加密标题密钥进行解密,则不能导出该加密数据的解读中所需的密钥即标题密钥。
为了保护应该记录于BD-ROM盘中的视频流和音频流中的至少某一个的著作权,首先,利用标题将保护对象的流密钥进行加密后记录到BD-ROM盘中。接着,根据MKB、设备密钥及卷ID的组合来生成密钥,并利用该密钥来对上述标题密钥进行加密而变换为加密标题密钥。并且,将MKB、卷ID及加密标题密钥记录到BD-ROM盘中。只有具备在上述密钥的生成中所利用的设备密钥的再现装置,才能利用解码器,从该BD-ROM盘解密被加密了的视频流及/或音频流。这样,能够保护记录于BD-ROM盘中的数据的著作权。
如上所述,BD-ROM盘中的数据的著作权保护的结构还可以用于BD-ROM盘以外的装置中。例如,可以应用于能够写入的半导体存储器装置,尤其是SD卡等便携式半导体存储卡。
<利用电子分发的对记录介质的数据记录>
下面,说明:利用电子分发,向本发明的实施方式1的再现装置传递3D影像的AV流文件等数据(下面,称作分发数据),进一步使该再现装置将该分发数据记录到半导体存储卡中的处理。此外,也可以代替上述再现装置,而使用专门针对该处理的终端装置进行以下的动作。此外,假设记录目的地的半导体存储卡为SD存储卡的情况。
如上所述,再现装置具备卡槽。在该卡槽中插入有SD存储卡。在该状态下,再现装置首先向网络上的分发服务器发出分发数据的发送请求。此时,再现装置从SD存储卡读取该识别信息,将该识别信息和发送请求一起向分发服务器送出。SD存储卡的识别信息,例如是该SD存储卡固有的识别编号,更具体而言是该SD存储卡的序列号。该识别信息被用作上述卷ID。
在分发服务器上保存有分发数据。利用规定的标题密钥,对该分发数据中的视频流及/或音频流等需要加密保护的数据进行加密。能够用相同的标题密钥对该加密数据进行解密。
分发服务器保持设备密钥,作为与再现装置共用的私钥。分发服务器还保持与SD存储卡共用的MKB。分发服务器在从再现装置接收到分发数据的发送请求和SD存储卡的识别信息时,首先,根据设备密钥、MKB及该识别信息生成密钥,并利用该密钥对标题密钥进行加密来生成加密标题密钥。
分发服务器接着生成公钥信息。该公钥信息例如包括:上述MKB、加密标题密钥、签名信息、SD存储卡的识别编号、以及设备列表。签名信息例如包括公钥信息的哈希值。设备列表是应该无效的设备即具有非法再现分发数据中的加密数据的危险性的设备的列表。在该列表上,例如,确定了再现装置的设备密钥、再现装置的识别编号、内置于再现装置中的解码器等各种部件的识别编号或功能(程序)。
分发服务器进一步将分发数据和公钥信息向再现装置送出。再现装置接收这些后,通过卡槽内的专用I/F记录到SD存储卡中。
例如如下所述利用公钥信息来对记录在SD存储卡中的分发数据中的加密数据进行解密。首先,作为公钥信息的认证,来进行以下三种检查(1)-(3)。此外,也可以按照任意顺序进行这些检查。
(1)公钥信息中所包含的SD存储卡的识别信息是否与插入卡槽的SD存储卡中所存储的识别编号一致。
(2)根据公钥信息计算出的哈希值是否与签名信息中所包含的哈希值一致。
(3)是否从公钥信息所示的设备列表排除了该再现装置。具体而言,是否从设备列表排除了该再现装置的设备密钥。
在上述检查(1)-(3)的某个结果为否定时,再现装置中止加密数据的解密处理。反之,在上述检查(1)-(3)的所有结果为肯定的时,再现装置认可公钥信息的合法性,并利用设备密钥、MKB及SD存储卡的识别信息,来将公钥信息内的加密标题密钥解密为标题密钥。再现装置进一步利用该标题密钥来将加密数据解密为例如视频流及/或音频流。
以上的结构具有如下优点。在电子分发时已经知道存在非法使用的危险性的再现装置、部件及功能(程序)等时,将这些识别信息列举于设备列表中,作为公钥信息的一部分进行分发。另一方面,请求分发数据的再现装置必须要将该设备列表内的识别信息与该再现装置及该部件等的识别信息进行对照。由此,若该再现装置或该部件等表现在设备列表中,则即使SD存储卡的识别编号、MKB、加密标题密钥及设备密钥的组合正确,该再现装置也不能将公钥信息用于分发数据内的加密数据的解密中。这样,能够有效抑制分发数据的非法使用。
半导体存储卡的识别信息最好保存在半导体存储卡内的记录区域中的特别是保密性高的记录区域中。这是因为,万一,在该识别信息例如SD存储卡的序列号被非法篡改的情况下,能够很容易地执行SD存储卡的非法复制。即,若该篡改的结果使得存在有多个具有相同的识别信息的半导体存储卡,则在上述检查(1)中不能识别正品和违法的复制品。因此,半导体存储卡的识别信息必须要记录在保密性高的记录区域中,以使其不被非法篡改。
在半导体存储卡内构成这样的保密性高的记录区域的方式,例如如下所示。首先,设置与一般数据用的记录区域(下面,称作第一记录区域。)电分离的别的记录区域(下面,称作第二记录区域。)。接着,在半导体存储卡内设置用于专门对第二记录区域进行存取的控制回路。由此,只能通过该控制回路才能对第二记录区域进行存取。例如,在第二记录区域中只记录加密后的数据,在控制电路内组合了用于对该加密后的数据进行解密的回路。由此,若没有使控制回路对该数据进行解密,则不能对第二记录区域内的数据进行存取。除此之外,也可以将第二记录区域内的各数据的地址只保持在控制回路中。此时,只能由控制回路确定第二记录区域内的数据的地址。
在半导体存储卡的识别信息被记录在第二记录区域中的情况下,在再现装置上动作的应用程序利用电子分发而从分发服务器取得数据后记录到半导体存储卡中时,进行如下所述的处理。首先,该应用程序通过存储卡I/F对上述控制回路发出对记录在第二记录区域中的半导体存储卡的识别信息进行存取的请求。控制回路根据该请求,首先,从第二记录区域读取该识别信息。控制回路接着通过存储卡I/F向上述应用程序发送该识别信息。该应用程序接着将该识别信息和分发数据的发送请求一起送出到分发服务器。应用程序进一步根据该请求,将从分发服务器接收的公钥信息和分发数据,经由存储卡I/F记录到半导体存储卡内的第一记录区域中。
此外,上述应用程序最好在对半导体存储卡内的控制回路发出上述存取请求之前,检查该应用程序自身有没有被篡改。在该检查中可以使用例如基于X.509的数字证书。此外,如上所述,分发数据只要记录在半导体存储卡内的第一记录区域中就可以,对该分发数据的存取也可以不通过半导体存储卡内的控制回路进行控制。
<对实时记录的应用>
在本发明的实施方式3中,前提是将AV流文件及播放列表文件利用写作系统中的预记录技术记录到BD-ROM盘中后提供给用户。但是,AV流文件及播放列表文件也可以是利用实时记录而记录到BD-RE盘、BD-R盘、硬盘或半导体存储卡等能够写入的记录介质(下面,简称为BD-RE盘等)中后提供给用户。此时,AV流文件也可以是记录装置实时地对模拟输 入信号进行解码而得到的传输流。除此之外,也可以是记录装置对数字输入的传输流进行部分化而得到的传输流。
执行实时记录的记录装置包括:视频编码器、音频编码器、多路复用器、以及源打包器。视频编码器对视频信号进行编码而变换为视频流。音频编码器对音频信号进行编码而变换为音频流。复用器将视频流和音频流进行复用,而变换为MPEG2-TS格式的数字流。源打包器将MPEG2-TS格式的数字流内的TS包变换为源包。记录装置将各源包保存到AV流文件中并写入BD-RE盘等中。
与AV流文件的写入处理并行地,记录装置的控制部在存储器上生成片段信息文件和播放列表文件后写入BD-RE盘等中。具体而言,在用户请求录像处理时,控制部首先配合AV流文件来生成片段信息文件,并写入BD-RE盘等中。此时,每次从外部接收的传输流中检测到视频流内的1个GOP的开头时,或者是每次视频编码器生成了视频流内的1个GOP时,控制部取得位于该GOP的开头的I图片的PTS和保存有该GOP的开头的源包的SPN。控制部进一步将该PTS和SPN的对作为1个入口点追加记录到片段信息文件的入口映射中。在此,在该入口点,追加“is_angle_change标志”。在该GOP的开头为IDR图片时,is_angle_change标志被设定为“开启”,在该GOP的开头不是IDR图片时,is_angle_change标志被设定为“关闭”。在片段信息文件内,还按照记录对象的流的属性来设定流属性信息。这样,在向BD-RE盘等中写入了AV流文件和片段信息文件之后,控制部利用该片段信息文件内的入口映射来生成播放列表文件,并写入BD-RE盘等中。
<受控复制>
本发明的实施方式1的再现装置也可以进一步通过受控复制,将记录介质100上的数字流写入其他记录介质。所谓“受控复制”是指,用于只在基于与服务器间的通信的认证成功了的情况下,许可从BD-ROM盘等的只读记录介质向能够写入的记录介质复制数字流、播放列表文件、片段信息文件及应用程序的技术。该能够写入的记录介质包括:BD-R、BD-RE、DVD-R、DVD-RW以及DVD-RAM等能够写入的光盘、硬盘、SD存储卡,存储棒(注册商标)、紧凑型闪存(注册商标)、智能介质(注册商标)、以及多介质卡(注册商标)等便携式半导体存储器装置。受控复制使得对记录于只读 存储介质中的数据的备份次数进行限制以及对备份处理进行收费成为可能。
在从BD-ROM盘向BD-R盘或BD-RE盘进行受控复制的情况下,在两盘的记录容量相等时,只要将记录在复制源的盘中的比特流原样依次进行复制就可以。
在不同类型的记录介质之间进行受控复制时需要转码。所谓“转码”是用于使记录在复制源的盘中的数字流适合复制目的地的记录介质的应用格式而进行的处理。转码包括例如从MPEG2-TS形式向MPEG2程序流形式变换的处理,以及降低分别分配给视频流和音频流的比特率来重新编码的处理。在转码中,必须要通过上述的实时记录,来生成AV流文件、片段信息文件及播放列表文件。
<数据结构的描述方法>
在本发明的实施方式1的数据结构中,通过在for语句中记述控制变量的初始值和重复条件,来定义“存在多个规定型的信息”的重复结构。此外,通过在if语句中记述该条件和在该条件成立时应该设定的变量,来定义称作“在规定的条件成立时定义规定的信息”的数据结构。这样,利用高级编程语言记述实施方式1的数据结构。因此,该数据结构通过称作“句法分析”、“最优化”、“资源分配”及“代码生成”的编译器的翻译过程,变换为计算机可读取的代码,并被记录到记录介质中。通过高级编程语言的描述,该数据结构成为面向对象的语言中的类结构体的方法以外的部分,具体而言被处理为该类结构体中的排列型的成员变量,构成程序的一部分。即,该数据结构实质上与程序相同。因此,该数据结构应该能够作为计算机关联的发明而受到保护。
<再现程序的播放列表文件、片段信息文件的管理>
在将播放列表文件和AV流文件记录到记录介质中时,在该记录介质上,再现程序被记录为执行形式的文件。再现程序使得计算机按照播放列表文件再现AV流文件。在将再现程序从记录介质加载到计算机内的存储器装置中后,由该计算机执行该再现程序。该加载处理包括编译处理或链接处理。通过这些处理,再现程序在存储器装置内被分割为多个段。这些段包括:text段、data段、bss段、以及stack段。Text段包括:再现程序 的代码串、变量的初始值、以及不可改写的数据。Data段包括:具有初始值的变量以及能够改写的数据。Data段特别包括记录在记录介质上的能够随时存取的文件。Bss段包括不具有初始值的变量。根据text段内的代码所示的命令来参照bss段内的数据。在编译处理或链接处理中,在计算机内的RAM中确保bss段用的区域。Stack段是根据需要被暂时确保的存储器区域。在再现程序的各处理中,暂时使用局部变量。Stack段包含这些局部变量。在开始执行程序时,bss段内的变量被初始化为0,在stack段中确保必要的存储器区域。
如上所述,在记录介质上,播放列表文件及片段信息文件已经被转换为计算机能够读取的代码。因此,在执行再现程序时,这些文件被作为text段内的“不可改写的数据”或data段内的“可随时存取的文件”进行管理。即,在执行再现程序时,播放列表文件及片段信息文件被编入其构成要素中。因此,在再现程序中,播放列表文件及片段信息文件发挥着超过单纯的数据的提示的作用。
工业实用性
本发明的信息记录介质虽然保存有3D影像,但是在用于再现2D影像的装置和用于再现3D影像的装置中均能够进行再现,所以能够向市场提供在不需要注意兼容性的情况下保存3D影像的电影标题等动画内容,能够激发得电影市场或民用设备市场的活力。因此,本发明的记录介质、再现装置在电影产业或民用设备产业中具有较高的实用性。
附图标志说明
100记录介质
200再现装置
300显示装置
4003D眼镜
500遥控器
2001第一3D区段块
2002第二3D区段块
2003第三3D区段块
2010第一文件2D的文件入口
2011第二文件2D的文件入口
2020第一文件SS的文件入口
2011第二文件SS的文件入口
LB层边界
D0、D1、D2、D3、D4深度图数据块
R0、R1、R2、R3、R4右视数据块
L0、L1、L4基视数据块
L22D、L32D 2D再现专用块
L2SS、L3SS 3D再现专用块
EXT2D[0]、EXT2D[1]、EXT2D[2]2D区段
EXTSS[0]、EXTSS[1]、EXTSS[2]、EXTSS[3]、EXTSS[4]3D区段
Claims (1)
1.一种再现装置,用于从记录有交织流和管理信息的记录介质再现影像,上述交织流由多个数据块构成,其特征在于,
上述交织流包括主视流和子视流,上述主视流用于平面视觉再现,上述子视流与上述主视流组合而用于立体视觉影像的再现,
上述多个数据块包括由上述主视流构成的多个主视数据块和由上述子视流构成的多个子视数据块,
上述管理信息包括2D管理信息和3D管理信息,上述2D管理信息在平面视觉再现时参照上述主视数据块,上述3D管理信息在立体视觉再现时参照上述主视数据块,
在上述多个数据块的种类中有共用数据块、2D数据块和3D数据块,
上述共用数据块包括上述主视数据块和上述子视数据块,上述共用数据块中所包含的主视数据块被2D管理信息及3D管理信息双方参照,
上述2D数据块包括上述主视数据块,上述2D数据块中所包含的主视数据块不被3D管理信息参照,而被2D管理信息参照,
上述3D数据块包括上述主视数据块和上述子视数据块,上述3D数据块中所包含的主视数据块不被2D管理信息参照,而被3D管理信息参照,
2D数据块被记录于逻辑地址接续于记录有共用数据块的区域之后的区域中的、在平面视觉影像的再现中所产生的长跳跃的紧前面被存取的区域,
3D数据块被记录于逻辑地址接续于记录有2D数据块的区域之后的区域中的、在立体视觉影像的再现中所产生的长跳跃的紧前面被存取的区域,
2D数据块中所包含的主视数据块和3D数据块中所包含的主视数据块是相同的内容,
上述再现装置包括:
读取机构,从上述记录介质读取上述交织流;
分离机构,从上述交织流分离上述主视数据块和上述子视数据块,并提取上述主视流和上述子视流;
读取缓冲器,保存所提取的上述主视流和上述子视流;以及
解码器,从读取缓冲器接受在上述主视流和上述子视流中包含的压缩图片的供给,并对上述压缩图片进行解码,
上述读取机构在平面视觉影像的再现时,利用上述2D管理信息读取在共用数据块和2D数据块中包含的主视数据块,
上述分离机构在立体视觉影像的再现时,利用上述3D管理信息从交织流分离在共用数据块和3D数据块中包含的主视数据块,并提取主视流。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-037224 | 2009-02-19 | ||
JP2009037224 | 2009-02-19 | ||
PCT/JP2010/001055 WO2010095443A1 (ja) | 2009-02-19 | 2010-02-18 | 記録媒体、再生装置、及び集積回路 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012101843655A Division CN102740038A (zh) | 2009-02-19 | 2010-02-18 | 半导体集成电路 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102027751A CN102027751A (zh) | 2011-04-20 |
CN102027751B true CN102027751B (zh) | 2012-07-18 |
Family
ID=42633730
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010800015581A Active CN102027751B (zh) | 2009-02-19 | 2010-02-18 | 再现装置 |
CN2012101843655A Pending CN102740038A (zh) | 2009-02-19 | 2010-02-18 | 半导体集成电路 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012101843655A Pending CN102740038A (zh) | 2009-02-19 | 2010-02-18 | 半导体集成电路 |
Country Status (11)
Country | Link |
---|---|
US (1) | US20110013884A1 (zh) |
EP (1) | EP2400774B1 (zh) |
JP (3) | JP4654327B2 (zh) |
KR (1) | KR20110126516A (zh) |
CN (2) | CN102027751B (zh) |
DK (1) | DK2400774T3 (zh) |
ES (1) | ES2549164T3 (zh) |
MX (1) | MX2010010757A (zh) |
RU (1) | RU2523178C2 (zh) |
TW (1) | TW201127017A (zh) |
WO (1) | WO2010095443A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101909032B1 (ko) * | 2010-09-01 | 2018-10-17 | 엘지전자 주식회사 | 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치 |
JP5594045B2 (ja) * | 2010-10-14 | 2014-09-24 | ソニー株式会社 | 再生装置、再生方法、プログラム、および記録媒体 |
JP2012089931A (ja) * | 2010-10-15 | 2012-05-10 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
GB2485532A (en) * | 2010-11-12 | 2012-05-23 | Sony Corp | Three dimensional (3D) image duration-related metadata encoding of apparent minimum observer distances (disparity) |
US8705946B2 (en) * | 2010-11-19 | 2014-04-22 | Sony Corporation | 3D authoring tool ensuring no buffer underrun upon jumps |
CN102098339A (zh) * | 2011-01-26 | 2011-06-15 | 广州酷狗计算机科技有限公司 | 一种音频文件传输方法及其系统 |
BR112013020867A2 (pt) * | 2011-02-16 | 2016-09-27 | Panasonic Corp | codificador de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de reprodução de vídeo, método de reprodução de vídeo, e programa de reprodução de vídeo |
WO2012111325A1 (ja) * | 2011-02-17 | 2012-08-23 | パナソニック株式会社 | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム |
EP2506263A1 (en) | 2011-03-31 | 2012-10-03 | Thomson Licensing | Stereoscopic scene graph for defining 3D- and 2D-compatible graphical objects |
US9300903B2 (en) | 2011-04-28 | 2016-03-29 | Panasonic Corporation | Recording medium, reproduction device, and recording device |
CN103181172B (zh) | 2011-08-24 | 2015-11-25 | 松下电器产业株式会社 | 记录介质、再现装置、记录装置及记录方法 |
JP2013090016A (ja) * | 2011-10-13 | 2013-05-13 | Sony Corp | 送信装置、送信方法、受信装置および受信方法 |
US20140078256A1 (en) * | 2011-12-28 | 2014-03-20 | Panasonic Corporation | Playback device, transmission device, playback method and transmission method |
CN102404610B (zh) * | 2011-12-30 | 2014-06-18 | 百视通网络电视技术发展有限责任公司 | 视频点播服务的实现方法及系统 |
EP2685456A1 (en) * | 2012-07-12 | 2014-01-15 | Universiteit Gent | Index with offset to closest I-picture entry for random access in a bitstream. |
CN102984483B (zh) * | 2012-12-18 | 2016-08-03 | 上海晨思电子科技有限公司 | 一种三维用户界面显示系统及方法 |
US9681116B2 (en) * | 2013-03-15 | 2017-06-13 | Arris Enterprises, Inc. | System and method for delivering 3DTV content to variety of receivers |
TW201528775A (zh) | 2014-01-02 | 2015-07-16 | Ind Tech Res Inst | 景深圖校正方法及系統 |
RU2582852C1 (ru) * | 2015-01-21 | 2016-04-27 | Общество с ограниченной ответственностью "Вокорд СофтЛаб" (ООО "Вокорд СофтЛаб") | Автоматическое построение 3d модели лица по серии 2d изображений или по видеофильму |
WO2017002541A1 (ja) * | 2015-06-30 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理システム、情報記録媒体、および情報処理方法、並びにプログラム |
CN115209148A (zh) | 2015-09-10 | 2022-10-18 | 索尼公司 | 发送设备,接收设备和接收方法 |
US10607654B2 (en) * | 2017-02-09 | 2020-03-31 | Verizon Patent And Licensing Inc. | Using sharding to generate virtual reality content |
DE102017215106B4 (de) * | 2017-08-30 | 2022-07-28 | Volkswagen Aktiengesellschaft | Fortbewegungsmittel, Anordnung und Vorrichtung zur Evaluierung eines Signals eines Airbagsteuergerätes |
US10834391B2 (en) * | 2018-04-23 | 2020-11-10 | 8i Limited | Hologram streaming machine |
KR102569032B1 (ko) | 2019-01-22 | 2023-08-23 | 삼성전자주식회사 | 전자 장치 및 그의 컨텐트 제공 방법 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6484266B2 (en) * | 1995-09-29 | 2002-11-19 | Matsushita Electric Industrial Co., Ltd. | Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
TW436777B (en) * | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
EP2259587B1 (en) * | 1996-02-28 | 2013-12-11 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device |
EP1094674B1 (en) * | 1996-12-04 | 2014-04-02 | Panasonic Corporation | Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
JP3272271B2 (ja) * | 1997-06-27 | 2002-04-08 | 三洋電機株式会社 | 映像再生装置及び映像記録媒体 |
DE69841532D1 (de) * | 1997-08-29 | 2010-04-15 | Panasonic Corp | Optische Platte mit hierarchisch codiertem digitalen Videosignal, Wiedergabevorrichtung und Aufnahmevorrichtung für die optische Platte |
JP2000134642A (ja) * | 1998-10-21 | 2000-05-12 | Toshiba Corp | 立体モードと平面モードを持つ立体映像再生装置とその方法 |
JP2000270347A (ja) * | 1999-03-17 | 2000-09-29 | Sharp Corp | 記録装置、及び該記録装置を用いた監視システム |
KR101097686B1 (ko) * | 2004-04-07 | 2011-12-22 | 파나소닉 주식회사 | 고속 변환 가능한 스트림을 기록한 정보기록매체, 및 그기록장치 및 기록방법 |
JP4638784B2 (ja) * | 2005-07-19 | 2011-02-23 | オリンパスイメージング株式会社 | 画像出力装置及びプログラム |
JP2006230001A (ja) * | 2006-03-20 | 2006-08-31 | Sony Corp | 再生装置、再生方法、再生プログラムおよび記録媒体 |
RU2315439C1 (ru) * | 2006-07-03 | 2008-01-20 | Борис Иванович Волков | Система объемной видеозаписи и воспроизведения |
JP2010502388A (ja) * | 2006-09-06 | 2010-01-28 | アボツト・レスピラトリー・エル・エル・シー | 可変投与量のエアロゾル薬用キャニスター |
JP4999931B2 (ja) * | 2007-11-09 | 2012-08-15 | 三菱電機株式会社 | ディスク状記録媒体、並びに映像情報再生装置及び方法 |
JP4512172B2 (ja) * | 2008-09-17 | 2010-07-28 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
-
2010
- 2010-02-18 RU RU2010140053/08A patent/RU2523178C2/ru not_active IP Right Cessation
- 2010-02-18 MX MX2010010757A patent/MX2010010757A/es active IP Right Grant
- 2010-02-18 CN CN2010800015581A patent/CN102027751B/zh active Active
- 2010-02-18 ES ES10743572.9T patent/ES2549164T3/es active Active
- 2010-02-18 JP JP2010525153A patent/JP4654327B2/ja active Active
- 2010-02-18 WO PCT/JP2010/001055 patent/WO2010095443A1/ja active Application Filing
- 2010-02-18 US US12/922,780 patent/US20110013884A1/en not_active Abandoned
- 2010-02-18 DK DK10743572.9T patent/DK2400774T3/en active
- 2010-02-18 CN CN2012101843655A patent/CN102740038A/zh active Pending
- 2010-02-18 KR KR1020107021757A patent/KR20110126516A/ko not_active Application Discontinuation
- 2010-02-18 EP EP10743572.9A patent/EP2400774B1/en active Active
- 2010-02-22 TW TW099105011A patent/TW201127017A/zh unknown
- 2010-07-30 JP JP2010171598A patent/JP2011004410A/ja active Pending
- 2010-07-30 JP JP2010171599A patent/JP5390485B2/ja not_active Expired - Fee Related
Non-Patent Citations (4)
Title |
---|
JP特开2000-134642A 2000.05.12 |
JP特开2000-270347A 2000.09.29 |
JP特开平11-18058A 1999.01.22 |
JP特开平11-191895A 1999.07.13 |
Also Published As
Publication number | Publication date |
---|---|
RU2523178C2 (ru) | 2014-07-20 |
WO2010095443A1 (ja) | 2010-08-26 |
EP2400774A4 (en) | 2013-08-21 |
RU2010140053A (ru) | 2013-03-27 |
EP2400774A1 (en) | 2011-12-28 |
JPWO2010095443A1 (ja) | 2012-08-23 |
DK2400774T3 (en) | 2015-10-19 |
JP4654327B2 (ja) | 2011-03-16 |
JP2011004411A (ja) | 2011-01-06 |
CN102740038A (zh) | 2012-10-17 |
TW201127017A (en) | 2011-08-01 |
JP5390485B2 (ja) | 2014-01-15 |
MX2010010757A (es) | 2010-11-04 |
KR20110126516A (ko) | 2011-11-23 |
CN102027751A (zh) | 2011-04-20 |
JP2011004410A (ja) | 2011-01-06 |
US20110013884A1 (en) | 2011-01-20 |
ES2549164T3 (es) | 2015-10-23 |
EP2400774B1 (en) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102027751B (zh) | 再现装置 | |
CN102027750B (zh) | 记录介质、再现装置及集成电路 | |
CN101933337B (zh) | 再现装置和记录方法 | |
CN102113334B (zh) | 再现装置、记录方法及记录介质再现系统 | |
CN102172033B (zh) | 再生装置、记录方法、记录介质再生系统 | |
CN101803396B (zh) | 记录方法、再现装置和集成电路 | |
CN102017641B (zh) | 再生装置、记录方法、记录介质再生系统 | |
CN102160389B (zh) | 再现装置、集成电路、记录介质 | |
CN102362504B (zh) | 记录方法及再现装置 | |
CN102138335B (zh) | 再现装置、记录方法及记录介质再现系统 | |
CN101953170B (zh) | 再现装置及集成电路 | |
CN102047674B (zh) | 记录设备、记录方法、重放设备、重放方法、程序和记录介质 | |
CN102232295A (zh) | 再现装置、记录介质及集成电路 | |
CN101911713A (zh) | 3d影像的记录介质、再现装置、系统lsi、再现方法、眼镜、显示装置 | |
CN102334339A (zh) | 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法 | |
CN102334338A (zh) | 显示装置和方法、发送装置和方法、以及接收装置和方法 | |
CN102124748A (zh) | 记录介质、再生装置及集成电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20110420 Assignee: Shenzhen Maxmade Technology Co.,Ltd. Assignor: Blue light United Co., Ltd. Contract record no.: X2019990000006 Denomination of invention: Device for reproducing recorded data in disc Granted publication date: 20120718 License type: Common License Record date: 20190923 |
|
EE01 | Entry into force of recordation of patent licensing contract |