具体实施方式
以下,参照附图说明本发明优选实施方式涉及的记录媒体和再现装置。
《实施方式1》
首先,说明基于本发明实施方式1的记录媒体的使用形态。图1是表示该记录媒体的使用形态的模式图。图1中,该记录媒体是BD-ROM盘101。再现装置102、显示装置103和遥控器104形成一个家庭影院系统。BD-ROM盘101起到向该家庭影院系统供给电影作品的作用。
<BD-ROM盘的2D影像用数据构造>
下面,说明基于本发明实施方式1的记录媒体、即BD-ROM盘101的数据构造中、用于存储2D影像的数据构造。
图2是表示BD-ROM盘101的数据构造的模式图。在BD-ROM盘101上,与DVD和CD一样,从内周向外周形成有螺旋状轨道202。图2中,假设沿横向将轨道202拉直后进行描绘。图2中,左侧表示盘101的内周部,右侧表示外周部。轨道202是记录区域,在其内周部设置导入区域202A,在外周部设置导出区域202C,在这些区域之间,设置可记录逻辑数据的卷(volume)区202B。
卷区202B被分割成称为‘扇区’的规定访问单位,从开头起向各扇区依次分配连续号。将该连续号称为逻辑地址(或逻辑块号)。通过指定逻辑地址来执行从盘101读取数据。BD-ROM盘101中,逻辑地址通常与盘101上的物理地址实质上相等。即,在逻辑地址连续的区域,物理地址实质上也连续。因此,能够在不使盘驱动器的拾取器寻址的情况下连续地读取逻辑地址连续的数据。
在导入区域202A的内侧设置有BCA(Burst Cutting Area:烧录区)201。BCA201是仅能由盘驱动器读取的特别区域。即,BCA201无法由应用程序读取。因此,例如可较好地用于著作权保护技术等。
在卷区202B中,从开头起记录文件系统203的卷信息,接着记录影像数据等应用数据。这里,所谓文件系统是指以目录或文件形式来表现数据构造的系统。例如在PC(个人电脑)中,利用称为FAT或NTFS的文件系统。由此,利用目录和文件在PC上表现硬盘中记录的数据构造,提高它们的可用性。在BD-ROM盘101中,利用UDF(Universal Disc Format:通用光盘格式)作为文件系统203。另外,也可利用ISO9660等其它文件系统。利用该文件系统203,与PC一样,能够以目录/文件为单位访问并读取盘101中记录的逻辑数据。
具体而言,当UDF用作文件系统203时,卷区202B包含文件组描述符的记录区域、终端描述符的记录区域和多个目录区域。各区域利用文件系统203而被访问。这里,‘文件组描述符’表示目录区域中、记录根目录的文件入口的扇区的逻辑块号(LBN)。‘终端描述符’表示文件组描述符的终端。
各目录区域内部的构成都相同。各目录区域包含文件入口、目录文件和下位文件的文件记录区域。
‘文件入口’包含描述符标志、ICB标志和分配描述符。‘描述符标志’表示该区域是文件入口。这里,描述符标志中,除此之外还有表示该区域是空间位图。例如,当描述符标志的值为“261”时,该区域是‘文件入口’。‘ICB标志’表示文件入口自身的属性信息。‘分配描述符’表示目录文件的记录位置的LBN。
‘目录文件’包含下位目录的文件识别描述符和下位文件的文件识别描述符。‘下位目录的文件识别描述符’是用于访问处于该目录区域所示的目录属下的下位目录的参照信息。该文件识别描述符包含该下位目录的识别信息、该下位目录的目录名长度、文件入口地址和该下位目录的目录名。这里,文件入口地址表示该下位目录的文件入口的LBN。‘下位文件的文件识别描述符’是用于访问处于该目录区域所示的目录属下的下位文件的参照信息。该文件识别描述符包含表示该下位文件的识别信息、该下位文件的文件名长度、文件入口地址和该下位文件的文件名。这里,文件入口地址表示该下位文件的文件入口的LBN。若依照下位目录/文件的文件识别描述符,则可从根目录的文件入口依次到达下位目录/下位文件的文件入口。
‘下位文件的文件记录区域’是记录处于该目录区域所示的目录属下的下位文件的文件入口与该下位文件实体的区域。‘文件入口’包含描述符标志、ICB标志和分配描述符。‘描述符标志’表示该区域是文件入口。‘ICB标志’表示文件入口自身的属性信息。‘分配描述符’表示构成下位文件实体的各区段的配置。分配描述符对各个区段各设置一个。因此,当将下位文件分割成多个区段时,文件入口包含多个分配描述符。具体而言,分配描述符包含各区段的尺寸、和该区段的记录位置的LBN。并且,分配描述符的高位的2位表示是否在该记录位置上实际记录了区段。即,当该高位的2位为“0”时,表示已向该记录位置分配区段,且已记录,为“1”时,表示虽然已向该记录位置分配区段,但未记录。通过参照各文件的文件入口的分配描述符,可知道构成该文件的各区段的逻辑地址。
与利用上述UDF的文件系统一样,在文件系统203中,一般在将卷区202B中记录的各文件分割成多个区段时,如上述分配描述符那样,将表示各区段配置的信息一并记录在卷区202B中。通过参照该信息,可知道各区段的配置、尤其是各逻辑地址。
进一步参照图2,在BD-ROM101上的目录/文件构造204中,在根(ROOT)目录2041直接属下设置BD电影(BDMV:BD Movie)目录2042。在BDMV目录2042的属下,设置索引文件(index.bdmv)2043A、电影对象文件(MovieObject.bdmv)2043B、播放列表(PLAYLIST)目录2044、剪辑信息(CLIPINF)目录2045、流(STREAM)目录2046、BD-J对象(BDJO:BD Java(注册商标)Object)目录2047、和Java存档(JAR:Java Archive)目录2048。索引文件2043包含索引表格。在索引表格中规定标题与对象之间的对应关系。STREAM目录2046包含AV流文件(XXX.M2TS)2046A。在AV流文件2046A中,复用并存储有表示影像·声音的AV内容。CLIPINF目录2045包含剪辑信息文件(XXX.CLPI)2045A。剪辑信息文件2045A包含AV流文件2046A的管理信息。PLAYLIST目录2044包含播放列表文件(YYY.MPLS)2044A。播放列表文件2044A规定AV流文件2046A的逻辑再现路径。BDJO目录2047包含BD-J对象文件(AAA.BDJO)2047A。在电影对象文件(MovieObject.bdmv)2043B与BD-J对象文件2047A中,存储规定动态脚本的称为‘对象’的程序。
目录/文件构造204具体而言,在BD-ROM盘101的卷区202B上,构成为ROOT目录区域、BDMV目录区域、PLAYLIST目录区域、CLIPINF目录区域、STREAM目录区域、BDJO目录区域和JAR目录区域。若依照上述文件识别描述符,则可从ROOT目录的文件入口依次到达各目录的文件入口。即,可从ROOT目录的文件入口到达BDMV目录的文件入口,再从BDMV目录的文件入口到达PLAYLIST目录的文件入口。同样地,可从BDMV目录的文件入口到达CLIPINF目录、STREAM目录、BDJO目录和JAR目录的各文件入口。
下面,说明设置在BDMV目录2042属下的各文件的数据构造。
《索引文件》
图3是表示索引文件2043A中包含的索引表格的模式图。索引表格310包含‘起始播放(First Play)’301、‘顶部菜单’302和‘标题k’303(k=1、2、…、n)等项目。将电影对象MVO与BD-J对象BDJO中任一个与各项目相对应。每当通过用户的操作或应用程序调用标题或菜单时,再现装置102的控制部都参照索引表格310的对应项目,从盘101中调用对应于该项目的对象。控制部进一步根据调用到的对象来执行程序。具体而言,向项目‘起始播放’301指定当向盘驱动器插入盘101时应调用的对象。向项目‘顶部菜单’302指定用于例如在通过用户操作输入‘返回到菜单’等指令时使菜单显示于显示装置103的对象。向项目‘标题k’303指定用于例如当通过用户操作指定再现对象的标题时、根据播放列表文件2044A从盘101再现对应于该标题的AV流文件的对象。
《电影对象文件》
电影对象文件2043B通常包含多个电影对象。各电影对象包含导航指令的排列。导航指令是用于让再现装置101执行与由一般DVD播放器进行的再现处理一样的再现处理的命令。导航指令例如包含对应于标题的播放列表文件的读取命令、从播放列表文件表示的AV流文件再现流数据的再现命令和向其它标题转变的转变命令。再现装置101的控制部例如按照用户操作调用各电影对象,按排列的顺序执行该电影对象中包含的导航指令。由此,再现装置101与一般的DVD播放器一样地,将菜单显示于显示装置103中,让用户选择指令,并按照该指令,使标题的再现开始/停止、向其它标题切换等再现的影像的行进动态地变化。
《BD-J对象文件》
BD-J对象文件2047A包含一个BD-J对象。BD-J对象是用于使安装于再现装置101中的Java虚拟机执行标题的再现处理和图形影像的描绘处理的程序。BD-J对象包含应用管理表格与参照对象的播放列表文件的识别信息。应用管理表格表示实际应让Java虚拟机执行的Java应用程序的列表。参照对象的播放列表文件的识别信息是用于识别对应于再现对象标题的播放列表文件的信息。Java虚拟机根据用户操作或应用程序调用各BD-J对象,根据该BD-J对象中包含的应用管理表格,执行Java应用程序的信令。由此,再现装置101使标题的再现影像的行进动态地变化,或使图形影像与标题影像相独立地显示于显示装置103。
《JAR目录》
JAR目录2048中存储根据BD-J对象执行的Java应用程序主体。这些Java应用程序除让Java虚拟机执行标题的再现处理的程序之外,还包含让Java虚拟机执行图形影像的描绘处理的程序。
《2D影像用AV流文件》
AV流文件2046A是MPEG-2传输流(TS)形式的数字流,复用多个基本流。图4是表示复用于2D影像再现中利用的AV流文件2046A上的基本流的模式图。在图4中示出的AV流文件2046A中,复用主视频流401、主音频流402A、402B、演示图形(PG)流403A、403B、交互图形(IG)流404、次视频流405A、405B和次音频流406。
主视频流401表示电影的主影像,次视频流405A、405B表示副影像。这里,所谓主影像是指电影的正编的影像等内容的主要影像,例如指显示在画面整体上的影像。另一方面,所谓副影像是指例如在主影像中以小画面显示的影像这样的利用画中画方式与主影像同时显示于画面中的影像。各视频流使用MPEG-2、MPEG-4AVC或SMPTE VC-1等方式来编码。
主音频流402A、402B表示电影的主声音。次音频流表示与该主声音混合的副声音。各音频流以AC-3、杜比数字+(Dolby Digital Plus:‘杜比数字’是注册商标)、MLP、DTS(Digital Theater System:注册商标)、DTS-HD或线性PCM(Pulse Code Modulation:脉冲码调制)等方式来编码。
PG流403A、403B表示电影的字幕。这里,各PG流403A、403B表示的字幕例如语言不同。IG流404表示对话画面。对话画面通过在显示装置103的画面上配置图形用户界面(GUI)用图形部件来制作。
AV流文件2046A中包含的各基本流401-406由数据包ID(PID)来识别。例如,向主视频流401分配PID0x1011。向主音频流402A、402B分配0x1100至0x111F中的任一个作为PID。向PG流403A、403B分配0x1200至0x121F中的任一个作为PID。向IG流404分配0x1400至0x141F中的任一个作为PID。向次视频流405A、405B分配0x1B00至0x1B1F中的任一个作为PID。向次音频流406分配0x1A00至0x1A1F中的任一个作为PID。
图5是表示复用于AV流文件513上的各基本流的数据包配置的模式图。首先,将由多个视频帧501构成的视频流501变换为PES数据包502的列,接着,将各PES数据包502变换为TS数据包503。同样地,将由多个音频帧504构成的音频流变换为PES数据包505的列,再变换为TS数据包506的列。PG流507和IG流510也一样,将各流数据变换为PES数据包508、511的列,再变换为TS数据包509、512的列。最后,通过将这些TS数据包503、506、509、512排列成1条流后复用,构成AV流文件513。
图6是表示向PES数据包602存储视频流601的存储方法的细节模式图。如图6所示,在视频流601的编码处理中,将各视频帧或场的影像数据处理为一个图片,单独压缩其数据量。这里,所谓图片是指影像数据编码中的处理单位。在MPEG-2、MPEG-4 AVC、SMPTE VC-1等动画压缩编码方式中,利用动态图像的空间方向和时间方向的冗余性进行数据量的压缩。作为利用时间方向的冗余性的方法,使用图片间预测编码。在图片间预测编码中,首先对编码对象的各图片设定显示时间在前或后的其它图片作为参照图片。接着,在编码对象的图片与其参照图片之间,检测运动矢量,利用该运动矢量来进行运动补偿。再求出进行运动补偿后的图片与编码对象的图片之间的差分值,从该差分值中去除空间方向的冗余度。这样,压缩各图片的数据量。
如图6所示,视频流601从开头依次包含I图片yy1、P图片yy2、B图片yy3、yy4、…。这里,I图片是指不使用参照图片、仅使用编码对象图片来以图片内预测编码压缩的图片。P图片是指通过利用已压缩的一个图片的压缩前图片作为参照图片的图片间预测编码、而被压缩的图片。B图片是指通过同时利用已压缩的两个图片的压缩前图片作为参照图片的图片间预测编码、而被压缩的图片。另外,将B图片中的、其压缩前的图片在相对其它图片的图片间预测编码中被用作参照图片的图片特别称为Br图片。在视频流601内,向各图片赋予规定的头,形成一个视频访问单元。各图片能够以视频访问单元为单位从视频流601中读取。
如图6所示,各PES数据包602包含PES有效负荷602P与PES头602H。视频流601的I图片yy1、P图片yy2、B图片yy3、yy4、…分别存储在不同的PES数据包602的PES有效负荷602P中。另一方面,各PES头602H包含存储在同一PES数据包602的PES有效负荷602P中的图片的显示时刻、即PTS(Presentation Time-Stamp:提取时间戳)和该图片的解码时刻、即DTS(Decoding Time-Stamp:解码时间戳)。
图7是表示构成AV流文件513的TS数据包701与源数据包702的形式的模式图。TS数据包701是188字节长度的数据包,如图7(a)所示,由4字节长度的TS头701H与184字节长度的TS有效负荷701P构成。各PES数据包被分割后,存储在各TS数据包701的TS有效负荷701P中。TS头701H包含PID等信息。该PID表示当从同一TS数据包701的TS有效负荷701P中存储的数据中恢复PES数据包601时、该PES有效负荷601P中存储的数据所属的基本流。当AV流文件513记录在BD-ROM盘101中时,如图7(b)所示,再向各TS数据包701赋予4字节长度的头(TP_Extra_Header)702H。该头702H特别包含ATS(Arrival_Time_Stamp)。ATS表示应开始向后述的系统目标解码器内的PID滤波器传输该TS数据包的时刻。这样,各TS数据包701被变换为192字节长度的源数据包702后,写入AV流文件513中。结果,在AV流文件513中,如图7(c)所示,依次排列多个源数据包702。从AV流文件513的开头向各源数据包702顺序分配连续号0、1、2、…。将该连续号称为SPN(源数据包号)。
在AV流文件中包含的TS数据包中,除从表示影像·声音·字幕等的基本流变换的TS数据包外,还有PAT(Program Association Table:节目关联表)、PMT(Program Map Table:节目映射表)、PCR(Program Clock Reference“节目时钟基准)等。PAT表示同一AV流文件中包含的PMT的PID。PAT自身的PID为0。PMT包含同一AV流文件中包含的、表示影像·声音·字幕等的各基本流的PID与其属性信息。PMT还包含涉及该AV流文件的各种描述符。描述符中特别包含表示许可/禁止该AV流文件拷贝的拷贝控制信息。PCR包含表示应对应于该数据包的ATS的STC(System Time Clock)的值的信息。这里,STC是在解码器内用作PTS和DTS基准的时钟。解码器利用PCR,使STC与作为ATS基准的ATC(Arrival Time Clock)同步。
图8是表示PMT810的数据构造的模式图。PMT810从开头起顺序包含PMT头801、多个描述符802、和多个流信息803。PMT头801表示该PMT810中包含的数据长度等。各描述符802是涉及AV流文件513整体的描述符。将上述的拷贝控制信息记载于描述符802之一中。流信息803是涉及AV流文件513中包含的各基本流的信息。各流信息803包含流类别803A、PID803B和流描述符803C。流类别803A包含该基本流压缩中利用的编解码器(codec)的识别信息等。PID803B表示该基本流的PID。流描述符803C包含该基本流的属性信息、例如帧速率和纵横比。
《剪辑信息文件》
图9是表示剪辑信息文件的数据构造的模式图。如图9所示,剪辑信息文件2045A与AV流文件2046A一对一地对应。剪辑信息文件2045A包含剪辑信息901、流属性信息902和入口映射903。
剪辑信息901如图9所示,包含系统速率901A、再现开始时刻901B和再现终止时刻901C。系统速率901A表示向后述的系统目标解码器内的PID滤波器传输AV流文件2046A时的传输速率的最大值。AV流文件2046A中,为了将源数据包的传输速率抑制为系统速率以下,设定了源数据包的ATS间隔。再现开始时刻901B表示AV流文件2046A的开头视频访问单元的PTS、例如开头视频帧的PTS。再现终止时刻901C表示从AV流文件2046A的终端视频访问单元的PTS延迟规定量后的STC值、例如终端视频帧的PTS加上1帧的再现时间后的值。
图10是表示流属性信息902的数据构造的模式图。流属性信息902如图10所示,将AV流文件2046A中包含的各基本流的属性信息对应于其PID902A。这里,属性信息因视频流、音频流、PG流和IG流的不同而各不相同。例如,视频流的属性信息902B包含该视频流压缩中利用的编解码器类别9021、构成该视频流的各图片的分辨率9022、纵横比9023和帧速率9024。另一方面,音频流的属性信息902C包含该音频流压缩中利用的编解码器类别9025、该音频流中包含的信道数9026、语言9027和采样频率9028。这些属性信息902B、902C用于再现装置102内的编解码器的初始化。
图11(a)是表示入口映射903的数据构造的模式图。入口映射903如图11(a)所示,按照AV流文件2046A内的视频流分别设置,对应于各视频流的PID。各视频流的入口映射9031从开头起顺序包含入口映射头1101与入口点1102。入口映射头1101包含该入口映射9031作为对象的视频流的PID和入口点1102的总数。入口点1102是将PTS1103与SPN1104的对分别对应于不同入口点ID(EP_ID)1105的信息。这里,PTS1103表示该视频流内的各I图片的PTS,SPN1104表示包含该I图片的AV流文件2046A的部分开头SPN。
图11(b)是表示AV流文件2046A中包含的源数据包中的、利用入口映射903而与各EP_ID对应的源数据包的模式图。再现装置102利用入口映射903,在从视频流再现影像的再现期间,能够确定与任意时刻的场景对应的AV流文件2046A内的SPN。例如,在快进再现和回放再现等特殊再现中,再现装置102根据入口映射903,确定与各EP_ID对应的SPN的源数据包,并有选择地提取这些源数据包进行解码。由此,有选择地再现I图片。这样,再现装置102可不解析AV流文件2046A自身地有效处理特殊再现。
《播放列表文件》
图12是表示播放列表文件1200的数据构造的模式图。播放列表文件1200表示AV流文件1204的再现路径、即AV流文件1204中实际应解码的部分P1、P2、P3和将这些部分提供给解码处理的顺序。播放列表文件1200特别由PTS来规定解码对象的各部分P1、P2、P3的范围。规定后的PTS利用剪辑信息文件1203变换为AV流文件1204的SPN。结果,可以利用SPN来确定各部分P1、P2、P3的范围。
如图12所示,播放列表文件1200包含一个以上播放项目(PI)信息1201。各播放项目信息1201用分别表示开始时刻T1与终止时刻T2的PTS对来规定再现路径中的不同再现区间。各播放项目信息1201由固有的播放项目ID识别。播放项目信息1201在播放列表文件1200内按与对应的再现区间的再现路径内的顺序相同的顺序记述。相反,将连接由各播放项目信息1201规定的再现区间后的一系列再现路径称为‘主路径’1205。
播放列表文件1200还包含入口标志1202。入口标志1202表示主路径1205中实际应开始再现的时刻。入口标志1202可赋予到由播放项目信息1201规定的再现区间内。例如图12所示,也可对一个播放项目信息PI#1设定多个入口标志1202。入口标志1202尤其在寻起始位置再现中用于检索其再现开始位置。例如,当播放列表文件1200规定电影标题的再现路径时,将入口标志1202赋予各章节的开头。由此,再现装置102可对每个章节再现该电影标题。
图13是表示播放项目信息1300的数据构造的模式图。参照图13,播放项目信息1300包含参照剪辑信息1301、再现开始时刻1302、再现终止时刻1303、连接条件1310和流选择表格1305。
参照剪辑信息1301是用于识别从PTS变换为SPN所需的剪辑信息文件的信息。再现开始时刻1302与再现终止时刻1303表示AV流文件中解码对象部分的开头与末尾的各PTS。再现装置102参照其入口映射,从参照剪辑信息1301表示的剪辑信息文件中,取得分别对应于再现开始时刻1302和再现终止时刻1303的SPN。由此,确定应从AV流文件读取的部分,对该部分进行再现处理。
连接条件1310在由再现开始时刻1302和再现终止时刻1303的对规定的再现区间、与由播放列表文件内位于前一个的其它播放项目信息规定的再现区间之间,规定再现影像的连接条件。连接条件1310中有例如‘1’、‘5’、‘6’三种。连接条件1310为‘1’时,从由该播放项目信息规定的AV流文件部分再现的影像、与从由紧前面的播放项目信息规定的AV流文件部分再现的影像也可以不必无缝连接。另一方面,当连接条件1310为‘5’或‘6’时,这两个影像必定无缝连接。
图14是表示连接条件1310为‘5’或‘6’时,由连接对象的各播放项目信息规定的再现区间之间的关系的模式图。当连接条件1310为‘5’时,如图14(a)所示,在两个播放项目信息PI#1、PI#2之间可以中断STC。即,位于前面的第一播放项目信息PI#1规定的第一AV流文件1401F的终端PTSTE、与位于后面的第二播放项目信息PI#2规定的第二AV流文件1401B的开头PTSTS也可不连续。但是,此时必需满足几个限制条件。例如,即便在接着第一AV流文件1401F向解码器提供第二AV流文件1401B时,也必需制作各AV流文件,以使该解码器能流畅地继续解码处理。并且,必需使第一AV流文件中包含的音频流的终端帧与第二AV流文件中包含的音频流的开头帧重复。另一方面,当连接条件1310为‘6’时,如图14(b)所示,第一AV流文件1402F与第二AV流文件1402B必需在解码器的解码处理上作为一系列AV流文件组来处理。即,在第一AV流文件1402F与第二AV流文件1402B之间,STC与ATC必需都连续。
再参照图13,流选择表格1305表示从再现开始时刻1302至再现终止时刻1303之间、可由再现装置102内的解码器从AV流文件中选择的基本流的列表。流选择表格1305特别包含多个流入口1309。各流入口1309包含流选择号1306、流路径信息1307、和流识别信息1308。流选择号1306是各流入口1309的连续号,由再现装置102用于基本流的识别。流路径信息1307是表示选择对象基本流所属的AV流文件的信息。例如,当流路径信息1307表示“主路径”时,该AV流文件对应于参照剪辑信息1301表示的剪辑信息文件。另一方面,当流路径信息1307表示“子路径ID=1”时,选择对象基本流所属的AV流文件是子路径ID=1的子路径中包含的子播放项目信息之一规定的AV流文件。这里,该子播放项目信息其所示的再现区间包含于从再现开始时刻1302至再现终止时刻1303之间。另外,下面说明子路径和子播放项目信息。流识别信息1308表示复用于由流路径信息1307确定的AV流文件上的基本流的PID。该PID所示的基本流可在再现开始时刻1302至再现终止时刻1303之间选择。另外,虽然图13中未示出,但流入口1309中还记录各基本流的属性信息。例如,音频流、PG流和IG流的各属性信息表示语言的类别。
图15是表示规定对象再现路径中包含子路径时的播放列表文件1500的数据构造的模式图。播放列表文件1500如图15所示,除主路径1501外,还可具有一个以上子路径。各子路径1502、1503表示与主路径1501并列的再现路径。子路径1502、1503按登记于播放列表文件1500中的顺序被分配连续号。该连续号作为子路径ID,用于各子路径的识别中。如主路径1501是使各播放项目信息#1-3规定的再现区间连接的一系列再现路径那样,各子路径1502、1503是使各子播放项目信息#1-3规定的再现区间连接的一系列再现路径。子播放项目信息1502A的数据构造与图13所示的播放项目信息的数据构造一样。即,各子播放项目信息1502A包含参照剪辑信息、再现开始时刻和再现终止时刻。子播放项目信息的再现开始时刻与再现终止时刻在与主路径1501的再现时间相同的时间轴上表示。例如,在播放项目信息#2的流选择表格1305中包含的流入口1309中,假设流路径信息1307表示“子路径ID=0”,流识别信息1308表示PG流#1时。此时,子路径ID=0的子路径1502中,在播放项目信息#2的再现区间,从子播放项目信息#2的参照剪辑信息表示的剪辑信息文件所对应的AV流文件中,选择PG流#1作为解码对象。
子播放项目信息还包含称为SP连接条件的字段。SP连接条件具有与播放项目信息的连接条件相同的含义。即,当SP连接条件为‘5’或‘6’时,由邻接的两个子播放项目信息规定的AV流文件的各部分必需满足与连接条件为‘5’或‘6’时的上述条件相同的条件。
<2D再现装置的构成>
接着,说明再现装置102从BD-ROM盘101再现2D影像时必要的构成、即2D再现装置的构成。
图16是2D再现装置1600的功能框图。参照图16,2D再现装置1600包含BD-ROM驱动器1601、再现部1600A和控制部1600B。再现部1600A包含读取缓冲器1602、系统目标解码器1603和平面加法部1610。控制部1600B包含动态脚本存储器1604、静态脚本存储器1605、程序执行部1606、再现控制部1607、播放器变量存储部1608和用户事件处理部1609。这里,将再现部1600A与控制部1600B安装在彼此不同的集成电路中。另外,也可将两者统合于单一的集成电路中。
当将BD-ROM盘101插入内部时,BD-ROM驱动器1601向该盘101照射激光,检测其反射光的变化。再根据其反射光光量的变化读取盘101中记录的数据。例如,BD-ROM驱动器1601具备光头。该光头具有半导体激光器、准直透镜、分束器、物镜、聚光透镜和光检测器。从半导体激光器射出的光束依次通过准直透镜、分束器和物镜,聚集到BD-ROM盘101的记录层上。聚集的光束由该记录层反射/衍射。该反射/衍射光通过物镜、分束器和聚光透镜,聚集到光检测器。结果,由对应于该聚光量的电平,生成再现信号,再根据该再现信号解调数据。
BD-ROM驱动器1601根据来自再现控制部1607的请求,从BD-ROM盘101中读取数据。读取的数据中,AV流文件被传输到读取缓冲器1602,播放列表文件和剪辑信息文件被传输到静态脚本存储器1605,索引文件、电影对象文件和BD-J对象文件被传输到动态脚本存储器1504。
读取缓冲器1602、动态脚本存储器1604和静态脚本存储器1605均为缓冲存储器。作为读取缓冲器1602,利用再现部1600A内的存储器元件,作为动态脚本存储器1604和静态脚本存储器1605,利用控制部1600B内的存储器元件。另外,作为这些存储器1602、1604、1605,也可利用单一存储器元件的不同区域。读取缓冲器1602存储AV流文件,静态脚本存储器1605存储播放列表文件和剪辑信息文件、即静态脚本信息,动态脚本存储器1604存储索引文件、电影对象文件和BD-J对象文件等动态脚本信息。
系统目标解码器1603以源数据包为单位从读取缓冲器1602中读取AV流文件后,进行复用分离处理,再对分离出的各基本流进行解码处理。各基本流的解码所需的信息、例如编解码器的类别和流的属性被事先从再现控制部1507传输到系统目标解码器1603。系统目标解码器1603再将解码后的主视频流、次视频流、IG流和PG流按照每个视频访问单元分别作为主影像平面数据、副影像平面数据、IG平面数据和PG平面数据进行输出。另一方面,系统目标解码器1603混合解码后的主音频流与次音频流,输出到显示装置103的内置扬声器103A等声音输出装置。此外,系统目标解码器1603从程序执行部1606接收图形数据。该图形数据用于将GUI用菜单等图形显示于画面中,以JPEG或PNG等光栅数据表现。系统目标解码器1603将该图形数据进行处理后,作为图像平面数据进行输出。另外,后述系统目标解码器1603的细节。
用户事件处理部1609通过遥控器104或再现装置102的面板,检测用户的操作,按照该操作内容,委托程序执行部1606或再现控制部1607处理。例如,用户按下遥控器104的按钮,指示显示弹出菜单时,用户事件处理部1609检测该按下后识别该按钮。用户事件处理部1609再委托程序执行部1606进行对应于该按钮的指令执行、即弹出菜单显示处理。另一方面,例如用户按下遥控器104的快进或回放按钮时,用户事件处理部1609检测该按下后识别该按钮。用户事件处理部1609再委托再现控制部1607进行当前再现中的播放列表的快进或回放处理。
再现控制部1607控制将AV流文件和索引文件等文件从BD-ROM盘101传输到读取缓冲器1602、动态脚本存储器1604和静态脚本存储器1605的处理。该控制中利用管理图2中示出的目录/文件构造204的文件系统。即,再现控制部1607利用文件打开用的系统调用,使BD-ROM驱动器向各存储器1602、1604、1605传输各种文件。这里,所谓文件打开是指下面一系列处理。首先,通过系统调用向文件系统提供检索对象的文件名,该文件名被从目录/文件构造204中检索。当该检索成功时,向再现控制部1607内的存储器传输目的文件的文件入口内容,在该存储器中生成FCB(FileControl Block:文件控制块)。之后,将目的文件的文件句柄从文件系统返回给再现控制部1607。之后,再现控制部1607通过向BD-ROM驱动器提示该文件句柄,可使该目的文件从BD-ROM驱动器101传输到各存储器1602、1604、1605。
再现控制部1607控制BD-ROM驱动器1601与系统目标解码器1603,使其从AV流文件解码影像数据与声音数据后输出。具体而言,再现控制部1607按照来自程序执行部1606的命令或来自用户事件处理部1609的委托,从静态脚本存储器1605中读取播放列表文件,并解释其内容。再现控制部1607再根据该解释出的内容,尤其是再现路径,向BD-ROM驱动器1601与系统目标解码器1603指定AV流文件的再现对象部分,并指示其读取和解码处理。将基于这种播放列表文件的再现处理称为播放列表再现。另外,再现控制部1607利用静态脚本信息,对播放器变量存储部1608设定各种播放器变量。再现控制部1607还参照这些播放器变量,对系统目标解码器1603指定解码对象的基本流,且提供各基本流的解码所需的信息。
播放器变量存储部1608是用于存储播放器变量的寄存器组。播放器变量中有表示再现装置102状态的系统参数(SPRM)与通用参数(GPRM)。图17是SPRM的一览表。向各SPRM分配连续号1701,使变量值1702对应于各连续号1701。主要SPRM的内容如下所示。这里,括号内的数字表示连续号。
SPRM(0):语言代码
SPRM(1):主音频流号
SPRM(2):字幕流号
SPRM(3):角度号
SPRM(4):标题号
SPRM(5):章节号
SPRM(6):程序号
SPRM(7):单元号
SPRM(8):选择键信息
SPRM(9):导航计时器
SPRM(10):再现时刻信息
SPRM(11):卡拉OK用混合模式
SPRM(12):家长用国家信息
SPRM(13):家长级别
SPRM(14):播放器设定值(视频)
SPRM(15):播放器设定值(音频)
SPRM(16):音频流用语言代码
SPRM(17):音频流用语言代码(扩展)
SPRM(18):字幕流用语言代码
SPRM(19):字幕流用语言代码(扩展)
SPRM(20):播放器区域代码
SPRM(21):次视频流号
SPRM(22):次音频流号
SPRM(23):再现状态
SPRM(24):保留
SPRM(25):保留
SPRM(26):保留
SPRM(27):保留
SPRM(28):保留
SPRM(29):保留
SPRM(30):保留
SPRM(31):保留
SPRM(10)是解码处理中的图片的PTS,每当解码该图片后写入主影像平面存储器中时被更新。因此,若参照SPRM(10),则可知道当前的再现时刻。
SPRM(16)的音频流用语言代码和SPRM(18)的字幕流用语言代码表示再现装置102的默认语言代码。可利用再现装置102的OSD(屏上显示)等来让用户变更这些代码,也可通过程序执行部1606来让应用程序变更这些代码。例如,当SPRM(16)表示‘英语’时,再现控制部1607在播放列表再现处理中,首先从播放项目信息内的流选择表格中,检索包含‘英语’的语言代码的流入口。再现控制部1607接着从该流入口的流识别信息中提取PID,传递给系统目标解码器1603。由此,由系统目标解码器1603选择该PID的音频流进行解码。这些处理可利用电影对象文件或BD-J对象文件而由再现控制部1607执行。
再现控制部1607在再现处理中,按照再现状态的变化,更新播放器变量。再现控制部1607特别更新SPRM(1)、SPRM(2)、SPRM(21)、SPRM(22)。SPRM(1)、SPRM(2)、SPRM(21)、SPRM(22)依次表示处理中的音频流、字幕流、次视频流、次音频流的各流选择号。例如,假设由程序执行部1606变更SPRM(1)时。再现控制部1607在此时首先从当前时刻正在进行再现处理的播放项目信息内的流选择表格中,检索包含与变更后的SPRM(1)所示的流选择号相等的流选择号在内的流入口。再现控制部1607接着从该流入口内的流识别信息中提取PID,传递给系统目标解码器1603。由此,由系统目标解码器1603选择该PID的音频流进行解码。这样,再现对象的音频流被切换。同样地,也可切换再现对象的字幕和次视频流。
程序执行部1606是处理器,执行电影对象文件和BD-J对象文件中存储的程序。程序执行部1606按照各程序,特别执行如下控制:(1)对再现控制部1607命令播放列表再现处理;(2)生成菜单用或游戏用图形数据,作为PNG或JPEG光栅数据,将该数据传输到系统目标解码器1603,与其它影像数据合成。这些控制的具体内容可通过程序设计较自由地设计。即,这些控制内容由BD-ROM盘101的著作工序中的电影对象文件和BD-J对象文件的编程工序确定。
平面加法部1610从系统目标解码器1603接收主影像平面数据、副影像平面数据、IG平面数据、PG平面数据和图像平面数据,将它们彼此重叠后,合成为一个视频帧或场。将合成后的影像数据输出到显示装置103,显示于其画面中。
《系统目标解码器的构成》
图18是系统目标解码器1603的功能框图。参照图18,系统目标解码器1603包含源拆包器1810、ATC计数器1820、第一27MHz时钟1830、PID滤波器1840、STC计数器(STC1)1850、第二27MHz时钟1860、主影像解码器1870、副影像解码器1871、PG解码器1872、IG解码器1873、主声音解码器1874、副声音解码器1875、图像处理器1880、主影像平面存储器1890、副影像平面存储器1891、PG平面存储器1892、IG平面存储器1893、图像平面存储器1894和声音混合器1895。
源拆包器1810从读取缓冲器1602中读取源数据包,从中取出TS数据包,送出到PID滤波器1840。源拆包器1810再按照各源数据包的ATS调整该送出时刻。具体而言,源拆包器1810首先监视ATC计数器1820生成的ATC值。这里,ATC值是ATC计数器1820的值,对应于第一27MHz时钟1830的时钟信号的脉冲而递增。源拆包器1810接着在ATC值与源数据包的ATS一致的瞬间,按AV流文件的记录速率RTS1将从该源数据包中取出的TS数据包传输到PID滤波器1840。
PID滤波器1840首先选择从源拆包器1810输出的TS数据包中的、其PID与从再现控制部1607事先指定的PID一致的TS数据包。PID滤波器1840接着按照该PID,将选择到的TS数据包传输给各解码器1870-1875。例如,当PID为0x1011时,将该TS数据包传输到主影像解码器1870。另外,当PID属于0x1B00-0x1B1F、0x1100-0x111F、0x1A00-0x1A1F、0x1200-0x121F和0x1400-0x141F的各范围时,将对应的TS数据包分别传输到副影像解码器1871、主声音解码器1874、副声音解码器1875、PG解码器1872和IG解码器1873。
PID滤波器1840还利用各TS数据包的PID,从该TS数据包中检测PCR。PID滤波器1840此时将STC计数器1850的值设定为规定值。这里,STC计数器1850的值对应于第二27MHz时钟1860的时钟信号的脉冲而递增。另外,事先从再现控制部1607向PID滤波器1840指示应设定给STC计数器1850的值。各解码器1870-1875利用STC计数器1850的值作为STC。即,使对从PID滤波器1840送出的TS数据包进行解码的解码处理的时期与该TS数据包所示的PTS或DTS一致。
主影像解码器1870如图18所示,包含TS(Transport Stream Buffer:输送流缓冲器)1801、MB(Multiplexing Buffer:复用缓冲器)1802、EB(Elementary Stream Buffer:基本流缓冲器)1803、压缩影像解码器(Dec)1804和DPB(Decoded Picture Buffer:解码图片缓冲器)1805。TB1801、MB1802、EB1803和DPB1805均为缓冲存储器,分别利用主影像解码器1870中内置的存储器元件的一区域。另外,也可将它们之一或全部分离成不同的存储器元件。TB1801原样积累从PID滤波器1840接收到的TS数据包。MB1802积累从TB1801中积累的TS数据包恢复的PES数据包。另外,当从TB1801向MB1802传输TS数据包时,从该TS数据包中去除TS头。EB1803从PES数据包中提取编码后的视频访问单元并存储。在该视频访问单元中存储压缩图片、即I图片、B图片和P图片。另外,当从MB1802向EB1803传输数据时,从该PES数据包中去除PES头。压缩影像解码器1804将MB1802内的各视频访问单元在原TS数据包表示的DTS的时刻解码。这里,按照该视频访问单元内存储的压缩图片的压缩编码形式、例如MPEG2、MPEG4AVC和VC1以及流属性,压缩影像解码器1804切换解码方法。压缩影像解码器1804进一步将解码后的图片、即帧或场的影像数据传输到DPB1805。DPB1805暂时保持解码后的图片。压缩影像解码器1804解码P图片和B图片时,参照DPB1805中保持的解码后的图片。DPB1805还在原TS数据包表示的PTS时刻将保持的各图片写入主影像平面存储器1890中。
副影像解码器1871具有与主影像解码器1870一样的构成。副影像解码器1871首先将从PID滤波器1840接收到的次视频流的TS数据包解码成非压缩图片。副影像解码器1871接着在该TS数据包所示的PTS时刻将非压缩图片写入副影像平面存储器1891中。
PG解码器1872将从PID滤波器1840接收到的TS数据包解码成非压缩图形数据后,在该TS数据包所示的PTS时刻写入PG平面存储器1892中。
IG解码器1873将从PID滤波器1840接收到的TS数据包解码成非压缩图形数据后,在该TS数据包所示的PTS时刻写入IG平面存储器1893中。
主声音解码器1874首先将从PID滤波器1840接收到的TS数据包存储在内置缓冲器中。主声音解码器1874接着从缓冲器内的各TS数据包中去除TS头与PES头,将剩余的数据解码成非压缩LPCM声音数据。主声音解码器1874还将该声音数据在原TS数据包表示的PTS时刻输出到声音混合器1895。主声音解码器1874按照TS数据包中包含的主音频流的压缩编码形式、例如AC-3或DTS和流属性,切换压缩声音数据的解码方法。
副声音解码器1875具有与主声音解码器1874一样的构成。副声音解码器1875首先将从PID滤波器1840接收到的次音频流的TS数据包解码成非压缩LPCM声音数据。副声音解码器1875接着在该TS数据包所示的PTS时刻,将非压缩LPCM声音数据输出到声音混合器1895。副声音解码器1875按照TS数据包中包含的次音频流的压缩编码形式、例如杜比数字+、DTS-HD LBR和流属性,切换压缩声音数据的解码方法。
声音混合器1895使用从主声音解码器1874与副声音解码器1875分别输出的非压缩声音数据,进行混合(声音的重合)。声音混合器1895再将通过该混合得到的合成音输出到显示装置103的内置扬声器103A等。
图像处理器1880从程序执行部1606接收该PTS与图形数据、即PNG或JPEG光栅数据。图像处理器1880此时适当处理该图形数据,在该PTS时刻写入图像平面存储器1894。
<盘上的2D影像AV流文件的物理配置>
下面,说明当在BD-ROM盘101上存储2D影像AV流文件时,可无缝再现该2D影像的AV流文件的物理配置。这里,所谓无缝再现是指从AV流文件不中断地流畅再现影像和声音。
AV流文件作为逻辑地址连续的数据串,记录在BD-ROM盘101上。这里,如上所述,由于逻辑地址与盘上的物理地址实质上相等,所以当逻辑地址连续时,可以看作对应的物理地址实质上也连续。即,盘驱动器的拾取器可不进行寻址地连续读取逻辑地址连续的数据。下面,将AV流文件中的逻辑地址连续的数据串称为‘区段(extent)’。
区段在图2中示出的卷区202B中一般记录在物理连续的多个扇区上。具体而言,区段记录在STREAM目录区域中的、AV流文件的文件记录区域中。各区段的逻辑地址可从相同文件记录区域内的文件入口中记录的各分配描述符得知。
图19是表示盘101上的区段配置的模式图。在图19的例子中,AV流文件1900在盘101的轨道201A上分割成3个区段1901A、1901B、1901C来记录。如图19所示,各区段1901A-C连续,但不同区段之间一般不连续。因此,为了从这些区段1901A-C无缝再现影像,这些区段1901A-C的物理配置必需满足规定条件。
图19中示出的箭头群A1表示再现路径。如箭头群A1所示,在从AV流文件1900再现影像时,将各区段1901A、1901B、1901C依次读取到再现装置102。在该读取动作中,当开头的区段1901A被读取到其后端EA时,BD-ROM驱动器必需暂时停止光拾取器的读取动作,提高BD-ROM盘101的转速,以使下一区段1901B的前端TB迅速移动到光拾取器的位置。将这样使光拾取器暂时停止读取动作、其间将光拾取器放置于下一读取对象区域上的操作称为‘跳跃’。图19中,进行跳跃的期间用再现路径中的凸部J1、J2表示。
跳跃除使BD-ROM盘101的转速升降的操作外,还有轨道跳跃和聚焦跳跃(focus jump)。轨道跳跃是指使光拾取器沿盘的径向移动的操作。聚焦跳跃是指当BD-ROM盘101为多层盘时,使光拾取器的焦点从一个记录层移动到另一记录层的操作。这些跳跃通常寻址时间长,并且由于跳跃而读取跳过的扇区数大,所以特别称为‘长跳跃’。在跳跃期间,光拾取器的读取操作停止。因此,在图19中示出的跳跃期间J1、J2中,不从轨道201A的对应部分G1、G2中读取数据。将如这些各部分G1、G2那样在跳跃期间读取操作跳过的部分的长度称为跳跃距离。跳跃距离通常用该部分的扇区数表示。上述长跳跃具体定义为跳跃距离超过规定阈值的跳跃。该阈值例如在BD-ROM标准中,对应于盘101的类别和光盘驱动器的读取处理涉及的性能,被规定为40000扇区。
在跳跃期间,盘驱动器不能从BD-ROM盘101中读取数据。因此,为了从AV流文件1900无缝再现影像,必需致力于盘101上的区段的物理配置,以便即使在跳跃期间,解码器1603也能继续解码处理,并且连续地不断输出解码后的影像数据。
图20是表示将从BD-ROM盘101中读取的AV流文件变换为2D影像数据VD和声音数据AD的处理系统的模式图。如图20所示,BD-ROM驱动器1601从BD-ROM盘101读取AV流文件后存储在读取缓冲器1602中。系统目标解码器1603从读取缓冲器1602中读取AV流文件后解码成影像数据VD和声音数据AD。这里,将从BD-ROM驱动器1601向读取缓冲器1602读取数据的读取速度设为Rud,将从读取缓冲器1602向系统目标解码器1603的数据传输速率最大值、即系统速率设为Rmax。
图21是表示AV流文件处理期间读取缓冲器1602中积累的数据量DA的推移的曲线。在从BD-ROM盘101向读取缓冲器1602读取区段的第一读取期间T1中,如图21中箭头2101所示,积累数据量DA以与读取速率Rud和平均传输速率Rext之间的差Rud-Rext相等的速度增加。平均传输速率Rext是从读取缓冲器1602向系统目标解码器1603的数据传输速率的平均值,总是在系统速率Rmax以下。这里,BD-ROM驱动器1601实际上使读取/传输动作断续。由此,在第一读取期间T1中,积累数据量DA不会超过读取缓冲器1602的容量,即读取缓冲器1602不会产生溢出。若一个区段读取完成,则跳跃至下一区段的前端。在该跳跃期间TJ中,停止从BD-ROM盘101读取数据。因此,如图21中箭头2102所示,积累数据量DA以平均传输速率Rext减少。但是,若在第一读取期间T1中积累数据量DA充分增大,则在跳跃期间TJ中,积累数据量DA不会达到0。即,读取缓冲器1602不会产生下溢。与下一区段的读取期间T2的开始同时,积累数据量DA再次以与数据传输速率之差Rud-Rext相等的速度增加。其结果,无论是否发生跳跃期间TJ,系统目标解码器1603都能不中断地输出影像数据。这样,能从该影像数据无缝地再现影像。
从上述可知,为了实现无缝再现,必需在跳跃期间TJ即将开始之前的读取期间T1中使积累数据量DA充分增大。由此,即便到下一区段为止的跳跃期间TJ中,也可将读取缓冲器1602中积累的数据连续送到系统目标解码器1603。其结果,可保证影像数据的连续输出。为了在跳跃期间TJ即将开始之前的读取期间T1中使积累数据量DA充分增大,只要该跳跃即将开始之前被访问的区段尺寸足够大即可。这种区段的尺寸Sextent可由下式(1)表示。
[式1]
式(1)中,区段的尺寸Sextent以字节为单位表示。另一方面,跳跃时间Tjump以秒为单位表示跳跃期间TJ的长度。读取速度Rud用位/秒来表示从BD-ROM盘101向读取缓冲器1602读取数据的读取速度。传输速率Rext用位/秒表示当将该区段中的AV流文件的部分从读取缓冲器1602传输到系统目标解码器1603时的平均传输速率。用数‘8’除以式(1)的右边是为了将区段的尺寸Sextent的单位从位变换为字节。函数CEIL()表示使括号内数值的小数点以下的尾数进位的操作。下面,将由式(1)右边表示的区段的尺寸Sextent最小值称为最小区段尺寸。
上述传输速率Rext具体而言由{(该区段内的源数据包数)×(每个源数据包的字节数=192)×8}/(区段ATC时间)求出。这里,‘区段ATC时间’用ATC的值来表示赋予该区段中包含的源数据包的ATS的范围。具体而言,区段ATC时间用从该区段的开头源数据包的ATS至一下区段的开头源数据包的ATS为止的时间间隔来定义。因此,区段ATC时间与将该区段中包含的数据整体从读取缓冲器1602传输到系统目标解码器1603所需的时间相等。为了正确计算区段ATC时间,只要规定各区段的尺寸为源数据包长度的某个一定的倍数即可。并且,当任一区段包含比该倍数还多的源数据包时,只要将(超过该倍数的源数据包数)×(每个源数据包的传输时间)+(包含该倍数的源数据包的区段的区段ATC时间)所得的值视为该区段的区段ATC时间即可。另外,区段ATC时间也可用从该区段的开头源数据包的ATS至同一区段的终端源数据包的ATS为止的时间间隔加上每个源数据包的传输时间后的值来定义。此时,由于区段ATC时间的计算中不必参照下一区段,所以可简化该计算。另外,在上述区段ATC时间的计算中,必需考虑ATS中产生环绕的情况。
另一方面,由于读取缓冲器1602的容量有限,所以限制可无缝再现的跳跃时间Tjump的最大值。即,即便积累数据量DA是读取缓冲器1602的容量已满的状态,若由于至下一区段的跳跃距离过大而跳跃时间Tjump过长,则在跳跃期间TJ中,积累数据量DA会达到0,从而读取缓冲器1602枯竭。若是这样的话,由于中断从系统目标解码器1603输出影像数据,所以不能实现无缝再现。下面,将在中断向读取缓冲器1602供给数据的状态下积累数据量DA从读取缓冲器1602的容量大小到0为止的时间、即可保证无缝再现的跳跃时间Tjump的最大值称为最大跳跃时间Tjump_max。
在光盘的标准下,通常跳跃距离与跳跃时间之间的关系由盘驱动器的访问速度等事先确定。图22表示对BD-ROM盘规定的跳跃距离Sjump与跳跃时间Tjump之间的关系一例。图22中,跳跃距离Sjump以扇区为单位来表示。这里,设1扇区=2048字节。如图22所示,当跳跃距离Sjump属于0-10000扇区、10001-20000扇区、20001-40000扇区、40001扇区-1/10行程(stroke)和1/10行程以上的各范围时,跳跃时间Tjump分别是250m秒、300m秒、350m秒、700m秒和1400m秒。最小区段尺寸根据图22的规定来计算。再根据该最小区段尺寸,将AV流文件分割成多个区段后配置在BD-ROM盘101上。若是这种BD-ROM盘101,则再现装置102的BD-ROM驱动器1601可通过依照图22的规定而从该BD-ROM盘101无缝再现影像。
当BD-ROM盘101为多层盘、且读取源的记录层切换到其它记录层时,除图22规定的跳跃时间Tjump外,聚焦跳跃等该记录层的切换操作还进一步需要350m秒的时间。下面,将该时间称为层切换时间。因此,当应连续读取的两个区段之间有层边界时,必需根据对应于这些区段间的跳跃距离Sjump的跳跃时间Tjump与层切换时间之和,确定最小区段尺寸。
对应于最大跳跃时间Tjump_max的最大跳跃距离Sjump_max由图22的规定与层切换时间决定。例如,在设最大跳跃时间Tjump_max为700m秒的情况下,最大跳跃距离Sjump_max在连续的两个区段之间没有层边界时为1/10行程(=约1.2GB),在这些区段之间有层边界时,为40000扇区(=约78.1MB)。
当从两个不同的AV流文件中的一个到另一个再现影像时,为了无缝连接从各文件再现的影像之间,再现路径上位于前面的文件的终端区段与位于后面的文件的开头区段的配置必需满足以下条件。首先,该终端的区段必需是根据至该开头区段为止的跳跃距离算出的最小区段尺寸以上的尺寸。其次,其跳跃距离不能超过最大跳跃距离Sjump_max。
图23是表示从三个不同的AV流文件依次连续再现影像时各区段的配置一例的模式图。参照图23,播放列表文件2300包含三个播放项目信息(PI#1-3)2301-2303。各播放项目信息2301-2303规定的再现区间是三个不同AV流文件2311-2313各自的整体。各文件2311-2313在盘101的轨道201A上分割成区段2321A、2321B、2322A、2322B、2323后记录。在开头文件2311的记录区域中,开头的区段2321A被设定成根据至终端区段2321B为止的跳跃距离G1算出的最小区段尺寸以上的尺寸。另一方面,该终端区段2321B被设定成根据至第2个文件2312的开头区段2322A为止的跳跃距离G2算出的最小区段尺寸以上的尺寸。再将其跳跃距离G1设定为最大跳跃距离Sjump_max以下。同样地,在第2个文件2312的记录区域中,开头的区段2322A被设定成根据至终端区段2322B为止的跳跃距离G2算出的最小区段尺寸以上的尺寸,该终端区段2322B被设定成根据至第3个文件2313的开头区段2322A为止的跳跃距离G4算出的最小区段尺寸以上的尺寸,其跳跃距离G4被设定为最大跳跃距离Sjump_max以下。
<3D影像的再现原理>
作为立体视觉影像的再现方法,大致分为使用全息技术的方法与使用视差图像的方法两种。
使用全息技术的方法的特征在于,通过向视听者的视觉提供与从现实物体提供给人的视觉的光学信息基本上完全相同的信息,让该视听者立体地看到影像中的物体。但是,尽管将该方法用于动画显示中的技术在理论上确立,但该动画显示必需的可实时处理庞大运算的计算机、和每1mm数千条的超高分辨率的显示装置均还很难用当前技术实现。因此,将该方法实用化为商业用的目标目前而言基本不成立。
另一方面,使用视差图像的方法的特征在于,通过对一个场景分别生成视听者右眼看的影像与左眼看的影像,再仅让视听者的各个眼分别看到地再现各影像,从而让该视听者立体地看到该场景。
图24是用于说明通过使用视差图像的方法来再现3D影像(立体视觉影像)的再现原理的模式图。图24(a)是从上面观察视听者看设置在脸正面的立方体252的状态的图。图24(b)表示此时让视听者251的左眼251L看的立方体252的外观。图24(c)表示此时让视听者251的右眼251R看的立方体252的外观。比较图24(b)、(c)可知,各眼看到的立方体252的外观稍有不同。根据该外观差、即两眼视差,视听者251可立体地识别立方体252。因此,在使用视差图像的方法中,首先,对一个场景,例如图24(a)中示出的设置在视听者251脸正面的立方体252,准备视点不同的两个影像、例如图24(b)、(c)中示出的两个影像。这里,该视点差由视听者251的两眼视差确定。接着,以仅让视听者251的各个眼分别看到的方式再现各影像。由此,使视听者251立体地看到画面中再现的该场景、即立方体252的影像。这样,使用视差图像的方法与使用全息技术的方法不同,在只要准备来自两个视点的影像上有利。下面,将让左眼看的影像称为‘左影像’或‘左视’,将让右眼看的影像称为‘右影像’或‘右视’。再将结合该左右双方影像的影像称为‘3D影像’。
根据如何让视听者的各个眼分别看到左右影像的观点,使用视差图像的方法分为几个方式。
这些方式之一中有称为时分式的方式。在该方式中,每一定时间在画面中交替显示左右影像,另一方面,让视听者通过带液晶光栅的立体眼镜观察画面。这里,带液晶光栅的立体眼镜(也称为光栅眼镜。)中各透镜由液晶面板形成。各透镜与画面上的影像切换同步地使光交替地在其整体上均匀透过或遮断。即,各透镜作为周期地闭塞视听者的眼睛的光栅发挥作用。具体而言,在画面上显示左影像的期间,光栅眼镜使光透过左侧透镜,使右侧透镜遮断光。相反,在画面上显示右影像的期间,光栅眼镜使光透过右侧透镜,使左侧透镜遮断光。由此,视听者的眼睛中左右影像的余像重合后看成一个立体影像。
在时分式中,如上所述,以一定周期交替显示左右影像。因此,例如2D影像动画中显示每秒24个影像帧时,3D影像动画中必需使左右影像组合,显示每秒48个影像帧。因此,该方式中最好用可快速执行画面改写的显示装置。
作为其它方式,有使用双凸透镜(lenticular len)的方式。该方式中,将左右各影像帧分割成纵向细长长方形的小区域,在一个画面中横向交替排列同时显示左右影像帧的各小区域。这里,画面的表面被双凸透镜覆盖。双凸透镜平行排列多个细长半圆柱体透镜,形成一个薄片状。各半圆柱体透镜在画面表面沿纵向延伸。当通过双凸透镜让视听者看上述左右影像帧时,来自左影像帧显示区域的光仅成像于视听者的左眼,来自右影像帧显示区域的光仅成像于右眼。这样,利用映射到左右眼的影像间的两眼视差,视听者看到3D影像。另外,在该方式中,也可利用具有同样功能的液晶元件等其它光学部件来代替双凸透镜。此外,例如也可在左影像帧显示区域中设置纵向偏振光滤波器,在右影像帧显示区域中设置横向偏振光滤波器。此时,通过偏振光眼镜让视听者看画面。这里,在该偏振光眼镜中,在左侧的透镜中设置纵向偏振光滤波器,并且在右侧透镜中设置横向偏振光滤波器。因此,由于左右影像仅被视听者的各个眼分别看到,所以可让视听者看到立体影像。
使用视差图像的立体视觉影像再现方式通常用于游乐园的景点等中,在技术上已确立。因此,该方式称为最接近家庭中立体视觉影像再现技术实用化的技术。因此,下面在本发明的实施方式中,假设时分式或使用偏振光眼镜的方式。但是,作为使用视差图像的立体视觉影像再现方法,除上述方式外,还提出过例如2色分离方式等多种方式。这些多种方式中的任一个只要使用视差图像,都可与下述的两个方式一样地适用本发明。
<BD-ROM盘的3D影像用数据构造>
下面,对于作为本发明实施方式1的记录媒体的BD-ROM盘,说明用于存储3D影像的数据构造。这里,该数据构造的基本部分与图2-15中示出的、用于存储2D影像的数据构造一样。因此,下面以从2D影像用数据构造扩展的扩展部分或变更部分为中心进行说明,对基本部分援引上述说明。另外,将仅可从存储3D影像的BD-ROM盘再现2D影像的再现装置称为‘2D再现装置’,将2D影像与3D影像均可再现的再现装置称为‘2D/3D再现装置’。
在图17示出的SPRM中预留的SPRM中设定用于识别该再现装置是2D再现装置与2D/3D再现装置中的哪个的标志。例如,假设SPRM(24)是该标志时。此时,当SPRM(24)为‘0’时,该再现装置是2D再现装置,为‘1’时,是2D/3D再现装置。
《索引文件/电影对象文件》
图25是表示索引表格310、电影对象MVO、BD-J对象BDJO、和播放列表文件2501、2502之间的关系的模式图。在存储3D影像的BD-ROM盘101中,PLAYLIST目录除2D播放列表文件2501外,还包含3D播放列表文件2502。2D播放列表文件2501与上述播放列表文件2044A一样,规定2D影像的再现路径。另一方面,3D播放列表文件2502规定3D影像的再现路径。例如当通过用户操作选择标题1时,执行对应于索引表格310的项目‘标题1’的电影对象MVO。这里,电影对象MVO是使用了2D播放列表文件2501与3D播放列表文件2502中的某个的播放列表再现用程序。再现装置102根据电影对象MVO,首先判别该再现装置102是否对应于3D影像再现,在对应的情况下,再判别用户是否选择3D影像再现。再现装置102接着按照这些判别结果,选择2D播放列表文件2501与3D播放列表文件2502中的某个,作为再现对象的播放列表文件。
图26是根据电影对象MVO执行的再现对象播放列表文件选择处理的流程图。
在步骤S2601中,再现装置102检验SPRM(24)的值。当该值为0时,处理前进到步骤S2605。当该值为1时,处理前进到步骤S2602。
在步骤S2602中,再现装置102使菜单显示于显示装置103中,让用户选择2D影像与3D影像中的某个的再现。用户操作遥控器等,当选择2D影像再现时,处理前进到步骤S2605。另一方面,当选择3D影像再现时,处理前进到步骤S2603。
在步骤S2603中,再现装置102检验显示装置103是否对应于3D影像的再现。例如,当再现装置102与显示装置103以HDMI方式连接时,再现装置102与显示装置103之间交换CEC消息,向显示装置103询问显示装置103是否对应于3D影像的再现。当显示装置103不对应于3D影像的再现时,处理前进到步骤S2605。另一方面,当显示装置103对应于3D影像的再现时,处理前进到步骤S2604。
在步骤S2604中,再现装置102选择3D播放列表文件2502作为再现对象。
在步骤S2605中,再现装置102选择2D播放列表文件2501作为再现对象。另外,此时再现装置102也可在显示装置103中显示不选择3D影像再现的理由。
《播放列表文件》
图27是表示2D播放列表文件2501与3D播放列表文件2502的各构造一例的模式图。第一AV流文件组2701是存储2D影像视频流的AV流文件LCL_AV#1-3的集合,单独用于2D影像再现中。各文件LCL_AV#1-3的视频流还在3D影像再现时被用作左视流。下面,将这种AV流文件称为‘2D/左视AV流文件’,将其中包含的视频流称为‘2D/左视流’。另一方面,第二AV流文件组2702是存储右视流作为视频流的AV流文件RCL_AV#1-3的集合,在3D影像再现时与第一AV流文件组2701组合利用。下面,将这种AV流文件称为‘右视AV流文件’,将其中包含的视频流称为‘右视流’。2D播放列表文件2501的主路径2501M与3D播放列表文件2502的主路径2502M均包含三个播放项目信息#1-3。任一播放项目信息#1-3都在第一AV流文件组2701中规定再现区间。另一方面,3D播放列表文件2502与2D播放列表文件2501不同,还包含子路径2502S。子路径2502S包含三个子播放项目信息#1-3,各子播放项目信息#1-3在第二AV流文件组2702中规定再现区间。子播放项目信息#1-3与播放项目信息#1-3一一对应。各子播放项目信息的再现区间的长度与对应的播放项目信息的再现区间的长度相等。子路径2502S还包含表示子路径类别为‘3D’的信息2502T。当2D/3D再现装置检测到该信息2502T时,在子路径2502S与主路径2502M之间使再现处理同步。这样,2D播放列表文件2501与3D播放列表文件2502也可共用相同的2D/左视AV流文件组。
2D播放列表文件2501与3D播放列表文件2502中各文件名的前缀号(若为XXX.mpls,则是XXX)也可变为连号。由此,对应于2D播放列表文件的3D播放列表文件的确定变得容易。
对于3D播放列表文件2502的各播放项目信息,在图13示出的流选择表格1305中追加2D/左视流的流入口与右视流的流入口。2D/左视流与右视流中流入口1309的内容、例如帧速率、分辨率、视频格式相同。另外,也可向流入口1309进一步追加用于识别2D/左视流与右视流的标志。
在实施方式1中,如上所述,假设2D再现装置从左视流再现2D影像。但是,2D再现装置也可从右视流再现2D影像。下面的说明也一样。
图28是表示2D播放列表文件2501与3D播放列表文件2502的各构造另一例的模式图。在BD-ROM盘101的STREAM目录中,相对于一个左视AV流文件2701,也可包含两种以上的右视AV流文件。此时,3D播放列表文件2502也可包含多个与各右视AV流文件单独对应的子路径。例如,当相对同一场景两眼视差不同的3D影像用右影像对共同左影像的差异表现时,将按照不同的每个右影像而不同的右视AV流文件组记录在BD-ROM盘101中。此时,也可在3D播放列表文件2502中设置与各右视AV流文件单独对应的子路径,来按照期望的两眼视差分开使用。在图28的实例中,第一右视AV流文件组2801与第二右视AV流文件组2802各自所示的右影像的视点不同。另一方面,3D播放列表文件2502包含两种子路径2502S1、2502S2。子路径ID为‘0’的子路径2502S1在第一右视AV流文件组2801中规定再现区间。子路径ID为‘1’的子路径2502S2在第二右视AV流文件组2802中规定再现区间。2D/3D再现装置按照显示装置103的画面大小或来自用户的指定,选择两种子路径2502S1、2502S2中的某个,使该再现处理与主路径2502M的再现处理同步。由此,可对用户显示舒适的立体视觉影像。
《3D影像用AV流文件》
图29是表示复用于3D影像再现中利用的一对AV流文件上的基本流的模式图。图29(a)表示复用于2D/左视AV流文件2901上的基本流。这些与图4中示出的复用于2D影像用AV流文件上的基本流一样。由2D再现装置从主视频流2911再现2D影像,由2D/3D影像再现装置在3D影像再现时再现左视。即,该主视频流2911是2D/左视流。图29(b)表示复用于右视AV流文件2902上的基本流。右视AV流文件2902中存储右视流2921。由2D/3D再现装置在再现3D影像时根据右视流再现右影像。与左视流2911不同,向右视流2921分配0x1012作为PID,而不是0x1011。
图30(a)是表示2D影像视频流3000的压缩编码方法的模式图。如图30(a)所示,2D影像的视频流3000的各帧/场使用图片间预测编码,压缩成各图片3001、3002、...。在该编码中,利用视频流3000的时间方向冗余性、即显示顺序连续的图片间数据近似的情况。具体而言,首先开头的图片利用图片内编码,压缩成I0图片3001。这里,下缀的数字表示图片的连续号。接着如图30(a)中箭头所示,第4个图片参照I0图片3001,压缩成P3图片3004。接着,第2、3个图片参照I0图片3001与P3图片3004,分别压缩成B1图片、B2图片。
图30(b)是表示3D影像视频流3010、3020的压缩编码方法的模式图。如图30(b)所示,左视流3010与2D影像视频流3000一样,以利用时间方向冗余性的图片间预测编码来压缩。另一方面,右视流3020基于图片间预测编码的压缩除时间方向冗余性外,还利用左右视点间的冗余性。即,如图30(b)中箭头所示,右视流3020的各图片不仅参照相同流内显示顺序位于前后的图片,还参照2D/左视流3010中显示时刻相同或相邻接的图片来压缩。例如,右视流3020中开头图片参照2D/左视流3010的I0图片3011压缩成P0图片3021。第4个图片参照该P0图片3021与2D/左视流3010的P3图片3014,压缩成P3图片3024。并且,第2、3个图片除参照P0图片3021与P3图片3024外,还分别参照2D/左视流3010的Br1图片3012、Br2图片3013,压缩成B1图片、B2图片。这样,右视流3020参照2D/左视流3010来压缩。因此,与2D/左视流3010不同,不能单个解码右视流3020。但是,相反,由于左右影像间的相关高,所以利用左右视点间的图片间预测编码,右视流3020的数据量一般明显比2D/左视流3010小。下面,将2D/左视流3010这样的可单个解码的视频流称为‘基视流’,将右视流3020这样的解码需要基视流的视频流称为‘从属视流’。
另外,右视流也可压缩为基视流。此时,左视流也可利用右视流压缩为从属视流。在任一情况下,2D再现装置都将基视流用作2D影像用视频流。另外,2D/左视流的帧速率是该流单个由2D再现装置解码时的帧速率。在GOP头中记录该帧速率。
图31是表示分配给2D/左视流3101与右视流3102的各图片的PTS与DTS之间的关系一例的模式图。两个视频流3101、3012之间,各图片的DTS交替排列在STC上。这可通过使图30(b)中所示的图片间预测编码中参照该图片的右视流3102的图片DTS比2D/左视流3101的各图片的DTS延迟来实现。这里,将该延迟的幅度TD、即2D/左视流3101的图片与其之后的右视流3102的图片间的DTS间隔称为3D显示延迟。3D显示延迟TD设定为2D/左视流3101的图片间DTS的间隔、即1帧期间或1场期间TFr的一半。同样地,两个视频流3101、3012之间各图片的PTS也交替排列在STC上。即,2D/左视流3101的图片与其后面的右视流3102的图片间的PTS的间隔TD设定为2D/左视流3101的图片间的PTS间隔、即1帧期间或1场期间TFr的一半。
图32是表示2D/左视流与右视流的各视频访问单元3200的数据构造的模式图。如图32所示,向各视频访问单元3200赋予解码开关信息3201。后述的3D影像解码器4115以视频访问单元为单位交互切换2D/左视流的解码处理与右视流的解码处理。此时,3D影像解码器4115在赋予给各视频访问单元的DTS的时刻,确定接着应解码的视频访问单元。但是,一般在3D影像解码器中,还存在很多忽视DTS而连续解码视频访问单元的3D影像解码器。对于这种3D影像解码器,最好在各视频访问单元中存在与DTS不同的、能够可确定接着应解码的视频访问单元的信息。解码开关信息3201是该信息,即用于支援3D影像解码器执行的解码对象视频访问单元切换处理的信息。
如图32所示,解码开关信息3201存储在各视频访问单元3200内的扩展区域、例如MPEG-4AVC中的SEI Message中。解码开关信息3201包含下一访问单元类别3202、下一访问单元尺寸3203和解码计数器3204。
下一访问单元类别3202是表示接着应解码的视频访问单元属于2D/左视流与右视流中的哪个的信息。例如,当下一访问单元类别3202的值是‘1’时,接着应解码的视频访问单元属于2D/左视流。当下一访问单元类别3202的值是‘2’时,接着应解码的视频访问单元属于右视流。当下一访问单元类别3202的值是‘0’时,当前的视频访问单元位于该流的终端。
下一访问单元尺寸3203表示接着应解码的视频访问单元的尺寸。并且,若视频访问单元中无下一访问单元尺寸3203,则3D影像解码器必需在从缓冲器中提取解码对象的视频访问单元时解析该访问单元的构造,确定该尺寸。通过向解码开关信息3201附加下一访问单元尺寸3203,3D影像解码器可不解析视频访问单元的构造地确定该尺寸。因此,可简化3D影像解码器从缓冲器中提取视频访问单元的处理。
解码计数器3204表示从包含2D/左视流I图片的视频访问单元开始的解码顺序。图33是表示分配给2D/左视流3301与右视流3302的各图片的解码计数器3204的值的模式图。如图33(a)、(b)所示,值的分配方式有两种。
图33(a)中,对2D/左视流3301的I图片3311分配‘1’,作为解码计数器的值3204A,对接着应解码的右视流3302的P图片3321分配‘2’,作为解码计数器的值3204B,再对下个应解码的2D/左视流3301的P图片3322分配‘3’,作为解码计数器的值3204A。这样,在2D/左视流3301与右视流3302之间,使分配给各视频访问单元的解码计数器的值3204A、3204B交替增大。若如此分配解码计数器的值3204A、3204B,则即便由于某种故障而3D影像解码器读取某个视频访问单元存在缺失时,3D影像解码器也可根据解码计数器的值3204A、3204B立即确定由此缺失的图片。因此,3D影像解码器可适当且迅速地执行错误处理。
例如图33(a)中,在2D/左视流3301的第3个视频访问单元的读取中产生错误,Br图片3313缺失。因此,如果任其缺失不管,在右视流3302的第3个B图片3323的解码处理中就不能参照Br图片3313,所以不能正确解码该B图片3323,产生使噪声混入再现影像的危险性。但是,若3D影像解码器在右视流3302的第2个P图片3322的解码处理中读取该视频访问单元的解码计数器的值3204B并保持,则可预测接着应处理的视频访问单元的解码计数器的值3204A。具体而言,如图33(a)所示,右视流3302的第2个P图片3322的解码计数器的值3204B是‘4’。因此,预测接着应读取的视频访问单元的解码计数器的值3204A为‘5’。但是,由于实际上接着读取的视频访问单元是2D/左视流3301的第4个视频访问单元,所以其解码计数器的值3204A变为‘7’。由此,3D影像解码器可检测出读取视频访问单元缺失一个。因此,3D影像解码器可执行如下错误处理,即,对于从右视流3302的第3个视频访问单元提取的B图片3323,由于应参照的Br图片3313缺失,所以跳过解码处理。这样,3D影像解码器每当解码处理时都检验解码计数器的值3204A、3204B。由此,3D影像解码器可迅速检测视频访问单元的读取错误,并且,可迅速执行适当的错误处理。
如图33(b)所示,解码计数器的值3204C、3204D也可相对视频流3301、3302分别递增。此时,3D影像解码器在解码2D/左视流3301的视频访问单元的时刻,可预测为‘该解码计数器的值3204C与接着应解码的右视流3302的视频访问单元的解码计数器的值3204D相等’。另一方面,在解码右视流3302的视频访问单元的时刻,可预测为‘该解码计数器的值3204D加1后的值与接着应解码的2D/左视流3301的视频访问单元的解码计数器的值3204C相等’。因此,无论在哪个时刻,3D影像解码器都可根据解码计数器的值3204C、3204D,迅速检测视频访问单元的读取错误。结果,3D影像解码器可迅速执行适当的错误处理。
<盘上的3D影像AV流文件的物理配置>
下面,说明存储3D影像的AV流文件在BD-ROM盘101上的物理配置。
2D/3D再现装置当再现3D影像时,必需从盘101中并行读取2D/左视AV流文件与右视AV流文件。图34是表示盘101上的两个文件的区段配置的模式图。假设如图34(a)所示,将2D/左视AV流文件整体作为一个区段3401连续记录在盘101上,之后将右视AV流文件整体作为一个区段3402配置的情况。此时,为了使2D/3D再现装置并行读取两个文件,设定成再现路径如图34(a)中箭头(1)-(4)所示,设定成各区段3401、3402交替前进。因此,如图34(a)中虚线所示,每当切换读取对象的区段时,都发生大的跳跃。结果,难以使各文件的读取处理赶上3D影像解码器的解码处理,难以可靠地继续无缝再现。与此相对,在实施方式1中,如图34(b)所示,将2D/左视AV流文件分割成多个区段3401A、3401B、...,将右视AV流文件分割成多个区段3402A、3402B、...,将两个文件的区段交替配置在盘101上。将这种区段的配置称为交织配置。对于交织配置的区段组,再现路径如图34(b)中箭头(1)-(4)所示,设定成各区段3401A、3401B、3402A、3402B、...从开头起依次前进。因此,可不发生跳跃地以区段为单位交替读取两个文件,所以可使无缝再现的可靠性提高。
《对每个区段的再现时间的条件》
说明对各区段内视频流再现时间的条件。图35是表示其再现时间与再现路径之间的关系的模式图。假设如图35(a)所示,2D/左视AV流文件的区段3501与右视AV流文件的区段3502彼此邻接,前者区段3501中包含的视频流的再现时间为4秒,后者区段3502中包含的视频流的再现时间为1秒的情况。这里,3D影像的再现路径如图35(a)中箭头3510所示,各文件的区段3501、3502每相同再现时间、例如每1秒钟交替地前进。因此,在两个文件之间区段内的视频流再现时间不同的情况下,如图35(a)中虚线所示,两个区段3501、3502之间会发生跳跃。与此相对,在实施方式1中,如图35(b)所示,盘101上彼此邻接的2D/左视AV流文件的区段与右视AV流文件的区段分别包含在2D/左视流与右视流之间再现期间一致的各部分。尤其是在这些区段间视频流的再现时间相等。例如,在2D/左视AV流文件的开头区段3501A与右视AV流文件的开头区段3502A的对中,视频流的再现时间均等于1秒,第2个区段3501B、3502B的对中视频流的再现时间均等于0.7秒。由此,在2D/左视AV流文件与右视AV流文件的记录区域中,再现期间一致的区段的对始终邻接。结果,再现路径如图35(b)中箭头3520所示,能够设定成各区段3501A、3501B、302A、3502B、...从开头依次前进。因此,2D/3D再现装置可在3D影像再现时不发生跳跃地连续读取AV流文件,所以可可靠地执行无缝再现。
《AV流文件的记录区域的开头区段》
在AV流文件的记录区域中,区段的开头总包含2D/左视流的I图片、或图30(b)所示参照该I图片压缩后的右视流的P图片。由此,可使用剪辑信息文件的入口点来确定各区段的尺寸。因此,可简化再现装置从盘101交替读取2D/左视AV流文件与右视AV流文件的各区段的处理。
《区段的尺寸与间隔》
下面,说明对各区段尺寸的下限和间隔上限的条件。如上所述,为了使2D再现装置从AV流文件无缝再现2D影像,必需将AV流文件的各区段的尺寸设为最小区段尺寸以上,并且将区段的间隔设为比最大跳跃距离Sjump_max小。因此,将2D/左视AV流文件的各区段尺寸设定为根据至相同文件的下一区段为止的距离计算出的最小区段尺寸以上,并且,设定区段的间隔不超过最大跳跃距离Sjump_max。由此,能够使2D再现装置从2D/左视AV流文件无缝再现2D影像。
对于2D/左视AV流文件与右视AV流文件的各区段的交织配置,进一步要求用于从它们无缝再现3D影像的条件。该条件与区段的适当配置方法中存在由2D/3D再现装置具有的读取缓冲器的容量和盘驱动器的读取处理所涉及的性能决定的部分。在说明2D/3D再现装置的动作模式之后记载对这些部分的说明。
<3D影像用剪辑信息文件的数据构造>
下面,说明与存储3D影像的各AV流文件相对应的剪辑信息文件的数据构造。图36是表示这些剪辑信息文件的数据构造的模式图。图36(a)表示与2D/左视AV流文件3631相对应的剪辑信息文件、即2D/左视剪辑信息文件3601的数据构造,图36(b)表示与右视AV流文件3632相对应的剪辑信息文件、即右视剪辑信息文件3602的数据构造。各剪辑信息文件3601、3602的数据构造基本上与图9-11中示出的、与存储2D影像的AV流文件相对应的剪辑信息文件的数据构造相等。但是,向2D/左视剪辑信息文件3601追加3D元数据3613。另外,对右视剪辑信息文件3602的流属性信息3621限制条件,向入口映射3622追加信息。
《3D元数据》
图37是表示3D元数据3613的数据构造的模式图。3D元数据3613是用于将纵深感赋予从复用于2D/左视AV流文件的PG流、IG流和次视频流再现的2D图像的处理的信息。3D元数据3613如图37(a)所示,按PG流、IG流和次视频流的不同PID而分别包含表格3701。各表格3701中一般记载多个PTS3702与偏移值3703的对。PTS3702表示PG流、IG流和次视频流中的一个帧或场的显示时刻。偏移值3703是用像素数量来表示在水平方向上使该PTS3702的帧或场表示的影像位移后变换为左右影像时的该位移量的值,也允许负值。将该PTS3702与偏移值3703的对3704称为偏移入口。各偏移入口的有效区间从该偏移入口的PTS至下一偏移入口的PTS为止。例如图37(a)所示,偏移入口#1的PTS为180000,偏移入口#2的PTS为270000,偏移入口#3的PTS为360000时,如图37(b)所示,偏移入口#1的偏移值+5在从180000至270000的STC范围3704A中有效,偏移入口#2的偏移值+3在从270000至360000的STC范围3704B中有效。在后述的2D/3D再现装置中,平面加法部3710参照3D元数据3613,使PG平面、IG平面和副影像平面表示的各影像沿水平方向各位移偏移值后,变换为左右影像。平面加法部3710之后再将各平面表示的影像合成为一个平面。这样,可根据各平面的2D影像制作视差图像。即,可对该2D影像赋予立体的纵深感。在平面加法部3710的说明中提及平面合成的方法细节。
3D元数据3613除按照PID不同来设定,例如也可按照不同平面设定。由此,可简化2D/3D再现装置对3D元数据的解析处理。另外,考虑2D/3D再现装置的平面合成处理的性能,也可对偏移入口的有效区间长度设置例如1秒以上的条件。
《涉及右视流的流属性信息》
图10所示的涉及2D/左视流的视频流属性信息902B、即对应于PID=0x1011的视频流属性信息902B、与涉及右视流的视频流属性信息、即对应于PID=0x1012的视频流属性信息必需一致。具体而言,两个视频流属性信息中,编解码器9021、帧速率9024、纵横比9023、分辨率9022必需一致。若编解码器不一致,则由于左右视频流图片间编码中的参照关系不成立,所以不能解码该图片。另外,若帧速率、纵横比和分辨率中的某个不一致,则不能使左右影像的画面显示同步,所以无法让视听者感到舒服地将这些影像作为3D影像观看。
另外,也可向涉及右视流的视频流属性信息附加表示该视频流解码中必需参照2D/左视AV流文件的标志。另外,也可将该参照目标的AV流文件信息一起追加到该视频流属性信息。此时,在盘101的著作工序中,当验证应记录在盘101上的数据是否根据规定的格式制作时,可利用上述追加信息来判断左右视频流之间的对应关系的妥当性。
《涉及右视流的入口映射》
图38是表示图36(b)中示出的右视剪辑信息文件3602的入口映射3622的数据构造的模式图。如图38(a)所示,该入口映射3622包含涉及右视流的入口映射3801、即入口映射头3811表示的PID为0x1012的入口映射。该入口映射3801中包含的各入口点3812的PTS3813与2D/左视流中包含的各I图片的PTS加上图31所示的3D显示延迟TD后的值相等。这里,将各I图片的PTS记述为2D/左视剪辑信息文件3601的入口映射3612中涉及2D/左视流的各入口点的PTS。另外,将包含由该PTS3813确定的右视流的图片的SPN3814与该PTS3813一起对应于一个EP_ID3816。
还如图38(a)所示,向各入口点3812追加区段开始标志3815。区段开始标志3815表示相同入口点3812的SPN3814是否表示右视AV流文件3632的任一区段3632A、3632B、...的开头位置。例如图38(a)所示,在EP_ID=0的入口点,区段开始标志3815的值为“1”。此时,如图38(b)所示,SPN3814的值“3”与位于盘101的轨道201A中记录的区段3632A开头的源数据包的SPN相等。同样,在EP_ID=2的入口点,由于区段开始标志3815的值为“1”,所以SPN3814的值“3200”等于位于下一区段3632B开头的源数据包的SPN。另一方面,在EP_ID=1的入口点,区段开始标志3815的值为“0”。此时,SPN3814的值“1500”等于各区段开头以外位置上记录的源数据包的SPN。在涉及2D/左视剪辑信息文件3601的视频流的入口映射中,也将同样的区段开始标志追加到各入口点。因此,2D/3D再现装置可从区段开始标志3815取得各区段的尺寸。因此,可简化2D/3D再现装置从盘101读取AV流文件的读取处理。
另外,入口映射3801的入口映射头3811包含区段开始类别。区段开始类别表示2D/左视AV流文件与右视AV流文件中、将哪个区段先配置在盘101的轨道201A上。因此,2D/3D再现装置通过参照区段开始类别,可简单地判断应要求BD-ROM驱动器从哪个文件区段读取。
如上所述,当包含2D/左视流的I图片开头的TS数据包位于区段的开头时,必需将入口点对应于包含该TS数据包的源数据包的SPN。同样,当包含具有等于2D/左视流的I图片的PTS与3D显示延迟TD之和的PTS的右视流P图片开头的TS数据包位于区段开头时,必需将入口点对应于包含该TS数据包的源数据包的SPN。
另外,除向各入口点追加区段开始标志3815外,也可向角度切换标志赋予该功能。角度切换标志在图38中未示出,是入口映射中配备的1位标志,表示多角度下的角度切换时期。将角度切换标志共用作区段开始标志3815,由此可削减入口映射整体的位量。此时,也可向入口映射头3813再准备表示该1位的字段是否是‘区段开始标志’与‘角度切换标志’中的某个的标志。通过检验该标志,2D/3D再现装置可迅速解释入口映射上该1位的字段的含义,所以可迅速切换处理。
也可根据区段开始标志3815以外的信息来确定各AV流文件的区段尺寸。例如,也可将各AV流文件的区段尺寸列表化,将该列表作为元数据存储在剪辑信息文件中。另外,也可单独准备一一对应于入口映射各入口点的位串。当该位串表示‘1’时,对应的入口点表示区段的开头,当表示‘0’时,表示区段的开头以外。
<用于再现3D影像的再现装置>
下面,说明本发明实施方式1的、用于从BD-ROM盘101再现3D影像的再现装置(2D/3D再现装置)。2D/3D再现装置的构成基本与图16-18中示出的2D再现装置的构成相同。因此,下面以扩展部分等与2D再现装置的构成不同的部分为中心进行说明,对同样的部分援引对上述2D再现装置的说明。另外,依照规定2D影像再现路径的2D播放列表文件的2D影像再现处理、即2D播放列表再现处理中利用的构成与2D再现装置的构成一样,所以其细节也援引对上述2D再现装置的说明。在下面的说明中,假定依照规定3D影像再现路径的3D播放列表文件的3D影像再现处理、即3D播放列表再现处理。
图39是2D/3D再现装置3900的功能框图。2D/3D再现装置3900包含BD-ROM驱动器3901、再现部3900A、和控制部3900B。再现部3900A包含开关3912、读取缓冲器(1)3902、读取缓冲器(2)3911、系统目标解码器3903、和平面加法部3910。控制部3900B包含动态脚本存储器3904、静态脚本存储器3905、程序执行部3906、再现控制部3907、播放器变量存储部3908和用户事件处理部3909。这里,再现部3900A与控制部3900B彼此安装在不同的集成电路中。另外,二者也可统一在单一的集成电路中。控制部3900B、具体而言是动态脚本存储器3904、静态脚本存储器3905、程序执行部3906、用户事件处理部3909和播放器变量存储部3908均与图16中示出的2D再现装置内的部件一样,所以其细节援引对上述2D再现装置的说明。
BD-ROM驱动器3901包含与图16中示出的2D再现装置内的1601一样的构成要素,利用其,根据来自再现控制部3907的请求,从BD-ROM盘101读取数据。但是,与2D再现装置内的BD-ROM驱动器1601不同,BD-ROM驱动器3901将从BD-ROM盘101读取的AV流文件传输到读取缓冲器(1)3902与读取缓冲器(2)3911之一。当再现3D影像时,以区段为单位从再现控制部3907向BD-ROM驱动器3901交替地发送对2D/左视AV流文件与右视AV流文件各自的读取请求。BD-ROM驱动器3901按照这些请求,将2D/左视AV流文件的数据传输到读取缓冲器(1)3902,将右视AV流文件的数据传输到读取缓冲器(2)3911。开关3912按照从BD-ROM驱动器3901传输的两个文件的数据,在两个读取缓冲器3902、3911之间切换送出目的地。这样,当再现3D影像时,必需将2D/左视AV流文件与右视AV流文件双方同时读取到各读取缓冲器3902、3911。因此,要求BD-ROM驱动器3901具有高于等于2D再现装置内BD-ROM驱动器1601的访问速度。
读取缓冲器(1)3902与读取缓冲器(2)3911均是利用再现部3900A内的存储器元件的缓冲存储器。作为各读取缓冲器3902、3911,利用再现部3900A中内置的单一存储器元件内的不同区域。另外,各读取缓冲器3902、3911也可以是不同的存储器元件。读取缓冲器(1)3902存储从BD-ROM驱动器3901传输的2D/左视AV流文件的数据。读取缓冲器(2)3911存储从BD-ROM驱动器3901传输的右视AV流文件的数据。
再现控制部3907当从程序执行部3906等被命令进行3D播放列表再现处理时,首先参照静态脚本存储器3905中存储的3D播放列表文件。例如图27所示,3D播放列表文件2502规定主路径2502M与子路径2502S。再现控制部3907接着从该主路径2502M中顺序读取播放项目信息#1-3,利用这些信息来顺序确定2D/左视AV流文件LCL_AV#1-3。与此并行,再现控制部3907进一步从子路径2502S中顺序读取子播放项目信息#1-3,利用这些信息来顺序确定右视AV流文件RCL_AV#1-3。再现控制部3907接着访问静态脚本存储器3905,参照图36所示的、对应于各AV流文件的剪辑信息文件3631、3632中的图11、38中示出的入口映射3612、3622。由此,再现控制部3907根据入口映射头3813中记述的区段开始类别,判断再现开始地点的区段属于2D/左视流与右视流中的哪个,来决定开关3912的初始位置。再现控制部3907接着对BD-ROM驱动器3901请求以区段为单位从该再现开始地点开始交替读取2D/左视AV流文件与右视AV流文件,上述交替读取是从被判断出的一方文件先开始读取的。在将最初的区段整体从BD-ROM驱动器3901传输到读取缓冲器(1)3902或读取缓冲器(2)3911之后,将该区段从该读取缓冲器3902或3911传输到系统目标解码器3903。除这些处理外,再现控制部3907从静态脚本存储器3905中存储的2D/左视剪辑信息文件3631中读取图37中示出的3D元数据3613,传输到平面加法部3910。
系统目标解码器3903首先从传输到读取缓冲器(1)3902的2D/左视AV流文件与传输到读取缓冲器(2)3911的右视AV流文件交替读取源数据包,对这些数据包进行复用分离处理,分离各基本流。系统目标解码器3903接着对各基本流单独进行解码处理。系统目标解码器3903还将解码后的2D/左视流、右视、次视频流、IG流和PG流分别写入内置的专用存储器、即2D/左影像平面存储器、右影像平面存储器、副影像平面存储器、IG平面存储器和PG平面存储器中。系统目标解码器3903的细节如后所述。
平面加法部3910从系统目标解码器3903接收2D/左影像平面数据、右影像平面数据、副影像平面数据、IG平面数据、PG平面数据和图像平面数据,将这些数据彼此重叠后,合成为一个视频帧或场。将合成后的影像数据输出到显示装置103,显示于其画面中。
图40是表示平面加法部3910执行的平面数据重叠处理的模式图。各平面数据按2D/左影像平面数据4001、右影像平面数据4002、副影像平面数据4003、IG平面数据4004、PG平面数据4005、和图像平面数据4006的顺序重叠。具体而言,首先将2D/左影像平面数据4001与右影像平面数据4002在各数据所示的PTS时刻从系统目标解码器3903写入各平面存储器。这里,如图31所示,在两个影像平面数据4001、4002之间,PTS仅3D显示延迟TD不同。因此,各影像平面数据4001、4002以周期TD交替写入到各平面存储器。此时,平面加法部3910内的开关4010选择2D/左影像平面存储器与右影像平面存储器中的、在该PTS时刻写入平面数据的一方,从该平面存储器读取平面数据。因此,开关4010的平面存储器切换以周期TD进行。在读取的平面数据4001或4002上,首先,由第一加法部4011合成副影像平面数据4003,接着由第二加法部4012合成PG平面数据4004,接着由第三加法部4013合成IG平面数据4005,最后由第四加法部4014合成图像平面数据4006。利用这些合成处理,各平面数据表示的影像在画面上按2D/左影像平面或右影像平面、副影像平面、IG平面、PG平面和图像平面的顺序重叠显示。
平面加法部3910还包含4个修剪处理部4021-4024。第一修剪处理部4021-第三修剪处理部4023利用3D元数据3613,对副影像平面数据4003、PG平面数据4004和IG平面数据4005分别进行修剪处理,将各平面数据交替变换为左影像用与右影像用。之后,利用各加法部4011-4013,将左影像用各平面数据合成为2D/左视平面数据,将右影像用各平面数据合成为右影像平面数据。
图41是表示各修剪处理部4021-4023执行的修剪处理的模式图。图41中,举例第二修剪处理部4022对PG平面数据4004的修剪处理。第二修剪处理部4022首先从图37中示出的3D元数据3613中,检索与PG流的PID=0x1200相对应的3D元数据3701。第二修剪处理部4022接着从该3D元数据3701中,检索当前时刻有效的偏移入口3704,并取得该偏移值3703。当应合成PG平面数据4004的影像平面数据为2D/左影像平面数据4001时,第二修剪处理部4022如图41(a)所示,使PG平面数据4004的位置相对2D/左影像平面数据4001的位置沿水平方向位移与取得的偏移值相等的像素数量4101L。此时,若该偏移值为正,则PG平面数据4004向右位移,若为负,则向左位移。第二修剪处理部4022之后去除(修剪)超出2D/左影像平面数据4001范围的PG平面数据4004的区域4102L,将剩余的数据区域4103L合成到2D/左影像平面数据4001。另一方面,当影像平面数据是右影像平面数据4002时,第二修剪处理部4022如图41(b)所示,使PG平面数据4004的位置相对右影像平面数据4002的位置沿水平方向位移与偏移值相等的像素数量4101R。此时,与之前相反,若该偏移值为正,则PG平面数据4004向左位移,若为负,则向右位移。第二修剪处理部4022接着与之前一样,去除(修剪)超出右影像平面数据4002范围的PG平面数据4004的区域4102R,将剩余的数据区域4103R合成到右影像平面数据4002。第三修剪处理部4023和第一修剪处理部4021也分别同样地对IG平面数据4005和副影像平面数据4003进行修剪处理。
图42是表示通过图41中示出的修剪处理而重叠后的左右2D影像和从这些2D影像让视听者感知的3D影像的模式图。在左影像的画面中,如图42(a)所示,PG平面4202相对左影像平面4201向右位移偏移值4101L,所以PG平面4202左侧的区域4203L看起来重合于左影像平面4201L。其结果,PG平面4202内的字幕的2D影像4204相比最初位置看起来向右位移偏移值4101L。在右影像画面中,相反,如图42(b)所示,PG平面4202相对右影像平面4201R向左位移偏移值4101R,所以PG平面4202右侧的区域4203R看起来重合于右影像平面4201R。其结果,PG平面4202内的字幕的2D影像4204相比最初位置看起来向左位移偏移值4101R。其结果,如图42(c)所示,使视听者4205看到字幕的3D影像4204比影像平面4206靠前。这样,通过利用修剪处理,由一个平面数据制作左影像用与右影像用平面数据对,可再现视差图像。即,可对平面图像赋予纵深感。特别是可让视听者看到该平面的图像从画面浮起。
将说明返回图40。图像平面数据4006是由系统目标解码器3903解码从程序执行部3906传输到系统目标解码器3903的图形数据后的数据。该图形数据是JPEG或PNG等光栅数据,表示菜单等GUI用图形部件。第四修剪处理部4024与其它修剪处理部4021-4023同样地执行对图像平面数据4006的修剪处理。但是,第四修剪处理部4024与其它修剪处理部4021-4023不同,从由程序API4030而不是由3D元数据3613指定的偏移信息读取偏移值。这里,程序API4030由程序执行部3906执行,实现算出与图形数据表示的图像纵深相对应的偏移信息后传递给第四修剪处理部4024的功能。
平面加法部3910除上述处理外,还将由4个加法部4011-4014合成的平面数据的输出形式一起变换为显示装置103等该数据输出目的地装置的3D影像显示方式。在输出目的地装置利用例如时分式、即利用光栅眼镜让视听者各个眼交替看到左右影像的方式时,平面加法部3910将合成后的平面数据作为一个帧或场输出。另一方面,当输出目的地装置是例如利用双凸透镜的方式时,平面加法部3910利用内置的缓冲存储器,将左右平面数据合成为一个帧或场的影像数据。具体而言,平面加法部3910暂时将先合成的左影像平面数据存储并保持在该缓冲存储器中。平面加法部3910接着合成右影像平面数据,再与保持在缓冲存储器中的左影像平面数据合成。在该合成中,将左右各平面数据分割成纵向细长的长方形的小区域,各小区域在一个帧或场中横向交替排列,重新构成一个帧或场。这样,左右平面数据合成为一个帧或场的影像数据,之后输出。
《系统目标解码器的构成》
图43是图39中示出的系统目标解码器3903的功能框图。下面,参照图43来说明系统目标解码器3903。图43示出的系统目标解码器3903的构成要素中,副影像解码器、IG解码器、PG解码器、主声音解码器、副声音解码器、声音混合器、图像处理器和各平面存储器与图18示出的2D再现装置的一样,所以其细节援引图18的说明。
源拆包器(1)4311从读取缓冲器(1)3902中读取源数据包,从中取出TS数据包,送出到PID滤波器(1)4313。同样地,源拆包器(2)4312从读取缓冲器(2)3911中读取源数据包,从中取出TS数据包,送出到PID滤波器(2)4314。各源拆包器4311、4312还按照各源数据包的ATS来调整各TS数据包的送出时刻。该调整方法与图18所示的源拆包器1810的一样,所以其细节援引图18的说明。
PID滤波器(1)4313首先选择从源拆包器(1)4311输出的TS数据包中的、其PID与从再现控制部3907事先指定的PID一致的TS数据包。PID滤波器(1)4313接着将选择到的TS数据包按照该PID传输给3D影像解码器4315的TB(1)4301、副影像解码器、IG解码器、PG解码器、声音解码器或副声音解码器。同样地,PID滤波器(2)4314将从源拆包器(2)4312输出的各TS数据包按照该PID传输到各解码器。这里,如图29(b)所示,右视AV流文件2902通常仅包含右视流。因此,在3D播放列表再现中,PID滤波器(2)4314主要将TS数据包传输给3D影像解码器4315的TB(2)4308。
参照图43,3D影像解码器4315包含TB(1)4301、MB(1)4302、EB(1)4303、TB(2)4308、MB(2)4309、EB(2)4310、缓冲器开关4306、压缩影像解码器4304、DPB4305和图片开关4307。TB(1)4301、MB(1)4302、EB(1)4303、TB(2)4308、MB(2)4309、EB(2)4310和DPB4305均为缓冲存储器,分别利用3D影像解码器4315中内置的存储器元件的一区域。另外,它们中的任一或全部也可分成成不同的存储器元件。
TB(1)4301从PID滤波器(1)4313接收包含2D/左视流的TS数据包,原样暂时存储该TS数据包。MB(1)4302存储从TB(1)4301中存储的TS数据包复原的PES数据包。另外,当从TB(1)4301向MB(1)4302传输数据时,从该TS数据包中去除TS头。EB(1)4303从PES数据包中提取编码后的视频访问单元加以存储。另外,当从MB(1)4302向EB(1)4303传输数据时,从该PES数据包中去除PES头。
TB(2)4308从PID滤波器(2)4314接收包含右视流的TS数据包,原样暂时存储该TS数据包。MB(2)4309存储从TB(2)4308中存储的TS数据包复原的PES数据包。另外,当从TB(2)4308向MB(2)4309传输数据时,从该TS数据包中去除TS头。EB(2)4310从PES数据包中提取编码后的视频访问单元加以存储。另外,当从MB(2)4309向EB(2)4310传输数据时,从该PES数据包中去除PES头。
缓冲器开关4306在原TS数据包所示的DTS时刻,将EB(1)4303与EB(2)4310各自中存储的视频访问单元传输给压缩影像解码器4304。这里,缓冲器开关4306也可从压缩影像解码器4304中返回图32所示的该视频访问单元3200内的解码开关信息3201。此时,缓冲器开关4306可使用该解码开关信息3201,决定是否应从EB(1)4303与EB(2)4310之一传输接着应传输的视频访问单元。另一方面,如图31所示,在2D/左视流3101与右视流3102之间,各图片的DTS按3D显示延迟TD的间隔交替设定。因此,在压缩影像解码器4304例如忽视DTS而连续解码视频访问单元时,缓冲器开关4306每当从EB(1)4303与EB(2)4310中的一方向压缩影像解码器4304传输一个视频访问单元时,也可将传输源的EB切换为另一方。
压缩影像解码器4304在原TS数据包所示的DTS时刻,解码从缓冲器开关4306传输的各视频访问单元。这里,按照该视频访问单元内存储的压缩图片的压缩编码形式、例如MPEG2、MPEG4AVC和VC1以及流属性,压缩影像解码器4304切换解码方法。压缩影像解码器4304还将解码后的图片、即帧或场的影像数据传输到DPB4305。
DPB4305暂时保持解码后的图片。压缩影像解码器4304在解码P图片和B图片时,参照DPB4305中保持的解码后的图片。DPB4305还在原TS数据包所示的PTS时刻将保持的各图片传输到图片开关4307。
图片开关4307将从压缩影像解码器4304传输的已解码的图片、即帧/场的影像数据,在其属于2D/左视流时写入2D/左影像平面存储器4320中,在其属于右视流时写入右影像平面存储器4321中。
<盘上的3D影像AV流文件的物理配置>
下面,说明当在BD-ROM盘101中存储3D影像AV流文件时,可无缝再现该3D影像的AV流文件的物理配置。
这里,定义应作为本说明前提的再现系统的数据传输速率。图44是表示从由BD-ROM盘101读取的2D/左视AV流文件与右视AV流文件再现3D影像数据VD和声音数据AD的处理系统的模式图。如图44所示,BD-ROM驱动器3901以区段为单位交替读取2D/左视AV流文件与右视AV流文件后,送出到开关3912。开关3912将该2D/左视AV流文件的区段存储在读取缓冲器(1)3902中,将右视AV流文件的区段存储在读取缓冲器(2)3911中。系统目标解码器3903从各读取缓冲器3902、3911中交替读取数据后解码。这里,设从BD-ROM驱动器3901向各读取缓冲器3902、3911读取数据的读取速度为Rud_3D(位/秒),将从读取缓冲器(1)3902向系统目标解码器3903传输区段的平均传输速率(下面称为第一平均传输速率。)设为Rext_L(位/秒),将从读取缓冲器(1)3911向系统目标解码器3903传输区段的平均传输速率(下面称为第二平均传输速率。)设为Rext_R(位/秒)。此时,用于通过从各读取缓冲器3902、3911向系统目标解码器3903传输数据而任一读取缓冲器3902、3911都不下溢的条件如下式(2)所示:
[式2]
Rud_3D>Rext_L、Rud_3D>Rext_R。 (2)
《区段在交织配置中的物理顺序》
图45是表示BD-ROM盘101上以交织配置记录的各AV流文件的区段的物理顺序与3D影像再现时的各读取缓冲器3902、3911的积累数据量推移之间的关系的模式图。BD-ROM驱动器3901将被请求的一个区段整体连续地从BD-ROM盘101传输到读取缓冲器(1)3902或读取缓冲器(2)3911。例如图45(C)所示,当盘101上的读取对象区域的开头区段4506属于2D/左视AV流文件时,BD-ROM驱动器3901将该开头区段4506的整体连续写入读取缓冲器(1)3902中。这里,在将开头的区段4506整体完全写入读取缓冲器(1)3902中之前,即在图45(c)所示的开头区段4506的读取期间(1)终止之前,系统目标解码器3903不开始该区段的读取。这是因为即便在右视AV流文件的解码处理之前进行2D/左视AV流文件的解码处理,若这些解码部分的再现期间重复,则3D影像的再现处理必须在结束这双方解码处理之后才能执行。另外还因为,由于在右视AV流文件的解码结束之前必需将解码后的2D/左视AV流文件保持在缓冲存储器中,所以妨碍缓冲存储器的容量削减和其利用效率的提高。因此,在开头区段4506的读取期间(1),如图45(a)中箭头4501所示,读取缓冲器(1)3902的积累数据量DA1以读取速度Rud_3D增加。
当开头区段4506的读取期间(1)结束时,BD-ROM驱动器3901接着将第2个区段4507读取读取缓冲器(2)3911。这里,在第2个以后的区段4507、4508、...的各读取期间(2)、(3)、...中,可开始从各读取缓冲器3902、3911向系统目标解码器3903传输数据。因此,在第2个区段4507的读取期间(2),如图45(b)中箭头4503所示,读取缓冲器(2)3911的积累数据量DA2以读取速度Rud_3D与第二平均传输速率Rext_R之间的差Rud_3D-Rext_R增加。另一方面,在从BD-ROM驱动器3901向读取缓冲器(2)3911写入数据期间,不向读取缓冲器(1)3902写入数据。因此,在此期间,读取缓冲器(1)3902的积累数据量DA1如图45(a)中箭头4502所示,以第一平均传输速率Rext_L减少。同样地,在第3个区段4508的读取期间(3)中,如图45(a)中箭头4504所示,读取缓冲器(1)3902的积累数据量DA1以读取速度Rud_3D与第一平均传输速率Rext_L之间的差Rud_3D-Rext_L增加,读取缓冲器(2)3911的积累数据量DA2如图45(b)中箭头4505所示,以第二平均传输速率Rext_R减少。
从图45所示的例子可知,各读取缓冲器3902、3911的容量必需为AV流文件读取对象区域的开头区段尺寸以上。具体而言,当该开头区段属于2D/左视AV流文件时,读取缓冲器(1)3902的容量RB1(单位:字节)必需为该区段尺寸Extent_L(单位:字节)以上:
[式3]
RB1≥Extent_L。 (3)
同样地,当该开头区段属于右视AV流文件时,读取缓冲器(2)3911的容量RB2(单位:字节)必需为该区段尺寸Extent_R(单位:字节)以上:
[式4]
RB2≥Extent_R。 (4)
另外,上述式(3)、(4)各右边中包含的尺寸Extent_L、Extent_R不限于各AV流文件的开头区段的尺寸,最好是任意区段的尺寸。这是因为当插入再现时,不仅各文件的开头区段,全部区段都可变为读取对象区域的开头。但是,当设置禁止插入再现的区间时,只要对于属于该区间以外的任意区段满足上述式(3)、(4)即可。
从式(3)、(4)可知,为了尽可能抑制各读取缓冲器3902、3911的容量,只要将左右AV流文件区段中尺寸小的区段设置在读取对象区域的开头即可。即,当2D/左视AV流文件的区段尺寸Extent_L比右视AV流文件的区段尺寸Extent_R大(Extent_L>Extent_R)时,若将右视AV流文件的区段设置在开头,则各读取缓冲器的容量可减小。相反,当2D/左视AV流文件的区段尺寸Extent_L比右视AV流文件的区段尺寸Extent_R小(Extent_L<Extent_R)时,最好将2D/左视AV流文件的区段设置在开头。另外,还具有开头区段的尺寸越小、则影像的再现开始越早的优点。
这里,如使用图35说明的那样,必需在两个视频流的再现期间重复的区段对之间使2D/左视AV流文件的各区段中包含的视频流再现时间、与右视AV流文件的各区段中包含的视频流再现时间一致。在该条件下,2D/左视AV流文件与右视AV流文件中的、位速率较低的一方的区段尺寸当然小。因此,在记录2D/左视AV流文件与右视AV流文件的BD-ROM盘101的区域中,将系统速率低的AV流文件的区段配置在开头。该方式与相反配置相比,可削减读取缓冲器所需的容量,所以可削减2D/3D再现装置的制造成本。
图46是表示AV流文件的区段顺序的模式图。这里,假设从BD-ROM驱动器3901向各读取缓冲器3902、3911的读取速度Rud_3D为90Mbps,2D/左视AV流文件的系统速率为48Mbps,右视AV流文件的系统速率为24Mbps,各区段4601L、4601R、4602L、4602R、...中包含的视频流的再现时间为4秒的情况。此时,如图46(a)所示,当在BD-ROM盘101上的记录区域中将两个AV流文件的区段交织配置成从2D/左视AV流文件的区段4601L开始依次为4601R、4602L、4602R、...时,读取缓冲器(1)3902的容量RB1的下限根据式(3)由下式计算:
RB1=(48Mbps×192/188)×4/(8×10242)
=23.3MB。
即,读取缓冲器(1)3902的容量RB1必需为下限23.3MB以上。另外,比192/166是源数据包与TS数据包之间的位长之比。这是因为如图7所示,各读取缓冲器3902、3911中存储的源数据包702的数据量与发送到系统目标解码器3903的TS数据包701的数据量相比多出头(TP_Extra_Header)702H。另外,设1Mb=106b,1MB=8×10242b。另一方面,如图46(b)所示,当交织配置成从右视AV流文件的区段4601R开始依次为4601L、4602R、4602L、...时,读取缓冲器(2)3911的容量RB2的下限根据式(4)由下式计算:
RB2=(24Mbps×192/188)×4/(8×10242)
=12.2MB。
即读取缓冲器(2)3911的容量RB2必需为下限12.2MB以上。该下限比上述读取缓冲器(1)3902的容量RB1的下限23.3MB小。
如利用图30说明的那样,2D/左视流3010是基视流,而右视流3020是从属视流。因此,右视AV流文件3020的数据量比2D/左视AV流文件3010的小,即系统速率低。并且,如图29所示,2D/左视AV流文件2901与右视AV流文件2902不同,除主视频流2911外,还包含主音频流2912、次视频流2915、PG流2913和IG流2914。并且,也可包含次音频流。因此,右视AV流文件2901的数据量比2D/左视AV流文件2902更小,即系统速率更低。因此,BD-ROM盘101上的AV流文件记录区域中最好始终将右视AV流文件的区段配置在开头。并且,当可插入再现时,在包含再现期间相等的左右视频流部分的区段对中,最好将包含右视流的区段配置在前。由此,如上所述,可减小读取缓冲器所需的容量。因此,通过确定为从BD-ROM盘101读取的AV流文件的开头区段属于右视AV流文件,2D/3D再现装置可简化该读取处理。
《防止读取缓冲器的下溢用的条件》
下面,用图47来说明当从以交织配置记录有左右AV流文件区段的BD-ROM盘101上的区域中交替读取各区段时,各读取缓冲器3902、3911不产生下溢用的条件。
图47是表示从盘101交替读取左右AV流文件的区段时的读取缓冲器(1)3902的积累数据量DA1、与读取缓冲器(2)3911的积累数据量DA2的各推移的曲线。由于交替读取两个文件的区段,所以在读取一个文件区段的期间,不读取另一文件的区段。另一方面,继续从各读取缓冲器3902、3911向系统目标解码器3903传输数据。因此,在区段读取停止期间,为了不因向系统目标解码器3903传输数据而产生下溢,必需在区段读取期间使足够的数据量积累到各读取缓冲器3902、3911中。具体而言,如图47(a)所示,当2D/左视AV流文件的一个区段的读取结束的时刻T1,读取缓冲器(1)3902的积累数据量DA1到达顶点4701。积累数据量DA1之后在下一右视AV流文件的区段读取期间TR中以第一平均传输速率Rext_L减少。此时,为了在该期间TR终止之前积累数据量DA1不达到0,即读取缓冲器(1)3902不产生下溢,必需充分增大顶点4701处的积累数据量DA1的值。并且,读取缓冲器(1)3902的容量RB1必需为该积累数据量DA1的值以上。该条件使用在该期间TR中读取的右视AV流文件的区段尺寸Extent_R由下式(5)表示:
[式5]
在式(5)的右边,向区段尺寸Extent_R乘以‘8’是为了将单位从字节变换为位,再用‘8’除以右边是为了将最终结果的单位从位变换为字节。并且,函数CEIL()是指使括号内数值的小数点以下的尾数进位的操作。
同样如图47(b)所示,在右视AV流文件的一个区段读取期间TR的终止时刻T2,读取缓冲器(2)3911的积累数据量DA2到达顶点4702。积累数据量DA2之后在下一2D/左视AV流文件的区段读取期间TL中以第二平均传输速率Rext_R减少。此时,为了在该期间TL结束之前积累数据量DA2不达到0,即读取缓冲器(2)3911不产生下溢,必需充分增大顶点4702处的积累数据量DA2的值。并且,读取缓冲器(2)3911的容量必需为该积累数据量DA2的值以上。该条件使用在该期间TL中读取的2D/左视AV流文件的区段尺寸Extent_L由下式(6)表示:
[式6]
《尽管跳跃也可无缝再现用的条件》
下面,说明用于在AV流文件的读取中需要跳跃的情况下、尽管该跳跃也可无缝再现的条件。
图48是表示交替读取2D/左视AV流文件的区段与右视AV流文件的区段时需要长跳跃的情况下的区段配置的一例的模式图。当盘101是多层盘时,期望在盘101的两个记录层中记录一系列AV流文件组。但是,此时如图48所示,以交织布置方式记录有2D/左视AV流文件的区段与右视AV流文件的区段的区域在层边界4800被分离成两个。这里,将交织连续的两个AV流文件的区段组称为‘3D区段块’。在图48的例子中,两个AV流文件的读取中必需从记录在一个记录层中的第一3D区段块4811跳跃到记录在另一记录层中的第二3D区段块4812。该跳跃特别是聚焦跳跃等需要记录层切换操作的长跳跃。此时,无论该长跳跃如何,为了无缝连接从两个3D区段块4811、4812再现的各影像,必需同时满足下述的第一条件与第二条件。
第一条件是,用于在2D再现装置根据图48示出的2D影像的再现路径4821从两个3D区段块4811、48112中的2D/左视AV流文件的区段再现2D影像时,无论层边界4800处的长跳跃LJ1如何均可无缝再现的条件。所谓该条件是用图23说明的无缝连接条件,具体是以下两个:首先,第一3D区段块4811中包含的2D/左视AV流文件的最后区段4801L的尺寸必需为根据到第二3D区段块4812中包含的2D/左视AV流文件的开头区段4802L为止的长跳跃LJ1中的跳跃距离所算出的最小区段尺寸以上。接着,该长跳跃LJ1中的跳跃距离必需是根据图22的规定与层切换时间决定的最大跳跃距离Sjump_max以下。
第二条件是,用于2D/3D再现装置根据图48所示的3D影像再现路径4822从两个3D区段块4811、4812无缝再现3D影像的条件。该条件具体而言是用于在该再现路径4822中包含的层边界4800处的长跳跃LJ2之间各读取缓冲器3902、3911不产生下溢的条件。
图49是表示3D影像再现路径4822中包含长跳跃LJ2的区间中的各读取缓冲器3902、3911的积累数据量DA1、DA2的推移的曲线。这里,假设在第二3D区段块4812中,如图48所示,将2D/左视AV流文件的区段4802R设置在开头的情况。再现路径4822的该区间依次包含第一读取期间TR1、第二读取期间TL1、跳跃期间TLJ2和第三读取期间TR2。
在第一读取期间TR1中,将从第一3D区段块4811内的倒数第2个区段4801R写入读取缓冲器(2)3911中。因此,如图49(b)所示,读取缓冲器(2)3911的积累数据量DA2以等于读取速度Rud_3D与第二平均传输速率Rext_R之间的差Rud_3D-Rext_R的速度增加。其结果,在第一读取期间TR1结束时,读取缓冲器(2)3911的积累数据量DA2到达顶点4902。
在第二读取期间TL1中,将第一3D区段块4811内的最后区段4801L写入读取缓冲器(1)3902中。因此,如图49(a)所示,读取缓冲器(1)3902的积累数据量DA1以等于读取速度Rud_3D与第一平均传输速率Rext_L之间的差Rud_3D-Rext_L的速度增加。其结果,在第二读取期间TL1结束时,读取缓冲器(1)3902的积累数据量DA1到达顶点4901。另一方面,由于在第二读取期间TL1中未将数据写入读取缓冲器(2)3911中,所以该积累数据量DA2如图49(b)所示,以第二平均传输速率Rext_R减少。
在跳跃期间TJ2中,均不将数据写入任一读取缓冲器3902、3911中。因此,如图49所示,读取缓冲器(1)3902的积累数据量DA1以第一平均传输速率Rext_L减少,读取缓冲器(2)3911的积累数据量DA2以第二平均传输速率Rext_R减少。
在第三读取期间TR2中,将第二3D区段块4812内的开头区段4802R写入读取缓冲器(2)3911中。因此,如图49(b)所示,读取缓冲器(2)3911的积累数据量DA2再次以等于数据传输速率之差Rud_3D-Rext_R的速度增加。另一方面,读取缓冲器(1)3902的积累数据量DA1如图49(a)所示,继续以第一平均传输速率Rext_L减少。
读取缓冲器(2)3911的积累数据量DA2从第二读取期间TL1到跳跃期间TLJ2、即与第二读取期间TL1的长度Extent_L×8/Rud_3D与跳跃期间TLJ2中跳跃时间Tjump_3D之和相等的时间经过的期间,以第二平均传输速率Rext_R减少。因此,顶点4902处的读取缓冲器(2)3911的积累数据量DA2必需是,在从第二读取期间TL1至跳跃期间TLJ2期间,读取缓冲器(2)3911不产生下溢的数据量。即,读取缓冲器(2)3911的容量RB2的下限使用第一3D区段块4811内的最后区段4801L的尺寸Extent_L_End由下式(7)表示:
[式7]
这里,在式(7)的右边,乘以区段尺寸的‘8’用于将单位从字节变换为位,再除以右边的‘8’是用于将最终结果的单位从位变换为字节。另外,函数CEIL()是指将括号内数值的小数点以下的尾数进位的操作。
同样地,读取缓冲器(1)3902在顶点4901处的积累数据量DA1必需是,在与跳跃时间Tjump_3D和第三读取期间TR2的长度Extent_R×8/Rud_3D之和相等的时间经过的期间,读取缓冲器(1)3902不产生下溢的数据量。即,读取缓冲器(1)3902的容量RB1的下限使用第二3D区段块4812的开头区段4801R的尺寸Extent_R_Start由下式(8)表示:
[式8]
《在第一/第二条件下用于抑制读取缓冲器容量的区段配置》
下面,说明在AV流文件读取中需要跳跃的情况下,均满足上述第一条件与第二条件且可削减读取缓冲器3902、3911的容量的AV流文件的区段配置。这里,在光盘标准中,跳跃距离与跳跃时间之间的关系由光盘驱动器的访问速度等事先确定。在实施方式1中,假设2D/3D再现装置的BD-ROM驱动器3901在跳跃性能上满足图22所示的规定。另外,为了便于说明,假设最大跳跃时间Tjump_max下的跳跃距离、即最大跳跃距离Sjump_max与对2D再现装置规定的值相等。特别是,假设最大跳跃时间Tjump_max为700m秒,最大跳跃距离Sjump_max当区段间无层边界时为1/10行程(约1.2GB),当区段间有层边界时,为40000扇区(约78.1MB)的情况。
图50是表示BD-ROM盘101为多层盘且将一系列AV流文件组分离给各记录层时的区段配置一例的模式图。参照图50,一系列AV流文件组在层边界5003分离成第一3D区段块5001与第二3D区段块5002。因此,无论是从中再现2D影像时的再现路径、即2D再现路径5011,还是再现3D影像时的再现路径、即3D再现路径5012,在层边界5003都发生伴随层切换的长跳跃LJ1、LJ2。任一长跳跃LJ1、LJ2均必需较长的跳跃时间、例如700m秒。此时,为了无缝连接从两个3D区段块5001、5002再现的各影像,必需满足上述第一与第二这两个条件。图50中,各3D区段块5001、5002整体中,以交替配置2D/左视AV流文件和右视AV流文件的各区段。即,2D再现路径5011与3D再现路径5012双方通过各3D区段块5001、5002的整体。特别是,在长跳跃LJ1、LJ2即将开始之前,无论2D再现路径5011还是3D再现路径5012,均访问第一3D区段块5001的最后区段,即2D/左视AV流文件的区段5004L。因此,该区段5004L必需均满足上述第一与第二条件。
其结果,最后区段5004L的尺寸由第一条件、即对2D影像的无缝再现的条件确定。但是,该尺寸一般比由第二条件、即对3D影像无缝再现的条件确定的尺寸大。这意味着2D/3D再现装置的读取缓冲器(1)3902的容量必需比3D影像再现所需的容量大。再如图35所述,在左右AV流文件的区段之间,当各自包含的视频流再现期间重复时,其视频流再现时间必需相等。因此,最后区段5004L紧前面的区段5004R的尺寸一般也比由对3D影像无缝再现的条件确定的尺寸大。因此,2D/3D再现装置的读取缓冲器(2)3911的容量也必需比3D影像再现所需的容量大。即,在图50所示的区段配置中,难以进一步削减2D/3D再现装置的读取缓冲器3902、3911的各容量。
如果用数值具体表示以上情况,则如下所示。例如,假设2D再现装置的BD-ROM驱动器1601的读取速度Rud为54Mbps,2D/3D再现装置的BD-ROM驱动器3901的读取速度Rud_3D为90Mbps,第一平均传输速率为48Mbps,第二平均传输速率为24Mbps,伴随层切换的长跳跃下的跳跃时间、即层切换时间与40000扇区的跳跃下的跳跃时间之和为700m秒的情况。此时,第一3D区段块5001的最后区段5004L的尺寸不是由对3D影像无缝再现的条件式(8)决定、而是由对2D影像无缝再现的条件式(1)决定的。这里,若考虑源数据包与TS数据包之间的位长差异,则实际应代入式(1)的第一平均传输速率Rext_L的值为48Mbps×192/188。另外,设1Mb=106b,1MB=8×10242b。此时,最后区段5004L的尺寸是(1/(8×10242))×Rext_L×700m秒×54Mbps/(54Mbps-Rext_L)=约44.3MB。此时,该区段5004L中包含的视频流的再现时间为44.3MB/(48Mbps×192/188)=约7.6秒。因为对应于该区段5004L的紧前面区段5004R中包含的视频流也必需是相同再现时间,所以紧前面区段5004R的尺寸为7.6秒×24Mbps×192/188=约22.1MB。并且,该紧前面的区段5004R有可能成为插入再现中的开头区段。因此,2D/3D再现装置的读取缓冲器(2)3911的容量RB2根据用于不会因该紧前面区段5004R的读取而产生溢出的条件式(4),必需为22.1MB以上。另一方面,通过将Extent_R=22.1MB代入用于在该紧前面区段5004R的读取期间不产生下溢的条件式(5)中,可知2D/3D再现装置的读取缓冲器(1)3902的容量RB1必需为约12.1MB以上。这样,在图50所示的区段配置中,为了无缝连接从两个3D区段块5001、5002再现的各影像之间,必需使第一3D区段块5001的最后两个区段5004R、5004L的尺寸均增大。其结果,各读取缓冲器3902、3911的容量RB1、RB2的下限必需为12.1MB、22.1MB等大的值。
在2D/3D再现装置中,期望尽可能削减各读取缓冲器3902、3911的容量。因此,当必需长跳跃时,致力于配置各AV流文件的区段,以便在其即将开始之前被访问的区域中分离2D影像的再现路径与3D影像的再现路径。
图51是表示这种配置一例的模式图。在图51中,与图50一样,将一系列AV流文件组在层边界5003分离成第一3D区段块5001与第二3D区段块5002。但是,图51中与图50不同,在第一3D区段块5001的记录区域之后且在层边界5003紧前面的区域中,配置有3D无缝区段块5101与2D无缝区段5102。3D无缝区段块5101是在第一3D区段块5001中包含的各AV流文件的区段5004R、5004L之后的区段组。在3D无缝区段块5101的记录区域中,与第一3D区段块5001的记录区域一样,以交替配置有属于各AV流文件的区段5131L、5131R、...、5133L、5133R。2D无缝区段5102连续配置全部3D无缝区段块5101中包含的2D/左视AV流文件的各区段5131L、5132L、5133L的拷贝。即,2D无缝区段5102是属于2D/左视AV流文件的区段中的、接着第一3D区段块5001中包含的最后区段5004L的区段。
在图51所示的记录区域中,2D影像的再现路径5111与3D影像的再现路径5112分别如下设定。首先,在2D影像的再现路径5111中,在读取第一3D区段块5001中的、2D/左视AV流文件的区段5004L之后,到2D无缝区段5102为止产生跳跃J1。由于该跳跃J1,再现路径5111不通过3D无缝区段块5101。即,在2D影像再现中不访问3D无缝区段块5101。在再现路径5111中,再在读取2D无缝区段5102之后,到第二3D区段块5002为止产生伴随层切换的长跳跃LJ1。另一方面,在3D影像再现路径5112中,在从第一3D区段块5001交替读取各区段5004R、5004L后,接着从3D无缝区段块5101中交替读取各区段5131L、5131R、...、5133L、5133R。在再现路径5112中,之后到第二3D区段块5002为止产生伴随层切换的长跳跃LJ2。由于该长跳跃LJ2,再现路径5112不通过2D无缝区段5102。即,在3D影像再现中,不访问2D无缝区段5102。这样,在图51所示的记录区域中,可在长跳跃LJ1、LJ2即将开始之前分离2D影像再现路径5111与3D影像再现路径5112。
2D再现装置根据2D影像的再现路径5111,经跳跃J1从第一3D区段块5001中读取2D无缝区段5102,之后,经长跳跃LJ1读取第二3D区段块5002。此时,2D无缝区段5102的配置必需满足用于在长跳跃LJ1前后无缝再现2D影像的条件。即,2D无缝区段5102的尺寸必需为根据该长跳跃LJ1中的跳跃距离计算出的最小区段尺寸以上,并且,该长跳跃LJ1下的跳跃距离必需为最大跳跃距离Sjump_max以下。因此,2D无缝区段5102的尺寸与图50所示的最后区段5004L相同程度。另一方面,作为用于在跳跃J1前后无缝再现2D影像的条件,第一3D区段块5001的最后区段5004L的尺寸必需为根据跳跃J1中的跳跃距离计算出的最小区段尺寸以上。但是,由于跳跃J1中的跳跃时间只要是足以跳过3D无缝区段块5101的记录区域的长度即可,所以一般比长跳跃LJ1中的短。因此,最后区段5004L的尺寸一般比2D无缝区段5102小。其结果,跳跃J1的发生不影响2D再现装置的读取缓冲器的容量。这样,2D再现装置可彼此无缝地连接在第一3D区段块5001之后从2D无缝区段5102和第二3D区段块5002各自再现的2D影像。
2D/2D再现装置根据3D影像的再现路径5112,在第一3D区段块5001之后,读取3D无缝区段块5101,之后,经长跳跃LJ2读取第二3D区段块5002。此时,3D无缝区段块5101内的各区段5131R-5133L的配置只要满足在长跳跃LJ2前后对该3D影像无缝再现的条件即可。因此,在3D无缝区段块5101中,可将与2D无缝区段5102相同的内容分成比该区段5102更细的区段5131L-5133L。伴随于此,包含再现期间与各区段5131L-5133L中包含的左视流重复的右视流在内的各区段5131R-5133R也可比图50所示的区段5004R更细。另一方面,3D影像的再现路径5112通过第一3D区段块5001的最后区段5004L。但是,最后区段5004L如上所述,尺寸一般比2D无缝区段5102小。因此,其紧前面的区段5004R的尺寸一般也比图50所示的区段5004R的小。其结果,2D/3D再现装置不仅能无缝连接在第一3D区段块5001之后从3D无缝区段块5101和第二3D区段块5002分别再现的3D影像,而且与从图50所示的区段组再现3D影像的情况相比,还可进一步削减无缝再现所需的读取缓冲器的容量。
如果用数值具体表示以上情况,则如下所示。首先,假设2D再现装置的BD-ROM驱动器1601的读取速度Rud、2D/3D再现装置的BD-ROM驱动器3901的读取速度Rud_3D、第一平均传输速率、第二平均传输速率和长跳跃下的跳跃时间分别为在图50所示的配置下假设的值,即54Mbps、90Mbps、48Mbps、24Mbps和700m秒的情况。此时,第一3D区段块5001的最后区段5004L的尺寸与图50的情况一样,由对2D影像无缝再现的条件式(1)决定。但是,与图50的情况不同,应代入式(1)的跳跃时间是跳跃J1下的时间,即跳过3D无缝区段块5101的记录区域所需的时间。该跳跃时间一般比长跳跃LJ1下的700m秒短,所以最后区段5004L的尺寸一般也比2D无缝区段5102的小。例如,当3D无缝区段块5101的尺寸为40000扇区以下时,若根据图22所示的规定,则跳跃时间为350m秒。因此,最后区段5004L的尺寸根据式(1),为(1/(8×10242))×Rext_L×350m秒×54Mbps/(54Mbps-Rext_L)=约22.2MB。这里,实际应代入式(1)的第一平均传输速率Rext_L的值为48Mbps×192/188。另外,设1Mb=106b,1MB=8×10242b。此时,该区段5004L中包含的视频流的再现时间为22.2MB/(48Mbps×192/188)=约3.8秒。因为对应于该区段5004L的紧前面区段5004R中包含的视频流也必需是相同再现时间,所以该紧前面区段5004R的尺寸为3.8秒×24Mbps×192/188=约11.1MB。并且,该紧前面区段5004R有可能成为插入再现中的开头区段。因此,2D/3D再现装置的读取缓冲器(2)3911的容量RB2根据用于不会因该紧前面区段5004R的读取而产生溢出的条件式(4),必需为12.1MB以上。另一方面,通过将Extent_R=11.1MB代入用于在该紧前面区段5004R的读取期间不产生下溢的条件式(5)中,可知2D/3D再现装置的读取缓冲器(1)3902的容量RB1必需为约6.1MB以上。另外,由于3D无缝区段块5101的各区段5131R-5133L的尺寸可不满足式(1),所以可缩小到不影响各读取缓冲器3902、3911的程度。这样,在图51所示的区段配置中,与图50所示的配置不同,即便第一3D区段块5001的最后两个区段5004R、5004L的尺寸变小,从两个3D区段块5001、5002再现的各影像之间也能无缝连接。其结果,各读取缓冲器3902、3911的容量RB1、RB2的下限可削减至6.1MB、11.1MB。
图52是表示用于从图51中示出的配置区段再现影像的播放列表文件与AV流文件之间的对应关系的模式图。
2D播放列表文件5201中包含的播放项目信息#1-3中分别将连接条件CC设定为‘6’。这里,也可将连接条件CC设定为‘5’。这些播放项目信息#1-3规定图51所示的2D影像的再现路径5111。具体而言,播放项目信息#1将其再现区间规定为第一3D区段块5001。由此,在该再现区间中,从属于2D/左视AV流文件第一部分Clip#1的各区段#1再现影像。播放项目信息#2将其再现区间规定为2D无缝区段5102。由此,在该再现区间中,从属于2D/左视AV流文件第七部分Clip#7的区段#7、即2D无缝区段5102再现影像。播放项目信息#3将其再现区间规定为第二3D区段块5002。由此,在该再现区间中,从属于2D/左视AV流文件第五部分Clip#5的各区段#5再现影像。
3D播放列表文件5202规定的主路径5202M中包含的播放项目信息#1-3中,将连接条件CC设定为‘6’。这里,也可将连接条件CC设定为‘5’。在应与该主路径5202M同步地再现的子路径5202S中包含的子播放项目信息#1-3中,将SP连接条件设定为‘5’或‘6’。这些主路径5202M与子路径5202S规定图51所示的3D影像的再现路径5112。具体而言,在主路径5202M中,播放项目信息#1将其再现区间规定为第一3D区段块5001。由此,在该再现区间中,从属于2D/左视AV流文件第一部分Clip#1的各区段#1再现影像。播放项目信息#2将其再现区间规定为3D无缝区段块5101。由此,在该再现区间中,从属于2D/左视AV流文件第三部分Clip#3的各区段#3再现影像。播放项目信息#3将其再现区间规定为第二3D区段块5002。由此,在该再现区间中,从属于2D/左视AV流文件第五部分Clip#5的各区段#5再现影像。另一方面,在子路径5202S中,子播放项目信息#1将其再现区间规定为第一3D区段块5001。由此,在该再现区间中,从属于右视AV流文件第二部分Clip#2的各区段#2再现影像。子播放项目信息#2将其再现区间规定为3D无缝区段块5101。由此,在该再现区间中,从属于右视AV流文件第四部分Clip#4的各区段#4再现影像。子播放项目信息#3将其再现区间规定为第二3D区段块5002。由此,在该再现区间中,从属于右视AV流文件第六部分Clip#6的各区段#6再现影像。
2D再现装置根据2D播放列表文件5201,在长跳跃LJ1即将开始之前,读取2D无缝区段5102。由此,2D再现装置可无缝再现2D影像。另一方面,2D/3D再现装置根据3D播放列表文件5202,在长跳跃LJ2即将开始之前,读取3D无缝区段块5101。由此,2D/3D再现装置可无缝再现3D影像。
在本发明实施方式1的记录媒体中,如上所述,在长跳跃即将开始之前被访问的记录区域中配置3D无缝区段块与2D无缝区段。在3D影像再现时,访问3D无缝区段块的记录区域,在2D影像再现时,访问2D无缝区段的记录区域。这样,在3D影像再现时与2D影像再现时,分离长跳跃即将开始之前的再现路径。由此,在3D无缝区段块中可与2D无缝区段的尺寸独立地设计各区段的尺寸。尤其是在3D无缝区段块中可将各区段的尺寸和配置设计成仅满足对3D影像无缝再现的条件。另一方面,与之独立,可将2D无缝区段的尺寸和配置设计成仅满足对2D影像无缝再现的条件。其结果,可进一步削减3D影像再现时应确保的读取缓冲器的容量。
《实施方式2》
本发明实施方式2的记录媒体与实施方式1的不同之处在于长跳跃即将开始之前/刚结束之后被访问的记录区域中的区段配置不同。其它特征、例如记录媒体上的数据构造和再现装置的构成与实施方式1的一样。因此,在下面的说明中,描述与实施方式1的特征不同的实施方式2的特征,对其它与实施方式1的特征一样的特征,援引实施方式1中的说明。
图53是表示关于分别基于实施方式1与实施方式2的盘、在长跳跃前后被访问的记录区域中的区段配置的模式图。图53中与图51一样,一系列AV流文件组在层边界5003分离成第一3D区段块5301与第二3D区段块5302。
在实施方式1的盘中,如图53(a)所示,在第一3D区段块5301记录区域之后且在层边界5303紧前面的区域中,配置3D无缝区段块5311与2D无缝区段5312。此时,2D再现装置根据2D影像的再现路径5321,读取第一3D区段块5301中的、2D/左视AV流文件的最后区段5301L之后,在3D无缝区段块5311的记录区域中,进行跳跃JA,再读取2D无缝区段5312。2D再现装置之后从层边界5303到第二3D区段块5302的记录区域为止进行长跳跃LJ1。另一方面,2D/3D再现装置根据3D影像的再现路径5322,接着第一3D区段块5301的最后区段5301L,读取3D无缝区段块5311。2D/3D再现装置之后从2D无缝区段5312的记录区域越过层边界5303直到第二3D区段块5302的记录区域为止进行长跳跃LJ2。
最后区段5301L的尺寸设计成在2D影像再现路径5321中的跳跃JA期间、读取缓冲器不产生下溢。因此,若假设3D无缝区段块5311的尺寸例如超过40000扇区那样为过大,则跳跃JA中的跳跃时间根据图22的规定设定为700m秒。该跳跃时间匹敌于长跳跃LJ1下的跳跃时间,所以不得不将最后区段5301L设计成与2D无缝区段5312相同程度的尺寸。由于2D影像的再现路径5321与3D影像的再现路径5322均通过该区段5301L,所以与图50所示的情况一样,不得不将其紧前面的区段5301R的尺寸也设计得过大。其结果,产生妨碍读取缓冲器容量削减的危险性。
在实施方式2的盘中,如图53(a)所示,当3D无缝区段块5311的尺寸超过一定阈值、例如40000扇区时,如图53(b)所示,将该3D无缝区段块5311分割成第一3D无缝区段块5311F与第二3D无缝区段块5311B。第一3D无缝区段块5311F配置在第一3D区段块5301的记录区域之后的区域中的、2D无缝区段5312的记录区域的紧前面。另一方面,第二3D无缝区段块5311B配置在越过层边界5303的另一记录层上的区域、即第二3D区段块5302的记录区域的紧前面。
2D再现装置根据2D影像的再现路径5331,读取第一3D区段块5301内的最后区段5341L之后,在第一3D无缝区段块5311F的记录区域中,进行跳跃JB,读取2D无缝区段5312。2D再现装置之后从层边界5303越过第二3D无缝区段块5311B的记录区域直到第二3D区段块5302的记录区域为止进行长跳跃LJ1。另一方面,2D/3D再现装置根据3D影像的再现路径5332,接着第一3D区段块5301最后的区段5341L,读取第一3D无缝区段块5311F。2D/3D再现装置之后从2D无缝区段5312的记录区域越过层边界5303直到第二3D无缝区段块5311B的记录区域为止进行长跳跃LJ2。2D/3D再现装置再读取第二3D无缝区段块5311B,接着读取第二3D区段块5302。
第一3D无缝区段块5311F的尺寸设计成不超过一定阈值。因此,可抑制最后区段5341L的尺寸。与之相伴,也抑制其紧前面的区段5341R的尺寸。另一方面,在2D影像再现路径5331的长跳跃LJ1中,跳跃距离仅延伸第二3D无缝区段块5311B的尺寸。但是,若是该程度的变更,则根据图22的规定,跳跃时间不变更,仍为例如700m秒。因此,2D无缝区段5312的尺寸不必实质的变更。这样,即便3D无缝区段块5311F、5311B的整体尺寸过大,也可削减读取缓冲器的容量。
《实施方式3》
本发明实施方式3的记录媒体与实施方式1的不同之处在于,长跳跃即将开始之前被访问的记录区域中的区段配置不同。其它特征、例如记录媒体上的数据构造和再现装置的构成与实施方式1的一样。因此,在下面的说明中,描述与实施方式1的特征不同的实施方式3的特征,对其它与实施方式1的特征一样的特征,援引实施方式1中的说明。
图54是表示关于基于实施方式3的盘、在长跳跃即将开始之前被访问的记录区域中的区段配置的模式图。图54中与图51一样,一系列AV流文件组在层边界5403分离成第一3D区段块5401与第二3D区段块5402。
在实施方式2的盘中,如图53(b)所示,当3D无缝区段块5311的尺寸超过规定阈值、例如40000扇区时,将该3D无缝区段块5311分割成第一3D无缝区段块5311F与第二3D无缝区段块5311B。与此相对,在实施方式3的盘中,如图54所示,新追加与原2D无缝区段5412B不同的2D无缝区段5412F。新追加的第一2D无缝区段5412F配置在第一3D区段块5401的记录区域之后的区域中的、3D无缝区段块5411的记录区域的紧前面。第一2D无缝区段5412F是属于2D/左视AV流文件的区段中的、接着第一3D区段块5401中包含的最后区段5441L的区段。另一方面,作为原2D无缝区段的第二2D无缝区段5412B配置在从3D无缝区段块5411的记录区域紧后面开始至层边界5403为止的区域中。第二2D无缝区段5412B是属于2D/左视AV流文件的区段中的、接着第一2D无缝区段5412F的区段。此时,在3D无缝区段块5411中,两个2D无缝区段5412F、5412B整体的拷贝被细分割成2D/左视AV流文件的区段组5431L-5433L来配置。
2D再现装置根据2D影像的再现路径5421,接着第一3D区段块5401的最后区段5441L,读取第一2D无缝区段5412F。2D再现装置之后在3D无缝区段块5411的记录区域中,进行跳跃JA,读取第二2D无缝区段5412B。2D再现装置还从层边界5403到第二3D区段块5402的记录区域为止进行长跳跃LJ1。另一方面,2D/3D再现装置根据3D影像的再现路径5422,读取第一3D区段块5401内的最后区段5441L之后,在第一2D无缝区段5412F的记录区域中进行跳跃JC,读取3D无缝区段块5411。2D/3D再现装置之后从第二2D无缝区段5412B的记录区域越过层边界5403到第二3D区段块5402的记录区域为止进行长跳跃LJ2。
在2D影像的再现路径5421中,在连续读取第一3D区段块5401的最后区段5441L与第一2D无缝区段5412F之后,进行跳跃JA。因此,只要将第一2D无缝区段5412F的尺寸设计成使由这些区段5441L、5412F整体的尺寸满足用于在跳跃JA之间读取缓冲器不产生下溢的条件即可。其结果,可抑制最后区段5441L的尺寸。与之相伴,也可抑制其紧前面区段5441R的尺寸。
另一方面,在3D影像的再现路径5422中,在第一2D无缝区段5412F的记录区域中,产生跳跃JC。因此,最后区段5441L的尺寸必需满足用于在该跳跃JC期间读取缓冲器不产生下溢的条件。但是,该跳跃JC下的跳跃距离一般比长跳跃LJ2下的跳跃距离短得多。因此,第一2D无缝区段5412F的追加不对2D/3D再现装置的读取缓冲器的容量产生实质影响。这样,即便3D无缝区段块5311的尺寸过大,也可削减读取缓冲器的容量。
图55是表示用于从图54中示出的配置区段再现影像的播放列表文件与AV流文件之间的对应关系的模式图。
2D播放列表文件5501中包含的播放项目信息#1-3中分别将连接条件CC设定为‘6’。这里,也可将连接条件CC设定为‘5’。这些播放项目信息#1-3规定图54所示的2D影像的再现路径5421。具体而言,播放项目信息#1将其再现区间规定为第一3D区段块5401。由此,在该再现区间中,从属于2D/左视AV流文件第一部分Clip#1的各区段#1再现影像。播放项目信息#2将其再现区间规定为第一2D无缝区段5412F与第二2D无缝区段5412B。由此,在该再现区间中,从属于这些区段5412F、5412B、即2D/左视AV流文件第七部分Clip#7的区段#7再现影像。播放项目信息#3将其再现区间规定为第二3D区段块5402。由此,在该再现区间中,从属于2D/左视AV流文件第五部分Clip#5的各区段#5再现影像。
3D播放列表文件5502规定的主路径5502M中包含的播放项目信息#1-3中,将连接条件CC设定为‘6’。这里,也可将连接条件CC设定为‘5’。在应与该主路径5502M同步地再现的子路径5502S中包含的子播放项目信息#1-3中,将SP连接条件设定为‘5’或‘6’。这些主路径5502M与子路径5502S规定图54所示的3D影像的再现路径5422。具体而言,在主路径5502M中,播放项目信息#1将其再现区间规定为第一3D区段块5401。由此,在该再现区间中,从属于2D/左视AV流文件第一部分Clip#1的各区段#1再现影像。播放项目信息#2将其再现区间规定为3D无缝区段块5411。由此,在该再现区间中,从属于2D/左视AV流文件第三部分Clip#3的各区段#3再现影像。播放项目信息#3将其再现区间规定为第二3D区段块5402。由此,在该再现区间中,从属于2D/左视AV流文件第五部分Clip#5的各区段#5再现影像。另一方面,在子路径5502S中,子播放项目信息#1将其再现区间规定为第一3D区段块5401。由此,在该再现区间中,根据属于右视AV流文件第二部分Clip#2的各区段#2再现影像。子播放项目信息#2将其再现区间规定为3D无缝区段块5411。由此,在该再现区间中,从属于右视AV流文件第四部分Clip#4的各区段#4再现影像。子播放项目信息#3将其再现区间规定为第二3D区段块5402。由此,在该再现区间中,从属于右视AV流文件第六部分Clip#6的各区段#6再现影像。
2D再现装置根据2D播放列表文件5501,在跳跃JA即将开始之前,读取第一2D无缝区段5412F,在长跳跃LJ1即将开始之前,读取第二2D无缝区段5412B。由此,2D再现装置可无缝再现2D影像。另一方面,2D/3D再现装置根据3D播放列表文件5502,在第一2D无缝区段5412F的记录区域中进行跳跃JC,在长跳跃LJ2即将开始之前,读取3D无缝区段块5411。由此,2D/3D再现装置可无缝再现3D影像。
<附录>
本发明的上述实施方式1-3都涉及当在记录媒体中存储3D影像时的区段配置。但是,本发明也可在记录媒体中存储高帧速率影像时利用。具体而言,将高帧速率的影像数据分成奇数帧与偶数帧,将奇数帧的影像数据视为上述2D/左视流,将偶数帧的影像数据视为上述右视流。由此,可以通过与上述实施方式中的AV流文件一样的区段配置将高帧速率的影像数据记录在记录媒体、尤其是BD-ROM盘中。这样,2D再现装置可从存储了高帧速率影像的BD-ROM盘中再现奇数帧影像,2D/3D再现装置可有选择地再现奇数帧影像或高帧速率影像。因此,可确保存储了高帧速率影像的记录媒体对2D再现装置、即仅能以通常帧速率再现的再现装置的互换性。
<变形例>
在上述实施方式1-3中,如图31所示,在2D/左视流3101与右视流3102之间,各图片的DTS和PTS均在STC上交替以间隔TD排列。另外,也可两个视频流之间,使用于再现一个3D影像帧或场的一对图片的PTS一致。该设定尤其适用于同时显示左右影像的显示装置。
图56是表示分配给2D/左视流5601与右视流5602的各图片的PTS与DTS之间的关系的模式图。图56中与图31一样,在两个视频流5601、5602之间,各图片的DTS在STC上交替地以间隔TD排列。这里,间隔TD等于1帧期间或1场期间TFr的一半。另一方面,用于再现一个3D影像帧或场的一对图片的PTS相等。例如,用于再现3D影像的开头帧或场的左右影像分别由2D/左视流5601的I1图片5611与右视流5602的P1图片5621再现。这些图片对5611、5621中PTS相等。同样,各视频流的第2个图片、即Br3图片5612与B3图片5622中PTS相等。另外,为了实现图56所示的PTS和DTS的分配,必需将对2D/左视流5601的开头I1图片5611分配的DTS与PTS之间分开1帧期间或1场期间TFr的1.5倍以上。
如图56所示,当PTS和DTS的分配被变更时,必需如下所述那样变更图38所示的右视剪辑信息文件的入口映射3622、与图40所示的平面加法部3910的平面数据重叠处理。
如图38所示,右视剪辑信息文件3602的入口映射3622中,存储涉及右视流(PID=0x1012)的入口映射3801。该入口映射3801中包含的各入口点3812的PTS3813与上述实施方式1的不同,与2D/左视流中包含的各I图片的PTS相等。即,该入口映射3801的各入口点的PTS与2D/左视剪辑信息文件3601的入口映射3612中包含的2D/左视流所涉及的入口映射的入口点的PTS相等。
与上述实施方式1的一样,当包含2D/左视流的I图片开头的TS数据包位于区段的开头时,入口点必需对应于包含该TS数据包的源数据包的SPN。另一方面,与上述实施方式1的不同,当包含具有与2D/左视流I图片的PTS相等的PTS的右视流的P图片开头在内的TS数据包位于区段开头时,入口点必需对应于包含该TS数据包的源数据包的SPN。
在图40所示的平面加法部3910的重叠处理中,与上述实施方式1不同,将2D/左影像平面数据4001与右影像平面数据4002在相同PTS时刻、即同时从系统目标解码器3903写入各平面存储器。开关4010首先选择2D/左影像平面数据4001,送出到第一加法部4011。由此,对2D/左影像平面数据4001,合成副影像平面数据4003、PG平面数据4004、IG平面数据4005和图像平面数据4006。另一方面,开关4010在送出2D/左影像平面数据4001之后,当3D显示延迟TD、即1帧周期TFr的一半经过后,选择右影像平面数据4002,送出到第一加法部4011。由此,对右影像平面数据4002合成各平面数据4003-4006。
《实施方式4》
下面,说明根据本发明的记录媒体的记录装置和记录方法,作为本发明的实施方式4。
该记录装置称为所谓的著作装置(authoring device)。著作装置通常设置在颁布用电影内容的制作工作室中,由著作人员使用。记录装置根据著作人员的操作,首先将电影内容变换为依据MPEG标准的压缩编码方式的数字流,即AV流文件。记录装置接着生成脚本。脚本是规定电影内容中包含的各标题的再现方式的信息,具体包含上述动态脚本信息和静态脚本信息。记录装置接着根据上述数字流和脚本生成BD-ROM盘用的卷图像(volume image)或更新工具箱。记录装置最后利用上述实施方式1-3中说明的区段配置,将卷图像记录在记录媒体中。
图57是表示该记录装置的内部构成的框图。如图57所示,该记录装置包含视频编码器5701、素材制作部5702、脚本生成部5703、BD程序制作部5704、复用处理部5705、格式处理部5706和数据库部5707。
数据库部5707是记录装置中内置的非易失性存储装置,特别是硬盘驱动器(HDD)。数据库部5707另外也可以是外附于记录装置的HDD,或是内置于记录装置、或外附于记录装置的非易失性半导体存储装置。
视频编码器5701从著作人员受理非压缩的位图数据等影像数据,将其用MPEG4-AVC或MPEG2等压缩编码方式压缩。由此,将主影像的数据变换为主视频流,将副影像的数据变换为次视频流。特别是,将3D影像的数据变换为2D/左视流与右视流。视频编码器5701如图30所示,利用其自身的图片间的预测编码,将2D/左视流形成为基视流,利用不仅与自身的图片、还与2D/左视流的图片之间的预测编码,将右视流形成为从属视流。另外,也可将右视流形成为基视流。并且,也可将左视流形成为从属视流。变换后的各视频流5711被保存在数据库部5707中。
视频编码器5701还在该图片间预测编码的处理过程中,如下所述,检测左影像与右影像间的各图像的运动矢量,由此算出3D影像内各图像的纵深信息。将算出的各图像的纵深信息整理成帧纵深信息5710后,保存在数据库部5707中。
图58是表示根据左右各图片来算出纵深信息的处理的模式图。视频编码器5701当利用左右图片间的冗余性来压缩各图片时,按照每个8×8或16×16像素矩阵、即宏块比较压缩前的左右图片,检测两个图片间的各图像数据的运动矢量。例如图58(a)、(b)分别所示,首先,将左影像图片5801与右影像图片5802分别分割成宏块5803的矩阵。接着,在各图片5801、5802内,以宏块5803为单位来确定各图像数据的区域。之后,在两个图片5801、5802之间,比较各图像数据的区域,根据其结果检测各图像数据的运动矢量。例如,‘家’的图像数据5804的区域在两个图片5801、5802之间实质上相等。因此,从这些区域中未检测到运动矢量。另一方面,‘球’的图像数据5805的区域在两个图片5801、5802之间实质上不同。因此,从这些区域中检测表示‘球’的图像数据5805的位移的运动矢量。视频编码器5701接着将检测到的运动矢量用于各图片5801、5802的压缩中,另一方面,还用于各图像数据5804、5805表示的影像的两眼视差的计算中。这样,根据得到的两眼视差来进一步计算各图像数据5804、5805表示的‘家’和‘球’等图像的‘纵深’。当根据左右两个图片5801、5802在画面中再现3D影像时,使视听者在该纵深位置看到各图像。表示各图像纵深的信息如图58(c)所示,被整理成与各图片5801、5802的宏块矩阵一样的矩阵5806。该矩阵5806是图57所示的帧纵深信息5710。在帧纵深信息的矩阵5806中,各块5807与各图片5801、5802的宏块5803一一对应。各块5807例如用8位的深度来表示包含所对应的宏块5803的图像数据表示的图像纵深。例如图58(c)所示的帧纵深信息的矩阵5806中,图像数据5805表示的‘球’的图像纵深被记录在与各图片5801、5802中的该图像数据5805区域相对应的区域5808内的各块中。
将说明返回图57。素材制作部5702制作视频流以外的基本流,例如音频流5712、PG流5713和IG流5714,并保存在数据库部5707中。例如,素材制作部5702从著作人员受理非压缩的LPCM声音数据,将其用AC-3等压缩编码方式进行编码,变换为音频流5712。素材制作部5702从著作人员受理字幕信息文件,据此制作PG流5713。字幕信息文件规定表示字幕的图像数据、该字幕的显示时期和应加到该字幕中的淡入/淡出等视觉效果。素材制作部5702从著作人员受理位图数据与菜单文件,据此制作IG流5714。该位图数据表示菜单的图像。菜单文件规定该菜单中配置的各按钮的状态转变、和应加到各按钮上的视觉效果。
脚本生成部5703根据经由GUI从著作人员受理的指示,制作BD-ROM脚本数据5715,保存在数据库部5707中。这里,BD-ROM脚本数据5715是规定数据库部5707中保存的各基本流5711-5714的再现方法的文件组,包含图2所示文件组中的索引文件2043A、电影对象文件2043B和播放列表文件2044A。脚本生成部2603还制作参数文件5716,送出到复用处理部5705。参数文件5716规定数据库部5707中保存的基本流5711-5714中的、应复用于各AV流文件上的流。
BD程序制作部5704对著作人员提供BD-J对象和Java应用程序的编程环境。即,BD程序制作部5704通过GUI受理来自用户的请求,根据该请求制作各程序的源代码。BD程序制作部5704还根据BD-J对象,制作BD-J对象文件2047A,将各Java应用程序整理成应存储在JAR目录下的文件形式。将这些文件送出到格式处理部5706。
假设如下情况,即编程BD-J对象,使图39所示的程序执行部3906将GUI用图形数据送出到系统目标解码器3903,使系统目标解码器3903将该图形数据作为图40所示的图像平面数据4006进行处理。此时,BD程序制作部5704也可以利用数据库部5707中保存的帧纵深信息5710,向BD-J对象设定对图像平面数据4006的偏移信息。
复用处理部5705根据参数文件5716,将数据库部5707中保存的各基本流5711-5714复用于MPEG2-TS形式的流文件上。具体而言,如图5所示,将各基本流5711-5714变换为源数据包列,将各列的源数据包汇成一列后,构成一个流文件。这样,制作图2、29所示的AV流文件2046A、2901、2902。
与该处理并行,复用处理部5705如图9、36所示,如下所述地制作应与各AV流文件2046A、3631、3632对应的剪辑信息文件2045A、3601、3602。
复用处理部5705首先生成图11、38所示的入口映射903、3622。特别在图38所示的右视剪辑信息文件3602的入口映射3622中,如对上述实施方式1-3或其变形例已说明的那样,将涉及右视流的各入口点3812的PTS3813设定成与2D/左视流中包含的各I图片的PTS、或将其家加上3D显示延迟TD后的值相等的值(参照图31、56)。
复用处理部5705将涉及右视流的入口点3812中的开头入口点(EP_ID=0)的SPN3814设定成比涉及2D/左视流的开头入口点的SPN小的值。由此,如图46(b)所示,BD-ROM盘101上的3D影像AV流文件的记录区域开头中始终配置右视AV流文件的区段。并且,当各剪辑信息文件的入口映射被设定成能够进行插入再现时,在包含再现期间相等的左右视频流部分的区段对中,将包含右视流一方的入口点的SPN设定成比另一方小的值。
复用处理部5608提取应复用于各AV流文件上的各基本流的属性信息902、3611、3621。复用处理部5608再将入口映射与流属性信息彼此对应后,构成剪辑信息文件。
格式处理部5706根据数据库部5707中保存的BD-ROM脚本数据5715、由BD程序制作部5704制作的BD-J对象文件等程序文件组、和由复用处理部5705生成的AV流文件与剪辑信息文件,制作图2所示的目录构造204的BD-ROM盘图像5720。该目录构造204中利用UDF作为文件系统。
格式处理部5706当制作AV流文件的文件入口时,参照对应的剪辑信息文件的入口映射。由此,将各入口点的SPN用于制作各分配描述符。特别是,制作各分配描述符,使得在3D影像的AV流文件的文件入口中,如图46(b)所示,从右视流、更正确地说是从包含从属视流的区段起,顺序交替配置两个文件的区段。由此,一系列分配描述符表示,包含再现期间相等的左右视频流部分的区段对实质上始终邻接的情况和各对中包含右视流的区段被配置在前面。
格式处理部5706还在制作3D影像AV流文件的文件入口时,从应分配为这些AV流文件的记录区域的盘上区域中,检测例如图48所示的层边界4800或其它数据的记录区域等需要长跳跃的部分。此时,格式处理部5706首先改写各AV流文件的文件入口中的、应分配给所检测出的部分的分配描述符。由此,各分配描述符对应于图51、图53(b)或图54所示的3D无缝区段块和2D无缝区段的配置。格式处理部5706接着改写与各AV流文件对应的剪辑信息文件的入口映射中的、应分配给所检测出的部分的入口点。由此,如图52或图55所示,3D播放列表文件5202、5502的播放项目信息#2和子播放项目信息#2的各再现区间对应于3D无缝区段块和2D无缝区段。
格式处理部5706此外还利用数据库部5707中保存的帧纵深信息5710,对次视频流5711、PG流5713和IG流5714分别制作图37所示的3D元数据3613。这里,自动调整对应的左右各影像帧内的图像数据配置,以使各流表示的3D影像不会在与其它流表示的3D影像相同的视线方向上重叠显示。再自动调整对各影像帧的偏移值,以使各流表示的3D影像纵深不彼此重叠。
由格式处理部5706生成的BD-ROM盘图像5720之后被变换为BD-ROM压制用数据。再将该数据记录在BD-ROM盘的母盘中。通过将该母盘用于压制工序,可实现基于上述实施方式1-3的BD-ROM盘101的批量生产。
<补充>
《经由广播、通信线路的数据分发》
上述实施方式1-3中的记录媒体除光盘外,还包含例如包含SD存储卡的可移动性半导体存储器装置等、可用作封装媒体的便携媒体全部。另外,在实施方式1-3的说明中,例举了事先记录有数据的光盘、即BD-ROM或DVD-ROM等已有的读取专用光盘。但本发明的实施方式不限于此。例如也可在利用终端装置将由广播或经由网络分发的3D影像内容写入BD-RE或DVD-RAM等已有的可写入光盘中时,利用基于上述实施方式的区段配置。这里,该终端装置可组装在再现装置中,也可是与再现装置不同的装置。
《半导体存储卡的再现》
说明作为上述实施方式的记录媒体、使用半导体存储卡代替光盘时的再现装置的数据读取部。
再现装置中,从光盘中读取数据的部分例如由光盘驱动器构成。与此相对,从半导体存储卡中读取数据的部分由专用的接口(I/F)构成。具体而言,在再现装置中设置卡槽,在其内部安装上述I/F。当将半导体存储卡插入该卡槽中时,通过该I/F,该半导体存储卡与再现装置电连接。再从半导体存储卡通过该I/F将数据读取到再现装置。
《对BD-ROM盘上的数据的著作权保持技术》
这里,作为以后补充事项的前提,说明用于保护BD-ROM盘中记录的数据著作权的构成。
有时例如从著作权保护或数据隐密性提高的观点出发,加密BD-ROM盘中记录的数据的一部分。该加密数据例如包含视频流、音频流或其它流。此时,如下解读加密数据。
再现装置中事先存储有生成用于解读BD-ROM盘上加密数据的‘键’时所需的数据的一部分、即设备密钥。另一方面,在BD-ROM盘中记录该‘键’生成所需的数据的另一部分、即MKB(媒体密钥块)与该‘键’自身的加密数据、即加密标题密钥。设备密钥、MKB和加密标题密钥彼此对应,并且,也对应于写入图2所示BD-ROM盘101上的BCA201A中的确定识别符、即卷ID。设备密钥、MKB、加密标题密钥和卷ID的组合若不正确,则不能解读加密数据。即,仅在它们组合正确的情况下,才生成上述‘键’,即标题密钥。具体而言,首先利用设备密钥、MKB和卷ID,解密加密标题密钥。仅在能由此导出标题密钥时,才能将该标题密钥用作上述‘键’来解读加密数据。
即便想要由再现装置再现BD-ROM盘上的加密数据,如果例如在该再现装置内未存储有事先与该BD-ROM盘上的加密标题密钥、MKB和卷ID相对应的设备密钥,则不能再现该加密数据。这是因为,若不能通过MKB、设备密钥和卷ID的正确组合解密加密标题密钥,则不能导出该加密数据解读所需的键、即标题密钥。
为了保护应记录在BD-ROM盘中的视频流与音频流中的至少一个的著作权,首先用标题密钥加密保护对象流,并记录在BD-ROM盘中。接着,根据MKB、设备密钥和卷ID的组合生成键,用该键加密上述标题密钥,变换为加密标题密钥。再将MKB、卷ID和加密标题密钥记录在BD-ROM盘中。只有具备上述键生成中利用的设备密钥的再现装置才能通过解码器从该BD-ROM盘解密加密后的视频流和/或音频流。这样就能保护BD-ROM盘中记录的数据的著作权。
上述BD-ROM盘中的数据著作权保护的构成也可适用于BD-ROM盘以外。例如也可适用于可读写的半导体存储装置、特别是SD卡等可移动半导体存储卡中。
《向利用了电子分发的记录媒体记录数据》
下面说明利用电子分发,向上述实施方式1-3的再现装置传递3D影像的AV流文件等数据(下面称为分发数据。),再让该再现装置将该分发数据记录在半导体存储卡中的处理。另外,以下的动作也可由专门为进行该处理的终端装置代替上述再现装置来进行。另外,假设记录目的地的半导体存储卡是SD存储卡的情况。
再现装置如上所述,具备卡槽。将SD存储卡插入该卡槽中。在该状态下,再现装置首先向网络上的分发服务器送出分发数据的发送请求。此时,再现装置从SD存储卡读取其识别信息,将该识别信息与发送请求一起送出到分发服务器。这里,SD存储卡的识别信息例如是该SD存储卡固有的识别号,具体而言是该SD存储卡的序列号。该识别信息被用作上述卷ID。
分发数据被存储在分发服务器中。使用规定的标题密钥来加密该分发数据中的、视频流和/或音频流等需要进行基于加密的保护的数据。这里,该加密数据可用相同标题密钥解密。
分发服务器保持设备密钥作为与再现装置共同的私钥。分发服务器还保持与SD存储卡共同的MKB。分发服务器当从再现装置受理了分发数据的发送请求与SD存储卡的识别信息时,首先根据设备密钥、MKB和该识别信息生成键,由该键加密标题密钥,生成加密标题密钥。
分发服务器如下生成公钥信息。该公钥信息例如包含上述MKB、加密标题密钥、签名信息、SD存储卡的识别号和设备列表。签名信息例如包含公钥信息的散列值。设备列表是应无效的设备、即存在非法再现分发数据中的加密数据的危险性的设备的列表。在该列表中,例如确定再现装置的设备密钥、再现装置的识别号、再现装置内置的解码器等各种部件的识别号或功能(程序)。
分发服务器还将分发数据与公钥信息送出给再现装置。再现装置接收这些数据和信息后,通过卡槽内的专用I/F,记录在SD存储卡中。
SD存储卡中记录的分发数据中,加密数据如下所述利用例如公钥信息来解密。首先,作为公钥信息的认证,进行以下三种检验(1)-(3)。另外,可以任何顺序来进行这三种检验。
(1)公钥信息中包含的SD存储卡的识别信息是否与插入卡槽中的SD存储卡中存储的识别号一致。
(2)根据公钥信息算出的散列值是否与签名信息中包含的散列值一致。
(3)是否从公钥信息所示的设备列表中排除该再现装置。具体而言,是否从设备列表中排除该再现装置的设备密钥。
当上述检验(1)-(3)中的某个的结果为否定时,再现装置中止加密数据的解密处理。相反,当上述检验(1)-(3)的全部结果均为肯定时,再现装置认可公钥信息的合法性,利用设备密钥、MKB和SD存储卡的识别信息,将公钥信息内的加密标题密钥解密成标题密钥。再现装置再使用该标题密钥将加密数据解密成例如视频流和/或音频流。
以上构成存在如下优点。在电子分发时已知道存在非法使用危险性的再现装置、部件和功能(程序)等的情况下,将这些识别信息例举到设备列表,作为公钥信息的一部分分发。另一方面,请求分发数据的再现装置必需将该设备列表内的识别信息与该再现装置和该部件等的识别信息相对照。由此,若该再现装置或该部件等出现在设备列表中,则即便SD存储卡的识别号、MKB、加密标题密钥和设备密钥的组合正确,该再现装置也不能将公钥信息用于分发数据内的加密数据的解密。这样,可有效抑制分发数据的非法使用。
期望将半导体存储卡的识别信息存储在半导体存储卡内的记录区域中的、特别是隐密性高的记录区域中。这是因为,万一该识别信息例如在SD存储卡中其序列号被非法篡改的情况下,可容易地执行SD存储卡的违法拷贝。即,该篡改的结果,若成为存在多个具有相同识别信息的半导体存储卡,则上述检验(1)中不能识别正规品与违法的拷贝。因此,必需将半导体存储卡的识别信息记录在隐密性高的记录区域中,保护不被非法篡改。
在半导体存储卡内构成这种隐密性高的记录区域的手段例如如下所述。首先,设置与通常数据用记录区域(下面称为第一记录区域。)电分离的其它记录区域(下面称为第二记录区域。)。接着,在半导体存储卡内设置向第二记录区域访问的访问专用控制电路。由此,仅能够经由该控制电路来访问第二记录区域。例如,在第二记录区域中仅记录有加密后的数据,将用于解密该加密后的数据的电路仅组装在控制电路内。由此,若不能让控制电路解密第二记录区域内的数据,则不能访问该数据。另外,也可以仅使控制电路保持第二记录区域内的各数据的地址。此时,第二记录区域内的数据的地址只能由控制电路确定。
在将半导体存储卡的识别信息记录在第二记录区域中的情况下,再现装置上动作的应用程序利用电子分发从分发服务器取得数据后记录在半导体存储卡中时,进行如下处理。首先,该应用程序经存储卡I/F向上述控制电路发行对第二记录区域中记录的半导体存储卡识别信息的访问请求。控制电路按照该请求,首先从第二记录区域中读取该识别信息。控制电路接着经存储卡I/F向上述应用程序发送该识别信息。该应用程序之后将分发数据的发送请求与该识别信息一起送出到分发服务器。应用程序再经存储卡I/F将按照该请求从分发服务器接收的公钥信息与分发数据记录在半导体存储卡内的第一记录区域中。
另外,期望上述应用程序在向半导体存储卡内的控制电路发行上述访问请求之前,检验该应用程序自身有无篡改。该检验中也可利用例如依据X.509的数字证书。另外,分发数据如上所述,只要记录在半导体存储卡内的第一记录区域中即可,也可不用半导体存储卡内的控制电路来控制对该分发数据的访问。
《适用于实时记录》
在上述实施方式4中,前提为,利用著作系统中的预记录技术将AV流文件和播放列表文件记录在BD-ROM盘中提供给用户。但是,也可利用实时记录将AV流文件和播放列表文件记录在BD-RE盘、BD-R盘、硬盘或半导体存储卡等可写入记录媒体(下面简称为BD-RE盘等。)中提供给用户。此时,AV流文件也可以是通过记录装置实时编码模拟输入信号得到的传输流。另外,还可以是通过记录装置将数字输入后的传输流部分化后得到的传输流。
执行实时记录的记录装置具备编码视频信号而得到视频流的视频编码器、编码音频信号而得到音频流的音频编码器、复用视频流和音频流等而得到MPEG2-TS形式数字流的多路复用器、和将构成MPEG2-TS形式数字流的TS数据包变换为源数据包的源打包器(source packetizer),将变换为源数据包形式的MPEG2数字流存储在AV流文件中,将该文件写入BD-RE盘等中。
与该写入处理并行,记录装置的控制部还在存储器上生成剪辑信息文件和播放列表文件。具体而言,当由用户请求录制处理时,控制部生成AV流文件和剪辑信息文件,写入BD-RE盘等中。此时,每当在从外部接收的传输流中检测到视频流内的一个GOP开头时,或每当由编码器生成视频流内的一个GOP时,记录装置的控制部都取得位于该GOP开头的I图片的PTS、和存储该GOP开头部分的源数据包的SPN,将该PTS与SPN对作为一个入口点,添加在剪辑信息文件的入口映射中。这里,当GOP的开头是IDR图片时,将设定为“打开”的is_angle_change标志追加到入口点。另一方面,当GOP的开头不是IDR图片时,将设定为“关闭”的is_angle_change标志追加到入口点。再根据记录对象的流属性来设定剪辑信息文件内的流属性信息。这样,在将AV流文件和剪辑信息文件写入BD-RE盘或BD-R盘中之后,控制部利用该剪辑信息文件内的入口映射,生成规定其再现路径的播放列表文件,并写入BD-RE盘等中。
通过在实时记录中执行以上处理,可将AV流文件、剪辑信息文件和播放列表文件这样的分层构造的文件组记录在BD-RE盘等中。
《可控拷贝》
上述各实施方式1-3中说明的再现装置还可具备利用可控拷贝将BD-ROM盘101上的数字流写入其它记录媒体中的功能。这里,所谓可控拷贝是用于仅在基于与服务器之间的通信的认证成功的情况下允许从BD-ROM盘等读取专用记录媒体向可写入记录媒体拷贝数字流、播放列表文件、剪辑信息文件和应用程序的技术。这里,该可写入记录媒体包含BD-R、BD-RE、DVD-R、DVD-RW和DVD-RAM等可写入光盘、硬盘、以及SD存储卡、记忆棒(注册商标)、致密快闪(compact flash,注册商标)、智能媒体(注册商标)和多媒体卡(注册商标)等可移动半导体存储装置。可控拷贝可限制读取专用记录媒体中记录的数据的备份次数、和对备份处理的收费。
当执行从BD-ROM盘向BD-R盘或BD-RE盘的可控拷贝时,若拷贝源盘与拷贝目标盘中记录容量相等,则只要将拷贝源的BD-ROM盘上记录的位流从该盘最内周到最外周依次拷贝即可。
当在不同类别的记录媒体间进行可控拷贝时,需要翻译代码(transcode)。这里,所谓‘翻译代码’是指用于使拷贝源BD-ROM盘中记录的数字流适合于拷贝目标记录媒体的应用格式的处理。翻译代码包含例如从MPEG2传输流形式变换为MPEG2程序流形式等的处理、和降低分配给视频流与音频流各自的位速率后再次编码的处理。在翻译代码中,必需利用上述实时记录来生成AV流文件、剪辑信息文件和播放列表文件。
《数据构造的记述方式》
上述各实施方式1-3所示的数据构造中、‘存在多个某种已决定类型信息’这样的重复构造可通过在for语句中记述控制变量的初始值与重复条件来定义。另外,‘当规定条件成立时,定义某种已决定的信息’这样的任意的数据构造可通过在if语句中记述其应成立条件与条件成立时应设定的变量来定义。这样,各实施方式所示的数据构造可通过高级编程语言来记述。因此,该数据构造经过‘语法解析’、‘最佳化’、‘资源分配’和‘代码生成’这样的由编译器执行的翻译过程,变换为可由计算机读取的代码,在该状态下记录在记录媒体中。利用高级编程语言中的记述,该数据构造作为面向对象语言中的类构造体的Method以外的部分,具体而言作为该类构造体中排列型的成员变量进行处理,构成程序的一部分。即,该数据构造与程序实质上相同。因此,该数据构造应作为计算机关联的发明受到保护。
《程序中的播放列表文件和剪辑信息文件的配置》
根据播放列表文件进行AV流文件再现处理的执行形式的程序从记录媒体被加载到计算机的存储器装置中,之后,由该计算机执行。此时,该存储器装置中,该程序由多个节构成。该节包含text节、data节、bss节和stack节。text节包含程序的代码列、初始值和不可改写的数据。data节包含初始值和执行中有可能被改写的数据。在记录媒体中,将随时访问的文件存储在data节中。bss节包含不具有初始值的数据。这里,bss节内的数据由text节内的程序参照。因此,在编译处理或链接处理中决定的RAM中必需确保bss节用的区域。stack节是按照需要暂时提供给程序的存储器区域。将各流程图的处理中暂时使用的本地变量存储在stack节中。另外,在程序初始化时,对bss节设定初始值,对stack节确保必要区域。
播放列表文件和剪辑信息文件如上所述,被变换为计算机可读取代码后记录在记录媒体中。即,在执行程序时,作为上述text节中的‘不可改写的数据’或‘上述data节中的“存储在文件中、随时访问的数据”’来管理。各实施方式所示的播放列表文件和剪辑信息文件是在程序执行时应构成该程序的构成要素的文件。另一方面,播放列表文件和剪辑信息文件不对应于简单的数据提示。
《系统LSI》
上述实施方式1-3包含中间件、系统LSI、该系统LSI以外的硬件、对该中间件的接口、中间件与系统LSI之间的接口、中间件与系统LSI以外硬件之间的接口、和用户接口的各部分。当将这些部分组装在再现装置中时,各部分彼此协作。由此,提供特有的功能。
对中间件的接口和中间件与系统LSI之间的接口的适当定义使再现装置的用户接口、中间件和系统LSI的各个开发中的独立且并列执行及高效的开发成为可能。各接口的分类可以是各种方法。
产业上的可利用性
本发明涉及立体视觉影像的再现技术,如上所述,利用立体视觉影像的视频流分配,在立体视觉影像与平面视觉影像之间,使长跳跃即将开始之前的再现路径分离。这样,本发明显然可在产业上利用。