CN103181172A - 记录介质、再现装置、记录装置及记录方法 - Google Patents
记录介质、再现装置、记录装置及记录方法 Download PDFInfo
- Publication number
- CN103181172A CN103181172A CN2012800034416A CN201280003441A CN103181172A CN 103181172 A CN103181172 A CN 103181172A CN 2012800034416 A CN2012800034416 A CN 2012800034416A CN 201280003441 A CN201280003441 A CN 201280003441A CN 103181172 A CN103181172 A CN 103181172A
- Authority
- CN
- China
- Prior art keywords
- section
- exclusive district
- image
- vision area
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
在记录介质上,在扩展数据专用区间的紧后,平面视觉影像专用区间和立体视觉影像专用区间连续。在共用区间中,交替地连续配置有主视、副视及扩展的各区段,在立体视觉影像专用区间中,交替地连续配置有主视和副视的各区段,在平面视觉影像专用区间中,连续配置有立体视觉影像专用区间内的主视区段的复制,在扩展数据专用区间中,配置有应该与平面视觉影像专用区间内的主视区段组合的扩展区段。共用区间在立体视觉影像的再现时、平面视觉影像的再现时及扩展流的利用时被访问,立体视觉影像专用区间在立体视觉影像的再现中、平面视觉影像专用区间在平面视觉影像的再现中、扩展数据专用区间和平面视觉影像专用区间所成的对在扩展流的读取中都是在长跳跃的紧前或紧后被访问。
Description
技术领域
本发明涉及立体视觉影像即三维(3D)影像的记录再现技术,特别涉及记录介质上的流数据的构造。
背景技术
近年来,3D影像的电影受到普遍关注。与此相伴,能够从光盘等记录介质再现3D影像内容的家庭用再现装置开始普及。此外,能够将3D影像的电视节目记录到记录介质中的家庭用记录装置及能够拍摄3D影像的家庭用视频摄像机也得到了开发。在这些装置所处理的记录介质中,希望以能够通过以往的再现装置作为平面视觉影像、即2维(2D)影像的内容来再现的形态,来记录3D影像内容。即,希望2D再现装置能够从记录在该记录介质中的3D影像内容再现2D影像,3D再现装置能够从记录在该记录介质中的3D影像内容再现3D影像。这里,所谓“2D再现装置”,是指仅能够再现(2D)影像的以往的再现装置,所谓“3D再现装置”,是指能够再现3D影像的再现装置。另外,在本说明书中,假设为3D再现装置也能够将以往的2D影像再现的情况。
图64是表示用来对记录有3D影像内容的光盘确保对于2D再现装置的兼容性的技术的示意图(例如参照专利文献1)。在光盘PDS中保存有两种视频流。一种是2D/左视视频流,另一种是右视视频流。“2D/左视视频流”在3D影像的再现中表示使视听者的左眼看到的2D影像即“左视”,在2D影像的再现中表示该2D影像本身。“右视视频流”在3D影像的再现中表示使视听者的右眼看到的2D影像即“右视”。在左视视频流和右视视频流之间帧速率(帧率)相等,但帧的显示时期错开帧周期的一半。例如在各视频流的帧速率是1秒钟24帧时,使2D/左视视频流和右视视频流的各帧每1/48秒交替地显示。
各视频流如图64所示,在光盘PDS上被分割为多个区段EX1A~C、EX2A~C。“区段”是能够由光盘驱动器读取的数据的最小单位(详细情况参照《补充》)。各区段包括1个以上GOP(图片组)。以下,将属于2D/左视视频流的区段称作“2D/左视区段”,将属于右视视频流的区段称作“右视区段”。2D/左视区段EX1A~C和右视区段EX2A~C交替地配置在光盘PDS的轨道TRC上。XXXXXX将这样的区段的配置称作“交织配置”。以交织配置记录的区段群如以下所述,在3D影像的再现和2D影像的再现这两者中使用。
在2D再现装置PL2中,光盘驱动器DD2从光盘PDS仅依次读取2D/左视区段EX1A~C,而将右视区段EX2A~C的读取跳过。进而,影像解码器VDC将由光盘驱动器DD2读取的区段依次解码为影像帧VFL。由此,在显示装置DS2上仅显示左视,所以使视听者能够看到通常的2D影像。
在3D再现装置PL3中,光盘驱动器DD3从光盘PDS将2D/左视区段和右视区段交替地,即如果用标号表示,按照EX1A、EX2A、EX1B、EX2B、EX1C、EX2C的顺序读取。进而,从读取的各区段将2D/左视视频流向左影像解码器VDL转送,将右视视频流向右影像解码器VDR转送。各影像解码器VDL、VDR交替地将各视频流解码为影像帧VFL、VFR。由此,在显示装置DS3上交替地显示左视和右视。另一方面,快门式眼镜SHG使左右的透镜同步于显示装置DS3进行的画面的切换而交替地成为不透明。其结果,左视仅映在视听者的左眼,右视仅映在视听者的右眼。这时,视听者将左视和右视的形态的差别错觉为两眼视差,所以对于视听者来说,显示在显示装置DS3上的2D影像的对看起来为1个3D影像。
并不限定于光盘,将3D影像内容保存到记录介质中时,如上述那样利用区段的交织配置。由此,能够将该记录介质在2D影像的再现和3D影像的再现这两者中使用。
现有技术文献
专利文献
专利文献1:日本特许第3935507号公报
非专利文献
非专利文献1:Blue-rayDisc Association,"White Paper Blu-rayDiscTM Format,"[online],October,2010,http://www.blu-raydisc.com/en/Technical/TechnicalWhitepapers/General.aspx
发明的概要
发明所要解决的课题
近年来,作为下一代显示技术,推进了4K2K的开发。“4K2K”是用于显示3940像素×2160像素这样的、约为以往的分辨率1920像素×1080像素的4倍的高分辨率的影像的技术。如果画面尺寸为一定,则分辨率越高,越能够表现精细的影像,所以4K2K作为用于实现进一步的高画质化的技术而受到期待。另一方面,在4K2K的开发中,确保与以往的分辨率的影像显示的兼容性也受到了重视。特别是将4K2K的影像内容记录于记录介质的情况下,希望能够通过以往的2D再现装置来作为以往的分辨率的影像内容来再现。因此,在现状下,考虑将4K2K的影像内容分为作为以往的分辨率的影像内容来表现的部分、和为了将该部分的分辨率变换为4K2K的分辨率所需的扩展数据的部分而记录在记录介质中。使以往的再现装置从该记录介质仅读取作为以往的分辨率的影像内容来表现的部分并进行再现。另一方面,使能够对应于4K2K的再现装置从该记录介质读取该部分和扩展数据的部分的双方,并从中再现4K2K的影像内容。这样,能够将4K2K的影像内容在以往的分辨率下的影像再现和4K2K的高分辨率下的影像再现的双方中使用。
作为旨在实现进一步的高画质化的技术,还推进了将各像素的颜色信息的位(比特)数从当前的8位增加到12位等的技术的开发。将该技术称为“位(比特)扩展”。通过增加颜色信息的位数,各像素所能够表现的颜色的种类更加丰富,所以期待实现进一步的高画质化。在位扩展中,为了确保与以往的技术的兼容性,也可以想到将位扩展的内容分为以8位的颜色信息表示的部分、和为了将该部分的颜色信息变换为12位等的颜色信息所需的扩展数据的部分而记录在记录介质中。
除了4K2K和位扩展之外,在用于实现影像内容的进一步的品质提高或其属性的进一步的多样化的技术中,存在很多通过将影像内容作为以往的影像内容和扩展数据的组合来表现,从而确保与以往技术的兼容性的技术。另一方面,3D影像的记录再现技术也如上述那样,通过在作为2D影像内容的2D/左视视频流中附加右视视频流这样的扩展数据,对3D影像内容赋予相对于2D再现装置的兼容性。因此,通过将4K2K和位扩展等中的扩展数据编入3D影像内容,期待能够将在这些技术的任一个中都能够利用的影像内容记录到记录介质中。但是,这样的影像内容的记录实际上由于以下理由而并不容易。
如图64所示,从交织配置的区段群再现2D影像时,光盘驱动器DD2将右视区段EX2A-C的读取跳过。将该动作称为“跳跃”。在跳跃期间中,不从光盘驱动器DD2向影像解码器VDC内的缓冲器供给数据,所以该缓冲器中储存的数据伴随着影像解码器VDC的处理而减少。因此,为了使2D再现装置PL2顺利地再现2D影像,必须将各2D/左视区段EX1A-C的数据量的下限、即最小区段尺寸设计为在跳跃期间中不产生缓冲器下溢的程度。
从同一区段群再现3D影像时,在读取2D/左视区段EX1A-C的期间中,不读取右视区段EX2A-C。因此,在该期间中,储存在右影像解码器VDR内的缓冲器中的右视区段EX2A-C的数据伴随着右影像解码器VDR的处理而减少。相反,在读取右视区段EX2A-C的期间中,不读取2D/左视区段EX1A-C。因此,在该期间中,储存在左影像解码器VDL内的缓冲器中的2D/左视区段EX1A-C的数据伴随着左影像解码器VDL的处理而减少。因此,为了使3D再现装置PL3无缝地再现3D影像,必须将各区段EX1A-C、EX2A-C的最小区段尺寸设计为在下一区段的读取期间中不发生缓冲器下溢的程度。
此外,光盘驱动器的读取速度高于影像解码器的处理速度,所以在读取区段的期间中,储存着该区段的数据的缓冲器的数据量增加。为了在该缓冲器的容量不变得过大的情况下防止上溢,必须限制区段的数据量的上限、即最大区段尺寸。
如以上所述,将3D影像内容记录在记录介质中的情况下,各区段的尺寸必须满足多个条件。因此,为了对3D影像内容进一步附加扩展数据,必须使扩展数据的配置打破这些多个条件的某一个。这样的配置对本领域技术人员来说并不是显而易见的。
在所谓2层盘这样的、包括多个记录层的光盘中,有时将一系列的影像内容跨过2层来记录。另一方面,在单层盘中,有时一系列的影像内容将其他数据夹在中间而记录。这些情况下,光盘驱动器的拾取器在一系列的影像内容的读取中,必须进行伴随着层的切换的焦点跳跃或伴随着光盘的半径方向的移动态轨道跳跃。这些跳跃通常寻址时间较长,所以被称为“长跳跃”。即使发生长跳跃,为了使影像解码器无缝地再现影像,也必须将在长跳跃的紧前访问的区段的尺寸设为充分大,以在长跳跃中不发生缓冲器下溢。
为了在长跳跃中不发生缓冲器下溢,区段的尺寸应该满足的条件通常与2D影像的再现时和3D影像的再现时不同。但是,图64所示的交织配置的区段必须满足2D影像的再现时和3D影像的再现时的双方的条件。因此,一般来说,右视区段的尺寸远远超过3D影像的无缝再现所需的值。其结果,3D再现装置必须将右影像解码器内的缓冲器容量确保为远大于3D影像的无缝再现所需的值。这会妨碍3D再现装置内的缓冲器容量的进一步削减及存储器的利用效率的进一步提高,因此并不优选。
作为用于兼顾长跳跃中不产生缓冲器下溢和进一步削减3D再现装置内的缓冲器容量的技术,例如已知如下的技术。在该技术中,在记录介质上的数据记录区域中,在需要长跳跃的地方的紧前或紧后设有仅在2D影像的再现时访问的区域和仅在3D影像的再现时访问的区域。表示同一左视的区段在这两个区域中二重地记录,表示与这些左视成对的右视的区段记录于仅在3D影像的再现时访问的区域。由此,在仅在2D影像的再现时访问的区域中,区段的尺寸仅满足在2D影像的再现时的长跳跃中不发生缓冲器下溢的条件即可。另一方面,在仅在3D影像的再现时访问的区域中,区段的尺寸仅满足在3D影像的再现时的长跳跃中不发生缓冲器下溢的条件即可。其结果,能够兼顾将2D影像与3D影像的双方无缝再现、和进一步削减3D再现装置内的缓冲器容量。
如以上所述,在记录介质上的数据记录区域中的、需要长跳跃的地方的紧前或紧后,区段的配置更加复杂化。因此,对3D影像内容附加扩展数据的情况下,在需要长跳跃的地方的紧前和紧后应该怎样配置扩展数据,对本领域技术人员来说并不是显而易见的。
发明内容
本发明的目的在于解决上述课题,特别是提供一种在使再现装置良好地维持再现能力的状态下记录3D影像内容和扩展数据的组合的记录介质。
解决课题所采用的手段
在本发明的1个观点的记录介质中,记录有主视流、副视流及扩展流。主视流表示立体视觉影像的主视。副视流表示立体视觉影像的副视。扩展流与主视流组合利用。主视流由多个主视区段构成,副视流由多个副视区段构成,扩展流由多个扩展区段构成。该记录介质具有共用区间、立体视觉影像专用区间、平面视觉影像专用区间及扩展数据专用区间。共用区间是主视区段、副视区段及扩展区段交替地连续配置而成的区域。立体视觉影像专用区间是主视区段和副视区段交替地连续配置而成的区域。平面视觉影像专用区间是与立体视觉影像专用区间相邻的区域,是配置于立体视觉影像专用区间的主视区段的复制连续配置而成的区域。扩展数据专用区间是位于立体视觉影像专用区间和平面视觉影像专用区间相连续的区域的紧前的区域,是配置有应该与配置于平面视觉影像专用区间的主视区段的复制组合利用的扩展区段的区域。共用区间在立体视觉影像被再现时、主视作为平面视觉影像被再现时及扩展流与主视流组合利用时的任一个中都被访问。立体视觉影像专用区间在立体视觉影像的再现中,在发生长跳跃的紧前在共用区间之后被访问,或者在长跳跃结束的紧后在共用区间之前被访问。平面视觉影像专用区间在平面视觉影像的再现中,在发生长跳跃的紧前在共用区间之后被访问,或者在长跳跃结束的紧后在共用区间之前被访问。扩展数据专用区间和平面视觉影像专用区间所成的对在扩展流与主视流一起被读取的情况下,在发生长跳跃的紧前在共用区间之后被访问,或者在长跳跃结束的紧后在共用区间之前被访问。
本发明的1个观点的再现装置,从上述记录介质读取主视流、副视流、或扩展流,再现立体视觉影像,将主视作为平面视觉影像来再现,或者将扩展流与主视流组合利用。该再现装置具备:读取部、开关部、第一读缓冲器、第二读缓冲器、第三读缓冲器及解码部。读取部从上述记录介质读取数据。开关部从由读取部读取的数据提取主视流、副视流及扩展流。第一读缓冲器保存由开关部提取的主视流。第二读缓冲器保存由开关部提取的副视流。第三读缓冲器保存由开关部提取的扩展流。解码部从第一读缓冲器读取主视流并进行解码,从第二读缓冲器读取副视流并进行解码,从第三读缓冲器读取扩展流并进行解码。读取部在立体视觉影像被再现时、主视作为平面视觉影像被再现时及扩展流与主视流组合利用时的任一个中都访问记录介质的共用区间。读取部在立体视觉影像的再现中,在进行长跳跃的紧前在记录介质的共用区间之后访问该立体视觉影像专用区间,或者在进行了长跳跃的紧后在共用区间之前访问立体视觉影像专用区间。读取部在平面视觉影像的再现中,在进行长跳跃的紧前在记录介质的共用区间之后访问该平面视觉影像专用区间,或者在进行了长跳跃的紧后在共用区间之前访问平面视觉影像专用区间。读取部将扩展流与主视流一起读取的情况下,在进行长跳跃的紧前在记录介质的共用区间之后访问该扩展数据专用区间和平面视觉影像专用区间所成的对,或者在进行了长跳跃的紧后在共用区间之前访问扩展数据专用区间和平面视觉影像专用区间所成的对。
发明效果
根据本发明的上述观点,再现装置从记录介质读取数据时,在进行长跳跃的紧前或紧后访问的区域,在立体视觉影像的再现时、平面视觉影像的再现时及扩展流与主视流的组合的利用时不同。由此,能够对于这些区域分别设定为了在长跳跃中不发生缓冲器下溢而区段的尺寸应该满足的条件。其结果,能够兼顾将立体视觉影像和平面视觉影像的双方无缝再现、和进一步削减再现装置内的缓冲器容量。此外,在平面视觉影像的再现时及扩展流与主视流的组合的利用时的双方访问同一平面视觉影像专用区间。由此,应该重复记录在1张记录介质中的主视区段的数据量被抑制为最小限度。因此,在立体视觉影像的再现时、平面视觉影像的再现时及扩展流与主视流的组合的利用时的任一个中,能够将长跳跃的距离限制在允许范围内。这样,在上述记录介质中,能够在使再现装置良好地维持再现能力的状态下记录3D影像内容与扩展数据的组合。
附图说明
图1是表示使用本发明的实施方式1的记录介质的家庭影院系统的示意图。
图2是表示图1所示的BD-ROM盘上的数据构造的示意图。
图3中(a)是多路复用到图1所示的BD-ROM盘上的主TS中的基本流的一览表。(b)是多路复用到该BD-ROM盘上的副TS中的基本流的一览表的一例。(c)是多路复用到该BD-ROM盘上的副TS中的基本流的一览表的其他例。(d)是多路复用到该BD-ROM盘上的扩展流中的基本流的一览表。
图4中(a)是表示分辨率扩展信息的数据构造的表。(b)是表示将全HD的视频帧向4K2K的视频帧扩展的处理中的分辨率扩展信息的作用的示意图。
图5是表示多路复用流数据内的TS包的配置的示意图。
图6中(a)是表示TS头的数据构造的示意图。(b)是表示构成多路复用流数据的TS包串的形式的示意图。(c)是表示由多路复用流数据的TS包串构成的源包串的形式的示意图。(d)是表示连续记录有一系列的源包的BD-ROM盘的卷区域上的扇区群的示意图。
图7是按显示时间顺序表示基本视视频流和右视视频流的图片的示意图。
图8是表示视频流的数据构造的详细情况的示意图。
图9是表示向PES包串的视频流的保存方法的详细情况的示意图。
图10是表示对基本视视频流和从属视视频流的各图片分配的PTS和DTS之间的关系的示意图。
图11是表示BD-ROM盘上的主TS、副TS及扩展流的物理配置的示意图。
图12是表示对于3个连续的扩展区段块T[m]、D[m+i]、B[m+i](m=0、1、2、i=0、1)的3种再现路径的示意图。
图13是表示1个扩展区段T[m](m=0、1、2、…)和配置于其紧后的区段块B[k]、D[k](k=m、m+1、…、m+n-1)之间的关系的示意图。
图14是表示记录在BD-ROM盘的层边界的前后的区段群的配置1及对于该区段群的各模式下的再现路径的示意图。
图15是表示记录在BD-ROM盘的层边界的前后的区段群的配置2及对于该区段群的各模式下的再现路径的示意图。
图16是表示2D再现模式的再现装置内的再现处理系统的框图。
图17中(a)是表示在2D再现模式下的动作中,储存在读缓冲器中的数据量的变化的曲线图。(b)是表示对于再现对象的扩展区段块的2D再现模式下的再现路径的示意图。
图18是表示与BD-ROM盘有关的跳跃距离SJUMP和最大跳跃时间TJUMP-MAX的对应表的一例。
图19是表示3D再现模式的再现装置内的再现处理系统的框图。
图20中(a)、(b)是表示在从1个扩展区段块无缝再现3D影像时,储存在RB1、RB2中的数据量DA1、DA2的变化的曲线图。(c)是表示对于该扩展区段块的3D再现模式下的再现路径的示意图。
图21中(a)是表示在从2个连续的扩展区段块连续地无缝再现3D影像时,储存在RB1、RB2中的数据量DA1、DA2的变化及它们的和DA1+DA2变化的曲线图群。(b)是表示第(n+1)个扩展区段块和第(n+2)个扩展区段块及对于这些扩展区段块的3D再现模式下的再现路径的示意图。
图22中(a)、(b)分别是表示第一转送速度REXT1和第二转送速度REXT2的合计被限制的情况下的第一转送速度REXT1和第二转送速度REXT2的时间性变化的曲线图。(c)是表示将(a)、(b)所示的第一转送速度REXT1和第二转送速度REXT2相加而得到的值REXT1+REXT2的时间性变化的曲线图。
图23是表示扩展再现模式的再现装置内的再现处理系统的框图。
图24中(a)、(b)是表示在从2个连续的扩展区段块无缝再现4K2K的2D影像时,储存在RB1、RB3中的数据量DA1、DA3的变化的曲线图。(c)是表示对于这些扩展区段块的扩展再现模式下的再现路径的示意图。
图25是表示BD-ROM盘的2个记录层在层边界的前后仅包括共用区间的情况下的区段群的配置及对于该区段群的各模式的再现路径的示意图。
图26是表示在BD-ROM盘的层边界的紧前所有模式下的再现路径完全分离的情况下的区段群的配置及对于该区段群的各模式下的再现路径的示意图。
图27是表示2D片断信息文件的数据构造的示意图。
图28中(a)是表示入口映射的数据构造的示意图。(b)是表示属于文件2D的源包群中的、通过入口映射与各EP_ID建立了对应的源包群的示意图。(c)是表示与该源包群对应的BD-ROM盘上的区段群D[n]、B[n](n=0、1、2、3、…)的示意图。
图29中(a)是表示2D片断信息文件中包含的区段起点的数据构造的示意图。(b)是表示DEP片断信息文件中包含的区段起点的数据构造的示意图。(c)是表示由3D再现模式的再现装置从文件SS提取的基本视区段B[0]、B[1]、B[2]、…的示意图。(d)是表示属于文件DEP的从属视区段EXT2[0]、EXT2[1]、…和区段起点所示的SPN之间的对应关系的示意图。(e)是表示属于文件SS的区段EXTSS[0]和BD-ROM盘上的区段块之间的对应关系的示意图。
图30是表示2D播放列表文件的数据构造的示意图。
图31是表示第N个播放项目信息的数据构造的示意图。
图32是表示2D播放列表文件所示的PTS和从文件2D再现的部分之间的对应关系的示意图。
图33是表示3D播放列表文件的数据构造的示意图。
图34是表示STN表SS的数据构造的示意图。
图35是表示3D播放列表文件所示的PTS和从文件SS再现的部分之间的对应关系的示意图。
图36是表示扩展播放列表文件的数据构造的示意图。
图37是表示STN表EX的数据构造的示意图。
图38是表示扩展播放列表文件所示的PTS和从文件2D及扩展流文件再现的部分之间的对应关系的示意图。
图39是表示索引文件的数据构造的示意图。
图40是表示图1所示的再现装置的功能框图。
图41是表示由图40所示的再现控制部进行的2D播放列表再现处理的流程图。
图42是表示由图40所示的再现控制部进行的3D播放列表再现处理的流程图。
图43是由图40所示的再现控制部进行的扩展播放列表再现处理的流程图。
图44是2D再现模式的系统目标解码器的功能框图。
图45是3D再现模式的系统目标解码器的功能框图。
图46是扩展再现模式的系统目标解码器的功能框图。
图47是从全HD向4K2K的分辨率的变换处理的流程图。
图48是表示由2D影像与深度图的组合构成左视和右视的例子的示意图。
图49是从原图像的图片列生成基本视视频流和扩展流的系统的框图。
图50是表示由图49所示的系统进行的颜色坐标的处理方法的示意图。
图51是表示扩展再现模式的系统目标解码器中的基本视视频流和扩展流的处理系统的一例的框图。
图52是表示由图51所示的位扩展部进行的颜色坐标的处理方法的示意图。
图53是表示扩展再现模式的系统目标解码器中的基本视视频流和扩展流的处理系统的其他例的框图。
图54是表示由图53所示的位扩展部进行的颜色坐标的处理方法的示意图。
图55是本发明的实施方式2的记录装置的功能框图。
图56是表示在相邻的区段间使区段ATC时间一致的方法的示意图。
图57是利用图55所示的记录装置向BD盘等实时地记录内容的方法的流程图。
图58是本发明的实施方式3的记录装置的功能框图。
图59是利用图58所示的记录装置向BD-ROM盘记录内容的方法的流程图。
图60中(a)、(b)是表示由扩展再现模式的再现装置从图14所示的配置1的区段群无缝再现时,储存在RB1、RB3中的数据量的变化的曲线图。(c)是表示对于该区段群的扩展再现模式下的再现路径的示意图。
图61中(a)、(b)是表示由扩展再现模式的再现装置从图15所示的配置2的区段群无缝再现影像时,储存在RB1、RB3中的数据量的变化的曲线图。(c)是表示对于该区段群的扩展再现模式下的再现路径的示意图。
图62中(a)、(b)是仅在层边界的紧前配置扩展数据专用区间、平面视觉影像专用区间及立体视觉影像专用区间的情况下的、由扩展再现模式的再现装置从区段群无缝再现影像时,储存在RB1、RB3中的数据量的变化的曲线图。(c)是表示这些区段群及对于这些区段群的扩展再现模式下的再现路径的示意图。
图63中(a)、(b)是表示在图62(c)中将平面视觉影像专用区间和立体视觉影像专用区间的位置调换的情况下的、由扩展再现模式的再现装置从区段群无缝再现影像时,储存在RB1、RB3中的数据量的变化的曲线图。(c)是表示这些区段群及对于这些区段群的扩展再现模式下的再现路径的示意图。
图64是表示对于记录有3D影像内容的光盘,用于确保对2D再现装置的兼容性的技术的示意图。
具体实施方式
以下,参照附图,对本发明的实施方式进行说明。
<<实施方式1>>
1:系统的构成
图1是表示使用本发明的实施方式1的记录介质的家庭影院系统的示意图。该家庭影院系统除了1920像素×1080像素(以下称为全HD(全高清;full High Definition))的2D影像和3D影像之外,还能够显示4K2K的2D影像。参照图1,该家庭影院系统以记录介质101为再现对象,包括再现装置102、显示装置103、快门式眼镜104、以及遥控器105。
记录介质101是只读型蓝光盘(注册商标)(BD:Blu-ray Disc)、即BD-ROM盘,特别是包括多个记录层的多层盘。BD-ROM盘101保存电影内容。该内容包括表示全HD的2D影像的视频流、表示3D影像的视频流及表示4K2K的2D影像的视频流。V这些视频流以区段为单位配置在BD-ROM盘101上,利用后述的文件构造被访问。
再现装置102搭载有BD-ROM驱动器121。BD-ROM驱动器121是依据BD-ROM方式的光盘驱动器。再现装置102利用BD-ROM驱动器121从BD-ROM盘101读入内容。再现装置102还将该内容解码为影像数据/声音数据。这里,再现装置102能够将该内容作为2D影像、3D影像及4K2K的2D影像的任一种进行再现。以下,将再现全HD的2D影像时的再现装置102的动作模式称为“2D再现模式”,将再现3D影像时的再现装置102的动作模式称作“3D再现模式”,将再现4K2K的2D影像时的再现装置102的动作模式称为“扩展再现模式”。
再现装置102通过HDMI(High-Definition Multimedia Interface)线缆122连接在显示装置103上。再现装置102将影像数据/声音数据变换为HDMI方式的影像信号/声音信号,通过HDMI线缆122转送给显示装置103。再现装置102还通过HDMI线缆122在与显示装置103之间交换CEC消息。由此,再现装置102能够对显示装置103询问是否能够对应于3D影像的再现及4K2K的影像的再现。
显示装置103是液晶显示器。显示装置103按照影像信号在画面131上显示影像,按照声音信号从内置的扬声器发出声音。显示装置103能够对应于3D影像的再现和4K2K的影像的再现的任一个。在2D影像的再现时,在画面131上显示左视或右视的某一种。在3D影像的再现时,在画面131上交替地显示左视和右视。
显示装置103包括左右信号发送部132。左右信号发送部132将左右信号LR通过红外线或无线向快门式眼镜104送出。左右信号LR表示在当前时刻在画面131上显示的影像是左视和右视的哪种。在3D影像的再现时,显示装置103通过根据在影像信号中附带的控制信号识别左视帧和右视帧来检测帧的切换。显示装置103还使左右信号发送部132同步于检测到的帧的切换而使左右信号LR变化。
快门式眼镜104包括两片液晶显示面板141L、141R和左右信号接收部142。各液晶显示面板141L、141R构成左右的各透镜部分。左右信号接收部142接收左右信号LR,根据其变化对左右的液晶显示面板141L、141R发送信号。各液晶显示面板141L、141R根据该信号,使光整体上均匀地透过或将其遮断。特别是,当左右信号LR表示左视的显示时,左眼侧的液晶显示面板141L使光透过,右眼侧的液晶显示面板141R使光遮断。当左右信号LR表示右视的显示时则相反。这样,两片液晶显示面板141L、141R与帧的切换同步地交替地使光透过。其结果,当视听者佩戴快门式眼镜104来观看画面131时,左视仅映照在该视听者的左眼中,右视仅映照在其右眼中。此时,对于该视听者,各眼中映照的影像间的差异作为对相同立体的两眼视差被感知,所以该影像看起来是立体的。
遥控器105包括操作部和发送部。操作部包括多个按钮。各按钮与电源的开启关闭、或者BD-ROM盘101的再现开始或停止等、再现装置102或显示装置103的各功能建立了对应。操作部检测用户进行的各按钮的按下,将该按钮的识别信息用信号传递给发送部。发送部将该信号变换为红外线或无线的信号IR,向再现装置102或显示装置103送出。另一方面,再现装置102和显示装置103分别接收该信号IR,确定该信号IR表示的按钮,来执行与该按钮建立了对应的功能。这样,用户能够远程操作再现装置102或显示装置103。
2:<BD-ROM盘上的数据构造>
图2是表示BD-ROM盘101上的数据构造的示意图。参照图2,在BD-ROM盘101上的数据记录区域的最内周部设有BCA(Burst Cutting Area)201。对于BCA仅许可通过BD-ROM驱动器121的访问,禁止通过应用程序的访问。由此,BCA201被用于著作权保护技术。在比BCA201靠外侧的数据记录区域中,轨道从内周朝向外周以螺旋状延伸。在图2中,将轨道202示意地沿横向拉伸而描绘。其左侧表示盘101的内周部,右侧表示外周部。如图2所示,轨道202从内周起依次包括导入区域202A、卷区域202B、以及导出区域202C。导入区域202A设在BCA201的紧接着的外周侧。导入区域202A包括记录在卷区域202B中的数据的尺寸及物理地址等、BD-ROM驱动器121进行对卷区域202B访问所需要的信息。导出区域202C设在数据记录区域的最外周部,表示卷区域202B的末端。卷区域202B包括影像及声音等的应用数据。
卷区域202B被分割为称作“扇区”的小区域202D。扇区的尺寸是共通的,例如是2048字节。对于各扇区202D,从卷区域202B的前端起依次分配了连续号码。该连续号码称作逻辑块号码(LBN),被用于BD-ROM盘101上的逻辑地址。在从BD-ROM盘101读取数据时,通过指定目的地的扇区的LBN来确定读取对象的数据。这样,卷区域202B能够以扇区为单位被访问。进而,在BD-ROM盘101上,逻辑地址与物理地址实质上相等。特别是,在LBN连续的区域中,物理地址也实质上连续。因而,BD-ROM驱动器121能够不使其光拾取器进行寻址地从LBN连续的扇区将数据连续地读取。
记录在卷区域202B中的数据被规定的文件系统利用并管理。作为该文件系统而采用UDF(Universal Disc Format:通用光盘格式)。该文件系统除此以外也可以是ISO9660。按照该文件系统,将记录在卷区域202B中的数据用目录/文件形式表现(详细情况参照<<补充>>)。即,这些数据能够以目录为单位或者以文件为单位被访问。
进一步参照图2,在卷区域202B中记录有索引文件211、AV(audio-visual)流文件220、片断信息文件230、播放列表文件240及BD程序文件250。AV流文件220包括:文件2D221、文件从属(以下简称为文件DEP)222、立体视觉交织文件(SSIF:StereoscopicInterleaved File。以下简称为文件SS)223及扩展流文件224。片断信息文件230包括2D片断信息文件231、从属视(DEP)片断信息文件232及扩展片断信息文件233。播放列表文件240包括2D播放列表文件241、3D播放列表文件242及扩展播放列表文件243。BD程序文件250包括电影(MV:Movie)对象文件251、BD-J(BDJava(注册商标))对象文件252及Java档案(JAR:JavaArchive)文件253。
“索引文件”211是用来管理记录在BD-ROM盘101中的内容的整体的信息。该信息特别包括用来使再现装置102识别其内容的信息、以及索引表。索引表是构成该内容的标题与BD程序文件之间的对应表。“BD程序文件”是保存对象的文件。“对象”是用于控制再现装置102的动作的程序。在对象的种类中,有MV对象和BD-J对象。
“AV流文件”220是指记录在BD-ROM盘101上的影像内容的实体中的、调整为文件系统决定的文件形式的文件。这里,所谓影像内容的实体,一般是指多路复用了表示影像·声音·字幕等的各种流数据即基本流而成的流数据。多路复用流数据的种类有主传输流(TS)、副TS及扩展流。
“主TS”是指包括基本视视频流作为主视频流的多路复用流数据。“基本视视频流”是指能够单独再现且表示全HD的2D影像的视频流。另外,“基本视”也称为“主视”。
“副TS”是指包括从属视视频流作为主视频流的多路复用流数据。“从属视视频流”是指在其再现中需要基本视视频流并且通过与该基本视视频流的组合表示3D影像的视频流。另外,从属视也称为“副视”。在从属视视频流的种类中,有右视视频流、左视视频流、以及深度图流。“右视视频流”当基本视视频流所表示的2D影像被再现装置作为3D影像的左视来利用时,作为表示该3D影像的右视的视频流而被利用。“左视视频流”当基本视视频流所表示的2D影像被再现装置作为3D影像的右视来利用时,作为表示该3D影像的左视的视频流而被利用。“深度图流”当基本视视频流所表示的2D影像被再现装置作为3D影像向虚拟的2D画面的映射来利用时,作为表示该3D影像的深度图的流数据而被利用(详细情况参照5:变形例)。3D再现模式的再现装置102利用右视视频流(或左视视频流)作为从属视视频流时,将其动作模式称为“左/右(L/R)模式”。另一方面,3D再现模式的再现装置102作为从属视视频流而利用深度图流时,将该动作模式称为深度模式。
“扩展流”是指与主TS组合利用的信息、即保存有扩展数据的多路复用流数据。在本发明的实施方式1中,扩展数据包括为了将基本视视频流所表示的全HD的2D影像扩展到4K2K的2D影像所需的信息。
“文件2D”221是指在2D再现模式的再现装置102中利用的AV流文件,包括主TS。“文件DEP”222是指包括副TS的AV流文件。“文件SS”223是指在3D再现模式的再现装置102中利用的AV流文件,包括主TS和副TS的双方。“扩展流文件”224是在扩展再现模式的再现装置102中利用的AV流文件,包括扩展流。
文件SS223与文件2D221共有主TS,与文件DEP222共有副TS。即,在BD-ROM盘101的文件系统中,主TS能够作为文件SS223和文件2D221的任一个访问,副TS能够作为文件SS223和文件DEP222的任一个访问。
“片断信息文件”230是指,与文件2D221、文件DEP222及扩展流文件224一对一地建立了对应的文件,包括各文件221、222、224的入口映射。“入口映射”是文件2D221、文件DEP222或扩展流文件224所表示的各场景的显示时间与记录有该场景的各文件221、222、224内的地址之间的对应表。“2D片断信息文件”231与文件2D221建立了对应,“DEP片断信息文件”232与文件DEP222建立了对应,“扩展片断信息文件”233与扩展流文件224建立了对应。
“播放列表文件”240是指规定AV流文件220的再现路径的文件。“再现路径”是指AV流文件220的再现对象的部分与该再现顺序之间的对应关系。“2D播放列表文件”241规定文件2D221的再现路径。“3D播放列表文件”242对2D再现模式的再现装置102规定文件2D221的再现路径,对3D再现模式的再现装置102规定文件SS223的再现路径。“扩展播放列表文件”243对2D再现模式的再现装置102规定文件2D221的再现路径,对扩展再现模式的再现装置102规定文件2D221和扩展流文件224的各再现路径。
MV对象文件251通常包括多个MV对象。各MV对象包括导航指令的串。导航指令是使再现装置102执行与一般的DVD播放器的再现处理同样的再现处理的控制指令。导航指令的种类例如有与标题对应的播放列表文件的读取命令、播放列表文件所示的AV流文件的再现命令、以及向其他标题的转移命令。导航命令用解释型语言记述,由组入在再现装置102中的解释器、即作业控制程序解读,使其控制部执行希望的工作。导航指令由操作码和操作数构成。操作码表示标题的分支和再现以及运算等应使再现装置102执行的操作的种类。操作数表示标题号码等、该操作的对象的识别信息。再现装置102的控制部根据例如用户的操作调用各MV对象,将包含在该MV对象中的导航指令按串的顺序来执行。由此,再现装置102与普通的DVD播放器同样,首先在显示装置103上显示菜单,供用户选择命令。再现装置102接着根据所选择的命令,进行标题的再现开始/停止、以及向其他标题的切换等,使再现的影像的行进动态地变化。
BD-J对象文件252包括一个BD-J对象。BD-J对象是字节码程序,使安装在再现装置102中的Java虚拟机执行标题的再现处理以及图形影像的描绘处理。BD-J对象通过Java语言等编译语言记述。BD-J对象包括应用管理表和参照对象的播放列表文件的识别信息。“应用管理表”是应使Java虚拟机执行的Java应用程序和其执行时期即生命周期的对应表。“参照对象的播放列表文件的识别信息”是用来识别与再现对象的标题相对应的播放列表文件的信息。Java虚拟机按照用户的操作或应用程序调用各BD-J对象,按照包含在该BD-J对象中的应用管理表执行Java应用程序。由此,再现装置102使再现的各标题的影像的行进动态地变化,或者使显示装置103将图形影像与标题的影像独立地显示。
JAR文件253一般包括多个应按照BD-J对象表示的应用管理表执行的Java应用程序的主体。“Java应用程序”与BD-J对象同样,是用Java语言等编译语言记述的字节码程序。在Java应用程序的种类中,包括使Java虚拟机执行标题的再现处理的种类、以及使Java虚拟机执行图形影像的描绘处理的种类。JAR文件261是Java档案文件,在被再现装置102读入时在其内部的存储器中被展开。由此,在该存储器中保存Java应用程序。
2-1:多路复用流数据的构造
图3(a)是多路复用在BD-ROM盘101上的主TS中的基本流的一览表。主TS是MPEG-2传输流(TS)形式的数字流,包含在图2所示的文件2D221中。参照图3(a),主TS包括主视频流301、主音频流302A、302B。除此之外,主TS也可以还包括演示图形(PG)流303A、303B、交互图形(IG)流304、次音频流305、以及次视频流306。
主视频流301表示电影的主影像,次视频流306表示副影像。这里,所谓主影像,是指电影的正编的影像等、内容的主要影像,例如是指显示在画面整体上的影像。另一方面,所谓副影像,是指例如如在主影像之中用较小的画面显示的影像那样、利用画中画方式与主影像同时显示在画面上的影像。主视频流301和次视频流306都是基本视视频流。各视频流301、306用MPEG-2、MPEG-4AVC、或SMPTE VC-1等运动图像压缩编码方式被编码。由此,各视频流301、306中包含的视频帧分别被压缩为1张图片。在此,“视频帧”是像素数据的2维排列,该排列的尺寸等于帧的分辨率。例如全HD的视频帧为1920×1080的2维排列。1组像素数据由颜色坐标值和α值(不透明度)的组合构成。颜色坐标值用8位的RGB值或YCrCb值表示。α值也以8位表示。
主音频流302A、302B表示电影的主声音。这里,在两个主音频流302A、302B之间语言不同。次音频流305表示伴随着对话画面的操作的效果音等、应与该主声音叠加(应混合)的副声音。各音频流302A、302B、305用AC-3、杜比数字+(Dolby Digital Plus:“杜比数字”是注册商标)、MLP(MeridianLossless Packing:注册商标)、DTS(Digital Theater System:注册商标)、DTS-HD、或者线性PCM(Pulse Code Modulation)等方式被编码。由此,各音频流302A、302B、305中包含的音频帧被单独地压缩。
各PG流303A、303B表示图形的字幕等、应叠加显示在主视频流301表示的影像上的图形影像。在两个PG流303A、303B之间,例如字幕的语言不同。IG流304表示用来在显示装置103的画面131上构成对话画面的图形用户接口(GUI)用的图形部件及其配置。
基本流301~306由包识别码(PID)识别。PID的分配例如如以下这样。一个主TS仅包括一条主视频流,所以对于主视频流301分配16进制数值0x1011。当在一个主TS中能够多路复用每种最大32条其他基本流时,对于主音频流302A、302B分配0x1100到0x111F中的某个。对于PG流303A、303B分配0x1200到0x121F中的某个。对于IG流304分配0x1400到0x141F中的某个。对于次音频流305分配0x1A00到0x1A1F中的某个。对于次视频流306分配0x1B00到0x1B1F中的某个。
图3(b)是多路复用在BD-ROM盘101上的副TS中的基本流的一览表的一例。副TS是MPEG-2TS形式的多路复用流数据,包含在图2所示的文件DEP222中。参照图3(b),副TS包括主视频流311。副TS也可以还包括左视PG流312A、312B、右视PG流313A、313B、左视IG流314、右视IG流315及次视频流316。主视频流311是右视视频流,当主TS内的主视频流301表示3D影像的左视时,主视频流311表示该3D影像的右视。左视和右视的PG流的对312A+313A、312B+313B,在将字幕等图形影像作为3D影像来显示时,表示其左视和右视的对。左视和右视的IG流的对314、315,在将对话画面的图形影像作为3D影像来显示时,表示其左视和右视的对。次视频流316是右视视频流,在主TS内的次视频流306表示3D影像的左视时,表示该3D影像的右视。
针对基本流311-316的PID的分配例如像下面那样进行。对主视频流311分配0x1012。当在1个副TS中按不同种类能够多路复用最大32条其他基本流时,对左视PG流312A、312B分配从0x1220到0x123F的某个,对右视PG流313A、313B分配从0x1240到0x125F的某个。对左视IG流314分配从0x1420到0x143F的某个,对右视IG流315分配从0x1440到0x145F的某个。对次视频流316分配从0x1B20到0x1B3F的某个。
图3(c)是多路复用在BD-ROM盘101上的副TS中的基本流的一览表的其他例。参照图3(c),副TS包括主视频流321。副TS也可以还包括深度图PG流323A、323B、深度图IG流324及次视频流326。主视频流321是深度图流,通过与主TS内的主视频流301的组合来表示3D影像。深度图PG流323A、323B在主TS内的PG流303A、303B所表示的2D影像被作为3D影像向虚拟的2D画面的投影来利用时,作为表示该3D影像的深度图的PG流来利用。深度图IG流324在主TS内的IG流304所表示的2D影像被作为3D影像向虚拟的2D画面的投影来利用时,作为表示该3D影像的深度图的IG流来利用。次视频流326是深度图流,通过与主TS内的次视频流306的组合来表示3D影像。
针对基本流321-326的PID的分配例如像下面那样进行。对主视频流321分配0x1013。当在1个副TS中按不同种类能够多路复用最大32条其他流时,对深度图PG流323A、323B分配从0x1260到0x127F的某个。对深度图IG流324分配从0x1460到0x147F的某个。对次视频流326分配从0x1B40到0x1B5F的某个。
图3(d)是多路复用到BD-ROM盘101上的扩展流中的基本流的一览表。参照图3(d),扩展流作为扩展数据而包括分辨率扩展信息331。分辨率扩展信息331是用于将主TS内的主视频流301所包含的全HD的视频帧分别扩展到4K2K的视频帧中所需的信息。对分辨率扩展信息331作为PID而分配0x1014。
图4(a)是表示分辨率扩展信息的数据构造的表。参照图4(a),分辨率扩展信息对于各视频帧包括扩展后的分辨率401、插值(插补)方式402及差分像素信息403。扩展后的分辨率401表示4K2K的分辨率。插值方式402表示用于将全HD的视频帧中包含的像素数据的数量增加到4K2K的视频帧中包含的像素数据的数量的插值方式。该插值方式中,包括双三次方式和双线性方式。差分像素信息403表示从全HD的视频帧通过插值得到的像素数据和本来的4K2K的视频帧中的像素数据之间的差分。像素数据以YCrCb值表示的情况下,差分像素信息403包括亮度成分Y的差Y_d、红色差成分Cr的差Cr_d、蓝色差成分Cb的差Cb_d及不透明度α的差α_d。
图4(b)是表示将全HD的视频帧向4K2K的视频帧扩展的处理中的分辨率扩展信息的作用的示意图。在该处理中,需要以下的2个步骤。在第一步骤410中,基于全HD的视频帧中包含的像素数据411进行插值。由此,新的像素数据412被追加到该视频帧中。其结果,像素数据的总数增加到4K2K的视频帧中包含的像素数据的数量。扩展后的分辨率401通过分辨率来规定增加后的像素数据的数量。插值方式402规定在第一步骤中利用的插值方式。在第二步骤中,在通过插值得到的视频帧的各像素数据411、412中加上差分像素信息403。其结果,本来的4K2K的视频帧中包含的各像素数据413被再现。
图5是表示多路复用流数据500内的TS包的配置的示意图。该包构造在主TS、副TS及扩展流之间是共通的。在多路复用流数据500内,各基本流501、502、503、504被变换为TS包521、522、523、524的串。例如在视频流501中,首先,将各帧501A或各场变换为一个PES(PacketizedElementary Stream)包511。接着,各PES包511一般被变换为多个TS包521。同样,音频流502、PG流503及IG流504分别被暂时变换为PES包512、513、514的串后、被变换为TS包522、523、524的串。最后,从各基本流501、502、503、504得到的TS包521、522、523、524被以时分方式多路复用在一条流数据500中。
图6(b)是表示构成多路复用流数据的TS包串的形式的示意图。各TS包601是188字节长的包。参照图6(b),各TS包601包括TS有效负载601P和自适应(adaptation)字段(以下简称作AD字段)601A中的至少某个、以及TS头601H。TS有效负载601P和AD字段601A两者加在一起是184字节长的数据区域。TS有效负载601P被作为PES包的保存区域使用。图5所示的PES包511~514分别一般被分割为多个部分,各部分被保存到不同的TS有效负载601P中。AD字段601A是用来在TS有效负载601P的数据量不足184字节时保存填充字节(即伪数据)的区域。AD字段601A除此以外,当TS包601例如是后述的PCR时作为该信息的保存区域使用。TS头601H是4字节长的数据区域。
图6(a)是表示TS头601H的数据构造的示意图。参照图6(a),TS头601H包括TS优先级611、PID612、以及AD字段控制613。PID612表示保存在相同的TS包601内的TS有效负载601P中的数据属于的基本流的PID。TS优先级611表示在PID612表示的值共通的TS包群之中的TS包601的优先级。AD字段控制613表示TS包601内的AD字段601A和TS有效负载601P各自的有无。
图6(c)是表示由多路复用流数据的TS包串构成的源包串的形式的示意图。参照图6(c),各源包602是192字节长的包,包括一个图6(b)所示的TS包601和4字节长的头602H。在将TS包601记录到BD-ROM盘101中时,通过对该TS包601赋予头602H而构成源包602。头602H包括ATS(Arrival_Time_Stamp)。“ATS”是时刻信息,由再现装置102内的系统目标解码器如以下这样使用。在此,“系统目标解码器”是指,将多路复用流数据按照每个基本流解码的装置:当源包602被从BD-ROM盘101向系统目标解码器转送时,系统目标解码器从该源包602提取TS包602P,向PID过滤器转送。系统目标解码器在“ATC(Arrival Time Clock)”这一内部时钟的值与该源包602的头602H所示的ATS一致的时刻进行该转送。系统目标解码器与其进行的ATS的利用的详细情况留待后述。
图6(d)是连续记录有一系列的源包602的BD-ROM盘101的卷区域202B上的扇区群的示意图。参照图6(d),一系列的源包602被每32个地记录到三个连续的扇区621、622、623中。这因为32个源包的数据量192字节×32=6144字节等于三个扇区的合计尺寸2048字节×3=6144字节。这样,将记录在三个连续的扇区621、622、623中的32个源包602称作“校准单元(Aligned Unit)”620。再现装置102从BD-ROM盘101将源包602按每校准单元620即每32个地读取。扇区群621、622、623、……从开头起依次按每32个地被分割,每一个构成一个纠错码(ECC)块630。BD-ROM驱动器121按照每个ECC块630进行纠错处理。
《PG流的数据构造》
PG流包括多个数据入口。各数据入口表示PG流的显示单位(显示集),由使再现装置102构成一个图形平面而需要的数据构成。这里,所谓“图形平面”,是指由表示2D图形影像的图形数据生成的平面数据。所谓“平面数据”,是像素数据的二维排列,该排列的尺寸等于影像帧的分辨率。在图形平面的种类中,包括PG平面、IG平面、图像平面、以及屏幕显示(OSD)平面。PG平面由主TS内的PG流生成。IG平面由主TS内的IG流生成。图像平面按照BD-J对象生成。OSD平面按照再现装置102的固件生成。
各数据入口包括多个功能段。这些功能段从开头起依次包括显示控制段(Presentation Control Segment:PCS)、窗口定义段(Window DefineSegment:WDS)、调色板定义段(Pallet Define Segment:PDS)、以及对象定义段(Object Define Segment:ODS)。WDS规定图形平面内的矩形区域、即窗口。PDS对规定种类的颜色ID和颜色坐标值(例如亮度Y、红色差Cr、蓝色差Cb、不透明度α)之间的对应关系进行规定。ODS一般用多个表示一个图形对象。所谓“图形对象”,是用像素代码与颜色ID之间的对应关系表现图形图像的数据。将图形对象在使用行程长度编码方式压缩后分割,分配给各ODS。PCS表示属于相同的数据入口的显示集的详细情况,特别是规定使用图形对象的画面结构。该画面结构的种类包括切入/切出(Cut-In/Out)、淡入/淡出(Fade-In/Out)、颜色变化(Color Change)、滚动(Scroll)、以及划入/划出(Wipe-In/Out)。内容提供者利用PCS对再现装置102指示画面结构。由此,能够使再现装置102实现例如“一边某个字幕逐渐消失一边显示下个字幕”的视觉效果。
2-2:IG流的数据构造
IG流包括对话结构段(Interactive Composition Segment:ICS)、PDS及ODS。PDS和ODS是与包含在PG流中的段同样的功能段。特别是,ODS包括的图形对象表示按钮及弹出菜单等、构成对话画面的GUI用图形部件。ICS规定使用这些图形对象的对话操作。具体而言,ICS对于按钮及弹出菜单等、状态对应于用户操作而变化的图形对象的每一个规定可取的状态、即普通、被选择、以及有效的各状态。ICS还包括按钮信息。按钮信息包括在用户对按钮等进行确定操作时再现装置应执行的命令。
2-3:视频流的数据构造
图7是以显示时间顺序表示基本视视频流701和右视视频流702的图片的示意图。参照图7,基本视视频流701包括图片710、711、712、……、719(以下称作基本视图片),右视视频流702包括图片720、721、722、……、729(以下称作右视图片)。各图片710~719、720~729表示1帧,通过MPEG-2或MPEG-4AVC等运动图像压缩编码方式来压缩。(f)
在通过上述编码方式进行的各图片的压缩中,利用该图片的空间方向及时间方向上的冗余性。这里,将仅利用空间方向上的冗余性的图片编码称作“图片内编码”。另一方面,将利用时间方向上的冗余性、即显示顺序的连续的多个图片间的数据的近似性的图片编码称作“图片间预测编码”。在图片间预测编码中,首先对于编码对象的图片,将显示时间为前或后的其他图片设定为参照图片。接着,在编码对象的图片与该参照图片之间检测运动矢量,利用它进行对参照图片的运动补偿。进而,求出通过运动补偿得到的图片与编码对象的图片之间的差值,从该差值中除去空间方向上的冗余性。这样,将各图片的数据量压缩。
参照图7,基本视图片710~719一般被分割为多个GOP731、732。“GOP”是指以I(Intra)图片为开头的多张连续的图片的串。“I(Intra)图片”是指通过图片内编码被压缩的图片。GOP一般除了I图片以外还包括P(Predictive)图片和B(Bidirectionally Predivtive)图片。这里,“P图片”是通过图片间预测编码被压缩的图片,是指使用显示时间比其靠前的一张I图片或其他P图片作为参照图片的图片。“B图片”是通过图片间预测编码被压缩的图片,是指使用显示时间比其靠前或后的两张I图片或P图片作为参照图片的图片。将B图片中的、在针对其他图片的图片间预测编码中被作为参照图片使用的图片特别称作“Br(reference B)图片”。
图7所示的例子中,各GOP731、732内的基本视图片被通过以下的顺序压缩。在第一GOP731中,首先将开头的基本视图片压缩为I0图片710。这里,下标的数字表示对各图片以显示时间顺序分配的连续号码。接着,将第四个基本视图片以I0图片710作为参照图片压缩为P3图片713。这里,图7所示的各箭头表示前端的图片是针对后端的图片的参照图片。接着,将第二、第三个基本视图片分别以I0图片710和P3图片713作为参照图片,被压缩为Br1图片711、Br2图片712。再将第7个基本视图片以P3图片713作为参照图片压缩为P6图片716。接着,将第四、第五个基本视图片以P3图片713和P6图片716作为参照图片分别被压缩为Br4图片714、Br5图片715。同样,在第二GOP732中,首先将开头的基本视图片压缩为I7图片717,接着将第三个基本视图片以I7图片717作为参照图片压缩为P9图片719。接着,将第二个基本视图片以I7图片717和P9图片719作为参照图片压缩为Br8图片718。
在基本视视频流701中,由于各GOP731、732在其开头必定包含I图片,所以能够将基本视图片按照每个GOP解码。例如在第一GOP731中,首先将I0图片710单独解码。接着,利用解码后的I0图片710将P3图片713解码。接着,利用解码后的I0图片710和P3图片713将Br1图片711和Br2图片712解码。将后续的图片群714、715、……也同样解码。这样,基本视视频流701能够单独解码,还能够进行以GOP为单位的随机访问。
再参照图7,右视图片720~729被以图片间预测编码被压缩。但是,该编码方法与基本视图片710~719的编码方法不同,除了影像的时间方向上的冗余性以外,还利用左右的影像间的冗余性。具体而言,各右视图片720~729的参照图片如图7中用箭头表示的那样,不仅从右视视频流702,还从基本视视频流701选择。特别是,各右视图片720~729与被选择作为其参照图片的基本视图片相比,显示时刻实质上相等。这些图片表示3D影像的相同场景的右视与左视的对、即视差影像。这样,右视图片720~729与基本视图片710~719一对一地对应。特别是,在这些图片间,GOP构造是共通的。
图7所示的例子中,首先将第一GOP731内的开头的右视图片以基本视视频流701内的I0图片710作为参照图片压缩为P0图片720。这些图片710、720表示3D影像的开头帧的左视和右视。接着,将第四个右视图片以P0图片720和基本视视频流701内的P3图片713作为参照图片压缩为P3图片723。接着,将第二个右视图片以P0图片720、P3图片723以及基本视视频流701内的Br1图片711作为参照图片压缩为B1图片721。同样,将第三个右视图片以P0图片720、P3图片723以及基本视视频流701内的Br2图片712作为参照图片压缩为B2图片722。对于以后的右视图片724~729也同样,利用显示时刻与该右视图片实质上相等的基本视图片作为参照图片。
作为利用上述那样的左右的影像间的相关关系的运动图像压缩编码方式,已知有称作MVC(Multiview Video Coding)的MPEG-4AVC/H.264的修正标准。MVC是由作为ISO/IEC MPEG与ITU-T VCEG的共同项目即JVT(Joint Video Team)于2008年7月制定的,是用来将从多个视点看到的影像集中编码的标准。在MVC中,在影像间预测编码中不仅利用影像的时间方向上的类似性,还利用视点不同的影像间的类似性。在该预测编码中,与将从各视点看到的影像独立压缩的预测编码相比,影像的压缩率较高。
如上所述,在各右视图片720~729的压缩中,使用基本视图片作为参照图片。因而,与基本视视频流701不同,不能将右视视频流702单独解码。但是,视差影像间的差异一般很小,即左视与右视之间的相关较高。因而,右视图片一般与基本视图片相比压缩率显著较高,即数据量显著较小。
虽然在图7中未示出,深度图流包括多个深度图。这些深度图与基本视图片一对一地对应,表示相对于各基本视图片表示的1帧的2D影像的深度图。各深度图与基本视图片同样,通过MPEG-2或MPEG-4AVC等运动图像压缩编码方式被压缩。特别是在该编码方式中利用图片间预测编码。即,各深度图利用其他深度图作为参照图片被压缩。深度图流还与基本视视频流同样地被分割为GOP单位,各GOP在其开头必定包含I图片。因而,深度图能够按照每个GOP单独解码。但是,深度图自身只是按像素表示2D影像的各部分的进深的信息,所以不能将深度图流单独在影像的再现中使用。在深度图流的压缩中利用的编码方式与在右视视频流的压缩中利用的编码方式相同。例如,当将右视视频流用MVC的格式编码时,将深度图流也用MVC的格式编码。在此情况下,再现装置102在3D影像的再现时,能够在将编码方式维持为一定的状态下顺利地实现L/R模式与深度模式的切换。
图8是表示视频流800的数据构造的详细情况的示意图。该数据构造在基本视视频流和从属视视频流中实质上是共通的。参照图8,视频流800一般由多个视频序列#1、#2、……构成。“视频序列”是对构成一个GOP810的图片群811、812、813、814、……分别组合了头等附加信息后形成的序列。将该附加信息与各图片的组合称作“视频访问单元(VAU)”。即,在各GOP810、820中,按照每个图片构成一个VAU#1、#2、……。能够以VAU为单位从视频流800读取各图片。
图8还表示在基本视视频流内位于各视频序列的前端的VAU#1831的构造。VAU#1831包括访问单元(AU)识别代码831A、序列头831B、图片头831C、补充数据831D及压缩图片数据831E。第二个以后的VAU#2除了不包含序列头831B这一点以外,是与VAU#1831相同的构造。AU识别代码831A是表示VAU#1831的前端的规定代码。序列头831B也称作GOP头,包括包含VAU#1831的视频序列#1的识别号码。序列头831B还包括在GOP810的整体中共通的信息,例如分辨率、帧速率(帧率)、纵横比、以及位速率。图片头831C表示固有的识别号码、视频序列#1的识别号码、以及图片的解码所需要的信息、例如编码方式的种类。补充数据831D包括与图片的解码以外有关的附加信息、例如表示隐藏字幕的字符信息、关于GOP构造的信息、以及时间代码信息。压缩图片数据831E包括基本视图片。
VAU#1831除此以外,也可以根据需要而包含填充数据831F、序列末端代码831G、以及流末端代码831H中的某个或全部。填充数据831F是伪数据。通过将其尺寸匹配于压缩图片数据831E的尺寸进行调节,能够将VAU#1831的位速率维持为规定值。序列末端代码831G表示VAU#1831位于视频序列#1的后端。流末端代码831H表示基本视视频流800的后端。
图8此外还表示在从属视视频流内位于各视频序列的前端的VAU#1832的构造。VAU#1832包括副序列头832B、图片头832C、补充数据832D、以及压缩图片数据832E。第二个以后的VAU#2除了不包含副序列头832B这一点以外是与VAU#1832相同的构造。副序列头832B包括包含VAU#1832的视频序列#1的识别号码。副序列头832B还包括在GOP810的整体中共通的信息,例如分辨率、帧速率、纵横比、以及位速率。特别是,这些值等于对基本视视频流对应的GOP设定的值、即VAU#1831的序列头831B表示的值。图片头832C表示固有的识别号码、视频序列#1的识别号码、以及在图片的解码中需要的信息、例如编码方式的种类。补充数据832D包括与图片的解码以外有关的附加信息,例如表示隐藏字幕的字符信息、关于GOP构造的信息、时间代码信息。压缩图片数据832E包括从属视图片。
VAU#1832除此以外,也可以根据需要而包含填充数据832F、序列末端代码832G及流末端代码832H中的某个或全部。填充数据832F是伪数据。通过将其尺寸匹配于压缩图片数据832E的尺寸进行调节,能够将VAU#1832的位速率维持为规定值。序列末端代码832G表示VAU#1832位于视频序列#1的后端。流末端代码832H表示从属视视频流800的后端。
VAU的各部的具体内容按照视频流800的每个编码方式而不同。例如,在其编码方式是MPEG-4AVC时,图8所示的VAU的各部由一个NAL(NetworkAbstraction Layer)单元构成。具体而言,AU识别代码831A、序列头831B、图片头831C、补充数据831D、压缩图片数据831E、填充数据831F、序列末端代码831G及流末端代码831H分别相当于AU定界符(Access UnitDelimiter)、SPS(序列参数集)、PPS(图片参数集)、SEI(SupplementalEnhancement Information)、视图组件、填充符数据(Filler Data)、序列末端(End of Sequence)、以及流末端(End of Stream)。
图9是表示视频流901向PES包串902的保存方法的详细情况的示意图。该保存方法在基本视视频流和从属视视频流中是共通的。参照图9,在实际的视频流901中,将图片不以显示时间顺序、而以编码顺序多路复用。例如在基本视视频流的VAU中,如图9所示,从开头起依次保存有I0图片910、P3图片911、B1图片912、B2图片913、……。这里,下标的数字表示对各图片以显示时间顺序分配的连续号码。在P3图片911的编码中使用I0图片910作为参照图片,在B1图片912和B2图片913的各编码中使用I0图片910和P3图片911作为参照图片。将这些VAU一个个地保存到不同的PES包920、921、922、923、……中。各PES包920、……包括PES有效负载920P和PES头920H。VAU保存在PES有效负载920P中。另一方面,PES头920H包括保存在相同的PES包920的PES有效负载920P中的图片的显示时刻即PTS(Presentation Time-Stamp)、以及该图片的解码时刻即DTS(Decoding Time-Stamp)。“PTS”表示将由再现装置102内的解码器解码的图片等数据从该解码器输出的定时,“DTS”表示使解码器开始图片等数据的解码处理的定时。
与图9所示的视频流901同样,将图3所示的其他基本流也保存到一系列的PES包的各PES有效负载中。进而,各PES包的PES头包括保存在该PES包的PES有效负载中的数据的PTS。
图10是表示对基本视视频流1001和从属视视频流1002的各图片分配的PTS与DTS之间的关系的示意图。参照图10,在两视频流1001、1002之间,对于表示3D影像的相同的帧的一对图片分配相同的PTS以及相同的DTS。例如从基本视视频流1001的I1图片1011和从属视视频流1002的P1图片1021的组合再现3D影像的开头的帧。因而,在这些图片对1011、1021中,PTS相等、并且DTS相等。这里,下标的数字表示对各图片以DTS的顺序分配的连续号码。此外,当从属视视频流1002是深度图流时,P1图片1021被替换为表示针对I1图片1011的深度图的I图片。同样,在各视频流1001、1002的第二个图片、即P2图片1010、1022的对中,PTS相等、并且DTS相等。在各视频流1001、1002的第三个图片、即Br3图片1013与B3图片1023的对中,PTS和DTS都是共通的。在Br4图片1014与B4图片1024的对中也是同样的。
将包括基本视视频流1001与从属视视频流1002之间PTS相等、且DTS相等的图片在内的VAU的对称作“3D·VAU”。通过图10所示的PTS和DTS的分配,能够容易地使3D再现模式的再现装置102内的解码器将基本视视频流1001和从属视视频流1002以3D·VAU为单位并行进行处理。由此,能够将表示3D影像的相同的帧的一对图片通过解码器可靠地并行处理。进而,在各GOP的开头的3D·VAU中,序列头包含相同的分辨率、相同的帧速率、以及相同的纵横比。特别是其帧速率等于在2D再现模式中将基本视视频流1001单独解码时的值。
2-4:包含在AV流文件中的其他TS包
在包含在AV流文件中的TS包的种类中,除了从图3所示的基本流变换的种类以外,还有PAT(Program Association Table)、PMT(Program MapTable)、以及PCR(Program Clock Reference)。PCR、PMT及PAT是由欧洲数字广播标准设定的,与构成一个广播节目的部分传输流同样地规定AV流文件。具体而言,PAT表示包含在相同的AV流文件中的PMT的PID。PAT自身的PID是0。PMT包括包含在相同的AV流文件中的各基本流的PID和其属性信息。该属性信息包括在该基本流的压缩中利用的编解码器的识别信息及该基本流的帧速率与纵横比。PMT还包括关于该AV流文件的各种描述符。描述符表示对AV流文件的整体共通的属性,特别包括表示该AV流文件的复制的许可/禁止的复制控制信息。PCR包括表示应与对自身分配的ATS对应的STC(System Time Clock)的值的信息。这里,“STC”是由再现装置102内的解码器作为PTS及DTS的基准使用的时钟。该解码器利用PCR使STC同步于ATC。通过利用PCR、PMT及PAT,能够使再现装置102内的解码器将AV流文件与依据欧洲数字广播标准的部分传输流同样地处理。由此,能够确保BD-ROM盘101用的再现装置与依据欧洲数字广播标准的终端装置之间的兼容性。
2-5:多路复用流数据的交织配置
从BD-ROM盘101无缝再现全HD的2D影像、3D影像及4K2K的2D影像的任一个时,BD-ROM盘101上的基本视视频流、从属视视频流及扩展流的物理配置非常重要。在此,“无缝再现”是指,从多路复用流数据将影像和声音不中断地顺畅再现。
图11是表示BD-ROM盘101上的主TS、副TS及扩展流的物理配置的示意图。参照图11,主TS、副TS及扩展流分别被分割为多个数据块B[n]、D[n]、T[n](n=0、1、2、3、…)。数字n是对于构成一系列的多路复用流数据的数据块从开头依次分配的序列号。各数据块B[n]、D[n]、T[n]在BD-ROM盘101上被记录在物理地连续的多个扇区。属于主TS的第(n+1)个数据块B[n]能够作为文件2D221的第(n+1)个区段EXT2D[n]访问。属于副TS的第(n+1)个数据块D[n]能够作为文件DEP222的第(n+1)个区段EXT2[n]访问。属于扩展流的第(n+1)个数据块T[n]能够作为扩展流文件224的第(n+1)个区段EXT3[n]访问。即,各数据块B[n]、D[n]、T[n]的尺寸和前端的LBN能够从文件2D221、文件DEP222及扩展流文件224的文件入口知道(详细情况参照《补充》)。在BD-ROM盘101中,物理地址和逻辑地址实质上相同,因此在各数据块B[n]、D[n]、T[n]内,LBN也连续。因此,BD-ROM驱动器121不必使光拾取器进行寻址,就能够连续地读取各数据块B[n]、D[n]、T[n]。以下,将属于主TS的数据块B[n]称为“基本视区段”,将属于副TS的数据块D[n]称为“从属视区段”,将属于扩展流的数据块T[n]称为“扩展区段”。
进一步参照图11,区段群B[n]、D[n]、T[n]沿着BD-ROM盘101上的轨道连续地记录。特别是,在1个扩展区段T[n]的紧后,至少各2个基本视区段B[n+i]和从属视区段D[n+i]交替地连续配置(i=0、1)。将这样的区段群B[n+i]、D[n+i]的配置称为“交织配置”,将通过交织配置记录的一系列的区段群B[n+i]、D[n+i]称为“区段块”。各区段块能够作为文件SS223的1个区段EXTSS[n]访问。即,区段块B[n+i]、D[n+i]的尺寸和前端的LBN能够从文件SS223的文件入口知道。文件SS的各区段EXTSS[0]、EXTSS[1]、EXTSS[2]与文件2D221共有基本视区段B[n],与文件DEP222共有从属视区段D[n]。进而,将1个扩展区段T[n]和配置于其紧后的区段块B[n+i]、D[n+i]的组合称为“扩展区段块”。
[对于连续的扩展区段块的再现路径]
图12是表示对于3个连续的扩展区段块T[m]、D[m+i]、B[m+i](m=0、1、2、i=0、1)的3种再现路径1201、1202、1203的示意图。第一再现路径1201是对于文件2D221的再现路径,第二再现路径1202是对于文件SS223的再现路径,第三再现路径1203是对于扩展流文件224的再现路径。参照图12,在表示各再现路径1201-1203的图形中,直线表示由BD-ROM驱动器读取的区段的记录区域,曲线表示通过跳跃将数据的读取跳过的记录区域。
2D再现模式的再现装置102将文件2D221再现。因此,如第一再现路径1201所示,从图12所示的3个扩展区段块仅依次将基本视区段B[m+i]作为文件2D221的区段EXT2D[m+i]读取。具体地说,首先,读取开头的基本视区段B[0],其紧后的从属视区段D[1]的读取通过跳跃J2D而被跳过。接着,读取第2个基本视区段B[1],其紧后的扩展区段T[1]和从属视区段D[2]的读取通过跳跃J2D而被跳过。以后也同样,反复进行基本视区段的读取和跳跃。
3D再现模式的再现装置102将文件SS223再现。因此,如第二再现路径1202所示,从图12所示的3个扩展区段块将3个区段块D[m+i]、B[m+i]依次作为文件SS223的区段EXTSS[0]、EXTSS[1]、EXTSS[2]读取。具体地说,首先,连续读取开头的区段块D[0]、B[0]、D[1]、B[1],其紧后的扩展区段T[1]的读取通过跳跃J3D而被跳过。接着,连续读取第2个区段块D[2]、B[2]、D[2]、B[3],其紧后的扩展区段T[2]的读取通过跳跃J3D而被跳过。接着,连续读取第3个区段块D[4]、B[4]、D[5]、B[5]。然后,再现装置102利用片断信息文件将读取的文件SS223的区段EXTSS[0]、EXTSS[1]、…分离为从属视区段和基本视区段。
扩展再现模式的再现装置102将扩展流文件224与文件2D221一起再现。因此,如第三再现路径1203所示,从图12所示的3个扩展区段块将扩展区段T[m]作为扩展流文件224的区段EXT3[0]、EXT3[1]、EXT3[2]读取,将基本视区段B[m+i]作为文件2D221的区段EXT2D[0]、EXT2D[1]、EXT2D[2]读取。具体地说,首先读取开头的扩展区段T[0],将其紧后的从属视区段D[0]的读取通过跳跃JEX跳过。接着,读取开头的基本视区段B[0],将其紧后的从属视区段D[1]的读取通过跳跃JEX跳过。接着,连续读取第二个基本视区段B[1]和扩展区段T[1],将其紧后的从属视区段D[2]的读取通过跳跃JEX跳过。以下同样地,反复进行扩展区段T[m]和基本视区段B[m+i]的读取和跳跃。
BD-ROM驱动器121连续读取相邻的2个区段的情况下,实际上也如图12所示,在从前一区段的后端到下一区段的前端之间进行零扇区转移J0。“零扇区转移”是指2个连续的区段间的光拾取器的移动。在进行零扇区转移的期间(以下称为零扇区转移期间),光拾取器临时停止读取动作并待机。在该意义下,零扇区转移也可以看作“跳跃距离等于0扇区的跳跃”。零扇区转移期间的长度、即零扇区转移时间除了包括通过BD-ROM盘101的旋转进行的光拾取器的位置的移动时间以外,也可以还包括伴随着纠错处理的开销。所谓“伴随着纠错处理的开销”,是指当两个区段的边界与ECC块的边界不一致时、因进行两次使用该ECC块的纠错处理引起的多余的时间。在纠错处理中需要一个ECC块的整体。因而,当一个ECC块跨两个连续的区段时,在哪个区段的读取处理中都将该ECC块的整体读取而用于纠错处理。其结果,每当读取这些区段之一时,除了该区段以外还读取最大32扇区的多余的数据。通过该多余的数据的读取时间的合计、即32[扇区]×2048[字节]×8[位/字节]×2[次]/读取速度,来评价伴随着纠错处理的开销。另外,也可以通过以ECC块为单位构成各区段。这种情况下,各区段的尺寸等于ECC块的整数倍,所以能够将伴随着纠错处理的开销从零扇区转移时间中排除。
[区段块的构成]
在1个区段块中,第(i+1)个基本视区段B[m+i]和从属视区段D[m+i]具有同样的区段ATC时间。以下将这样的区段B[m+i]、D[m+i]的对称为“区段对”。“区段ATC时间”表示对1个区段内的源包赋予的ATS的范围的大小、即该区段的开头的源包和下一区段的开头的源包之间的ATS的差。该差与用ATC的值表示再现装置102将该区段内的全部源包从读缓冲器向系统目标解码器转送所需的时间而得到的值相等。使区段ATC时间一致的方法留待后述。“读缓冲器”是再现装置102内的缓存器,在将从BD-ROM盘101读取的区段向系统目标解码器发送的期间,将其临时保存。读缓冲器的详细情况留待后述。
在各区段对D[m+i]、B[m+i]中,位于开头的VAU属于同一3DVAU,特别是,包括表示同一3D影像的GOP的开头的图片。例如,从属视区段D[m+i]的前端包括右视视频流的P图片,基本视区段B[m+i]的前端包括基本视视频流的I图片。该右视视频流的P图片所表示的2D影像与该基本视视频流的I图片所表示的2D影像一起表示1个3D影像。特别是,该P图片如图7所示,将该I图片作为参照图片而被压缩。因此,3D再现模式的再现装置102从任一区段对D[m+i]、B[m+i]都能够开始3D影像的再现。即,能够进行中途再现等、需要视频流的随机访问的处理。
[扩展区段与区段块之间的关系]
图13是表示1个扩展区段T[m](m=0、1、2、…)和配置于其紧后的区段块B[k]、D[k](k=m、m+1、…、m+n-1)之间的关系的示意图。如图13所示,1个区段块分别包含n个基本视区段B[k]和n个从属视区段D[k]。只要数n为2以上,也可以按每个区段块不同。将数n设为2以上的理由留待后述。扩展区段T[m]包括应该与后续的n个基本视区段B[m+i](i=0、1、…、n-1)组合利用的扩展数据Ti。第(i+1)个扩展数据Ti是针对第(m+i+1)个基本视区段B[m+i]中包含的图片的分辨率扩展信息,在将这些全HD的图片扩展到4K2K的图片时利用。在中途再现等的随机访问中,首先读取包含针对再现开始位置的基本视图片的扩展数据的扩展区段。此外,扩展区段T[m]的区段ATC时间与后续的n个基本视区段B[m+i]整体的区段ATC时间相等。
如图13所示,在第(m+1)个扩展区段块中,将扩展区段T[m]配置在区段块D[m+i]、B[m+i](i=0、1、…、n-1)之前。其理由为,如下述那样,该扩展区段T[m]的位速率(比特率)比构成该区段块的从属视区段D[m+i]和基本视区段B[m+i]的任一个都小此外,在各区段对中,从属视区段D[k]配置在基本视区段B[k]之前。其理由为,如下述那样,该从属视区段D[k]与该基本视区段B[k]相比,通常位速率较小。
第(k+1)个从属视区段D[k]包括右视图片的情况下,该图片将第(k+1)个基本视区段B[k]中包含的基本视图片作为参照图片来压缩。另一方面,该从属视区段D[k]包含深度图的情况下,该深度图的每1像素的数据量、即进深值的位数通常小于基本视图片的每1像素的数据量、即颜色坐标值与α值的位数之和。此外,如图3所示,主TS与副TS不同,除了主视频流之外,还包含主音频流等基本流。因此,从属视区段D[k]的位速率通常为该基本视区段B[k]的位速率以下。在两区段D[k]、B[k]中,区段ATC时间相等,所以从属视区段D[k]的尺寸SEXT2[k]通常为基本视区段B[k]的尺寸SEXT1[k]以下:SEXT2[k]≤SEXT1[k]。
扩展区段T[m]的位速率由图4所示的差分像素信息403的每1帧的数据量决定。差分像素信息403只是通过从全HD的帧进行插值而得到的像素数据和本来的4K2K的帧中的像素数据之间的差分。因此,差分像素信息403的数据量即使将n帧的量相加,也充分小于全HD的1帧的数据量。因此,扩展区段T[m]的尺寸SEXT3[k]通常不超过任一从属视区段D[k]的尺寸SEXT2[k]:SEXT3[k]≤SEXT2[k]。
在各扩展区段块的开头和各区段对中,将区段按照位速率从小到大的顺序配置的优点如下。3D再现模式的再现装置102在读取位于各区段块的开头的区段时、或读取再现开始位置的区段时,直到将该区段全部读入到读缓冲器为止,不将该区段传递给系统目标解码器。在该读入完成后,再现装置102将该区段与接着的区段并行地传递给系统目标解码器。将该处理称作“预装载”。扩展再现模式的再现装置102也同样,在各扩展区段的读取中进行预装载。
预装载的技术的意义如下。在L/R模式中,在从属视区段的解码中需要基本视图片。因而,为了将用来在输出处理之前保持解码后的图片的缓冲器维持为所需最小限度的容量,优选的是将这些区段对同时供给到系统目标解码器中进行解码。另一方面,在深度模式中,需要从解码后的基本视图片和深度图的对生成表示视差图像的视频平面的对的处理。因而,为了将用来在该处理之前保持解码后的数据的缓冲器维持为所需最小限度的容量,优选的是将区段对同时供给到系统目标解码器中进行解码。在扩展再现模式中,需要利用分辨率扩展信息将解码后的基本视图片扩展为4K2K的视频帧的处理。因此,为了将用于在该处理之前保持解码后的数据的缓冲器维持为所需最小限度的容量,优选的是将扩展区段和基本视区段同时供给到系统目标解码器中进行解码。因此,在3D再现模式和扩展再现模式的任一个中都进行预装载。由此,再现装置102能够将最初读取的区段和下一区段从读缓冲器向系统目标解码器同时供给。
在预装载中,将最初读取的区段的整体储存到读缓冲器中。因而,在读缓冲器中至少要求等于该区段的尺寸的容量。这里,为了将读缓冲器的容量维持为最小限度,应当尽可能缩小作为预装载的对象的区段的尺寸。因此,如图13所示,将数据量较小的区段配置在前边。由此,能够将读缓冲器的容量维持为最小限度。
2-6:需要长跳跃的地方的附近的区段的配置
BD-ROM盘101是多层盘,所以有时一系列的多路复用流数据跨越层边界而连续地记录。“层边界”是指,在多层盘的逻辑地址空间中,属于1张记录层的部分和属于其他记录层的部分之间的边界。此外,即使BD-ROM盘101是单层盘,也有时一系列的多路复用流数据夹着其他数据的记录区域而记录。这些情况下,BD-ROM驱动器读取该多路复用流数据时,为了跨过层边界或其他数据的记录区域而进行长跳跃。“长跳跃”是在跳跃之中寻址时间长的跳跃的总称,具体而言,是指(i)伴随着记录层的跳跃及(ii)跳跃距离超过规定的阈值的跳跃。所谓“跳跃距离”,是指在跳跃期间中读取处理被跳过的BD-ROM盘101上的区域的长度。跳跃距离用该区域中包含的扇区数、或该区域所能够保存的数据量来表示。上述(ii)的阈值在BD-ROM的标准中例如为40000扇区=约78.1MB。但是,该阈值取决于BD-ROM盘的种类和与BD-ROM驱动器的读取处理有关的性能。长跳跃特别包括焦点跳跃和轨道跳跃。“焦点跳跃”是伴随着记录层的切换的跳跃,包括使光拾取器的焦点距离变化的处理。“轨道跳跃”包括使光拾取器向BD-ROM盘101的半径方向移动态处理。
在BD-ROM盘101中,在层边界等需要长跳跃的地方的紧前或紧后,以将3D再现模式下的再现路径从2D再现模式和扩展再现模式的各再现路径分离的方式配置区段。这样的配置模式例如有下述的配置1和配置2。以下,为了便于说明,设想配置1、2分别在记录于BD-ROM盘101的层边界的紧前和紧后的区段群的双方中采用的情况。另外,区段群的记录区域在取代层边界而通过超过规定的扇区数(例如40000扇区)的其他数据的记录区域分离的情况下,以下的说明也同样成立。
[配置1]
图14是表示记录于BD-ROM盘101的层边界LB的前后的区段群的配置1及对于该区段群的各模式下的再现路径的示意图。参照图14,位于层边界LB之前的第一记录层L0包括第一共用区间1401,位于层边界LB之后的第二记录层L1包括第二共用区间1402。“共用区间”1401、1402是指扩展区段块连续配置的扇区群,是通过2D再现模式、3D再现模式及扩展再现模式的任一个再现装置都能够访问的区域。在各扩展区段块中,在1个扩展区段T的紧后,2个区段对D、B构成交织配置。
进一步参照图14,第一记录层L0在第一共用区间1401和层边界LB之间包括第一扩展数据专用区间1411、第一平面视觉影像专用区间1412及第一立体视觉影像专用区间1413。在第一扩展数据专用区间1411中配置有1个扩展区段T,在第一平面视觉影像专用区间1412中配置有1个基本视区段B2D,在第一立体视觉影像专用区间1413中配置有2个区段对D、B3D。第一平面视觉影像专用区间1412内的基本视区段B2D是第一立体视觉影像专用区间1413内的基本视区段B3D的整体的复制,它们在位单位上(bit-for-bit)一致。即,同一数据被二重地记录。第一扩展数据专用区间1411内的扩展区段T包括应该与第一平面视觉影像专用区间1412内的基本视区段B2D组合利用的扩展数据。因此,在该扩展区段T和该基本视区段B2D中,区段ATC时间相等。第一扩展数据专用区间1411内的扩展区段T能够作为扩展流文件的1个区段EXT3[1]访问。第一平面视觉影像专用区间1412内的基本视区段B2D能够作为文件2D的1个区段EXT2D[2]访问。第一立体视觉影像专用区间1413内的基本视区段B3D与从属视区段D一起,能够作为文件SS的1个区段EXTSS[1]访问。
第二记录层L1在层边界LB和第二共用区间1402之间包括第二扩展数据专用区间1421、第二平面视觉影像专用区间1422及第二立体视觉影像专用区间1423。在第二扩展数据专用区间1421中配置有1个扩展区段T,在第二平面视觉影像专用区间1422中配置有1个基本视区段B2D,在第二立体视觉影像专用区间1423中配置有1个区段对D、B3D。第二平面视觉影像专用区间1422内的基本视区段B2D是第二立体视觉影像专用区间1423内的基本视区段B3D的复制,与其在位单位上一致。即,同一数据被二重地记录。第二扩展数据专用区间1421内的扩展区段T包括应该与第二平面视觉影像专用区间1422内的基本视区段B2D组合利用的扩展数据。因此,在该扩展区段T和该基本视区段B2D中,区段ATC时间相等。第二扩展数据专用区间1421内的扩展区段T能够作为扩展流文件的1个区段EXT3[2]访问。第二平面视觉影像专用区间1422内的基本视区段B2D能够作为文件2D的1个区段EXT2D[3]访问。第二立体视觉影像专用区间1423内的基本视区段B3D与从属视区段D一起,能够作为文件SS的1个区段EXTSS[2]访问。
如图14所示,在配置1中,在扩展数据专用区间1411、1421的紧后配置有平面视觉影像专用区间1412、1422,进而在其紧后配置有立体视觉影像专用区间1413、1423。
2D再现模式的再现装置102将文件2D再现。因此,从图14所示的区段群,如2D再现模式下的再现路径1431所示,读取文件2D的区段群EXT2D[0]-EXT2D[5]。具体地说,首先,在第一共用区间1401中,将2个基本视区段B作为文件2D的2个区段EXT2D[0]、EXT2D[1]读取,将位于它们之间的从属视区段D的读取跳过。接着,将向第一扩展数据专用区间1411的访问跳过,从其紧后的第一平面视觉影像专用区间1412将基本视区段B2D作为文件2D的1个区段EXT2D[2]读取。在其紧后发生长跳跃JLY,读取位置越过第一立体视觉影像专用区间1413、层边界LB及第二扩展数据专用区间1421而移动。接着,从第二平面视觉影像专用区间1422将基本视区段B2D作为文件2D的1个区段EXT2D[3]读取。在其紧后发生跳跃J2D,将向第二立体视觉影像专用区间1423的访问跳过,并且将第二共用区间1402内的开头的扩展区段T和从属视区段D的读取跳过。进而,在第二共用区间1402中,将2个基本视区段B作为文件2D的2个区段EXT2D[4]、EXT2D[5]读取,将位于它们之间的从属视区段D的读取跳过。
3D再现模式的再现装置102将文件SS再现。因此,从图14所示的区段群,如3D再现模式下的再现路径1432所示,读取文件SS的区段群EXTSS[0]-EXTSS[3]。具体地说,首先,从第一共用区间1401将区段块D、B、D、B作为文件SS的1个区段EXTSS[0]连续读取。在其紧后发生跳跃J3D,将向第一扩展数据专用区间1411和第一平面视觉影像专用区间1412的访问跳过。接着,从第一立体视觉影像专用区间1413将区段块D、B3D、D、B3D作为文件SS的1个区段EXTSS[1]连续读取。在其紧后发生长跳跃JLY,读取位置跨过层边界LB、第二扩展数据专用区间1421及第二平面视觉影像专用区间1422而移动。接着,从第二立体视觉影像专用区间1423将区段对D、B3D作为文件SS的1个区段EXTSS[2]连续读取。进而,在第二共用区间1402中,将扩展区段T的读取跳过,将后续的区段块D、B、D、B作为文件SS的1个区段EXTSS[3]连续读取。
扩展再现模式的再现装置102将扩展流文件和文件2D再现。因此,从图14所示的区段群,如扩展再现模式下的再现路径1433所示,读取扩展流文件的区段群EXT3[0]-EXT3[3]和文件2D的区段群EXT2D[0]-EXT2D[5]。具体地说,首先,在第一共用区间1401中,读取扩展区段T=EXT3[0],将2个基本视区段B作为文件2D的2个区段EXT2D[0]、EXT2D[1]读取,将2个从属视区段D的读取跳过。接着,从第一扩展数据专用区间1411读取扩展区段T=EXT3[1],从第一平面视觉影像专用区间1412将基本视区段B2D作为文件2D的1个区段EXT2D[2]读取。在其紧后发生长跳跃JLY,读取位置越过第一立体视觉影像专用区间1413和层边界LB而移动。接着,从第二扩展数据专用区间1421读取扩展区段T=EXT3[2],从第二平面视觉影像专用区间1422将基本视区段B2D作为文件2D的1个区段EXT2D[3]读取。在其紧后发生跳跃JEX,将向第二立体视觉影像专用区间1423的访问跳过。进而,在第二共用区间1402中,读取扩展区段T=EXT3[3],将2个基本视区段B作为文件2D的2个区段EXT2D[4]、EXT2D[5]读取,将2个从属视区段D的读取跳过。
[配置2]
图15是表示记录于BD-ROM盘101的层边界LB的前后的区段群的配置2及对于该区段群的各模式下的再现路径的示意图。将图15与图14比较可知,配置2与配置1的不同点仅在于,更换了平面视觉影像专用区间1512、1522和立体视觉影像专用区间1513、1523的位置。即,在配置2中,在扩展数据专用区间1411、1421的紧后配置有立体视觉影像专用区间1513、1523,进而在其紧后配置有平面视觉影像专用区间1512、1522。
如2D再现模式下的再现路径1431所示,2D再现模式的再现装置102从图15所示的区段群读取文件2D的区段群EXT2D[0]-EXT2D[5]。具体地说,首先,在第一共用区间1401中,将2个基本视区段B作为文件2D的2个区段EXT2D[0]、EXT2D[1]读取,将位于它们之间的从属视区段D的读取跳过。在其紧后发生跳跃J2D,将向第一扩展数据专用区间1411和第一立体视觉影像专用区间1513的访问跳过。接着,从第一平面视觉影像专用区间1512将基本视区段B2D作为文件2D的1个区段EXT2D[2]读取。在其紧后发生长跳跃JLY,读取位置跨过层边界LB、第二扩展数据专用区间1421及第二立体视觉影像专用区间1523而移动。接着,从第二平面视觉影像专用区间1522将基本视区段B2D作为文件2D的1个区段EXT2D[3]读取。接着,在第二共用区间1402中,将扩展区段T和2个从属视区段D的读取跳过,将2个基本视区段B作为文件2D的2个区段EXT2D[4]、EXT2D[5]读取。
如3D再现模式下的再现路径1532所示,3D再现模式的再现装置102从图15所示的区段群读取文件SS的区段群EXTSS[0]-EXTSS[3]。具体地说,首先,从第一共用区间1401将区段块D、B、D、B作为文件SS的1个区段EXTSS[0]连续读取。接着,将向第一扩展数据专用区间1411的访问跳过,从第一立体视觉影像专用区间1513将区段块D、B3D、D、B3D作为文件SS的1个区段EXTSS[1]连续读取。在其紧后发生长跳跃JLY,读取位置跨过第一平面视觉影像专用区间1512、层边界LB及第二扩展数据专用区间1421而移动。接着,从第二立体视觉影像专用区间1523将区段对D、B3D作为文件SS的1个区段EXTSS[2]连续读取。在其紧后发生跳跃J3D,将向第二平面视觉影像专用区间1522的访问跳过。进而,在第二共用区间1402中,将扩展区段T的读取跳过,将后续的区段块D、B、D、B作为文件SS的1个区段EXTSS[3]连续读取。
如扩展再现模式下的再现路径1533所示,扩展再现模式的再现装置102从图15所示的区段群读取扩展流文件的区段群EXT3[0]-EXT3[3]和文件2D的区段群EXT2D[0]-EXT2D[5]。具体地说,首先,在第一共用区间1401中,读取扩展区段T=EXT3[0],将2个基本视区段B作为文件2D的2个区段EXT2D[0]、EXT2D[1]读取,将2个从属视区段D的读取跳过。接着,从第一扩展数据专用区间1411读取扩展区段T=EXT3[1]。在其紧后发生跳跃JEX1,将向第一立体视觉影像专用区间1513的访问跳过。接着,从第一平面视觉影像专用区间1512将基本视区段B2D作为文件2D的1个区段EXT2D[2]读取。在其紧后发生长跳跃JLY,读取位置越过层边界LB而移动。接着,从第二扩展数据专用区间1421读取扩展区段T=EXT3[2]。在其紧后发生跳跃JEX2,将向第二立体视觉影像专用区间1523的访问跳过。进而,从第二平面视觉影像专用区间1522将基本视区段B2D作为文件2D的1个区段EXT2D[3]读取。在第二共用区间1402中,读取扩展区段T=EXT3[3],将2个基本视区段B作为文件2D的2个区段EXT2D[4]、EXT2D[5]读取,将2个从属视区段D的读取跳过。
如图14、15所示,在2D再现模式中,平面视觉影像专用区间被访问,但是向扩展数据专用区间和立体视觉影像专用区间的访问被跳过。在3D再现模式下,立体视觉影像专用区间被访问,但是向扩展数据专用区间和平面视觉影像专用区间的访问被跳过。在扩展再现模式下,扩展数据专用区间和平面视觉影像专用区间被访问,但是像立体视觉影像专用区间的访问被跳过。这样,在配置1、2中,在长跳跃JLY的紧前和紧后,2D再现模式和扩展再现模式各自的再现路径通过平面视觉影像专用区间,另一方面,3D再现模式下的再现路径通过立体视觉影像专用区间。即,3D再现模式下的再现路径从2D再现模式和扩展再现模式下的各再现路径分离。另外,立体视觉影像专用区间内的基本视区段B3D的整体与平面视觉影像专用区间内的基本视区段B2D的整体在位单位上一致,所以在任一再现模式下,再现的基本视视频帧相等。
2-7:对于区段的尺寸的条件
基本视区段B、从属视区段D及扩展区段T分别由校准单元单位构成。因此,各区段的尺寸等于校准单元的尺寸(=6144字节=约6KB)的倍数。这种情况下,区段间的边界与扇区间的边界一致,所以BD-ROM驱动器在任一区段中都能够将其整体可靠地连续读取。
如图12所示,在2D再现模式、3D再现模式及扩展再现模式的任一个中,再现装置102都进行跳跃。因此,在任一再现模式中,在无缝再现影像时,为了在跳跃的期间读缓冲器不发生下溢,必须设计各区段的尺寸的下限、即最小区段尺寸。
2-7-A:2D再现模式下的条件
图16是表示2D再现模式的再现装置102内的再现处理系统的框图。参照图16,该再现处理系统包括BD-ROM驱动器1601、读缓冲器1602、以及系统目标解码器1603。BD-ROM驱动器1601从BD-ROM盘101读取文件2D的区段,以读取速度RUD2D向读缓冲器1602转送。读缓冲器1602是再现装置102中内置的缓存器,从BD-ROM驱动器1601接收区段并储存。系统目标解码器1603从储存在读缓冲器1602内的各区段以平均转送(传送)速度REXT2D读取源包,解码为影像数据VD和声音数据AD。
平均转送速度REXT2D等于系统目标解码器1603从读缓冲器1602内的各源包提取TS包的处理的平均速度的192/188倍。这里,系数192/188等于源包与TS包之间的字节数的比。平均转送速度REXT2D通常用位/秒表示,具体而言,等于以位为单位表示的区段的尺寸用区段ATC时间除时的值。“以位为单位表示的区段的尺寸”等于该区段内的源包数与每一个源包的位数(=192[字节]×8[位/字节])的乘积。平均转送速度REXT2D一般按照每个区段而不同。平均转送速度REXT2D的最大值RMAX2D等于文件2D的位速率的192/188倍。对系统目标解码器1603要求的TS包的处理速度的最高值、即“系统速率”RTS设定为等于文件2D的位速率。系统速率RTS通常以位/秒(bps)表示,所以等于以字节/秒(Bps)表示的主TS的记录速度(TS recordingrate)的8倍。
读取速度RUD2D通常用位/秒表示,设定为比平均转送速度REXT2D的最高值RMAX2D高的值、例如54Mbps:RUD2D>RMAX2D。由此,在BD-ROM驱动器1601从BD-ROM盘101读取一个区段的期间,防止伴随着系统目标解码器1603的解码处理而出现的读缓冲器1602的下溢。
图17(a)是表示在2D再现模式下的动作过程中的、储存在读缓冲器1602中的数据量DA的变化的曲线图。图17(b)是表示针对再现对象的扩展区段块1710的2D再现模式下的再现路径1720的示意图。参照图17(b),按照再现路径1720,从BD-ROM盘101向读缓冲器1602读取扩展区段块1710内的各基本视区段B[m](m=n、n+1、n+2。数n为0以上的整数)作为一个文件2D的1个区段EXT2D[m]。参照图17(a),在各区段EXT2D[n]的读取期间PR2D[n]中,储存数据量DA以等于读取速度RUD2D与平均转送速度REXT2D[n]之间的差RUD2D-REXT2D[n]的速度增加。另一方面,在两个连续的2D区段EXT2D[n]、EXT2D[n+1]之间发生跳跃J2D[n]。在该跳跃期间PJ2D[n]中,从属视区段D[n+1]的读取被跳过,所以从BD-ROM盘101的数据读取停止。因而,在跳跃期间PJ2D[n]中,储存数据量DA以平均转送速度REXT2D[n]减少。
由BD-ROM驱动器1601进行的读取/转送动作实际上并不是由图17(a)的曲线表示的连续的动作,而是断续的动作。由此,在各区段的读取期间PR2D[n]中防止储存数据量DA超过读缓冲器1602的容量、即读缓冲器1602的上溢(溢出)。即,图17(a)的曲线是将实际上是阶段状的增减近似地表示为直线性的增减的曲线。
为了从图17(b)所示的区段块1710无缝地再现全HD的2D影像,只要满足以下的2个条件即可:第一,文件2D的各区段EXT2D[n]的尺寸SEXT2D[n]满足下式(1)。第二,文件2D的区段的间隔为规定的上限以下。
[文件2D的区段的最小区段尺寸]
在各跳跃期间PJ2D[n]中,必须持续从读缓冲器1602向系统目标解码器1603供给数据,对解码器1603确保连续的输出。为此,文件2D的区段的尺寸必须满足如下的条件1。
各区段EXT2D[n]的尺寸SEXT2D[n]等于从该读取期间PR2D[n]跨下一跳跃期间PJ2D[n]从读缓冲器1602向系统目标解码器1603转送的数据量。这种情况下,如图17(a)所示,储存数据量DA在该跳跃期间PJ2D[n]结束时,不低于该读取期间PR2D[n]的开始时的量。即,在各跳跃期间PJ2D[n]中,持续从读缓冲器1602向系统目标解码器1603供给数据,特别是读缓冲器1602不发生下溢。在此,读取期间PR2D[n]的长度等于将区段EXT2D[n]的尺寸SEXT2D[n]除以读取速度RUD2D而得到的值SEXT2D[n]/RUD2D。因此,条件1表示如下的情况。文件2D的各区段EXT2D[n]的最小区段尺寸以下式(1)的右边表示:
[数1]
在式(1)中,跳跃时间TJUMP-2D[n]为跳跃期间PJ2D[n]的长度,以秒为单位表示。另一方面,读取速度RUD2D和平均转送速度REXT2D都以位/秒表示。因此,在式(1)中,将平均转送速度REXT2D除以数“8”,将区段的尺寸SEXT2D[n]的单位从位变换为字节。即,区段的尺寸SEXT2D[n]以字节为单位表示。函数CEIL表示将括弧内的数值的小数点以下的尾数向上取整的操作。
从图12所示的2D再现模式的再现路径1201可知,在2D再现模式下频繁发生跳跃。因此,为了在跳跃中更加可靠地进行无缝再现,优选为在式(1)的右边所示的最小区段尺寸上追加富余量(margin)。追加富余量的方法有以下3种。
第一方法为,将式(1)的右边的分母中包含的平均转送速度REXT2D置换为其最高值RMAX2D。即,文件2D的区段的尺寸SEXT2D代替式(1)而满足下式(1A):
[数2]
第二方法为,将文件2D的区段的区段ATC时间延长ΔT秒。即,该区段的尺寸SEXT2D取代式(1)而满足下式(1B)或(1C):
[数3]
延长时间ΔT也可以根据GOP的长度、或者每规定时间可再现的区段数的上限决定。例如,如果GOP的长度是最大1秒,则设定为ΔT=1秒。另一方面,如果每规定时间[秒]可再现的区段数的上限是k个,则设定为ΔT=规定时间/k[秒]。
第三方法是通过将包含在式(1)的右边中的平均转送速度REXT2D全部替换为其最高值RMAX2D。即,2D区段的尺寸SEXT2D取代式(1)而满足下式(1D):
[数4]
在第三方法中,可以对最小区段尺寸追加比第一方法更大的富余量。但是,另一方面,文件2D的位速率低的情况下区段的尺寸也较大,所以必须对读缓冲器确保充分大的容量。因此,需要富余量的大小和读缓冲器的利用效率的权衡。
[文件2D的区段的间隔]
由于读缓冲器1602的容量是有限的,所以跳跃时间TJUMP-2D[n]的最大值受到限制。即,即使在跳跃期间PJ2D[n]的紧前面储存数据量DA充满了读缓冲器1602的容量,如果跳跃时间TJUMP-2D[n]过长,也有在跳跃期间PJ2D[n]中储存数据量DA达到0而发生读缓冲器1602的下溢的危险性。以下,将在从BD-ROM盘101向读缓冲器1602的数据供给中断的状态下储存数据量DA从读缓冲器1602的容量达到0的时间、即能够保证无缝再现的跳跃时间TJUMP-2D的最大值称作“最大跳跃时间TJUMP_MAX”。
在光盘的标准中通常跳跃距离与最大跳跃时间之间的关系由光盘驱动器的访问速度等决定。图18是关于BD-ROM盘的跳跃距离SJUMP与最大跳跃时间TJUMP_MAX之间的对应表的一例。参照图18,跳跃距离SJUMP以扇区为单位表示,最大跳跃时间TJUMP_MAX以m秒为单位表示。1扇区等于2048字节。当跳跃距离SJUMP属于1~10000扇区、10001~20000扇区、20001~40000扇区、40001扇区~1/10行程(=64000扇区)、以及1/10行程以上的各范围时,最大跳跃时间TJUMP_MAX分别是200m秒、300m秒、350m秒、700m秒、以及1400m秒。进而,跳跃距离SJUMP等于0扇区时的最大跳跃时间TJUMP_MAX等于零扇区转移时间TJUMP0=0m秒。
因为以上,应代入到式(1)中的跳跃时间TJUMP-2D[n]是由BD-ROM盘的标准按不同跳跃距离规定的最大跳跃时间TJUMP_MAX。具体而言,在图18的表中,将与文件2D的2个连续的区段EXT2D[n]、EXT2D[n+1]间的跳跃距离SJUMP对应的最大跳跃时间TJUMP_MAX作为跳跃时间TJUMP-2D[n]代入到式(1)中。在此,该跳跃距离SJUMP等于从第(n+1)个区段EXT2D[n]的后端到第(n+2)个区段EXT2D[n+1]的前端的扇区数。
为了削减应该在2D再现模式的再现装置中确保的读缓冲器的容量,优选为使文件2D的最小区段尺寸尽可能地小。因此,应该代入式(1)的跳跃时间TJUMP-2D[n]在图18的表所规定的最大跳跃时间TJUMP-MAX中,被设定为仅次于0m秒的较小的值200m秒。由此,文件2D的区段EXT2D[n]、EXT2D[n+1]间的跳跃距离SJUMP、即这些区段EXT2D[n]、EXT2D[n+1]的间隔最大被限制到10000扇区。像该跳跃距离SJUMP的最大值那样,将跳跃时间TJUMP等于最大跳跃时间TJUMP-MAX时的跳跃距离SJUMP称为“最大跳跃距离SJUMP-MAX”。
在各区段块内,文件2D的区段的间隔被限制为最大跳跃距离SJUMP-MAX=10000扇区以下。在此,该间隔等于从属视区段的尺寸。因此,该从属视区段的尺寸被限制为能够保存于最大跳跃距离SJUMP-MAX=10000扇区的区域的数据量、约19.5MB(1MB=1024×1024字节)以下。
如图12所示,在2个相邻的区段块之间配置有扩展区段。因此,在从位于前面的区段块的后端的基本视区段到位于下一区段块的前端的基本视区段的跳跃中,除了从属视区段的读取,扩展区段的读取也必须跳过。因此,将文件2D的区段代入式(1),为了满足式(1A)-(1D)的某一个,对该区段施加富余量。这种情况下,区段块间的最大跳跃距离SJUMP-MAX扩大到20000扇区。即,扩展区段和从属视区段的尺寸之和为20000扇区以下即可。
2-7-B:3D再现模式下的条件
图19是表示3D再现模式的再现装置102内的再现处理系统的框图。参照图19,该再现处理系统包括BD-ROM驱动器1901、开关1902、2个读缓冲器1911、1912、以及系统目标解码器1903。BD-ROM驱动器1901从BD-ROM盘101读取文件SS的区段,以读取速度RUD3D向开关1902转送。开关1902将文件SS的各区段分离为基本视区段和从属视区段。该分离处理的详细情况留待后述。第1读缓冲器1911及第2读缓冲器1912(以下简称为RB1及RB2)是再现装置102中内置的缓存器,储存由开关1902分离的各区段。RB11911保存基本视区段,RB21912保存从属视区段。系统目标解码器1903以第一转送速度REXT1从RB11911内的各基本视区段读取源包,以第二视转送速度REXT2从RB21912内的各从属视区段读取源包。系统目标解码器1903还将读取的基本视区段与从属视区段的的对解码为影像数据VD和声音数据AD。
第一转送速度REXT1等于系统目标解码器1903从RB11911内的各源包提取TS包的处理的平均速度的192/188倍。第一转送速度REXT1的最高值RMAX1等于对文件2D的系统速率RTS1的192/188倍,RMAX1=RTS1×192/188。该系统速率RTS1通常以位/秒(bps)表示,所以等于以字节/秒(Bps)表示的主TS的记录速度的8倍。第二转送速度REXT2等于系统目标解码器1903从RB21912内的各源包提取TS包的处理的平均速度的192/188倍。第二转送速度REXT2的最高值RMAX2等于对文件DEP的系统速率RTS2的192/188倍。该系统速率REXT2通常以位/秒(bps)表示,所以等于以字节/秒(Bps)表示的主TS的记录速度的8倍。各转送速度REXT1、REXT2通常用位/秒表示,具体而言,等于将以位为单位表示的各区段的尺寸用区段ATC时间除时的值。区段ATC时间等于将该区段内的源包全部从RB11911或RB21912向系统目标解码器1903转送所需要的时间。
读取速度RUD3D通常用位/秒表示,设定为比转送速度REXT1、REXT2中的任一个的最高值RMAX1、RMAX2都高的值、例如72Mbps:RUD3D>RMAX1、RUD3D>RMAX2。由此,在由BD-ROM驱动器1901从BD-ROM盘101读取文件SS的一个区段的期间,防止伴随着系统目标解码器1903的解码处理而产生的RB11911和RB21912的下溢。
[从1个扩展区段块的无缝再现]
图20(a)、图20(b)是表示当从一个扩展区段块无缝地再现3D影像时、储存在RB11911、RB21912中的数据量DA1、DA2的变化的曲线图。图20(c)是表示针对该扩展区段块2010的3D再现模式下的再现路径2020的示意图。参照图20(c),按照再现路径2020,将扩展区段块2010中的开头的扩展区段以外的部分作为文件SS的1个区段一起读取。然后,通过开关1902从该区段分离为从属视区段D[k]和基本视区段B[k](k=……、n、n+1、n+2、……)。
由BD-ROM驱动器1901进行的读取/转送动作实际上不是由图20(a)、图20(b)的各曲线表示的连续的动作,而是断续的动作。由此,在各区段D[k]、B[k]的读取期间PRD[k]、PRB[k]中,防止RB11911、RB21912的上溢。即、图20(a)、图20(b)的各曲线是将实际是阶段状的增减近似地表示为直线性的增减的曲线。
参照图20(a)、图20(b),在第(n+1)个从属视区段D[n]的读取期间PRD[n]中,RB21912的储存数据量DA2以等于读取速度RUD3D与第二转送速度REXT2[n]之间的差RUD3D-REXT2[n]的速度增加,RB11911的储存数据量DA1以第一转送速度REXT1[n-1]减少。参照图20(c),从第(n+1)个从属视区段D[n]到第(n+1)个基本视区段B[n]发生零扇区转移J0[2n]。如图20(a)、图20(b)所示,在零扇区转移期间PJ0[n]中,RB11911的储存数据量DA1以第一转送速度REXT1[n-1]持续减少,RB21912的储存数据量DA2以第二转送速度REXT2[n]减少。
再参照图20(a)、图20(b),在第(n+1)个基本视区段B[n]的读取期间PRB[n]中,RB11911的储存数据量DA1以等于读取速度RUD3D与第一转送速度REXT1[n]之间的差RUD3D-REXT1[n]的速度增加。另一方面,RB21912的储存数据量DA2以第二转送速度REXT2[n]持续减少。再参照图20(c),从该基本视区段B[n]到下个从属视区段D[n+1]发生零扇区转移J0[2n+1]。如图20(a)、图20(b)所示,在零扇区转移期间PJ0[2n+1]中,RB11911的储存数据量DA1以第一转送速度REXT1[n]减少,RB21912的储存数据量DA2以第二转送速度REXT2[n]持续减少。
为了从一个扩展区段块2010无缝地再现3D影像,属于该扩展区段块的区段B[n]、D[n]的各尺寸只要满足以下的条件2、3就可以。
第(n+1)个基本视区段B[n]的尺寸SEXT1[n]至少等于从该读取期间PRB[n]到下个基本视区段B[n+1]的读取期间PRB[n+1]的紧前面为止从RB11911向系统目标解码器1903转送的数据量。在此情况下,如图20(a)所示,在下个基本视区段B[n+1]的读取期间PRB[n+1]的紧前面,RB11911的储存数据量DA1不低于在第(n+1)个基本视区段B[n]的读取期间PRB[n]紧前面的量。这里,第(n+1)个基本视区段B[n]的读取期间PRB[n]的长度等于将该基本视区段B[n]的尺寸SEXT1[n]用读取速度RUD3D除的值SEXT1[n]/RUD3D。另一方面,第(n+2)个从属视区段D[n+1]的读取期间PRD[n+1]的长度等于将该从属视区段D[n+1]的尺寸SEXT2[n+1]用读取速度RUD3D除后的值SEXT2[n+1]/RUD3D。因而,条件2表示下面的情况。第(n+1)个基本视区段B[n]的最小区段尺寸由下式(2)的右边表示:
[数5]
第(n+1)个从属视区段D[n]的尺寸SEXT2[n]至少等于在从其读取期间PRD[n]到下个从属视区段D[n+1]的读取期间PRD[n+1]的紧前面为止从RB21912向系统目标解码器1903转送的数据量。在此情况下,如图20(b)所示,在下个从属视区段D[n+1]的读取期间PRD[n+1]的紧前面,RB21912的储存数据量DA2不低于第(n+1)个从属视区段D[n]的读取期间PRD[n]紧前面的量。这里,第(n+1)个从属视区段D[n]的读取期间PRD[n]的长度等于将该从属视区段D[n]的尺寸SEXT2[n]用读取速度RUD3D除后的值SEXT2[n]/RUD3D。因而,条件3表示下面的情况。第(n+1)个从属视区段D[n]的最小区段尺寸由下式(3)的右边表示:
[数6]
[从连续的扩展区段块的无缝再现]
图21(b)是表示第(n+1)个扩展区段块2101和第(n+2)个区段块2102、以及针对这些区段块2101、2102与3D再现模式下的再现路径2120的示意图。参照图21(b),文件SS的两个连续的区段EXTSS[n]、EXTSS[n+1]被扩展区段T1分离。按照再现路径2110,先将第(n+1)个区段EXTSS[n]一起读取,在其之后立刻发生跳跃J3D。接着,将第(n+2)个区段EXTSS[n+2]的区段EXTSS[n+1]一起读取。
图21(a)是表示当从两个连续的扩展区段块2101、2102连续无缝地再现3D影像时、储存在RB11911、RB21912中的数据量DA1、DA2的变化、以及它们的和DA1+DA2的变化的曲线群。在图21(a)中,单点划线的曲线表示储存在RB11911中的数据量DA1的变化,虚线的曲线表示储存在RB21912中的数据量DA2的变化,实线的曲线表示两数据量的和DA1+DA2的变化。这里,实线的曲线是将每读取一个区段而发生的细微的变化平均地直线性近似的曲线。进而,将零扇区转移时间TJUMP0看作“0m秒”。
参照图21(a),在从第(n+1)个扩展区段2101将区段块EXTSS[n]向RB11911、RB21912读取的期间PRBLK[n]中,储存在它们中的数据量DA1、DA2也增大。具体而言,在该读取期间PRBLK[n]中,储存数据量的和DA1+DA2以等于读取速度RUD3D与平均转送速度REXTSS[n]之间的差RUD3D-REXTSS[n]的速度增加。该平均转送速度REXTSS[n]被评价为将该区段块EXTSS[n]的整体的尺寸SEXTSS[n]用该区段ATC时间TEXTSS除后的值。
在图21(a)中,在第(n+1)个区段块EXTSS[n]的后端的基本视区段被读入到RB11911中的时刻,储存数据量的和DA1+DA2达到最大值。在其紧后面的跳跃期间PJ中,储存数据量的和DA1+DA2以平均转送速度REXTSS[n]减少。因而,通过将储存数据量的和DA1+DA2的最大值调节为充分大,能够防止在越过扩展区段T1的记录区域的跳跃J3D中RB11911、RB21912中的任一个发生下溢。其结果,能够从2个连续的扩展区段块2101、2101无缝地再现3D影像。
图21(a)中的储存数据量的和DA1+DA2的最大值由第(n+1)个区段块EXTSS[n]的尺寸决定。因而,为了防止在扩展区段块2010、2102间的跳跃J3D中RB11911、RB21912的任一个的下溢,使第(n+1)个区段块EXTSS[n]的尺寸满足下面的条件4即可。
在位于第(n+1)个区段块EXTSS[n]的前端的从属视区段D0的读取期间PRD0[m]中进行预装载。在该预装载期间PRD0[m]中,接在其紧前面的跳跃期间之后,将第n个区段块的数据从RB21912向系统目标解码器1903转送。由此,维持向系统目标解码器1903的数据供给。同样,在位于第(n+2)个区段块EXTSS[n+1]的前端的从属视区段D2的读取期间PRD2[n]中也进行预装载。因而,在该预装载期间PRD1[n]中,接在其紧前面的跳跃期间PJ之后,将第(n+1)个区段块EXTSS[n]的数据从RB21912向系统目标解码器1903转送。由此,维持向系统目标解码器1903的数据供给。因此,为了防止跳跃J3D中的RB11911、RB21912的下溢,只要第(n+1)个区段块EXTSS[n]的区段ATC时间TEXTSS至少等于从最初的预装载期间PRD0的结束时刻t0到下一预装载期间PRD1的结束时刻t1为止的期间的长度即可。即,只要第(n+1)个区段EXTSS[n]的尺寸SEXTSS[n]至少等于在该期间t0-t1中从RB11911和RB21912向系统目标解码器1903转送的数据量之和就可以。
由图21(a)可知,期间t0-t1的长度等于将第(n+1)个区段块EXTSS[n]的读取期间PRBLK[M]的长度、跳跃期间PJ的长度TJUMP[n]、以及2个区段块EXTSS[n]、EXTSS[n+1]间的预装载期间PRD0、PRD1的长度之差TDIFF[n]相加后的值。进而,第(n+1)个区段块EXTSS[n]的读取期间PRBLK[n]的长度等于将该区段块EXTSS[n]的尺寸SEXTSS[n]用读取速度RUD3D除后的值SEXTSS[n]/RUD3D。因而,条件4表示下面的情况。文件SS的第(n+1)个区段EXTSS[n]的最小区段尺寸由下式(4)的右边表示:
[数7]
各预装载期间PRD0、PRD1的长度等于将位于各区段块EXTSS[n]、EXTSS[n+1]的前端的从属视区段D0、D1的尺寸SEXT20、SEXT21用读取速度RUD3D除后的值SEXT20/RUD3D、SEXT21/RUD3D。因而,预装载期间PRD0、PRD1的长度的差TDIFF等于这些值的差:TDIFF=SEXT21/RUD3D-SEXT20/RUD3D。另外,式(4)的右边与式(1)~式(3)的右边同样,也可以用字节单位的整数值表示。
在此,在将多路复用流数据的解码处理如以下这样设计的情况下,在式(4)的右边也可以将差TDIFF看作0。首先,预先求出多路复用流数据的整体中的差TDIFF的最大值、即差TDIFF的最差值。接着,在将该多路复用流数据再现时,使该解码处理的开始时刻比该读取的开始时刻延迟与差TDIFF的最差值相等的时间。
2-7-C:最大区段尺寸
通过上述的条件1-4,文件2D、文件DEP及文件SS的各区段的最小区段尺寸被限制。另一方面,一般来说,各区段的尺寸越大,读缓冲器就需要越大的容量(详细情况参照《补充》)。因此,为了尽可能削减读缓冲器的容量,优选为尽可能地限制各区段的尺寸的上限。将这些上限称为“最大区段尺寸”。
在成为1个区段对的基本视区段EXT1[k]和从属视区段EXT2[k]中,区段ATC时间相等(文字k表示0以上的整数)。因此,如果通过该基本视区段EXT1[k]的最大区段尺寸的限制而区段ATC时间缩短,则该从属视区段EXT2[k]的最大区段尺寸也被限制。因此,为了将RB11911、RB21912的各容量的下限抑制在允许范围内,使各基本视区段EXT1[k]的尺寸满足如下的条件5即可。
在共用区间中,基本视区段B[k]由文件2D和文件SS共有。因而,基本视区段B[k]的尺寸SEXT1[k]应满足式(1)。为了在满足式(1)的范围内尽可能地缩小基本视区段B[k]的尺寸SEXT1[k],使该最大区段尺寸尽可能地接近式(1)的右边的上限、即基本视区段B[k]的最小区段尺寸的上限即可。因此,条件5表示如下情况。基本视区段B[k]的最大区段尺寸由下式(5)的右边表示:
[数8]
式(5)的右边与式(1)的右边有如下不同。首先,分母中包含的平均转送速度REXT2D被置换为其最高值RMAX2D。因此,式(5)的右边第2个分数等于式(1)的右边第2个分数的最大值。接着,式(5)的跳跃时间TJUMP-2D-MIN等于由标准规定的最大跳跃时间中的最小值。例如在由图18的表规定的最大跳跃时间TJUMP-MAX中,仅次于0m秒的较大值200m秒作为式(5)的跳跃时间TJUMP-2D-MIN采用。这种情况下,在共用区间内,文件2D的区段EXT2D[k]、EXT2D[k+1]的间隔被限制为对应的最大跳跃距离SJUMP-MAX=10000扇区以下。
通过取代式(1)而采用式(1A),在基本视区段中加入了富余量的情况下,基本视区段的尺寸代替式(5)而满足下式(5A):
[数9]
式(5A)的右边所示的最大区段尺寸与式(5)的右边所示的最小区段尺寸相比,延长时间ΔT大了从读缓冲器向系统目标解码器读取的数据量。该数据量作为富余量来确保。
[流数据的转送速度]
如图7所示,从属视图片参照基本视图片而被压缩。因此,平均地说,从属视视频流的位速率小于基本视视频流。因此,只要将对于文件DEP的系统速率RTS2设定为比对于文件2D的系统速率RTS1低即可。例如,将对于文件2D的系统速率RTS1设定为48Mbps以下时,将对于文件DEP的系统速率RTS2设定为32Mbps以下即可:RTS1≤48Mbps、RTS2≤32Mbps。
在此,设想系统速率RTS1、RTS2的合计被限制为一定的阈值以下的情况。将该阈值设定为对系统目标解码器1903分配的转送带宽以下,例如等于64Mbps:RTS1+RTS2≤64Mbps。这种情况下,如果将对于文件2D的系统速率RTS1设定为48Mbps,则对于文件DEP的系统速率RTS2被限制为16Mbps以下:RTS1=48Mbps、RTS2≤16Mbps。只要各视频流的位速率维持为平均的值,则对于系统速率RTS1、RTS2的合计的限制对有效利用上述转送带域来说是有利的。但是,实际上从属视视频流的位速率有时会暂时超过基本视视频流的位速率。例如在表现自然风景的3D影像中,基本视(例如左视)的焦点突然偏离、仅从属视(例如右视)的焦点对正的情况下,会发生这样的位速率的反转。这种情况下,虽然第一转送速度REXT1远比对于文件2D的系统速率RTS1=48Mbps低,但第二转送速度REXT2也无法超过对于文件DEP的系统速率RTS2≤16Mbps(准确地说,其192/188=约1.02倍。以下,只要没有特别需要,将该系数看作为1)。这样,系统速率RTS1、RTS2的合计被限制的情况下,无法使第二转送速度REXT2应对从属视视频流的位速率的暂时上升。
为了能够应对,不限制系统速率RTS1、RTS2的合计,而限制第一转送速度REXT1[n]和第二转送速度REXT2[n]的区段单位的合计即可:REXT1[n]+REXT2[n]≤64Mbps。在此,包含第(n+1)个区段对中的基本视区段EXT1[n]的源包被转送时的平均值为第一转送速度REXT1[n],包含从属视区段EXT2[n]的源包被转送时的平均值为第二转送速度REXT2[n]。
图22(a)、(b)分别是表示第一转送速度REXT1和第二转送速度REXT2的合计被限制的情况下的、第一转送速度REXT1和第二转送速度REXT2的时间性变化的曲线图。参照图22(a),第一转送速度REXT1在第一时刻T0从最高值RMAX1=约48Mbps急落,在从第一时刻T0到第二时刻T1的期间Tstr中,停留在低等级=16Mbps。另一方面,在图22(b)中,如实线的曲线图GR1所示,第二转送速度REXT2相对于第一转送速度REXT1的变化而互补地变化。特别是在上述的期间Tstr中,峰值P0到达最高值RMAX2=约32Mbps。这样,第一转送速度REXT1和第二转送速度REXT2的合计被区段单位限制的情况下,能够使第二转送速度REXT2应对从属视视频流的位速率的暂时上升。
为了将对系统目标解码器1903的转送带域更加有效地用于流数据的转送,优选为将对于文件DEP的系统速率RTS2设定为更高。图22(c)是表示将图22(a)、(b)所示的第一转送速度REXT1和第二转送速度REXT2相加而得到的值REXT1+REXT2的时间性变化的曲线图。在图22(c)中,如实线的曲线图GR3的凹部CV所示,第一转送速度REXT1和第二转送速度REXT2之和REXT1+REXT2在从第一时刻T0到第二时刻T1的期间Tstr中低于阈值64Mbps。这是因为,在图22(b)中,如实线的曲线图GR1所示,第二转送速度REXT2被限制为对于文件DEP的系统速率RTS2=32Mbps以下。如图22(a)所示,在该期间Tstr中,第一转送速度REXT1下降至16Mbps,所以在转送带宽中至少剩下等于该值与阈值之间的差64-16=48Mbps的富余。因此,将对于文件DEP的系统速率RTS2设定为高于32Mbps的范围,优选为与对于文件2D的系统速率RTS1相同的范围,例如48Mbps以下:RTS1≤48Mbps、RTS2≤48Mbps。在图22(b)、(c)中分别用虚线的曲线图GR2、GR4表示该情况下的第二转送速度REXT2的时间性变化及第一转送速度REXT1与第二转送速度REXT2之和REXT1+REXT2的时间性变化。在图22(b)中,如虚线的曲线图GR2所示,第二转送速度REXT2的峰值P1能够超过32Mbps。其结果,在图22(c)中,如虚线的曲线图GR4所示,第一转送速度REXT1和第二转送速度REXT2之和REXT1+REXT2在上述期间Tstr中维持在阈值64Mbps的附近。这样,能够进一步提高上述转送带域的利用效率。
将对于文件DEP的系统速率RTS2较高地设定为与对于文件2D的系统速率RTS1同程度的情况下,设想第二转送速度REXT2也上升到同程度的情况。对于第(n+1)个区段对中的从属视区段的转送速度REXT2[n]这样上升的情况下,由于对转送速度的合计的限制,对于基本视区段的转送速度REXT1[n]与最高值RMAX1相比显著下降。另一方面,在最大区段尺寸的定义式(5)中,分母所包含的平均转送速度REXT2D以其最高值RMAX2D来评价。进而,基本视区段的区段ATC时间将用第一转送速度REXT1[n]除以该最大区段尺寸而得到的值作为上限。因此,该上限与实际的区段ATC时间相比显著地更长。在第(n+1)个区段对中,区段ATC时间是共通,所以从属视区段的尺寸最大,到达第二转送速度REXT2[n]和区段ATC时间的上述上限的乘积。该乘积与无缝再现中实际需要的值相比显著地大。其结果,RB21912的容量的进一步削减受阻。
为了在将对于文件DEP的系统速率RTS2较高地设定为与对于文件2D的系统速率RTS1同程度的情况下能够进一步削减RB21912的容量,将对于最大区段尺寸的条件5、即式(5)变更为下式(5B):
[数10]
在式(5B)的右边,作为分母所包含的转送速度,采用对于文件2D的区段的平均转送速度的最高值RMAX2D、或转送速度的最高值的合计RMAX1+RMAX2与第二转送速度REXT2[n]之间的差中的较低一方。在此,转送速度的最高值的合计RMAX1+RMAX2等于系统速率的合计RTS1+RTS2的192/188倍。因此,第二转送速度REXT2[n]上升到与系统速率RTS2同程度的情况下,以上述差来评价最大区段尺寸。由此,基本视区段的区段ATC时间的上限被抑制为与实际的区段ATC时间接近的值。因此,从属视区段的尺寸被抑制为无缝再现中实际需要的值左右。这样,能够将RB21912的容量充分小地维持。
在式(5B)中对最大区段尺寸进行评价的处理较为复杂的情况下,也可以根据第二转送速度REXT2[n]的范围来预先决定最大区段尺寸。例如,将基本视区段的尺寸SEXT1[n]和从属视区段的尺寸SEXT2[n]设定为满足下式(5C):
第二转送速度REXT2[n]为32Mbps×192/188以下时,
SEXT1[n]≤20×106字节=约19MB、
SEXT2[n]≤6.5×106字节=约6.2MB、
第二转送速度REXT2[n]超过32Mbps×192/188时,
SEXT1[n]≤20×106字节=约19MB、
SEXT2[n]≤8.1×106字节=约7.7MB。(5C)
2-7-D:扩展再现模式下的条件
图23是表示扩展再现模式的再现装置102内的再现处理系统的框图。参照图23,该再现处理系统包括BD-ROM驱动器2301、开关2302、2个读缓冲器2311、2312及系统目标解码器2303。BD-ROM驱动器2301从BD-ROM盘101读取扩展区段和基本视区段,并以读取速度RUDEX向开关2302转送。开关2302将扩展区段和基本视区段分离。第一读缓冲器2311及第三读缓冲器2312(以下简称为RB1及RB3)是再现装置102中内置的缓存器,储存由开关2302分离的各区段。RB12311保存基本视区段,RB32312保存扩展区段。系统目标解码器2303从RB12311内的各基本视区段以第一转送速度REXT1读取源包,从RB32312内的各扩展区段以第三转送速度REXT3读取源包。系统目标解码器2303进一步将读取的基本视区段和扩展区段的对解码为影像数据VD和声音数据AD。
第一转送速度REXT1等于3D再现模式中的第一转送速度。第三转送速度REXT3等于系统目标解码器2303从RB32312内的各源包提取TS包的处理的平均速度的192/188倍。第三转送速度REXT3的最高值RMAX3等于对于扩展流文件的系统速率RTS3的192/188倍:RMAX3=RTS3×192/188。该系统速率RTS3通常以位/秒(bps)表示,所以等于以字节/秒(Bps)表示的扩展流的记录速度的8倍。各转送速度REXT1、REXT3通常以位/秒表示,具体地说,等于将以位单位表示的各区段的尺寸除以区段ATC时间时的值。
读取速度RUDEX通常以位/秒表示,设定为比任一转送速度REXT1、REXT3的最高值RMAX1、RMAX3更高的值,例如72Mbps:RUDEX>RMAX1、RUDEX>RMAX2。由此,在由BD-ROM驱动器2301从BD-ROM盘101读取文件2D的1个区段的期间、以及读取扩展流文件的1个区段的期间的任一个中,防止伴随着系统目标解码器2303的解码处理的、RB12311和RB32312的下溢。
[扩展区段的区段ATC时间]
图24(a)、(b)是表示从2个连续的扩展区段块2410、2411无缝再现4K2K的2D影像时,储存在RB12311、RB32312中的数据量DA1、DA3的变化的曲线图。图24(c)是表示对于这些扩展区段块2410、2411的扩展再现模式下的再现路径2420的示意图。参照图24(c),按照该再现路径2420,从各扩展区段块2410、2411首先读取开头的扩展区段T,接着重复数次跨越从属视区段D的记录区域的跳跃JSJ和基本视区段B的读取。
由BD-ROM驱动器2301进行的读取/转送动作实际上并不是图24(a)、(b)的各曲线图所示出的连续动作,而是断续的动作。由此,在各区段T、B的读取期间,防止RB12311、RB32312的上溢。即,图24(a)、(b)的各曲线图实际上将阶梯状的增减作为直线的增减来近似地表现。进而,将零扇区转移时间TJUMP0看作0m秒。
参照图24(a)、(b),在最初的扩展区段T0的读取期间PRT0中,RB32312的储存数据量DA3按照与读取速度RUDEX和第三转送速度REXT3之间的差RUDEX-REXT3相等的速度增加,RB12311的储存数据量DA1按照第一转送速度REXT1减少。参照图24(c),最初的扩展区段T0的读取期间PRT0的结束时发生跳跃JSJ,最初的从属视区段D的读取被跳过。如图24(a)、(b)所示,在跳跃期间PSJ中,RB12311的储存数据量DA1按照第一转送速度REXT1继续减少,RB32312的储存数据量DA2按照第三转送速度REXT3减少。然后,在最初的基本视区段B的读取期间PRB中,RB12311的储存数据量DA1按照与读取速度RUDEX和第一转送速度REXT1之间的差RUDEX-REXT1相等的速度增加。以后,RB12311的储存数据量DA1在进行跨过从属视区段D的记录区域的跳跃JSJ的期间减少,在基本视区段B的读取期间增加。但是,整体上,到读取最初的扩展区段块2410的后端为止,RB12311的储存数据量DA1增加。另一方面,RB32312的储存数据量DA3按照第三转送速度REXT3持续减少。
最初的扩展区段块2410被全部读取时,第2个扩展区段T1的读取开始。在该读取期间PRT1中,RB32312的储存数据量DA3按照与读取速度RUDEX和第三转送速度REXT3之间的差RUDEX-REXT3相等的速度增加,RB12311的储存数据量DA1按照第一转送速度REXT1减少。进而,在第2个扩展区段T1的读取期间PRT1的结束时发生跳跃JSJ,从属视区段D的读取被跳过。在该跳跃期间PSJ中,RB12311的储存数据量DA1按照第一转送速度REXT1持续减少,RB32312的储存数据量DA2按照第三转送速度REXT3减少。
从图24(c)所示的扩展区段块2410、2411无缝再现4K2K的2D影像时,扩展区段T的尺寸满足以下的条件6即可。
最初的扩展区段T0,从位于其紧后的基本视区段B的读取开始时刻tA到位于下一扩展区段T1的紧后的基本视区段B的读取开始时刻tB,从RB32312向系统目标解码器2303转送即可。这种情况下,如图24(b)所示,RB32312的储存数据量DA3不低于最初的扩展区段T0的读取期间PRT0的紧前的量。在此,1个基本视区段B的读取期间PRB的长度等于将基本视区段B的尺寸SB除以读取速度RUDEX而得到的值SB/RUDEX。另一方面,第2个扩展区段T1的读取期间PRT1的长度等于将该扩展区段T1的尺寸ST除以读取速度RUDEX而得到的值ST/RUDEX。因此,条件6表示如下情况。最初的扩展区段T0的区段ATC时间ATC(T0)满足下式(6):
[数11]
在此,总和记号是指,从位于最初的扩展区段T0的紧后的基本视区段B的读取开始时刻tA到位于下一扩展区段T1的紧后的基本视区段B的读取开始时刻tB的期间中包含的跳跃时间Tjump的总和及基本视区段的读取期间的长度SB/RUDEX的总和。
扩展区段T0的区段ATC时间ATC(T0)还等于配置在该扩展区段T0的紧后的区段块中包含的基本视区段B的区段ATC时间ATC(B)的合计:ATC(T0)=ΣATC(B)。
2-8:扩展区段块应该包含的区段对的数量
3D再现模式的再现装置102如图21(a)、(b)所示,通过读取位于1个扩展区段T的紧后的区段块EXTSS[n],在将下一扩展区段T1的记录区域跳跃的期间应该发送给系统目标解码器1903的数据量储存至RB11911、RB21912。这种情况下,根据条件4决定区段块EXTSS[n]的区段ATC时间的下限。另一方面,根据条件5限制基本视区段和从属视区段的各最大区段尺寸。因此,假设区段块EXTSS[n]仅包含1个区段对,则即使构成该对的各区段的尺寸扩大到最大区段尺寸,也存在区段块EXTSS[n]的区段ATC时间未到达下限的危险性。因此,如图13所示,在1个扩展区段T[m]的紧后配置有2个以上的区段对D[k]、B[k]。由此,能够将由这些区段对构成的区段块的区段ATC时间设计为下限以上。
优选为,将配置于1个扩展区段T[m]的紧后的区段对D[k]、B[k]的数量固定为2。由此,将该扩展区段T[m]的区段ATC时间抑制为最小限度,RB32312所需要的容量被抑制为最小限度。此外,扩展再现模式的再现装置在进行快进再现或回放再现等特殊再现、或中途再现时,将检索再现开始位置的基本视图片和扩展数据的范围抑制为最小限度。因此,能够使再现装置容易地检索再现开始位置的基本视图片和扩展数据。
2-9:需要长跳跃的地方的再现路径的分离
[在层边界的前后仅配置有共用区间的情况]
图25是表示BD-ROM盘101的2个记录层在层边界LB的前后仅包含共用区间的情况下的区段群的配置及对于该区段群的各模式下的再现路径的示意图。参照图25,在2D再现模式下的再现路径2501、3D再现模式下的再现路径2502及扩展再现模式下的再现路径2503的任一个中,在用于跨过层边界LB的长跳跃JLY的紧前读取第4个基本视区段B[3]。因此,该基本视区段B[3]的尺寸必须满足条件1、4、6的全部。在此,在式(1)、(4)、(6)的各右边作为跳跃时间TJUMP而应该代入的值是长跳跃JLY的最大跳跃时间。该时间除了在图18的表中与长跳跃JLY的最大跳跃距离SJUMP-MAX对应的最大跳跃时间TJUMP-MAX以外,还包括记录层的切换操作所需的时间、即“层切换时间”。长跳跃JLY的最大跳跃距离SJUMP-MAX例如为40000扇区,与其对应的最大跳跃时间TJUMP-MAX为350m秒。另一方面,层切换时间例如为350m秒。这种情况下,在式(1)、(4)、(6)的各右边作为跳跃时间TJUMP代入350m秒+350m秒=700m秒。
在长跳跃JLY中应该由系统目标解码器处理的主TS的数据量,在2D再现模式下通过条件1确保第4个基本视区段B[3]的尺寸,在3D再现模式下通过条件4确保第3个和第4个基本视区段B[2]、B[3]的整体的尺寸。因此,由条件1对第4个基本视区段B[3]要求的最小区段尺寸通常比由条件2要求的最小区段尺寸大。位于该基本视区段B[3]的紧前的从属视区段D[3]具有与该基本视区段B[3]相同的区段ATC时间,所以该从属视区段D[3]的尺寸通常比由条件2要求的最小区段尺寸大。因此,RB2的容量通常比3D再现模式下的无缝再现所需最小限度的值大。这样,在图25所示的配置中,难以将RB2的容量抑制为所需的最小限度。
在保持能够将长跳跃JLY中的影像无缝再现的状态下,为了进一步削减RB2的容量,在长跳跃JLY的紧前或紧后,将3D再现模式下的再现路径从2D再现模式下的再现路径分离即可。具体地说,首先,将主TS的相同部分至少二重地记录在位于层边界LB的紧前或紧后的不同区域。接着,使2D再现模式的再现装置和3D再现模式的再现装置再现该部分时,使这些再现装置访问不同的区域。在位于层边界LB的紧前的不同区域二重地记录有主TS的一部分的情况下,在由3D再现模式的再现装置访问的区域中,基本视区段的尺寸可以不满足条件1。另一方面,在位于层边界LB的紧后的不同区域二重地记录有主TS的一部分的情况下,能够使2D再现模式中的长跳跃的跳跃距离比3D再现模式中的长跳跃的跳跃距离短。其结果,能够使3D再现模式的再现装置将RB2的容量维持为所需的最小限度。
[将全部模式下的再现路径完全分离的情况]
图26是表示在BD-ROM盘101的层边界LB的紧前、全部模式下的再现路径完全分离的情况下的区段群的配置及对于该区段群的各模式下的再现路径的示意图。参照图26,位于层边界LB之前的第一记录层L0包括第一共用区间2601,位于层边界LB之后的第二记录层L1包括第二共用区间2602。第一记录层L0在第一共用区间2601和层边界LB之间除了平面视觉影像专用区间2611和立体视觉影像专用区间2612之外,还包括扩展数据专用区间2613。在平面视觉影像专用区间2611中配置有主TS的一部分B2D,在立体视觉影像专用区间2612中配置有2个区段对D、B3D,在扩展数据专用区间2613中配置有扩展区段T和基本视区段BEX的对。配置于平面视觉影像专用区间2611内的主TS的一部分(以下称为2D再现专用块)B2D和配置于扩展数据专用区间2613内的基本视区段(以下称为扩展再现专用块)BEX分别是配置于立体视觉影像专用区间2612内的基本视区段(以下称为3D再现专用块)B3D的整体的复制,它们在位单位上一致。即,相同数据被三重地记录。2D再现专用块B2D与紧前的基本视区段B[1]能够一起作为文件2D的1个区段EXT2D[1]访问。3D再现专用块B3D能够与从属视区段D一起作为文件SS的1个区段EXTSS[1]访问。扩展区段T[0]-T[2]、共用区间2601、2602内的基本视区段B[0]、B[1]、B[4]、B[5]及扩展再现专用块BEX分别能够作为扩展流文件的1个区段EXT3[0]-EXT3[7]访问。
2D再现模式的再现装置102将文件2D再现。因此,从图26所示的区段群,如2D再现模式下的再现路径2621所示,读取文件2D的区段群EXT2D[0]-EXT2D[3]。具体地说,首先,在第一共用区间2601中,将开头的基本视区段B[0]作为文件2D的1个区段EXT2D[0]读取,将位于其紧后的从属视区段D[1]的读取跳过。接着,将第一共用区间2601的后端的基本视区段B[1]和2D再现专用块B2D作为文件2D的1个区段EXT2D[1]读取。在其紧后发生长跳跃JLY,读取位置越过立体视觉影像专用区间2612、扩展数据专用区间2613及层边界LB而移动。接着,在第二共用区间2602中,将开头的扩展区段T[2]和2个从属视区段D[4]、D[5]的读取跳过,将2个基本视区段B[4]、B[5]作为文件2D的2个区段EXT2D[2]、EXT2D[3]读取。
3D再现模式的再现装置102将文件SS再现。因此,从图26所示的区段群,如3D再现模式下的再现路径2622所示,读取文件SS的区段群EXTSS[0]-EXTSS[2]。具体地说,首先,从第一共用区间2601将区段块D[0]、B[0]、D[1]、B[1]作为文件SS的1个区段EXTSS[0]连续读取。在其紧后发生跳跃J3D,将向平面视觉影像专用区间2611的访问跳过。接着,从立体视觉影像专用区间2612将区段块D[2]、B3D、D[3]、B3D作为文件SS的1个区段EXTSS[1]连续读取。在其紧后发生长跳跃JLY,读取位置越过扩展数据专用区间2613和层边界LB而移动。接着,在第二共用区间2602中,将扩展区段T[2]的读取跳过,将后续的区段块D[4]、B[4]、D[5]、B[5]作为文件SS的1个区段EXTSS[2]连续读取。
扩展再现模式的再现装置102将扩展流文件再现。因此,从图26所示的区段群,如扩展再现模式下的再现路径2623所示,读取扩展流文件的区段群EXT3[0]-EXT3[7]。具体地说,首先,在第一共用区间2601中,读取开头的扩展区段T[0]=EXT3[0],将2个基本视区段B[0]、B[1]作为扩展流文件的2个区段EXT3[1]、EXT3[2]读取,将2个从属视区段D[0]、D[1]的读取跳过。接着,通过跳跃JEX,将向平面视觉影像专用区间2611和立体视觉影像专用区间2612的访问跳过。接着,从扩展数据专用区间2613将扩展区段T[1]和扩展再现专用块BEX作为扩展流文件的2个区段EXT3[3]、EXT3[4]读取。在其紧后发生长跳跃JLY,读取位置越过层边界LB而移动。在第二共用区间2602中,将扩展区段T[2]和2个基本视区段B[4]、B[5]作为扩展流文件的3个区段EXT3[5]、EXT3[6]、EXT3[7]读取,将2个从属视区段D[4]、D[5]的读取跳过。
如上述那样,在图26所示的配置中,在长跳跃JLY的紧前,2D再现模式下的再现路径2621、3D再现模式下的再现路径2622及扩展再现模式下的再现路径2623相互分离。另外,3D再现专用块B3D的整体与2D再现专用块B2D和扩展再现专用块BEX分别在位单位上一致,所以在任一再现模式下,再现的基本视视频帧都相等。
为了无缝地进行2D再现模式下的再现,2D再现专用块B2D在从BD-ROM盘101开始读取的时刻到长跳跃JLY的结束时刻为止的期间中,从读缓冲器1602向系统目标解码器1603转送即可。因此,2D再现专用块B2D的尺寸SDUP_FOR_SSIF和区段ATC时间TDUP_FOR_SSIF设计为满足下式(7):
[数12]
例如,长跳跃JLY的跳跃时间TJUMP为700m秒,对于文件2D的系统速率RTS=RMAX2D/192×188为最高值48Mbps,BD-ROM驱动器的读取速度RUD2D为54Mbps的情况下,2D再现专用块B2D的区段ATC时间TDUP_FOR_SSIF为约7.6秒以上即可。
2D再现专用块B2D、3D再现专用块B3D的整体及扩展再现专用块BEX是相同数据,所以尺寸相等。该尺寸等于2D再现专用块B2D的尺寸SDUP_FOR_SSIF、即在式(7)中给出的区段ATC时间TDUP_FOR_SSIF和对于文件2D的系统速率RTS的192/188倍的乘积相等:SDUP_FOR_SSIF=TDUP_FOR_SSIF×RTS×192/188。例如,对于文件2D的系统速率RTS为最高值48Mbps,区段ATC时间TDUP_FOR_SSIF为约7.6秒的情况下,各块B2D、B3D、BEX的尺寸SDUP_FOR_SSIF为约44MB。
在图26所示的区段的配置中,在需要长跳跃JLY的地方的附近三重地记录有主TS的相同部分B2D、B3D、BEX。例如,对于文件2D的系统速率RTS为最高值48Mbps的情况下,至少约44MB×2=约88MB的数据被重复记录。因此,难以将BD-ROM盘101上的卷区域202B进一步有效利用。此外,在图26所示的2D再现模式下的再现路径2621中,必须通过长跳跃JLY将3D再现专用块的整体B3D和扩展再现专用块BEX的读取跳过。因此,对于文件2D的系统速率RTS为最高值48Mbps的情况下,长跳跃JLY的跳跃距离超过约88MB=约45000扇区。该值比长跳跃的最大跳跃距离=40000扇区=约78.1MB更大。因此,至少在需要长跳跃JLY的地方的附近,必须将对于文件2D的系统速率RTS限制为低于文件2D的实际位速率=48Mbps。这会降低2D再现模式下的画质,所以并不优选。
如果只是为了防止以2D再现模式再现的影像的品质降低,则在图26所示的配置中将平面视觉影像专用区间2611和扩展数据专用区间2613替换,将2D再现模式中的长跳跃JLY的跳跃距离缩短到40000扇区即可。但是,这种情况下,在扩展再现模式中,必须通过长跳跃将3D再现专用块的整体B3D和2D再现专用块B2D的读取跳过。因此,该长跳跃的跳跃距离超过40000扇区。为了良好地维持扩展再现模式的再现装置的再现能力,需要提高该再现装置的跳跃性能。这会增加再现装置的制造成本,所以并不优选。
[区段的配置1、2中共通的优点]
与图26所示的配置不同,在图14所示的配置1和图15所示的配置2中,平面视觉影像专用区间1412、1422、1512、1522能够被2D再现模式和扩展再现模式的任一个再现装置访问。由此,在BD-ROM盘101上,能够将与3D再现专用块B3D的整体重复的数据削减2D再现专用块B2D的量。其结果,能够更加有效地利用BD-ROM盘101上的卷区域202B。
此外,任一模式的再现装置都可以通过长跳跃JLY将2D再现专用块B2D和3D再现专用块B3D的整体中的某一方的读取跳过。因此,即使将对于文件2D和文件SS的系统速率设定为最高值48Mbps、64Mbps,在任一模式下长跳跃JLY的跳跃距离都不超过最大跳跃距离=40000扇区。其结果,在任一模式下,无论是否需要长跳跃,都能够较高地维持画质。
实际上,在图14所示的配置1中,各模式下的长跳跃JLY的跳跃距离如下计算。在此,在该计算中设想如下的情况:长跳跃JLY的最大跳跃时间为700m秒,在2D再现模式下的再现路径1431中,在第二平面视觉影像专用区间1422的紧后发生的跳跃J2D的最大跳跃时间为350m秒。这种情况下,对于任一跳跃,最大跳跃距离都被限制为40000扇区。对于文件2D、文件DEP及扩展流文件的系统速率RTS1、RTS2、RTS3为48Mbps、16Mbps及16Mbps。这些值由对2D再现模式、3D再现模式及扩展再现模式的系统目标解码器分配的转送带宽48Mbps、64Mbps及64Mbps决定。2D再现模式、3D再现模式及扩展再现模式各自的BD-ROM驱动器的读取速度RUD2D、RUD3D、RUDEX为54Mbps、72Mbps及72Mbps。
首先,在2D再现模式下,为了确保长跳跃JLY的最大跳跃时间=700m秒,根据式(7),第一平面视觉影像专用区间1412内的基本视区段B2D的尺寸SDUP_FOR_SSIF至少为约44MB即可,区段ATC时间TDUP_FOR_SSIF不短于约7.6秒即可。
接着,为了无缝地进行3D再现模式下的再现,第一立体视觉影像专用区间1413内的区段块D、B3D、D、B3D在从BD-ROM盘101开始读取的时刻到长跳跃JLY的结束时刻为止的期间中,从RB11911和RB21912向系统目标解码器1903转送即可。因此,该区段块D、B3D、D、B3D的尺寸SEXTSS和区段ATC时间TEXTSS设计为满足下式(8):
[数13]
第一转送速度REXT1的最高值RMAX1等于对于文件2D的系统速率RTS1的192/188倍,第二转送速度REXT2的最高值RMAX2等于对于文件DEP的系统速率RTS2的192/188倍:RMAX1=RTS1×192/188、RMAX2=RTS2×192/188。因此,在3D再现模式下,为了确保长跳跃JLY的最大跳跃时间=700m秒,第一立体视觉影像专用区间1413内的区段块D、B3D、D、B3D的尺寸SEXTSS至少为约59MB即可,区段ATC时间TEXTSS不短于约7.6秒即可。
进而,在2D再现模式下的再现路径1431中,为了确保在第二平面视觉影像专用区间1422的紧后发生的跳跃J2D的最大跳跃时间=350m秒,根据式(1),第二平面视觉影像专用区间1422内的基本视区段B2D的尺寸SEXT2D至少为约33MB即可,区段ATC时间TEXT2D=SEXT2D/RMAX2D不短于约5.7秒即可。第二扩展数据专用区间1421内的扩展区段T等于第二平面视觉影像专用区间1422内的基本视区段B2D和区段ATC时间,所以该扩展区段T的尺寸至少为约11MB。
参照图14,首先,在2D再现模式下的再现路径1431中,长跳跃JLY的跳跃距离等于第一立体视觉影像专用区间1413和第二扩展数据专用区间1421的扇区数的合计。在此,第一立体视觉影像专用区间1413内的区段块D、B3D、D、B3D的尺寸SEXTSS为约59MB以上,第二扩展数据专用区间1421内的扩展区段T的尺寸为约11MB以上。因此,2D再现模式中的长跳跃JLY的跳跃距离为59MB+11MB=70MB以上。
接着,在3D再现模式下的再现路径1432中,长跳跃JLY的跳跃距离等于第二扩展数据专用区间1421和第二平面视觉影像专用区间1422的扇区数的合计。在此,第二扩展数据专用区间1421内的扩展区段T的尺寸为约11MB以上,第二平面视觉影像专用区间1422内的基本视区段B2D的尺寸SEXT2D为约33MB以上。因此,3D再现模式中的长跳跃JLY的跳跃距离为11MB+33MB=44MB以上。
进而,在扩展再现模式下的再现路径1433中,长跳跃JLY的跳跃距离等于第一立体视觉影像专用区间1413的扇区数。因此,扩展再现模式中的长跳跃JLY的跳跃距离为59MB以上。
如以上那样,计算各模式下的长跳跃JLY的跳跃距离。如这些计算结果所示,在任一模式下,都能够使该跳跃距离小于长跳跃JLY的最大跳跃距离=40000扇区=约78.1MB。这在图15所示的配置2中也是同样。
[区段的配置2中固有的优点]
在图14所示的配置1中,在3D再现模式下的再现路径1432中,在从第一共用区间1401读取数据结束的紧后发生跳跃J3D,将向第一扩展数据专用区间1411和第一平面视觉影像专用区间1412的访问跳过。在此,在2D再现模式中,根据用于确保长跳跃JLY的最大跳跃时间=700m秒的条件,第一平面视觉影像专用区间1412内的基本视区段B2D的尺寸SDUP_FOR_SSIF为约44MB以上,该区段ATC时间TDUP_FOR_SSIF为约7.6秒以上。这种情况下,第一扩展数据专用区间1411内的扩展区段T的区段ATC时间也为约7.6秒以上,所以对于扩展流文件的系统速率为16Mbps时,该扩展区段T的尺寸为16Mbps/8×192/188×7.6秒=约15MB以上。因此,上述跳跃J3D的跳跃距离SJUMP必须为15MB+44MB=59MB=约30000扇区以上。根据图18的表,该跳跃J3D的最大跳跃时间TJUMP-MAX必须为350m秒以上。
在上述跳跃J3D中应该由3D再现模式的系统目标解码器1903处理的数据量为:通过条件4确保第一共用区间1401内的最后的区段块D、B、D、B的尺寸。在此,设想构成该区段块的各区段的最大区段尺寸由式(5C)决定,并且对于该区段块的第二转送速度REXT2为48Mbps×192/188的情况。这种情况下,属于该区段块的从属视区段D的尺寸最大为8.1×106字节,所以该区段ATC时间TEXT2最长为约1.32秒:TEXT2=8.1×106字节×8/REXT2≈1.32秒。因此,该区段块包括n个区段对的情况下,该区段块整体的区段ATC时间TEXTSS最长为约1.32秒×n。另一方面,根据式(4),上述跳跃J3D的跳跃时间TJUMP满足下式(9):
[数14]
对于区段块的平均转送速度REXTSS为最高值64Mbps×192/188时,根据式(9),上述跳跃J3D的跳跃时间TJUMP最长为约122m秒×n。在3D再现模式下,在用于将向第一扩展数据专用区间1411和第一平面视觉影像专用区间1412的访问跳过的跳跃J3D中,为了将3D影像无缝地再现,该跳跃时间TJUMP=约122m秒×n必须为350m秒以上。因此,在图14所示的配置1中,第一共用区间1401内的最后的区段块包含的区段对的数n必须为3以上。此外,为了将对于扩展流文件的系统速率RTS3设定为比上述计算中设想的值16Mbps更高,与伴随于此的第一扩展数据专用区间1411内的数据量的增大相对应,必须进一步增加上述的区段对的数n。在此,区段对的数n的增加使配置于其紧前的扩展区段T的区段ATC时间增大,所以使RB32312增大所需的容量。因此,不优选将区段对的数n增加到3以上。
另一方面,在图15所示的配置2中,与配置1不同,不需要与区段块中包含的区段对的数n有关的上述限制。实际上,在配置2中,在3D再现模式下的再现路径1532中,通过在从第一共用区间1401读取数据结束的紧后发生的跳跃,仅将向第一扩展数据专用区间1511的访问跳过。在此,在2D再现模式下,根据用于确保用于越过层边界LB的长跳跃JLY的最大跳跃时间=700m秒的条件,第一平面视觉影像专用区间1512内的基本视区段B2D的区段ATC时间TDUP_FOR_SSIF为约7.6秒以上。这种情况下,第一扩展数据专用区间1511内的扩展区段T的区段ATC时间也为约7.6秒以上,所以对于扩展流文件的系统速率为16Mbps时,该扩展区段T的尺寸为约15MB以上。因此,3D再现模式下的再现路径1532中的上述跳跃的跳跃距离必须为第一扩展数据专用区间1511内的数据量的下限=约15MB=约7680扇区以上。根据图18的表,该跳跃的最大跳跃时间TJUMP-MAX必须不短于200m秒。与此相对,对于第一共用区间1401内的最后的区段块的平均转送速度REXTSS为最高值64Mbps×192/188时,该跳跃的跳跃时间TJUMP被限制为最长约122m秒×n。为了使该上限约122m秒×n超过200m秒,该区段块中包含的区段对的数n为2以上即可。即,对于该数n的限制与对于扩展区段块的本来的限制没有变化。
此外,在配置2中与配置1不同,即使第一共用区间1401内的最后的区段块中包含的区段对的数n保持2,也能够将对于扩展流文件的系统速率RTS3设定为高于16Mbps。实际上,对于该区段块的平均转送速度REXTSS为最高值64Mbps×192/188时,在3D再现模式下的再现路径1532中,在该区段块的读取紧后可能的跳跃的跳跃时间为最长约122m秒×2=约243m秒。因此,第一扩展数据专用区间1511的扇区数为10000扇区以下即可,即该区间内的扩展区段T的尺寸SEXT3为约19.5MB以下即可。另一方面,根据与用于越过层边界LB的长跳跃JLY有关的条件,该扩展区段T的区段ATC时间TEXT3不短于约7.6秒即可。因此,不需要使RB32312增加所需的容量,就能够使对于扩展流文件的系统速率RTS3上升到约21Mbps:RTS3=SEXT3/TEXT3≤19.5MB×8/7.6秒/192×188≈21Mbps。
2-10:片断信息文件
图27是表示2D片断信息文件231的数据构造的示意图。参照图27,2D片断信息文件231包括:片断信息2710、流属性信息2720、入口映射2727及3D元数据2740。3D元数据2740包括区段起点2742。DEP片断信息文件232及扩展片断信息文件233也具有同样的数据构造。
片断信息2710如图27所示,包括系统速率2711、再现开始时刻2712、以及再现结束时刻2713。系统速率2711规定对文件2D221的系统速率RTS。这里,如图16所示,2D再现模式的再现装置102从读缓冲器1602向系统目标解码器1603转送属于文件2D221的“TS包”。因此,在在文件2D221中,设定源包的ATS的间隔,以将TS包的转送速度抑制为系统速率RTS以下。再现开始时刻2712表示文件2D221的开头的VAU的PTS、例如开头的影像帧的PTS。再现结束时刻2713表示从分配给文件2D221的后端的VAU的PTS延迟了规定量的STC的值、例如对最后的影像帧的PTS加上每1帧的再现时间后的值。
流属性信息2720如图27所示,是包含在文件2D221中的各基本流的PID2721与其属性信息2722之间的对应表。属性信息2722在视频流、音频流、PG流、以及IG流中分别不同。例如与主视频流的PID0x1011建立了对应的属性信息包括在该视频流的压缩中使用的编解码器的种类、构成该视频流的各图片的分辨率、纵横比、以及帧速率。另一方面,与主音频流的PID0x1100建立了对应的属性信息包括在该音频流的压缩中使用的编解码器的种类、包含在该音频流中的声道数、语言、以及取样频率。属性信息2722由再现装置102用于解码器的初始化。
[入口映射]
图28(a)是表示入口映射2730的数据构造的示意图。参照图28(a),入口映射2730包括表2800。表2800与多路复用在主TS中的视频流是相同数量,对各视频流各分配一个。在图28(a)中,将各表2800用分配目标的视频流的PID相区别。各表2800包括入口映射头2801和入口点2802。入口映射头2801包括与该表2800建立了对应的PID、和包含在该表2800中的入口点2802的总数。入口点2802将PTS2803和源包号码(SPN)2804的对每一个地与不同的入口点ID(EP_ID)2805建立对应。PTS2803等于包含在入口映射头2801表示的PID的视频流中的某个I图片的PTS。SPN2804等于保存有该I图片的源包群的开头的SPN。所谓“SPN”,是指对属于一个AV流文件的源包群从开头起依次分配的连续号码。SPN被作为该AV流文件内的各源包的地址使用。在2D片断信息文件231内的入口映射2730中,SPN是指对属于文件2D221的源包群、即构成主TS的源包群分配的号码。因而,入口点2802表示包含在文件2D221中的各I图片的PTS与地址即SPN之间的对应关系。
也可以不对文件2D221内的全部的I图片设定入口点2802。但是,当I图片位于GOP的开头、并且包括该I图片的开头在内的TS包位于2D区段的开头时,必须对该I图片设定入口点2802。
图28(b)是表示属于文件2D221的源包群2810中的、通过入口映射2730与各EP_ID2805建立了对应的源包群的示意图。图28(c)是表示对应于该源包群2810的BD-ROM盘101上的区段群D[n]、B[n](n=0、1、2、3、……)的示意图。再现装置102当从文件2D221再现2D影像时,利用入口映射2730,根据表示任意场景的帧的PTS,确定包含该帧的源包的SPN。具体而言,在作为再现开始位置而指定了特定的入口点的PTS、例如PTS=360000时,再现装置102首先从入口映射2730中检索与该PTS建立了对应的SPN=3200。再现装置102接着求出该SPN与每一个源包的数据量192字节的乘积,再求出将该乘积用每一个扇区的数据量2048字节除时的商、SPN×192/2248。根据图6(c)、图6(d)可以理解,该值等于记录有主TS中的、分配了该SPN的源包之前的部分的扇区的总数。在图28(b)所示的例子中,该值3200×192/2048=300等于记录有SPN从0到3199的源包群2811的扇区的总数。再现装置102接着参照文件2D221的文件入口,确定从记录有2D区段群的扇区群的开头数第(上述总数+1)个扇区的LBN。在图28(c)所示的例子中,确定记录有能够作为2D区段EXT2D[0]、EXT2D[1]、EXT2D[2]、……访问的基本视区段B[0]、B[1]、B[2]、……的扇区群中的、从开头数第301个扇区的LBN。再现装置102将该LBN指定给BD-ROM驱动器。由此,从该LBN的扇区起依次将基本视区段群以校准单元为单位加以读取。再现装置102还从最初读取的校准单元选择再现开始位置的入口点表示的源包,从它们中提取I图片并解码。然后,将后续的图片利用先解码的图片依次解码。这样,再现装置102能够从文件2D221再现特定的PTS以后的2D影像。
入口映射2730还有利于快进再现及回退再现等特殊再现的高效率处理。例如2D再现模式的再现装置102首先参照入口映射2730,从再现开始位置、例如包括PTS=360000以后的PTS的入口点EP_ID=2、3、……依次读取SPN=3220、4800、……。再现装置102接着利用文件2D221的文件入口确定对应于各SPN的扇区的LBN。再现装置102接着将各LBN指定给BD-ROM驱动器。由此,从各LBN的扇区读取校准单元。再现装置102还从各校准单元选择各入口点表示的源包,从它们提取I图片并解码。这样,再现装置102能够不将2D区段群EXT2D[n]自身解析而从文件2D221有选择地再现I图片。
[区段起点]
图29(a)是表示区段起点2742的数据构造的示意图。参照图29(a),“区段起点(Extent_Start_Point)”2742包括基本视区段ID(EXT1_ID)2911和SPN2912。EXT1_ID2911是对属于文件SS(f)223的各基本视区段从开头起依次分配的连续号码。SPN2912被一个个地分配给各EXT1_ID2911,等于位于由该EXT1_ID2911识别的基本视区段的前端的源包的SPN。这里,该SPN是对包含在属于文件SS223的基本视区段群中的源包从开头起依次分配的连续号码。
如图11所示,扩展区段块中包含的各基本视区段B[0]、B[1]、B[2]、……在文件2D221和文件SS233中共有。另一方面,配置在层边界等需要长跳跃的地方的附近的区段群包括仅属于文件2D221或文件SS223中的某个的基本视区段。因而,区段起点2742表示的SPN2912与位于属于文件2D221的基本视区段的前端的源包的SPN一般不同。
图29(b)是表示包含在DEP片断信息文件232中的区段起点2920的数据构造的示意图。参照图29(b),区段起点2920包括从属视区段ID(EXT2_ID)2921和SPN2922。EXT2_ID2921是对属于文件SS223的各从属视区段从开头起依次分配的连续号码。SPN2922被一个个地分配给各EXT2_ID2921,等于对位于由该EXT2_ID2921识别的从属视区段的前端的源包的SPN。这里,该SPN是对包含在属于文件SS223的从属视区段群中的源包从开头起依次分配的连续号码。
图29(d)是表示属于文件DEP222的从属视区段EXT2[0]、EXT2[1]、……与区段起点2920表示的SPN2922之间的对应关系的示意图。如图11所示,从属视区段由文件DEP222和文件SS223共有。因而,如图29(d)所示,区段起点2920表示的各SPN2922等于位于各从属视区段EXT2[0]、EXT2[1]、……的前端的源包的SPN。
2D片断信息文件231的区段起点2742和DEP片断信息文件232的区段起点2920如以下说明,在从文件SS223再现3D影像时被用于包含在文件SS223的各区段中的基本视区段和从属视区段之间的边界的检测。
图29(e)是表示属于文件SS223的区段SSEXTSS[0]与BD-ROM盘101上的区段块之间的对应关系的示意图。参照图29(e),该区段块包含交织配置的区段群D[n]、B[n](n=0、1、2、……)。该区段块能够作为文件SS223的区段SSEXTSS[0]被访问。进而,在该区段SSEXTSS[0]之中,包含在第(n+1)个基本视区段B[n]中的源包的数量等于在区段起点2742中分别与EXT1_ID=n+1、n相对应的SPN间的差A(n+1)-An。这里,设为A0=0。另一方面,包含在从属视区段D[n+1]中的源包的数量等于在区段起点2920中分别与EXT2_ID=n+1、n相对应的SPN间的差B(n+1)-Bn。这里,设为B0=0。
3D再现模式的再现装置102在从文件SS223再现3D影像时,利用各片断信息文件231、232的入口映射和区段起点2742、2920。由此,再现装置102根据表示任意场景的右视的帧的PTS确定记录有该帧的构成所需的从属视区段的扇区的LBN。具体而言,再现装置102首先例如从DEP片断信息文件232的入口映射中检索与该PTS建立了对应的SPN。假设该SPN表示的源包包含在文件DEP222的第三个从属视区段EXT2[2]的情况。再现装置102接着从DEP片断信息文件232的区段起点2920表示的SPN2922之中,检索在目标的SPN以下最大的“B2”、和对应于它的EXT2_ID“2”。再现装置102接着从2D片断信息文件231的区段起点2742检索对应于与该EXT2_ID“2”相等的EXT1_ID的SPN2912的值“A2”。再现装置102还求出检索到的SPN的和B2+A2。由图29(e)可以理解,该和B2+A2等于在文件SS223的区段EXTSS[0]之中配置在第三个从属视区段D[2]之前的源包的总数。因而,将该和B2+A2与每一个源包的数据量192字节的乘积用每一个扇区的数据量2048字节除时的商(B2+A2)×192/2048等于从文件SS223的区段EXTSS[0]的开头到第三个从属视区段D[2]紧前面为止的扇区数。如果利用该商参照文件SS223的文件入口,则能够确定记录有该从属视区段D[2]的前端的扇区的LBN。
再现装置102在如上述那样确定LBN后,将该LBN指定给BD-ROM驱动器。由此,将记录在该LBN的扇区以后的文件SS223的区段EXTSS[0]的部分、即第三个从属视区段D[2]以后的区段群D[2]、B[2]、D[3]、B[3]、……以校准单元为单位加以读取。
再现装置102还利用区段起点2742、2920,从读取的文件SS223的区段交替地提取从属视区段和基本视区段。例如,设想从图29(e)所示的文件SS223的区段EXTSS[0]依次读取区段群D[n]、B[n](n=0、1、2、……)的时候。再现装置102首先从区段EXTSS[0]的开头提取B1个源包作为最初的从属视区段D[0]。再现装置102接着提取第(B1+1)个源包、和接着它的(A1-1)个源包即共计A1个源包作为最初的基本视区段B[0]。再现装置102接着提取第(B1+A1+1)个源包、和接着它的(B2-B1-1)个源包即共计(B2-B1)个源包作为第二个从属视区段D[1]。再现装置102还提取第(A1+B2+1)个源包、和接着它的(A2-A1-1)个源包即共计(A2-A1)个源包作为第二个基本视区段B[1]。然后,再现装置102也同样根据读取的源包的数量从文件SS223的区段内检测从属视区段与基本视区段之间的边界,来交替地提取从属视区段和基本视区段。将提取出的基本视区段和从属视区段并行地传递给系统目标解码器而解码。这样,3D再现模式的再现装置102能够从文件SS223将特定的PTS以后的3D影像再现。
2-11:基础文件(文件库)
图29(c)是表示由3D再现模式的再现装置102从文件SS223提取的基本视区段B[0]、B[1]、B[2]、……的示意图。参照图29(c),在对这些基本视区段B[n](n=0、1、2、……)包含的源包群从开头起依次分配了SPN时,位于各基本视区段B[n]的前端的源包的SPN等于区段起点2272表示的SPN2912。将如这些基本视区段群B[n]那样利用区段起点从一个文件SS被提取的基本视区段群称作“基础文件(file base;文件库)”。如图29(e)所示,各基本视区段EXT1[0]、EXT1[1]、……由片断信息文件内的区段起点2742、2920参照。
基础文件的区段EXT1[n]与文件2D的区段EXT2D[n]共有基本视区段B[n]。因而,基础文件包含与文件2D相同的主TS。但是,基础文件与文件2D不同,不包含文件入口,并且在基本视区段的参照中需要区段起点。从这些意义来说,基础文件是“虚拟的文件”。特别是基础文件不能由文件系统识别,不出现在图2所示的文件构造中。
2-12:2D播放列表文件
图30是表示2D播放列表文件的数据构造的示意图。参照图30,2D播放列表文件241包括主路径3001和两个副路径3002、3003。
主路径3001是播放项目信息(以下简称为PI)的排列,规定文件2D221的主要再现路径、即再现对象的部分和其再现顺序。各PI由固有的播放项目ID=#N(N=1、2、3、……)识别。各PI#N通过一对PTS规定主要再现路径不同的再现区间。该一对中的一个表示该再现区间的开始时刻(In-Time),另一个表示结束时刻(Out-Time)。进而,主路径3001内的PI的顺序表示再现路径内的对应的再现区间的顺序。
各副路径3002、3003是副播放项目信息(以下简称为SUB_PI)的排列,规定能够并列地附带于文件2D221的主要再现路径的再现路径。该再现路径表示与主路径3001所表示的文件2D221不同的部分及其再现顺序,或者多路复用在其他文件2D中的流数据的部分及其再现顺序。该流数据表示应与按照主路径3001从文件2D221再现的2D影像同时再现的其他2D影像。该其他2D影像例如包括画中画方式中的副影像、浏览器画面、弹出菜单或字幕。对于副路径3002、3003,以向2D播放列表文件221登记的顺序分配了连续号码“0”、“1”。该连续号码作为副路径ID被用于各副路径3002、3003的识别。在各副路径3002、3003中,各SUB_PI由固有的副播放项目ID=#M(M=1、2、3、……)识别。各SUB_PI#M用一对PTS规定再现路径不同的再现区间。该一对中的一个表示该再现区间的再现开始时刻,另一个表示再现结束时刻。进而,各副路径3002,3003内的SUB_PI的顺序表示再现路径内的、对应的再现区间的顺序。
图31表示PI#N的数据构造的示意图。参照图31,PI#N包括参照片断信息3101、再现开始时刻(In_Time)3102、再现结束时刻(Out_Time)3103、以及流选择表(以下简称作STN(Stream Number)表)3105。参照片断信息3101是用来识别2D片断信息文件231的信息。再现开始时刻3102和再现结束时刻3103表示文件2D221的再现对象部分的前端和后端的各PTS。STN表3105表示在从再现开始时刻3102到再现结束时刻3103的期间能够由再现装置102内的解码器从文件2D221选择的基本流的一览表(列表)。
SUB_PI的数据构造与图31所示的PI的数据构造在包括参照片断信息、再现开始时刻、以及再现结束时刻的方面是共通的。特别是,SUB_PI的再现开始时刻和再现结束时刻用PI在与它们相同的时间轴上的值表示。
[STN表]
再次参照图31,STN表3105是流登记信息的排列。所谓“流登记信息”,是单独地表示在从再现开始时刻3102到再现结束时刻3103的期间能够从主TS作为再现对象选择的基本流的信息。流号码(STN)3106是对流登记信息单独分配的连续号码,由再现装置102用于各基本流的识别。STN3106还在相同的种类的基本流之间表示选择的优先次序。流登记信息包括流入口3109和流属性信息3110。流入口3109包括流路径信息3107和流识别信息3108。流路径信息3107是表示选择对象的基本流所属的文件2D的信息。例如当流路径信息3107表示“主路径”时,该文件2D对应于参照片断信息3101表示的2D片断信息文件。另一方面,当流路径信息3107表示“副路径ID=1”时,选择对象的基本流所属的文件2D对应于包含在副路径ID=1的副路径中的SUB_PI的参照片断信息表示的2D片断信息文件。该SUB_PI规定的再现开始时刻或再现结束时刻的某个包含在包括STN表3105的PI所规定的再现开始时刻3102到再现结束时刻3103的期间。流识别信息3108表示多路复用在由流路径信息3107确定的文件2D中的基本流的PID。该PID表示的基本流在从再现开始时刻3102到再现结束时刻3103的期间能够被选择。流属性信息3110表示各基本流的属性信息。例如音频流、PG流及IG流的各属性信息表示语言的种类。
[按照2D播放列表文件的2D影像的再现]
图32是表示2D播放列表文件241所表示的PTS、与从文件2D221再现的部分之间的对应关系的示意图。参照图32,在2D播放列表文件241的主路径3001中,PI#1规定表示再现开始时刻IN1的PTS#1、和表示再现结束时刻OUT1的PTS#2。PI#1的参照片断信息表示2D片断信息文件231。再现装置102在按照2D播放列表文件241再现2D影像时,首先从PI#1读取PTS#1、#2。再现装置102接着参照2D片断信息文件231的入口映射,检索对应于PTS#1、#2的文件2D221内的SPN#1、#2。再现装置102接着根据SPN#1、#2计算分别对应的扇区数。再现装置102还利用这些扇区数和文件2D221的文件入口,确定记录有再现对象的2D区段群EXT2D[0]、……,EXT2D[n]的扇区群P1的前端的LBN#1和后端的LBN#2。扇区数的计算和LBN的确定如使用图28说明那样。再现装置102最后将从LBN#1到LBN#2的范围指定给BD-ROM驱动器121。由此,BD-ROM驱动器121利用文件2D221的文件入口,从该范围的扇区群P1读取属于各区段群EXT2D[0]、……,EXT2D[n]的源包群。同样,将PI#2表示的PTS#3、#4的对首先利用2D片断信息文件231的入口映射变换为SPN#3、#4的对。接着,利用文件2D221的文件入口将SPN#3、#4的对变换为LBN#3、#4的对。进而,从LBN#3到LBN#4的范围的扇区群P2读取属于文件2D221的区段群的源包群。从PI#3表示的PTS#5、#6的对向SPN#5、#6的对的变换、从SPN#5、#6的对向LBN#5、#6的对的变换、以及从LBN#5到LBN#6的范围的扇区群P3中对源包群的读取也是同样的。这样,再现装置102能够按照2D播放列表文件241的主路径2701从文件2D221再现2D影像。
2D播放列表文件241也可以包含入口标记3201。入口标记3201表示主路径3001中的、应实际开始再现的时刻。例如如图32所示,也可以对PI#1设定多个入口标记3201。入口标记3201特别是在寻找起点(跃入)再现中用于再现开始位置的检索。例如在2D播放列表文件241规定电影标题的再现路径时,将入口标记3201赋予给各章节的开头。由此,再现装置102能够将该电影标题按照每个章节进行再现。
2-13:3D播放列表文件
图33是表示3D播放列表文件242的数据构造的示意图。参照图33,3D播放列表文件242包括主路径3301、副路径3302、以及扩展数据3303。
主路径3301规定主TS的再现路径。因而,主路径3301与2D播放列表文件241的主路径3001实质上相等。即,2D再现模式的再现装置102能够按照3D播放列表文件242的主路径3301从文件2D221再现2D影像。
副路径3302规定副TS的再现路径、即文件DEP222的再现路径。副路径3302的数据构造与2D播放列表文件241的副路径3002、3003的数据构造是同样的。因而,关于该同样的数据构造的详细情况、特别是SUB_PI的数据构造的详细情况的说明援用使用图30的说明。
副路径3302的SUB_PI#N(N=1、2、3、……)与主路径3301的PI#N一对一地对应。进而,各SUB_PI#N规定的再现开始时刻和再现结束时刻分别与对应的PI#N规定的再现开始时刻和再现结束时刻相等。副路径3302还包括副路径类型3310。“副路径类型”一般表示在主路径与副路径之间再现处理是否应同步。在3D播放列表文件242中,特别是副路径类型3110表示3D再现模式的种类、即应按照副路径3302再现的从属视视频流的种类。在图33中,副路径类型3110由于其值是“3D·L/R”,所以表示3D再现模式是L/R模式,即右视视频流是再现对象。另一方面,副路径类型3310表示当该值是“3D深度”时3D再现模式是深度模式,即深度图流是再现对象。3D再现模式的再现装置102当检测到副路径类型3310的值是“3D·L/R”或“3D深度”时,使按照主路径3101的再现处理与按照副路径3302的再现处理同步。
扩展数据3303是仅由3D再现模式的再现装置102解释的部分,被2D再现模式的再现装置102忽视。扩展数据3303特别包括扩展流选择表3330。扩展流选择表(以下简称作STN表SS)是在3D再现模式中应对主路径3301内的各PI表示的STN表追加的流登记信息的排列。该流登记信息表示能够从副TS作为再现对象选择的基本流。
[STN表SS]
图34是表示STN表SS3330的数据构造的示意图。参照图34,STN表SS3330包括流登记信息串3401、3402、3403、……。流登记信息串3401、3402、3403、……单独地对应于主路径3301内的PI#1、#2、#3、……。由3D再现模式的再现装置102与对应的PI内的STN表中包含的流登记信息串组合加以使用这些流登记信息串3401、3402、3403。对于各PI的流登记信息串3401-3403包括从属视视频流的流登记信息串3412、PG流的流登记信息串3413及IG流的流登记信息串3414。
从属视视频流的流登记信息串3412、PG流的流登记信息串3413及IG流的流登记信息串3414分别包括流登记信息,该流登记信息表示能够从副TS选择作为再现对象的从属视视频流、PG流及IG流。这些流登记信息串3412、3413、3414分别与包含在对应的PI内的STN表中的流登记信息串中的、表示基本视视频流、PG流及IG流的信息串相组合地使用。3D再现模式的再现装置102在读取STN表内的某个流登记信息串时,将组合在该流登记信息串中的STN表SS内的流登记信息串也自动地读取。由此,再现装置102在将2D再现模式简单地切换为3D再现模式时,能够将已设定的STN以及语言等流属性维持为相同。
从属视视频流的流登记信息串3412一般包括多个流登记信息(SS_dependet_view_block)3420。它们与对应的PI内的流登记信息中的、表示基本视视频流的信息是相同数量。各流登记信息3420包括STN3421、流入口3422、以及流属性信息3423。STN3421是对流登记信息3420单独地分配的连续号码,与对应的PI内的组合对象的流登记信息的STN相等。流入口3422包括副路径ID参照信息(ref_to_Subpath_id)3431、流文件参照信息(ref_to_subClip_entry_id)3432、以及PID(ref_to_stream_PID_subclip)3433。副路径ID参照信息3431表示副路径的副路径ID,该副路径规定从属视视频流的再现路径。流文件参照信息3432是用来识别保存有该从属视视频流的文件DEP的信息。PID3433是该从属视视频流的PID。流属性信息3423包括该从属视视频流的属性、例如帧速率、分辨率、以及视频格式。特别是,它们与对应的PI内包含的组合对象的流登记信息表示的基本视视频流的属性是共通的。
PG流的流登记信息串3413一般包括多个流登记信息3440。这些多个流登记信息3440与对应的PI内的流登记信息中的、表示PG流的信息是相同数量。各流登记信息3440包括STN3434、基本视流入口(stream_entry_for_base_view)3443、从属视流入口(stream_entry_for_depentdent_view)3444及流属性信息3445。STN3434是对流登记信息3440单独分配的连续号码,与对应的PI内的组合对象的流登记信息的STN相等。基本视流入口3443和从属视流入口3444分别包括副路径ID参照信息3451、流文件参照信息3452及PID3453。副路径ID参照信息3451表示规定基本视和从属视的各PG流的再现路径的副路径的副路径ID。流文件参照信息3452是用于识别保存有各PG流的文件DEP的信息。PID3453是各PG流的PID。流属性信息3445包括各PG流的属性、例如语言的种类。IG流的流登记信息串3414也具有同样的数据构造。
[按照3D播放列表文件的3D影像的再现]
图35是表示3D播放列表文件242表示的PTS、与从文件SS223(f)再现的部分之间的对应关系的示意图。参照图35,在3D播放列表文件242的主路径3301中,PI#1规定表示再现开始时刻的PTS#1、和表示再现结束时刻OUT1的PTS#2。PI#1的参照片断信息表示2D片断信息文件231。在副路径3002中,SUB_PI#1规定与PI#1相同的PTS#1、#2。SUB_PI#1的参照片断信息表示DEP片断信息文件232。
再现装置102在按照3D播放列表文件242再现3D影像时,首先从PI#1和SUB_PI#1读取PTS#1、#2。再现装置102接着参照2D片断信息文件231的入口映射,检索对应于PTS#1、#2的文件2D221内的SPN#1、#2。与其并行地,再现装置102参照DEP片断信息文件232的入口映射,检索对应于PTS#1、#2的文件DEP222内的SPN#11、#12。再现装置102接着如图29(e)的说明所述,利用各片断信息文件231、232的区段起点2742、2920,根据SPN#1、#11计算从文件SS223的开头到再现开始位置的源包数SPN#21。再现装置102同样地根据SPN#2、#12计算从文件SS223的开头到再现结束位置的源包数SPN#22。再现装置102再计算分别对应于SPN#21、#22的扇区数。再现装置102接着利用这些扇区数和文件SS223的文件入口,确定记录有再现对象的区段群EXTSS[0]、……、EXTSS[n]的扇区群P11的前端的LBN#1和后端的LBN#2。扇区数的计算和LBN的确定与图29(e)的说明所述是同样的。再现装置102最后将从LBN#1到LBN#2的范围指定给BD-ROM驱动器121。由此,BD-ROM驱动器121利用文件SS223的文件入口,从该范围的扇区群P11读取属于各区段EXTSS[0]、……、EXTSS[n]的源包群。同样,将PI#2和SUB_PI#2表示的PTS#3、#4的对首先利用片断信息文件231、232的各入口映射变换为SPN#3、#4的对和SPN#13、#14的对。接着,根据SPN#3、#13计算从文件SS244A的开头到再现开始位置的源包数SPN#23,根据SPN#4、#14计算从文件SS244A的开头到再现结束位置的源包数SPN#24。接着,利用文件SS244A的文件入口,将SPN#23、#24的对变换为LBN#3、#4的对。进而,从LBN#3到LBN#4的范围的扇区群P12中读取属于文件SS223的区段群的源包群。
与上述读取处理并行地,再现装置102如在图29(e)的说明中说明的那样,利用各片断信息文件231、232的区段起点2742、2920从文件SS223的各区段提取基本视区段与从属视区段并行解码。这样,再现装置102能够按照3D播放列表文件242从文件SS223再现3D影像。
2-14:扩展播放列表文件
图36是表示扩展播放列表文件243的数据构造的示意图。参照图36,扩展播放列表文件243包括主路径3601、副路径3602及扩展数据3603。
主路径3601规定主TS的再现路径。因此,主路径3601与2D播放列表文件241的主路径3001实质上相同。即,2D再现模式的再现装置102能够按照扩展播放列表文件243的主路径3601从文件2D221再现全HD的2D影像。
副路径3602规定扩展流文件224的再现路径。副路径3602的数据构造与2D播放列表文件241的副路径3002、3003的数据构造是同样的。因此,该同样的数据构造的详细情况、特别是SUB_PI的数据构造的详细情况的说明,援用使用图30的说明。
副路径3602的SUB_PI#N(N=1、2、3、…)与主路径3601的PI#N一对一地对应。进而,各SUB_PI#N规定的再现开始时刻和再现结束时刻分别与对应的PI#N规定的再现开始时刻和再现结束时刻相同。副路径3602还包括副路径类型3610。在扩展播放列表文件243中,特别是副路径类型3610的值为“4K2K”,再现装置102的动作模式表示扩展再现模式。扩展再现模式的再现装置102检测到副路径类型3610表示扩展再现模式时,使按照主路径3601的再现处理和按照副路径3602的再现处理同步。
扩展数据3603是仅由扩展再现模式的再现装置102解释的部分,在2D再现模式及3D再现模式的再现装置102中被无视。扩展数据3603尤其包括扩展流选择表3630。扩展流选择表(以下简称为STN表EX)是在扩展再现模式下应该向主路径3601内的各PI所示的STN表中追加的流登记信息的排列。该流登记信息表示能够从扩展流中作为再现对象选择的基本流。
[STN表EX]
图37是表示STN表EX3630的数据构造的示意图。参照图37,STN表EX3630包括流登记信息串3701、3702、3703、…。流登记信息串3701、3702、3703、…与主路径3301内的PI#1、#2、#3、…、分别地对应。扩展再现模式的再现装置102将这些流登记信息串3701、3702、3703与对应的PI内的STN表中包含的流登记信息串组合利用。对于各PI的流登记信息串3701包括扩展流的流登记信息串3710。
扩展流的流登记信息串3710与对应的PI内的STN表中包含的流登记信息串中的、表示基本视视频流的信息组合利用。扩展再现模式的再现装置102在读取STN表内的流登记信息串时,将与该流登记信息组合的STN表EX内的流登记信息串也自动读取。由此,再现装置102在单纯将2D再现模式切换为扩展再现模式时,将已设定的STN及语言等的流属性维持为同一。
扩展流的流登记信息串3710一般包括多个流登记信息3720。这些多个流登记信息3720与对应的PI内的流登记信息中的、表示基本视视频流的信息是相同数量。各流登记信息3720包括STN3721、流入口3722及流属性信息3723。STN3721是对流登记信息3720单独分配的连续号码,与对应的PI内的组合对象的流登记信息的STN相同。流入口3722包括副路径ID参照信息3731、流文件参照信息3732及PID3733。副路径ID参照信息3731表示规定扩展流的再现路径的副路径的副路径ID。流文件参照信息3732是用于识别保存有该扩展流的扩展流文件的信息。PID3733是应该从该扩展流中选择的基本流的PID、特别是分辨率扩展信息的PID。流属性信息3723包括该扩展流的属性。
[按照扩展播放列表文件的4K2K的影像的再现]
图38是表示扩展播放列表文件243所示的PTS和从文件2D221及扩展流文件224再现的部分之间的对应关系的示意图。参照图38,在扩展播放列表文件243的主路径3601中,PI#1规定表示再现开始时刻IN1的PTS#1和表示再现结束时刻OUT1的PTS#2。PI#1的参照片断信息表示2D片断信息文件231。在副路径3602中,SUB_PI#1规定与PI#1相同的PTS#1、#2。SUB_PI#1的参照片断信息表示扩展片断信息文件233。
再现装置102按照扩展播放列表文件243再现4K2K的2D影像时,首先从PI#1和SUB_PI#1读取PTS#1、#2。再现装置102接下来参照2D片断信息文件231的入口映射,检索与PTS#1、#2对应的文件2D221内的SPN#1、#2。与其并行地,再现装置102参照扩展片断信息文件233的入口映射,检索与PTS#1、#2对应的扩展流文件224内的SPN#11、#12。再现装置102接下来从SPN#1、#2计算分别对应的扇区数。再现装置102进而利用这些扇区数和文件2D221的文件入口,确定记录有再现对象的区段群EXT2D[0]、…、EXT2D[n]的扇区群P1的前端的LBN#1和后端的LBN#2。扇区数的计算和LBN的确定与使用图28所做的说明相同。再现装置102最后对BD-ROM驱动器121指定从LBN#1到LBN#2的范围。同样地,再现装置102根据SPN#11、#12计算分别对应的扇区数,利用这些扇区数和扩展流文件224的文件入口,确定记录有再现对象的扩展区段群EXT3[0]、…、EXT3[i]的扇区群P3的前端的LBN#11和后端的LBN#12。再现装置102进一步对BD-ROM驱动器121指定从LBN#11到LBN#12的范围。根据来自再现装置102的指定,BD-ROM驱动器121利用文件2D221的文件入口,从文件2D221的区段EXT2D[0]、…、EXT2D[n]读取从LBN#1到LBN#2为止的范围的扇区群P1。与其并行地,BD-ROM驱动器121利用扩展流文件224的文件入口,从扩展区段EXT3[0]、…、EXT3[i]读取从LBN#11到LBN#12的范围的扇区群P3。从图11能够理解,从LBN#1到LBN#2的范围和从LBN#11到LBN#12的范围重复,所以文件2D221的区段EXT2D[0]、…、EXT2D[n]和扩展区段EXT3[0]、…、EXT3[i]被按照开头的LBN从小到大的顺序读取。这样,再现装置102能够按照扩展播放列表文件243的主路径3601和副路径3602,从文件2D221和扩展流文件224再现4K2K的2D影像。
2-15:索引文件
图39是表示图2所示的索引文件211的数据构造的示意图。参照图39,索引文件211包括索引表3910。索引表3910包括项目“首先播放”3901、“顶部菜单”3902、以及“标题k”3903(k=1、2、……、n:n是1以上的整数)。各项目与MV对象MVO-2D,MVO-3D、……、或者BD-J对象BDJO-2D、BDJO-3D、……中的某个建立了对应。每当通过用户的操作或者应用程序调用标题或菜单时,再现装置102的控制部参照索引表3910对应的项目。控制部还从BD-ROM盘101调用与该项目建立了对应的对象,按照它进行各种处理。具体而言,在项目“首先播放”3901中,指定了在将盘101插入BD-ROM驱动器121时应调用的对象。在项目“顶部菜单”3902中,指定了用来在例如通过用户的操作输入了“回到菜单”的命令时使显示装置103显示菜单的对象。在项目“标题k”3903中,单独地分配了构成盘101上的内容的标题。当例如通过用户的操作指定了再现对象的标题时,在分配了该标题的项目“标题k”中,指定了用来从对应于该标题的AV流文件再现影像的对象。
在图39所示的例子中,将项目“标题1”和项目“标题2”分配给全HD的2D影像的标题。与项目“标题1”建立了对应的MV对象MVO-2D包括与使用2D播放列表文件241的全HD的2D影像的再现处理有关的命令群。当由再现装置102参照项目“标题1”时,按照该MV对象MVO-2D从BD-ROM盘101读取2D播放列表文件241,沿着由其规定的再现路径执行2D影像的再现处理。与项目“标题2”建立了对应的BD-J对象BDJO-2D包括与使用2D播放列表文件221的全HD的2D影像的再现处理有关的应用管理表。当由再现装置102参照了项目“标题2”时,按照该BD-J对象BDJO-2D内的应用管理表从JAR文件253调用Java应用程序并执行。由此,从BD-ROM盘101读取2D播放列表文件241,沿着由其规定的再现路径执行全HD的2D影像的再现处理。
进而,还将项目“标题3”和项目“标题4”分配给3D影像的标题。与项目“标题3”建立了对应的MV对象MVO-3D除了包括与使用2D播放列表文件241的全HD的2D影像的再现处理的命令群以外,还包括关于使用3D播放列表文件242的3D影像的再现处理有关的命令群。由再现装置102参照了项目“标题3”时,按照该MV对象MVO-3D,从BD-ROM盘101读取3D播放列表文件242,按照其规定的再现路径执行3D影像的再现处理。在与项目“标题4”建立了对应的BD-J对象BDJO-3D中,应用管理表除了规定与使用2D播放列表文件241的全HD的2D影像的再现处理有关的Java应用程序以外,还规定与使用3D播放列表文件242的3D影像的再现处理有关的Java应用程序。由再现装置102参照了项目“标题4”时,按照该BD-J对象BDJO-3D内的应用管理表,从JAR文件253调用Java应用程序并执行。由此,从BD-ROM盘101读取3D播放列表文件242,并按照其规定的再现路径执行3D影像的再现处理。
此外,将项目“标题5”和项目“标题6”分配给4K2K的2D影像的标题。与项目“标题5”建立了对应的MV对象MVO-EX除了关于使用2D播放列表文件241的全HD的2D影像的再现处理的命令群之外,还包括关于使用扩展播放列表文件243的4K2K的2D影像的再现处理的命令群。由再现装置102参照了项目“标题5”时,按照该MV对象MVO-EX,从BD-ROM盘101读取扩展播放列表文件243,按照其规定的再现路径执行4K2K的2D影像的再现处理。与项目“标题6”建立了对应的BD-J对象BDJO-EX除了关于使用2D播放列表文件241的全HD的2D影像的再现处理的应用管理表之外,还规定关于使用扩展播放列表文件243的4K2K的2D影像的再现处理的Java应用程序。由再现装置102参照了项目“标题6”时,按照该BD-J对象BDJO-EX内的应用管理表,从JAR文件253调用Java应用程序并执行。由此,从BD-ROM盘101读取扩展播放列表文件243,并按照其规定的再现路径执行4K2K的2D影像的再现处理。
3:再现装置的构成
图40是图1所示的再现装置102的功能框图。参照图40,再现装置102包括BD-ROM驱动器4001、再现部4002、以及控制部4003。再现部4002包括开关4020、第一读缓冲器(RB1)4021、第二读缓冲器(RB2)4022、第三读缓冲器(RB3)4023、系统目标解码器4024、以及平面相加部4025。控制部4003包括动态脚本存储器4031、静态脚本存储器4032、用户事件处理部4033、程序执行部4034、再现控制部4035以及播放器变量存储部4036。再现部4002和控制部4003安装在相互不同的集成电路中。特别是程序执行部4034和再现控制部4035由再现装置102中内置的CPU的功能来实现。除此以外,也可以将再现部4002和控制部4003综合为单一的集成电路。
BD-ROM驱动器4001在内部中被插入了BD-ROM盘101时,对该盘101照射激光而检测其反射光的变化。进而,根据该反射光的光量的变化,读取记录到盘101中的数据。具体而言,BD-ROM驱动器4001具备光拾取器、即光学头。该光学头包括半导体激光器、准直透镜、分束器、物镜、聚光透镜、以及光检测器。从半导体激光器射出的光束依次通过准直透镜、分束器、以及物镜聚集到盘101的记录层上。聚集的光束被该记录层反射/衍射。将该反射/衍射光通过物镜、分束器、以及聚光透镜聚集到光检测器上。光检测器生成等级对应于该聚光量的再现信号。还根据该再现信号解调数据。
BD-ROM驱动器4001从再现控制部4035作为文件的读取要求而被指示了LBN的范围时,利用该文件的文件入口,依次读取BD-ROM盘101上的该范围中包含的该文件的区段。读取对象的文件存在多个,对各文件指定的LBN的范围重复的情况下,BD-ROM驱动器4001在该重复的部分中,无论属于哪个文件,都从开头的LBN较小的区段开始读取。这样读取的文件中,AV流文件被转送给开关4020,动态脚本信息被转送给动态脚本存储器4031,静态脚本信息被转送给静态脚本存储器4032。“动态脚本信息”包括索引文件和BD程序文件。“静态脚本信息”包括播放列表文件和片断信息文件。
开关4020将AV流文件以区段单位从BD-ROM驱动器4001转送给某一读缓冲器4021-402。在2D再现模式的再现装置102中,开关4020将文件2D的区段转送给RB14021。在3D再现模式的再现装置102中,开关4020预先从再现控制部4035接收与文件SS的区段有关的边界信息。边界信息表示文件SS的各区段中包含的基本视区段和从属视区段之间的边界。具体地说,边界信息表示从文件SS的各区段的开头到该区段中包含的基本视区段与从属视区段的各边界为止的源包数。开关4020进一步利用该边界信息,从文件SS的各区段提取基本视区段并发送给RB14021,提取从属视区段并发送给RB24022。在扩展再现模式的再现装置102中,开关4020将文件2D的区段发送给RB14021,将扩展流文件的区段发送给RB34023。关于从BD-ROM驱动器4001发送给开关4020的各区段属于文件2D和扩展流文件中的哪一个的信息,从BD-ROM驱动器4001发送给开关4020。
RB14021、RB24022及RB34023是利用再现部4002内的存储器元件的缓存器。特别是,单一存储器元件内的不同区域作为RB14021、RB24022及RB34023来利用。除此之外,不同的存储器元件也可以单独地作为各读缓冲器4021-4023来利用。RB14021从开关4020接收基本视区段并保存。RB24022从开关4020接收从属视区段并保存。RB34023从开关4020接收扩展区段并保存。
系统目标解码器4024从各读缓冲器4021-4023以源包为单位读取区段并进行多路分离处理,对分离后的各基本流进行解码处理。这里,预先从再现控制部4035向系统目标解码器4024转送解码对象的基本流的PID及各基本流的解码所需要的信息、例如编解码器的种类及流的属性。系统目标解码器4024还将从主视频流解码的视频帧(以下称为主影像平面)、从次视频流解码的视频帧(以下称为副影像平面)、从PG流解码的PG平面及从IG流解码的IG平面发送给平面相加部4025。这些平面数据在2D再现模式中表示全HD的2D影像,在3D再现模式中表示左视和右视的2D影像的对,在扩展再现模式中表示4K2K的2D影像。此外,系统目标解码器4024将解码后的主音频流与次音频流混合而向显示装置103的内置扬声器103A等声音输出装置送出。除此以外,系统目标解码器4024从程序执行部4034接收图形数据。该图形数据是用来将菜单等GUI用图形显示在画面上的数据,用JPEG或PNG等光栅数据表现该图形数据。系统目标解码器4024将该图形数据进行处理并变换为图像平面数据送出到平面相加部4025。另外,关于系统目标解码器4024的详细情况在后面叙述。
平面相加部4025从系统目标解码器4024读取主影像平面、副影像平面、IG平面、PG平面、以及图像平面,将它们相互叠加而合成为一个影像帧。特别是在L/R模式下,各平面数据由表示左视的数据和表示右视的数据的对构成。平面相加部4025在表示左视的主影像平面上重叠表示左视的其他平面数据,在表示右视的主影像平面上重叠表示右视的其他平面数据。另一方面,在深度模式下,各平面数据由表示2D影像的数据和表示深度图的对构成。因此,平面相加部4025首先从各平面数据生成左视和右视的平面数据的对。之后的合成处理与L/R模式下的合成处理同样。将合成后的影像数据变换为HDMI方式的影像信号,并输出至显示装置103。2D再现模式的平面相加部4025输出全HD的2D影像的视频帧。3D再现模式的平面相加部4025交替地输出左视的视频帧和右视的视频帧。扩展再现模式的平面相加部4025输出4K2K的2D影像的视频帧。
动态脚本存储器4031及静态脚本存储器4032都是缓存器。作为动态脚本存储器4031及静态脚本存储器4032,利用控制部4003内的不同存储器元件。此外,也可以将单一的存储器元件的不同区域作为动态脚本存储器4031及静态脚本存储器4032来利用。动态脚本存储器4031保存动态脚本信息,静态脚本存储器4032保存静态脚本信息。
用户事件处理部4033通过遥控器105或再现装置102的前面板检测用户的操作,根据该操作的种类对程序执行部4034或再现控制部4035委托处理。例如当用户按下遥控器105的按钮而指示了弹出菜单的显示时,用户事件处理部4033检测到该按下而识别该按钮。用户事件处理部4033还对程序执行部4034委托对应于该按钮的命令的执行、即弹出菜单的显示处理。另一方面,例如当用户按下了遥控器105的快进或回退按钮时,用户事件处理部4033检测到该按下而识别该按钮。用户事件处理部4033还对再现控制部4035委托当前再现过程中的播放列表的快进或回退处理。
程序执行部4034是处理器,从保存在动态脚本存储器4031中的MV对象文件及BD-J对象文件读取程序并执行。程序执行部4034还按照各程序进行以下的控制:(1)对再现控制部4035命令播放列表再现处理;(2)生成菜单用或游戏用的图形数据作为PNG或JPEG的光栅数据,将其向系统目标解码器4022转送并合成到其他影像数据中。这些控制的具体的内容可以通过程序的设计而比较自由地设计。即,这些控制内容由BD-ROM盘101的写作(编著)工序中的、电影对象文件及BD-J对象文件的编程工序决定。
再现控制部4035首先对将各种文件从BD-ROM盘101向读缓冲器4021-4023、动态脚本存储器4031及静态脚本存储器4032转送的处理进行控制。在该控制中,利用BD-ROM盘101的文件系统。具体地说,进行特定的文件的转送时,再现控制部4035首先利用该文件的名字,从BD-ROM盘101上的目录/文件构造中检索该文件的文件入口。再现控制部4035接下来利用该文件入口,确定记录有转送对象的文件的各区段的BD-ROM盘101上的扇区群。然后,再现控制部4035向BD-ROM驱动器4001指示从扇区群读取数据。根据该指示,BD-ROM驱动器4001将转送对象的文件以区段为单位从BD-ROM盘101转送给各缓存器4021-4023、4031、4032。
再现控制部4035控制BD-ROM驱动器4001和系统目标解码器4024,从AV流文件解码影像数据和声音数据。具体而言,再现控制部4035首先根据来自程序执行部4034的命令、或来自用户事件处理部4033的委托,从静态脚本存储器4032读取2D播放列表文件并解释其内容。再现控制部4035接着按照该解释后的内容、特别是再现路径,对BD-ROM驱动器4001和系统目标解码器4024指定再现对象的AV流文件,并指示其读取处理及解码处理。将这样的按照播放列表文件的再现处理称作“播放列表再现处理”。
在2D再现模式的再现装置102中,再现控制部4035被从程序执行部4034等命令播放列表再现处理时,从保存在静态脚本存储器4032中的2D播放列表文件依次读取PI并设定为当前PI。再现控制部4035每当设定当前PI,首先按照其STN表,设定系统目标解码器4024的动作条件。特别是,再现控制部4035选择解码对象的基本流的PID,与该基本流的解码所需的属性信息一起转送给系统目标解码器4024。接着,再现控制部4035按照当前PI,以图32的说明所示的步骤,向BD-ROM驱动器4001指示记录有读取对象的文件2D的区段的扇区群的LBN的范围。
在3D再现模式的再现装置102中,再现控制部4035被从程序执行部4034等命令了播放列表再现处理时,从保存在静态脚本存储器4032中的3D播放列表文件依次读取PI并设定为当前PI。再现控制部4035每当设定当前PI,首先按照其STN表和其3D播放列表文件内的STN表SS,设定系统目标解码器4024和平面相加部4025的动作条件。特别是,再现控制部4035选择解码对象的基本流的PID,与该基本流的解码所需的属性信息一起转送给系统目标解码器4024。接着,再现控制部4035按照当前PI,以图35的说明中所示的步骤,向BD-ROM驱动器4001指示记录有读取对象的文件SS的区段的扇区群的LBN的范围。另一方面,再现控制部4035利用保存在静态脚本存储器4032中的片断信息文件内的区段起点,生成与文件SS的区段有关的边界信息并转送给开关4020。
在扩展再现模式的再现装置102中,再现控制部4035被从程序执行部4034等命令播放列表再现处理时,从保存在静态脚本存储器4032中的扩展播放列表文件依次读取PI并设定为当前PI。再现控制部4035每当设定当前PI,首先按照其STN表和其扩展播放列表文件内的STN表EX,设定系统目标解码器4024的动作条件。特别是,再现控制部4035选择解码对象的基本流的PID,与该基本流的解码所需的属性信息一起转送给系统目标解码器4024。接着,再现控制部4035按照当前PI,以图38的说明中示出的步骤,向BD-ROM驱动器4001指示记录有读取对象的文件2D和扩展流文件的区段的扇区群的LBN的范围。
除此以外,再现控制部4035还利用静态脚本信息对播放器变量存储部4036设定各种播放器变量。再现控制部4035还参照这些播放器变量,对系统目标解码器4024指定解码对象的基本流,并且提供各基本流的解码所需要的信息。
播放器变量存储部4036是用来存储播放器变量的寄存器群。在播放器变量的种类中有系统参数(SPRM)和通用的参数(GPRM)。SPRM表示再现装置102的状态。SPRM例如是64个,各自表示的意义如下。
SPRM(0):语言代码
SPRM(1):主音频流编号
SPRM(2):字幕流编号
SPRM(3):角度编号
SPRM(4):标题编号
SPRM(5):章节编号
SPRM(6):程序编号
SPRM(7):单元编号
SPRM(8):选择关键字信息
SPRM(9):导航定时器
SPRM(10):再现时刻信息
SPRM(11):卡拉OK用混合模式
SPRM(12):家长用国家信息
SPRM(13):家长等级
SPRM(14):播放器设定值(视频)
SPRM(15):播放器设定值(音频)
SPRM(16):音频流用语言代码
SPRM(17):音频流用语言代码(扩展)
SPRM(18):字幕流用语言代码
SPRM(19):字幕流用语言代码(扩展)
SPRM(20):播放器区域代码
SPRM(21):次视频流编号
SPRM(22):次音频流编号
SPRM(23):再现状态
SPRM(24)-SPRM(63):预留
SPRM(10)表示解码处理中的图片的PTS,每当该图片被解码时被更新。因而,只要参照SPRM(10),就能够知道当前的再现时刻。
SPRM(16)的音频流用语言代码、以及SPRM(18)的字幕流用语言代码表示再现装置102的默认的语言代码。它们也可以利用再现装置102的OSD等由用户变更,也可以经由程序执行部4034由应用程序变更。例如当SPRM(16)表示“英语”时,再现控制部4035在播放列表再现处理中,首先从表示当前时刻的再现区间的PI即当前PI所包含的STN表中检索包含“英语”的语言代码的流入口。再现控制部4035接着从该流入口的流识别信息中提取PID,传递给系统目标解码器4024。由此,由系统目标解码器4024选择该PID的音频流并解码。这些处理能够利用NV对象文件或BD-J对象文件使再现控制部4035执行这些处理。
播放器变量在再现处理中由再现控制部4035根据再现状态的变化更新。特别是将SPRM(1)、SPRM(2)、SPRM(21)、以及SPRM(22)更新。它们依次表示处理过程中的音频流、字幕流、次视频流、以及次音频流的各STN。设想例如由程序执行部4034变更了SPRM(1)的时候。再现控制部4035首先利用变更后的SPRM(1)表示的STN,从当前PI内的STN表中检索包含该STN的流入口。再现控制部4035接着从该流入口内的流识别信息中提取PID并传递给系统目标解码器4024。由此,由系统目标解码器4024选择该PID的音频流并解码。这样,切换再现对象的音频流。同样,还能够切换再现对象的字幕以及次视频流。
3-1:2D播放列表再现处理
图41是再现控制部4035进行的2D播放列表再现处理的流程图。2D播放列表再现处理是按照2D播放列表文件进行的播放列表再现处理,通过再现控制部4035从静态脚本存储器4032读取2D播放列表文件而开始。
在步骤S4001中,再现控制部4035首先从2D播放列表文件内的主路径读取一个PI,设定为当前PI。再现控制部4035接着从该当前PI的STN表中选择再现对象的基本流的PID,并且确定它们的解码所需要的属性信息。将所选择的PID和属性信息指示给系统目标解码器4024。再现控制部4035还根据2D播放列表文件内的副路径确定附带于当前PI的SUB_PI。然后,处理向步骤S4102前进。
在步骤S4102中,再现控制部4035从当前PI读取参照片断信息、表示再现开始时刻IN1的PTS#1、以及表示再现结束时刻OUT1的PTS#2。根据该参照片断信息确定与再现对象的文件2D相对应的2D片断信息文件。进而,当存在附带于当前PI的SUB_PI时,从它们也读取同样的信息。然后,处理向步骤S4103前进。
在步骤S4103中,再现控制部4035参照2D片断信息文件的入口映射,检索对应于PTS#1、#2的文件2D内的SPN#1、#2。将SUB_PI表示的PTS的对也同样地变换为SPN的对。然后,处理向步骤S4104前进。
在步骤S4104中,再现控制部4035根据SPN#1、#2计算分别与其对应的扇区数。具体而言,再现控制部4035首先求出SPN#1、#2分别与每一个源包的数据量192字节的乘积。再现控制部4035接着将各乘积用每一个扇区的数据量2048字节除而求出该商:N1=SPN#1×192/2048、N2=SPN#2×192/2048。商N1、N2等于记录有主TS中的分别被分配了SPN#1、#2的源包之前的部分的扇区的总数。将从SUB_PI表示的PTS的对变换的SPN的对也同样地变换为扇区数的对。然后,处理向步骤S4105前进。
在步骤S4105中,再现控制部4035根据在步骤S4104中得到的扇区数N1、N2的每一个,确定再现对象的2D区段群的前端和后端的LBN。具体而言,再现控制部4035参照再现对象的文件2D的文件入口,确定从记录有2D区段群的扇区群的开头数第(N1+1)个扇区的LBN=LBN#1、和第(N2+1)个扇区的LBN=LBN#2。再现控制部4035还将从LBN#1到LBN#2的范围指定给BD-ROM驱动器4001。将从SUB_PI表示的PTS的对变换的扇区数的对也同样变换为LBN的对,并指定给BD-ROM驱动器4001。其结果,从指定的范围的扇区群以校准单元为单位读取属于2D区段群的源包群。然后,处理向步骤S4106前进。
在步骤S4106中,再现控制部4035检查在主路径中是否剩余有未处理的PI。在有剩余时,将处理从步骤S4001重复。在没有剩余时,处理结束。
3-2:3D播放列表再现处理
图42是再现控制部4035进行的3D播放列表再现处理的流程图。3D播放列表再现处理是按照3D播放列表文件的播放列表再现处理,通过再现控制部4035从静态脚本存储器4032读取3D播放列表文件,来开始3D播放列表再现处理。
在步骤S4201中,再现控制部4035首先从3D播放列表文件内的主路径读取一个PI,设定为当前的PI。再现控制部4035接着从该当前PI的STN表选择再现对象的基本流的PID,并且确定在它们的解码中需要的属性信息。再现控制部4235还从3D播放列表文件内的STN表SS3330中的、对应于当前PI的基本流中,选择应作为再现对象的基本流而追加的基本流的PID,并且确定在它们的解码中需要的属性信息。将所选择的PID和属性信息指示给系统目标解码器4024。再现控制部4035除此以外,根据3D播放列表文件内的副路径确定应与当前PI同时参照的SUB_PI,设定为当前的SUB_PI。然后,处理向步骤S4202前进。
在步骤S4202中,再现控制部4035从当前的PI和SUB_PI中分别读取参照片断信息、表示再现开始时刻IN1的PTS#1、以及表示再现结束时刻OUT1的PTS#2。根据该参照片断信息,确定分别与再现对象的文件2D和文件DEP相对应的片断信息文件。然后,处理向步骤S4203前进。
在步骤S4203中,再现控制部4035参照在步骤S4202中确定的片断信息文件的各入口映射,检索对应于PTS#1、#2的文件2D内的SPN#1、#2和文件DEP内的SPN#11、#12。再现控制部4035还利用各片断信息文件的区段起点,根据SPN#1、#11计算从文件SS的开头到再现开始位置的源包数SPN#21,根据SPN#2、#12计算从文件SS的开头到再现结束位置的源包数SPN#22。具体而言,再现控制部4035首先从2D片断信息文件的区段起点表示的SPN之中检索SPN#1以下最大的“Am”,从DEP片断信息文件的区段起点表示的SPN之中检索SPN#11以下最大的“Bm”。再现控制部4035接着求出检索到的SPN之和Am+Bm,决定为SPN#21。再现控制部4035接着从2D片断信息文件的区段起点表示的SPN之中检索比SPN#2大且最小的“An”,从DEP片断信息文件的区段起点表示的SPN之中检索比SPN#12大且最小的“Bn”。再现控制部4035接着求出检索到的SPN之和An+Bn,决定为SPN#22。然后,处理向步骤S4204前进。
在步骤S4204中,再现控制部435将在步骤S4203中决定的SPN#21、#22变换为扇区数的对N1、N2。具体而言,再现控制部4035首先求出SPN#21与每一个源包的数据量192字节的乘积。再现控制部4035接着求出将该乘积用每一个扇区的数据量2048字节除时的商SPN#21×192/2048。该商等于从文件SS的开头到再现开始位置的紧前面为止的扇区数N1。同样,再现控制部4035根据SPN#22求出商SPN#22×192/2048。该商等于从文件SS的开头到再现结束位置的紧前面为止的扇区数N2。然后,处理向步骤S4205前进。
在步骤S4205中,再现控制部4035根据在步骤S4204中得到的扇区数N1、N2分别确定再现对象的区段群的前端和后端的LBN。具体而言,再现控制部4035参照再现对象的文件SS的文件入口,确定从记录有区段群的扇区群的开头数第(N1+1)个扇区的LBN=LBN#1、和第(N2+1)个扇区的LBN=LBN#2。再现控制部4035还将从LBN#1到LBN#2的范围指定给BD-ROM驱动器4001。其结果,从指定的范围的扇区群中以校准单元为单位读取属于区段群的源包群。然后,处理向步骤S4206前进。
在步骤S4206中,再现控制部4035再次利用在步骤S4203中已利用的片断信息文件的区段起点,生成与文件SS的区段群有关的边界信息,并向开关4020送出。作为具体的例子,设想表示再现开始位置的SPN#21等于各区段起点表示的SPN之和An+Bn,表示再现结束位置的SPN#22等于各区段起点表示的SPN之和Am+Bm的时候。此时,再现控制部4035根据各区段起点求出SPN的差的串、A(n+1)-An、B(n+1)-Bn、A(n+2)-A(n+1)、B(n+2)-B(n+1)、……、Am-A(m-1)、Bm-B(m-1),作为边界信息向开关4020送出。如图29(e)所示,该串表示包含在文件SS的区段中的基本视区块和从属视区段各自的源包数。开关4020从0开始对从BD-ROM驱动器4001接收的文件SS的区段的源包数进行计数。每当该计数与边界信息表示的SPN的差一致时,开关4020将源包的送出目的地在RB14021与RB24022之间切换,并且将计数复位为0。其结果,将从文件SS的各区段的开头起的{B(n+1)-Bn}个源包、即最初的从属视区段向RB24022送出,将接着的{A(n+1)-An}个源包、即最初的基本视区段向RB1421送出。以后也同样,每当由开关4020接收的源包的数量与边界信息表示的SPN的差一致时,从文件SS的区段交替地提取从属视区段和基本视区段。然后,处理进入步骤S4207。
在步骤S4207中,再现控制部4035检查在主路径中是否剩余有未处理的PI。当有剩余时,将处理从步骤S4201起重复。当没有剩余时,处理结束。
3-3:扩展播放列表再现处理
图43是由再现控制部4035进行的扩展播放列表再现处理的流程图。扩展播放列表再现处理是按照扩展播放列表文件的播放列表再现处理,通过由再现控制部4035从静态脚本存储器4032读取扩展播放列表文件而开始。
在步骤S4301中,再现控制部4035首先从扩展播放列表文件内的主路径读取1个PI并设定为当前PI。再现控制部4035接着从该当前PI的STN表选择再现对象的基本流的PID,并确定这些解码所需的属性信息。再现控制部4035还从扩展播放列表文件内的STN表EX3630中的、与当前PI对应的STN表选择分辨率扩展信息的PID,并且确定该分辨率扩展信息的解码所需的属性信息。向系统目标解码器4024指示选择的PID和属性信息。再现控制部4035进一步从扩展播放列表文件内的副路径确定应该与当前PI同时参照的SUB_PI,并设定为当前SUB_PI。然后,处理进入步骤S4302。
在步骤S4302中,再现控制部4035分别从当前PI和当前SUB_PI读取参照片断信息、表示再现开始时刻IN1的PTS#1及表示再现结束时刻OUT1的PTS#2。根据该参照片断信息,确定分别与再现对象的文件2D和扩展流文件对应的片断信息文件。然后,处理进入步骤S4303。
在步骤S4303中,再现控制部4035参照在步骤S4302中确定的片断信息文件的各入口映射,检索与PTS#1、#2对应的文件2D内的SPN#1、#2和扩展流文件内的SPN#11、#12。然后,处理进入步骤S4304。
在步骤S4304中,再现控制部4035根据SPN#1、#2、#11、#12,计算分别对应的扇区数。具体地说,再现控制部4035首先求出SPN#1、#2、#11、#12的每一个与每个源包1的数据量192字节的乘积。再现控制部4035接着将各乘积除以每1扇区的数据量2048字节而求出其商:N1=SPN#1×192/2048、N2=SPN#2×192/2048、N11=SPN#11×192/2048、N12=SPN#12×192/2048。商N1、N2等于主TS中的、记录有分别分配了SPN#1、#2的源包之前的部分的扇区的总数。商N11、N12等于扩展流中的、记录有分别分配了SPN#11、#12的源包之前的部分的扇区的总数。然后,处理进入步骤S4305。
在步骤S4305中,再现控制部4035分别根据在步骤S4304中得到的扇区数N1、N2,确定再现对象的文件2D的区段群的前端和后端的LBN,分别根据扇区数N11、N12确定再现对象的扩展流文件的区段群的前端和后端的LBN。具体地说,再现控制部4035参照再现对象的文件2D的文件入口,确定从记录有区段群的扇区群的开头数起第(N1+1)个扇区的LBN=LBN#1和第(N2+1)个扇区的LBN=LBN#2。再现控制部4035进一步参照再现对象的扩展流文件的文件入口,确定从记录有区段群的扇区群的开头数起第(N11+1)个扇区的LBN=LBN#11和第(N12+1)个扇区的LBN=LBN#12。再现控制部4035接着向BD-ROM驱动器4001指定从LBN#1到LBN#2的范围和从LBN#11到LBN#12的范围。其结果,从指定的范围的扇区群按照开头的LBN从小到大的顺序读取文件2D和扩展流文件的区段。然后,处理进入步骤S4306。
在步骤S4306中,再现控制部4035检查主路径中是否还剩余未处理的PI。还剩余时,处理从步骤S4301返回。不剩余时,处理结束。
3-4:系统目标解码器
[2D再现模式中的构成]
图44是2D模式的系统目标解码器4024的功能框图。参照图44,系统目标解码器4024包括源包解包器4410、ATC计数器4420、第一27MHz时钟4430、PID过滤器4440、STC计数器(STC1)4450、第二27MHz时钟4460、主影像解码器4470、副影像解码器4471、PG解码器4472、IG解码器4473、主声音解码器4474、副声音解码器4475、图像处理器4480、主影像平面存储器4490、副影像平面存储器4491、PG平面存储器4492、IG平面存储器4493、图像平面存储器4494、以及混音器4495。
源包解包器(源解包器)4410从RB14021中读取源包,从其中取出TS包并向PID过滤器4440送出。源包解包器4410还使该送出时刻与各源包的ATS表示的时刻相匹配。具体而言,源包解包器4410首先监视ATC计数器4420生成的ATC的值。这里,通过ATC计数器4420将ATC的值对应于第一27MHz时钟4430的时钟信号的脉冲而递增。源包解包器4410接着在ATC的值与源包的ATS一致的瞬间,将从该源包取出的TS包转送给PID过滤器4440。通过这样的送出时刻的调节,TS包从源包解包器4410向PID过滤器4440转送的平均转送速度不超过由图27所示的2D片断信息文件231内的系统速率2711规定的值RTS。
PID过滤器4440首先监视从源包解包器4410送出的TS包包含的PID。当该PID与从再现控制部4035预先指定的PID一致时,PID过滤器4440选择该TS包,向适合进行该PID表示的基本流的解码的解码器4470~4475转送。例如当PID是0x1011时,将该TS包向主影像解码器4470转送。另一方面,当PID属于0x1B00~0x1B1F、0x1100~0x111F、0x1A00~0x1A1F、0x1200~0x121F、以及0x1400~0x141F的各范围时,将TS包分别向副影像解码器4471、主声音解码器4474、副声音解码器4475、PG解码器4472、以及IG解码器4473转送。
PID过滤器4440还利用各TS包的PID从该TS包之中检测PCR。PID过滤器4440此时将STC计数器4450的值设定为规定值。这里,STC计数器4450的值对应于第二27MHz时钟4460的时钟信号的脉冲而递增。此外,将应对STC计数器4450设定的值预先从再现控制部4035指示给PID过滤器4440。各解码器4470~4475利用STC计数器4450的值作为STC。具体而言,各解码器4470~4475首先将从PID过滤器4440接收到的TS包重构为PES包。各解码器4470~4475接着将该PES有效负载包含的数据的解码处理的时期按照包含在该PES头中的PTS或DTS表示的时刻进行调节。
主影像解码器4470如图44所示,包括传输流缓冲器(TB:TransportStream Buffer)4401、多路复用缓冲器(MB:Multiplexing Buffer)4402、基本流缓冲器(EB:Elementary Stream Buffer)4403、压缩影像解码器(DEC)4404、以及解码图片缓冲器(DPB:Decoded Picture Buffer)4405。
TB4401、MB4402、以及EB4403都是缓冲存储器,分别利用内置在主影像解码器4470中的存储器元件的一区域。除此以外,也可以将它们中的某些或全部分离为不同的存储器元件。TB4401将从PID过滤器4440接收到的TS包原样储存。MB4402将从储存在TB4401中的TS包复原后的PES包加以储存。另外,在从TB4401向MB4402转送TS包时,从该TS包除去TS头。EB4403从PES包中提取编码后的VAU并保存。在该VAU中,保存有压缩图片,即I图片、B图片、以及P图片。另外,在从MB4402向EB4403转送数据时,从该PES包除去PES头。
DEC4404是专用于压缩图片的解码处理的硬件解码器,特别由具备该解码处理的加速器功能的LSI构成。DEC4404在包含在原来的PES包中的DTS表示的时刻从EB4403内的各VAU解码图片。在该解码处理中,DEC4404预先解析该VAU的头,确定保存在该VAU内的压缩图片的压缩编码方式和流属性,根据它们选择解码方法。这里,该压缩编码方式例如包括MPEG-2、MPEG-4AVC、以及VC1。DEC4004还将解码后的非压缩的图片向DPB4405转送。
DPB4405是与TB4401、MB4402、以及EB4403同样的缓冲存储器,利用内置在主影像解码器4470中的存储器元件的一区域。DPB4405除此以外也可以分离为与其他缓冲存储器4401、4402、4403不同的存储器元件。DPB4405临时保持解码后的图片。当由DEC4404将P图片或B图片解码时,DPB4405根据来自DEC4404的指示,从保持的解码后的图片中检索参照图片,并提供给DEC4404。DPB4405还将保持的各图片在包含在原来的PES包中的PTS表示的时刻向主影像平面存储器4490写入。
副影像解码器4471包括与主影像解码器4470同样的结构。副影像解码器4471首先将从PID过滤器4440接收到的次视频流的TS包解码为非压缩的图片。副影像解码器4471接着在包含在从该TS包复原的PES包中的PTS表示的时刻将该非压缩的图片向副影像平面存储器4491写入。
PG解码器4472将从PID过滤器4440接收到的TS包解码为非压缩的图形对象。PG解码器进一步在包含在从这些TS包复原的PES包中的PTS表示的时刻将该非压缩的图形对象向PG平面存储器4492写入。
IG解码器4473将从PID过滤器4440接收到的TS包解码为非压缩的图形对象。IG解码器4473还在包含在从这些TS包复原的PES包中的PTS表示的时刻,将该非压缩的图形对象向IG平面存储器4493写入。
主声音解码器4474首先将从PID过滤器4440接收到的TS包储存到内置的缓冲器中。主声音解码器4474接着从该缓冲器内的TS包群中除去TS头和PES头,将剩余的数据解码为非压缩的LPCM声音数据。主声音解码器4474还在包含在原来的PES包中的PTS表示的时刻将该声音数据送出到混音器4495。这里,主声音解码器4474根据包含在TS包中的主音频流的压缩编码方式以及流属性,选择压缩声音数据的解码方法。该压缩编码方式包括例如AC-3或DTS。
副声音解码器4475包括与主声音解码器4474同样的结构。副声音解码器4475首先根据从PID过滤器4440接收到的次音频流的TS包群复原PES包,将该PES有效负载所包含的数据解码为非压缩的LPCM声音数据。副声音解码器4475接着在该PES头包含的PTS表示的时刻将该非压缩的LPCM声音数据向混音器4495送出。这里,副声音解码器4475根据包含在TS包中的次音频流的压缩编码方式以及流属性选择压缩声音数据的解码方法。该压缩编码方式例如包括杜比数字+或DTS-HD LBR。
混音器4495从主声音解码器4474和副声音解码器4475分别接收非压缩的声音数据,使用它们进行混合。混音器4495还将通过该混合得到的合成音向显示装置103的内置扬声器103A等送出。
图像处理器4480从程序执行部4034接收图形数据,即PNG或JPEG的光栅数据。图像处理器4480此时进行对该图形数据的绘制处理,并向图像平面存储器4494写入。
主影像平面存储器4490、副影像平面存储器4491、PG平面存储器4492、IG平面存储器4493及图形平面存储器4494确保于系统目标解码器4024中内置的存储器元件的不同区域。除此之外,各平面存储器4490-4494也可以分离为不同的存储器元件。各平面存储器4490-4494能够保存对应的平面数据,至少与1个视频帧尺寸相等。
[3D再现模式中的构成]
图45是3D再现模式的系统目标解码器4024的功能框图。图45所示的构成要素与图44所示的构成在以下3点不同:(1)从读缓冲器向各解码器的输入系统被双重化;(2)主影像解码器、副影像解码器、PG解码器及IG解码器都能够将主TS和副TS交替地解码;(3)各平面存储器能够保存分别表示左视和右视的平面数据。另一方面,主声音解码器、副声音解码器、混音器、以及图像处理器与图44所示构成是同样的。因而,以下对图45所示的构成要素中的、与图44所示的构成要素不同的部分进行说明。另一方面,关于同样的构成要素的详细情况的说明援用对图44的说明。进而,由于各解码器都具有同样的构造,所以以下对主影像解码器4515的构造进行说明。同样的说明对于其他影像解码器的构造也成立。
第一源包解包器4511从RB14021读取源包,再从其中提取TS包,向第一PID过滤器4513送出。第二源包解包器4512从RB24022读取源包,再从其中提取TS包,向第二PID过滤器4514送出。各源包解包器4511、4512还使各TS包的送出时刻匹配于各源包的ATS所示的时刻。其同步方法与图44所示的源包解包器4410的方法是同样的。因而,关于其详细情况的说明援用对图44的说明。通过这样的送出时刻的调节,从第一源包解包器4511向第一PID过滤器4513转送的TS包的平均转送速度RTS1不超过2D片断信息文件表示的系统速率。同样,从第二源包解包器4512向第二PID过滤器4514转送的TS包的平均转送速度RTS2不超过DEP片断信息文件表示的系统速率。
第一PID过滤器4513每当从第一源包解包器4511接收TS包时,将该PID与选择对象的PID比较。由再现控制部4035预先按照3D播放列表文件内的STN表指定该选择对象的PID。当两者的PID一致时,第一PID过滤器4513将该TS包向分配给该PID的解码器转送。例如,当PID是0x1011时,将该TS包向主影像解码器4515内的TB14501转送。除此以外,当PID属于0x1B00~0x1B1F、0x1100~0x111F、0x1A00~0x1A1F、0x1200~0x121F、以及0x1400~0x141F的各范围时,将对应的TS包分别向副影像解码器、主声音解码器、副声音解码器、PG解码器、以及IG解码器转送。
第二PID过滤器4514每当从第二源包解包器4512接收TS包时,将该PID与选择对象的PID比较。由再现控制部4035预先按照3D播放列表文件内的STN表SS指定该选择对象的PID。当两者的PID一致时,第二PID过滤器4514将该TS包向对该PID分配的解码器转送。例如,当PID是0x1012或0x1013时,将该TS包向主影像解码器4515内的TB24508转送。除此以外,当PID属于0x1B20~0x1B3F、0x1220~0x127F、以及0x1420~0x147F的各范围时,将对应的TS包分别向副影像解码器、PG解码器、以及IG解码器转送。
主影像解码器4515包括TB14501、MB14502、EB14503、TB24508、MB24509、EB24510、缓冲器开关4506、DEC4504、DPB4505、以及图片开关4507。TB14501、MB14502、EB14503、TB24508、MB24509、EB24510及DPB4505都是缓冲存储器。各缓冲存储器利用内置在主影像解码器4515中的存储器元件的一区域。除此以外,也可以将这些缓冲存储器中的某个或全部分离为不同的存储器元件。
TB14501从第一PID过滤器4513接收包含基本视视频流的TS包并原样储存。MB14502从储存在TB14501中的TS包复原PES包并储存。此时,从各TS包除去TS头。EB14503从储存在MB14502中的PES包中提取编码后的VAU并储存。此时,从各PES包除去PES头。
TB24508从第二PID过滤器4514接收包含从属视视频流的TS包并原样储存。MB24509从储存在TB24508中的TS包复原PES包并储存。此时,从各TS包除去TS头。EB24510从储存在MB24509中的PES包中提取编码后的VAU并储存。此时,从各PES包除去PES头。
缓冲器开关4506根据来自DEC4504的请求,转送分别储存在EB14503和EB24510中的VAU的头。缓冲器开关4506还在包含在原来的PES包中的DTS表示的时刻向DEC4504转送该VAU的压缩图片数据。这里,在基本视视频流与从属视视频流之间,属于相同3D·VAU的一对图片的DTS相等。因而,缓冲器开关4506将DTS相等的一对VAU中的、储存在EB14503中的VAU先向DEC4504转送。
DEC4504与图44所示的DEC4004同样,是专用于压缩图片的解码处理的硬件解码器,特别是由具备该解码处理的加速器功能的LSI构成。DEC4504将从缓冲器开关4506转送来的压缩图片数据依次解码。在该解码处理中,DEC4504预先解析各VAU的头,确定保存在该VAU内的压缩图片的压缩编码方式和流属性,根据它们选择解码方法。这里,该压缩编码方式例如包括MPEG-2、MPEG-4AVC、MVC、以及VC1。DEC4504还向DPB4505转送解码后的非压缩的图片。
DPB4505暂时保持解码后的非压缩的图片。在DEC4504将P图片及B图片解码时,DPB4505根据来自DEC4504的请求,从保持的非压缩的图片之中检索参照图片,提供给DEC4504。
图片开关4507在包含在原来的PES包中的PTS表示的时刻,从DPB4505将非压缩的各图片写入到左影像平面存储器4520和右影像平面存储器4521中的某个中。这里,在属于相同3D·VAU的基本视图片和从属视图片中,PTS相等。因而,图片开关4507将保持在DPB4505中的、PTS相等的一对图片中的基本视图片先写入到左影像平面存储器4520中,接着将从属视图片写入到右影像平面存储器4521中。
[扩展再现模式中的构成]
图46是扩展再现模式的系统目标解码器4024的功能框图。图46所示的构成要素与图45所示的构成要素相比,有以下2点不同:(1)主影像解码器、副影像解码器、PG解码器及IG解码器都能够将主TS和扩展流交替地解码;(2)各平面存储器能够保存4K2K的平面数据。另一方面,主声音解码器、副声音解码器、混音器及图形处理器与图45所示相同。因此,以下说明图46所示的构成要素中的、与图45所示不同的部分,对于相同部分的详细情况的说明援用对图45的说明。此外,各解码器都具有同样的构造,所以以下说明主影像解码器4615的构造。同样的说明对于其他解码器的构造也成立。
第二源包解包器4512从RB34023读取源包,进而从中提取TS包并向第二PID过滤器4514送出。从第二源包解包器4512向第二PID过滤器4514的TS包的平均转送速度RTS3不超过扩展片断信息文件所示的系统速率。
第二PID过滤器4514每当从第二源包解包器4512接收TS包,将该PID与选择对象的PID进行比较。该选择对象的PID由再现控制部4035预先按照扩展播放列表文件内的STN表EX指定。双方的PID一致时,第二PID过滤器4514将该TS包向对该PID分配的解码器转送。例如,PID为0x1014时,该TS包向主影像解码器4615内的TB24608转送。
主影像解码器4615包括TB14601、MB14602、EB14603、TB24608、MB24609、EB24610、分辨率扩展控制部4606、DEC4604、DPB4605及加法部4607。TB14601、MB14602、EB14603、TB24608、MB24609、EB24610及DPB4605都是缓存器。各缓存器利用内置于主影像解码器4615的存储器元件的一区域。除此之外,这些缓存器的某一个或全部也可以分离为标题的存储器元件。
TB14601从第一PID过滤器4513接收包含基本视视频流的TS包并原样储存。MB14602从储存在TB14601中的TS包将PES包复原并储存。这时,从各TS包将TS头除去。EB14603从储存在MB14602中的PES包提取编码后的VAU并储存。这时,从各PES包将PES头除去。
TB24608从第二PID过滤器4514接收包含分辨率扩展信息的TS包并原样储存。MB24609从储存在TB24608中的TS包将PES包复原并储存。这时,从各TS包将TS头除去。EB24610从储存在MB24609中的PES包提取编码后的VAU并储存。这时,从各PES包将PES头除去。
分辨率扩展控制部4606从储存在EB24610中的分辨率扩展信息读取扩展后的分辨率和插值方式,并向DEC4604指示。分辨率扩展控制部4606再从该分辨率扩展信息读取差分像素信息,在原来的PES包中包含的DTS所示的时刻向加法部4607送出。在此,在基本视视频流和扩展流中,构成1个4K2K的视频帧所需的图片和分辨率扩展信息的DTS相等。
DEC4604与图44所示的DEC4404同样,是专用于压缩图片的解码处理的硬件解码器,特别是由具备该解码处理的加速器功能的LSI构成。DEC4604将从EB14603转送的压缩图片数据依次解码。在该解码处理中,DEC4604预先解析各VAU的头,确定保存在该VAU内的压缩图片的压缩编码方式和流属性,根据这些选择解码方法。在此,该缩编码方式例如包括MPEG-2、MPEG-4AVC及VC1。
DEC4604还使用从分辨率扩展控制部4606指定的插值方式,使解码后的非压缩的图片的分辨率从全HD上升到从分辨率扩展控制部4606指示的分辨率、即4K2K。在此,作为该插值方式,采用双线性法及双三次法等、能够用于使影像的分辨率上升的周知的方式。DEC4604将4K2K的图片向DPB4605转送。
DPB4605暂时保存解码后的非压缩的图片。DEC4604将P图片及B图片解码时,DPB4605根据来自DEC4604的请求,从保持的非压缩的图片中检索参照图片,并提供给DEC4604。
加法部4607从DPB4605读取4K2K的图片,从分辨率扩展控制部4606接收差分像素信息。这时,加法部4607将该图片的各像素数据与差分像素信息内的对应的像素数据的差分相加。由此,将4K2K的图片所示的影像变换为本来的精细的影像。变换后的4K2K的图片在原来的PES包所包含的PTS所示的时刻被写入主影像平面存储器4620。
[从全HD向4K2K的分辨率的变换处理]
图47是分辨率从全HD向4K2K的变换处理的流程图。该处理在从EB24610向分辨率扩展控制部4606转送分辨率扩展信息的时刻开始。
在步骤S4701中,分辨率扩展控制部4606从分辨率扩展信息读取扩展后的分辨率和插值方式。分辨率扩展控制部4606进一步向DEC4604指示扩展后的分辨率和插值方式。然后,处理进入步骤S4702。
在步骤S4702中,DEC4604从EB14603读取压缩图片数据,根据该压缩图片数据将基本视图片解码。DEC4604进一步使用从分辨率扩展控制部4606指示的插值方式,使该基本视图片的分辨率从全HD上升到从分辨率扩展控制部4606指示的分辨率、即4K2K。DEC4603接着将该4K2K的图片写入DPB4605。然后,处理进入步骤S4703。
在步骤S4703中,加法部4607从DPB4605读取4K2K的基本视图片,从分辨率扩展控制部4606接收差分像素信息。加法部4607在这时将该基本视图片的各像素数据与差分像素信息内的对应的像素数据的差分相加。4K2K的图片被写入主影像平面存储器4620。然后,处理进入步骤S4704。
在步骤S4704中,由DEC4604确认在EB14603中是否存在下一压缩图片数据。如果存在下一压缩图片数据,则处理从步骤S4701开始重复。如果不存在下一压缩图片数据,则处理结束。
4:实施方式1的效果
本发明的实施方式1的BD-ROM盘101,如图14、15所示,在层边界LB等需要长跳跃JLY的地方的紧前和紧后分别包括扩展数据专用区间、平面视觉影像专用区间及立体视觉影像专用区间。在平面视觉影像专用区间和立体视觉影像专用区间中二重地记录有主TS的相同部分。2D再现模式的再现装置和扩展再现模式的再现装置从平面视觉影像专用区间读取该部分,3D再现模式的再现装置从立体视觉影像专用区间读取该部分。由此,能够在平面视觉影像专用区间和立体视觉影像专用区间中分别设定为了在长跳跃JLY中不发生缓冲器下溢而基本视区段的尺寸应该满足的条件。其结果,能够兼顾在在全部模式下在长跳跃JLY中无缝地再现影像、和进一步削减再现装置内的缓冲器容量。
此外,平面视觉影像专用区间由2D再现模式和扩展再现模式的任一个再现装置都能够访问。由此,在BD-ROM盘101上,能够将配置于立体视觉影像专用区间的基本视区段B3D的整体的复制削减配置于平面视觉影像专用区间的基本视区段B2D的量。其结果,能够更加有效地利用BD-ROM盘101上的卷区域202B。
此外,任一模式的再现装置都可以通过长跳跃JLY将向平面视觉影像专用区间和立体视觉影像专用区间的某一方的访问跳过。因此,即使将对于文件2D和文件SS的系统速率设定为最高值48Mbps、64Mbps,在任一模式下,长跳跃JLY的跳跃距离的不超过最大跳跃距离=40000扇区。其结果,在任一模式下,无论是否需要长跳跃,都能够维持高画质。
5:变形例
(A)本发明的实施方式1的显示装置103是液晶显示器。本发明的显示装置除此之外,也可以是等离子显示器及有机EL显示器等其他方式的平板显示器或投影仪。此外,图1所示的显示装置103从再现装置102分离。此外,显示装置也可以与再现装置一体化。
(B)本发明的实施方式1的记录介质101是BD-ROM盘。本发明的记录介质也可以是其他可移动记录介质、例如DVD等其他方式的光盘、可移动硬盘驱动器(HDD)、或SD存储卡等半导体存储器装置。
(C)本发明的实施方式1的3D眼镜102是快门眼镜。本发明的3D眼镜除此之外,也可以是左右透镜被偏光方向不同的偏振片覆盖的眼镜、或左右透镜的透射光谱不同的眼镜。前者的情况下,显示装置将左眼用的影像和右眼用的影像分别以不同的偏振光来显示。后者的情况下,显示装置将左眼用的影像和右眼用的影像分别以不同的光谱来显示。任一情况下,左眼用透镜仅使左眼用的影像透射,右眼用透镜仅使右眼用的影像透射。
(D)图5所示的PES包511中保存的图片是对1个视频帧的整体进行编码而得到的图片。图片除此之外,也可以是对1个场(半帧,field)进行编码而得到的图片。
(E)本发明的实施方式1的L/R模式的再现装置102从基本视视频流将表示左视的视频帧再现,从从属视视频流将表示右视的视频帧再现。相反,也可以是基本视视频流表示右视,从属视视频流表示左视。
(F)在图11所示的区段的配置中,从属视区段位于基本视区段之前。但是,对于文件DEP的系统速率RTS2被较高地设定为与对于文件2D的系统速率RTS1相同程度的情况下,在位于区段块的开头的区段对中,第二转送速度REXT2能够超过第一转送速度REXT1。这种情况下,基本视区段也可以配置在从属视区段之前。即,在该区段对中,尺寸较小的区段配置在尺寸较大的区段之前。由此,能够将读缓冲器的容量维持为较小。
(G)在图14所示的配置1和图15所示的配置2的任一个中,在层边界LB的紧前和紧后的双方,设置有扩展数据专用区间、平面视觉影像专用区间及立体视觉影像专用区间。此外,这些区间也可以仅设置在层边界LB的紧前和紧后的某一方。这些区间设置在层边界LB的紧前的情况下,在立体视觉影像专用区间中,基本视区段的尺寸可以不满足条件1。另一方面,这些区间设置在层边界LB的紧后的情况下,通过使平面视觉影像专用区间比立体视觉影像专用区间更接近层边界LB,能够使2D再现模式中的长跳跃的跳跃距离比3D再现模式中的长跳跃的跳跃距离更短。在任一情况下,都能够缩小在3D再现模式中的长跳跃的紧前读取的基本视区段的尺寸,所以能够使3D再现模式的再现装置将RB2的容量维持为所需的最小限度。
(H)在本发明的实施方式1中,扩展流中包含的扩展数据是用于将基本视视频流所表示的全HD的2D影像扩展到4K2K的2D影像所需的信息、即分辨率扩展信息。作为扩展数据的例子,除此之外还可以举出以下例子。
[深度图流]
扩展数据也可以是深度图流。这种情况下,再现装置102的扩展再现模式等于深度模式。即,再现装置102从沿着图12所示的第三再现路径1203读取的区段群将3D影像再现。
使用深度图的3D影像的再现如下进行。基本视视频流所表示的2D影像表示将再现对象的3D影像向虚拟的2D画面投影时的影像。另一方面,深度图按照像素表示该3D影像的各部分相对于该2D画面的进深。特别是,各像素所显示的影像的进深通过该像素的亮度来表现。在深度模式的再现装置102中,平面相加部4025由基本视视频流和深度图的组合构成左视和右视的各视频帧。
图48是表示由2D影像MVW和深度图DPH的组合构成左视LVW和右视RVW的例子的示意图。参照图48,在2D影像MVW中,在背景BGV中显示圆板DSC。深度图DPH将该2D影像MVW内的各部分的进深用各像素的亮度来表示。根据该深度图DPH,2D影像MVW中的圆板DSC的显示区域DA1的进深位于画面的前方,并且背景BGV的显示区域DA2的进深位于画面的里面。在再现装置102的平面相加部4025内,视差影像生成部PDG首先根据深度图DPH所表示的各部分的进深计算2D影像MVW内的各部分的两眼视差。视差影像生成部PDG接下来根据计算出的两眼视差,使2D影像MVW内的各部分的显示位置向左右移动,构成左视LVW和右视RVW。在图48所示的例子中,视差影像生成部PDG对于2D影像MVW内的圆板DSC的显示位置,使左视LVW内的圆板DSL的显示位置向右移动该两眼视差的一半S1的量,使右视RVW内的圆板DSR的显示位置向左移动该两眼视差的一半S1的量。由此,使视听者看起来圆板DSC好像位于画面的前方。另一方面,视差影像生成部PDG对于2D影像MVW内的背景BGV的显示位置,使左视LVW内的背景BGL的显示位置向左移动该两眼视差的一半S2的量,使右视RVW内的背景BGR的显示位置向右移动该两眼视差的一半S2的量。由此,使视听者看起来背景BGV好像位于画面的里面。
深度图的像素数据仅表示单色的亮度,所以深度图的位速率一般低于基本视视频流和右视视频流的任一个的位速率。因此,图13所示的区段的交织配置是有效的。
[依据DTS扩展标准的音频流]
扩展数据不限于视频流,也可以是音频流。特别是,扩展数据也可以是依据DTS扩展标准的音频流。在DTS扩展标准中,有DTS-ES(ExtendedSurround)、DTS-HD master音频及DTS-HD高分辨率音响。在任一标准中,应该与主TS中包含的主音频流组合的数据部分作为扩展数据保存在扩展流中。通过将该数据部分与主音频流组合,来提高音质,并且增大声音的声道数。在扩展再现模式的再现装置102中,主声音解码器4474从主TS将主音频流解码,并且从扩展流将扩展数据解码,从解码的数据构成目标的音频流。
在依据DTS扩展标准的音频流中,来自主TS中包含的主音频流的扩展部分的数据量与基本视视频流和从属视视频流的任一个的数据量相比都充分小。因此,图13所示的区段的交织配置是有效的。
[超级画中画用的视频流]
扩展数据也可以是应该与主TS的主视频流组合的次视频流。将这些组合和主TS的次视频流相加,扩展再现模式的再现装置102能够在1个画面上同时显示3种以上的影像。
在画中画中,次视频流的分辨率通常低于主视频流的分辨率。因此,扩展流中包含的视频流的位速率通常低于基本视视频流和从属视视频流的位速率。因此,图13所示的区段的交织配置是有效。
[时间可伸缩编码中的追加的图片]
扩展数据也可以是使基本视视频流的帧速率上升所需的信息。例如,基本视视频流的帧速率为60fps的情况下,用于使该值上升到120fps的追加的图片作为扩展数据保存在扩展流中。特别是,追加的图片参照基本视图片而被压缩。在扩展再现模式的再现装置102中,主影像解码器4470从主TS将基本视图片解码,并且利用该基本视图片而从扩展流将追加的图片解码。主影像解码器4470还通过在基本视图片列中混入追加的图片,使基本视视频流的帧速率上升。由此,能够使影像的时间性变化更加精细。
追加的图片使基本视图片间的影像的变化更加精细,所以通常与基本视图片的近似度较高。因此,通过参照基本视图片来压缩追加的图片,能够使扩展流的位速率与基本视视频流和从属视视频流的任一个的位速率相比都充分低。因此,图13所示的区段的交织配置是有效。
[摄像机的视场角扩大时的影像和原来的视场角的影像之间的差分]
扩展数据也可以是摄像机的视场角扩大时的影像和原来的视场角的影像之间的差分。这种情况下,基本视视频流表示原来的视场角的影像。在扩展再现模式的再现装置102中,主影像解码器4470从基本视视频流将1个视频帧解码,并且将表示该视频帧所示的影像的外侧的区域的影像的像素数据从扩展流解码。主影像解码器4470进一步从这些数据将1个视频帧重构。由此,能够将视场角比原来的影像大的影像再现。
表示基本视视频流的视频帧所示的影像的外侧的区域的影像的像素数据的整体的数据量通常远小于原来的视频帧的数据量。因此,扩展流的位速率与基本视视频流和从属视视频流的任一个的位速率相比都充分低。因此,图13所示的区段的交织配置是有效。
[从属视视频流]
扩展数据也可以是与主TS的基本视视频流组合而表示3D影像的从属视视频流、或者通过将该从属视视频流与基本视视频流组合而生成的表示左视和右视之间的视差的信息。这种情况下,扩展再现模式的再现装置102与3D再现模式的再现装置同样地将3D影像再现。在此,扩展流的从属视视频流与副TS的从属视视频流相比,通过与共通的基本视视频流的组合而生成的左视和右视之间的视差不同。
左视和右视之间的视差的最大值通常为一般的视听者的瞳孔间距离以下(特别是视听者为孩子的情况下,为5cm以下)。只要满足该条件,该视差就不超过视听者的瞳孔间距离,所以能够降低使该视听者眼花或产生眼睛疲劳的危险性。另一方面,显示装置103的画面尺寸越大,左视和右视之间的视差越大。因此,例如通过副TS的从属视视频流与基本视视频流的组合,能够生成具备适于50英寸以下的画面尺寸的视差的左视和右视的情况下,扩展流的从属视视频流设计为,能够通过与基本视视频流的组合生成具备适于100英寸以下的画面尺寸的视差的左视和右视。
再现装置102的再现控制部4035从BD-ROM盘101再现3D影像的情况下,与显示装置103的画面尺寸相应地选择3D再现模式和扩展再现模式的某一个。具体地说,再现控制部4035首先通过HDMI线缆122从显示装置103取得画面尺寸。再现控制部4035接下来,如果显示装置103的画面尺寸为50英寸以下则选择3D再现模式,如果大于50英寸且100英寸以下则选择扩展再现模式。由此,能够将左视和右视之间的视差设定为适于画面尺寸的值。
扩展再现模式的再现装置102与图12所示的第三再现路径1203不同,将基本视区段、从属视区段及扩展区段全部依次读取。再现装置102进一步利用文件SS和扩展流文件的文件入口、以及3D片断信息文件的区段起点,将读取的区段分配给RB14021、RB24022、RB34023。系统目标解码器4024对主影像解码器从RB14021供给保存有基本视视频流的源包,从RB24022供给保存有从属视视频流的源包,从RB34023供给保存有扩展数据的源包。扩展数据包括从属视图片的情况下,该从属视图片与副TS的从属视图片近似度较高,所以参照副TS的从属视图片而被压缩。这种情况下,主影像解码器利用副TS的从属视图片而从扩展数据将从属视图片解码。另一方面,扩展数据包括视差信息的情况下,主影像解码器利用该视差信息而使副TS的从属视图片的各像素数据向左右移动。主影像解码器从这样得到的从属视图片和基本视图片构成表示左视和右视的视频帧的对。
扩展数据是参照副TS的从属视图片而被压缩的图片或视差信息。因此,扩展流的位速率与基本视视频流和副TS的从属视视频流的任一个的位速率相比都充分低。因此,图13所示的区段的交织配置是有效。
[对于3D影像的分辨率扩展信息]
扩展数据不仅包括对于基本视视频流的分辨率扩展信息,也可以包括对于从属视视频流的分辨率扩展信息。这种情况下,扩展再现模式的再现装置102如下述那样将4K2K的3D影像再现。
扩展再现模式的再现装置102与图12所示的第三再现路径1203不同,将基本视区段、从属视区段及扩展区段全部依次读取。再现装置102进一步利用文件SS和扩展流文件的文件入口、以及3D片断信息文件的区段起点,将读取的区段分配给RB14021、RB24022、RB34023。系统目标解码器4024对主影像解码器从RB14021供给保存有基本视视频流的源包,从RB24022供给保存有从属视视频流的源包,从RB34023供给保存有扩展数据的源包。主影像解码器首先将全HD的基本视图片和从属视图片解码。主影像解码器接下来利用分辨率扩展信息所示的插值方式,使各图片的分辨率上升到4K2K。主影像解码器接下来将分辨率上升后的各图片与差分像素信息相加。这样,构成表示4K2K的左视和右视的视频帧的对。
分辨率扩展信息与基本视图片和从属视图片的任一个相比,数据量都充分小。因此,扩展流的位速率与基本视视频流和副TS的从属视视频流的任一个的位速率相比都充分低。因此,图13所示的区段的交织配置是有效的。
[生物体信息]
3D影像技术向医疗的应用也得到了进展。例如,在内窥镜手术等中,在手术医师对手术支援机器人进行操作时,向该手术医师以3D影像提示手术区域的影像。除此之外,在手术的进展状况的监视、会议、学术会议发言、或对于医学生的教育等中,利用手术的3D影像。这些情况下,扩展数据可以是生物体信息监视器上显示的影像或生物体信息本身。生物体信息是与患者的身体状态有关的信息,特别是表示该患者的健康体征,例如心电图、心率(脉搏)数、呼吸数、血压、体表温度、脑电波。扩展再现模式的再现装置102从扩展数据生成表示生物体信息的图形影像,与表示主TS的2D影像合成。由此,能够将患者的生物体信息重叠在手术区域的2D影像上显示。
在生物体信息监视器上显示的影像是比较简单的图形影像。此外,生物体信息本身只是数值数据。因此,扩展流的位速率与主TS和副TS的任一个位速率相比都充分低。因此,图13所示的区段的交织配置是有效。
[位扩展中的追加的颜色信息]
扩展数据也可以是用于使基本视图片的各像素数据所包含的颜色信息的位数增加的信息。例如,基本视图片的像素数据将RGB或YCrCb的各颜色坐标以8位表现的情况下,将用于将该颜色坐标变换为12位表现的信息作为扩展数据保存在扩展流中。
图49是从原图像的图片串生成基本视视频流和扩展流的系统的框图。参照图49,该系统包括:移位电路14901、视频编码器14902、视频解码器4903、移位电路24904、减法器4905、加法部4906、视频编码器24907及移位量决定部4908。
移位电路14901从原图像的图片OPT的各像素数据提取表示颜色坐标的位串,使该位串向右移位(N-8)位。由此,表示颜色坐标的位数从N减少到8。在此,数N是大于8的整数。原图像的图片OPC表示电影等影像的情况下,数N多为10或12。
视频编码器14902将由移位电路14901处理后的图片OPT编码,变换为基本视视频流。由此,原图像的图片OPT被压缩,多路复用到基本视视频流中。在此,作为压缩编码形式,利用MPEG-2、MPEG-4AVC、MVC、或SMPTEVC-1。特别是,利用MPEG-4MVC的情况下,图片OPT作为“基本视”被编码。
视频解码器4903从由视频编码器14902生成的基本视视频流将图片解码。在此,视频编码器14902的编码处理是不可逆的。因此,解码后的图片与由视频编码器14902处理紧前的图片相比,表示颜色坐标的8位中的低位的数位(比特)不同。
移位电路24904从由视频解码器4903解码的图片的各像素数据提取表示颜色坐标的位串,并使该位串向左移位(N-8)位。由此,在GIA位串的右边追加(N-8)个“0”,所以表示颜色坐标的位数从8增加到N。
减法器4905将由移位电路14901、视频编码器14902、视频解码器4903及移位电路24904处理后的图片与原来的图片OPT进行比较,在对应的像素数据间计算表示颜色坐标的N位的差分。减法器4905进一步在表示该差分的位数超过8的情况下,将低位的位舍去或者向上取整,将位数的上限统一为8。由此,能够将颜色坐标的差分看作新的颜色坐标,将减法器4905的输出看作为图片。以下将该图片称为“扩展图片”。
加法部4906在由减法器4905计算的差分中加上校正值。由此,即使该差分为负数,也被变换为正数。在此,视频编码器24907能够对包含负数的像素数据进行处理的情况下,也可以将加法部4906省略。
视频编码器24907对由加法部4906处理后的扩展图片进行编码,变换为扩展流。由此,扩展图片被压缩,并多路复用到扩展流中。在此,作为压缩编码形式,利用MPEG-2、MPEG-4AVC、MVC、或SMPTEVC-1。特别是,利用MPEG-4MVC的情况下,扩展图片作为“非基本视”被编码。即,扩展流具有与从属视视频流同样的数据构造。
移位量决定部4908首先将由移位电路14901处理的图片与由视频解码器4903解码的图片进行比较,检查在对应的像素数据间,在表示颜色坐标的8位中、从最高位开始数第几位(比特)为止一致。移位量决定部4908接下里对于每个图片,将调查而得到的值中的最小值决定为对于该图片的移位量。但是,该最小值超过N-8的情况下,将移位量固定为N-8。移位量决定部4908进一步将对于各图片的移位量编入基本视视频流或扩展流。这种情况下,移位量被编入图8所示的各VAU的补充数据831D、832D等中。除此之外,也可以在位于各视频序列的开头的VAU、VAU#1的补充数据等中,将对于该视频序列所包含的全部图片的移位量一并编入。
图50是表示图49所示的系统的颜色坐标的处理方法的示意图。参照图50,首先,在原图像的图片OPT所包含的1组像素数据中,例如通过移位电路14901使表示红色的颜色坐标的N位5001向右移位(N-8)位。由此,从该N位5001提取高位8位5002,并由视频编码器14902编入基本视视频流。由视频解码器4903从该基本视视频流将上述像素数据中表示红色的颜色坐标的8位5003解码。该8位5003由移位电路24904向左移位(N-8)位。由此,在该8位5003的右边追加(N-8)个“0”,变换为新的N位5004。变换后的N位5004和原来的N位5001之间的差分5005由减法器4905计算。进而,由减法器4905从该差分5005提取高位8位5006,并由视频编码器24907编入扩展流。对于其他颜色坐标也进行同样的处理。
如图50中斜线部所示,解码后的8位5003与原来的8位5002从最高位MSB数第(b+1)位以后的位不同。在此,数b为0以上8以下的整数。这种情况下,差分5005的位数为N-b。如图50中多个点所示,差分5005与原来的N位5004的低位(N-b)位相比,高位(8-b)位不同。移位量决定部4908对各颜色坐标求出数值b,按每个图片,将从全部颜色坐标求出的数值b中的最小值决定为对于该图片的移位量b。但是,该最小值超过N-8的情况下,将移位量b固定为N-8。
图51是表示扩展再现模式的系统目标解码器中的基本视视频流和扩展流的处理系统的一例的框图。参照图51,该处理系统包括第一PID过滤器4513、第二PID过滤器4514、主影像解码器4515、位扩展部5110及主影像平面存储器5120。2个PID过滤器4513、4514和主影像解码器4515与图45所示相同。因此,以下说明与图45所示的不同,其详细情况援用对图45的说明。
压缩影像解码器(DEC)4504经由缓冲器开关4506从第一PID过滤器4513接收基本视图片,从第二PID过滤器4514接收扩展图片。DEC4504进一步将接收的图片依次解码。DEC4504还从保存有这些图片的VAU的补充数据等读取移位量b,并转送给位扩展部5110。
位扩展部5110将被分配了相同PTS的扩展图片和基本视图片组合,使在各像素数据中表示颜色坐标的位数从8增大到N。位扩展部5110包括移位电路15101、减法器5102、加法部5103及移位电路25104。
移位电路15101首先从图片开关4507接收解码后的基本视图片,从DEC4504接收移位量b。移位电路15101接下来从该基本视图片的各像素数据提取表示颜色坐标的位串,使该位串向左移位b位。由此,在该位串的右追加b个“0”,所以表示颜色坐标的位数从8增加到8+b。
减法器5102从图片开关4507接收解码后的扩展图片,在该扩展图片的像素数据中从表示颜色坐标的位串除去校正值。该校正值与由图49所示的加法部4906利用的校正值相等。在此,从图49所示的系统省略加法部4906的情况下,从位扩展部5110省略减法器5102。
加法部5103首先从移位电路15101接收在基本视图片的各像素数据中表示颜色坐标的(8+b)位,从减法器5102接收在对应的扩展图片的像素数据中表示颜色坐标的差分的8位。加法部5103接下来计算这些位的和。
移位电路25104首先从加法部5103接收表示颜色坐标的(8+b)位,从DEC4504接收移位量b。移位电路25104接下来使该(8+b)位向左移位(N-8-b)位。由此,在该(8+b)位的右边追加(N-8-b)个“0”,所以表示颜色坐标的位数从8+b增加到N。移位电路25104进一步将表示颜色坐标的N位写入主影像平面存储器5120。
主影像平面存储器5120是在系统目标解码器4024中内置的存储器元件中确保的一个区域,能够保存由以N位表示颜色坐标的像素数据构成的全HD的主影像平面。
图52是表示位扩展部5110的颜色坐标的处理方法的示意图。参照图52,首先,在解码后的基本视图片中包含的1组像素数据中,例如表示红色的颜色坐标的8位5201由移位电路15101向左移位b位。由此,在该8位5201的右边追加b个“0”,变换为(8+b)位5202。接下来,在该(8+b)位5202中,加上由加法部5103将解码后的扩展图片所包含的、在对应的像素数据中表示红色的颜色坐标的差分的8位5203。进而,表示该和的(8+b)位5204由移位电路25104向左移位(N-8-b)位。由此,在该(8+b)位5204的右边追加(N-8-b)个“0”,变换为新的N位5205。从图50可知,该新的N位5205的高位(8+b)位与原图像的图片OPT中包含的、在对应的像素数据中表示红色的颜色坐标的原来的N位5001的高位(8+b)位基本一致。其误差是对扩展图片进行编码时的误差、即图50所示的编码前的差分5006和图52所示的解码后的差分5203之间的差。因此,新的N位5205和原来的N位5001之间的差与图50中斜线部所示的解码后的N位5004和原来的N位5001之间的差相比充分小。对于其他颜色坐标也进行同样的处理。这样,位扩展部5110能够从基本视图片和扩展图片的组合将原图像的图片OPT高精度地复原。
图53是表示扩展再现模式的系统目标解码器中的基本视视频流和扩展流的处理系统的其他例的框图。参照图53,该处理系统除了位扩展部5310之外,与图51所示相同。因此,以下说明与图51所示的差别,对于同样的部分援用图51的说明。
位扩展部5310将被分配了相同PTS的扩展图片和基本视图片组合,使在各像素数据中表示颜色坐标的位数从8增大到N。位扩展部5310包括移位电路15301、减法器5102、移位电路25303及加法部5304。
移位电路15301从图片开关4507接收解码后的基本视图片,从该基本视图片的各像素数据提取表示颜色坐标的位串,使该位串向左移位(N-8)位。由此,在该位串的右边追加(N-8)个“0”,所以表示颜色坐标的位数从8增加到N-8。
移位电路25303首先从减法器5102接收表示颜色坐标的差分的8位,从DEC4504接收移位量b。移位电路25303接下来使该8位向左移位(N-8-b)位。由此,在该(8+b)位的右边追加(N-8-b)个“0”,所以表示颜色坐标的差分的位数从8增加到N-b。
加法部5304首先从移位电路15301接收在基本视图片的各像素数据中表示颜色坐标的N位,从移位电路25303接收在对应的扩展图片的像素数据中表示颜色坐标的差分的(N-b)位。加法部5304接下来计算这些位的和,将表示该和的N位写入主影像平面存储器5120。
图54是表示位扩展部5310的颜色坐标的处理方法的示意图。参照图54,首先在解码后的基本视图片中包含的1组像素数据中,由移位电路15301例如使表示红色的颜色坐标的8位5401向左移位(N-8)位。由此,在该8位5401的右边追加(N-8)个“0”,变换为N位5402。另一方面,由移位电路25303使解码后的扩展图片中包含的、在对应的像素数据中表示红色的颜色坐标的差分的8位5403向左移位(N-8-b)位。由此,在该8位5403的右边追加(N-8-b)个“0”,变换为(N-b)位5404。然后,由加法部5304将变换后的N位5402和表示差分的(N-b)位5404相加,变换为新的N位5405。从图50可知,该新的N位5405的高位(8+b)位与原图像的图片OPT中包含的、在对应的像素数据中表示红色的颜色坐标的原来的N位5001的高位(8+b)位基本一致。其误差是对扩展图片进行编码时的误差、即图50所示的编码前的差分5006和图54所示的解码后的差分5403之间的差。因此,新的N位5405和原来的N位5001之间的差与图50中斜线部所示的解码后的N位5004和原来的N位5001之间的差相比充分小。对于其他颜色坐标也进行同样的处理。这样,位扩展部5310能够从基本视图片和扩展图片的组合将原图像的图片OPT高精度地复原。
扩展图片的像素数据所包含的颜色坐标的差分的数据量通常小于基本视图片的像素数据所包含的颜色坐标的数据量。因此,扩展流的位速率通常低于基本视视频流和从属视视频流的某一个的位速率。因此,图13所示的区段的交织配置是有效。
《实施方式2》
本发明的实施方式2的记录装置搭载于光盘刻录器或视频摄像机,在BD-RE(Rewritable)、BD-R(Recordable)、硬盘、或半导体存储卡等可写入的记录介质(以下简称为BD盘等),通过本发明的实施方式1的区段的配置,实时地记录AV流文件。该记录装置将由视频摄像机摄影的运动图像内容或能够从BD-ROM盘等其他记录介质再现的内容以规定的压缩编码方式变换为AV流文件,并记录到记录介质中。该内容以4K2K的2D影像和全HD的3D影像的双方来表现。该记录装置接下来生成脚本。“脚本”是规定内容所包含的各标题的再现方法的信息,包括动态脚本信息和静态脚本信息。该记录装置接下来将脚本记录到记录介质中。
[记录装置的构成]
图55是实施方式2的记录装置的功能框图。参照图55,该记录装置5500包括:存储部5501、视频编码器5502、音频编码器5503、控制部5504、多路复用器5505、源包打包器5506及写入部5507。
存储部5501是记录装置5500中内置的存储装置,特别是HDD。存储部5501除此之外,也可以是记录装置5500外附的HDD,也可以是记录装置5500中内置或外附的半导体存储器装置。
视频编码器5502是影像数据的编码处理专用的硬件。视频编码器5502除此之外,也可以是通过由记录装置5500中内置的CPU执行特定的软件来发挥功能的要素。视频编码器5502将模拟或数字的影像输入信号VIN通过MPEG-4AVC、MVC、或MPEG-2等压缩编码方式压缩。由此,影像数据被变换为基本视视频流、从属视视频流及扩展流的组合。变换后的各视频流5511和扩展流5512保存在存储部5501中。
视频编码器5502在3D影像的数据的编码中利用MVC等多视点编码方式。由此,3D影像的数据被变换为图7所示那样的基本视视频流和从属视视频流的对。即,表示左视的视频帧的串通过其自身的图片间的预测编码被变换为基本视视频流。另一方面,表示右视的视频帧的串不仅通过其自身的图片,还通过基本视图片之间的预测编码被变换为从属视视频流。另外,也可以是,表示右视的视频帧的串被变换为基本视视频流,表示左视的视频帧的串被变换为从属视视频流。
视频编码器5502在对3D影像的数据进行编码时,在图片间预测编码的处理过程中,将压缩前的左视图片与右视图片按8像素×8像素或16像素×16像素的宏块进行比较,检测两图片间的各影像的运动矢量。视频编码器5502将检测出的运动矢量用于各图片的压缩。另一方面,视频编码器5502也可以将该运动矢量用于各影像的两眼视差的计算,根据各影像的两眼视差计算该影像的进深信息。视频编码器5502还可以利用该进深信息来生成对于左视或右视的深度图。这种情况下,视频编码器5502将左视或右视的流数据和深度图流分别使用其自身包含的图片间的预测编码,来变换为基本视视频流和深度图流。
视频编码器5502对4K2K的2D影像的数据进行编码时,首先从通过3D影像的数据的编码得到的基本视视频流提取全HD的视频帧,使用双三次方式或双线性方式等插值将该视频帧变换为4K2K的视频帧。视频编码器5502接下来将变换后的4K2K的视频帧与原来的4K2K的视频帧进行比较,生成差分像素信息。视频编码器5502还根据生成的差分像素信息生成分辨率扩展信息,并变换为扩展流。
音频编码器5503是声音数据的编码处理专用的硬件。音频编码器5503除此之外,也可以是通过由记录装置5500中内置的CPU执行特定的软件来发挥功能的要素。音频编码器5503从声音输入信号AIN生成音频流5513并保存到存储部5501中。声音输入信号AIN是例如非压缩的LPCM声音数据,通过AC-3等压缩编码方式编码。
控制部5504是通过由记录装置5500中内置的CPU执行特定的软件来发挥功能的要素。控制部5504生成脚本数据5514,并保存到存储部5501中。脚本数据5514包括索引文件、MV对象文件、片断信息文件及播放列表文件,规定存储部5501中保存的各基本流5511-5513的再现方法。
控制部5504特别是,如下那样实时地生成片断信息文件的入口映射。视频编码器5502每当对1个GOP进行编码,将位于该GOP的开头的I图片或P图片的PTS、保存有该图片的预定的源包群的开头的SPN及保存有对于该图片的分辨率扩展信息的预定的源包群的开头的SPN转送给控制部5504。控制部5504将从视频编码器5502转送来的PTS和SPN的对作为1个入口点追加到入口映射中。
控制部5504还利用2D片断信息文件和DEP片断信息文件各自的入口映射,生成图29(a)、(b)所示的区段起点2742、2920。这时,在区段对间区段ATC时间一致。控制部5504还设计区段的配置,以使基本视区段、从属视区段及扩展区段的各尺寸满足条件1-6。特别,在需要长跳跃的地方的紧前或紧后,如图14的配置1或图15所示的配置2那样,设置有扩展数据专用区间、平面视觉影像专用区间及立体视觉影像专用区间。
控制部5504除此之外,从分别应该多路复用在主TS、副TS及扩展流中的基本流提取图27所示的流属性信息2720,如图27所示那样,将入口映射2730、3D元数据2740及流属性信息2720的组合与片断信息2710建立对应。这样,生成2D片断信息文件、DEP片断信息文件及扩展片断信息文件。然后,控制部5504利用各片断信息文件,生成2D播放列表文件、3D播放列表文件及扩展播放列表文件。
多路复用器5505将保存在存储部5501中的基本流5511-5513多路复用到MPEG2-TS形式的流数据中。具体地说,如图5所示,首先,将各基本流5511-5512变换为一系列TS包串,接着,将这些TS包串汇总为1条多路复用流数据。这样,生成主TS、副TS及扩展流。这些多路复用流数据被发送给源包打包器5506。
源包打包器5506将构成主TS、副TS及扩展流的各TS包变换为1个源包。由此,将主TS、副TS及扩展流分别变换为一系列的源包串,并发送给写入部5507。
写入部5507首先将由源包打包器5506生成的源包串按照由控制部5504设计的区段的配置写入BD盘等BDR。与此并行地,写入部5507在内置的存储器上生成文件2D、文件DEP、文件SS及扩展流文件的各文件入口。写入部5507将各源包串的整体写入BD盘等BDR中之后,将各AV流文件的文件入口写入BD盘等BDR。这样,各源包串作为AV流文件记录到BD盘等BDR中。然后,写入部5507将保存在存储部5501中的脚本数据5514记录到BD盘等BDR中。
写入部5507生成AV流文件的文件入口时,参照片断信息文件中包含的入口映射和3D元数据。由此,将入口点和区段起点的各SPN用于分配记述符的生成。特别是,如图11所示的区段的交织配置所表现的那样,各分配记述符应该表示的LBN的值和区段的尺寸按照由控制部5504设计的区段的配置来决定。
[使区段ATC时间一致的方法]
图56是表示在相邻的区段间使区段ATC时间一致的方法的示意图。以下的说明中为方便起见,将3D再现模式作为对象。在扩展再现模式下也同样。首先,对保存在基本视区段中的源包(以下简称为SP1)和保存在从属视区段中的源包(以下简称为SP2)以相同的ATC时间轴附加ATS。参照图56,矩形5610、5620分别表示SP1#p(p=0、1、…、k、k+1、…、i、i+1)和SP2#q(q=0、1、…、m、m+1、…、j、j+1)。在此,数i、j是1以上的整数,数k是0以上且i以下的整数,数m是0以上且j以下的整数。这些矩形5610、5620在ATC的时间轴方向上按照各源包的ATS的顺序排列。各矩形5610、5620的开头的位置A1(p)、A2(q)表示该源包的ATS的值。各矩形5610、5620的长度AT1、AT2表示3D再现模式的再现装置将1个源包从读缓冲器向系统目标解码器转送所需的时间。
从SP1#0的ATSA1(0)到经过区段ATC时间TEXT[n]为止的期间,从读缓冲器向系统目标解码器转送的SP1、即SP1#0、1、…、k保存在第(n+1)个基本视区段EXT1[n]中(数n为0以上的整数)。同样地,从SP1#(k+1)的ATSA1(k+1)到经过区段ATC时间TEXT[n+1]为止的期间,从读缓冲器向系统目标解码器转送的SP1、即SP1#(k+1)、…、i保存在第(n+2)个基本视区段EXT1[n+1]中。
另一方面,应该保存在第(n+1)个从属视区段EXT2[n]中的SP2如下那样选择。首先,求出SP1#0的ATSA1(0)与区段ATC时间TEXT[n]的和、即SP1#(k+1)的ATSA1(k+1)=A1(0)+TEXT[n]。接着,在从SP1#0的ATSA1(0)到SP1#(k+1)的ATSA1(k+1)为止的期间,选择开始从读缓冲器向系统目标解码器的转送的SP2、即SP2#0、1、…、m。因此,开头的SP2、即SP2#0的ATSA2(0)必定为开头的SP1、即SP1#0的ATSA1(0)以上:A2(0)≥A1(0)。进而,最后的SP2、即SP2#m的ATSA2(m)为SP1#(k+1)的ATSA1(k+1)以下:A2(m)≤A1(k+1)。在此,SP2#m的转送完成也可以是SP1#(k+1)的ATSA1(k+1)以后。
同样,应该保存在第(n+2)个从属视区段EXT2[n+1]中的SP2如下那样选择。首先,求出位于第(n+3)个基本视区段EXT1[n+2]的开头的SP1#(i+1)的ATSA1(i+1)=A1(k+1)+TEXT[n+1]。接着,在从SP1#(k+1)的ATSA1(k+1)到SP1#(i+1)的ATSA1(i+1)为止的期间,选择开始从读缓冲器向系统目标解码器的转送的SP2、即SP2#(m+1)、…、j。因此,开头的SP2、即SP2#(m+1)的ATSA2(m+1)为开头的SP1、即SP1#(k+1)的ATSA1(k+1)以上:A2(m+1)≥A1(k+1)。进而,最后的SP2#j的ATSA2(j)为位于下一基本视区段EXT1[n+2]的开头的SP1#(i+1)的ATSA1(i+1)以下:A2(j)≤A1(i+1)。
[内容的实时记录]
图57是表示利用图55所示的记录装置5500向BD盘等BDR实时记录内容的方法的流程图。该方法例如通过记录装置5500的电源接通而开始。
在步骤S5701中,视频编码器5502对影像输入信号VIN进行编码而生成图片,对声音输入信号AIN进行编码而生成音频帧。特别是,表示3D影像的左视的视频帧被编码到基本视图片,表示右视的视频帧被编码到从属视图片中。进而,4K2K的视频帧利用基本视图片而变换为分辨率扩展信息。生成的图片、音频帧及分辨率扩展信息保存在存储部5501中。然后,处理进入步骤S5702。
在步骤S5702中,多路复用器5505将保存在存储部5501中的图片、音频帧及分辨率扩展信息多路复用为1条TS。进而,源包打包器5506将该TS变换为源包串,转送给写入部5507。然后,处理进入步骤S5703。
在步骤S5703中,写入部5507储存由源包打包器5506生成的源包串。控制部5504基于储存的源包串,设计应该记录到BD盘等BDR中的区段的配置。写入部5507将该源包串按照由控制部5504设计的区段的配置写入BD盘等BDR。与此并行地,写入部5507在内置的存储器上生成AV流文件的文件入口。然后,处理进入步骤S5704。
在步骤S5704中,视频编码器550检查通过步骤S5701生成的图片是否为GOP的开头。该图片是GOP的开头的情况下,处理进入步骤S5705。该图片不是GOP的开头的情况下,处理进入步骤S5706。
在步骤S5705中,通过步骤S5701生成的图片是GOP的开头。因此,视频编码器5502将该图片的PTS、保存有该图片的预定的源包群的开头的SPN及保存有对于该图片的分辨率扩展信息的预定的源包群的开头的SPN转送给控制部5504。控制部5504将从视频编码器5502转送来的PTS和SPN的对作为1个入口点追加到入口映射中。然后,处理进入步骤S5706。
在步骤S5706中,视频编码器5502检查是否存在解码对象的影像输入信号VIN。存在该影像输入信号VIN的情况下,处理从步骤S5701开始重复不存在该影像输入信号VIN的情况下,处理进入步骤S5707。
在步骤S5707中,解码对象的影像输入信号VIN全部被变换为多路复用流数据并记录到BD盘等BDR中。因此,写入部5507从内置的存储器向BD盘等BDR转送各AV流文件的文件入口。另一方面,控制部5504从分别应该多路复用到主TS、副TS及扩展流的基本流提取流属性信息,将入口映射和3D元数据一起与片断信息建立对应。这样,生成2D片断信息文件、DEP片断信息文件及扩展片断信息文件。写入部5507将这些片断信息文件记录到BD盘等BDR中。然后,处理进入步骤S5708。
在步骤S5708中,控制部5504利用2D片断信息文件、DEP片断信息文件及扩展片断信息文件,生成2D播放列表文件、3D播放列表文件及扩展播放列表文件。写入部5507将这些播放列表文件记录到BD盘等BDR中。然后,处理结束。
《实施方式3》
本发明的实施方式3的该记录装置是称作所谓的写作装置的装置在BD-ROM盘上通过本发明的实施方式1的区段的配置来记录内容。写作装置通常设置在发行用的内容的制作工作室中,由写作人员使用。该记录装置按照写作人员的操作,首先将内容用规定的压缩编码方式变换为AV流文件。内容由4K4K的2D影像和全HD的3D影像的双方来表现。记录装置接着生成脚本。该记录装置接着从AV流文件及脚本生成BD-ROM盘用的卷镜像。该记录装置最后将该卷镜像记录到BD-ROM中。
[记录装置的构成]
图58是本发明的实施方式3的记录装置的功能框图。参照图58,该记录装置5800包括数据库部5801、视频编码器5802、素材制作部5803、脚本生成部5804、BD程序制作部5805、多路复用处理部5806、以及格式处理部5807。
数据库部5801是内置在记录装置5800中的非易失性存储装置,特别是HDD。数据库部5801除此以外也可以是记录装置5800上外置的HDD,也可以是记录装置5800中内置或外置的非易失性半导体存储器装置。
视频编码器5802是影像数据的编码处理专用的硬件。视频编码器5802除此之外,也可以是通过由记录装置5800中内置的CPU执行特定的软件而实现功能的要素。视频编码器5802从写作人员接受非压缩的位图数据等影像数据,通过MPEG-4AVC、MVC、或MPEG-2等的压缩编码方式压缩。由此,影像数据被变换为基本视视频流、从属视视频流及扩展流的组合。变换后的各视频流5811和扩展流5812保存在数据库部5801中。
视频编码器5802与图55所示的5502同样,将3D影像的数据变换为基本视视频流和从属视视频流的对。特别是,也可以根据左视和右视之间的各影像的运动矢量计算各3D影像的进深信息,利用该进深信息生成深度图流。视频编码器5802还利用通过3D影像的数据的编码得到的基本视视频流,从4K2K的2D影像的数据生成包括分辨率扩展信息的扩展流。
素材制作部5803制作视频流5811及扩展流5812以外的基本流、例如音频流5813、PG流5814、以及IG流5815,并保存到数据库部5801中。例如,素材制作部5803从写作人员受理非压缩的LPCM声音数据,将其用AC-3等压缩编码方式编码后,变换为音频流5813。作为音频流而生成了DTS-HD扩展音频流的情况下,各音频帧被分解为DTS-HD核心音频帧和扩展部分,前者保存在音频流中,后者保存在扩展流中。素材制作部5803除此以外还从写作人员受理字幕信息文件,按照它制作PG流5814。字幕信息文件规定表示字幕的图像数据或文本数据、该字幕的显示时期、以及应对该字幕添加的淡入/淡出等视觉效果。素材制作部5803还从写作人员受理位图数据和菜单文件,按照它们制作IG流5815。位图数据表示菜单的图像。菜单文件规定配置在该菜单中的各按钮的状态的转变、以及应对各按钮添加的视觉效果。
脚本生成部5804按照从写作人员经由GUI受理的指示,生成脚本数据5816并保存到数据库部5801中。脚本数据5816包括索引文件、MV对象文件及播放列表文件,规定保存在数据库部5801中的各基本流5811-5815的再现方法。脚本生成部5804还生成参数文件PRF并发送给多路复用处理部5806。参数文件PRF从保存在数据库部5801中的基本流5811-5815中,规定应该分别多路复用到主TS、副TS及扩展流中的基本流。
BD程序制作部5805对写作人员提供BD-J对象及Java应用程序的编程环境。BD程序制作部5805通过GUI受理来自用户的请求,按照该请求生成各程序的源代码。BD程序制作部5805还根据BD-J对象制作BD-J对象文件,将Java应用程序压缩为JAR文件。将这些程序文件群BDP向格式处理部5807送出。
多路复用处理部5806按照参数文件PRF,将保存在数据库部5801中的各基本流5811~5815多路复用在MPEG2-TS形式的流文件中。具体而言,如图5所示,首先,将各基本流5811~5815变换为一系列的源包串,接着,将这些源包串汇集为一条多路复用流数据。这样,制作主TS和副TS及扩展流。将这些多路复用流数据MSD向格式处理部5807送出。
多路复用处理部5806还通过以下的顺序(1)~(IV)制作2D片断信息文件、DEP片断信息文件及扩展片断信息文件:(I)对文件2D、文件DEP、扩展片断信息文件分别生成入口映射。(II)利用各片断信息文件的入口映射,生成区段起点。此时,在区段对间使区段ATC时间一致。进而,设计区段的配置,以使基本视区段、从属视区段、以及扩展区段的各尺寸满足条件1-6。特别是,在需要长跳跃的地方的紧前或紧后,如图14所示的配置1或图15所示的配置2那样,设置有扩展数据专用区间、平面视觉影像专用区间及立体视觉影像专用区间。(III)从应分别多路复用在主TS、副TS及扩展流中的基本流中提取流属性信息。(IV)将入口映射、3D元数据、以及流属性信息的组合与片断信息建立对应。这样,生成各片断信息文件CLI,并向格式处理部5807送出。
格式处理部5807根据保存在数据库部5801中的脚本数据5816、由BD程序制作部5805制作的BD-J对象文件等程序文件群BDP、以及由多路复用处理部5806生成的多路复用流数据MSD和片断信息文件CLI,生成BD-ROM盘镜像5820。
格式处理部5807将多路复用流数据MSD保存到文件2D、文件DEP、文件SS及扩展流文件中。格式处理部5807在生成这些AV流文件的文件入口时,参照片断信息文件中包含的入口映射和3D元数据。由此,将入口点和区段起点的各SPN用于分配记述符的生成。特别是,如图11所示的区段的交织配置所表现的那样,各分配记述符应该表示的LBN的值和区段的尺寸按照由多路复用处理部5806设计的区段的配置决定。
[BD-ROM盘的写作(编著)]
图59是利用图58所示的记录装置5800向BD-ROM盘记录内容的方法的流程图。该方法例如通过记录装置5800的电源接通而开始。
在步骤S5801中,生成应向BD-ROM盘记录的基本流、程序、以及脚本数据。即,视频编码器5802生成视频流5811和扩展流5812。素材制作部5803生成音频流5813、PG流5814、以及IG流5815。脚本生成部5804生成脚本数据5816。将生成的这些数据5811~5816保存到数据库部5801中。另一方面,脚本生成部5804制作参数文件PRF,向多路复用处理部5806送出。BD程序制作部5805生成包括BD-J对象文件和JAR文件的程序文件群BDP,向格式处理部5807送出。然后,处理向步骤S8002前进。
在步骤S5802中,多路复用处理部5806按照参数文件PRF,从数据库部5801读取基本流5811-5815,并多路复用到MPEG2-TS形式的流数据中。然后,处理向步骤S8003前进。
步骤S5803中,多路复用处理部5806制作2D片断信息文件、DEP片断信息文件及扩展片断信息文件。进而,设计基本视区段、从属视区段、以及扩展区段的尺寸,以使其满足条件1-6。然后,处理向步骤S5804前进。
在步骤S5804中,格式处理部5807根据脚本数据5816、程序文件群BDP、多路复用流数据MDS及片断信息文件CLI生成BD-ROM盘镜像5820。特别是,将多路复用流数据MDS保存到AV流文件中时,如图11所示的区段的交织配置所表现的那样,按照由多路复用处理器5806设计的区段的配置来决定文件入口内的各分配记述符所应该表示的LBN的值和区段的尺寸。然后,处理进入步骤S5805。
在步骤S5805中,将BD-ROM盘镜像5820变换为BD-ROM压制用数据。再将该数据记录到BD-ROM盘的母盘中。然后,处理向步骤S8007前进。
在步骤S5806中,将在步骤S5805中得到的母盘用于压制工序,进行BD-ROM盘101的大量生产。这样,处理结束。
《补充》
[记录介质的文件系统]
在作为记录介质的文件系统而使用UDF时,图2所示的BD-ROM盘101的卷区域202B这样的数据记录区域,一般包括分别记录有多个目录、文件集记述符、以及末端记述符的的区域。“目录”是构成同一目录的数据群。“文件集记述符”表示记录有根目录的文件入口的扇区的LBN。“末端记述符”表示文件集记述符的记录区域的末端。
各目录具有共通的数据构造。各目录特别包括文件入口、目录文件、以及下级文件群。
“文件入口”包括记述符标签、ICB(Information Control Block)标签、以及分配记述符。“记述符标签”表示包含该记述符标签的数据的种类是文件入口。例如当记述符标签的值是“261”时,该数据的种类是文件入口。“ICB标签”表示该文件入口自身的属性信息。“分配记述符”表示记录有属于相同的目录的目录文件的扇区的LBN。
“目录文件”一般包括多个下级目录的文件识别记述符和下级文件的文件识别记述符。“下级目录的文件识别记述符”是用来访问放置在该目录之下的下级目录的信息。该文件识别记述符包括该下级目录的识别信息、目录名的长度、文件入口地址、以及目录名本身。特别是,文件入口地址表示记录有该下级目录的文件入口的扇区的LBN。“下级文件的文件识别记述符”是用来访问放置在该目录之下的下级文件的信息。该文件识别记述符包括该下级文件的识别信息、文件名的长度、文件入口地址、以及文件名本身。特别是,文件入口地址表示记录有该下级文件的文件入口的扇区的LBN。“下级文件的文件入口”如后所述,包括构成下级文件的主体的数据的地址信息。
只要依次沿着文件集记述符和下级目录/文件的文件识别记述符,就能够访问记录在记录介质中的任意的目录/文件的文件入口。具体而言,首先,根据文件集记述符确定根目录的文件入口,根据该文件入口内的分配记述符确定根目录的目录文件。接着,从该目录文件检测根目录之下的目录的文件识别记述符,根据其中的文件入口地址确定该目录的文件入口。进而,根据该文件入口内的分配记述符确定该目录的目录文件。接着,根据该目录文件中的、下级目录或者下级文件的文件识别记述符内的文件入口地址确定该下级目录或下级文件的文件入口。
“下级文件”分别包括区段和文件入口。“区段”一般是多个,分别是盘上的逻辑地址、即LBN连续的数据串。区段的整体构成下级文件的主体。“文件入口”包括记述符标签、ICB标签、以及分配记述符。“记述符标签”表示包含该记述符标签的数据的种类是文件入口。“ICB标签”表示该文件入口自身的属性信息。“分配记述符”对各区段各设有一个,表示数据记录区域上的各区段的配置,具体而言表示各区段的尺寸和其前端的LBN。因而,通过参照各分配记述符,能够访问各区段。除此以外,各分配记述符的高两位表示在该分配记述符表示的LBN的扇区中是否实际记录有区段。即,当该高两位是“0”时,表示对该扇区已经分配区段并且已经记录,当是“1”时,表示对该扇区已经分配区段但未记录。
与利用UDF的上述文件系统同样,在对记录介质的文件系统中,一般在将记录在记录介质中的各文件分割为多个区段时,如上述分配记述符那样,将表示各区段的配置的信息一起记录到该记录介质中。通过参照该信息,能够知道各区段的配置、特别是其逻辑地址。
[区段的尺寸和读缓冲器的容量的关系]
<配置1>
图60(a)、(b)是表示由扩展再现模式的再现装置从图14所示的配置1的区段群无缝再现影像时,储存在RB1、RB3中的数据量的变化的曲线图。图60(c)是表示对于该区段群的扩展再现模式下的再现路径的示意图。该再现路径与图14所示的1433相同。
参照图60(a)、(c),在第一扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过该期间PRT1之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188及其扩展区段T1的尺寸ST1,使从第一共用区间1401读取数据的期间PRBLK的结束时刻的RB1的储存数据量DA1的下限RB11以下式(10)表达即可:
[数15]
再参照图60(a)、(c),在用于越过第一立体视觉影像专用区间1413和层边界LB的长跳跃JLJ的期间PLJ和第二扩展数据专用区间1421中的扩展区段T2的预装载期间PRT2中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过这些期间PLJ、PRT2之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、长跳跃JLJ的最大跳跃时间TLJ及该扩展区段T2的尺寸ST2,使长跳跃JLJ的开始时刻中的RB1的储存数据量DA1的下限RB12以下式(11)表达即可:
[数16]
再参照图60(a)、(c),在用于越过第二立体视觉影像专用区间1423的跳跃JEX的期间PEX、第二共用区间1402中的扩展区段T3的预装载期间PRT3及用于跳过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过这些期间PEX、PRT3、PSJ之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、跳跃JEX、JSJ的最大跳跃时间TEX、TSJ及其扩展区段T3的尺寸ST3,使跳跃JEX的开始时刻中的RB1的储存数据量DA1的下限RB13以下式(12)表达即可:
[数17]
以上的结果,RB1的容量RB1为式(10)-(12)所示的下限RB11、RB12、RB13中的最大值以上即可:
[数18]
RB1≥max(RB11,RB12,RB13)。
参照图60(b)、(c),在从配置于第一共用区间1401的最后的区段块读取数据的期间PRBLK中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第一扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1中,不从RB3读取该扩展区段T1。因此,在经过这些期间PLJ、PRT1之前,为了维持从RB3向系统目标解码器的数据的供给,使用该区段块包含的区段对D、B的数n和基本视区段的尺寸SB、用于将从属视区段的读取跳过的跳跃JSJ的最大跳跃时间TSJ、该扩展区段T1的尺寸ST1及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使从该区段块读取数据的期间PRBLK的开始时刻的RB3的储存数据量DA3的下限RB31以下式(13)表示即可:
[数19]
再参照图60(b)、(c),在从第一平面视觉影像专用区间1412读取数据的期间PRB1及用于越过第一立体视觉影像专用区间1413和层边界LB的长跳跃JLJ的期间PLJ中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第二扩展数据专用区间1421中的扩展区段T2的预装载期间PRT2,不从RB3读取该扩展区段T2。因此,在经过这些期间PRB1、PLJ、PRT2之前,为了维持从RB3向系统目标解码器的数据的供给,使用第一平面视觉影像专用区间1412内的基本视区段的尺寸SB1、长跳跃JLJ的最大跳跃时间TLJ、该扩展区段T2的尺寸ST2及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使长跳跃JLJ的开始时刻的RB3的储存数据量DA3的下限RB32以下式(14)表达即可:
[数20]
再参照图60(b)、(c),在从第二平面视觉影像专用区间1422读取数据的期间PRB2及用于越过第二立体视觉影像专用区间1423的跳跃JEX的期间PEX中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第二共用区间1402中的扩展区段T3的预装载期间PRT3和用于跳过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,不从RB3读取该扩展区段T3。因此,为了在经过这些期间PRB2、PEX、PRT3、PSJ之前维持从RB3向系统目标解码器的数据的供给,使用第二平面视觉影像专用区间1422内的基本视区段的尺寸SB2、跳跃JEX、JSJ的最大跳跃时间TEX、TSJ、该扩展区段T3的尺寸ST3及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使从第二平面视觉影像专用区间1422读取数据的期间PRB2的开始时刻的RB3的储存数据量DA3的下限RB33以下式(15)来表示即可:
[数21]
从各扩展数据专用区间1411、1421向RB3读取的扩展区段T1、T2在各自的整体的读取结束之前,不从RB3转送。因此,各扩展区段T1、T2的预装载的结束时刻的RB3的储存数据量DA3的下限RB32、RB33为该扩展区段T1、T2的最大区段尺寸maxST1、maxST2以上即可:
[数22]
RB32≥maxST1,RB33≥maxST2。 (16)
从第二共用区间1402读取的扩展区段T3在经过其读取紧后的跳跃期间PSJ之前,不从RB3转送。因此,该跳跃期间PSJ的开始时刻的RB3的储存数据量DA3的下限RB34用该扩展区段T3的最大区段尺寸maxST3和在该跳跃期间PSJ从RB3向系统目标解码器供给的数据量TSJ×RMAX3的和表达:
[数23]
以上的结果,RB3的容量RB3为式(13)-(17)表示的下限RB31、RB32、RB33、RB34中的最大值以上即可:
[数24]
<配置2>
图61(a)、(b)在表示由扩展再现模式的再现装置从图15所示的配置2的区段群无缝再现影像时,储存在RB1、RB3中的数据量的变化的曲线图。图61(c)是表示对于该区段群的扩展再现模式下的再现路径的示意图。该再现路径与图15所示的1533相同。
参照图61(a)、(c),在第一扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1和用于越过第一立体视觉影像专用区间1513的跳跃JEX1的期间PEX1,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在这些期间PRT1、PEX1经过之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、该扩展区段T1的尺寸ST1及跳跃JEX1的最大跳跃时间TEX1,使从第一共用区间1401读取数据的期间PRBLK的结束时刻的RB1的储存数据量DA1的下限RB11以下式(18)表达即可:
[数25]
再参照图61(a)、(c),在用于越过层边界LB的长跳跃JLJ的期间PLJ、第二扩展数据专用区间1421中的扩展区段T2的预装载期间PRT2及用于越过第二立体视觉影像专用区间1523的跳跃JEX2的期间PEX2中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过这些期间PLJ、PRT2、PEX2之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、长跳跃JLJ的最大跳跃时间TLJ、该扩展区段T2的尺寸ST2及跳跃JEX2的最大跳跃时间TEX2,使长跳跃JLJ的开始时刻的RB1的储存数据量DA1的下限RB12以下式(19)表达即可:
[数26]
再参照图61(a)、(c),在第二共用区间1402中的扩展区段T3的预装载期间PRT3及用于越过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过这些期间PRT3、PSJ之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、跳跃JSJ的最大跳跃时间TSJ及该扩展区段T3的尺寸ST3,使第二共用区间1402中的扩展区段T3的预装载的开始时刻的RB1的储存数据量DA1的下限RB13以下式(20)表达即可:
[数27]
以上的结果、RB1的容量RB1为式(18)-(20)所示的下限RB11、RB12、RB13中的最大值以上即可:
[数28]
RB1≥max(RB11,,RB12,RB13)。
参照图61(b)、(c),在从配置于第一共用区间1401的最后的区段块读取数据的期间PRBLK中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第一扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1和用于越过第一立体视觉影像专用区间1513的跳跃JEX1的期间PEX1中,不从RB3读取该扩展区段T1。因此,在经过这些期间PRT1、PEX1之前,为了维持从RB3向系统目标解码器的数据的供给,使用该区段块包含的区段对D、B的数n和基本视区段的尺寸SB、用于跳过从属视区段的读取的跳跃JSJ的最大跳跃时间TSJ、该扩展区段T1的尺寸ST1、用于越过第一立体视觉影像专用区间1513的跳跃JEX1的最大跳跃时间TEX1及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使从该区段块读取数据的期间PRBLK的开始时刻的RB3的储存数据量DA3的下限RB31以下式(21)表达即可:
[数29]
再参照图61(b)、(c),在用于越过第一立体视觉影像专用区间1513的跳跃期间PEX1、从第一平面视觉影像专用区间1512读取数据的期间PRB1及用于越过层边界LB的长跳跃JLJ的期间PLJ中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第二扩展数据专用区间1421中的扩展区段T2的预装载期间PRT2和用于越过第二立体视觉影像专用区间1523的跳跃JEX2的期间PEX2中,不从RB3读取该扩展区段T2。因此,在经过这些期间PEX1、PRB1、PLJ、PRT2、PEX2之前,为了维持从RB3向系统目标解码器的数据的供给,使用第一平面视觉影像专用区间1512内的基本视区段的尺寸SB1、跳跃JEX1、JLJ、JEX2的最大跳跃时间TEX1、TLJ、TEX2、该扩展区段T2的尺寸ST2及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使跳跃JEX1的开始时刻的RB3的储存数据量DA3的下限RB32以下式(22)表达即可:
[数30]
再参照图61(b)、(c),在用于越过第二立体视觉影像专用区间1523的跳跃JEX2的期间PEX2和从第二平面视觉影像专用区间1522读取数据的期间PRB2中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第二共用区间1402中的扩展区段T3的预装载期间PRT3和用于跳过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,不从RB3读取该扩展区段T3。因此,在经过这些期间PEX2、PRB2、PRT3、PSJ之前,为了维持从RB3向系统目标解码器的数据的供给,使用跳跃JEX2、JSJ的最大跳跃时间TEX2、TSJ、第二平面视觉影像专用区间1522内的基本视区段的尺寸SB2、该扩展区段T3的尺寸ST3及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使跳跃期间PEX2的开始时刻的RB3的储存数据量DA3的下限RB33以下式(23)表达即可:
[数31]
从第一扩展数据专用区间1411读取的扩展区段T1,在经过其读取紧后的跳跃期间PEX1之前不从RB3转送。因此,该跳跃期间PEX1的开始时刻的RB3的储存数据量DA3的下限RB32必须为该扩展区段T1的最大区段尺寸maxST1和在跳跃期间PEX1从RB3向系统目标解码器供给的数据量TEX1×RMAX3的和以上:
[数32]
从第二扩展数据专用区间1421读取的扩展区段T2,在经过其读取紧后的跳跃期间PEX2之前不从RB3转送。因此,该跳跃期间PEX2的开始时刻的RB3的储存数据量DA3的下限RB33必须为该扩展区段T2的最大区段尺寸maxST2和在该跳跃期间PEX2从RB3向系统目标解码器供给的数据量TEX2×RMAX3的和以上:
[数33]
从第二共用区间1402读取的扩展区段T3,在经过其读取紧后的跳跃期间PSJ之前不从RB3转送。因此,该跳跃期间PSJ的开始时刻的RB3的储存数据量DA3的下限RB34必须为该扩展区段T3的最大区段尺寸maxST3和在该跳跃期间PSJ从RB3向系统目标解码器供给的数据量TSJ×RMAX3的和:
[数34]
以上的结果,RB3的容量RB3必须为以式(21)-(26)表达的下限RB31、RB32、RB33、RB34中的最大值以上:
[数35]
<仅在层边界LB的紧前、配置1的情况>
图62(c)是表示仅在层边界LB的紧前配置扩展数据专用区间、平面视觉影像专用区间及立体视觉影像专用区间的情况下的区段群及对于这些区段群的扩展再现模式下的再现路径的示意图。该区段群和再现路径等于从图14所示的配置1除去了第二扩展数据专用区间1421、第二平面视觉影像专用区间1422及第二立体视觉影像专用区间1423的情况。图62(a)、(b)表示由扩展再现模式的再现装置从(c)所示的区段群无缝再现影像时,储存在RB1、RB3中的数据量的变化的曲线图。
参照图62(a)、(c),在扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过该期间PRT1之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188和其扩展区段T1的尺寸ST1,从第一共用区间1401读取数据的期间PRBLK的结束时刻的RB1的储存数据量DA1的下限RB11以下式(27)表达即可:
[数36]
再参照图62(a)、(c),在用于越过立体视觉影像专用区间1413和层边界LB的长跳跃JLJ的期间PLJ、第二共用区间1402中的扩展区段T2的预装载期间PRT2及用于跳过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过这些期间PLJ、PRT2、PSJ之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、跳跃JLJ、JSJ的最大跳跃时间TLJ、TSJ及该扩展区段T2的尺寸ST2,使长跳跃JLJ的开始时刻的RB1的储存数据量DA1的下限RB12以下式(28)表达即可:
[数37]
以上的结果,RB1的容量RB1为以式(27)、(28)表达的下限RB11、RB12中的较大一方以上即可:
[数38]
RB1≥max(RB11,RB12)。
参照图62(b)、(c),在从配置于第一共用区间1401的最后的区段块读取数据的期间PRBLK中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1中,不从RB3读取该扩展区段T1。因此,在经过这些期间PLJ、PRT1之前,为了维持从RB3向系统目标解码器的数据的供给,使用该区段块包含的区段对D、B的数n和基本视区段的尺寸SB、用于跳过从属视区段的读取的跳跃JSJ的最大跳跃时间TSJ、该扩展区段T1的尺寸ST1及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,从该区段块读取数据的期间PRBLK的开始时刻的RB3的储存数据量DA3的下限RB31以下式(29)即可:
[数39]
参照图62(b)、(c),在从平面视觉影像专用区间1412读取数据的期间PRB及用于越过立体视觉影像专用区间1413和层边界LB的长跳跃JLJ的期间PLJ中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第二共用区间1402中的扩展区段T2的预装载期间PRT2和用于越过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,不从RB3读取该扩展区段T2。因此,在经过这些期间PRB、PLJ、PRT2、PSJ之前,为了维持从RB3向系统目标解码器的数据的供给,使用平面视觉影像专用区间1412内的基本视区段的尺寸SB1、跳跃JLJ、JSJ的最大跳跃时间TLJ、TSJ、该扩展区段T2的尺寸ST2及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使长跳跃JLJ的开始时刻的RB3的储存数据量DA3的下限RB32以下式(30)表达即可:
[数40]
从扩展数据专用区间1411向RB3读取的扩展区段T1,在其整体的读取结束之前,不从RB3转送。因此,使扩展区段T12的预装载的结束时刻的RB3的储存数据量DA3的下限RB32为该扩展区段T1的最大区段尺寸maxST1以上即可:
[数41]
RB32≥maxST1。(31)
从第二共用区间1402读取的扩展区段T2,在经过其读取紧后的跳跃期间PSJ之前不从RB3转送。因此,该跳跃期间PSJ的开始时刻的RB3的储存数据量DA3的下限RB33以该扩展区段T2的最大区段尺寸maxST2和在该跳跃期间PSJ中从RB3向系统目标解码器供给的数据量TSJ×RMAX3的和表示:
[数42]
以上的结果,RB3的容量RB3为式(29)-(32)表达的下限RB31、RB32、RB33中的最大值以上即可:
[数43]
<仅在层边界LB的紧前、配置2的情况>
图63(c)是表示在图62(c)中将平面视觉影像专用区间和立体视觉影像专用区间的位置替换的情况下的区段群及对于这些区段群的扩展再现模式下的再现路径的示意图。该区段群和再现路径等于从图15所示的配置2将第二扩展数据专用区间1421、第二平面视觉影像专用区间1522及第二立体视觉影像专用区间1523除去的情况。图63(a)、(b)是表示由扩展再现模式的再现装置从(c)所示的区段群无缝再现影像时,储存在RB1、RB3中的数据量的变化的曲线图。
参照图63(a)、(c),在扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1和用于越过立体视觉影像专用区间1513的跳跃JEX的期间PEX中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过这些期间PRT1、PEX之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、该扩展区段T1的尺寸ST1及跳跃JEX的最大跳跃时间TEX,使从第一共用区间1401读取数据的期间PRBLK的结束时刻的RB1的储存数据量DA1的下限RB11以下式(33)表达即可:
[数44]
再参照图63(a)、(c),在用于越过层边界LB的长跳跃JLJ的期间PLJ、第二共用区间1402中的扩展区段T2的预装载期间PRT2及用于跳过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,RB1的储存数据量DA1以第一转送速度REXT1减少。因此,为了防止在经过这些期间PLJ、PRT2、PSJ之前RB1的储存数据量DA1达到0,使用第一转送速度REXT1的最高值RMAX1=RTS1×192/188、跳跃JLJ、JSJ的最大跳跃时间TLJ、TSJ及该扩展区段T2的尺寸ST2,使长跳跃JLJ的开始时刻中的RB1的储存数据量DA1的下限RB12以下式(34)表达即可:
[数45]
以上的结果,RB1的容量RB1为式(33)、(34)所示的下限RB11、RB12的较大一方以上即可:
[数46]
RB1≥max(RB1l,RB12)。
参照图63(b)、(c),在从配置于第一共用区间1401的最后的区段块读取数据的期间PRBLK中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在扩展数据专用区间1411中的扩展区段T1的预装载期间PRT1和用于越过立体视觉影像专用区间1513的跳跃JEX的期间PEX中,不从RB3读取该扩展区段T1。因此,在经过这些期间PRT1、PEX之前,为了维持从RB3向系统目标解码器的数据的供给,使用该区段块包含的区段对D、B的数n和基本视区段的尺寸SB、用于跳过从属视区段的读取的跳跃JSJ的最大跳跃时间TSJ、该扩展区段T1的尺寸ST1、用于越过立体视觉影像专用区间1513的跳跃JEX的最大跳跃时间TEX1及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使从该区段块读取数据的期间PRBLK的开始时刻的RB3的储存数据量DA3的下限RB31以下式(35)表达即可:
[数47]
再参照图63(b)、(c),在用于越过立体视觉影像专用区间1513的跳跃期间PEX、从平面视觉影像专用区间1512读取数据的期间PRB及用于越过层边界LB的长跳跃JLJ的期间PLJ中,RB3的储存数据量DA3以第三转送速度REXT3减少。此外,在第二共用区间1402中的扩展区段T2的预装载期间PRT2和用于跳过其紧后的从属视区段D的读取的跳跃JSJ的期间PSJ中,不从RB3读取该扩展区段T2。因此,在经过这些期间PEX、PRB、PLJ、PRT2、PSJ之前,为了维持从RB3向系统目标解码器的数据的供给,使用平面视觉影像专用区间1512内的基本视区段的尺寸SB1、跳跃JEX、JLJ、JSJ的最大跳跃时间TEX、TLJ、TSJ、该扩展区段T2的尺寸ST2及第三转送速度REXT3的最高值RMAX3=RTS3×192/188,使跳跃JEX的开始时刻中的RB3的储存数据量DA3的下限RB32以下式(36)表达即可:
[数48]
从扩展数据专用区间1411读取的扩展区段T1,在经过其读取紧后的跳跃期间PEX之前不从RB3转送。因此,该跳跃期间PEX的开始时刻的RB3的储存数据量DA3的下限RB32必须为该扩展区段T1的最大区段尺寸maxST1和在该跳跃期间PEX从RB3向系统目标解码器供给的数据量TEX×RMAX3的和以上:
[数49]
从第二共用区间1402读取的扩展区段T2,在经过其读取紧后的跳跃期间PSJ之前不从RB3转送。因此,该跳跃期间PSJ的开始时刻的RB3的储存数据量DA3的下限RB33必须为该扩展区段T2的最大区段尺寸maxST2和在该跳跃期间PSJ从RB3向系统目标解码器供给的数据量TSJ×RMAX3的和:
[数50]
以上的结果,RB3的容量RB3为式(35)-(38)所示的下限RB31、RB32、RB33中的最大值以上即可:
[数51]
<本发明的其他特征>
本发明基于上述实施方式,也可以包括如下的特征。
在本发明的1个观点的记录介质中,平面视觉影像专用区间也可以位于立体视觉影像专用区间的紧后。这种情况下,3D再现模式下的再现装置在从共用区间读取完数据的紧后进行跳跃,从而仅将向扩展数据专用区间的访问跳过即可。因此,配置于该共用区间的最后的区段块与其他区段块同样,包括2个以上区段对即可。
在本发明的1个观点的记录介质中,也可以是,由立体视觉影像专用区间、平面视觉影像专用区间及扩展数据专用区间构成的组分别配置在需要长跳跃的地方的紧前和紧后。这种情况下,在各模式下的再现路径中,能够将长跳跃的起点和终点的任一个设计在不同的位置。因此,在任一模式下的再现路径中,都能够将长跳跃的距离可靠地控制在允许范围内。
本发明的1个观点的记录装置,是在记录介质中记录有主视流、副视流及扩展流的记录装置,具备编码部、多路复用部及写入部。编码部将立体视觉影像的主视编码为主视视频流,将该立体视觉影像的副视编码为副视视频流,对与该主视视频流组合利用的扩展数据进行编码。多路复用部将主视视频流多路复用到主视流中,将副视视频流多路复用到副视流中,将扩展数据多路复用到扩展流中。多路复用部还将主视流分割为多个主视区段,将副视流分割为多个副视区段,将扩展流分割为多个扩展区段,决定记录介质中的区段的配置。写入部按照由多路复用部决定的区段的配置,将多个主视区段、多个副视区段及多个扩展区段写入记录介质。多路复用部在记录介质上设计共用区间、立体视觉影像专用区间、平面视觉影像专用区间及扩展数据专用区间。共用区间是将主视区段、副视区段及扩展区段交替地连续配置而成的区域。立体视觉影像专用区间是将主视区段和副视区段交替地连续配置而成的区域。平面视觉影像专用区间是与立体视觉影像专用区间相邻的区域,是将配置于立体视觉影像专用区间的主视区段的复制连续配置而成的区域。扩展数据专用区间是位于立体视觉影像专用区间和平面视觉影像专用区间连续的区域的紧前的区域,是配置应该与配置于平面视觉影像专用区间的主视区段的复制组合利用的扩展区段的区域。多路复用部通过这些区间的设计,使再现装置以如下的方式访问这些区间。首先,在由再现装置再现立体视觉影像时、将主视作为平面视觉影像再现时、以及将扩展流与主视流组合利用时的任一个中,使该再现装置访问共用区间。接着,在立体视觉影像的再现中,在进行长跳跃的紧前,使再现装置在共用区间之后访问立体视觉影像专用区间,或者在进行了长跳跃的紧后使再现装置比共用区间先访问立体视觉影像专用区间。进而,在平面视觉影像的再现中,在进行长跳跃的紧前,使再现装置在共用区间之后访问平面视觉影像专用区间,或者在进行了长跳跃的紧后,使再现装置比共用区间先访问平面视觉影像专用区间。此外,将扩展流与主视流一起读取的情况下,在进行长跳跃的紧前,使再现装置在共用区间之后访问扩展数据专用区间和平面视觉影像专用区间所成的对,或者在进行了长跳跃的紧后,使再现装置比共用区间先访问扩展数据专用区间和平面视觉影像专用区间所成的对。
本发明的1个观点的记录方法,是将主视流、副视流及扩展流记录到记录介质中的方法,包括以下的步骤。首先,将立体视觉影像的主视编码为主视视频流,将该立体视觉影像的副视编码为副视视频流,对与该主视视频流组合利用的扩展数据进行编码。接着,将主视视频流多路复用到主视流中,将副视视频流多路复用到副视流中,将扩展数据多路复用到扩展流中。接着,将主视流分割为多个主视区段,将副视流分割为多个副视区段,将扩展流分割为多个扩展区段,决定记录介质中的区段的配置。进而,按照决定的区段的配置,将多个主视区段、多个副视区段及多个扩展区段写入记录介质。在决定区段的配置的步骤中,在记录介质上设计共用区间、立体视觉影像专用区间、平面视觉影像专用区间及扩展数据专用区间。共用区间是将主视区段、副视区段及扩展区段交替地连续配置而成的区域。立体视觉影像专用区间是将主视区段和副视区段交替地连续配置而成的区域。平面视觉影像专用区间是与立体视觉影像专用区间相邻的区域,是将配置于立体视觉影像专用区间的主视区段的复制连续配置而成的区域。扩展数据专用区间是位于立体视觉影像专用区间和平面视觉影像专用区间连续的区域的紧前的区域,是配置有应该与配置于平面视觉影像专用区间的主视区段的复制组合利用的扩展区段的区域。通过在记录介质上设计这些区间,使再现装置以如下的方式访问这些区间。在由再现装置再现立体视觉影像时、将主视作为平面视觉影像再现时、以及将扩展流与主视流组合利用时的任一个中,使再现装置访问共用区间。在立体视觉影像的再现中,在进行长跳跃的紧前,使再现装置在共用区间之后访问立体视觉影像专用区间,或者在进行了长跳跃的紧后,使再现装置比共用区间先访问立体视觉影像专用区间。进而,在平面视觉影像的再现中,在进行长跳跃的紧前,使再现装置在共用区间之后访问平面视觉影像专用区间,或者在进行了长跳跃的紧后,使再现装置比共用区间先访问平面视觉影像专用区间。将扩展流与主视流一起读取的情况下,在进行长跳跃的紧前,使再现装置在共用区间之后访问扩展数据专用区间和平面视觉影像专用区间所成的对,或者在进行了长跳跃的紧后,使再现装置比共用区间先访问扩展数据专用区间和平面视觉影像专用区间所成的对。
再现装置在通过本发明的上述观点的记录装置及方法读取记录在记录介质中的数据时,在进行长跳跃的紧前或紧后,在立体视觉影像的再现时、平面视觉影像的再现时及扩展流与主视流的组合的利用时分别访问不同的区域。由此,上述记录装置及方法能够对这些区域分别设定为了不在长跳跃中发生缓冲器下溢而区段的尺寸应该满足的条件。其结果,能够兼得将立体视觉影像和平面视觉影像的双方无缝再现、以及进一步削减再现装置内的缓冲器容量。此外,在平面视觉影像的再现时及扩展流与主视流的组合的利用时的双方访问同一平面视觉影像专用区间。由此,将应该重复记录在1张记录介质上的主视区段的数据量抑制为最小限度。因此,在立体视觉影像的再现时、平面视觉影像的再现时及扩展流与主视流的组合的利用时的任一个中,能够将长跳跃的距离控制在允许范围内。这样,上述记录装置及方法以使再现装置维持良好的再现能力的方式,在记录介质中记录3D影像内容和扩展数据的组合。
工业实用性
本发明涉及立体视觉影像的记录再现技术,如上所述,在需要长跳跃的记录介质上的地方的紧前或紧后设计3种区间。这样,本发明显然能够在工业上应用。
标记说明
1401 第一共用区间
1411 第一扩展数据专用区间
1412 第一平面视觉影像专用区间
1413 第一立体视觉影像专用区间
1402 第二共用区间
1421 第二扩展数据专用区间
1422 第二平面视觉影像专用区间
1423 第二立体视觉影像专用区间
L0 第一记录层
L1 第二记录层
LB 层边界
T 扩展区段
D 从属视区段
B 基本视区段
B2D 2D再现专用块
B3D 3D再现专用块
EXT2D[m] 文件2D的区段
EXTSS[m] 文件SS的区段
EXT3[m] 扩展流文件的区段
JLY 长跳跃
J2D 2D再现模式下的跳跃
J3D 3D再现模式下的跳跃
JEX 扩展再现模式下的跳跃
Claims (6)
1.一种记录介质,记录有表示立体视觉影像的主视的主视流、表示所述立体视觉影像的副视的副视流、以及与所述主视流组合利用的扩展流,该记录介质的特征在于,
所述主视流由多个主视区段构成,所述副视流由多个副视区段构成,所述扩展流由多个扩展区段构成,
所述记录介质具有:
共用区间,由主视区段、副视区段及扩展区段交替地连续配置而成;
立体视觉影像专用区间,由主视区段和副视区段交替地连续配置而成;
平面视觉影像专用区间,是与所述立体视觉影像专用区间相邻的区域,由所述立体视觉影像专用区间中配置的主视区段的复制连续地配置而成;以及
扩展数据专用区间,是位于所述立体视觉影像专用区间和所述平面视觉影像专用区间相连续的区域的紧前的区域,配置有应该与所述平面视觉影像专用区间中配置的主视区段的复制组合利用的扩展区段;
所述共用区间,在所述立体视觉影像被再现时、所述主视被作为平面视觉影像再现时、以及所述扩展流被与所述主视流组合利用时都被访问,
所述立体视觉影像专用区间,在所述立体视觉影像的再现中,在发生长跳跃的紧前,在所述共用区间之后接着被访问,或者在长跳跃结束的紧后,在所述共用区间之前先被访问,
所述平面视觉影像专用区间,在所述平面视觉影像的再现中,在发生长跳跃的紧前,在所述共用区间之后接着被访问,或者在长跳跃结束的紧后,在所述共用区间之前先被访问,
所述扩展数据专用区间和所述平面视觉影像专用区间所成的对,在所述扩展流被与所述主视流一起读取的情况下,在发生长跳跃的紧前,在所述共用区间之后接着被访问,或者在长跳跃结束的紧后,在所述共用区间之前先被访问。
2.如权利要求1所述的记录介质,其特征在于,
所述平面视觉影像专用区间位于所述立体视觉影像专用区间的紧后。
3.如权利要求1所述的记录介质,其特征在于,
由所述立体视觉影像专用区间、所述平面视觉影像专用区间及所述扩展数据专用区间构成的组分别配置在需要长跳跃的地方的紧前和紧后。
4.一种再现装置,从记录介质读取表示立体视觉影像的主视的主视流、表示所述立体视觉影像的副视的副视流、或者扩展流,将所述立体视觉影像再现、将所述主视作为平面视觉影像再现、或者将所述扩展流与所述主视流组合利用,该再现装置的特征在于,
所述主视流由多个主视区段构成,所述副视流由多个副视区段构成,所述扩展流由多个扩展区段构成,
所述记录介质具有:
共用区间,由主视区段、副视区段及扩展区段交替地连续配置而成;
立体视觉影像专用区间,由主视区段和副视区段交替地连续配置而成;
平面视觉影像专用区间,是与所述立体视觉影像专用区间相邻的区域,由所述立体视觉影像专用区间中配置的主视区段的复制连续地配置而成;以及
扩展数据专用区间,是位于所述立体视觉影像专用区间和所述平面视觉影像专用区间相连续的区域的紧前的区域,配置有应该与所述平面视觉影像专用区间中配置的主视区段的复制组合利用的扩展区段;
所述再现装置具备:
读取部,从所述记录介质读取数据;
开关部,从由所述读取部读取的数据提取所述主视流、所述副视流及所述扩展流;
第一读缓冲器,保存由所述开关部提取的所述主视流;
第二读缓冲器,保存由所述开关部提取的所述副视流;
第三读缓冲器,保存由所述开关部提取的所述扩展流;以及
解码部,从所述第一读缓冲器读取所述主视流并解码,从所述第二读缓冲器读取所述副视流并解码,从所述第三读缓冲器读取所述扩展流并解码;
所述读取部为:
在所述立体视觉影像被再现时、所述主视被作为平面视觉影像再现时、以及所述扩展流被与所述主视流组合利用时,都访问所述共用区间,
在所述立体视觉影像的再现中,在进行长跳跃的紧前,在所述共用区间之后接着访问所述立体视觉影像专用区间,或者在进行了长跳跃的紧后,在所述共用区间之前先访问所述立体视觉影像专用区间,
在所述平面视觉影像的再现中,在进行长跳跃的紧前,在所述共用区间之后接着访问所述平面视觉影像专用区间,或者在进行了长跳跃的紧后,在所述共用区间之前先访问所述平面视觉影像专用区间,
在将所述扩展流与所述主视流一起读取的情况下,在进行长跳跃的紧前,访问所述扩展数据专用区间和所述平面视觉影像专用区间所成的对,或者在进行了长跳跃的紧后,在所述共用区间之前先访问所述扩展数据专用区间和所述平面视觉影像专用区间所成的对。
5.一种记录装置,在记录介质中记录主视流、副视流及扩展流,该记录装置的特征在于,具备:
编码部,将立体视觉影像的主视编码为主视视频流,将所述立体视觉影像的副视编码为副视视频流,将与所述主视视频流组合利用的扩展数据编码;
多路复用部,将所述主视视频流多路复用到所述主视流,将所述副视视频流多路复用到所述副视流,将所述扩展数据多路复用到所述扩展流,将所述主视流分割为多个主视区段,将所述副视流分割为多个副视区段,将所述扩展流分割为多个扩展区段,决定所述记录介质中的区段的配置;以及
写入部,按照由所述多路复用部决定的区段的配置,将所述多个主视区段、所述多个副视区段及所述多个扩展区段写入所述记录介质;
所述多路复用部在所述记录介质上设计下述区间:
共用区间,由主视区段、副视区段及扩展区段交替地连续配置而成;
立体视觉影像专用区间,由主视区段和副视区段交替地连续配置而成;
平面视觉影像专用区间,是与所述立体视觉影像专用区间相邻的区域,由所述立体视觉影像专用区间中配置的主视区段的复制连续地配置而成;以及
扩展数据专用区间,是位于所述立体视觉影像专用区间和所述平面视觉影像专用区间相连续的区域的紧前的区域,配置有应该与所述平面视觉影像专用区间中配置的主视区段的复制组合利用的扩展区段;
由此,在通过再现装置将所述立体视觉影像再现时、将所述主视作为平面视觉影像再现时、以及将所述扩展流与所述主视流组合利用时,都使所述再现装置访问所述共用区间,
在所述立体视觉影像的再现中,在进行长跳跃的紧前,使所述再现装置在所述共用区间之后接着访问所述立体视觉影像专用区间,或者在进行了长跳跃的紧后,使所述再现装置在所述共用区间之前先访问所述立体视觉影像专用区间,
在所述平面视觉影像的再现中,在进行长跳跃的紧前,使所述再现装置在所述共用区间之后接着访问所述平面视觉影像专用区间,或者在进行了长跳跃的紧后,使所述再现装置在所述共用区间之前先访问所述平面视觉影像专用区间,
在所述扩展流被与所述主视流一起读取的情况下,在进行长跳跃的紧前,使所述再现装置在所述共用区间之后接着访问所述扩展数据专用区间和所述平面视觉影像专用区间所成的对,或者在进行了长跳跃的紧后,使所述再现装置在所述共用区间之前先访问所述扩展数据专用区间和所述平面视觉影像专用区间所成的对。
6.一种记录方法,在记录介质中记录主视流、副视流及扩展流,该记录方法包括以下步骤:
将立体视觉影像的主视编码为主视视频流,将所述立体视觉影像的副视编码为副视视频流,将与所述主视视频流组合利用的扩展数据编码;
将所述主视视频流多路复用到所述主视流,将所述副视视频流多路复用到所述副视流,将所述扩展数据多路复用到所述扩展流;
将所述主视流分割为多个主视区段,将所述副视流分割为多个副视区段,将所述扩展流分割为多个扩展区段,决定所述记录介质中的区段的配置;以及
按照决定的区段的配置,将所述多个主视区段、所述多个副视区段及所述多个扩展区段写入所述记录介质;
在决定所述区段的配置的步骤中,在所述记录介质上设计下述区间:
共用区间,由主视区段、副视区段及扩展区段交替地连续配置而成;
立体视觉影像专用区间,由主视区段和副视区段交替地连续配置而成;
平面视觉影像专用区间,是与所述立体视觉影像专用区间相邻的区域,由所述立体视觉影像专用区间中配置的主视区段的复制连续地配置而成;以及
扩展数据专用区间,是位于所述立体视觉影像专用区间和所述平面视觉影像专用区间相连续的区域的紧前的区域,配置有应该与所述平面视觉影像专用区间中配置的主视区段的复制组合利用的扩展区段;
由此,在通过再现装置将所述立体视觉影像再现时、将所述主视作为平面视觉影像再现时、以及将所述扩展流与所述主视流组合利用时,都使所述再现装置访问所述共用区间,
在所述立体视觉影像的再现中,在进行长跳跃的紧前,使所述再现装置在所述共用区间之后接着访问所述立体视觉影像专用区间,或者在进行了长跳跃的紧后,使所述再现装置在所述共用区间之前先访问所述立体视觉影像专用区间,
在所述平面视觉影像的再现中,在进行长跳跃的紧前,使所述再现装置在所述共用区间之后接着访问所述平面视觉影像专用区间,或者在进行了长跳跃的紧后,使所述再现装置在所述共用区间之前先访问所述平面视觉影像专用区间,
在所述扩展流被与所述主视流一起读取的情况下,在进行长跳跃的紧前,使所述再现装置在所述共用区间之后接着访问所述扩展数据专用区间和所述平面视觉影像专用区间所成的对,或者在进行了长跳跃的紧后,使所述再现装置在所述共用区间之前先访问所述扩展数据专用区间和所述平面视觉影像专用区间所成的对。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161526816P | 2011-08-24 | 2011-08-24 | |
US61/526,816 | 2011-08-24 | ||
PCT/JP2012/005293 WO2013027408A1 (ja) | 2011-08-24 | 2012-08-23 | 記録媒体、再生装置、記録装置、及び記録方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103181172A true CN103181172A (zh) | 2013-06-26 |
CN103181172B CN103181172B (zh) | 2015-11-25 |
Family
ID=47746168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280003441.6A Expired - Fee Related CN103181172B (zh) | 2011-08-24 | 2012-08-23 | 记录介质、再现装置、记录装置及记录方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8989556B2 (zh) |
EP (1) | EP2750389A4 (zh) |
JP (1) | JP5957768B2 (zh) |
CN (1) | CN103181172B (zh) |
WO (1) | WO2013027408A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106031180A (zh) * | 2014-02-18 | 2016-10-12 | Lg电子株式会社 | 收发用于全景服务的广播信号的方法和设备 |
CN111798881A (zh) * | 2014-10-17 | 2020-10-20 | 松下电器(美国)知识产权公司 | 记录介质、再现方法以及再现装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9300903B2 (en) * | 2011-04-28 | 2016-03-29 | Panasonic Corporation | Recording medium, reproduction device, and recording device |
US20150009289A1 (en) * | 2013-07-08 | 2015-01-08 | Electronics And Telecommunications Research Institute | Method and apparatus for providing three-dimensional (3d) video |
US20150253974A1 (en) | 2014-03-07 | 2015-09-10 | Sony Corporation | Control of large screen display using wireless portable computer interfacing with display controller |
WO2016039171A1 (ja) * | 2014-09-12 | 2016-03-17 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム、並びに記録媒体 |
JP6595232B2 (ja) * | 2015-07-02 | 2019-10-23 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡用撮像装置、内視鏡装置、及び内視鏡用ケーブル |
JP2017157904A (ja) * | 2016-02-29 | 2017-09-07 | 富士ゼロックス株式会社 | 情報処理装置 |
JP2017213181A (ja) * | 2016-05-31 | 2017-12-07 | オリンパス株式会社 | 医療用画像記録装置 |
CN108881877B (zh) * | 2017-05-12 | 2020-07-24 | 京东方科技集团股份有限公司 | 显示处理装置及其显示处理方法以及显示装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100303444A1 (en) * | 2009-05-27 | 2010-12-02 | Taiji Sasaki | Recording medium, playback device, encoding device, integrated circuit, and playback output device |
CN102160389A (zh) * | 2009-06-11 | 2011-08-17 | 松下电器产业株式会社 | 再现装置、集成电路、记录介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2299702B1 (en) * | 1996-02-28 | 2013-12-11 | Panasonic Corporation | High-resulution optocal disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device |
EP2605244B1 (en) * | 2008-09-17 | 2015-11-04 | Panasonic Intellectual Property Management Co., Ltd. | Recording medium and playback device |
KR20110110085A (ko) | 2008-12-26 | 2011-10-06 | 파나소닉 주식회사 | 기록매체, 재생장치 및 집적회로 |
WO2010095443A1 (ja) | 2009-02-19 | 2010-08-26 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
EP2521366B1 (en) * | 2009-02-19 | 2014-09-17 | Panasonic Corporation | Playback device |
BRPI1013557A8 (pt) | 2009-09-25 | 2017-07-11 | Panasonic Corp | Dispositivo de reprodução, meio de gravação e circuito integrado |
-
2012
- 2012-08-23 WO PCT/JP2012/005293 patent/WO2013027408A1/ja active Application Filing
- 2012-08-23 EP EP12825215.2A patent/EP2750389A4/en not_active Withdrawn
- 2012-08-23 US US13/824,516 patent/US8989556B2/en not_active Expired - Fee Related
- 2012-08-23 JP JP2013505241A patent/JP5957768B2/ja not_active Expired - Fee Related
- 2012-08-23 CN CN201280003441.6A patent/CN103181172B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100303444A1 (en) * | 2009-05-27 | 2010-12-02 | Taiji Sasaki | Recording medium, playback device, encoding device, integrated circuit, and playback output device |
CN102160389A (zh) * | 2009-06-11 | 2011-08-17 | 松下电器产业株式会社 | 再现装置、集成电路、记录介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106031180A (zh) * | 2014-02-18 | 2016-10-12 | Lg电子株式会社 | 收发用于全景服务的广播信号的方法和设备 |
CN111798881A (zh) * | 2014-10-17 | 2020-10-20 | 松下电器(美国)知识产权公司 | 记录介质、再现方法以及再现装置 |
CN111798880A (zh) * | 2014-10-17 | 2020-10-20 | 松下电器(美国)知识产权公司 | 记录介质、再现方法以及再现装置 |
CN111798878A (zh) * | 2014-10-17 | 2020-10-20 | 松下电器(美国)知识产权公司 | 记录介质、再现方法以及再现装置 |
CN111798878B (zh) * | 2014-10-17 | 2022-07-12 | 松下电器(美国)知识产权公司 | 记录介质、再现方法以及再现装置 |
CN111798881B (zh) * | 2014-10-17 | 2022-07-12 | 松下电器(美国)知识产权公司 | 记录介质、再现方法以及再现装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103181172B (zh) | 2015-11-25 |
US20130279883A1 (en) | 2013-10-24 |
EP2750389A4 (en) | 2014-09-24 |
JP5957768B2 (ja) | 2016-07-27 |
JPWO2013027408A1 (ja) | 2015-03-05 |
WO2013027408A1 (ja) | 2013-02-28 |
US8989556B2 (en) | 2015-03-24 |
EP2750389A1 (en) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103181172B (zh) | 记录介质、再现装置、记录装置及记录方法 | |
CN102362504B (zh) | 记录方法及再现装置 | |
CN102138335B (zh) | 再现装置、记录方法及记录介质再现系统 | |
CN102113334B (zh) | 再现装置、记录方法及记录介质再现系统 | |
CN102027750B (zh) | 记录介质、再现装置及集成电路 | |
CN102334338B (zh) | 显示装置和方法、发送装置和方法、以及接收装置和方法 | |
CN102685435B (zh) | 再现装置、记录方法 | |
CN102027751B (zh) | 再现装置 | |
CN102355590B (zh) | 3d 影像的记录介质、再现装置、系统lsi、再现方法、眼镜、显示装置 | |
CN102124746B (zh) | 记录介质、再现装置、及集成电路 | |
JP5908894B2 (ja) | 記録媒体、再生装置、及び記録装置 | |
CN101953170B (zh) | 再现装置及集成电路 | |
CN102334339A (zh) | 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法 | |
CN101682719A (zh) | 记录有3d影像的记录介质、记录3d影像的记录装置以及再现3d影像的再现装置和再现方法 | |
MX2011006360A (es) | Dispositivo de reproduccion, medio de grabacion y circuito integrado. | |
CN102124748A (zh) | 记录介质、再生装置及集成电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160301 Address after: Osaka Japan Patentee after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd. Address before: Osaka Japan Patentee before: Matsushita Electric Industrial Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151125 Termination date: 20200823 |