CN102334339A - 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法 - Google Patents
显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法 Download PDFInfo
- Publication number
- CN102334339A CN102334339A CN2010800094649A CN201080009464A CN102334339A CN 102334339 A CN102334339 A CN 102334339A CN 2010800094649 A CN2010800094649 A CN 2010800094649A CN 201080009464 A CN201080009464 A CN 201080009464A CN 102334339 A CN102334339 A CN 102334339A
- Authority
- CN
- China
- Prior art keywords
- frame
- mentioned
- looked
- image
- stereoscopic vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
用于对立体视觉影像进行画面显示的显示装置具有接收部、信号处理部和显示部。接收部接收包含立体视觉影像的左视和右视在内的流数据。信号处理部从流数据中交替地提取左视帧和右视帧。显示部每规定时间在画面上显示从信号处理部送出的各个帧。信号处理部在立体视觉影像的一个帧期间,分别将一个左视帧重复第一次数地、将一个右视帧重复第二次数地向显示部送出,信号处理部还求出用立体视觉影像的帧速率除显示部显示左视帧和右视帧时的帧速率之后得到的值。信号处理部基于该值在立体视觉影像的至少一个帧期间将第一次数和第二次数决定为相互不同的值。
Description
技术领域
本发明涉及立体视觉影像即三维(3D)影像的显示技术。
背景技术
近年来,对于3D影像的普遍的关注提高。例如在游乐园中,利用3D影像的游玩项目受到欢迎。此外,在全国各地,上映3D影像的电影的电影院正在增加。随着这样的对3D影像的关注的提高,用于使3D影像在各家庭中也能够再现的技术的开发被不断推进。在该技术中,要求将3D影像内容在高画质的状态下记录到光盘等可移动性记录介质中。还要求该记录介质对于2D再现装置的互换性。即,希望2D再现装置能够从记录在该记录介质中的3D影像内容再现2D影像,3D再现装置能够从记录在该记录介质中的3D影像内容再现3D影像。这里,所谓“2D再现装置”,是指仅能够再现平面视觉影像即二维(2D)影像的以往的再现装置,所谓“3D再现装置”,是指能够再现3D影像的再现装置。另外,在本说明书中,设想为3D再现装置也能够将以往的2D影像再现的情况。
图75是表示用来对记录有3D影像内容的光盘确保对于2D再现装置的互换性的技术的示意图(例如参照专利文献1)。在光盘PDS中保存有两种视频流。一种是2D/左视视频流,另一种是右视视频流。“2D/左视视频流”在3D影像的再现中表示使视听者的左眼看到的2D影像即“左视”,在2D影像的再现中表示该2D影像本身。“右视视频流”在3D影像的再现中表示使视听者的右眼看到的2D影像即“右视”。在左右的视频流间帧速率相等,但帧的显示时期错开帧周期的一半。例如在各视频流的帧速率是24fps(frame per seconds:帧每秒)时,使2D/左视视频流和右视视频流的各帧每1/48秒交替地显示。
各视频流如图75所示,在光盘PDS上被分割为多个区段EX1A~C、EX2A~C。各区段包括1个以上GOP(图片组)、由光盘驱动器统一读取。以下,将属于2D/左视视频流的区段称作“2D/左视区段”,将属于右视视频流的区段称作“右视区段”。2D/左视区段EX1A~C和右视区段EX2A~C交替地配置在光盘PDS的轨道TRC上。在相邻的两个区段EX1A+EX2A、EX1B+EX2B、EX1C+EX2C之间再现时间相等。将这样的区段的配置称作“交织配置”。以交织配置记录的区段群如以下所述,在3D影像的再现和2D影像的再现这两者中使用。
在2D再现装置PL2中,光盘驱动器DD2将光盘PDS上的区段中的、仅2D/左视区段EX1A~C从开头起依次读取,而将右视区段EX2A~C的读取跳过。进而,影像解码器VDC将由光盘驱动器DD2读取的区段依次解码为影像帧VFL。由此,在显示装置DS2上仅显示左视,所以使视听者能够看到通常的2D影像。
在3D再现装置PL3中,光盘驱动器DD3从光盘PDS将2D/左视区段和右视区段交替地,即如果用标号表示,按照EX1A、EX2A、EX1B、EX2B、EX1C、EX2C的顺序读取。进而,从读取的各区段将2D/左视视频流向左影像解码器VDL传送,将右视视频流向右影像解码器VDR传送。各影像解码器VDL、VDR交替地将各视频流解码为影像帧VFL、VFR。由此,在显示装置DS3上交替地显示左视和右视。另一方面,快门式眼镜SHG使左右的透镜同步于显示装置DS3进行的画面的切换而交替地成为不透明。其结果是,在佩戴着快门式眼镜SHG的视听者的左眼映入左视,在右眼映入右视。这样,对于该视听者来说,左视和右视的2D影像之对被看成一个3D影像。
并不限定于光盘,将3D影像内容保存到记录介质中时,如上述那样利用区段的交织配置。由此,能够将该记录介质在2D影像的再现和3D影像的再现这两者中使用。
现有技术文献
专利文献
专利文献1:日本特许第3935507号公报
发明内容
发明要解决的问题
在电影方面,传统来说帧速率是24fps。即使在记录于记录介质上的电影内容中,流数据的帧速率通常也是24fps。但是,在电视中,这种程度的帧速率过低,存在使视听者感觉到影像的闪烁(flicker)的危险性。因此,电视接收器等显示装置一般将电影内容的帧速率变换为更高的值之后显示该影像。具体来说,作为这样的帧速率的变换方式,公知有“3-2pulldown方式”。
图76(a)、图76(b)分别是表示基于3-2pulldown的帧速率变换前后的2D影像的帧串的示意图。为了说明上的方便,设想扫描方式是逐行扫描方式的情况。参照图76(a),由于在进行3-2pulldown之前,2D影像的帧串F2Dk(k=1、2、3、4……)的帧速率是24fps,所以每个帧的显示时间是1/24秒。参照图76(b),3-2pulldown是将该帧串F2Dk中的第奇数个帧F2D1、F2D3、……分别重复三次加以显示,将该帧串F2Dk中的第偶数个帧F2D2、F2D4、……分别重复两次加以显示。由于每个帧的显示时间被设定为1/60秒,所以要显示的帧串F2Dk的帧速率是60fps。
即使是3D影像内容,左视和右视的各个帧速率与通常的2D影像的显示同样是24fps。因此,在3D影像的显示中也与2D影像的显示同样地通过3-2pulldown变换帧速率。图76(c)、图76(d)是表示基于3-2pulldown的帧速率变换前后的3D影像的帧串的示意图。为了说明上的方便,设想扫描方式是逐行扫描方式的情况。参照图76(c),由于在进行3-2pulldown之前,3D影像的帧串F3Dk(k=1、2、3、4……)的帧速率是24fps,所以每个帧的显示时间是1/24秒。参照图76(d),3-2pulldown将该帧串F3Dk中的第奇数个帧F3D1、F3D3、……分别重复三次加以显示,将该帧串F3Dk中的第偶数个帧F3D2、F3D4、……分别重复两次加以显示。由于每个帧的显示时间被设定为1/60秒,所以要显示的帧串F3Dk的帧速率是60fps。这里,3D影像的一个帧F3Dk实际上是交替显示左视的一个帧FL和右视的一个帧FR所得到的。图76(e)是表示3-2pulldown之后构成3D影像的各个帧的左视和右视的各个帧串的示意图。参照图76(e),在3D影像的各个帧的显示期间,左视的一个帧FL和右视的一个帧FR每1/120秒依次被显示。
再参照图76(e),在3D影像的第奇数个帧F3D1、F3D3、……的各个显示期间,一共显示6个帧的左视·右视。另一方面,在第偶数个帧F3D2、F3D4、……的各个显示期间,一共只显示4个帧的左视·右视。因此,即使3D影像的各个帧的显示时间在内容上被相等地设定,而实际上第奇数个各帧F3D1、F3D3、……的显示时间比第偶数个各帧F3D2、F3D4、……的显示时间长。具体来说,第奇数个帧F3D1、F3D3、……的显示时间是1/120秒×6=0.05秒,与此相对,第偶数个帧F3D2、F3D4、……的显示时间是1/120秒×4=约0.03秒。这样,在第奇数个和第偶数个的3D影像的帧的显示时间不同的情况下,很难将该影像的运动更加平滑地表现出来。
本发明的目的在于提供一种通过变换帧速率使3D影像的帧的显示时间均一化、从而能够更加平滑地表现3D影像的运动的显示装置。
用于解决问题的手段
涉及本发明的显示装置是用于在画面上显示立体视觉影像的显示装置,具有接收部、信号处理部以及显示部。
在涉及本发明的第一观点的显示装置中,接收部接收包含立体视觉影像的左视帧和右视帧在内的流数据。信号处理部从流数据中交替地提取左视帧和右视帧加以送出。显示部每规定时间在画面上显示从信号处理部送出的各个帧。特别是,信号处理部在流数据表示的立体视觉影像的一个帧期间,分别将一个左视帧重复第一次数地、将一个右视帧重复第二次数地向显示部送出,信号处理部还基于用流数据表示的立体视觉影像的帧速率除显示部显示左视帧和右视帧时的帧速率之后得到的值,在立体视觉影像的至少一个帧期间将第一次数和第二次数决定为相互不同的值。
在涉及本发明的第二观点的显示装置中,接收部接收包含立体视觉影像的左视帧、右视帧以及控制信息在内的流数据。信号处理部从流数据中交替地提取左视帧和右视帧加以送出。显示部每规定时间在画面上显示从信号处理部送出的帧。控制信息包括各个左视帧的显示类型和各个右视帧的显示类型。各个左视帧的显示类型规定第一次数,该第一次数表示显示部在立体视觉影像的一个帧期间应重复显示该左视帧的次数。各个右视帧的显示类型规定第二次数,该第二次数表示显示部在立体视觉影像的一个帧期间应重复显示该右视帧的次数。在立体视觉影像的至少一个帧期间将第一次数和第二次数设定为相互不同的值。接收部将各个左视帧重复该左视帧的显示类型所规定的第一次数地向信号处理部送出,将各个右视帧重复该右视帧的显示类型所规定的第二次数地向信号处理部送出。
发明效果:
涉及本发明的显示装置在立体视觉影像的至少一个帧期间将左视帧和右视帧分别重复相互不同的次数地加以显示。特别是,涉及本发明的第一观点的显示装置基于立体视觉影像的原帧速率与显示时的帧速率之比,自己决定上述次数。另一方面,涉及本发明的第二观点的显示装置根据控制信息设定上述次数。由于任一个显示装置都能够变换帧速率来使3D影像的帧的显示时间均一化,所以能够更加平滑地表现3D影像的运动。
附图说明
图1是表示使用本发明的实施方式1的记录介质的家庭影院系统的示意图。
图2是表示图1所示的显示装置103的构成的功能框图。
图3是表示图2所示的HDMI通信部211的构成的功能框图。
图4(a)是表示通过TMDS数据信道CH1~3传送的数据中的、在3D影像的一个帧的显示中利用的数据的构成的示意图。图4(b)~图4(e)是表示3D影像的一个帧的传送期间中包含的有效显示区域VACT×HACT中的左视帧和右视帧之对的配置的示意图。
图5是图2所示的显示装置103中的3D影像的显示动作的流程图。
图6(a)是表示帧速率=24fps的3D影像的帧串F3Dk(k=1、2、3、4……)的示意图。图6(b)是表示从图6(a)所示的帧串变换来的、120fps的左视帧和右视帧的串FLk、FRk的示意图。
图7(a)是表示帧速率=24fps的3D影像的帧串F3Dk(k=1、2、3、4……)的示意图。图7(b)是表示从图7(a)所示的帧串变换来的、100fps的左视帧和右视帧的串FLk、FRk的示意图。
图8(a)是表示帧速率=24fps的3D影像的帧串F3Dk(k=1、2、3、4……)的示意图。图8(b)是表示从图8(a)所示的帧串变换来的、180fps的左视帧和右视帧的串FLk、FRk的示意图。
图9是图2所示的信号处理部220进行的3D影像的帧F3Dk的显示处理的流程图。
图10是表示图1所示的BD-ROM盘101上的数据构造的示意图。
图11(a)、图11(b)、图11(c)分别是多路复用在图1所示的BD-ROM盘101上的主TS、第一副TS和第二副TS中的基本流的一览表。
图12是表示多路复用流数据1200内的TS包的配置的示意图。
图13(a)是表示构成多路复用流数据的一系列的TS包的每一个中包含的TS头1301H的数据构造的示意图。图13(b)是表示该TS包串的形式的示意图。图13(c)是表示由该TS包串构成的源包串的形式的示意图。图13(d)是连续地记录有一系列的源包1302的BD-ROM盘101的卷区域上的扇区群的示意图。
图14是表示PG流1400的数据构造的示意图。
图15是表示将基视视频流1501和右视视频流1502的图片以显示时间顺序表示的示意图。
图16是表示视频流1600的数据构造的详细情况的示意图。
图17是表示视频流1701向PES包串1702的保存方法的详细情况的示意图。
图18是对基视视频流1801和从属视视频流1802的各图片分配的PTS与DTS之间的关系的示意图。
图19是表示从属视视频流1900包含的偏移元数据1910的数据构造的示意图。
图20(a)、图20(b)分别是表示对PG平面2010和IG平面2020进行的偏移控制的示意图。图20(c)是表示视听者2030从图20(a)、图20(b)所示的图形平面表示的2D图形影像感知的3D图形影像的示意图。
图21(a)、图21(b)是表示偏移序列的具体例的曲线图。图21(c)是表示按照图20(a)、图20(b)所示的偏移序列再现的3D图形影像的示意图。
图22是表示PMT2210的数据构造的示意图。
图23是表示图11所示的主TS、第一副TS和第二副TS中的某一个在BD-ROM盘101上的物理配置的示意图。
图24(a)是表示单独地连续记录在某个BD-ROM盘上的主TS2401和副TS2402的配置的示意图。图24(b)是表示在本发明的实施方式1的BD-ROM盘101上记录的从属视数据块D[0]、D[1]、D[2]、……和基视数据块B[0]、B[1]、B[2]、……的交织配置的示意图。图24(c)、图24(d)分别是表示以交织配置记录的从属视数据块群D[n]和基视数据块群B[n]的各区段ATC时间的例子的示意图(n=0、1、2)。
图25是表示在相邻的数据块间使区段ATC时间一致的方法的示意图。
图26是表示针对图23所示的区段块群2301~2303的、2D再现模式下的再现路径2301和3D再现模式下的再现路径2302的示意图。
图27是表示2D再现模式的再现装置102内的再现处理系统的框图。
图28(a)是表示在2D再现模式下的动作过程中图27所示的读缓冲器2702中存储的数据量DA的变化的曲线图。图28(b)是表示再现对象的区段块2810与2D再现模式下的再现路径2820之间的对应关系的示意图。
图29是关于BD-ROM盘的跳跃距离SJUMP与最大跳跃时间TJUMP_MAX之间的对应表的一例。
图30是表示3D再现模式的再现装置102内的再现处理系统的框图。
图31(a)、图31(b)是表示当从一个区段块无缝地再现3D影像时储存在图30所示的RB13011、RB23012中的数据量DA1、DA2的变化的曲线图。图31(c)是表示该区段块3110与3D再现模式下的再现路径3120之间的对应关系的示意图。
图32是表示图10所示的第一片断信息文件(01000.clpi)1031的数据构造的示意图。
图33(a)是表示图32中所示的入口映射3230的数据构造的示意图。图33(b)是表示属于图10所示的文件2D1041的源包群3310中的、通过入口映射3230与各EP_ID3305建立了对应的源包的示意图。图33(c)是表示对应于该源包群3310的BD-ROM盘101上的数据块群D[n]、B[n](n=0、1、2、3、......)的示意图。
图34(a)是表示图32所示的区段起点3242的数据构造的示意图。图34(b)是表示包含在图10所示的第二片断信息文件(02000.clpi)1032中的区段起点3420的数据构造的示意图。图34(c)是表示由3D再现模式的再现装置102从图10所示的第一文件SS1045提取的基视数据块B[0]、B[1]、B[2]、……的示意图。图34(d)是表示属于图10所示的第一文件DEP(02000.m2ts)1042的从属视区段EXT2[0]、EXT2[1]、……与区段起点3420表示的SPN3422之间的对应关系的示意图。图34(e)是表示属于第一文件SS1045的区段SSEXTSS[0]与BD-ROM盘101上的区段块之间的对应关系的示意图。
图35是表示记录在BD-ROM盘101上的一个区段块3500、与文件2D3510、基础文件3511、文件DEP3512、以及文件SS3520的各区段群之间的对应关系的示意图。
图36是表示对基视视频流3610和从属视视频流3620设定的入口点的例子的示意图。
图37是表示图10所示的2D播放列表文件(00001.mpls)1021的数据构造的示意图。
图38是表示播放项目ID=#N(N=1、2、3……)的播放项目信息、PI#N的数据构造的示意图。
图39(a)、图39(b)分别是表示当连接条件是“5”、“6”时应连接的两个再现区间PI#(N-1)、PI#N之间的关系的示意图。
图40是表示图37所示的2D播放列表文件(00001.mpls)1021表示的PTS、与从文件2D(01000.m2ts)1041再现的部分之间的对应关系的示意图。
图41是表示图10所示的3D播放列表文件(00002.mpls)1022的数据构造的示意图。
图42是表示图41所示的3D播放列表文件1022的主路径4101包含的STN表4205的示意图。
图43是表示图41所示的STN表SS4130的数据构造的示意图。
图44是表示图41所示的3D播放列表文件(00002.mpls)1022表示的PTS、与从第一文件SS(01000.ssif)1045再现的部分之间的对应关系的示意图。
图45是表示图10所示的索引文件(index.bdmv)1011的数据构造的示意图。
图46是通过参照图45所示的索引表4510的项目“标题3”、再现装置102利用6种判断处理(1)~(6)选择再现对象的播放列表文件的处理的流程图。
图47是2D再现装置4700的功能框图。
图48是图47所示的播放器变量存储部4736存储的系统参数(SPRM)的一览表。
图49是图47所示的2D再现装置4700的再现动作的流程图。
图50是通过图47所示的再现控制部4735进行的2D播放列表再现处理的流程图。
图51是图47所示的系统目标解码器4723的功能框图。
图52(a)是图51所示的PG解码器5172从PG流内的一个数据入口解码图形对象的处理的流程图。图52(b)~图52(e)是表示按照该处理变化的图形对象的示意图。
图53是表示图47所示的HDMI通信部4725的构成的功能框图。
图54是3D再现装置5400的功能框图。
图55是图54所示的3D再现装置5400的再现动作的流程图。
图56是由图54所示的再现控制部5435进行的3D播放列表再现处理的流程图。
图57是图54所示的系统目标解码器5423的功能框图。
图58是图54所示的平面相加部5424的、1平面+偏移模式或1平面+0偏移模式下的功能框图。
图59是由图58所示的各裁剪处理部5831~5834进行的偏移控制的流程图。
图60是表示通过图58所示的第二裁剪处理部5832的偏移控制进行加工前后的PG平面GP、RGP、LGP的示意图。图60(a)、图60(b)、图60(c)分别表示被赋予了朝右的偏移之后的PG平面RGP、偏移控制中进行加工之前的PG平面GP和被赋予了朝左的偏移之后的PG平面LGP。
图61是2平面模式的平面相加部5424的部分功能框图。
图62(a)是表示视频流6200中包含的VAU#N的示意图(字符N表示1以上的整数)。图62(b)是显示类型6202的值和显示模式6203之间的对应表。图62(c)~图62(k)是表示各个显示模式的示意图。
图63是表示实施方式2中的系统目标解码器5423中包含的主视频流的处理系统的部分功能框图。
图64是利用了图63所示的系统的3D再现装置的再现动作的流程图。
图65(a)是表示帧速率=24fps的3D影像的帧串F3Dk(k=1、2、3、4……)的示意图。图65(b)表示由再现装置102送出的左视帧和右视帧的串FLk、FRk的示意图。图65(c)是表示通过显示装置103以帧速率=120fps显示的左视帧和右视帧的串的示意图。
图66(a)是表示帧速率=24fps的3D影像的帧串F3Dk(k=1、2、3、4……)的示意图。图66(b)表示由再现装置102送出的左视帧和右视帧的各自的顶部(top)场和底部(bottom)场的串TFLk、BFLk、TFRk、BFRk的示意图。图66(c)是表示通过显示装置103每1/120秒交替显示的顶部(top)场和底部(bottom)场的串TFLk、BFLk、TFRk、BFRk示意图。
图67是发送装置6700的功能框图。
图68(a)是表示在相邻的基视数据块与从属视数据块之间区段ATC时间不同、并且视频流的再现时间不同时的再现路径的示意图。图68(b)是表示在相邻的基视数据块与从属视数据块之间视频流的再现时间相等时的再现路径的示意图。
图69是本发明的实施方式3的记录装置6900的功能框图。
图70(a)、图70(b)是表示在3D影像的一场景的显示中使用的左视图片和右视图片的示意图。图70(c)是表示由图69所示的视频编码器6902根据这些图片计算出的进深信息的示意图。
图71是利用图69所示的记录装置6900向BD-ROM盘记录电影内容的方法的流程图。
图72(a)~图72(c)是用来说明通过使用视差影像的方法进行的3D影像(立体视觉影像)的再现原理的示意图。
图73是表示通过2D影像MVW与深度图DPH的组合构成左视LVW和右视RVW的例子的示意图。
图74(a)是表示解码开关信息A050的数据构造的示意图。图74(b)是表示对基视视频流A001和从属视视频流A002的各图片分配的解码计数器的一个例子A010、A020的示意图。图74(c)是表示对这些视频流A001、A002的各图片分配的解码计数器的其他例子A030、A040的示意图。
图75是表示用来对记录有3D影像内容的光盘确保对于2D再现装置的互换性的技术的示意图。
图76(a)、图76(b)分别是表示基于3-2pulldown的帧速率变换前后的2D影像的帧串的示意图。
图77(a)是表示内容中的3D影像的各帧F3Dk的显示时间的示意图。图77(b)是表示120fps的左视帧和右视帧的串FLk、FRk(k=1、2、3、……)以及在它们之间设置的帧切换期间FLRk、FRLk的示意图。图77(c)是表示与图77(b)所示的各个期间FLk、FRk、FLRk、FRLk同步地使快门式眼镜104的左右透镜透射的期间LSL、LSR的示意图。
具体实施方式
以下,参照附图,对本发明的优选实施方式进行说明。
<<实施方式1>>
图1是表示使用本发明的实施方式1中的家庭影院系统的示意图。该家庭影院系统采用使用了视差影像的3D影像(立体视觉影像)的再现方式,特别是作为显示方式而采用了时分式(也叫帧排序方式)(详细情况参照<<补充>>)。参照图1,该家庭影院系统包括记录介质101、再现装置102、显示装置103、快门式眼镜104、以及遥控器105。
记录介质101是只读型蓝光盘(注册商标)(BD:Blu-ray Disc)、即BD-ROM盘。记录介质101也可以是其他可移动性记录介质,例如DVD等的其他方式的光盘、移动硬盘驱动器(HDD)、或者SD存储卡等半导体存储装置。该记录介质即BD-ROM盘101保存有3D影像的电影内容。该内容包括“左视视频流”和“右视视频流”。各视频流表示3D影像的左视和右视的各个帧串。上述内容也可以还包括“深度图流”。深度图流表示3D影像的各帧的深度图。这些视频流如后述那样以数据块为单位配置在BD-ROM盘101上,利用后述的文件构造被访问。左视视频流或右视视频流用于由2D再现装置和3D再现装置分别将其内容作为2D影像进行再现。另一方面,左视视频流和右视视频流之对、或者左视或右视中的某个视频流与深度图流之对用于由3D再现装置将其内容作为3D影像进行再现。
再现装置102搭载有BD-ROM驱动器121。BD-ROM驱动器121是依据BD-ROM方式的光盘驱动器。再现装置102利用BD-ROM驱动器121从BD-ROM盘101读入内容。再现装置102还将该内容解码为影像数据/声音数据。这里,再现装置102是3D再现装置,能够将该内容作为2D影像和3D影像中的任一个进行再现。以下,将分别再现2D影像和3D影像时的再现装置102的动作模式称作“2D再现模式”、“3D再现模式”。2D再现模式的影像数据仅包括左视帧或右视帧中的某一方。3D再现模式的影像数据包括左视帧和右视帧两者。
3D再现模式还被分为左/右(L/R)模式和深度模式。在“L/R模式”中,由左视视频流和右视视频流的组合再现左视帧与右视帧之对。在“深度模式”中,由左视或右视中的某一方的视频流和深度图流的组合再现左视帧和右视帧之对。再现装置102具备L/R模式。再现装置102也可以还具备深度模式。
再现装置102通过HDMI(High-Definition Multimedia Interface:高清晰度多媒体接口)线缆122连接在显示装置103上。再现装置102将影像数据/声音数据变换为HDMI方式的串行信号,通过HDMI线缆122内的TMDS(Transition Minimized Differential Signaling:最小化传输差分信号)信道传送给显示装置103。在2D再现模式的影像信号中仅多路复用了左视帧或右视帧中的某一方。在3D再现模式的影像信号中以时分方式多路复用了左视帧和右视帧两者。再现装置102还通过HDMI线缆122内的CEC(Consumer Electronics Control:消费性电子控制)线,与显示装置103之间交换CEC消息。由此,再现装置102能够对显示装置103询问是否能够对应于3D影像的再现。再现装置102在此基础上还通过HDMI线缆122内的显示数据信道(DDC)从显示装置103读取表示询问结果的数据、EDID(Extended Display Identification Data:扩展显示识别数据)。再现装置102除此之外通过DDC与显示装置103之间进行HDCP(High-bandwidth DigitalContent Protection:高带宽数字内容保护)认证。利用该认证结果中得到的私钥,再现装置102将影像数据等加密,并通过HDMI线缆122传送到显示装置103。
显示装置103是液晶显示器。显示装置103除此以外也可以是等离子显示器及有机EL显示器等其他方式的平板显示器或投影机。显示装置103按照影像数据在画面131上显示影像,按照声音数据从内置的扬声器发出声音。显示装置103能够对应于3D影像的再现。在2D影像的再现时,在画面131上显示左视或右视中的某一方。在3D影像的再现时,在画面131上交替地显示左视和右视。
显示装置103包括左右信号发送部132。左右信号发送部132将左右信号LR通过红外线或无线向快门式眼镜104送出。左右信号LR表示在当前时刻在画面131上显示的影像是左视和右视中的哪一方。在3D影像的再现时,显示装置103通过根据在影像信号中附带的同步信号等控制信号或辅助数据识别左视帧和右视帧,来检测帧的切换。显示装置103还使左右信号发送部132同步于检测到的帧的切换而使左右信号LR变化。
快门式眼镜104包括两片液晶显示面板141L、141R和左右信号接收部142。各液晶显示面板141L、141R构成左右的各透镜部分。左右信号接收部142接收左右信号LR,根据其变化对左右的液晶显示面板141L、141R发送信号。各液晶显示面板141L、141R根据该信号,使光整体上均匀地透过或将其遮断。特别是,当左右信号LR表示左视的显示时,左眼侧的液晶显示面板141L使光透过,右眼侧的液晶显示面板141R遮断光。当左右信号LR表示右视的显示时则相反。这样,两片液晶显示面板141L、141R与帧的切换同步地交替地使光透过。其结果,当视听者佩戴快门式眼镜104来观看画面131时,左视仅映入该视听者的左眼,右视仅映入其右眼。此时,对于该视听者来说,各眼中映入的影像间的差异作为对相同立体物体的两眼视差被感知,所以该影像看起来是立体的。
遥控器105包括操作部和发送部。操作部包括多个按钮。各按钮与电源的开启关闭、或者BD-ROM盘101的再现开始或停止等、再现装置102或显示装置103的各功能建立了对应。操作部检测用户进行的各按钮的按下,将该按钮的识别信息用信号传递给发送部。发送部将该信号变换为红外线或无线的信号IR,向再现装置102或显示装置103送出。另一方面,再现装置102或显示装置103接收该信号IR,确定与该信号IR表示的按钮建立了对应的功能。再现装置102或显示装置103还在该功能是自己的功能时实现该功能,在该功能是其他装置的功能时,例如利用CEC消息使其他装置实现该功能。这样,用户能够利用一个遥控器105远程操作再现装置102和显示装置103两者。
<显示装置>
图2是表示图1所示的显示装置103的构成的功能框图。参照图2,显示装置103包括左右信号发送部132、接收部210、信号处理部220、存储部230、显示部240、以及扬声器250。
接收部210除了从再现装置102接收流数据之外,还从存储卡201、外部网络202、以及广播波203等各种介质接收流数据。该流数据包括3D影像的电影内容。接收部210特别包括HDMI通信部211。
信号处理部220从该流数据中分离影像、声音、图形等各种数据,来单独进行处理。信号处理部220还将左视帧LF和右视帧RF暂时存储到存储部230,将同步信号等在影像数据中附带的控制信号和辅助数据传递给显示部240,将声音数据AD送出到扬声器250。信号处理部220然后从存储部230交替地读取各帧LF、RF后送出到显示部240。此时,信号处理部220将帧速率变换为比3D影像的帧速率(=24fps)高的值。信号处理部220与该帧的送出处理并行地向左右信号发送部132发出指示,与帧的切换同步地使左右信号LR变化。
存储部230是在显示装置103中内置的半导体存储器装置或硬盘驱动器(HDD)。此外,也可以是显示装置103外置的HDD。存储部230包括两个帧缓冲器FB1231、FB2232。FB1231和FB2232是相互独立的存储器元件。此外,也可以是一个存储器元件或HDD内的不同区域。FB1231和FB2232能够分别存储像素数据的二维排列。该排列的各个要素与画面的各个像素一一对应。FB1231从信号处理部220接收左视帧LF加以存储,FB2232从信号处理部220接收右视帧RF加以存储。
显示部240包括显示驱动部241和显示面板242。显示驱动部241按照来自信号处理部220的控制信号控制显示面板242。其结果是,左视帧LF和右视帧RF每规定时间交替地显示在显示面板242的画面上。显示面板242是液晶显示面板(LCD)。此外,也可以是等离子显示面板、有机EL显示面板等其他方式的面板。扬声器250是在显示装置103中内置的扬声器。此外,扬声器250也可以是显示装置103外置的扬声器。
图3是表示HDMI通信部211的构成的功能框图。HDMI通信部211利用HDMI线缆122与再现装置102连接。由此,HDMI通信部211对再现装置102与信号处理部220之间的数据交换进行中继。参照图3,HDMI通信部211包括TMDS解码器301、EDID存储部302、以及CEC部303。
TMDS解码器301通过HDMI线缆122内的TMDS信道CH1、CH2、CH3、CLK从再现装置102接收表示影像数据、声音数据、辅助数据以及控制信号的串行信号。TMDS信道包括三种数据信道CH1、CH2、CH3和一个时钟信道CLK。各个信道由一对差动信号线构成。在时钟信道CLK的状态变化一个周期的期间,各个数据信道CH1~3传送10比特。例如R、G、B的各8比特的像素数据、4比特的声音数据和辅助数据(info帧:信息帧)以及2比特的控制信号(包括水平同步信号和垂直同步信号)分别被变换为10比特的数据而从各个数据信道CH1~3传送。TMDS解码器301从这些10比特的数据串中解读影像数据等后,传送给信号处理部220。
EDID存储部302是在HDMI线缆122中内置的半导体存储器装置,通过HDMI线缆122内的显示器数据信道DDC连接于再现装置102。显示器数据信道DDC由包含地面线的三根一组的差动信号线构成。信号处理部220将表示显示装置103的功能、特性、状态的参数作为EDID存储在EDID存储部302。EDID特别包含表示显示装置103是否具有3D影像的再现功能的信息。EDID存储部302按照来自再现装置102的请求,通过显示器数据信道DDC提供EDID。显示器数据信道DDC此外还用于在信号处理部220和再现装置102之间的HDCP认证。信号处理部220通过HDCP认证处理与再现装置102共有一个密钥。再现装置102利用该密钥将影像数据和声音数据加密,信号处理部220利用该密钥将加密数据解密为影像数据和声音数据解密。
CEC部303通过HDMI线缆122内的CEC线CEC,与再现装置102之间交换CEC消息。CEC线CEC由一根信号线构成。CEC部303特别是接收再现装置102从遥控器105接收到的信息,作为CEC消息通知给信号处理部220,或者相反,将信号处理部220从遥控器105接收到的信息变换为CEC消息后通知给再现装置102。
图4(a)是表示通过TMDS数据信道CH1~3传送的数据中的、在3D影像的一个帧的显示中利用的数据的构成的示意图。参照图4(a),横长的矩形LN[1]、LN[2]、LN[3]、……分别表示被称为“行”的一定长度的数据串。3D影像的一个帧的显示中利用的数据被变换为多个行LN[1]、LN[2]、LN[3]、……,以行为单位依次在图4(a)中从上到下按顺序传送。各行是将8比特=1字节的数据排列一定数量而形成的,从开头开始依次在图4(a)中从左到右按顺序传送。进一步参照图4(a),各行的传送期间被分类为控制区间CTP(以白色矩形表示)、数据岛区间DIP(以黑色矩形表示)以及视频数据区间VDP(以斜线部分表示)这三种。在控制区间CTP,传送水平同步信号HSYNC、垂直同步信号VSYNC以及其他控制信号。在数据岛区间DIP,主要传送声音数据和辅助数据。在视频数据区间VDP,传送影像数据,特别是传送像素数据。如图4(a)所示,从开头的行LN[1]开始数k根行LN[1]、……、LN[k](字符k是1以上的整数)不包含视频数据区间VDP,构成垂直消隐区间VBLK。其他行LN[k+1]、……包含视频数据区间VDP,构成垂直有效显示区间VACT。垂直同步信号VSYNC仅在垂直消隐区间VBLK的最初的几根行LN[1]、LN[2]、LN[3]、……中成为有效,表示3D影像的新的帧的传送开始。在垂直有效显示区间VACT,各行的开头部不包含视频数据区间VDP,构成水平消隐区间HBLK。其他部分仅包含视频数据区间VDP,构成水平有效显示区间HACT。水平同步信号VSYNC仅在各行LN[1]、LN[2]、LN[3]、……的开头的控制区间CTP成为有效,表示各行的传送开始。垂直有效显示区间VACT和水平有效显示区间HACT的共通部分是有效显示区域VACT×HACT,包含构成3D影像的一帧的左视帧和右视帧之对。
图4(b)~图4(e)是表示图4(a)所示的有效显示区域VACT×HACT中的左视帧和右视帧的配置的种类的示意图。各图中所示的虚线的矩形VDP表示有效显示区域VACT×HACT。各图的斜线部分表示左视帧的传送区间。图4(b)表示“帧封装方式”。构成垂直有效显示区间VACT的行数被设定为大于2D影像的一帧的行数的2倍。有效显示区域VACT×HACT的前半部分在图4(b)中的上侧配置为左视帧L,后半部分在图4(b)中的下侧配置为右视帧R。进而在两者的帧L、R之间设置有空闲区域(Active Space:活性空间)VASP。该空闲区域VASP的行数与垂直消隐区间VBLK的行数相等。再现装置102以一定的像素数据充满空闲区域VASP。另一方面,信号处理部220忽视空闲区域VASP内的像素数据。图4(c)表示“Side-by-Side方式:并列方式(全)”。水平有效显示区间HACT的像素数被设定为2D影像的一帧的像素数的2倍。各行的水平有效显示区间HACT的前半部分包括左视帧L,后半部分包括右视帧R。图4(d)表示“并列方式(半)”。与图4(c)的有效显示区域不同,水平有效显示区间HACT的像素数与2D影像的一帧的像素数相等。各帧L、R的水平分辨率被压缩为一半之后,左视帧被配置在各行的水平有效显示区间HACT的前半部分,右视帧R配置在后半部分。图4(e)表示“上下方式”(也称为over-under方式)。与图4(b)的有效显示区域不同,垂直有效显示区间VACT的行数与2D影像的一帧的行数相等。各帧L、R的垂直分辨率被压缩为一半之后,左视帧L被配置在垂直有效显示区间VACT的前半部分,右视帧R被配置在后半部分。图4(f)表示“Top-Bottom方式:交织行方式(Line alternative)”。垂直有效显示区间VACT的第奇数个行包含左视帧,第偶数个行包含右视帧。构成垂直有效显示区间VACT的行数被设定为2D影像的一帧的行数的2倍。
图5是图2所示的显示装置103中的3D影像的显示动作的流程图。在从再现装置102等表示3D影像的流数据的发送源接收到该3D影像的显示请求时,开始该动作。
在步骤S51中,接收部210从上述发送源接收流数据。例如在该发送源是再现装置102的情况下,HDMI通信部211进行EDID的发送和HDCP认证之后,通过TMDS数据信道CH1~3接收流数据。然后,处理进入步骤S52。
步骤S52中,信号处理部220从流数据中分离影像、声音、图形等各种数据。信号处理部220还将左视帧LF和右视帧RF暂时存储到存储部230,将垂直同步信号VSYNC、水平同步信号HSYNC、其他控制信号以及辅助数据转交给显示部240,将声音数据送出到扬声器250。然后,处理进入步骤S53。
步骤S53中,扬声器250从声音数据AD再现声音。处理与该动作并行地进入步骤S54。
步骤S54中,信号处理部220从存储部230内的FB1231、FB2232交替地读取帧LF、RF,送出到显示部240。此时,信号处理部220将帧速率变换为比3D影像的帧速率(=24fps)高的值,例如100fps、120fps、180fps中的某个。在显示部240中,显示驱动部241按照来自信号处理部220的控制信号,控制显示面板242。由此,左视帧LF和右视帧RF每规定时间、例如每1/100秒、1/120秒、1/180秒中的某个,交替地显示在显示面板242的画面上。另一方面,信号处理部220使左右信号发送部132与帧的切换同步地变化左右信号LR。按照该变化,快门式眼镜104使左右的液晶显示面板141L、141R交替地透射光。其结果是,对于佩戴快门式眼镜104观看画面131的视听者来说,左视帧LF和右视帧RF被看成3D影像的一帧。然后,处理进入步骤S55。
步骤S55中,信号处理部220检查存储部230中是否剩余显示对象的流数据。在剩余流数据的情况下,处理从步骤S52重复。在没有剩余的情况下,处理结束。
图6是表示从帧速率=24fps的3D影像的帧串F3Dk(k=1、2、3、4……)变换来的、120fps的左视帧和右视帧的串FLk、FRk的示意图。如图6(a)所示,在内容中,3D影像的各帧F3Dk的显示时间被设定为1/24秒。在从该帧串F3Dk每1/120秒分别交替地显示左视帧FLk和右视帧FRk的情况下,信号处理部220如图6(b)所示重复送出各帧。首先,交替地重复送出三次开头的左视帧FL1以及二次开头的右视帧FR1。接着,交替地重复送出二次第2个左视帧FL2以及三次第2个右视帧FR2。进而,交替地重复送出三次第3个左视帧FL3以及二次第3个右视帧FR3,交替地重复送出二次第4个左视帧FL4以及三次第4个右视帧FR4。以后重复同样的送出动作。在这种情况下,在3D影像的各帧F3Dk的显示时间,左视帧FLk和右视帧FRk中的一方被显示三次,与此相对,另一方仅被显示二次。这样,左视帧FLk和右视帧FRk之间显示次数不同。但是,对于视听者来说,看起来左视帧FLk和右视帧FRk每次合起来被送出5个时,3D影像的帧F3Dk被切换。也就是说,3D影像的各帧F3Dk的显示时间都等于这样,3D影像的帧的显示时间被均一化,所以能够更加平滑地表现3D影像的运动。
图7是表示从帧速率=24fps的3D影像的帧串F3Dk(k=1、2、……、7、8、……)变换来的、100fps的左视帧和右视帧的串FLk、FRk的示意图。如图7(a)所示,在内容中,3D影像的各帧F3Dk的显示时间被设定为1/24秒。在从该帧串F3Dk每1/100秒分别交替地显示左视帧FLk和右视帧FRk的情况下,信号处理部220如图7(b)所示重复送出各帧。首先,交替地重复送出三次开头的左视帧FL1以及二次开头的右视帧FR1。接着,交替地重复送出二次第2个左视帧FL2以及二次第2个右视帧FR2。以后,将第3~6个的各左视帧FL3每个二次地、将第3~6个右视帧FR3每个两次地交替重复送出。接着,交替地重复送出二次第7个左视帧FL4以及三次第7个右视帧FR4。将第8~12个左视帧FLk和右视帧FRk(k=8、……、12)的每一个都每个两次地交替重复送出。以后,帧顺序每前进12,即每1/100秒×{(3+2)+(2+2)×5+(2+3)+(2+2)×5}=0.5秒,重复同样的送出动作。在这种情况下,每0.25秒一次地产生如下3D影像的帧F3Dk的显示期间:如图7(b)中由粗虚线表示的区域AR1、AR2所示,在该显示期间,左视帧FLk和右视帧FRk中的一方被显示三次,与此相对,另一方仅被显示二次。其结果如图7(b)所示,3D影像开头的帧F3D1和第7个帧F3D7的各显示时间是1/100秒×5帧=0.05秒,比其他帧F3Dk(k=2、3、……、6、8)的显示时间=1/100秒×4帧=0.04秒长。但是,该差被缩短到一个左视帧或右视帧的显示时间=1/100秒=0.01秒,所示视听者很难感觉到3D影像的帧F3Dk之间的显示时间之差。这样,3D影像的帧的显示时间大致被均一化,所以能够更加平滑地表现3D影像的运动。
图8是表示从帧速率=24fps的3D影像的帧串F3Dk(k=1、2、3、4……)变换来的、180fps的左视帧和右视帧的串FLk、FRk的示意图。如图8(a)所示,在内容中,3D影像的各帧F3Dk的显示时间被设定为1/24秒。在从该帧串F3Dk每1/180秒分别交替地显示左视帧FLk和右视帧FRk的情况下,信号处理部220如图8(b)所示重复送出各帧。首先,交替地重复送出四次开头的左视帧FL1以及四次开头的右视帧FR1。接着,交替地重复送出四次第2个左视帧FL2以及三次第2个右视帧FR2。进而,交替地重复送出四次第3个左视帧FL3以及四次第3个右视帧FR3,并交替地重复送出三次第4个左视帧FL3以及四次第4个右视帧FR3。第5个以后,帧的顺序每前进4个,即每重复同样的送出动作。在这种情况下,如图8(b)所示,在3D影像的第奇数个帧F3D1、F3D3的各个显示期间,左视帧FLk和右视帧FRk分别被显示四次。与此相对,在3D影像的第偶数个帧F3D2、F3D4的各个显示期间,左视帧FLk和右视帧FRk中的一方被显示四次,另一方仅被显示三次。其结果是,3D影像的第奇数个帧F3D1、3的显示时间是 但是,该差被缩短到一个左视帧或右视帧的显示时间=1/180秒=0.006秒,所示视听者很难感觉到3D影像的帧F3Dk之间的显示时间之差。这样,3D影像的帧的显示时间大致被均一化,所以能够更加平滑地表现3D影像的运动。
也可以由信号处理部220预先设定图6~8所示的、在3D影像的各帧的显示期间分别重复显示左视帧和右视帧的次数。此外,信号处理部220也可以利用如下处理切换显示对象的3D影像的帧F3Dk。信号处理部220首先将用3D影像的帧速率24fps除目标帧速率120fps、100fps或180fps之后得到的值120/24=5、或180/24=7.5设定为“切换栅格(grid)”GRD。信号处理部220接着从开头的左视帧FL1开始显示时开始,监视左视帧和右视帧的各显示次数的合计。每当该合计超过切换栅格GRD的整数倍,信号处理部220将显示对象的3D影像的帧切换为下个帧,具体来说,在图6(b)中,每当从开头的左视帧FL1开始计数的左视帧和右视帧的各显示次数的合计达到切换栅格GRD=120/24的整数倍、5、10、15、……,显示对象的3D影像的帧F3Dk被切换为下个帧F3D(k+1)。在图7(b)中,每当左视帧和右视帧的各显示次数的合计超过切换栅格GRD=100/24的整数倍、4.2、8.3、12.5、……,显示对象的3D影像的帧F3Dk被切换为下个帧F3D(k+1)。在图8(b)中,每当左视帧和右视帧的各显示次数的合计超过切换栅格GRD=180/24的整数倍、7.5、15、22.5、……,显示对象的3D影像的帧F3Dk被切换为下个帧F3D(k+1)。
图9是信号处理部220进行的、利用了上述处理的3D影像的帧F3Dk的显示处理的流程图。在信号处理部220从接收部210接收到流数据的时刻开始该处理。
步骤S91中,信号处理部220将用3D影像的帧速率FR3D(=24fps)除目标帧速率FRLR(=120fps、100fps、180fps)之后得到的值(=5、4.2、7.5)设定为切换栅格GRD:GRD=FRLR/FR3D。然后,处理进入步骤S92。
步骤S92中,信号处理部220将3D影像的帧号NF3D的值初始化为“1”,将左视/右视的帧号NFLR的值初始化为“0”:NF3D=1,NFLR=0。这里,3D影像的帧号NF3D表示图6(a)~图8(a)所示的3D影像的帧F3Dk中的、当前时刻应显示的帧的从开头起的顺序。另一方面,左视/右视的帧号NFLR表示图6(b)~图8(b)所示的左视/右视帧FLk/FRk中的、到当前时刻为止已显示的帧的总计数。信号处理部220还将切换栅格GRD设定为切换对象的帧号NFsw:NLRSW=GRD。然后,处理进入步骤S93。
步骤S93中,信号处理部220判断左视/右视的帧号NFLR是否是偶数。在是偶数的情况下,处理进入到步骤S94Y,在是奇数的情况下,处理进入到步骤S94N。
步骤S94Y中,信号处理部220从FB1231向显示部240转送构成3D影像的各帧的左视帧中的、从开头数的顺序与3D影像的帧号NF3D相等的帧,并使显示部240加以显示。然后处理进入步骤S95。
步骤S94N中,信号处理部220从FB2232向显示部240转送构成3D影像的各帧的右视帧中的、从开头数的顺序与3D影像的帧号NF3D相等的帧,并使显示部240加以显示。然后处理进入步骤S95。
步骤S95中,信号处理部220使左视/右视的帧号NFLR的值仅增加“1”:NFLR=NFLR+1。然后处理进入步骤S96。
步骤S96中,信号处理部220判断左视/右视的帧号NFLR是否是切换对象的帧号NFsw以上。在前者是后者以上的情况下,处理进入步骤S97,在前者低于后者的情况下,处理从步骤S93开始重复。
步骤S97中,信号处理部220使3D影像的帧号NF3D的值仅增加“1”:NF3D=NF3D+1。信号处理部220还使切换对象的帧号NFsw的值仅增加切换栅格GRD:NFsw=NFsw+GRD。然后处理进入步骤S98。
步骤S98中,信号处理部220判断在FB1231中是否存储有构成3D影像的各帧的左视帧中的、从开头数的顺序与3D影像的帧号NF3D相等的帧。在存储有的情况下,处理从步骤S93重复,在没有存储的情况下,处理结束。
如图6~图8所示,本发明的实施方式1涉及的显示装置将3D影像的帧之间产生的显示时间之差缩短到左视帧或右视帧每一个的显示时间。因此,很难使视听者感觉到该差。这样,由于该显示装置将3D影像的各帧的显示时间设定为大致均一,所以能够更加平滑地表现3D影像的运动。
<BD-ROM盘上的数据构造>
图10是表示BD-ROM盘101上的数据构造的示意图。参照图10,在BD-ROM盘101上的数据记录区域的最内周部设有BCA(Burst CuttingArea:烧录区)1001。对于BCA仅许可通过BD-ROM驱动器121的访问,禁止通过应用程序的访问。由此,BCA1001被用于著作权保护技术。在比BCA1001靠外侧的数据记录区域中,轨道从内周朝向外周以螺旋状延伸。在图10中,将轨道1002示意地沿横向拉伸而描绘。其左侧表示盘101的内周部,右侧表示外周部。如图10所示,轨道1002从内周起依次包括导入区域1002A、卷区域1002B、以及导出区域1002C。导入区域1002A设在BCA1001的紧接着的外周侧。导入区域1002A包括记录在卷区域1002B中的数据的尺寸及物理地址等、BD-ROM驱动器121进行对卷区域1002B访问所需要的信息。导出区域1002C设在数据记录区域的最外周部,表示卷区域1002B的末端。卷区域1002B包括影像及声音等的应用数据。
卷区域1002B被分割为称作“扇区”的小区域1002D。扇区的尺寸是共通的,例如是2048字节。对于各扇区1002D,从卷区域1002B的前端起依次分配了连续号码。该连续号码称作逻辑块号码(LBN),被用于BD-ROM盘101上的逻辑地址。在从BD-ROM盘101读取数据时,通过指定目的地的扇区的LBN来确定读取对象的数据。这样,卷区域1002B能够以扇区为单位被访问。进而,在BD-ROM盘101上,逻辑地址与物理地址实质上相等。特别是,在LBN连续的区域中,物理地址也实质上连续。因而,BD-ROM驱动器121能够不使其光拾取器进行寻址地从LBN连续的扇区将数据连续地读取。
记录在卷区域1002B中的数据被规定的文件系统管理。作为该文件系统而采用UDF(Universal Disc Format:通用光盘格式)。该文件系统除此以外也可以是ISO9660。按照该文件系统,将记录在卷区域1002B中的数据用目录/文件形式表现(详细情况参照<<补充>>)。即,这些数据能够以目录为单位或者以文件为单位被访问。
<<BD-ROM盘上的目录/文件构造>>
图10还表示保存在BD-ROM盘101的卷区域1002B中的数据的目录/文件构造。参照图10,在该目录/文件构造中,在根(ROOT)目录1003之下放置有BD电影(BDMV:BD Movie)目录1010。在BDMV目录1010之下,放置有索引文件(index.bdmv)1011和电影对象文件(MovieObject.bdmv)1012。
索引文件1011是用来管理记录在BD-ROM盘101中的内容的整体的信息。该信息特别包括用来使再现装置102识别其内容的信息、以及索引表。索引表是构成该内容的标题与用来控制再现装置102的动作的程序之间的对应表。将该程序称作“对象”。在对象的种类中,有电影对象和BD-J(BD Java(注册商标))对象。
电影对象文件1012一般包括多个电影对象。各电影对象包括导航命令的串。导航命令是用来使再现装置102执行与普通的DVD播放器的再现处理同样的再现处理的控制指令。在导航命令的种类中,例如有对应于标题的播放列表文件的读取命令、播放列表文件表示的AV流文件的再现命令、以及向其他标题的转换命令。导航命令用翻译语言记述,由组入在再现装置102中的解释器、即工作控制程序解读,使其控制部执行希望的工作。导航命令由操作码和操作数构成。操作码表示标题的分支和再现以及运算等应使再现装置102执行的操作的种类。操作数表示标题号码等、该操作之对象的识别信息。再现装置102的控制部按照例如用户的操作调用各电影对象,将包含在该电影对象中的导航命令按串的顺序加以执行。由此,再现装置102与普通的DVD播放器同样,首先在显示装置103上显示菜单,使用户选择命令。再现装置102接着根据所选择的命令,进行标题的再现开始/停止、以及向其他标题的切换等,使再现的影像的行进动态地变化。
再参照图10,在BDMV目录1010之下,放置有播放列表(PLAYLIST)目录1020、片断信息(CLIPINF)目录1030、流(STREAM)目录1040、BD-J对象(BDJO:BD Java Object)目录1050、以及Java档案(JAR:JavaArchive)目录1060。
在STREAM目录1040之下,放置有三种AV流文件(01000.m2ts)1041、(02000.m2ts)1042、(03000.m2ts)1043、以及立体视觉交织文件(SSIF:Stereoscopic Interleaved File)目录1044。在SSIF目录1044之下,放置有两种AV流文件(01000.ssif)1045、(02000.ssif)1046。
“AV流文件”是指记录在BD-ROM盘101上的影像内容的实体中的、调整为文件系统决定的文件形式的文件。这里,所谓影像内容的实体,一般是指多路复用了表示影像·声音·字幕等的各种流数据即基本流而成的流数据。该多路复用流数据根据内置的主视频流的种类而大体分为主传输流(TS)和副TS。“主TS”是指作为主视频流而包括基视视频流的多路复用流数据。“基视视频流”是指能够单独再现且表示2D影像的视频流。“副TS”是指作为主视频流而包括从属视视频流的多路复用流数据。“从属视视频流”是指在其再现中需要基视视频流并且通过与该基视视频流的组合表示3D影像的视频流。在从属视视频流的种类中,有右视视频流、左视视频流、以及深度图流。当基视视频流表示的2D影像被L/R模式的再现装置作为3D影像的左视加以利用时,“右视视频流”被作为表示该3D影像的右视的视频流加以利用。“左视视频流”与其相反。当基视视频流表示的2D影像被深度模式的再现装置作为3D影像向虚拟的2D画面的投影加以利用时,“深度图流”被作为表示该3D影像的深度图的流数据加以利用。特别是,将该基视视频流表示左视时所利用的深度图流称为“左视深度图流”,将该基视视频流表示右视时所利用的深度图流称为“右视深度图流”。
AV流文件根据内置的多路复用流数据的种类,被分为文件2D、从属文件(以下简称作文件DEP)、以及交织文件(以下简称作文件SS)这三个种类。“文件2D”是被用于在2D再现模式下的2D影像的再现的AV流文件,是指包含主TS的文件。“文件DEP”是指包含副TS的AV流文件。“文件SS”是指包含表示相同的3D影像的主TS与副TS之对的AV流文件。特别是文件SS与某个文件2D共有其主TS,与某个文件DEP共有其副TS。即,在BD-ROM盘101的文件系统中,主TS作为文件SS和文件2D中的哪种都能够被访问,副TS作为文件SS和文件DEP中的哪种都能够被访问。将这样使记录在BD-ROM盘101上的一系列数据由不同的文件共有从而作为哪个文件都能够被访问的机制称作“文件的交联”。
在图10所示的例子中,第一AV流文件(01000.m2ts)1041是文件2D,第二AV流文件(02000.m2ts)1042和第三AV流文件(03000.m2ts)1043都是文件DEP。这样,文件2D和文件DEP被放置在STREAM目录1040之下。第一AV流文件即文件2D1041包含的基视视频流表示3D影像的左视。第二AV流文件即第一文件DEP1042包含的从属视视频流是右视视频流。第三AV流文件即第二文件DEP1043包括的从属视视频流是深度图流。
进而,在图10所示的例子中,第四AV流文件(01000.ssif)1045和第五AV流文件(02000.ssif)1046都是文件SS。这样,文件SS被放置在SSIF目录1044之下。第四AV流文件即第一文件SS1045与文件2D1041共有主TS、特别是基视视频流,与第一文件DEP1042共有副TS、特别是右视视频流。第五AV流文件即第二文件SS1046与文件2D1041共有主TS、特别是基视视频流,与第二文件DEP1043共有副TS、特别是深度图流。
在CLIPINF目录1030中,放置有三种片断信息文件(01000.clpi)1031、(02000.clpi)1032、(03000.clpi)1033。“片断信息文件”是将文件2D与文件DEP一对一地建立对应的文件,特别是指包含各文件的入口映射的文件。“入口映射”是文件2D或文件DEP所表示的各场景的显示时间、与记录有该场景的各文件内的地址之间的对应表。将片断信息文件中的、与文件2D建立了对应的文件称作“2D片断信息文件”,将与文件DEP建立了对应的文件称作“从属视片断信息文件”。进而,在文件DEP包含右视视频流时,将对应的从属视片断信息文件称为“右视片断信息文件”。在文件DEP包含深度图流时,将对应的从属视片断信息文件称为“深度图片断信息文件”。在图10所示的例子中,第一片断信息文件(01000.clpi)1031是2D片断信息文件,与文件2D1041建立了对应。第二片断信息文件(02000.clpi)1032是右视片断信息文件,与第一文件DEP1042建立了对应。第三片断信息文件(03000.clpi)1033是深度图片断信息文件,与第二文件DEP1043建立了对应。
在PLAYLIST目录1020中放置有三种播放列表文件(00001.mpls)1021、(00002.mpls)1022、(00003.mpls)1023。“播放列表文件”是指规定AV流文件的再现路径即AV流文件的再现对象的部分和其再现顺序的文件。在播放列表文件的种类中有2D播放列表文件和3D播放列表文件。“2D播放列表文件”规定文件2D的再现路径。“3D播放列表文件”对2D再现模式的再现装置规定文件2D的再现路径,对3D再现模式的再现装置规定文件SS的再现路径。在图10所示的例子中,第一播放列表文件(00001.mpls)1021是2D播放列表文件,规定文件2D1041的再现路径。第二播放列表文件(00002.mpls)1022是3D播放列表文件,对2D再现模式的再现装置规定文件2D1041的再现路径,对L/R模式的再现装置规定第一文件SS1045的再现路径。第三播放列表文件(00003.mpls)1023是3D播放列表文件,对2D再现模式的再现装置规定文件2D1041的再现路径,对深度模式的3D再现装置规定第二文件SS1046的再现路径。
在BDJO目录1050中放置有BD-J对象文件(XXXXX.bdjo)1051。BD-J对象文件1051包括一个BD-J对象。BD-J对象是字节码程序,使安装在再现装置102中的Java虚拟机执行标题的再现处理以及图形影像的描绘处理。BD-J对象通过Java语言等编译语言记述。BD-J对象包括应用管理表和参照对象的播放列表文件的识别信息。“应用管理表”是应使Java虚拟机执行的Java应用程序和其执行时期即生命周期之间的对应表。“参照对象的播放列表文件的识别信息”是用来识别与再现对象的标题相对应的播放列表文件的信息。Java虚拟机按照用户的操作或应用程序调用各BD-J对象,按照包含在该BD-J对象中的应用管理表执行Java应用程序。由此,再现装置102使再现的各标题的影像的行进动态地变化,或者使显示装置103将图形影像与标题的影像独立地显示。
在JAR目录1060中放置有JAR文件(YYYYY.jar)1061。JAR文件1061一般包括多个应按照BD-J对象表示的应用管理表执行的Java应用程序的主体。“Java应用程序”与BD-J对象同样,是用Java语言等编译语言记述的字节码程序。在Java应用程序的种类中,包括使Java虚拟机执行标题的再现处理的种类、以及使Java虚拟机执行图形影像的描绘处理的种类。JAR文件1061是Java档案文件,在被再现装置102读入时在其内部的存储器中被展开。由此,在该存储器中保存Java应用程序。
<<多路复用流数据的构造>>
图11(a)是多路复用在BD-ROM盘101上的主TS中的基本流的一览表。主TS是MPEG-2传输流(TS)形式的数字流,包含在图10所示的文件2D1041中。参照图11(a),主TS包括主视频流1101和主音频流1102A、1102B。此外,主TS也可以还包括演示图形(PG)流1103A、1103B、交互图形(IG)流1104、次音频流1105、以及次视频流1106。
主视频流1101表示电影的主影像,次视频流1106表示副影像。这里,所谓主影像,是指电影的正编的影像等、内容的主要影像,例如是指显示在画面整体上的影像。另一方面,所谓副影像,是指例如如在主影像之中用较小的画面显示的影像那样、利用画中画方式与主影像同时显示在画面上的影像。主视频流1101和次视频流1106都是基视视频流。各视频流1101、1106用MPEG-2、MPEG-4AVC、或SMPTE VC-1等运动图像压缩编码方式被编码。
主音频流1102A、1102B表示电影的主声音。这里,在两个主音频流1102A、1102B之间语言不同。次音频流1105表示伴随着对话画面的操作的效果音等、应与主声音叠加(应混合)的副声音。各音频流1102A、1102B、1105用AC-3、杜比数字+(Dolby Digital Plus:“杜比数字”是注册商标)、MLP(Meridian Lossless Packing:注册商标)、DTS(Digital Theater System:注册商标)、DTS-HD、或者线性PCM(Pulse Code Modulation)等方式被编码。
各PG流1103A、1103B表示图形的字幕等、应叠加显示在主视频流1101表示的影像上的图形影像。在两个PG流1103A、1103B之间,例如字幕的语言不同。IG流1104表示用来在显示装置103的画面131上构成对话画面的图形用户接口(GUI)用的图形部件及其配置。
基本流1101~1106由包识别码(PID)识别。PID的分配例如如以下这样。一个主TS仅包括一条主视频流,所以对于主视频流1101分配16进制数值0x1011。当在一个主TS中能够多路复用每种最大32条其他基本流时,对于主音频流1102A、1102B分配0x1100到0x111F中的某个。对于PG流1103A、1103B分配0x1200到0x121F中的某个。对于IG流1104分配0x1400到0x141F中的某个。对于次音频流1105分配0x1A00到0x1A1F中的某个。对于次视频流1106分配0x1B00到0x1B1F中的某个。
图11(b)是多路复用在BD-ROM盘101上的第一副TS中的基本流的一览表。第一副TS是MPEG-2TS形式的多路复用流数据,包含在图10所示的第一文件DEP1042中。参照图11(b),第一副TS包含主视频流1111。此外,第一副TS也可以还包括左视PG流1112A、1112B、右视PG流1113A、1113B、左视IG流1114、右视IG流1115以及次视频流1116。主视频流1111是右视视频流,在主TS内的主视频流1101表示3D影像的左视时,表示该3D影像的右视。左视和右视的PG流之对1112A+1113A、1112B+1113B表示在将字幕等图形影像作为3D影像进行显示时其左视和右视之对。左视和右视的IG流之对1114、1115表示在将对话画面的图形影像作为3D影像进行显示时其左视和右视之对。次视频流1116是右视视频流,在主TS内的次视频流1106表示3D影像的左视时,表示该3D影像的右视。
针对基本流1111~1116的PID的分配例如是以下这样的。对于主视频流1111分配0x1012。当在一个副TS中按不同种类能够多路复用最大32条其他基本流时,对于左视PG流1112A、1112B分配从0x1220到0x123F中的某个,对于右视PG流1113A、1113B分配从0x1240到0x125F中的某个。对于左视IG流1114分配从0x1420到0x143F中的某个,对于右视IG流1115分配从0x1440到0x145F中的某个。对于次视频流1116分配从0x1B20到0x1B3F中的某个。
图11(c)是多路复用在BD-ROM盘101上的第二副TS中的基本流的一览表。第二副TS是MPEG-2TS形式的多路复用流数据,包含图10所示的第二文件DEP1043中。参照图11(c),第二副TS包含主视频流1121。此外,第二副TS也可以还包括深度图PG流1123A、1123B、深度图IG流1124、以及次视频流1126。主视频流1121是深度图流,通过与主TS内的主视频流1101的组合表示3D影像。在将主TS内的PG流1103A、1103B表示的2D影像作为向虚拟的2D画面的3D影像投影使用时,将深度图PG流1123A、1123B作为表示该3D影像的深度图的PG流使用。在将主TS内的IG流1104表示的2D影像作为向虚拟的2D画面的3D影像投影使用时,将深度图IG流1124作为表示该3D影像的深度图的IG流使用。次视频流1126是深度图流,通过与主TS内的次视频流1106的组合表示3D影像。
对于基本流1121~1126的PID分配例如如以下这样。对于主视频流1121分配0x1013。当在一个副TS中按不同种类最大能够多路复用32条其他基本流时,对深度图PG流1123A、1123B分配从0x1260到0x127F中的某个。对于深度图IG流1124分配从0x1460到0x147F中的某个。对于次视频流1126分配从0x1B40到0x1B5F中的某个。
图12是表示多路复用流数据1200内的TS包的配置的示意图。该包构造在主TS和副TS中是共通的。在多路复用流数据1200内,各基本流1201、1202、1203、1204被变换为TS包1221、1222、1223、1224的串。例如在视频流1201中,首先,将各帧1201A或各场变换为一个PES(PacketizedElementary Stream)包1211。接着,各PES包1211一般被变换为多个TS包1221。同样,音频流1202、PG流1203、及IG流1204分别被暂时变换为PES包1212、1213、1214的串后,被变换为TS包1222、1223、1224的串。最后,从各基本流1201、1202、1203、1204得到的TS包1221、1222、1223、1224被以时分方式多路复用在一条流数据1200中。
图13(b)是表示构成多路复用流数据的TS包串的形式的示意图。各TS包1301是188字节长的包。参照图13(b),各TS包1301包括TS有效载荷1301P和自适应(adaptation)字段(以下简称作AD字段)1301A中的至少某个、以及TS头1301H。TS有效载荷1301P和AD字段1301A两者加在一起是184字节长的数据区域。TS有效载荷1301P被作为PES包的保存区域使用。图12所示的PES包1211~1214一般被分别分割为多个部分,各部分被保存到不同的TS有效载荷1301P中。AD字段1301A是用来在TS有效载荷1301P的数据量不足184字节时保存填充字节(即伪数据)的区域。AD字段1301A除此以外,当TS包1301例如是后述的PCR时作为该信息的保存区域使用。TS头1301H是4字节长的数据区域。
图13(a)是表示TS头1301H的数据构造的示意图。参照图13(a),TS头1301H包括TS优先级(transport_priority)1311、PID1312、以及AD字段控制(adaptation_field_control)1313。PID1312表示保存在相同的TS包1301内的TS有效载荷1301P中的数据属于的基本流的PID。TS优先级1311表示在PID1312表示的值共通的TS包群之中的TS包1301的优先级。AD字段控制1313表示TS包1301内的AD字段1301A和TS有效载荷1301P各自的有无。例如当AD字段控制1313表示“1”时,TS包1301不包含AD字段1301A而包含TS有效载荷1301P。当AD字段控制1313表示“2”时相反。当AD字段控制1313表示“3”时,TS包1301包括AD字段1301A和TS有效载荷1301P两者。
图13(c)是表示由多路复用流数据的TS包串构成的源包串的形式的示意图。参照图13(c),各源包1302是192字节长的包,包括一个图13(b)所示的TS包1301和4字节长的头(TP_Extra_Header)1302H。在将TS包1301记录到BD-ROM盘101中时,通过对该TS包1301赋予头1302H而构成源包1302。头1302H包括ATS(Arrival_Time_Stamp)。“ATS”是时刻信息,如以下这样使用:当源包1302被从BD-ROM盘101向再现装置102内的系统目标解码器传送时,从该源包1302提取TS包1302P,向系统目标解码器内的PID过滤器传送。其头1302H内的ATS表示应开始该传送的时刻。这里,“系统目标解码器”是指将多路复用流数据按照每个基本流加以解码的装置。关于系统目标解码器和通过它进行的ATS的利用的详细情况在后面叙述。
图13(d)是连续记录有一系列的源包1302的BD-ROM盘101的卷区域1002B上的扇区群的示意图。参照图13(d),一系列的源包1302被每32个地记录到三个连续的扇区1321、1322、1323中。这是因为32个源包的数据量192字节×32=6144字节等于三个扇区的合计尺寸2048字节×3=6144字节。这样,将记录在三个连续的扇区1321、1322、1323中的32个源包1302称作“校准单元(Aligned Unit)”1320。再现装置102从BD-ROM盘101将源包1302每校准单元1320即每32个地读取。扇区群1321、1322、1323、……从开头起依次按每32个地被分割后分别构成一个纠错码(ECC)块1330。BD-ROM驱动器121按照每个ECC块1330进行纠错处理。
<<PG流的数据构造>>
图14是表示PG流1400的数据构造的示意图。参照图14,PG流1400包括多个数据入口#1、#2、……。各数据入口表示PG流1400的显示单位(显示集),由使再现装置102构成一个图形平面而需要的数据构成。这里,所谓“图形平面”,是指由表示2D图形影像的图形数据生成的平面数据。所谓“平面数据”,是像素数据的二维排列,该排列的尺寸等于影像帧的分辨率。一组像素数据由彩色坐标值与α值(不透明度)的组合构成。彩色坐标值用RGB值或YCrCb值表示。在图形平面的种类中,包括PG平面、IG平面、图像平面、以及屏幕显示(OSD)平面。PG平面由主TS内的PG流生成。IG平面由主TS内的IG流生成。图像平面按照BD-J对象生成。OSD平面按照再现装置102的中间件生成。
再参照图14,各数据入口包括多个功能段。这些功能段从开头起依次包括显示控制段(Presentation Control Segment:PCS)、窗口定义段(WindowDefine Segment:WDS)、调色板定义段(Pallet Define Segment:PDS)、以及对象定义段(Object Define Segment:ODS)。
WDS规定图形平面内的矩形区域、即窗口。具体而言,WDS包括窗口ID1411、窗口位置1412、及窗口尺寸1413。窗口ID1411是WDS的识别信息(ID)。窗口位置1412表示图形平面内的窗口的位置、例如窗口的左上角的坐标。窗口尺寸1413表示窗口的高度和宽度。
PDS对规定种类的颜色ID和彩色坐标值(例如亮度Y、红色差Cr、蓝色差Cb、不透明度α)之间的对应关系进行规定。具体而言,PDS包括调色板ID1421和颜色查找表(CLUT)1422。调色板ID1421是PDS的ID。CLUT1422是在图形对象的描绘中使用的颜色的一览表。在CLUT1422中能够登记256种颜色,将0到255的颜色ID每种一个地分配给各颜色。另外,颜色ID=255固定被分配给“无色透明”。
ODS一般用多个表示一个图形对象。所谓“图形对象”,是用像素代码与颜色ID之间的对应关系表现图形图像的数据。将图形对象在使用形成长度编码方式压缩后分割,分配给各ODS。各ODS还包括对象ID即图形对象的ID。
PCS表示属于相同的数据入口的显示集的详细情况,特别是规定使用图形对象的画面结构。该画面结构的种类包括切入/切出(Cut-In/Out)、淡入/淡出(Fade-In/Out)、颜色变化(Color Change)、滚动(Scroll)、以及划入/划出(Wipe-In/Out)。具体而言,PCS包括对象显示位置1401、裁剪信息1402、参照窗口ID1403、参照调色板ID1404、以及参照对象ID1405。对象显示位置1401将应显示图形对象的图形平面内的位置、例如应显示图形对象的区域的左上角的坐标用WDS规定的窗口内的坐标表示。裁剪信息1402表示通过裁剪处理应从图形对象之中切出的矩形状部分的范围。该范围例如用左上角的坐标、高度、及宽度规定。实际上能够将该部分描绘在对象显示位置1401表示的位置上。参照窗口ID1403、参照调色板ID1404及参照对象ID1405分别表示在图形对象的描绘处理中应参照的WDS、PDS、及图形对象的ID。内容提供者利用PCS内的这些参数对再现装置102指示画面结构。由此,能够使再现装置102实现例如“随着某个字幕逐渐消失而显示下个字幕”的视觉效果。
<<IG流的数据构造>>
再参照图12,IG流1204包括对话结构段(Interactive CompositionSegment:ICS)、PDS、及ODS。PDS和ODS是与包含在PG流1203中的段同样的功能段。特别是,ODS包括的图形对象表示按钮及弹出菜单等、构成对话画面的GUI用图形部件。ICS规定使用了这些图形对象的对话操作。具体而言,ICS对于按钮及弹出菜单等、状态对应于用户操作而变化的图形对象的每一个规定可取的状态、即普通、被选择、以及有效的各状态。ICS还包括按钮信息。按钮信息包括在用户对按钮等进行确定操作时再现装置应执行的命令。
<<视频流的数据构造>>
图15是表示将基视视频流1501和右视视频流1502的图片以显示时间顺序表示的示意图。参照图15,基视视频流1501包括图片1510、1511、1512、……、1519(以下称作基视图片),右视视频流1502包括图片1520、1521、1522、……、1529(以下称作右视图片)。各个图片1510~1519、1520~1529表示1帧或1场,通过MPEG-2或MPEG-4AVC等运动图像压缩编码方式被压缩。
在基于上述编码方式进行的各图片的压缩中,利用图片的空间方向及时间方向上的冗余性。这里,将仅利用空间方向上的冗余性的图片编码称作“图片内编码”。另一方面,将利用时间方向上的冗余性、即显示顺序的连续的多个图片间的数据的近似性的图片编码称作“图片间预测编码”。在图片间预测编码中,首先针对编码对象的图片,将显示时间为前或后的其他图片设定为参照图片。接着,在编码对象的图片与该参照图片之间检测运动矢量,利用它进行运动补偿。进而,求出运动补偿之后的图片与编码对象的图片之间的差分值,从该差分值中除去空间方向上的冗余性。这样,将各图片的数据量压缩。
参照图15,基视图片1510~1519一般被分割为多个GOP1531、1532。“GOP”是指以I(Intra)图片为开头的多张连续的图片的串。“I图片”是指通过图片内编码被压缩的图片。GOP一般除了I图片以外还包括P(Predictive)图片和B(Bidirectionally Predivtive)图片。“P图片”是通过图片间预测编码被压缩的图片,是指使用显示时间比其靠前的一张I图片或其他P图片作为参照图片的图片。“B图片”是通过图片间预测编码被压缩的图片,是指使用显示时间比其靠前或后的两张I图片或P图片作为参照图片的图片。将B图片中的、在相对于其他图片的图片间预测编码中被作为参照图片使用的图片特别称作“Br(reference B)图片”。
图15所示的例子中,各GOP1531、1532内的基视图片被通过以下的顺序压缩。在第一GOP1531中,首先将开头的基视图片压缩为I0图片1510。这里,下标的数字表示对各图片以显示时间顺序分配的连续号码。接着,将第四个基视图片以I0图片1510作为参照图片压缩为P3图片1513。这里,图15所示的各箭头表示前端的图片是相对于后端的图片的参照图片。接着,将第二、第三个基视图片分别以I0图片1510和P3图片1513双方作为参照图片,被压缩为Br1图片1511、Br2图片1512。再将第七个基视图片以P3图片1513作为参照图片压缩为P6图片1516。接着,将第四、第五个基视图片以P3图片1513和P6图片1516作为参照图片分别被压缩为Br4图片1514、Br5图片1515。同样,在第二GOP1532中,首先将开头的基视图片压缩为I7图片1517,接着将第三个基视图片以I7图片1517作为参照图片压缩为P9图片1519。接着,将第二个基视图片以I7图片1517和P9图片1519作为参照图片压缩为Br8图片1518。
在基视视频流1501中,由于各GOP1531、1532在其开头必定包含I图片,所以能够将基视图片按照每个GOP解码。例如在第一GOP1531中,首先将I0图片1510单独解码。接着,利用解码后的I0图片1510将P3图片1513解码。接着,利用解码后的I0图片1510和P3图片1513将Br1图片1511和Br2图片1512解码。将后续的图片群1514、1515、……也同样解码。这样,基视视频流1501能够单独解码,还能够进行以GOP为单位的随机访问。
再参照图15,右视图片1520~1529以图片间预测编码被压缩。但是,该编码方法与基视图片1510~1519的编码方法不同,除了影像的时间方向上的冗余性以外,还利用左右的影像间的冗余性。具体而言,各右视图片1520~1529的参照图片如图15中用箭头表示的那样,不仅从右视视频流1502,还从基视视频流1501选择。特别是,各右视图片1520~1529与被选择作为其参照图片的基视图片相比,显示时刻实质上相等。这些图片表示3D影像的相同场景的右视与左视之对、即视差影像。这样,右视图片1520~1529与基视图片1510~1519一对一地对应。特别是,在这些图片间,GOP构造是共通的。
图15所示的例子中,首先将第一GOP1531内的开头的右视图片以基视视频流1501内的I0图片1510作为参照图片压缩为P0图片1520。这些图片1510、1520表示3D影像的开头帧的左视和右视。接着,将第四个右视图片以P0图片1520和基视视频流1501内的P3图片1513作为参照图片压缩为P3图片1523。接着,将第二个右视图片以P0图片1520、P3图片1523以及基视视频流1501内的Br1图片1511作为参照图片压缩为B1图片1521。同样,将第三个右视图片以P0图片1520、P3图片1523以及基视视频流1501内的Br2图片1512作为参照图片压缩为B2图片1522。对于以后的右视图片1524~1529也同样,利用显示时刻与该右视图片实质上相等的基视图片作为参照图片。
作为利用了上述那样的左右的影像间的相关关系的运动图像压缩编码方式,已知有称作MVC(Multiview Video Coding)的MPEG-4AVC/H.264的修正标准。MVC是由作为ISO/IEC MPEG与ITU-T VCEG的共同项目即JVT(Joint Video Team)于2008年7月制定的,是用来将从多个视点看到的影像集中编码的标准。在MVC中,在影像间预测编码中不仅利用影像的时间方向上的类似性,还利用视点不同的影像间的类似性。在该预测编码中,与将从各视点看到的影像独立压缩的预测编码相比,影像的压缩率较高。
如上所述,在各右视图片1520~1529的压缩中,使用基视图片作为参照图片。因而,与基视视频流1501不同,不能将右视视频流1502单独解码。但是,视差影像间的差异一般很小,即左视与右视之间的相关较高。因而,右视图片一般与基视图片相比压缩率显著提高,即数据量显著缩小。
虽然图15中没有示出,但深度图流包括多个深度图。这些深度图与基视图片一对一地对应,表示相对于各基视图片表示1帧或1场的2D影像的深度图。各深度图与基视图片同样,通过MPEG-2或MPEG-4AVC等运动图像压缩编码方式被压缩。特别是在该编码方式中利用图片间预测编码。即,各深度图利用其他深度图作为参照图片被压缩。深度图流与基视视频流同样地被分割为GOP单位,各GOP在其开头必定包含I图片。因而,深度图能够按照每个GOP单独被解码。但是,深度图自身只是按像素区别表示2D影像的各部分的进深的信息,所以不能将深度图流单独在影像的再现中使用。深度图流的压缩中利用的编码方式与右视视频流的压缩中利用的编码方式相同。例如,当将右视视频流用MVC的格式编码时,将深度图流也用MVC的格式编码。在此情况下,再现装置102在3D影像的再现时,能够在将编码方式维持为一定的状态下顺利地实现L/R模式与深度模式的切换。
图16是表示视频流1600的数据构造的详细情况的示意图。该数据构造在基视视频流和从属视视频流中实质上是共通的。参照图16,视频流1600一般由多个视频序列#1、#2、……构成。“视频序列”是对构成一个GOP1610的图片群1611、1612、1613、1614、……单独地组合了头等附加信息后形成的序列。将该附加信息与各图片的组合称作“视频访问单元(VAU)”。即,在各GOP1610、1620中,按照每个图片构成一个VAU#1、#2、……。能够以VAU为单位从视频流1600读取各图片。
图16还表示在基视视频流内位于各视频序列的前端的VAU#11631的构造。VAU#11631包括访问单元(AU)识别代码1631A、序列头1631B、图片头1631C、补充数据1631D、及压缩图片数据1631E。第二个以后的VAU#2除了不包含序列头1631B这一点以外,是与VAU#11631相同的构造。AU识别代码1631A是表示VAU#11631的前端的规定代码。序列头1631B也称作GOP头,包括包含VAU#11631的视频序列#1的识别号码。序列头1631B还包括在GOP1610的整体中共通的信息,例如分辨率、帧速率、纵横比、以及位速率。图片头1631C表示固有的识别号码、视频序列#1的识别号码、以及图片的解码所需要的信息、例如编码方式的种类。补充数据1631D包括与图片的解码以外有关的附加信息、例如表示CC(ClosedCaption)字幕的字符信息、关于GOP构造的信息、以及时间代码信息。补充数据1631D特别包括解码开关信息(详细情况参照《补充》)。压缩图片数据1631E包括基视图片。VAU#11631除此以外,也可以根据需要而包含填充数据1631F、序列末端代码1631G、以及流末端代码1631H中的某个或全部。填充数据1631F是伪数据。通过将其尺寸匹配于压缩图片数据1631E的尺寸进行调节,由此,能够将VAU#11631的位速率维持为规定值。序列末端代码1631G表示VAU#11631位于视频序列#1的末端。流末端代码1631H表示基视视频流1600的末端。
此外,图16还表示在从属视视频流内位于各视频序列的前端的VAU#11632的构造。VAU#11632包括副AU识别代码1632A、副序列头1632B、图片头1632C、补充数据1632D、以及压缩图片数据1632E。第二个以后的VAU#2除了不包含副序列头1632B这一点以外是与VAU#11632相同的构造。副AU识别代码1632A是表示VAU#11632的前端的规定代码。副序列头1632B包括包含VAU#11632的视频序列#1的识别号码。副序列头1632B还包括在GOP1610的整体中共通的信息,例如分辨率、帧速率、纵横比、以及位速率。特别是,这些值等于对基视视频流对应的GOP设定的值、即VAU#11631的序列头1631B表示的值。图片头1632C表示固有的识别号码、视频序列#1的识别号码、以及在图片的解码中需要的信息、例如编码方式的种类。补充数据1632D仅包含偏移元数据(详细情况在后面叙述)。这里,在补充数据的种类中,除了仅包含偏移元数据的1632D以外,还有包括与图片的解码以外有关的附加信息、例如表示CC字幕的字符信息、关于GOP构造的信息、时间代码信息、以及解码开关信息在内的补充数据。因而,VAU#11632除了补充数据1632D以外也可以还包含一个以上的其他补充数据。压缩图片数据1632E包括从属视图片。VAU#11632除此以外,也可以根据需要而包含填充数据1632F、序列末端代码1632G、及流末端代码1632H中的某个或全部。填充数据1632F是伪数据。通过将其尺寸匹配于压缩图片数据1632E的尺寸进行调节,能够将VAU#11632的位速率维持为规定值。序列末端代码1632G表示VAU#11632位于视频序列#1的末端。流末端代码1632H表示从属视视频流1600的末端。
VAU的各部的具体内容按照视频流1600的每个编码方式而不同。例如,在其编码方式是MPEG-4AVC时,图16所示的VAU的各部由一个NAL(Network Abstraction Layer)单元构成。具体而言,AU识别代码1631A、序列头1631B、图片头1631C、补充数据1631D、压缩图片数据1631E、填充数据1631F、序列末端代码1631G、及流末端代码1631H分别相当于AU定界符(Access Unit Delimiter)、SPS(序列参数集)、PPS(图片参数集)、SEI(Supplemental Enhancement Information)、视图组件、填充符数据(FillerData)、序列末端(End of Sequence)、以及流末端(End of Stream)。特别是,在VAU#11632中,包括偏移元数据的补充数据1632D由一个NAL单元构成,该NAL单元不包含偏移元数据以外的数据。
图17是表示视频流1701向PES包串1702的保存方法的详细情况的示意图。该保存方法在基视视频流和从属视视频流中是共通的。参照图17,在实际的视频流1701中,将图片不以显示时间顺序、而以编码顺序多路复用。例如在基视视频流的VAU中,如图17所示,从开头起依次保存有I0图片1710、P3图片1711、B1图片1712、B2图片1713、……。这里,下标的数字表示对各图片以显示时间顺序分配的连续号码。在P3图片1711的编码中使用I0图片1710作为参照图片,在B1图片1712和B2图片1713的各编码中使用I0图片1710和P3图片1711两者作为参照图片。将这些VAU一个个地保存到不同的PES包1720、1721、1722、1723、……中。各PES包1720、……包括PES有效载荷1720P和PES头1720H。VAU保存在PES有效载荷1720P中。另一方面,PES头1720H包括保存在相同的PES包1720的PES有效载荷1720P中的图片的显示时刻即PTS(PresentationTime-Stamp)、以及该图片的解码时刻即DTS(Decoding Time-Stamp)。
与图17所示的视频流1701同样,将图11、图12所示的其他基本流也保存到一系列的PES包的各PES有效载荷中。进而,各PES包的PES头包括保存在该PES包的PES有效载荷中的数据的PTS。
图18是表示对基视视频流1801和从属视视频流1802的各图片分配的PTS与DTS之间的关系的示意图。参照图18,在两视频流1801、1802之间,对于表示3D影像的相同的帧或场的一对图片分配相同的PTS以及相同的DTS。例如从基视视频流1801的I1图片1811和从属视视频流1802的P1图片1821的组合再现3D影像的开头的帧或场。因而,在这些图片对1811、1821中,PTS相等、并且DTS相等。这里,下标的数字表示对各图片以DTS的顺序分配的连续号码。此外,当从属视视频流1802是深度图流时,P1图片1821被替换为表示针对I1图片1811的深度图的I图片。同样,在各视频流1801、1802的第二个图片、即P2图片1812、1822之对中,PTS相等、并且DTS相等。在各视频流1801、1802的第三个图片、即Br3图片1813与B3图片1823之对中,PTS和DTS都是共通的。在Br4图片1814与B4图片1824之对中也是同样的。
将包括基视视频流1801与从属视视频流1802之间PTS相等、且DTS相等的图片在内的VAU之对称作“3D·VAU”。通过图18所示的PTS和DTS的分配,能够容易地使3D再现模式的再现装置102内的解码器将基视视频流1801和从属视视频流1802以3D·VAU为单位并行进行处理。由此,能够将表示3D影像的相同的帧或场的一对图片通过解码器可靠地并行处理。进而,在各GOP的开头的3D·VAU中,序列头包含相同的分辨率、相同的帧速率、以及相同的纵横比。特别是其帧速率等于在2D再现模式中将基视视频流1801单独解码时的值。
[偏移元数据]
图19是表示从属视视频流1900包含的偏移元数据1910的数据构造的示意图。参照图19,偏移元数据1910保存在位于各视频序列(即各GOP)的前端的VAU#1内的补充数据1901中。参照图19,偏移元数据1910包括PTS1911、偏移序列ID1912、以及偏移序列1913。PTS1911等于VAU#1内的压缩图片数据表示的帧、即各GOP的最初的帧的PTS。
偏移序列ID1912是对偏移序列1913依次分配的连续号码0、1、2、……、M。字符M表示1以上的整数,该整数等于偏移序列1913的总数。对于应合成到视频平面中的图形平面和副影像平面分配偏移序列ID1912。由此,将偏移序列1913与各平面数据建立了对应。这里,所谓“视频平面”,是指由视频序列包含的图片生成的平面数据、即像素数据的二维排列。该排列的尺寸等于影像帧的分辨率。一组像素数据由彩色坐标值(RGB值或YCrCb值)与α值的组合构成。
各偏移序列1913是帧号码1921与偏移信息1922、1923之间的对应表。帧号码1921是对一个视频序列(例如视频序列#1)表示的帧#1、#2、……、#N以显示顺序分配的连续号码1、2、……、N。整数N是1以上,表示该视频序列包含的帧的总数。各偏移信息1922、1923是用于规定对一个平面数据进行偏移控制的控制信息。
所谓“偏移控制”,是指对图形平面(或副影像平面)赋予水平坐标的左方向和右方向的各偏移之后、分别合成到左视视频平面和右视视视频平面中的处理。这里,所谓“左视/右视视频平面”是由基视视频流和从属视视频流的组合生成的、表示左视/右视的视频平面。所谓“对图形平面赋予水平方向的偏移”,是指在该图形平面内使各像素数据沿水平方向移位。由此,由一个图形平面生成表示左视和右视的图形平面之对。从该对再现的2D图形影像的各部分的显示位置从原来的显示位置向左右偏移。通过使视听者将这些移位错觉为两眼视差,由此左视和右视之对对于该视听者来说看起来为一个3D图形影像。对于副影像平面表示的影像也是同样的。
偏移由方向和大小决定。因而,如图19所示,各偏移信息包括偏移方向1922和偏移值1923。偏移方向1922表示3D图形影像的进深比画面靠近前还是靠里侧。根据偏移方向1922的值,决定左视和右视的各显示位置相对于原来的2D图形影像的显示位置的方向为左或右。偏移值1923用水平方向的像素数表示原来的2D图形影像的显示位置与左视和右视的各显示位置之间的距离。
图20(a)、图20(b)是表示对PG平面2010和IG平面2020进行偏移控制的示意图。在这些偏移控制中,对左视视频平面2001和右视视频平面2002分别合成两种图形平面2010、2020。在以下的说明中,设想将PG平面2010表示的字幕2011显示在比画面靠近前、将IG平面2020表示的按钮2021显示在比画面靠里侧的情况。
参照图20(a),对于PG平面2010赋予右方向的偏移。具体而言,首先,PG平面2010内的各像素数据的位置从左视视频平面2001内的对应的像素数据的位置向右(虚拟地)移动等于偏移值的像素数SFP。接着,将比左视视频平面2001的范围向右侧(虚拟地)伸出的PG平面2010的右端的带状区域2012“切掉”。即,将该区域2012的像素数据群丢弃。另一方面,在PG平面2010的左端追加透明的带状区域2013。该带状区域2013的宽度等于右端的带状区域2012的宽度、即偏移值SFP。这样,从PG平面2010生成表示左视的PG平面,并合成到左视视频平面2001中。特别是,在该左视PG平面中,字幕2011的显示位置比原来的显示位置向右错开了偏移值SFP。
另一方面,对于IG平面2020赋予左方向的偏移。具体而言,首先,IG平面2020内的各像素数据的位置从左视视频平面2001内的对应的像素数据的位置向左(虚拟地)移动等于偏移值的像素数SFI。接着,将比左视视频平面2010的范围向左侧(虚拟地)伸出的IG平面2020的左端的带状区域2022切掉。另一方面,对IG平面2020的右端追加透明的带状区域2023。该带状区域1323的宽度等于左端的带状区域2022的宽度、即偏移值SFI。这样,从IG平面2020生成表示左视的IG平面,并合成到左视视频平面2001中。特别是,在该左视IG平面中,按钮2021的显示位置比原来的显示位置向左错开了偏移值SFI。
参照图20(b),对PG平面2010赋予左方向的偏移,对IG平面2020赋予右方向的偏移。即,只要使上述操作在PG平面2010和IG平面2020中为相反就可以。其结果,由各平面数据2010、2020生成表示右视的平面数据,并合成到右视视频平面2020中。特别是,在右视PG平面中,字幕2011的显示位置比原来的显示位置向左错开了偏移值SFP。另一方面,在右视IG平面中,按钮2021的显示位置比原来的显示位置向右错开了偏移值SFI。
图20(c)是表示由视听者2030从图20(a)、图20(b)所示的图形平面表示的2D图形影像感知的3D图形影像的示意图。在将这些图形平面表示的2D图形影像交替地显示在画面2040上时,对于视听者2030来说,如图20(c)所示,字幕2031看起来比画面2040靠近前,按钮2032看起来比画面2040靠里侧。各3D图形影像2031、2032与画面2040之间的距离能够通过偏移值SFP、SFI调节。
图21(a)、图21(b)是表示偏移序列的具体例的曲线图。在各曲线图中,当偏移方向表示比画面靠近前时,偏移值是正。图21(a)是将图21(b)中的、最初的GOP的显示期间GOP1中的曲线放大后的图。参照图21(a),阶段状的曲线2101表示偏移序列ID=0的偏移序列、即偏移序列[0]的偏移值。另一方面,水平的曲线2102表示偏移序列ID=1的偏移序列、即偏移序列[1]的偏移值。偏移序列[0]的偏移值2101在最初的GOP的显示期间GOP1中以帧FR1、FR2、FR3、……、FR15、……的顺序阶段状增加。参照图21(b),使该偏移值2101的阶段状的增加在第二个以后的各GOP的显示期间GOP2、GOP3、……、GOP40、……中也同样继续。由于每1帧的增加量足够细小,所以在图21(b)中偏移值2101看起来为线性连续增加。另一方面,偏移序列[1]的偏移值2102在最初的GOP的显示期间GOP1中被维持为负的一定值。参照图21(b),该偏移值2102在第40个GOP的显示期间GOP40的结束时急剧地增加为正的值。这样,偏移值也可以不连续地变化。
图21(c)是表示按照图21(a)、(b)所示的偏移序列再现的3D图形影像的示意图。在将字幕的3D影像2103按照偏移序列[0]显示时,该3D影像2103看起来从画面2104的紧近前逐渐跃出。另一方面,在将按钮的3D影像2105按照偏移序列[1]显示时,该3D影像2105看起来从固定在比画面2104靠里侧的状态突然跃出到比画面2104靠近前。这样,使以帧为单位的偏移值的增减的模式按照每个偏移序列而进行各种各样地变化。由此,对于多个3D图形影像能够将各个进深的变化多种多样地表现。
<<包含在AV流文件中的其他TS包>>
在包含在AV流文件中的TS包的种类中,除了从图12所示的基本流变换的种类以外,还有PAT(ProgramAssociation Table)、PMT(Program MapTable)、以及PCR(Program Clock Reference)。PCR、PMT及PAT是由欧洲数字广播标准设定的,本来具有规定构成一个节目的部分传输流的作用。通过利用PCR、PMT及PAT,将AV流文件也与该部分传输流同样地规定。具体而言,PAT表示包含在相同的AV流文件中的PMT的PID。PAT自身的PID是0。PMT包括包含在相同的AV流文件中的、表示影像·声音·字幕等的各基本流的PID和其属性信息。PMT还包括关于该AV流文件的各种描述符(也称作记述符)。在描述符中,特别包括表示该AV流文件的复制的许可/禁止的复制控制信息。PCR包括表示应与对自身分配的ATS对应的STC(System Time Clock)的值的信息。这里,“STC”是由再现装置102内的解码器作为PTS及DTS的基准使用的时钟。该解码器利用PCR使STC同步于ATC。
图22是表示PMT2210的数据构造的示意图。PMT2210包括PMT头2201、描述符2202、以及流信息2203。PMT头2201表示包含在PMT2210中数据的长度等。各描述符2202是关于包含PMT2210的AV流文件的整体的描述符。上述复制控制信息包含在一个描述符2202中。流信息2203是关于包含在AV流文件中的各基本流的信息,每一个地分配给不同的基本流。各流信息2203包括流类型2231、PID2232、以及流描述符2233。流类型2231包括在该基本流的压缩中使用的编解码器的识别信息等。PID2232表示该基本流的PID。流描述符2233包括该基本流的属性信息、例如帧速率以及纵横比。
通过利用PCR、PMT及PAT,能够使再现装置102内的解码器将AV流文件与依据欧洲数字广播标准的部分传输流同样地处理。由此,能够确保BD-ROM盘101用的再现装置与依据欧洲数字广播标准的终端装置之间的互换性。
<<多路复用流数据的交织配置>>
在3D影像的无缝再现中,重要的是基视视频流和从属视视频流以怎样的物理配置记录在BD-ROM盘101。这里,所谓“无缝再现”,是指从多路复用流数据不使影像和声音中断地平滑地进行再现。
图23是表示图11所示的主TS和第一副TS在BD-ROM盘101上的物理配置的示意图。此外,也可以取代第一副TS而是记录有第二副TS。参照图23,各TS被分割为多个数据块D[n]、B[n](n=0、1、2、3、……),配置在BD-ROM盘101上。这里,所谓“数据块”,是指在BD-ROM盘101上的连续区域、即在物理上连续的多个扇区中记录的一系列的数据。在BD-ROM盘101中,物理地址与逻辑地址实质上相等,所以在各数据块内LBN也连续。因而,BD-ROM驱动器121能够将一个数据块不使光拾取器进行寻址地连续读取。以下,将属于主TS的数据块B[n]称作“基视数据块”,将属于副TS的数据块D[n]称作“从属视数据块”。特别是,将属于第一副TS的数据块称作“右视数据块”,将属于第二副TS的数据块称作“深度图数据块”。
各数据块B[n]、D[n]在BD-ROM盘101的文件系统中能够作为文件2D或文件DEP内的一个区段被访问。即,能够根据文件2D或文件DEP的文件入口获知各数据块的逻辑地址。
在图23所示的例子中,文件2D(01000.m2ts)1041的文件入口2310表示基视数据块B[n]的各尺寸和其前端的LBN。因而,各基视数据块B[n]能够作为文件2D1041的区段EXT2D[n]被访问。以下,将属于文件2D1041的区段EXT2D[n]称作“2D区段”。另一方面,第一文件DEP(02000.m2ts)1042的文件入口2320表示从属视数据块D[n]的各尺寸和其前端的LBN。因而,各从属视数据块D[n]是右视数据块,能够作为第一文件DEP1042的区段EXT2[n]被访问。以下,将属于第一文件DEP1042的区段EXT2[n]称作“右视区段”。从属视数据块D[n]是深度图数据块的情况下也同样,各深度图数据块能够作为第二文件DEP(03000.m2ts)1043的区段被访问。以下,将属于第二文件DEP1043的区段称作“深度图区段”。进而,将如右视区段和深度图区段这样的、属于某个文件DEP的区段称为“从属视区段”。
参照图23,数据块群沿着BD-ROM盘101上的轨道连续地被记录。进而,基视数据块B[n]和从属视数据块D[n]一个个交替地配置。将这样的数据块群的配置称作“交织配置”。特别是,将以交织配置记录的一系列的数据块群称作“区段块”。在图23中表示了三个区段块2301、2302、2303。如第一区段块2301和第二区段块2302之间那样,区段块之间被多路复用流数据以外的数据的记录区域NAV分离。此外,在BD-ROM盘101是多层盘的情况下、即在包含多个记录层的情况下,如第二区段块2302和第三区段块2303之间那样,区段块之间也被记录层间的边界(以下称为层边界)LB分离。这样,一系列的多路复用流数据一般被分割为多个区段块而配置。在此情况下,为了再现装置102从该多路复用流数据将影像无缝地再现,必须将从各区段块再现的影像无缝地连接。以下,将再现装置102为此需要的处理称作“区段块间的无缝连接”。
在本发明的实施方式1涉及的区段块2301~2303的每一个中两种数据块D[n]、B[n]的数量相同。进而,在第(n+1)个相邻的数据块之对D[n]、B[n]中,区段ATC时间相等。以下,将这样的数据块之对称为“区段对”。这里,“ATC(Arrival Time Clock)”是指应作为ATS的基准的时钟。“区段ATC时间”表示对一个数据块内的源包赋予的ATS的范围的大小、即该数据块的开头的源包和下个数据块的开头的源包之间的ATS之差。该差等于利用ATC的值表示再现装置102将该数据块内的所有源包从读缓冲器向系统目标解码器转送所需要的时间时所得到的值。“读缓冲器”是再现装置102内的缓冲存储器,将从BD-ROM盘101读取的数据块在向系统目标解码器传送之前的期间临时保存。关于读缓冲器的详细情况在后面叙述。在图23所示的例子中,由于三个区段块2301~2303相互无缝地连接,所以在各区段对D[n]、B[n](n=0、1、2、……)中区段ATC时间相等。
在各区段对D[n]、B[n]中,位于开头的VAU属于相同的3D·VAU,特别是,包含表示相同的3D影像的GOP的开头的图片。例如在图23中,各右视数据块D[n]的前端包含右视视频流的P图片,开头的基视数据块B[n]的前端包含基视视频流的I图片。该右视视频流的P图片表示将该基视视频流的I图片所表示的2D影像作为左视时的右视。特别是,该P图片如图15所示,以该I图片作为参照图片被压缩。因而,3D再现模式的再现装置102从哪个区段对D[n]、B[n]都能够开始3D影像的再现。即,能够进行中途再现等、需要视频流的随机访问的处理。
在本发明的实施方式1涉及的交织配置中,进而在各区段对D[n]、B[n]中从属视数据块D[n]配置在基视数据块B[n]之前。这是因为,一般从属视数据块D[n]与基视数据块B[n]相比数据量较小、即位速率较低。例如在图23中,将包含在第(n+1)个右视数据块D[n]中的图片以图15所示的、包含在第(n+1)个基视数据块B[n]中的图片作为参照图片进行压缩。因而,该右视数据块D[n]的尺寸SEXT2[n]一般是该基视数据块B[n]的尺寸SEXT1[n]以下:SEXT2[n]≤SEXT1[n]。另一方面,深度图的每像素的数据量、即进深值的比特数一般小于基视图片的每像素的数据量、即彩色坐标值与α值(不透明度)的比特数之和。进而,如图11(a)、图11(c)所示,主TS与第二副TS不同,除了主视频流以外还包括主音频流等基本流。因而,深度图数据块的尺寸SEXT3[n]一般是基视数据块B[n]的尺寸SEXT1[n]以下:SEXT3[n]≤SEXT1[n]。
[将多路复用流数据分割为数据块的意义]
再现装置102为了从BD-ROM盘101无缝地再现3D影像,必须将主TS和副TS并行处理。但是,在该处理中能够利用的读缓冲器的容量一般受到限制。特别是,能够从BD-ROM盘101向读缓冲器连续读入的数据量存在极限。因而,再现装置102必须将主TS和副TS分割为区段ATC时间相等的部分之对来进行读取。
图24(a)是表示在某个BD-ROM盘上单独地连续记录的主TS2401和副TS2402的配置的示意图。再现装置102在将这些主TS2401和副TS2402并行处理时,如在图24(a)中用实线的箭头(1)~(4)所示那样,BD-ROM驱动器121将主TS2401和副TS2402交替地每次读取区段ATC时间相等的部分。此时,BD-ROM驱动器121如图24(a)中用虚线的箭头表示的那样,必须在读取处理的中途使BD-ROM盘上的读取对象区域较大地变化。例如在箭头(1)所示的主TS2401的前端部分被读取时,BD-ROM驱动器121将光拾取器进行的读取动作暂停,并提高BD-ROM盘的旋转速度。由此,使箭头(2)所示的记录有副TS2402的前端部分的BD-ROM盘上的扇区迅速地移动到光拾取器的位置。将这样使光拾取器暂停读取动作并在此期间将光拾取器向下个读取对象区域上定位的操作称作“跳跃”。图24(a)所示的虚线的箭头表示在读取处理的中途需要的各跳跃的范围。在各跳跃的期间,光拾取器进行的读取处理停止,仅进行解码器的解码处理。在图24(a)所示的例子中,由于跳跃过大,所以难以使读取处理跟上解码处理。其结果,难以可靠地持续无缝再现。
图24(b)是表示在本发明的实施方式1的BD-ROM盘101上交替地记录的从属视数据块D[0]、D[1]、D[2]、……和基视数据块B[0]、B[1]、B[2]、……的交织配置的示意图。参照图24(b),主TS和副TS分别被分割为多个数据块而交替地配置。在此情况下,再现装置102在3D影像的再现时,如在图24(b)中用箭头(1)~(4)所示那样,从开头依次读取数据块D[0]、B[0]、D[1]、B[1]、……。仅通过这样,再现装置102就能够顺利地实现将主TS和副TS交替地读取。特别是,在该读取处理中,由于不发生跳跃,所以3D影像的无缝再现能够可靠地持续。
[在相邻的数据块间使区段ATC时间一致的意义]
图24(c)是表示以交织配置记录的从属视数据块群D[n]与基视数据块群B[n]的各区段ATC时间的一例的示意图(n=0、1、2)。参照图24(c),在各从属视数据块D[n]与其紧后面的基视数据块B[n]之对中,区段ATC时间相等。例如在开头的数据块之对D[0]、B[0]中,区段ATC时间都等于1秒。因而,在将各数据块D[0]、B[0]读入到再现装置102内的读缓冲器中时,将其中的全部的TS包在相同的1秒期间从读缓冲器向系统目标解码器传送。同样,在第二个数据块之对D[1]、B[1]中,由于区段ATC时间都等于0.7秒,所以在相同的0.7秒期间,将各数据块内的全部的TS包从读缓冲器向系统目标解码器传送。
图24(d)是表示以交织配置记录的从属视数据块群D[n]和基视数据块群B[n]的各区段ATC时间的其他例的示意图。参照图20(d),在全部的数据块D[n]、B[n]中区段ATC时间等于1秒。因而,在将各数据块D[n]、B[n]读入到再现装置102内的读缓冲器中时,不论是哪个数据块中,都在相同的1秒期间将全部的TS包从读缓冲器向系统目标解码器传送。
如上所述,从属视数据块一般与基视数据块相比视频流的压缩率较高。因而,从属视数据块的解码处理的速度一般比基视数据块的解码处理的速度低。另一方面,当区段ATC时间相等时,从属视数据块一般与基视数据块相比数据量较小。因而,如图24(c)、图24(d)那样,在相邻的数据块间区段ATC时间相等时,将解码对象的数据供给到系统目标解码器的速度容易与该解码器的处理速度保持均衡。即,系统目标解码器特别是即使在中途再现中,也能够容易地使基视数据块的解码处理与从属视数据块的解码处理同步。
<使区段ATC时间一致的方法>
图25是表示在相邻的数据块间使区段ATC时间一致的方法的示意图。首先,对保存在基视数据块中的源包(以下简称作SP1)、和保存在从属视数据块中的源包(以下简称作SP2),用相同的ATC时间轴赋予ATS。参照图25,矩形2510、2520分别表示SP1#p(p=0、1、……、k、k+1、……、i、i+1)和SP2#q(q=0、1、……、m、m+1、……、j、j+1)。这些矩形2510、2520在ATC的时间轴方向上以各源包的ATS的顺序排列。各矩形2510、2520的开头的位置A1(p)、A2(q)表示该源包的ATS的值。各矩形2510、2520的长度AT1、AT2表示3D再现装置将1个源包从读缓冲器向系统目标解码器转送所需要的时间。
在从SP1#0的ATSA1(0)到经过区段ATC时间TEXT[n]为止的期间,将从读缓冲器向系统目标解码器转送的SP1、即SP1#0、1、……、k保存在第(n+1)个基视区段EXT1[n]中。同样,在从SP1#(k+1)的ATSA1(k+1)到经过区段ATC时间TEXT[n+1]为止的期间,将从读缓冲器向系统目标解码器转送的SP1、即SP1#(k+1)、……、i保存在第(n+2)个基视区段EXT1[n+1]中。
另一方面,如以下这样选择应保存在第(n+1)个从属视区段EXT2[n]中的SP2。首先,求出SP1#0的ATSA1(0)与区段ATC时间TEXT[n]的和、即SP1#(k+1)的ATSA1(k+1)=A1(0)+TEXT[n]。接着,选择在从SP1#0的ATSA1(0)到SP1#(k+1)的ATSA1(k+1)为止的期间开始从读缓冲器向系统目标解码器转送的SP2、即SP2#0、1、……、m。因而,开头的SP2、即SP2#0的ATSA2(0)必定是开头的SP1、即SP1#0的ATSA1(0)以上:A2(0)≥A1(0)。进而,最后的SP2即SP2#m的ATSA2(m)是SP1#(k+1)的ATSA1(k+1)以下:A2(m)≤A1(k+1)。这里,SP#m的转送完成也可以是SP1#(k+1)的ATSA1(k+1)以后。
同样,如以下这样选择应保存在第(n+2)个从属视区段EXT2[n+1]中的SP2。首先,求出位于第(n+3)个基视区段EXT1[n+2]的开头的SP1#(i+1)的ATSA1(i+1)=A1(k+1)+TEXT[n+1]。接着,选择在从SP1#(k+1)的ATSA1(k+1)到SP1#(i+1)的ATSA1(i+1)为止的期间开始从读缓冲器向系统目标解码器转送的SP2、即SP2#(m+1)~SP2#j。因而,开头的SP2、即SP2#(m+1)的ATSA2(m+1)是开头的SP1、即SP1#(k+1)的ATSA1(k+1)以上:A2(m+1)≥A1(k+1)。进而,最后的SP2#j的ATSA2(j)是位于下个基视数据块EXT1[n+2]的开头的SP1#(i+1)的ATSA1(i+1)以下:A2(j)≤A1(i+1)。
[将数据量较小的数据块在先设置的意义]
3D再现模式的再现装置102在读取位于各区段块的开头的数据块时、或读取再现开始位置的数据块时,首先,将该数据块全部读入到读缓冲器中。在此期间,不将该数据块传递给系统目标解码器。在该读入完成后,再现装置102将该数据块与下个数据块并行地传递给系统目标解码器。将该处理称作“预装载”。
预装载的技术的意义如下。在L/R模式中,在从属视数据块的解码中需要基视数据块。因而,为了将用来在输出处理之前保持解码后的数据的缓冲器维持为所需最小限度的容量,优选的是将这些数据块同时供给到系统目标解码器中进行解码。另一方面,在深度模式中,需要从解码后的基视图片和深度图之对生成表示视差图像的视频平面之对的处理。因而,为了将用来在该处理之前保持解码后的数据的缓冲器维持为所需最小限度的容量,优选的是将基视数据块和深度图数据块同时供给到系统目标解码器中进行解码。因此,通过预装载,将区段块的开头或再现开始位置的数据块整体预先读入到读缓冲器中。由此,能够将该数据块和后续的数据块从读缓冲器向系统目标解码器同时转送来进行解码。进而,能够使系统目标解码器对以后的区段对也同时进行解码。
在预装载中,将最初读取的数据块的整体储存到读缓冲器中。因而,在读缓冲器中至少要求等于该数据块的尺寸的容量。这里,为了将读缓冲器的容量维持为最小限度,应当尽可能缩小作为预装载之对象的数据块的尺寸。另一方面,在中途再现等随机访问中,无论哪个区段对都能够被选择为再现开始位置。因此,无论在哪个区段对中,都将数据量较小者放置在前边。由此,能够将读缓冲器的容量维持为最小限度。
<<针对数据块的AV流文件的交联>>
对于图23所示的数据块群,可以如以下这样实现AV流文件的交联。第一文件SS(01000.ssif)1045的文件入口2340将各区段块2301~2303看作一个区段而表示各尺寸和其前端的LBN。因而,各区段块2301~2303能够作为第一文件SS1045的一个区段EXTSS[0]、EXTSS[1]、EXTSS[2]被访问。以下,将属于第一文件SS1045的区段EXTSS[0]、EXTSS[1]、EXTSS[2]称作“区段SS”。各区段SSEXTSS[0]、EXTSS[1]、EXTSS[2]与文件2D1041共有基视数据块B[n],与第一文件DEP1042共有右视数据块D[n]。
<<对于区段块群的再现路径>>
图26是表示对于区段块群2301~2303的2D再现模式下的再现路径2601的示意图。2D再现模式的再现装置102再现文件2D1041。因而,如2D再现模式下的再现路径2601所示,从各区段块2301~2303将基视数据块B[n](n=0、1、2、......)依次作为2D区段EXT2D[n]加以读取。具体而言,首先从开头的区段块2301读取开头的基视数据块B[0],将其紧后面的右视数据块D[0]的读取通过最初的跳跃J2D跳过。接着,将第二个基视数据块B[1]读取,将其紧后面的数据NAV和右视数据块D[1]的读取通过第二次的跳跃JNAV跳过。接着,在第二个以后的区段块2302、2303内也同样,重复进行基视数据块的读取和跳跃。
在第二个区段块2302与第三个区段块2303之间发生的跳跃JLY是越过层边界LB的长跳跃。“长跳跃”是在跳跃之中寻址时间较长的跳跃的总称,具体而言,是指(i)伴随记录层切换的跳跃、以及(ii)跳跃距离超过规定的阈值的跳跃。所谓“跳跃距离”,是指在跳跃期间读取操作被跳过的BD-ROM盘101上的区域的长度。跳跃距离通常用该部分的扇区数表示。上述(ii)的阈值在BD-ROM的标准中例如是40000扇区。但是,该阈值取决于BD-ROM盘的种类、和BD-ROM驱动器的关于读取处理的性能。长跳跃特别包括焦点跳跃和轨道跳跃。“焦点跳跃”是伴随着记录层的切换的跳跃,包括使光拾取器的焦点距离变化的处理。“轨道跳跃”包括使光拾取器沿BD-ROM盘101的半径方向移动的处理。
图26还表示L/R模式下对于区段块群2301~2303的再现路径2602。L/R模式的再现装置102再现第一文件SS1045。因而,如L/R模式下的再现路径2602所示,将各区段块2301、2302、2303依次作为区段SSEXTSS[0]、EXTSS[1]、EXTSS[2]读取。具体而言,首先从开头的区段块2301将数据块D[0]、B[0]、D[1]、B[1]连续读取,将其紧后面的数据NAV的读取通过最初的跳跃JNAV跳过。接着,从第二个区段块2302将数据块D[2]、......、B[3]连续读取。在其紧后面,发生伴随着记录层的切换的长跳跃JLY。接着,从第三个区段块2303将数据块D[4]、B[4]、……连续读取。
在将区段块2301~2303作为第一文件SS1045的区段读入时,再现装置102从第一文件SS1045的文件入口2340读取各区段SSEXTSS[0]、EXTSS[1]、……的前端的LBN和其尺寸,传递给BD-ROM驱动器121。BD-ROM驱动器121从该LBN连续读取该尺寸的数据。这些处理与将数据块群作为第一文件DEP1042和文件2D1041的各区段读入的处理相比,BD-ROM驱动器121的控制在以下的两点(A)、(B)较简单:(A)再现装置102只要利用一处的文件入口依次参照各区段就可以;(B)由于读入对象的区段的总数实质上减半,所以应传递给BD-ROM驱动器121的LBN和尺寸之对的总数较少。但是,再现装置102读入区段SSEXTSS[0]、EXTSS[1]、……后,必须将每一个分别分离为右视数据块和基视数据块再传递给解码器。在该分离处理中利用片断信息文件。关于其详细情况在后面叙述。
如图23所示,在各区段块2301~2303的实际读取中,BD-ROM驱动器121在从各数据块的后端到下个数据块的前端之间进行零扇区转移J0。所谓“零扇区转移”,是指两个连续的数据块间的光拾取器的移动。在进行零扇区转移的期间(以下称作零扇区转移期间),光拾取器将读取动作暂停并待机。在该意义下,零扇区转移也可以看作“跳跃距离等于0扇区的跳跃”。零扇区转移期间的长度、即零扇区转移时间除了包括通过BD-ROM盘101的旋转进行的光拾取器的位置的移动时间以外,也可以还包括伴随着纠错处理的开销。所谓“伴随着纠错处理的开销”,是指当两个数据块的边界与ECC块的边界不一致时、因进行两次使用该ECC块的纠错处理引起的多余的时间。在纠错处理中需要一个ECC块的整体。因而,当一个ECC块由两个连续的数据块共有时,在哪个数据块的读取处理中都将该ECC块的整体读取而用于纠错处理。其结果,每当读取这些数据块之一时,除了该数据块以外还读取最大32扇区的多余的数据。通过该多余的数据的读取时间的合计、即32[扇区]×2048[字节]×8[比特/字节]×2[次]/读取速度,来评价伴随着纠错处理的开销。另外,也可以以ECC块为单位构成各数据块。在这种情况下,各数据块的尺寸等于ECC块的整数倍,所以能够将伴随着纠错处理的开销从零扇区转移时间中排除。
《数据块的尺寸》
各数据块以校准单元为单位构成。特别是各数据块的尺寸等于校准单元的尺寸(=6144字节=约6KB)的倍数。在这种情况下,数据块之间的边界与扇区之间的边界一致,所以无论是哪个数据块,BD-ROM都等够可靠地连续读取其整体。
如图23所示,为了从相互分离的多个区段块2301~2303无缝地再现2D影像和3D影像中的某个,数据块和区段块2301~2303的各个尺寸只要满足以下的[1]、[2]中说明的条件即可。
[1]2D再现模式下的条件
图27是表示2D再现模式的再现装置102内的再现处理系统的框图。参照图27,该再现处理系统包括BD-ROM驱动器2701、读缓冲器2702、以及系统目标解码器2703。BD-ROM驱动器2701从BD-ROM盘101读取2D区段,以读取速度RUD54向读缓冲器2702转送。读缓冲器2702是再现装置102中内置的缓冲存储器,从BD-ROM驱动器2701接收2D区段加以存储,系统目标解码器2703从储存在读缓冲器2702内的各2D区段以平均传送速度REXT2D读取源包,解码为影像数据VD和声音数据AD。
平均传送速度REXT2D等于系统目标解码器2703从读缓冲器2702内的各源包提取TS包的处理的平均速度的192/188倍。这里,系数192/188等于源包与TS包之间的字节数之比。平均传送速度REXT2D通常用比特/秒表示,具体而言,等于将以比特为单位表示的2D区段的尺寸用区段ATC时间除后的值。“以比特为单位表示的区段的尺寸”等于该区段内的源包数与每一个源包的比特数(=192[字节]×8[比特/字节])之乘积。平均传送速度REXT2D一般按照每个2D区段而不同。平均传送速度REXT2D的最高值RMAX2D等于对于文件2D的系统速率RTS的192/188倍。“系统速率”是指系统目标解码器2703进行的TS包的处理速度的最高值。系统速率RTS通常以比特/秒(bps)表示,所以等于以比特/秒(bps)表示的主TS的记录速度(TS recording rate)的8倍。
如下所述评价平均传送速度REXT2D,首先,如下所述计算区段ATC时间。在图25所示的例子中,利用下式,基于SP1#0的ATSA1(0)与位于第(n+2)个基视数据块EXT1[n+1]的开头的SP1#(k+1)的ATSA1(k+1)之间的差,表示第(n+1)个基视数据块EXT1[n]的区段ATC时间TEXT[n]:TEXT[n]=(A1(k+1)-A1(0)+WA)/TATC。这里,回绕(wraparound)值WA表示从SP1#0的ATSA1(0)到SP1#(k+1)的ATSA1(k+1)为止ATC被计数的期间每次发生回绕时舍弃的计数值之和。即,回绕值WA等于在该期间的回绕的次数与发生回绕的计数值之积。例如,在利用30比特的计数器计数ATC的情况下,回绕值WA等于230。另一方面,常数TATC表示ATC的周期,例如等于27MHz:TATC=27×106。接着,如下所述计算2D区段的尺寸。在图25所示的例子中,第(n+1)个基视数据块EXT1[n]的尺寸SEXT1[n]等于该数据块中存储的源包、即SP1#0、1、……、k整体的数据量192×(k+1)×8[位]。最后,用ATC时间TEXT[n]除基视数据块EXT1[n]的尺寸SEXT1[n]后得到的值评价为平均传送速度REXT2D
[n]:REXT2D [n]=SEXT1[n]/TEXT [n]。
在上述评价中,以正确计算区段ATC时间为目的,也可以使各2D区段的尺寸与源包长的某个一定的倍数一致。进而,也可以在某个2D区段包含比该倍数还多个的源包时,如下所述计算该2D区段的区段ATC时间:首先,从源包的总数中减去该倍数,将该差乘以每个源包的转送时间(=188×8/系统速率)。接着,将该乘积加上与上述倍数相当的区段ATC时间。该和被决定为上述2D区段的区段ATC时间。
此外,也可以如下所示计算区段ATC时间:首先,关于一个2D区段,求出从其开头的源包的ATS开始到最后的源包的ATS为止的时间间隔。接着,将该时间间隔加上每个源包的转送时间。该和被决定为该2D区段的区段ATC时间。具体来说,在图25的例子中,利用下式,基于SP1#0的ATSA1(0)与位于该数据块EXT1[n]的后端的SP1#k的ATSA1(k)之间的差,表示第(n+1)个基视数据块EXT1[n]的区段ATC时间TEXT[n]:TEXT[n]=(A1(k)-A1(0)+WA)/TATC+188×8/RTS1。这里,回绕(wraparound)值WA表示从SP1#0的ATSA1(0)到SP1#k的ATSA1(k)为止ATC被计数的期间每次发生回绕时舍弃的计数值之和。另一方面,上式右边第二项是用系统速率RTS2除TS包的数据长188[字节]×8[比特/字节]后得到的值,等于将一个TS包从读缓冲器转送给系统目标解码器所需要的时间。由于上述区段ATC时间的计算中不需要参照下个区段,所以即使在不存在下个区段的情况下,也能够计算区段ATC时间。此外,即使在存在下个区段的情况下,也能够简化区段ATC时间的计算。
读取速度RUD54通常用比特/秒表示,设定为比平均传送速度REXT2D的最高值RMAX2D高的值、例如54Mbps:RUD54>RMAX2D。由此,在BD-ROM驱动器2701从BD-ROM盘101读取一个2D区段的期间,防止伴随着系统目标解码器2703的解码处理而出现的读缓冲器2702的下溢。
图28(a)是表示在2D再现模式下的动作过程中的、储存在读缓冲器2702中的数据量DA的变化的曲线图。图28(b)是表示再现对象的区段块2810与2D再现模式下的再现路径2820之间的对应关系的示意图。参照图28(b),按照再现路径2820,从BD-ROM盘101向读缓冲器2702读取区段块2810内的各基视数据块B[n](n=0、1、2、......)作为一个2D区段EXT2D[n]。参照图28(a),在各2D区段EXT2D[n]的读取期间PR2D[n]中,储存数据量DA以等于读取速度RUD54与平均传送速度REXT2D[n]之间的差RUD54-REXT2D[n]的速度增加。另一方面,在两个连续的2D区段EXT2D[n-1]、EXT2D[n]之间发生跳跃J2D[n]。在该跳跃期间PJ2D[n]中,从属视数据块D[n]的读取被跳过,所以从BD-ROM盘101的数据读取停止。因而,在跳跃期间PJ2D[n]中,储存数据量DA以平均传送速度REXT2D[n]减少。
由BD-ROM驱动器2701进行的读取/转送动作实际上并不是由图28(a)的曲线表示的连续的动作,而是断续的动作。由此,在各2D区段的读取期间PR2D[n]中防止储存数据量DA超过读缓冲器2702的容量、即读缓冲器2702的溢出。即,图28(a)的曲线是将实际上是阶段状的增减近似地表示为直线性的增减的曲线。
为了从图28(b)所示的区段块2810无缝地再现2D影像,只要满足以下的两个条件就可以:首先,各2D区段EXT2D[n]的尺寸SEXT2D[n]为规定下限以上即可。将该下限称为“最小区段尺寸”。其次,2D区段的间隔是规定上限以下即可。
[1-1]2D区段的最小区段尺寸
在各跳跃期间PJ2D[n]中,必须使从读缓冲器2702向系统目标解码器2703的数据供给持续,来使该解码器2703确保连续的输出。为此,2D区段的尺寸只要满足以下的条件1就可以。
各2D区段EXT2D[n]的尺寸SEXT2D[n]等于从该读取期间PR2D[n]到下个跳跃期间PJ2D[n+1]从读缓冲器2702向系统目标解码器2703转送的数据量。在此情况下,如图28(a)所示,储存数据量DA在该跳跃期间PJ2D[n+1]的结束时,不低于该读取期间PR2D[n]的开始时的量。即,在各跳跃期间PJ2D[n]中从读缓冲器2702向系统目标解码器2703的数据供给持续,特别是读缓冲器2702不发生下溢。这里,读取期间PR2D[n]的长度等于将2D区段EXT2D[n]的尺寸SEXT2D[n]用读取速度RUD54除后的值SEXT2D[n]/RUD54。因而,条件1如下所示。各2D区段EXT2D[n]的最小区段尺寸用下式(1)的右边表示:
[数式1]
在式(1)中,跳跃时间TJUMP-2D[n]是跳跃期间PJ2D[n]的长度,以秒为单位表示。另一方面,读取速度RUD54和平均传送速度REXT2D都用比特/秒表示。因而,在式(1)中,将平均传送速度REXT2D用数“8”除,从而将2D区段的尺寸SEXT2D[n]的单位从比特变换为字节。即,2D区段的尺寸SEXT2D[n]以字节为单位表示。函数CEIL()是指将括号内的数值的小数点以下的尾数四舍五入的操作。
[1-2]2D区段的间隔
由于读缓冲器2702的容量是有限的,所以跳跃时间TJUMP-2D[n]的最大值受到限制。即,即使在跳跃期间PJ2D[n]的紧前面储存数据量DA充满了读缓冲器2702的容量,如果跳跃时间TJUMP-2D[n]过长,也有在跳跃期间PJ2D[n]中储存数据量DA达到0而发生读缓冲器2702的下溢的危险性。以下,将在从BD-ROM盘101向读缓冲器2702的数据供给中断的状态下储存数据量DA从读缓冲器2702的容量开始直到达到0为止的时间、即能够保证无缝再现的跳跃时间TJUMP-2D的最大值称作“最大跳跃时间TJUMP_MAX”。
在光盘的标准中通常,跳跃距离与最大跳跃时间之间的关系由光盘驱动器的访问速度等决定。图29是关于BD-ROM盘的跳跃距离SJUMP与最大跳跃时间TJUMP_MAX之间的对应表的一例。参照图29,跳跃距离SJUMP以扇区为单位表示,最大跳跃时间TJUMP_MAX以m秒为单位表示。1扇区等于2048字节。当跳跃距离SJUMP属于0扇区、1~10000扇区、10001~20000扇区、20001~40000扇区、40001扇区~1/10行程、以及1/10行程以上的各范围时,最大跳跃时间TJUMP_MAX分别是0m秒、200m秒、300m秒、350m秒、700m秒、以及1400m秒。跳跃距离SJUMP等于0扇区时的最大跳跃时间TJUMP_MAX等于零扇区转移时间TJUMP0。但是,在图29的例子中,将零扇区转移时间TJUMP0看作0m秒。
因为以上,应代入到式(1)中的跳跃时间TJUMP-2D[n]是由BD-ROM盘的标准按不同跳跃距离规定的最大跳跃时间TJUMP_MAX。具体而言,在图29的表中,将与两个连续的2D区段EXT2D[n]、EXT2D[n+1]间的跳跃距离SJUMP相对应的的最大跳跃时间TJUMP_MAX作为跳跃时间TJUMP-2D[n]代入到式(1)中。这里,该跳跃距离SJUMP等于从第(n+1)个2D区段EXT2D[n]的后端到第(n+2)个2D区段EXT2D[n+1]的前端为止的扇区数。
在两个2D区段EXT2D[n]、EXT2D[n+1]间的跳跃J2D[n]中,由于其跳跃时间TJUMP-2D[n]受最大跳跃时间TJUMP_MAX限制,所以该跳跃距离SJUMP、即两个2D区段EXT2D[n]、EXT2D[n+1]的间隔也受到限制。例如,在跳跃时间TJUMP-2D[n]被限制为最大跳跃时间TJUMP_MAX=700m秒以下时,两个2D区段EXT2D[n]、EXT2D[n+1]间的跳跃距离SJUMP被容许最大为1/10行程(=约1.2GB)为止。如该跳跃距离SJUMP的最大值那样,将跳跃时间TJUMP等于最大跳跃时间TJUMP_MAX时的跳跃距离SJUMP称作“最大跳跃距离SJUMP_MAX”。在2D影像的无缝再现中,需要2D区段的间隔是最大跳跃距离SJUMP_MAX以下。
在各区段块内中,2D区段的间隔等于从属视数据块的尺寸。因而,该从属视数据块的尺寸被限制为最大跳跃距离SJUMP_MAX以下。具体而言,在2D区段间的最大跳跃时间TJUMP_MAX被限制为图29中规定的最小值200m秒时,从属视数据块的尺寸被限制为对应的最大跳跃距离SJUMP_MAX=10000扇区(=约19.5GB)以下。
在将配置在不同的记录层中的两个区段块之间无缝地连接时,从先被读取的区段块的后端到接下来被读取的区段块的前端为止,发生长跳跃。该长跳跃伴随着焦点跳跃等、记录层的切换操作。因而,该长跳跃所需要的时间除了在图29的表中规定的最大跳跃时间TJUMP_MAX以外,还包括记录层的切换操作所需要的时间、即“层切换时间”。层切换时间例如是350m秒。这里,在先被读取的区段块的后端配置有第(n+1)个2D区段EXT2D[n],在后被读取的区段块的前端配置有第(n+2)个2D区段EXT2D[n+1]。在这种情况下,在第(n+1)个2D区段EXT2D[n]的尺寸应满足的式(1)中,跳跃时间TJUMP-2D[n]由两个参数TJ[n]、TL[n]的和决定:TJUMP-2D[n]=TJ[n]+TL[n]。第一参数TJ[n]表示根据BD-ROM盘的规格而对长跳跃的跳跃距离SJUMP规定的最大跳跃时间TJUMP_MAX。该最大跳跃时间TJUMP_MAX等于在图29的表中与从第(n+1)个2D区段EXT2D[n]的后端到第(n+2)个2D区段EXT2D[n+1]的前端为止的扇区数建立了对应的值。第二参数TL[n]表示层切换时间、例如350m秒。因而,两个2D区段EXT2D[n]、EXT2D[n+1]的间隔被限制为,在图29的表中与从长跳跃的最大跳跃时间TJUMP_MAX减去层切换时间后的值相对应的最大跳跃距离SJUMP_MAX以下。在跳跃时间TJUMP-2D[n]被限制为最大跳跃时间TJUMP_MAX=700m秒以下时,两个2D区段EXT2D[n]、EXT2D[n+1]间的最大跳跃时间TJUMP_MAX是40000扇区(=约78.1GB)为止。
[2]3D再现模式下的性能
图30是表示3D再现模式的再现装置102内的再现处理系统的框图。参照图30,该再现处理系统包括BD-ROM驱动器3001、开关3002、一对读缓冲器3011、3012、以及系统目标解码器3003。BD-ROM驱动器3001从BD-ROM盘101读取区段SS,以读取速度RUD72向开关3002传送。开关3002将各区段SS分离为基视数据块和从属视数据块。关于该分离处理的详细情况在后面叙述。第一读缓冲器3011及第二读缓冲器3012(以下略作RB1和RB2)是再现装置102中内置的缓冲存储器,存储由开关3002分离后的各数据块。RB13011保存基视数据块,RB23012保存从属视数据块。系统目标解码器3003以基视传送速度REXT1从RB13011内的各基视数据块读取源包,以从属视传送速度REXT2从RB23012内的各从属视数据块读取源包。系统目标解码器3003还将读取的基视数据块与从属视数据块之对解码为影像数据VD和声音数据AD。
基视传送速度REXT1等于系统目标解码器3003从RB13011内的各源包提取TS包的处理的平均速度的192/188倍。基视传送速度REXT1的最高值RMAX1等于对文件2D的系统速率RTS1的192/188倍:RMAX1=RTS1×192/188。该系统速率RTS1通常用比特/秒(bps)表示,所以等于用比特/秒(bps)表示的主TS的记录速度的8倍。从属视传送速度REXT2等于系统目标解码器3003从RB23012内的各源包提取TS包的处理的平均速度的192/188倍。从属视传送速度REXT2的最高值RMAX2等于对文件DEP的系统速率RTS2的192/188倍:RMAX2=RTS2×192/188。该传送速度REXT2通常用比特/秒(bps)表示,所以等于用比特/秒(bps)表示的主TS的记录速度的8倍。各传送速度REXT1、REXT2通常用比特/秒表示,具体而言,等于将以比特为单位表示的各数据块的尺寸用区段ATC时间除后得到的值。区段ATC时间等于将该数据块内的源包全部从RB13011或RB23012向系统目标解码器3003传送所需要的时间。基视传送速度REXT1和从属视传送速度REXT2与2D区段的平均传送速度REXT2D同样,用数据块的尺寸与区段ATC时间之比评价:REXT1[·]=SEXT1[·]/TEXT[·]、REXT2[·]=SPEXT2[·]/TEXT[·]。
读取速度RUD72通常用比特/秒表示,设定为比任一个传送速度REXT1、REXT2的最高值RMAX1、RMAX2都高的值,例如72Mbps:RUD72>RMAX1、RUD72>RMAX2。由此,在由BD-ROM驱动器3001从BD-ROM盘101读取一个区段SS的期间,防止伴随着系统目标解码器3003的解码处理而产生的RB13011和RB23012的下溢。
[2-1]区段块内的无缝连接
图31(a)、图31(b)是表示当从一个区段块无缝地再现3D影像时、储存在RB13011、RB23012中的数据量DA1、DA2的变化的曲线图。图31(c)是表示该区段块3110与3D再现模式下的再现路径3120之间的对应关系的示意图。参照图30(c),按照再现路径3120,将区段块3110的整体作为一个区段SS一起读取。然后,通过开关3002从该区段SS分离为从属视数据块D[k]和基视数据块B[k](k=......、n、n+1、n+2、......)。
由BD-ROM驱动器3001进行的读取/转送动作实际上不是由图31(a)、图31(b)的各曲线表示的连续的动作,而是断续的动作。由此,在各数据块D[k]、B[k]的读取期间PRD[k]、PRB[k]中,防止RB13011、RB23012的溢出。即、图31(a)、图31(b)的各曲线是将实际是阶段状的增减近似地表示为直线性的增减的曲线。
参照图31(a)、图31(b),在第(n+1)个从属视数据块D[n]的读取期间PRD[n]中,RB23012的储存数据量DA2以等于读取速度RUD72与从属视传送速度REXT2[n]之间的差RUD72-REXT2[n]的速度增加,RB13011的储存数据量DA1以基视传送速度REXT1[n-1]减少。参照图31(c),从第(n+1)个从属视数据块D[n]到第(n+1)个基视数据块B[n]发生零扇区转移J0[2n]。如图31(a)、图31(b)所示,在零扇区转移期间PJ0[n]中,RB13011的储存数据量DA1以基视传送速度REXT1[n-1]持续减少,RB23012的储存数据量DA2以从属视传送速度REXT2[n]减少。
再参照图31(a)、图31(b),在第(n+1)个基视数据块B[n]的读取期间PRB[n]中,RB13011的储存数据量DA1以等于读取速度RUD72与基视传送速度REXT1[n]之间的差RUD72-REXT1[n]的速度增加。另一方面,RB23012的储存数据量DA2以从属视传送速度REXT2[n]持续减少。再参照图31(c),从该基视数据块B[n]到下个从属视数据块D[n+1]发生零扇区转移J0[2n+1]。如图31(a)、图31(b)所示,在零扇区转移期间PJ0[2n+1]中,RB13011的储存数据量DA1以基视传送速度REXT1[n]减少,RB23012的储存数据量DA2以从属视传送速度REXT2[n]持续减少。
为了从一个区段块2310无缝地再现3D影像,属于该区段块的数据块B[n]、D[n]的各尺寸只要满足以下说明的条件2、3就可以。
第(n+1)个基视数据块B[n]的尺寸SEXT1[n]至少等于从该读取期间PRB[n]到下个基视数据块B[n+1]的读取期间PRB[n+1]的紧前面为止从RB13011向系统目标解码器3003转送的数据量。在此情况下,如图31(a)所示,在下个基视数据块B[n+1]的读取期间PRB[n+1]的紧前面,RB13011的储存数据量DA1不低于在第(n+1)个基视数据块B[n]的读取期间PRB[n]紧前面的量。这里,第(n+1)个基视数据块B[n]的读取期间PRB[n]的长度等于将该基视数据块B[n]的尺寸SEXT1[n]用读取速度RUD72除后的值SEXT1[n]/RUD72。另一方面,第(n+2)个从属视数据块D[n+1]的读取期间PRD[n+1]的长度等于将该从属视数据块D[n+1]的尺寸SEXT2[n+1]用读取速度RUD72除后的值SEXT2[n+1]/RUD72。因而,条件2表示如下内容。该基视数据块B[n]的最小区段尺寸用下式(2)的右边表示:
[数式2]
第(n+1)个从属视数据块D[n]的尺寸SEXT2[n]至少等于在从其读取期间PRD[n]到下个从属视数据块D[n+1]的读取期间PRD[n+1]的紧前面为止从RB23012向系统目标解码器3003转送的数据量。在此情况下,如图31(b)所示,在下个从属视数据块D[n+1]的读取期间PRD[n+1]的紧前面,RB23012的储存数据量DA2不低于第(n+1)个从属视数据块D[n]的读取期间PRD[n]紧前面的量。这里,第(n+1)个从属视数据块D[n]的读取期间PRD[n]的长度等于将该从属视数据块D[n]的尺寸SEXT2[n]用读取速度RUD72除后的值SEXT2[n]/RUD72。因而,条件3表示如下内容。该从属视数据块D[n]的最小区段尺寸由下式(3)的右边表示:
[数式3]
[2-2]区段块间的无缝连接
如图23所示,区段块2301~2303之间一般由其他数据的记录区域NAV或层边界LB分离。为了无缝连接如上所述分离后的区段块之间,只要在读取一个区段块的期间,在RB13011、RB23012中分别存储足够的数据量即可。具体来说,RB13011、RB23012的各储存数据量DA1、DA2与图31(a)、图31(b)所示的曲线不同,只要在第(n+2)个各数据块B[n+1]、D[n+1]的读取期间PRB[n+1]、PRD[n+1]的紧前面剩余与第(n+1)个各数据块B[n]、D[n]的读取期间PRB[n]、PRD[n]的紧前面的量相比稍大的量即可。例如将各数据块的尺寸设为与式(2)、(3)的各右边赋予的最小区段尺寸相比稍大即可。由此,能够在将一个区段块到后端为止读入的时刻在RB13011、RB23012中分别存储足够的数据量。
<<片断信息文件>>
图32是表示第一片断信息文件(01000.clpi)、即2D片断信息文件1031的数据构造的示意图。从属视片断信息文件(02000.clpi、03000.clpi)1032、1033也具有同样的数据构造。以下,首先以2D片断信息文件1031的数据构造为例说明在全部片断信息文件中共通的数据构造。然后,对2D片断信息文件与从属视片断信息文件在数据构造上的不同点进行说明。
参照图32,2D片断信息文件1031包括片断信息3210、流属性信息3220、入口映射3230、以及3D元数据3240。3D元数据3240包括区段起点3242。
片断信息3210如图32所示,包括系统速率3211、再现开始时刻3212、以及再现结束时刻3213。系统速率3211规定针对文件2D(01000.m2ts)1041的系统速率RTS。这里,如图27所示,2D再现模式的再现装置102从读缓冲器2702向系统目标解码器2703传送属于文件2D1041的“TS包”。因此,在文件2D1041中,设定源包的ATS的间隔,以将该TS包的传送速度抑制为系统速率RTS以下。再现开始时刻3212表示分配给文件2D1041的开头的VAU的PTS、例如开头的影像帧的PTS。再现结束时刻3212表示从分配给文件2D1041的后端的VAU的PTS进一步延迟了规定量后的STC的值、例如对最后的影像帧的PTS加上每1帧的再现时间后得到的值。
流属性信息3220如图32所示,是包含在文件2D1041中的各基本流的PID3221与其属性信息3222之间的对应表。属性信息3222在视频流、音频流、PG流、以及IG流中分别不同。例如与主视频流的PID0x1011建立了对应的属性信息包括在该视频流的压缩中使用的编解码器的种类、构成该视频流的各图片的分辨率、纵横比、以及帧速率。另一方面,与主音频流的PID0x1100建立了对应的属性信息包括在该音频流的压缩中使用的编解码器的种类、包含在该音频流中的声道数、语言、以及取样频率。属性信息3222由再现装置102用于解码器的初始化。
[入口映射]
图33(a)是表示入口映射3230的数据构造的示意图。参照图33(a),入口映射3230包括表3300。表3300与多路复用在主TS中的视频流是相同数量,对各视频流各分配一个。在图33(a)中,将各表3300用分配目标的视频流的PID相区别。各表3300包括入口映射头3301和入口点3302。入口映射头3301包括与该表3300建立了对应的PID、和包含在该表3300中的入口点3302的总数。入口点3302将PTS3303和源包号码(SPN)3304之对每一个地与不同的入口点ID(EP_ID)3305建立对应。PTS3303等于包含在入口映射头3301表示的PID的视频流中的某个I图片的PTS。SPN3304等于保存有该I图片的源包群的开头的SPN。这里,所谓“SPN”,是指对属于一个AV流文件的源包群从开头起依次分配的连续号码。SPN被作为该AV流文件内的各源包的地址使用。在2D片断信息文件1031内的入口映射3230中,SPN是指对属于文件2D241的源包群、即构成主TS的源包群分配的号码。因而,入口点3302表示包含在文件2D1041中的各I图片的PTS与地址即SPN之间的对应关系。
也可以不对文件2D1041内的全部的I图片设定入口点3302。但是,当I图片位于GOP的开头、并且包括该I图片的开头在内的TS包位于2D区段的开头时,必须对该I图片设定入口点3302。
图33(b)是表示属于文件2D1041的源包群3310中的、通过入口映射3230与各EP_ID3305建立了对应的源包群的示意图。图33(c)是表示对应于该源包群3310的BD-ROM盘101上的数据块群D[n]、B[n](n=0、1、2、3、……)的示意图。再现装置102当从文件2D1041再现2D影像时,利用入口映射3230,根据表示任意场景的帧的PTS,确定包含该帧的源包的SPN。具体而言,在作为再现开始位置而指定了特定的入口点的PTS、例如PTS=360000时,再现装置102首先从入口映射3230中检索与该PTS建立了对应的SPN=3200。再现装置102接着求出该SPN与每一个源包的数据量192字节的乘积,再求出将该乘积用每一个扇区的数据量2048字节除后得到的商、SPN×192/2048。根据图13(c)、图13(d)可以理解,该商等于记录有主TS中的、分配了该SPN的源包之前的部分的扇区的总数。在图33(b)所示的例子中,该值3200×192/2048=300等于记录有分配了从0到3199的SPN的源包群3311的扇区的总数。再现装置102接着参照文件2D1041的文件入口,确定从记录有2D区段群的扇区群的开头数第(上述总数+1)个扇区的LBN。在图33(c)所示的例子中,确定记录有能够作为2D区段EXT2D[0]、EXT2D[1]、EXT2D[2]、……访问的基视数据块B[0]、B[1]、B[2]、……的扇区群中的、从开头数第301个扇区的LBN。再现装置102将该LBN指定给BD-ROM驱动器。由此,从该LBN的扇区起依次将基视数据块群以校准单元为单位加以读取。再现装置102还从最初读取的校准单元选择再现开始位置的入口点表示的源包,从它们中提取I图片并解码。然后,将后续的图片利用先解码的图片依次解码。这样,再现装置102能够从文件2D1041再现特定的PTS以后的2D影像。
入口映射3230还有利于快进再现及回退再现等特殊再现的高效率处理。例如2D再现模式的再现装置102首先参照入口映射3230,从再现开始位置、例如包括PTS=360000以后的PTS的入口点、EP_ID=2、3、……依次读取SPN=3200、4800、……。再现装置102接着利用文件2D1041的文件入口确定对应于各SPN的扇区的LBN。再现装置102接着将各LBN指定给BD-ROM驱动器。由此,从各LBN的扇区读取校准单元。再现装置102还从各校准单元选择各入口点表示的源包,从它们提取I图片并解码。这样,再现装置102能够不将2D区段群EXT2D[n]自身解析而从文件2D1041有选择地再现I图片。
[区段起点]
图34(a)是表示区段起点3242的数据构造的示意图。参照图34(a),“区段起点(Extent_Start_Point)”3242包括基视区段ID(EXT1_ID)3411和SPN3412。EXT1_ID3411是对属于文件SS(01000.ssif)1045的各基视数据块从开头起依次分配的连续号码。SPN3412被一个个地分配给各EXT1_ID3411,等于位于由该EXT1_ID3411识别的基视数据块的前端的源包的SPN。这里,该SPN是对包含在属于第一文件SS1045的基视数据块群中的各源包从开头起依次分配的连续号码。
在图23所示的区段块2301~2303中,各基视数据块B[0]、B[1]、B[2]、……在文件2D1041和第一文件SS1045中共有。但是,配置在记录层间的边界等需要长跳跃的地方的数据块群一般包括仅属于文件2D1041或第一文件SS1045中的某个的基视数据块。因而,区段起点3242表示的SPN3412与位于属于文件2D1041的2D区段的前端的源包的SPN一般不同。
图34(b)是表示包含在第二片断信息文件(02000.clpi)、即从属视片断信息文件1032中包含的区段起点3420的数据构造的示意图。参照图34(b),区段起点3420包括从属视区段ID(EXT2_ID)3421和SPN3422。EXT2_ID3421是对属于第一文件SS1045的各从属视数据块从开头起依次分配的连续号码。SPN3422被一个个地分配给各EXT2_ID3421,等于对位于由该EXT2_ID3421识别的从属视数据块的前端的源包的SPN。这里,该SPN是对包含在属于第一文件SS1045的从属视数据块群中的源包从开头起依次分配的连续号码。
图34(d)是表示属于文件DEP(02000.m2ts)1042的从属视区段EXT2[0]、EXT2[1]、……、与区段起点3420表示的SPN3422之间的对应关系的示意图。如图23所示,从属视数据块由第一文件DEP1042和第一文件SS1045共有。因而,如图34(d)所示,区段起点3420表示的各SPN3422等于位于各从属视区段EXT2[0]、EXT2[1]、……的前端的源包的SPN。
2D片断信息文件1031的区段起点3242和从属视片断信息文件1032的区段起点3420如以下说明,在从第一文件SS1045再现3D影像时被用于包含在各区段SS中的数据块的边界的检测。
图34(e)是表示属于第一文件SS1045的区段SSEXTSS[0]与BD-ROM盘101上的区段块之间的对应关系的示意图。参照图34(e),该区段块包含交织配置的数据块群D[n]、B[n](n=0、1、2、……)。另外,以下的说明在其他配置中也同样成立。该区段块能够作为一个区段SSEXTSS[0]被访问。进而,在该区段SSEXTSS[0]之中,包含在第(n+1)个基视数据块B[n]中的源包的数量等于在区段起点3242中分别与EXT1_ID=n+1、n相对应的SPN间的差A(n+1)-An。这里,设为A0=0。另一方面,包含在从属视数据块D[n+1]中的源包的数量等于在区段起点3420中分别与EXT2_ID=n+1、n相对应的SPN间的差B(n+1)-Bn。这里,设为B0=0。
3D再现模式的再现装置102在从第一文件SS1045再现3D影像时,利用各片断信息文件1031、1032的入口映射和区段起点3242、2420。由此,再现装置102根据表示任意场景的右视的帧的PTS确定记录有该帧的构成所需的从属视数据块的扇区的LBN。具体而言,再现装置102首先例如从从属视片断信息文件1032的入口映射中检索与该PTS建立了对应的SPN。设想该SPN表示的源包包含在第一文件DEP1042的第三个从属视区段EXT2[2]、即从属视数据块D[2]中的情况。再现装置102接着从从属视片断信息文件1032的区段起点3420表示的SPN3422之中,检索在目标的SPN以下最大的“B2”、和对应于它的EXT2ID“2”。再现装置102接着从2D片断信息文件1031的区段起点3242检索对应于与该EXT2_ID“2”相等的EXT1_ID的SPN2412的值“A2”。再现装置102还求出检索到的SPN之和B2+A2。由图34(e)可以理解,该和B2+A2等于在区段SSEXTSS[0]之中配置在第三个从属视数据块D[2]之前的源包的总数。因而,将该和B2+A2与每一个源包的数据量192字节的乘积用每一个扇区的数据量2048字节除后得到的商(B2+A2)×192/2048等于从区段SSEXTSS[0]的开头到第三个从属视数据块D[2]紧前面为止的扇区数。如果利用该商参照第一文件SS1045的文件入口,则能够确定记录有该从属视数据块D[2]的前端的扇区的LBN。
再现装置102在如上述那样确定LBN后,将该LBN指定给BD-ROM驱动器。由此,将记录在该LBN的扇区以后的区段SSEXTSS[0]的部分、即第三个从属视数据块D[2]以后的数据块群D[2]、B[2]、D[3]、B[3]、……以校准单元为单位加以读取。
再现装置102还利用区段起点3242、3420,从读取的区段SS交替地提取从属视数据块和基视数据块。例如,设想从图34(e)所示的区段SSEXTSS[0]依次读取数据块群D[n]、B[n](n=0、1、2、……)的时候。再现装置102首先从区段SSEXTSS[0]的开头提取B1个源包作为最初的从属视数据块D[0]。再现装置102接着提取第B1个源包和接着它的(A1-1)个源包这些共计A1个源包作为最初的基视数据块B[0]。再现装置102接着提取第(B1+A1)个源包和接着它的(B2-B1-1)个源包这些共计(B2-B1)个源包作为第二个从属视数据块D[1]。再现装置102还提取第(A1+B2)个源包和接着它的(A2-A1-1)个源包这些共计(A2-A1)个源包作为第二个基视数据块B[1]。然后,再现装置102也同样根据读取的源包的数量检测区段SS内的数据块间的边界,来交替地提取从属视和基视的各数据块。将提取出的基视数据块和从属视数据块并行地传递给系统目标解码器而解码。
这样,3D再现模式的再现装置102能够从第一文件SS1045再现特定的PTS以后的3D影像。其结果,再现装置102能够实际地享受关于BD-ROM驱动器的控制的上述优点(A)、(B)。
<<基础文件>>
图34(c)是表示由3D再现模式的再现装置102从第一文件SS1045提取的基视数据块B[0]、B[1]、B[2]、.......的示意图。参照图34(c),在对这些基视数据块B[n](n=0、1、2、......)中包含的源包群从开头起依次分配了SPN时,位于各数据块B[n]的前端的源包的SPN等于区段起点3242表示的SPN3412。将如这些基视数据块群B[n]那样利用区段起点从一个文件SS被提取的基视数据块群称作“基础文件”。进而,将包含在基础文件中的基视数据块称作“基视区段”。如图34(e)所示,各基视区段EXT1[0]、EXT1[1]、......由片断信息文件内的区段起点3242、3420参照。
基视区段EXT1[n]与2D区段EXT2D[n]共有基视数据块B[n]。因而,基础文件包含与文件2D相同的主TS。但是,基视区段EXT1[n]与2D区段EXT2D[n]不同,不由任何文件的文件入口参照。如上所述,利用片断信息文件内的区段起点从文件SS内的区段SSEXTSS[·]中提取基视区段EXT1[n]。这样,基础文件与本来的文件不同,不包含文件入口,并且在基视区段的参照中需要区段起点。从这些意义来说,基础文件是“虚拟的文件”。特别是基础文件不能由文件系统识别,不出现在图10所示的目录/文件构造中。
图35是表示记录在BD-ROM盘101上的一个区段块3500、与文件2D3510、基础文件3511、文件DEP3512、及文件SS3520的各区段群之间的对应关系的示意图。参照图35,区段块3500包括从属视数据块D[n]和基视数据块B[n](n=0、1、2、3、......)。基视数据块B[n]作为2D区段EXT2D[n]而属于文件2D3510。从属视数据块D[n]作为从属视区段EXT2[n]而属于文件DEP3512。区段块3500的整体作为一个区段SSEXTSS[0]而属于文件SS3520。因而,区段SSEXTSS[0]与2D区段EXT2D[n]共有基视数据块B[n],与从属视区段EXT2[n]共有从属视数据块D[n]。区段SSEXTSS[0]在被再现装置102读入后,被分离为从属视数据块D[n]和基视数据块B[n]。这些基视数据块B[n]作为基视区段EXT1[n]而属于基础文件3511。利用分别与文件2D3510和文件DEP3512建立了对应的片断信息文件内的区段起点,确定区段SSEXTSS[0]内的基视区段EXT1[n]与从属视区段EXT2[n]之间的边界。
<<从属视片断信息文件>>
从属视片断信息文件的数据构造与图32、33所示的2D片断信息文件是同样的。因而,在以下的说明中,涉及从属视片断信息文件与2D片断信息文件之间的不同点,关于同样的点的说明援用上述说明。
从属视片断信息文件与2D片断信息文件主要在以下的三点不同:(i)对流属性信息课以条件;(ii)对入口点课以条件;(iii)3D元数据不包含偏移表。
(i)在基视视频流和从属视视频流是被L/R模式的再现装置102用于3D影像的再现时,如图15所示,从属视视频流利用基视视频流被压缩。此时,从属视视频流与基视视频流相比,视频流属性相等。这里,关于基视视频流的视频流属性信息在2D片断信息文件的流属性信息3220内与PID=0x1011建立了对应。另一方面,关于从属视视频流的视频流属性信息在从属视片断信息文件的流属性信息内与PID=0x1012或0x1013建立了对应。因而,在这些视频流属性信息之间,图32所示的各项目、即编解码器、分辨率、纵横比、以及帧速率必须一致。如果编解码器的种类一致,则在基视图片与从属视图片之间成立编码中的参照关系,所以能够将各图片解码。如果分辨率、纵横比及帧速率都一致,则能够使左右的影像的画面显示同步。因此,能够不给视听者带来别扭感地使这些影像看起来为3D影像。
(ii)从属视片断信息文件的入口映射包括对从属视视频流分配的表。该表与图33(a)所示的表3300同样,包括入口映射头和入口点。入口映射头表示对应的从属视视频流的PID、即0x1012或0x1013。各入口点将一对PTS和SPN与一个EP_ID建立了对应。各入口点的PTS在包含在从属视视频流中的任一个GOP中,与位于其开头的图片的PTS相等。各入口点的SPN在保存有由属于相同入口点的PTS确定的图片的源包群中,等于分配给其开头的SPN。这里,SPN是指对属于文件DEP的源包群、即构成副TS的源包群从开头起依次分配的连续号码。各入口点的PTS必须与2D片断信息文件的入口映射中的、对基视视频流分配的表内的入口点的PTS一致。即,当对包括包含在相同3D·VAU中的一对图片中的一个在内的源包群的开头设定了入口点时,必须总是对包括另一个在内的源包群的开头也设定入口点。
图36是表示对基视视频流3610和从属视视频流3620设定的入口点的例子的示意图。在各视频流3610、3620中,从开头数的相同顺序的GOP表示相同的再现期间的影像。参照图36,在基视视频流3610中,对于位于从该开头的GOP数第奇数个的GOP#1、GOP#3、GOP#5的各开头,设定了入口点3601B、3603B、3605B。与此并列地,在从属视视频流3620中,也对于位于从该开头的GOP数第奇数个的GOP#1,GOP#3,GOP#5的各开头,设定了入口点3601D、3603D、3605D。在此情况下,再现装置102在从例如GOP#3开始3D影像的再现时,根据对应的入口点3603B、3603D的SPN能够立即计算文件SS内的再现开始位置的SPN。特别是在入口点3603B、3603D都设定在数据块的前端时,由图34(e)可以理解,入口点3603B、3603D的SPN的和等于文件SS内的再现开始位置的SPN。如在图34(e)的说明中叙述的那样,能够根据其源包的数量,计算记录有文件SS内的再现开始位置的部分的扇区的LBN。这样,在3D影像的再现中,也能够使中途再现等需要视频流的随机访问的处理的响应速度提高。
<<2D播放列表文件>>
图37是表示2D播放列表文件的数据构造的示意图。图10所示的第一播放列表文件(00001.mpls)1021具有该数据构造。参照图37,2D播放列表文件1021包括主路径3701和两个副路径3702、2703。
主路径3701是播放项目信息(以下略作PI)的排列,规定文件2D1041的主要再现路径、即再现对象的部分和其再现顺序。各PI由固有的播放项目ID=#N(N=1、2、3、……)识别。各PI#N通过一对PTS规定主要再现路径不同的再现区间。该一对中的一个表示该再现区间的开始时刻(In-Time),另一个表示结束时刻(Out-Time)。进而,主路径3701内的PI的顺序表示对应的再现区间在再现路径内的顺序。
各副路径3702、3703是副播放项目信息(以下略作SUB_PI)的排列,规定能够并列地附属于文件2D1041的主要再现路径的再现路径。该再现路径表示与主路径3701表示的文件2D1041的部分不同的部分和其再现顺序,或者多路复用在其他文件2D中的流数据的部分和其再现顺序。该流数据表示应与按照主路径3701从文件2D1041再现的2D影像同时再现的其他2D影像。该其他2D影像例如包括画中画方式中的副影像、浏览器画面、弹出菜单或字幕。对于副路径3702、3703,以向2D播放列表文件1021登记的顺序分配了连续号码“0”、“1”。该连续号码作为副路径ID被用于各副路径3702、3703的识别。在各副路径3702、3703中,各SUB_PI由固有的副播放项目ID=#M(M=1、2、3、……)识别。各SUB_PI#M用一对PTS规定再现路径不同的再现区间。该一对中的一个表示该再现区间的再现开始时刻,另一个表示再现结束时刻。进而,各副路径3702,3703内的SUB_PI的顺序表示对应的再现区间在再现路径内的顺序。
图38表示PI#N的数据构造的示意图。参照图38,PI#N包括参照片断信息3801、再现开始时刻(In_Time)3802、再现结束时刻(Out_Time)3803、连接条件3804、以及流选择表(以下简称作STN(Stream Number)表)3805。参照片断信息3801是用来识别2D片断信息文件1031的信息。再现开始时刻3802和再现结束时刻3803表示文件2D1041的再现对象部分的前端和后端的各PTS。连接条件3804规定将由再现开始时刻3802和再现结束时刻3803规定的再现区间中的影像连接在由前一个的PI#(N-1)规定的再现区间中的影像上时的条件。STN表3805表示在从再现开始时刻3802到再现结束时刻3803的期间能够由再现装置102内的解码器从文件2D1041选择的基本流的列表。
SUB_PI的数据构造与图38所示的PI的数据构造在包括参照片断信息、再现开始时刻、以及再现结束时刻的方面是共通的。特别是,SUB_PI的再现开始时刻和再现结束时刻用PI的与它们相同的时间轴上的值表示。SUB_PI还包括“SP连接条件”的字段。SP连接条件具有与PI的连接条件相同的意思。
[连接条件]
连接条件(以下简称作CC)3804可以取例如“1”、“5”、“6”这三种值。当CC3804是“1”时,从由PI#N规定的文件2D1041的部分再现的影像与从紧前面的PI#(N-1)规定的文件2D1041的部分再现的影像也可以并不一定无缝地连接。另一方面,当CC3804是“5”或“6”时,必须将这两个影像无缝地连接。
图39(a)、图39(b)分别是当CC是“5”、“6”时表示应连接的两个再现区间PI#(N-1)、PI#N之间的关系的示意图。这里,PI#(N-1)规定文件2D1041的第一部分3901,PI#N规定文件2D1041的第二部分3902。参照图39(a),当CC是“5”时,在两个PI#(N-1)、PI#N之间STC也可以中断。即,第一部分3901的后端的PTS#1与第二部分3902的前端的PTS#2也可以不连续。但是,必须满足几个制约条件。例如,必须制作各部分3901、3902,以使得在接着第一部分3901将第二部分3902供给解码器时该解码器也能够平顺地持续解码处理。进而,必须使包含在第一部分3901中的音频流的最后的帧与包含在第二部分3902中的音频流的开头帧重复。另一方面,参照图39(b),当CC是“6”时,第一部分3901和第二部分3902在解码器的解码处理上必须作为一系列的部分加以处理。即,在第一部分3901与第二部分3902之间,STC和ATC必须都连续。同样,当SP连接条件是“5”或“6”时,在由相邻的两个SUB_PI规定的文件2D的部分之间,STC和ATC必须都连续。
[STN表]
再次参照图38,STN表3805是流登记信息的排列。所谓“流登记信息”,是单独地表示在从再现开始时刻3802到再现结束时刻3803为止的期间能够从主TS作为再现对象选择的基本流的信息。流号码(STN)3806是对流登记信息单独分配的连续号码,由再现装置102用于各基本流的识别。STN3806还在相同的种类的基本流之间表示选择的优先次序。流登记信息包括流入口3809和流属性信息3810。流入口3809包括流路径信息3807和流识别信息3808。流路径信息3807是表示选择对象的基本流所属的文件2D的信息。例如当流路径信息3807表示“主路径”时,该文件2D对应于参照片断信息3801表示的2D片断信息文件。另一方面,当流路径信息3807表示“副路径ID=1”时,选择对象的基本流所属的文件2D对应于包含在副路径ID=1的副路径中的SUB_PI的参照片断信息表示的2D片断信息文件。该SUB_PI规定的再现开始时刻或再现结束时刻的某个包含在包括STN表3805的PI所规定的再现开始时刻3802到再现结束时刻3803为止的期间。流识别信息3808表示多路复用在由流路径信息3807确定的文件2D中的基本流的PID。该PID表示的基本流在从再现开始时刻3802到再现结束时刻3803为止的期间能够被选择。流属性信息3810表示各基本流的属性信息。例如音频流、PG流、及IG流的各属性信息表示语言的种类。
[按照2D播放列表文件的2D影像的再现]
图40是表示2D播放列表文件(00001.mpls)1021表示的PTS、与从文件2D(01000.m2ts)1041再现的部分之间的对应关系的示意图。参照图40,在2D播放列表文件1021的主路径3701中,PI#1规定表示再现开始时刻IN1的PTS#1、和表示再现结束时刻OUT1的PTS#2。PI#1的参照片断信息表示2D片断信息文件(01000.clpi)1031。再现装置102在按照2D播放列表文件1021再现2D影像时,首先从PI#1读取PTS#1、#2。再现装置102接着参照2D片断信息文件1031的入口映射,检索对应于PTS#1、#2的文件2D1041内的SPN#1、#2。再现装置102接着根据SPN#1、#2计算分别对应的扇区数。再现装置102还利用这些扇区数和文件2D1041的文件入口,确定记录有再现对象的2D区段群EXT2D[0]、……,EXT2D[n]的扇区群P1的前端的LBN#1和后端的LBN#2。扇区数的计算和LBN的确定如使用图33说明的那样。再现装置102最后将从LBN#1到LBN#2的范围指定给BD-ROM驱动器121。由此,从该范围的扇区群P1读取属于2D区段群EXT2D[0]、……,EXT2D[n]的源包群。同样,将PI#2表示的PTS#3、#4之对首先利用2D片断信息文件1031的入口映射变换为SPN#3、#4之对。接着,利用文件2D1041的文件入口将SPN#3、#4之对变换为LBN#3、#4之对。进而,从LBN#3到LBN#4的范围的扇区群P2读取属于2D区段群的源包群。从PI#3表示的PTS#5、#6之对向SPN#5、#6之对的变换、从SPN#5、#6之对向LBN#5、#6之对的变换、以及从LBN#5到LBN#6的范围的扇区群P3中对源包群的读取也是同样的。这样,再现装置102能够按照2D播放列表文件1021的主路径3701从文件2D1041再现2D影像。
2D播放列表文件1021也可以包含入口标记4001。入口标记4001表示主路径3701中的、应实际开始再现的时刻。例如如图40所示,也可以对PI#1设定多个入口标记4001。入口标记4001特别是在寻找起点再现中用于再现开始位置的检索。例如在2D播放列表文件1021规定电影标题的再现路径时,将入口标记4001赋予给各章节的开头。由此,再现装置102能够将该电影标题按照每个章节进行再现。
<<3D播放列表文件>>
图41是表示3D播放列表文件的数据构造的示意图。图10所示的第二播放列表文件(00002.mpls)1022具有该数据构造。第二播放列表文件(00003.mpls)1023也是同样的。参照图41,3D播放列表文件1022包括主路径4101、副路径4102、以及扩展数据4103。
主路径4101规定图11(a)所示的主TS的再现路径。因而,主路径4101与图37所示的2D播放列表文件1021的主路径3701实质上相等。即,2D再现模式的再现装置102能够按照3D播放列表文件1022的主路径4101从文件2D1041再现2D影像。另一方面,主路径4101与图37所示的主路径3701在以下的方面不同:各PI的STN表在将一个STN与某个图形流的PID建立对应时还对该STN分配一个偏移序列ID。
副路径4102规定图11(b)、图11(c)所示的副TS的再现路径、即第一文件DEP1042或第二文件DEP1043中的某个的再现路径。副路径4102的数据构造与图37所示的2D播放列表文件1041的副路径3702、3703的数据构造是同样的。因而,关于该同样的数据构造的详细情况、特别是SUB_PI的数据构造的详细情况的说明援用使用图37的说明。
副路径4102的SUB_PI#N(N=1、2、3、……)与主路径4101的PI#N一对一地对应。进而,各SUB_PI#N规定的再现开始时刻和再现结束时刻分别与对应的PI#N规定的再现开始时刻和再现结束时刻相等。副路径4102还包括副路径类型4110。“副路径类型”一般表示在主路径与副路径之间再现处理是否应同步。在3D播放列表文件1022中,特别是副路径类型4110表示3D再现模式的种类、即应按照副路径4102再现的从属视视频流的种类。在图41中,副路径类型4110由于其值是“3D·L/R”,所以表示3D再现模式是L/R模式,即右视视频流是再现对象。另一方面,副路径类型4110表示当该值是“3D深度”时3D再现模式是深度模式,即深度图流是再现对象。3D再现模式的再现装置102当检测到副路径类型4110的值是“3D·L/R”或“3D深度”时,使按照主路径4101的再现处理与按照副路径4102的再现处理同步。
扩展数据4103是仅由3D再现模式的再现装置102解释的部分,被2D再现模式的再现装置102忽视。扩展数据4103特别包括扩展流选择表4130。“扩展流选择表(STN_table_SS)”(以下简称作STN表SS)是在3D再现模式中应对主路径4101内的各PI表示的STN表追加的流登记信息的排列。该流登记信息表示能够从副TS作为再现对象选择的基本流。
[STN表]
图42是表示3D播放列表文件1022的主路径4101包含的STN表4205的示意图。参照图42,被分配了从“5”到“11”为止的STN4206的流识别信息4208表示PG流或IG流的PID。在此情况下,被分配了相同STN的流属性信息4210包含参照偏移ID(stream_ref_offset_id)4201。在文件DEP1042中,如图19所示,在各视频序列的VAU#1配置偏移元数据1910。参照偏移ID4201等于该偏移元数据1910包含的多个偏移序列ID1912的某个。即,参照偏移ID4201规定该偏移元数据1910包含的多个偏移序列之中与从“5”到“11”为止的各STN建立了对应的偏移序列。
[STN表SS]
图43是表示STN表SS4130的数据构造的示意图。参照图43,STN表SS4130包括流登记信息串4301、4302、4303、……。流登记信息串4301、4302、4303、……单独地对应于主路径4101内的PI#1、#2、#3、……。3D再现模式的再现装置102将这些流登记信息串4301、……与对应的PI内的STN表中包含的流登记信息串组合加以使用。对于各PI的流登记信息串4301包括弹出期间的偏移(Fixed_offset_during_Popup)4311、从属视视频流的流登记信息串4312、PG流的流登记信息串4313以及IG流的流登记信息串4314。
弹出期间的偏移4311表示是否从IG流再现弹出菜单。3D再现模式的再现装置102根据该偏移4311的值来改变视频平面和PG平面的显示模式(presentation mode)。这里,在视频平面的显示模式中,有基视(B)-从属视(D)显示模式和B-B显示模式这两种。在PG平面和IG平面的各显示模式中,有2平面模式、1平面+偏移模式和1平面+零偏移模式这三种。例如在弹出期间的偏移4311的值是“0”时,不从IG流再现弹出菜单。此时,作为视频平面的显示模式而选择B-D显示模式,作为PG平面的显示模式而选择2平面模式或1平面+偏移模式。另一方面,当弹出期间的偏移4311的值是“1”时,从IG流再现弹出菜单。此时,作为视频平面的显示模式而选择B-B显示模式,作为PG平面的显示模式而选择1平面+零偏移模式。
在“B-D显示模式”中,再现装置102从左视和右视的视频流交替地输出解码后的平面数据。因而,在显示装置103的画面中,交替地显示视频平面表示的左视和右视的帧,所以对于视听者来说它们看起来为3D影像。在“B-B显示模式”中,再现装置102在将动作模式维持为3D再现模式的状态下(特别在将帧速率维持为3D再现时的值、例如48帧/秒的状态下),仅将从基视视频流解码的平面数据每一帧输出两次。因而,在显示装置103的画面上,对于视频平面仅显示左视和右视中的某个的平面,所以对于视听者来说,它们看起来仅为2D影像。
在“2平面模式”中,例如图11(b)、图11(c)所示,在副TS包括基视和从属视的图形流双方时,再现装置102从各图形流解码左视和右视的图形平面并交替地输出。在“1平面+偏移模式”中,再现装置102通过偏移控制,从主TS内的图形流生成左视和右视的图形平面之对并交替地输出。无论在哪个模式下,在显示装置103的画面上都交替地显示左视和右视的图形平面,所以对于视听者来说,它们看起来为3D图形影像。在“1平面+零偏移模式”中,再现装置102在将动作模式维持为3D再现模式的状态下使偏移控制暂时停止,将从主TS内的图形流解码后的图形平面每一帧输出两次。因而,在显示装置103的画面上,仅显示左视和右视中的某个的图形平面,所以对于视听者来说,它们看起来仅为2D图形影像。
3D再现模式的再现装置102按照每个PI参照弹出期间的偏移4311,当从IG流再现弹出菜单时选择B-B显示模式和1平面+零偏移模式。由此,在显示弹出菜单的期间,将其他3D影像暂时变更为2D影像,所以弹出菜单的视觉辨识性·操作性提高。
从属视视频流的流登记信息串4312、PG流的流登记信息串4313以及IG流的流登记信息串4314分别包括表示能够从副TS选择作为再现对象的从属视视频流、PG流以及IG流的流登记信息。这些流登记信息串4312、4313、4314分别与包含在对应的PI内的STN表中的流登记信息串中的、表示基视视频流、PG流以及IG流的信息串相组合地使用。3D再现模式的再现装置102在读取STN表内的某个流登记信息时,将组合在该流登记信息中的STN表SS内的流登记信息串也自动地读取。由此,再现装置102在将2D再现模式简单地切换为3D再现模式时,能够将已设定的STN以及语言等流属性维持为相同。
从属视视频流的流登记信息串4312一般包括多个流登记信息(SS_dependet_view_block)4320。它们与对应的PI内的流登记信息中的、表示基视视频流的信息是相同数量。各流登记信息4320包括STN4321、流入口4322、以及流属性信息4323。STN4321是对流登记信息4320单独地分配的连续号码,与对应的PI内的组合对象的流登记信息的STN相等。流入口4322包括副路径ID参照信息(ref_to_Subpath_id)4331、流文件参照信息(ref_to_subClip_entry_id)4332、以及PID(ref_to_stream_PID_subclip)4333。副路径ID参照信息4331表示副路径的副路径ID,该副路径规定从属视视频流的再现路径。流文件参照信息4332是用来识别保存有该从属视视频流的文件DEP的信息。PID4333是该从属视视频流的PID。流属性信息4323包括该从属视视频流的属性、例如帧速率、分辨率、以及视频格式。特别是,它们与对应的PI内的组合对象的流登记信息表示的基视视频流的属性是共通的。
PG流的流登记信息串4313一般包括多个流登记信息4340。它们与对应的PI内的流登记信息中的、表示PG流的信息是相同数量。各流登记信息4340包括STN4341、立体视觉标志(is_SS_PG)4342、基视流入口(stream_entry_for_base_view)4343、从属视流入口(stream_entry_for_depentdent_view)4344以及流属性信息4345。STN4341是对流登记信息4340单独地分配的连续号码,与对应的PI内的组合对象的流登记信息的STN相等。立体视觉标志4342表示“基视和从属视(例如左视和右视)两者的PG流是否记录在BD-ROM盘101上”。在立体视觉标志4342是“开”时,在副TS中包含两者的PG流。因此,基视流入口4343、从属视流入口4344、以及流属性信息4345中的任一个字段都被再现装置102读取。在立体视觉标志4342是“关”时,这些字段4343~4345都被再现装置102忽视。基视流入口4343和从属视流入口4344分别包括副路径ID参照信息4351、流文件参照信息4352以及PID4353。副路径ID参照信息4351表示用来规定基视和从属视的各PG流的再现路径的副路径的副路径ID。流文件参照信息4352是用于识别存储有各PG流的文件DEP的信息。PID4353是各PG流的PID。流属性信息4345包含PG流的属性、例如语言的种类。IG流的流登记信息串4314也具有同样的数据构造。
[按照3D播放列表文件的3D影像再现]
图44是表示3D播放列表文件(00002.mpls)1022表示的PTS、与从第一文件SS(01000.ssif)1045再现的部分之间的对应关系的示意图。参照图44,在3D播放列表文件1022的主路径4101中,PI#1规定表示再现开始时刻IN1的PTS#1、和表示再现结束时刻OUT1的PTS#2。PI#1的参照片断信息表示2D片断信息文件(01000.clpi)1031。在副路径3902中,SUB_PI#1规定与PI#1相同的PTS#1、#2。SUB_PI#1的参照片断信息表示从属视片断信息文件(02000.clpi)1032。
再现装置102在按照3D播放列表文件1022再现3D影像时,首先从PI#1和SUB_PI#1读取PTS#1、#2。再现装置102接着参照2D片断信息文件1031的入口映射,检索对应于PTS#1、#2的文件2D1041内的SPN#1、#2。与其并行地,再现装置102参照从属视片断信息文件1032的入口映射,检索对应于PTS#1、#2的第一文件DEP1042内的SPN#11、#12。再现装置102接着如图34(e)的说明所述,利用各片断信息文件1031、232的区段起点3242、3420,根据SPN#1、#11计算从第一文件SS1045的开头到再现开始位置为止的源包数SPN#21。再现装置102同样地根据SPN#2、#12计算从第一文件SS1045的开头到再现结束位置为止的源包数SPN#22。再现装置102再计算分别对应于SPN#21、#22的扇区数。再现装置102接着利用这些扇区数和第一文件SS1045的文件入口,确定记录有再现对象的区段SS群EXTSS[0]、……、EXTSS[n]的扇区群P11的前端的LBN#1和后端的LBN#2。扇区数的计算和LBN的确定与图34(e)的说明所述是同样的。再现装置102最后将从LBN#1到LBN#2为止的范围指定给BD-ROM驱动器121。由此,从该范围的扇区群P11读取属于区段SS群EXTSS[0]、……、EXTSS[n]的源包群。同样,将PI#2和SUB_PI#2表示的PTS#3、#4之对首先利用片断信息文件231、232的各入口映射变换为SPN#3、#4之对和SPN#13、#14之对。接着,根据SPN#3、#13计算从第一文件SS1045的开头到再现开始位置为止的源包数SPN#23。进而,根据SPN#4、#14计算从第一文件SS1045的开头到再现结束位置为止的源包数SPN#24。接着,利用第一文件SS1045的文件入口,将SPN#23、#24之对变换为LBN#3、#4之对。然后,从LBN#3到LBN#4的范围的扇区群P12中读取属于区段SS群的源包群。
与上述读取处理并行地,再现装置102如在图34(e)的说明所述,利用各片断信息文件1031、1032的区段起点3242、3420从各区段SS提取基视区段和从属视区段并行地解码。这样,再现装置102能够按照3D播放列表文件1022从第一文件SS1045再现3D影像。
<<索引文件>>
图45是表示图10所示的索引文件(index.bdmv)1011的数据构造的示意图。参照图45,索引文件1011包括索引表4510、3D存在标志4520、以及2D/3D偏好标志4530。
索引表4510包括项目“首先播放”4501、“顶部菜单”4502、以及“标题k”4503(k=1、2、……、n:字符n表示1以上的整数)。各项目与电影对象MVO-2D、MVO-3D、……、或者BD-J对象BDJO-2D、BDJO-3D、……中的某个建立了对应。每当通过用户的操作或者应用程序调用标题或菜单时,再现装置102的控制部参照索引表4510对应的项目。控制部还从BD-ROM盘101调用与该项目建立了对应的对象,按照它执行各种处理。具体而言,在项目“首先播放”4501中,指定了在将BD-ROM盘101插入BD-ROM驱动器121后应调用的对象。在项目“顶部菜单”4502中,指定了用来在例如通过用户的操作输入了“返回菜单”的命令时使显示装置103显示菜单的对象。在项目“标题k”4503中,单独地分配了构成BD-ROM盘101上的内容的标题。当例如通过用户的操作指定了再现对象的标题时,在分配了该标题的项目“标题k”中,指定了用来从对应于该标题的AV流文件再现影像的对象。
在图45所示的例子中,将项目“标题1”和项目“标题2”分配给2D影像的标题。与项目“标题1”建立了对应的电影对象MVO-2D包括与使用了2D播放列表文件(00001.mpls)1021的2D影像的再现处理有关的命令群。当由再现装置102参照项目“标题1”时,按照该电影对象MVO-2D从BD-ROM盘101读取2D播放列表文件1021,沿着由其规定的再现路径执行2D影像的再现处理。与项目“标题2”建立了对应的BD-J对象BDJO-2D包括与使用了2D播放列表文件1021的2D影像的再现处理有关的应用管理表。当由再现装置102参照了项目“标题2”时,按照该BD-J对象BDJO-2D内的应用管理表从JAR文件1061调用Java应用程序并执行。由此,从BD-ROM盘101读取2D播放列表文件1021,沿着由其规定的再现路径执行2D影像的再现处理。
在图45所示的例子中,还将项目“标题3”和项目“标题4”分配给3D影像的标题。与项目“标题3”建立了对应的电影对象MVO-3D除了包括与使用了2D播放列表文件1021的2D影像的再现处理有关的命令群以外,还包括与使用了3D播放列表文件(00002.mpls)1022、(00003.mpls)1023中的某个的3D影像的再现处理有关的命令群。在与项目“标题4”建立了对应的BD-J对象BDJO-3D中,应用管理表除了规定与使用了2D播放列表文件1021的2D影像的再现处理有关的Java应用程序以外,还规定与使用了3D播放列表文件1022、1023中的某个的3D影像的再现处理有关的Java应用程序。
3D存在标志4520是表示在BD-ROM盘101中是否记录有3D影像内容的标志。在BD-ROM驱动器121中插入了BD-ROM盘101时,再现装置102首先检查该3D存在标志4520。在3D存在标志4520是“开”的情况下,再现装置102必须通过HDMI电缆122与显示装置103交换CEC消息,来向显示装置103询问是否能够对应3D影像的再现。为了进行该询问,再现装置102必须对显示装置103进行HDCP认证。另一方面,在3D存在标志4520是“关”的情况下,再现装置102不需要选择3D再现模式。因而,再现装置102能够不对显示装置103进行HDCP认证而迅速地转到2D再现模式。这样,通过将HDMI认证跳过,能够缩短从BD-ROM盘101的插入到2D影像的再现开始为止的时间。
2D/3D偏好标志4530是指定当再现装置和显示装置都能够对应于2D影像和3D影像中的任一个的再现时是否应以3D影像的再现为优先的标志。2D/3D偏好标志4530由内容提供者设定。当BD-ROM盘101的3D存在标志4520是“开”时,再现装置102接着再检查2D/3D偏好标志4530。在2D/3D偏好标志4530是“开”的情况下,3D影像的再现优先,所以再现装置102不使用户选择再现模式。因此,再现装置102不使显示装置103显示再现模式的选择画面而进行HDCP认证,根据其结果,在2D再现模式和3D再现模式中的某个模式下动作。特别是,在判断出显示装置103能够对应于3D影像的再现时,再现装置102立刻以3D再现模式起动。这样,能够避免因帧速率的切换等从2D再现模式向3D再现模式转换的处理而引起的起动的延迟。
[3D影像标题的选择时的播放列表文件的选择]
在图45所示的例子中,再现装置102在参照了索引表4510的项目“标题3”时,按照电影对象MVO-3D,首先进行以下的判断处理:(1)3D存在标志4520是“开”还是“关”,(2)再现装置102自身是否对应于3D影像的再现,(3)2D/3D偏好标志4530是“开”还是“关”,(4)用户是否选择了3D再现模式,(5)显示装置103是否对应于3D影像的再现,以及(6)再现装置102的3D再现模式是L/R模式和深度模式中的哪个。再现装置102接着按照这些判断结果,选择将某个播放列表文件1021~1023作为再现对象。另一方面,再现装置102在参照了项目“标题4”时,按照BD-J对象BDJO-3D内的应用管理表从JAR文件1061调用Java应用程序并执行。由此,首先进行上述判断处理(1)~(6),接着根据该判断结果进行播放列表文件的选择。
图46是利用上述判断处理(1)~(6)选择再现对象的播放列表文件的处理的流程图。这里,作为该选择处理的前提,设想再现装置102包含第一标志和第二标志的时候。第一标志表示再现装置102是否能够对应于3D影像的再现。例如当第一标志是“0”时,再现装置102仅能够对应于2D影像的再现,当是“1”时,也能够对应于3D影像的再现。第二标志表示3D再现模式是L/R模式和深度模式中的哪个。例如当第二标志是“0”时,3D再现模式是L/R模式,当是“1”时3D再现模式是深度模式。进而,分别将3D存在标志4520和2D/3D偏好标志4530分别是“开”时的值设为“1”,将是“关”时的值设为“0”。
在步骤S4601中,再现装置102检查3D存在标志4520的值。当该值是“1”时,处理进入步骤S4602。当该值是“0”时,处理进入步骤S4607。
在步骤S4602中,3D存在标志4520是“开”,所以存在3D再现模式被选择的可能性。因此,再现装置102检查第一标志的值。当该值是“1”时,处理进入步骤S4603。当该值是“0”时,处理进入步骤S4607。
在步骤S4603中,第一标志是“开”,所以再现装置102能够对应3D影像的再现。再现装置102进而检查2D/3D偏好标志4530的值。当该值是“0”时,处理进入步骤S4604。当该值是“1”时,处理进入步骤S4605。
在步骤S4604中,2D/3D偏好标志4530是“开”,所以3D影像的再现并不优先。因此,再现装置102使显示装置103显示菜单,使用户选择2D再现模式和3D再现模式中的某个。在用户操作遥控器105等而选择了3D再现模式时,处理进入步骤S4605,当选择了2D再现模式时,处理进入步骤S4607。
在步骤S4605中,3D影像的再现优先或者由用户选择了3D再现模式。因此,再现装置102进行HDCP认证,检查显示装置103是否对应于3D影像的再现。当显示装置103对应于3D影像的再现时,处理进入步骤S4606。当显示装置103不对应于3D影像的再现时,处理进入步骤S4607。
在步骤S4606中,3D再现模式下的启动被决定。再现装置102进而检查第二标志的值。当该值是“0”时,处理进入步骤S4608。当该值是“1”时,处理进入步骤S4609。
在步骤S4607中,2D再现模式下的启动被决定。因此,再现装置102选择2D播放列表文件1021作为再现对象。另外,此时,再现装置102也可以使显示装置103显示没有选择3D影像的再现的理由。然后处理结束。
在步骤S4608中,再现装置102在L/R模式下启动。即,再现装置102选择L/R模式用的3D播放列表文件1022作为再现对象。然后处理结束。
在步骤S4609中,再现装置102在深度模式下启动。即,再现装置102选择深度模式用的3D播放列表文件1023作为再现对象。然后处理结束。
<2D再现装置的结构>
2D再现模式的再现装置102当从BD-ROM盘101再现2D影像内容时作为2D再现装置进行动作。图47是2D再现装置4700的功能框图。参照图47,2D再现装置4700包括BD-ROM驱动器4701、再现部4702、以及控制部4703。再现部4702包括读缓冲器4721、系统目标解码器4723、平面相加部4724以及HDMI通信部4725。控制部4703包括动态脚本存储器4731、静态脚本存储器4732、用户事件处理部4733、程序执行部4734、再现控制部4735以及播放器变量存储部4736。再现部4702和控制部4703安装在相互不同的集成电路中。除此以外,也可以将两者综合为单一的集成电路。
BD-ROM驱动器4701在内部中被插入了BD-ROM盘101时,对该盘101照射激光而检测其反射光的变化。进而,根据该反射光的光量的变化,读取记录到盘101中的数据。具体而言,BD-ROM驱动器4701具备光拾取器、即光学头。该光学头包括半导体激光器、准直透镜、分束器、物镜、聚光透镜、以及光检测器。从半导体激光器射出的光束依次通过准直透镜、分束器、以及物镜聚集到盘101的记录层上。聚集的光束被该记录层反射/衍射。该反射/衍射光通过物镜、分束器、以及聚光透镜聚集到光检测器上。光检测器生成电平对应于该聚光量的再现信号。还根据该再现信号解调数据。
BD-ROM驱动器4701按照来自再现控制部4735的请求从BD-ROM盘101读取数据。将该数据中的、文件2D的区段、即2D区段向读缓冲器4721转送,将动态脚本信息向动态脚本存储器4731转送,将静态脚本信息向静态脚本存储器4732转送。“动态脚本信息”包括索引文件、电影对象文件、以及BD-J对象文件。“静态脚本信息”包括2D播放列表文件和2D片断信息文件。
读缓冲器4721、动态脚本存储器4731、以及静态脚本存储器4732都是缓冲存储器。使用再现部4702中内置的存储器元件作为读缓冲器4721,使用控制部4703中内置的存储器元件作为动态脚本存储器4731以及静态脚本存储器4732。除此以外,也可以使用单一的存储器元件的不同区域作为这些缓冲存储器4721、4731、4732的一部分或全部。读缓冲器4721存储2D区段,动态脚本存储器4731存储动态脚本信息,静态脚本存储器4732存储静态脚本信息。
系统目标解码器4723从读缓冲器4721以源包为单位读取2D区段并进行多路分离处理,对分离后的各基本流进行解码处理。这里,预先从再现控制部4735向系统目标解码器4723传送各基本流的解码所需要的信息、例如编解码器的种类及流的属性。系统目标解码器4723还将解码后的主视频流、次视频流、IG流、以及PG流内的各VAU变换为主影像平面、副影像平面、IG平面、以及PG平面后向平面相加部4724发送。系统目标解码器4723特别地以1/24秒间隔发送各主影像平面。另一方面,系统目标解码器4723将解码后的主音频流与次音频流混音后向显示装置103的内置扬声器103A等声音输出装置送出。除此以外,系统目标解码器4723从程序执行部4734接收图形数据。该图形数据是用来将GUI用的菜单等图形显示在画面上的数据,用JPEG或PNG等光栅数据表现该图形数据。系统目标解码器4723将该图形数据进行处理后作为图像平面向平面相加部4724送出。另外,关于系统目标解码器4723的详细情况在后面叙述。
平面相加部4724从系统目标解码器4723读取主影像平面、副影像平面、IG平面、PG平面、以及图像平面,将它们相互叠加而合成为一个影像平面(帧或场)。特别是将合成后的影像平面以1/24秒间隔向HDMI通信部4725送出。
HDMI通信部4725从平面相加部4724接收合成后的影像数据,从系统目标解码器4723接收声音数据,从再现控制部4735接收控制数据。HDMI通信部4725还将这些接收数据变换为HDMI方式的串行信号,通过HDMI线缆122内的TMDS信道向显示装置103传送。特别是,HDMI通信部4725以图5(a)所述的格式生成该串行信号。在该格式中,各影像平面以1/24秒间隔被送出。显示装置103按照该串行信号将影像数据表示的影像显示在画面上,并且从扬声器103A放出声音数据表示的声音。另一方面,HDMI通信部4725通过HDMI线缆122内的CEC线,与显示装置103之间交换CEC消息,通过HDMI线缆122内的显示数据信道从显示装置103读取EDID。此外,关于HDMI通信部4725的详细情况在后面叙述。
用户事件处理部4733通过遥控器105或再现装置102的前面板检测用户的操作,根据该操作的种类对程序执行部4734或再现控制部4735委托处理。例如当用户按下遥控器105的按钮而指示了弹出菜单的显示时,用户事件处理部4733检测到该按下而识别该按钮。用户事件处理部4733还对程序执行部4734委托对应于该按钮的命令的执行、即弹出菜单的显示处理。另一方面,例如当用户按下了遥控器105的快进或回退按钮时,用户事件处理部4733检测到该按下而识别该按钮。用户事件处理部4733还对再现控制部4735委托当前再现过程中的播放列表的快进或回退处理。
程序执行部4734是处理器,从保存在动态脚本存储器4731中的电影对象文件及BD-J对象文件读取程序并执行。程序执行部4734还按照各程序进行以下的控制:(1)对再现控制部4735命令播放列表再现处理;(2)生成菜单用或游戏用的图形数据作为PNG或JPEG的光栅数据,将其向系统目标解码器4523转送,使系统目标解码器4523将该数据与其他影像数据合成。这些控制的具体的内容可以通过程序的设计而比较自由地设计。即,这些控制内容由BD-ROM盘101的写作工序中的、电影对象文件及BD-J对象文件的编程工序决定。
再现控制部4735控制将2D区段及索引文件等各种的数据从BD-ROM盘101向读缓冲器4721、动态脚本存储器4731、以及静态脚本存储器4732转送的处理。在该控制中,如下所述利用管理图10所示的目录/文件构造的文件系统。再现控制部4735利用文件打开用的系统调用,对文件系统赋予检索对象的文件名,使其从目录/文件构造中检索该文件名。当该检索成功时,文件系统首先对再现控制部4735内的存储器转送转送对象的文件的文件入口,在该存储器内生成FCB(File Control Block:文件控制块)。然后,文件系统对再现控制部4735返回传送对象的文件的文件句柄。再现控制部4735将该文件句柄提示给BD-ROM驱动器4701,按照该提示,BD-ROM驱动器4701从BD-ROM盘101向各缓冲存储器4721、4731、4732转送该转送对象的文件。
再现控制部4735控制BD-ROM驱动器4701和系统目标解码器4723,使其从文件2D解码影像数据和声音数据。具体而言,再现控制部4735首先根据来自程序执行部4734的命令、或来自用户事件处理部4733的委托,从静态脚本存储器4732读取2D播放列表文件并解释其内容。再现控制部4735接着按照该解释后的内容、特别是再现路径,对BD-ROM驱动器4701和系统目标解码器4723指定再现对象的文件2D,并指示其读取处理及解码处理。将这样的按照播放列表文件的再现处理称作“播放列表再现处理”。
除此以外,再现控制部4735还利用静态脚本信息对播放器变量存储部4736设定各种播放器变量。再现控制部4735还参照这些播放器变量,对系统目标解码器4723指定解码对象的基本流,并且提供各基本流的解码所需要的信息。
播放器变量存储部4736是用来存储播放器变量的寄存器群。在播放器变量的种类中有系统参数(SPRM)和通用的参数(GPRM)。SPRM表示再现装置102的状态。图48是SPRM的一览表。参照图48,对于各SPRM分配了连续号码4801,将变量值4802单独地与各连续号码4801建立了对应。SPRM例如是64个,各自表示的意义如下。这里,括号内的数字表示连续号码4801。
SPRM(0):语言代码
SPRM(1):主音频流编号
SPRM(2):字幕流编号
SPRM(3):角度编号
SPRM(4):标题编号
SPRM(5):章节编号
SPRM(6):程序编号
SPRM(7):单元编号
SPRM(8):选择关键字信息
SPRM(9):导航定时器
SPRM(10):再现时刻信息
SPRM(11):卡拉OK用混合模式
SPRM(12):家长用国家信息
SPRM(13):家长等级
SPRM(14):播放器设定值(视频)
SPRM(15):播放器设定值(音频)
SPRM(16):音频流用语言代码
SPRM(17):音频流用语言代码(扩展)
SPRM(18):字幕流用语言代码
SPRM(19):字幕流用语言代码(扩展)
SPRM(20):播放器区域码
SPRM(21):次视频流编号
SPRM(22):次音频流编号
SPRM(23):再现状态
SPRM(24)~SPRM(63):预留
SPRM(10)表示解码处理过程中的图片的PTS,每当该图片被解码并写入到主影像平面存储器中时被更新。因而,只要参照SPRM(10),就能够知道当前的再现时刻。
SPRM(13)的家长等级表示利用再现装置102的视听者的年龄下限,用于对记录在BD-ROM盘101中的标题的视听进行家长控制。SPRM(13)的值由再现装置102的用户利用再现装置102的OSD等设定。这里,所谓“家长控制”,是指进行按照视听者的年龄限制标题的视听的处理。再现装置102例如如以下这样进行对各标题的家长控制。再现装置102首先从BD-ROM盘101读取针对该标题视听的限制年龄,与SPRM(13)的值比较。这里,该限制年龄表示被容许进行该标题视听的视听者的年龄下限。如果该限制年龄是SPRM(13)的值以下,则再现装置102继续该标题的再现。如果该限制年龄是超过SPRM(13)的值,则再现装置102停止该标题的再现。
SPRM(16)的音频流用语言代码、以及SPRM(18)的字幕流用语言代码表示再现装置102的默认的语言代码。它们也可以利用再现装置102的OSD等由用户变更,也可以经由程序执行部4734由应用程序变更。例如当SPRM(16)表示“英语”时,再现控制部4735在播放列表再现处理中,首先从表示当前时刻的再现区间的PI即当前PI所包含的STN表中检索包含“英语”的语言代码的流入口。再现控制部4735接着从该流入口的流识别信息中提取PID,传递给系统目标解码器4723。由此,由系统目标解码器4723选择该PID的音频流并解码。能够利用电影对象文件或BD-J对象文件使再现控制部4735执行这些处理。
播放器变量在再现处理过程中由再现控制部4735根据再现状态的变化更新。特别是将SPRM(1)、SPRM(2)、SPRM(21)、以及SPRM(22)更新。它们依次表示处理过程中的音频流、字幕流、次视频流、以及次音频流的各STN。设想例如由程序执行部4734变更了SPRM(1)的时候。再现控制部4735首先利用变更后的SPRM(1)表示的STN,从当前PI内的STN表中检索包含该STN的流入口。再现控制部4735接着从该流入口内的流识别信息中提取PID并传递给系统目标解码器4723。由此,由系统目标解码器4723选择该PID的音频流并解码。这样,切换再现对象的音频流。同样,还能够切换再现对象的字幕以及次视频流。
<2D再现装置的再现动作>
图49是图47所示的2D再现装置4700的再现动作的流程图。在图46所示的选择处理的结果是在2D再现模式下启动再现装置102时开始该动作。
在步骤S4901中,2D再现装置4700通过BD-ROM驱动器4701将流数据从BD-ROM盘101读取后存储到读缓冲器4721。然后,处理进入步骤S4902。
在步骤S4902中,2D再现装置4700通过系统目标解码器4723从读缓冲器4721读取流数据,从该流数据中多路分离基本流。然后,处理进入步骤S4903。
在步骤S4903中,2D再现装置4700通过系统目标解码器4723将各基本流解码。特别是,主视频流、次视频流、IG流以及PG流分别被解码为主影像平面、副影像平面、IG平面以及PG平面。进而,主音频流和次音频流被混音。此外,来自程序执行部4734的图形数据被变换为图像平面。然后,处理进入步骤S4904。
在步骤S4904中,2D再现装置4700通过平面相加部4724将由系统目标解码器4723解码后的主影像平面、副影像平面、IG平面、PG平面以及图像平面合成为一个影像平面。然后,处理进入步骤S4905。
在步骤S4905中,2D再现装置4700通过HDMI通信部4725将由平面相加部4724合成后的影像平面、由系统目标解码器4723混音后的声音数据以及来自再现控制部4735的控制数据变换为串行信号,通过HDMI线缆122传送给显示装置103。特别是,以图5(a)所示的格式生成该串行信号。在该格式中,以1/24秒间隔发送各影像平面。然后,处理进入步骤S4906。
在步骤S4906中,2D再现装置4700检查在读缓冲器4721内是否剩余有未处理的流数据。在剩余时,从步骤S4901开始重复处理。在没有剩余时,处理结束。
<<2D播放列表再现处理>>
图50是再现控制部4735进行的2D播放列表再现处理的流程图。2D播放列表再现处理是按照2D播放列表文件进行的播放列表再现处理,通过再现控制部4735从静态脚本存储器4732读取2D播放列表文件而开始。
在步骤S5001中,再现控制部4735首先从2D播放列表文件内的主路径读取一个PI,设定为当前PI。再现控制部4735接着从当前PI的STN表中选择再现对象的基本流的PID,并且确定它们的解码所需要的属性信息。将所选择的PID和属性信息指示给系统目标解码器4723。再现控制部4735还根据2D播放列表文件内的副路径确定附属于当前PI的SUB_PI。然后,处理进入步骤S5002。
在步骤S5002中,再现控制部4735从当前PI读取参照片断信息、表示再现开始时刻IN1的PTS#1、以及表示再现结束时刻OUT1的PTS#2。根据该参照片断信息确定与再现对象的文件2D相对应的2D片断信息文件。进而,当存在附属于当前PI的SUB_PI时,从它们也读取同样的信息。然后,处理进入步骤S5003。
在步骤S5003中,再现控制部4735参照2D片断信息文件的入口映射,检索对应于PTS#1、#2的文件2D内的SPN#1、#2。将SUB_PI表示的PTS之对也同样地变换为SPN之对。然后,处理进入步骤S5004。
在步骤S5004中,再现控制部4735根据SPN#1、#2计算分别与其对应的扇区数。具体而言,再现控制部4735首先求出SPN#1、#2分别与每一个源包的数据量192字节的乘积。再现控制部4735接着将各乘积用每一个扇区的数据量2048字节除而求出该商:N1=SPN#1×192/2048、N2=SPN#2×192/2048。商N1、N2等于记录有主TS中的分别被分配了SPN#1、#2的源包之前的部分的扇区的总数。将从SUB_PI表示的PTS之对变换的SPN之对也同样地变换为扇区数之对。然后,处理进入步骤S5005。
在步骤S5005中,再现控制部4735根据在步骤S5004中得到的扇区数N1、N2的每一个,确定再现对象的2D区段群的前端和后端的LBN。具体而言,再现控制部4735参照再现对象的文件2D的文件入口,确定从记录有2D区段群的扇区群的开头数第(N1+1)个扇区的LBN=LBN#1、和第(N2+1)个扇区的LBN=LBN#2。再现控制部4735还将从LBN#1到LBN#2的范围指定给BD-ROM驱动器4701。将从SUB_PI表示的PTS之对变换的扇区数之对也同样变换为LBN之对,并指定给BD-ROM驱动器4701。其结果,从指定的范围的扇区群以校准单元为单位读取属于2D区段群的源包群。然后,处理进入步骤S5006。
在步骤S5006中,再现控制部4735检查在主路径中是否剩余有未处理的PI。在有剩余时,将处理从步骤S5001重复。在没有剩余时,处理结束。
<<系统目标解码器>>
图51是系统目标解码器4723的功能框图。参照图51,系统目标解码器4723包括源包解包器5110、ATC计数器5120、第一27MHz时钟5130、PID过滤器5140、STC计数器(STC1)5150、第二27MHz时钟5160、主影像解码器5170、副影像解码器5171、PG解码器5172、IG解码器5173、主声音解码器5174、副声音解码器5175、图像处理器5180、主影像平面存储器5190、副影像平面存储器5191、PG平面存储器5192、IG平面存储器5193、图像平面存储器5194、以及混音器5195。
源包解包器5110从读缓冲器4721中读取源包,从其中取出TS包并向PID过滤器5140送出。源包解包器5110还使该送出时刻与各源包的ATS表示的时刻相匹配。具体而言,源包解包器5110首先监视ATC计数器5120生成的ATC的值。这里,通过ATC计数器5120将ATC的值对应于第一27MHz时钟5130的时钟信号的脉冲而递增。源包解包器5110接着在ATC的值与源包的ATS一致的瞬间,将从该源包取出的TS包转送给PID过滤器5140。通过这样的送出时刻的调节,TS包从源包解包器5110向PID过滤器5140转送的平均传送速度不超过由图32所示的2D片断信息文件1031内的系统速率3211规定的值RTS。
PID过滤器5140首先监视从源包解包器5110送出的TS包包含的PID。当该PID与从再现控制部4735预先指定的PID一致时,PID过滤器5140选择该TS包,向适合进行该PID表示的基本流的解码的解码器5170~5175传送。例如当PID是0x1011时,将该TS包向主影像解码器5170传送。另一方面,当PID属于0x1B00~0x1B1F、0x1100~0x111F、0x1A00~0x1A1F、0x1200~0x121F、以及0x1400~0x141F的各范围时,将TS包分别向副影像解码器5171、主声音解码器5174、副声音解码器5175、PG解码器5172、以及IG解码器5173传送。
PID过滤器5140还利用各TS包的PID从该TS包之中检测PCR。PID过滤器5140此时将STC计数器5150的值设定为规定值。这里,STC计数器5150的值对应于第二27MHz时钟5160的时钟信号的脉冲而递增。此外,将应对STC计数器5150设定的值预先从再现控制部4735指示给PID过滤器5140。各解码器5170~5175利用STC计数器5150的值作为STC。具体而言,各解码器5170~5175首先将从PID过滤器5140接收到的TS包重构为PES包。各解码器5170~5175接着将该PES有效载荷包含的数据的解码处理的时期按照包含在该PES头中的PTS或DTS表示的时刻进行调节。
主影像解码器5170如图51所示,包括传输流缓冲器(TB:TransportStream Buffer)5101、多路复用缓冲器(MB:Multiplexing Buffer)5102、基本流缓冲器(EB:Elementary Stream Buffer)5103、压缩影像解码器(DEC)5104、以及解码图片缓冲器(DPB:Decoded Picture Buffer)5105。
TB5101、MB5102、以及EB5103都是缓冲存储器,分别利用内置在主影像解码器5170中的存储器元件的一区域。除此以外,也可以将它们中的某些或全部分离为不同的存储器元件。TB5101将从PID过滤器5140接收到的TS包原样储存。MB5102将从储存在TB5101中的TS包复原后的PES包加以储存。另外,在从TB5101向MB5102转送TS包时,从该TS包除去TS头。EB5103从PES包中提取编码后的VAU并保存。在该VAU中,保存有压缩图片,即I图片、B图片、以及P图片。另外,在从MB5102向EB5103转送数据时,从该PES包除去PES头。
DEC5104是专用于压缩图片的解码处理的硬件解码器,特别由具备该解码处理的加速器功能的LSI构成。DEC5104在包含在原来的PES包中的DTS表示的时刻从EB5103内的各VAU解码图片。在该解码处理中,DEC5104预先解析该VAU的头,确定保存在该VAU内的压缩图片的压缩编码方式和流属性,根据它们选择解码方法。这里,该压缩编码方式例如包括MPEG-2、MPEG-4AVC、以及VC1。DEC5104还将解码后的非压缩的图片向DPB5105转送。
DPB5105是与TB5101、MB5102、以及EB5103同样的缓冲存储器,利用内置在主影像解码器5170中的存储器元件的一区域。DPB5105除此以外也可以分离为与其他缓冲存储器5101、5102、5103不同的存储器元件。DPB5105临时保持解码后的图片。当由DEC5104将P图片或B图片解码时,DPB5105根据来自DEC5104的指示,从保持的解码后的图片中检索参照图片,并提供给DEC5104。DPB5105还将保持的各图片在包含在原来的PES包中的PTS表示的时刻向主影像平面存储器5190写入。
副影像解码器5171包括与主影像解码器5170同样的结构。副影像解码器5171首先将从PID过滤器5140接收到的次视频流的TS包解码为非压缩的图片。副影像解码器5171接着在包含在该PES包中的PTS表示的时刻将非压缩的图片向副影像平面存储器5191写入。
PG解码器5172将从PID过滤器5140接收到的TS包解码为非压缩的图形对象,在包含在该PES包中的PTS表示的时刻向PG平面存储器5192写入。关于该写入处理的详细情况在后面叙述。
IG解码器5173将从PID过滤器5140接收到的TS包解码为非压缩的图形对象。IG解码器5173还在包含在从这些TS包复原的PES包中的PTS表示的时刻,将该非压缩的图形对象向IG平面存储器5193写入。这些处理的详细情况与PG解码器5172的处理是同样的。
主声音解码器5174首先将从PID过滤器5140接收到的TS包储存到内置的缓冲器中。主声音解码器5174接着从该缓冲器内的TS包群中除去TS头和PES头,将剩余的数据解码为非压缩的LPCM声音数据。主声音解码器5174还在包含在原来的PES包中的PTS表示的时刻将该声音数据送出到混音器5195。这里,主声音解码器5174根据包含在TS包中的主音频流的压缩编码方式以及流属性,选择压缩声音数据的解码方法。该压缩编码方式包括例如AC-3或DTS。
副声音解码器5175包括与主声音解码器5174同样的结构。副声音解码器5175首先根据从PID过滤器5140接收到的次音频流的TS包群复原PES包,将该PES有效载荷所包含的数据解码为非压缩的LPCM声音数据。副声音解码器5175接着在该PES包包含的PTS表示的时刻将该非压缩的LPCM声音数据向混音器5195送出。这里,副声音解码器5175根据包含在TS包中的次音频流的压缩编码方式以及流属性选择压缩声音数据的解码方法。该压缩编码方式例如包括杜比数字+或DTS-HD LBR。
混音器5195从主声音解码器5174和副声音解码器5175分别接收非压缩的声音数据,使用它们进行混合。混音器5195还将通过该混合得到的合成音向显示装置103的内置扬声器103A等送出。
图像处理器5180从程序执行部4734接收图形数据,即PNG或JPEG的光栅数据。图像处理器5180此时进行对该图形数据的绘制处理,并向图像平面存储器5194写入。
《PG解码器进行的解码处理》
图52(a)是表示PG解码器5172从PG流内的一个数据入口解码图形对象的处理的流程图。在PG解码器5172从PID过滤器5140接收到构成图14所示的一个数据入口的TS包群时开始该处理。图52(b)~图52(e)是表示按照图52(a)所示的处理变化的图形对象的示意图。
在步骤S5201中,PG解码器5172首先确定具有与PCS内的参照对象ID1405相同的对象ID的ODS。PG解码器5172接着从所确定的ODS解码图形对象并写入到对象缓冲器中。这里,“对象缓冲器”是内置在PG解码器5172中的缓冲存储器。图52(b)所示的“笑脸娃娃标记”FOB表示写入在对象缓冲器中的图形对象的例子。
在步骤S5202中,PG解码器5172按照PCS内的裁剪信息1402进行裁剪处理,从图形对象切掉其一部分后写入到对象缓冲器中。在图52(c)中,从笑脸娃娃标记FOB的左右的两端部切掉带状区域LST、RST,将剩余的部分OBJ写入到对象缓冲器中。
在步骤S5203中,PG解码器5172首先确定具有与PCS内的参照窗口ID1403相同的窗口ID的WDS。PG解码器5172接着根据所确定的WDS表示的窗口位置1412、和PCS内的对象显示位置1401,决定图形平面中的图形对象的显示位置。在图52(d)中,决定为图形平面GPL中的窗口WIN的左上角的位置、和图形对象OBJ的左上角的位置DSP。
在步骤S5204中,PG解码器5172将对象缓冲器内的图形对象写入到在步骤S5203中决定的显示位置上。此时,PG解码器5172利用WDS表示的窗口尺寸1413,决定描绘图形对象的范围。在图52(d)中,图形对象OBJ在图形平面GPL中被写入到从左上角的位置DSP开始的窗口WIN的范围内。
在步骤S5205中,PG解码器5172首先确定具有与PCS内的参照调色板ID1404相同的调色板ID的PDS。PG解码器5172接着利用PDS内的CLUT1422,决定图形对象内的各像素数据应表示的彩色坐标值。在图52(e)中,决定图形对象OBJ内的各像素的颜色。这样,一个数据入口包括的图形对象的描绘处理完成。执行步骤S5201~5205,直到包含在与该图形对象相同的PES包中的PTS表示的时刻为止。
<HDMI通信部>
图53是表示HDMI通信部4725的构成的功能框图。HDMI通信部4725通过HDMI线缆122与显示装置103、特别是图3所示HDMI通信部211连接。由此,HDMI通信部4725对从系统目标解码器4723和平面相加部4724分别向显示装置103送出的流数据进行中继。HDMI通信部4725还对再现控制部4735与显示装置103之间的数据交换进行中继。参照图53,HDMI通信部4725包括TMDS编码器5301、EDID读取部5302以及CEC部5303。
TMDS编码器5301通过HDMI线缆122内的TMDS信道CH1、CH2、CH3、CLK向显示装置103发送表示影像数据、声音数据、辅助数据以及控制信号的串行信号。特别是,TMDS编码器5301通过各数据信道CH1~3,例如将R、G、B的各图片数据(8比特)、4比特的声音数据和辅助数据(信息帧)以及2比特的控制信号(包括水平同步信号和垂直同步信号)分别变换为10比特的数据串后送出。特别是,TMDS编码器5301以图5(a)所示的格式生成该串行信号。进而,TMDS编码器5301以1/24秒间隔发送各影像平面。
EDID读取部5302通过HDMI线缆122内的显示数据信道DDC与图3所示的EDID存储部302连接。EDID读取部5302从EDID存储部302读取表示显示装置103的功能、性能、状态的EDID。此外,EDID读取部5302与图3所示的信号处理部220之间通过显示数据信道DDC进行HDCP认证。
CEC部5303通过HDMI线缆122内的CEC线CEC与图3所示的CEC部303之间交换CEC消息。特别是,CEC部5303将再现装置102从遥控器105接收到的信息变换为CEC消息后,通知给信号处理部220,或者相反地,从信号处理部220通知显示装置103从遥控器105接收到的信息作为CEC消息。
<3D再现装置的结构>
3D再现模式的再现装置102在从BD-ROM盘101再现3D影像内容时,作为3D再现装置进行动作。其结构的基本部分与图47、图51、图53所示的2D再现装置的结构是同样的。因而,以下对从2D再现装置的结构的扩展部分及变更部分进行说明,对基本部分的详细情况的说明援用对上述2D再现装置的说明。此外,在2D播放列表再现处理中使用的结构与2D再现装置的结构是同样的。因而,关于其详细情况的说明也援用关于上述2D再现装置的说明。在以下的说明中,设想按照3D播放列表文件进行的3D影像的再现处理、即3D播放列表再现处理。
图54是3D再现装置5400的功能框图。3D再现装置5400包括BD-ROM驱动器5401、再现部5402、以及控制部5203。再现部5402包括开关5402、第一读缓冲器(RB1)5421、第二读缓冲器(RB2)5422、系统目标解码器5423、平面相加部5424、以及HDMI通信部5425。控制部5403包括动态脚本存储器5431、静态脚本存储器5432、用户事件处理部5433、程序执行部5434、再现控制部5435、以及播放器变量存储部5436。再现部5402和控制部5403安装在相互不同的集成电路中。除此以外,也可以将两者综合在单一的集成电路中。特别是,动态脚本存储器5431、静态脚本存储器5432、用户事件处理部5433、以及程序执行部5434与图47所示的2D再现装置内的单元是同样的。因而,关于它们的详细情况的说明援用对上述2D再现装置的说明。
再现控制部5435在被从程序执行部5434等命令了3D播放列表再现处理时,从保存在静态脚本存储器5432中的3D播放列表文件依次读取PI,设定为当前PI。再现控制部5435每当设定当前PI时,首先,按照该STN表和该3D播放列表文件内的STN表SS,设定系统目标解码器5423和平面相加部5424的动作条件。具体而言,再现控制部5435选择解码对象的基本流的PID,与该基本流的解码所需要的属性信息一起向系统目标解码器5423传递。在所选择的PID表示的基本流之中包含有PG流或IG流的情况下,再现控制部5435还确定对这些流数据分配的参照偏移ID4201,设定在播放器变量存储部5436内的SPRM(27)中。此外,再现控制部5435根据STN表SS表示的弹出期间的偏移4311选择各平面数据的显示模式,并指示给系统目标解码器5423和平面相加部5424。
接着,再现控制部5435按照当前PI,以图34(e)的说明所述的顺序,将记录有读取对象的区段SS的扇区群的LBN的范围指示给BD-ROM驱动器5401。另一方面,再现控制部5435利用保存在静态脚本存储器5432中的片断信息文件内的区段起点,生成表示各区段SS内的数据块的边界的信息。以下将该信息称为“数据块边界信息”。数据块边界信息表示例如从该区段SS的开头到各边界为止的源包数。再现控制部5435还向开关5420传递数据块边界信息。
播放器变量存储部5436与2D再现装置内的单元4736同样地,包括SPRM。但是,与图48不同,SPRM(24)包含图46所示的第一标志,SPRM(25)包含第二标志。当SPRM(24)是“0”时,再现装置102仅能够对应于2D影像的再现,当是“1”时,也能够对应于3D影像的再现。当SPRM(25)是“0”、“1”、“2”时,再现装置102分别是L/R模式、深度模式、2D再现模式。SPRM(27)包含被分配给各平面数据的参照偏移ID4201的存储区域。具有来说,SPRM(27)包含用于存储四种参照偏移ID的区域。这些参照偏移ID是针对PG平面的参照偏移ID(PG_ref_offset_id)、针对IG平面的参照偏移ID(IG_ref_offset_id)、针对副影像平面的参照偏移ID(SV_ref_offset_id)、以及针对图像平面的参照偏移ID(IM_ref_offset_id)。
BD-ROM驱动器5401包括与图47所示的2D再现装置内的4701同样的构成要素。BD-ROM驱动器5401在从再现控制部5435被指示了LBN的范围时,从该范围表示的BD-ROM盘101上的扇区群读取数据。特别是将属于文件SS的区段即属于区段SS的源包群从BD-ROM驱动器5401向开关5420转送。这里,各区段SS如图23所示,包括一个以上的基视和从属视的数据块之对。必须将这些数据块向RB15421、RB25422并行传送。因而,对于BD-ROM驱动器5401要求2D再现装置内的BD-ROM驱动器4701以上的访问速度。
开关5420从BD-ROM驱动器5401接收区段SS。另一方面,开关5420从再现控制部5435接收与该区段SS有关的数据块边界信息。开关5420还利用该数据块边界信息,从各区段SS提取基视区段后向RB15421送出,提取从属视区段后向RB25422送出。
RB15421和RB25422都是利用了再现部5402内的存储器元件的缓冲存储器。特别是将单一的存储器元件内的不同的区域作为RB15421、RB25422使用。除此以外,也可以将不同的存储器元件单独地作为RB15421、RB25422使用。RB15421、RB25422分别从开关5420接收基视区段、从属视区段加以保存。
系统目标解码器5423在3D播放列表再现处理中,首先,从再现控制部5435接收解码对象的流数据的PID、和在该解码中需要的属性信息。系统目标解码器5423接着从保存在RB15421中的基视区段和保存在RB25422中的从属视区段交替地读取源包。系统目标解码器5423接着将从再现控制部5435接收到的PID表示的基本流从各源包中分离并解码。系统目标解码器5423还将解码后的基本流按照其种类写入到内置的平面存储器中。基视视频流被写入到左影像平面存储器中,从属视视频流被写入到右影像平面存储器中。另一方面,次视频流被写入到副影像平面存储器中,IG流被写入到IG平面存储器中,PG流被写入到PG平面存储器中。这里,如图11(b)、图11(c)中表示的PG流等所示,在视频流以外的流数据由基视和从属视的流数据之对构成时,对基视平面和从属视平面这两者单独准备应与该流数据建立对应的平面存储器。系统目标解码器5423除此以外,对来自程序执行部5434的图形数据、例如JPEG或PNG等光栅数据进行绘制处理,写入到图像平面存储器中。
系统目标解码器5423使来自左影像平面存储器和右影像平面存储器的平面数据的输出模式如以下这样对应于B-D显示模式和B-B显示模式中的某个。当从再现控制部5435被指示了B-D显示模式时,系统目标解码器5423从左影像平面存储器和右影像平面存储器交替地送出平面数据。特别是,系统目标解码器5423以1/48秒间隔将左视平面和右视平面分别向平面相加部5424送出。另一方面,当从再现控制部5435被指示了B-B显示模式时,系统目标解码器5423将动作模式维持为3D再现模式的状态下,仅从左影像平面存储器和右影像平面存储器中的某个将平面数据每一帧输出两次,即,以1/48秒间隔每两次地送出。
系统目标解码器5423使来自图形平面存储器和副影像平面存储器的平面数据的输出模式如以下这样分别对应于2平面模式、1平面+偏移模式、以及1平面+零偏移模式。图形平面存储器包括PG平面存储器、IG平面存储器和图像平面存储器。
当从再现控制部5435被指示了2平面模式时,系统目标解码器5423从各平面存储器向平面相加部5424交替地送出基视平面和从属视平面。
当从再现控制部5435被指示了1平面+偏移模式时,系统目标解码器5423从各平面存储器向平面相加部5424送出表示2D影像的平面数据。与其并行地,系统目标解码器5423每次从从属视视频流读取各视频序列的开头的VAU时,从该VAU读取偏移元数据1910。在该视频序列的再现区间,系统目标解码器5423首先确定与各VAU一起保存在相同PES包中的PTS、和该VAU的压缩图片数据表示的帧的号码。系统目标解码器5423接着从偏移元数据读取与该帧号码建立了对应的偏移信息,在所确定的PTS表示的时刻向平面相加部5424送出。
当从再现控制部5435被指示了1平面+零偏移模式时,系统目标解码器5423从各平面存储器向平面相加部5424送出表示2D影像的平面数据。与其并行地,系统目标解码器5423向平面相加部5424送出偏移值被设定为“0”的偏移信息。
平面相加部5424从系统目标解码器5423接收各种平面数据,将它们相互叠加而合成为一个平面数据(帧或场)。特别是,在L/R模式中,左影像平面表示左视视频平面,右影像平面表示右视视频平面。因而,平面相加部5424对于左影像平面叠加表示左视的其他平面数据,对于右影像平面数据叠加表示右视的其他平面数据。另一方面,在深度模式中,右影像平面表示相对于左影像平面表示的影像的深度图。因而,平面相加部5424首先根据两者的影像平面生成左视和右视的视频平面之对。之后的合成处理与L/R模式下的合成处理同样。
平面相加部5424当从再现控制部5435被指示了1平面+偏移模式作为副影像平面或图形平面(PG平面、IG平面、或图像平面)的显示模式时,对该平面数据进行偏移控制。具体来说,平面相加部5424首先从播放器变量存储部5436内的SPRM(27)读取针对该图形平面的参照偏移ID。平面相加部5424接着参照从系统目标解码器5423接受到的偏移信息,检索属于参照偏移ID表示的偏移序列1913的偏移信息、即偏移方向1922与偏移值1923之对。平面相加部5424接着利用检索到的偏移值,针对对应的平面数据进行偏移控制。由此,平面相加部5424从一个平面数据生成左视平面和右视平面之对,合成到对应的视频平面上。
平面相加部5424当从再现控制部5435被指示了1平面+零偏移模式时,不参照SPRM(27),而将针对各平面数据的偏移值设为“0”。由此,平面相加部5424使针对各平面数据的偏移控制暂时停止。因而,相同的平面数据被合成到左视视频平面和右视视频平面双方上。
平面相加部5424当从再现控制部5435被指示了2平面模式时,从系统目标解码器5423接收基视平面和从属视平面之对。这里,在L/R模式下,基视平面表示左视平面,从属视平面表示右视平面。因此,平面相加部5424将基视平面重叠到左影像平面上,将从属视平面重叠到右影像平面。另一方面,在深度模式下,从属视平面表示针对基视平面表示影像的深度图。因此,平面相加部5424首先从基视平面和从属视平面之对生成左视平面和右视平面之对,之后,进行与视频平面的合成处理。
平面相加部5424除此之外,还将合成后的平面数据的输出形式匹配于显示装置103等、该数据的输出目的地的装置的3D影像的显示方式而进行变换。例如在输出目的地的装置采用时分式时,平面相加部5424将合成后的平面数据作为一个影像平面(帧或场)送出。在这种情况下,平面相加部5424以1/48秒间隔将该合成后的左视平面和右视平面分别交替地送出到HDMI通信部5425。另一方面,在输出目的地的装置使用双凸透镜时,平面相加部5424利用内置的缓冲存储器,将左视平面和右视平面之对合成为一个影像平面后送出。具体而言,平面相加部5424将先合成的左视平面暂时保存在该缓冲存储器中加以保持。平面相加部5424接着合成右视平面,再与保持在缓冲存储器中的左视平面合成。在该合成中,将左视平面和右视平面分别沿纵向分割为细长的短条形的小区域,将各小区域在一个帧或场之中沿横向交替地排列而重构为一个帧或场。这样,将左视平面和右视平面之对合成为一个影像平面。在此情况下,平面相加部5424以1/48秒间隔将该合成后的影像平面向HDMI通信部5425送出。
HDMI通信部5425从平面相加部5424接收合成后的影像数据,从系统目标解码器5423接收声音数据,从再现控制部5435接收控制数据。HDMI通信部5425还将这些接收数据变换为HDMI方式的串行信号,通过HDMI线缆122内的TMDS信道传送给显示装置103。特别是,HDMI通信部5425以图5(a)所示的格式生成该串行信号。此时,构成一个3D影像的帧的左视平面L和右视平面R之对在图5(b)所示的并列方式(side-by-side)中,被配置在图5(a)所示的一个有效显示区域VACT×HACT内。此外,也可以是各对在图5(c)~图5(e)中的任一个方式中都配置在有效显示区域VACT×HACT内。无论在哪个方式下,HDMI通信部5425都以1/24秒间隔将左视平面和右视平面分别送出。另一方面,HDMI通信部5425通过HDMI线缆122与显示装置103之间交换CEC消息。此外,HDMI通信部5425通过显示数据信道DDC从显示装置103读取EDID,进而,对显示装置103进行HDCP认证,向显示装置103询问是否能够对应3D影像的再现。
<3D再现装置的再现动作>
图55是图54所示的3D再现装置5400的再现动作的流程图。在图46所示的选择处理的结果是在3D再现模式下启动再现装置102时开始该动作。
在步骤S5501中,3D再现装置5400首先通过BD-ROM驱动器5401从BD-ROM盘101读取流数据。3D再现装置5400接着利用开关5420从该流数据提取基视区段和从属视区段,并分别存储到RB15421、RB25422。之后,处理进入步骤S5502。
在步骤S5502中,3D再现装置5400通过系统目标解码器5423从RB15421读取基视区段,从RB25422读取从属视区段。3D再现装置5400还从各区段多路分离基本流。之后,处理进入步骤S5503。
在步骤S5503中,3D再现装置5400通过系统目标解码器5423将各基本流解码。特别是,分别从基视区段和从属视区段解码后得到的主视频流被解码到基视视频平面和从属视视频平面。次视频流、IG流和PG流分别被解码到副视频平面、IG平面和PG平面。进而,主音频流和次音频流被混音。此外,来自程序执行部5434的图形数据被变换到图像平面。之后,处理进入步骤S5504。
在步骤S5504中,3D再现装置5400首先通过平面相加部5424将由系统目标解码器5423解码后的基视视频平面和从属视视频平面之对变换为左视平面和右视平面之对。3D再现装置5400接着通过平面相加部5424将副影像平面、IG平面、PG平面或图像平面分别合成到左视平面和右视平面。这里,平面相加部5424根据需要对副影像平面、IG平面、PG平面以及图像平面赋予偏移后,变换为左视平面和右视平面之对。然后,处理进入步骤S5505。
在步骤S5505中,3D再现装置5400通过HDMI通信部5425将由平面相加部5424合成后的影像平面、由系统目标解码器5423混音后的声音数据以及来自再现控制部5435的控制数据变换为串行信号,通过HDMI线缆122传送给显示装置103。特别是,以图5(a)所示的格式生成该串行信号。此时,左视平面L和右视平面R之对在图5(b)所示的并列方式(side-by-side)中,被配置在有效显示区域VACT×HACT内。此外,也可以是各对在图5(c)~图5(e)中的任一个方式中都配置在有效显示区域VACT×HACT内。无论在哪个方式下,左视平面和右视平面分别以1/24秒间隔被送出。然后,处理进入步骤S5506。
在步骤S5506中,3D再现装置5400检查在RB15421中是否剩余有未处理的基视区段。在剩余时,从步骤S5501开始重复处理。在没有剩余时,处理结束。
<<3D播放列表再现处理>>
图56是再现控制部5435进行的3D播放列表再现处理的流程图。通过再现控制部5435从静态脚本存储器5432读取3D播放列表文件,来开始3D播放列表再现处理。
在步骤S5601中,再现控制部5435首先从3D播放列表文件内的主路径读取一个PI,设定为当前的PI。再现控制部5435接着从该当前PI的STN表选择再现对象的基本流的PID,并且确定在它们的解码中需要的属性信息。再现控制部5435还从3D播放列表文件内的STN表SS4130中的、对应于当前PI的表中,选择应作为再现对象的基本流而追加的基本流的PID,并且确定在它们的解码中需要的属性信息。将所选择的PID和属性信息指示给系统目标解码器5423。再现控制部5435除此以外,根据3D播放列表文件内的副路径确定应与当前PI同时参照的SUB_PI,设定为当前的SUB_PI。然后,处理进入步骤S5602。
在步骤S5602中,再现控制部5435根据STN表SS表示的弹出期间的偏移4311选择各平面数据的显示模式,并指示给系统目标解码器5423和平面相加部5424。特别是,当弹出期间的偏移的值是“0”时,作为视频平面的显示模式而选择B-D显示模式,作为图形平面的显示模式而选择2平面模式或1平面+偏移模式。另一方面,当弹出期间的偏移的值是“1”时,作为视频平面的显示模式而选择B-B显示模式,作为图形平面的显示模式而选择1平面+零偏移模式。然后,处理进入步骤S5603。
在步骤S5603中,检查是否作为图形平面的显示模式而选择了1平面+偏移模式。在选择了1平面+偏移模式的情况下,处理进入步骤S5604。另一方面,在选择了2平面模式或1平面+零偏移模式的情况下,处理进入步骤S5605。
在步骤S5604中,由于选择了1平面+偏移模式,所以必须从从属视视频流提取偏移信息。因此,再现控制部5435首先参照当前PI的STN表,从所选择的PID表示的基本流之中检测PG流或IG流。再现控制部5435接着确定对这些流数据分配的参照偏移ID,设定在播放器变量存储部5436内的SPRM(27)中。然后,处理进入步骤S5605。
在步骤S5605中,再现控制部5435从当前的PI和SUB_PI中分别读取参照片断信息、表示再现开始时刻IN1的PTS#1、以及表示再现结束时刻OUT1的PTS#2。根据该参照片断信息,确定分别与再现对象的文件2D和文件DEP相对应的片断信息文件。然后,处理进入步骤S5606。
在步骤S5606中,再现控制部5435参照在步骤S5605中确定的片断信息文件的各入口映射,如图44所示,检索对应于PTS#1、#2的文件2D内的SPN#1、#2和文件DEP内的SPN#11、#12。再现控制部5435还利用各片断信息文件的区段起点,根据SPN#1、#11计算从文件SS的开头到再现开始位置为止的源包数SPN#21,根据SPN#2、#12计算从文件SS的开头到再现结束位置为止的源包数SPN#22。具体而言,再现控制部5435首先从2D片断信息文件的区段起点表示的SPN之中检索SPN#1以下最大的“Am”,从从属视片断信息文件的区段起点表示的SPN之中检索SPN#11以下最大的“Bm”。再现控制部5435接着求出检索到的SPN之和Am+Bm,决定为SPN#21。再现控制部5435接着从2D片断信息文件的区段起点表示的SPN之中检索比SPN#2大且最小的“An”,从从属视片断信息文件的区段起点表示的SPN之中检索比SPN#12大且最小的“Bn”。再现控制部5435接着求出检索到的SPN之和An+Bn,决定为SPN#22。然后,处理进入步骤S5607。
在步骤S5607中,再现控制部5435将在步骤S5606中决定的SPN#21、#22变换为扇区数之对N1、N2。具体而言,再现控制部5435首先求出SPN#21与每一个源包的数据量192字节的乘积。再现控制部5435接着求出将该乘积用每一个扇区的数据量2048字节除时的商SPN#21×192/2048。该商等于从文件SS的开头到再现开始位置的紧前面为止的扇区数N1。同样,再现控制部5435根据SPN#22求出商SPN#22×192/2048。该商等于从文件SS的开头到再现结束位置的紧前面为止的扇区数N2。然后,处理进入步骤S5608。
在步骤S5608中,再现控制部5435根据在步骤S5607中得到的扇区数N1、N2分别确定再现对象的区段SS群的前端和后端的LBN。具体而言,再现控制部5435参照再现对象的文件SS的文件入口,确定从记录有区段SS群的扇区群的开头数第(N1+1)个扇区的LBN=LBN#1、和第(N2+1)个扇区的LBN=LBN#2。再现控制部5435还将从LBN#1到LBN#2的范围指定给BD-ROM驱动器5401。其结果,从指定的范围的扇区群中以校准单元为单位读取属于区段SS群的源包群。然后,处理进入步骤S5609。
在步骤S5609中,再现控制部5435再次利用在步骤S5606中已利用的片断信息文件的区段起点,生成与区段SS群有关的数据块边界信息,并向开关5420送出。作为具体的例子,设想表示再现开始位置的SPN#21等于各区段起点表示的SPN之和An+Bn,表示再现结束位置的SPN#22等于各区段起点表示的SPN之和Am+Bm的时候。此时,再现控制部5435根据各区段起点求出SPN的差的串、A(n+1)-An、B(n+1)-Bn、A(n+2)-A(n+1)、B(n+2)-B(n+1)、......、Am-A(m-1)、Bm-B(m-1),作为数据块边界信息向开关5420送出。如图34(e)所示,该串表示包含在区段SS中的各数据块的源包数。开关5420从0开始对从BD-ROM驱动器5401接收的区段SS的源包数进行计数。每当该计数与数据块边界信息表示的SPN的差一致时,开关5420将源包的送出目的地在RB15421与RB25422之间切换,并且将计数复位为0。其结果,将从区段SS的开头起的{B(n+1)-Bn}个源包作为最初的从属视区段向RB25422送出,将接着的{A(n+1)-An}个源包作为最初的基视区段向RB15421送出。以后也同样,每当由开关5420接收的源包的数量与数据块边界信息表示的SPN的差一致时,从区段SS交替地提取从属视和基视的各区段。
在步骤S5610中,再现控制部5435检查在主路径中是否剩余有未处理的PI。当有剩余时,将处理从步骤S5601起重复。当没有剩余时,处理结束。
<系统目标解码器>
图57是系统目标解码器5423的功能框图。图57所示的构成要素与图51所示的2D再现装置的4723在以下两点不同:(1)从读缓冲器向各解码器的输入系统被双重化;(2)主影像解码器能够对应3D再现模式,副影像解码器、PG解码器以及IG解码器能够对应2平面模式。即,这些解码器都能够对基视视频流和从属视视频流交替地解码。特别是,2平面模式的各解码器也可以被分离为解码基视平面的部分和解码从属视平面的部分。另一方面,主声音解码器、副声音解码器、混音器、图像处理器、以及各平面存储器与图51所示的2D再现装置的单元是同样的。因而,以下对图57所示的构成要素中的、与图51所示的构成要素不同的单元进行说明,关于同样的构成要素的详细情况的说明援用对图51的说明。进而,由于各影像解码器都具有同样的构造,所以以下对主影像解码器5715的构造进行说明。同样的说明对于其他影像解码器的构造也成立。
第一源包解包器5711从RB15421读取源包,再从其中提取TS包,向第一PID过滤器5713送出。第二源包解包器5712从RB25422读取源包,再从其中提取TS包,向第二PID过滤器5714送出。各源包解包器5711、5712还使各TS包的送出时刻匹配于各源包的ATS所示的时刻。其同步方法与图51所示的源包解包器5110的方法是同样的。因而,关于其详细情况的说明援用对图51的说明。通过这样的送出时刻的调节,从第一源包解包器5711向第一PID过滤器5713传送的TS包的平均传送速度RTS1不超过2D片断信息文件表示的系统速率。同样,从第二源包解包器5712向第二PID过滤器5714传送的TS包的平均传送速度RTS2不超过从属视片断信息文件表示的系统速率。
第一PID过滤器5713每当从第一源包解包器5711接收TS包时,将该PID与选择对象的PID比较。由再现控制部5435预先按照3D播放列表文件内的STN表指定该选择对象的PID。当两者的PID一致时,第一PID过滤器5713将该TS包向被分配了该PID的解码器传送。例如,当PID是0x1011时,将该TS包向主影像解码器5715内的TB15701转送。除此以外,当PID属于0x1B00~0x1B1F、0x1100~0x111F、0x1A00~0x1A1F、0x1200~0x121F、以及0x1400~0x141F的各范围时,将对应的TS包分别向副影像解码器、主声音解码器、副声音解码器、PG解码器、以及IG解码器转送。
第二PID过滤器5714每当从第二源包解包器5712接收TS包时,将该PID与选择对象的PID比较。由再现控制部5435预先按照3D播放列表文件内的STN表SS指定该选择对象的PID。当两者的PID一致时,第二PID过滤器5714将该TS包向被分配了该PID的解码器传送。例如,当PID是0x1012或0x1013时,将该TS包向主影像解码器5715内的TB25708转送。除此以外,当PID属于0x1B20~0x1B3F、0x1220~0x127F、以及0x1420~0x147F的各范围时,将对应的TS包分别向副影像解码器、PG解码器、以及IG解码器传送。
主影像解码器5715包括TB15701、MB15702、EB15703、TB25708、MB25709、EB25710、缓冲器开关5706、DEC5704、DPB5705、以及图片开关5707。TB15701、MB15702、EB15703、TB25708、MB25709、EB25710、及DPB5705都是缓冲存储器。各缓冲存储器利用内置在主影像解码器5715中的存储器元件的一区域。除此以外,也可以将这些缓冲存储器中的某个或全部分离为不同的存储器元件。
TB15701从第一PID过滤器5713接收包含基视视频流的TS包并原样储存。MB15702从储存在TB15701中的TS包复原PES包并储存。此时,从各TS包除去TS头。EB15703从储存在MB15702中的PES包中提取编码后的VAU并储存。此时,从各PES包除去PES头。
TB25708从第二PID过滤器5714接收包含从属视视频流的TS包并原样储存。MB25709从储存在TB25708中的TS包复原PES包并储存。此时,从各TS包除去TS头。EB25710从储存在MB25709中的PES包中提取编码后的VAU并储存。此时,从各PES包除去PES头。
缓冲器开关5706根据来自DEC5704的请求,转送分别储存在EB 15703和EB25710中的VAU的头。缓冲器开关5706还在包含在原来的TS包中的DTS表示的时刻向DEC5704转送该VAU的压缩图片数据。这里,在基视视频流与从属视视频流之间,属于相同3D·VAU的一对图片的DTS相等。因而,缓冲器开关5706将DTS相等的一对VAU中的、储存在EB15703中的VAU先向DEC5704传送。
DEC5704与图51所示的DEC5104同样,是专用于压缩图片的解码处理的硬件解码器,特别是由具备该解码处理的加速器功能的LSI构成。DEC5704将从缓冲器开关5706传送来的压缩图片数据依次解码。在该解码处理中,DEC5704预先解析各VAU的头,确定保存在该VAU内的压缩图片的压缩编码方式和流属性,根据它们选择解码方法。这里,该压缩编码方式例如包括MPEG-2、MPEG-4AVC、以及VC1。DEC5704还向DPB5705转送解码后的非压缩的图片。
DEC5704除此之外,每次从从属视视频流读取一个视频序列的开头VAU时,从该VAU读取偏移元数据。在该视频序列的再现区间,DEC5704首先确定与该VAU一起存储在一个PES包中的PTS和该VAU的压缩图片数据表示的帧的编号。DEC5704接着从偏移元数据读取与该帧号码建立了对应的偏移信息,在确定的PTS表示的时刻,向平面相加部5424送出。
DPB5705暂时保持解码后的非压缩的图片。在DEC5704将P图片及B图片解码时,DPB5705根据来自DEC5704的请求,从保持的非压缩的图片之中检索参照图片,提供给DEC5704。
图片开关5707在包含在原来的TS包中的PTS表示的时刻,从DPB5705将非压缩的各图片写入到左影像平面存储器5720和右影像平面存储器5721中的某个中。这里,在属于相同3D·VAU的基视图片和从属视图片中,PTS相等。因而,图片开关5707将保持在DPB5705中的、PTS相等的一对图片中的基视图片先写入到左影像平面存储器5720中,接着将从属视图片写入到右影像平面存储器5721中。
<1平面+(零·)偏移模式的平面相加部>
图58是1平面+偏移模式或1平面+零偏移模式的平面相加部5424的功能框图。参照图58,平面相加部5424包括视差影像生成部5810、开关5820、四个裁剪处理部5831~5834、以及四个加法部5841~5844。
视差影像生成部5810从系统目标解码器5423接收左影像平面5801和右影像平面5802。在L/R模式的再现装置102中,左影像平面5801表示左视视频平面,右影像平面5802表示右视视频平面。L/R模式的视差影像生成部5810将所接收到的各视频平面5801、5802原样向开关5820送出。另一方面,在深度模式的再现装置102中,左影像平面5801表示2D影像的视频平面,右影像平面5802表示相对于该2D影像的深度图。此时,深度模式的视差影像生成部5810首先根据该深度图计算该2D影像的各部分的两眼视差。视差影像生成部5810接着将左影像平面5801进行加工,使视频平面中的该2D影像的各部分的显示位置按照计算出的两眼视差而左右移动。由此,生成左视视频平面和右视视频平面之对。视差影像生成部5810还将所生成的视频平面之对作为左影像平面和右影像平面数据之对向开关5820送出。
当从再现控制部5435指示了B-D显示模式时,开关5820将PTS相等的左影像平面5801和右影像平面5802按照该顺序向第一加法部5841送出。当从再现控制部5435指示了B-B显示模式时,开关5820将PTS相等的左影像平面5801和右影像平面5802中的一方每一帧两次地向第一加法部5841送出,而将另一个丢弃。
当从再现控制部5435指示了1平面+偏移模式时,第一裁剪处理部5831对副影像平面5803如以下这样进行偏移控制。第一裁剪处理部5831首先从系统目标解码器5423接收偏移信息5807。此时,第一裁剪处理部5831从播放器变量存储部5436内的SPRM(27)5851读取针对副影像平面的参照偏移ID。第一裁剪处理部5831接着在从系统目标解码器5423接收到的偏移信息5807之中检索属于该参照偏移ID表示的偏移序列的偏移信息。第一裁剪处理部5831接着利用检索到的偏移值,对副影像平面5803进行偏移控制。其结果,副影像平面5803被变换为表示左视和右视的一对平面数据。进而,左视和右视的副影像平面被交替地送出到第一加法部5841。
这里,一般每当当前PI切换时由再现控制部5435更新SPRM(27)5851的值。除此以外,也可以是程序执行部5434按照电影对象或BD-J对象设定SPRM(27)5851的值。
同样地,第二裁剪处理部5832将PG平面5804变换为左视和右视的PG平面。这些PG平面被交替地送出到第二加法部5842。第三裁剪处理部5833将IG平面5805变换为左视和右视的IG平面之对。这些IG平面被交替地送出到第三加法部5843。第四裁剪处理部5834将图像平面5806变换为左视和右视的图像平面。这些图像平面被交替地送出到第四加法部5844。
当从再现控制部5435指示了1平面+零偏移模式时,第一裁剪处理部5831不进行对副影像平面5803的偏移控制,而将副影像平面5803向第一加法部5841原样重复送出两次。对于其他裁剪处理部5832~5834也同样。
第一加法部5841从开关5820接收视频平面,从第一裁剪处理部5831接收副影像平面。第一加法部5841此时将接收到的视频平面与副影像平面每一组地相重叠后,传递给第二加法部5842。第二加法部5842从第二裁剪处理部5832接收PG平面,并叠加在从第一加法部5841接收到的平面数据上之后,传递给第三加法部5843。第三加法部5843从第三裁剪处理部5833接收IG平面,叠加在从第二加法部5842接收到的平面数据上之后,传递给第四加法部5844。第四加法部5844从第四裁剪处理部5834接收图像平面,叠加在从第三加法部5843接收到的平面数据上之后,向HDMI通信部5425送出。这里,各加法部5841~5844在平面数据的叠加中利用α合成。这样,在左影像平面5801和右影像平面5802的各自中,以图58中用箭头5800表示的顺序,叠加副影像平面5803、PG平面5804、IG平面5805、以及图像平面5806。其结果,将各平面数据表示的影像以左影像平面或右影像平面、副影像平面、IG平面、PG平面、以及图像平面的顺序重叠显示在显示装置103的画面上。
《偏移控制的流程图》
图59是通过各裁剪处理部5831~5834进行的偏移控制的流程图。各裁剪处理部5831~5834在从系统目标解码器5423接收到偏移信息5807时开始偏移控制。在以下的说明中,设想第二裁剪处理部5832对PG平面5804进行偏移控制的情况。其他裁剪处理部5831、5833、5834分别对副影像平面5803、IG平面5805、及图像平面5806进行同样的处理。
在步骤S5901中,第二裁剪处理部5832首先从系统目标解码器5423接收PG平面5804。此时,第二裁剪处理部5832从SPRM(27)5851读取针对PG平面的参照偏移ID。第二裁剪处理部5831接着在从系统目标解码器5423接收到的偏移信息5807之中检索属于该参照偏移ID表示的偏移序列的偏移信息。然后,处理进入步骤S5902。
在步骤S5902中,第二裁剪处理部5832检查由开关5820选择的视频平面表示左视和右视的哪个。当视频平面表示左视时,处理进入步骤S5904。当视频平面表示右视时,处理进入步骤S5906。
在步骤S5903中,第二裁剪处理部5832检查检索到的偏移方向的值。这里,设想下面的情况:当偏移方向的值是“0”时,3D图形影像的进深比画面靠近前,当偏移方向的值是“1”时,3D图形影像的进深比画面靠里侧。当偏移方向的值是“0”时,处理进入步骤S5904。当偏移方向的值是“1”时,处理进入步骤S5905。
在步骤S5904中,视频平面表示左视,偏移方向表示比画面靠近前。因此,第二裁剪处理部5832对PG平面数据5804赋予朝右的偏移。即,使PG平面5804包含的各像素数据的位置向右移动偏移值。然后,处理进入步骤S5909。
在步骤S5905中,视频平面表示左视,偏移方向表示比画面靠里侧。因此,第二裁剪处理部5832对PG平面数据5804赋予朝左的偏移。即,使PG平面数据5804包含的各像素数据的位置向左移动偏移值。然后,处理进入步骤S5909。
在步骤S5906中,第二裁剪处理部5832检查检索到的偏移方向的值。当偏移方向的值是“0”时,处理进入步骤S5907。当偏移方向的值是“1”时,处理进入步骤S5908。
在步骤S5907中,视频平面表示右视,偏移方向表示比画面靠近前。因此,与步骤S5904相反,第二裁剪处理部5832对PG平面5804赋予朝左的偏移。即,使PG平面5804包含的各像素数据的位置向左移动偏移值。然后,处理进入步骤S5909。
在步骤S5908中,视频平面表示右视,偏移方向表示比画面靠里侧。因此,与步骤S5905相反,第二裁剪处理部5832对PG平面数据5804赋予朝右的偏移。即,使PG平面5804包含的各像素数据的位置向右移动偏移值。然后,处理进入步骤S5909。
在步骤S5909中,第二裁剪处理部5832将处理后的PG平面5804向第三裁剪处理部5834送出。然后,处理结束。
《偏移控制带来的平面数据的变化》
图60(b)是表示在通过第二裁剪处理部5832进行的偏移控制被加工之前的PG平面GP的示意图。参照图60(b),PG平面GP包括表示字幕“我爱你”的像素数据群、即字幕数据STL。该字幕数据STL位于与PG平面GP的左端距离D0的位置。
图60(a)是表示被赋予了朝右的偏移后的PG平面RGP的示意图。参照图60(a),第二裁剪处理部5832在对PG平面GP赋予朝右的偏移的情况下,使PG平面GP内的各像素数据的位置从原来的位置向右移动等于偏移值的像素数OFS。具体而言,第二裁剪处理部5832首先通过裁剪处理,从PG平面GP的右端除去包含在宽度OFS等于偏移值的带状区域AR1中的像素数据。第二裁剪处理部5832接着对PG平面GP的左端附加像素数据,构成宽度OFS的带状区域AL1。这里,将包含在该区域AL1中的像素数据设定为透明。这样,能够得到被赋予了朝右的偏移的PG平面RGP。实际上,字幕数据STL位于与该PG平面RGP的左端距离DR的位置,该距离DR等于对原来的距离D0加上偏移值OFS后的值:DR=D0+OFS。
图60(c)是表示被赋予了朝左的偏移后的PG平面LGP的示意图。参照图60(c),第二裁剪处理部5832在对PG平面GP赋予了朝左的偏移的情况下,使PG平面GP内的各像素数据的位置从原来的位置向左移动等于偏移值的像素数OFS。具体而言,第二裁剪处理部5832首先通过裁剪处理,从PG平面GP的左端除去包含在宽度OFS等于偏移值的带状区域AL2中的像素数据。第二裁剪处理部5832接着对PG平面GP的右端附加像素数据,构成宽度OFS的带状区域AR2。这里,将包含在该区域AR2中的像素数据设定为透明。这样,能够得到被赋予了朝左的偏移的PG平面LGP。实际上,字幕数据STL位于与该PG平面LGP的左端距离DL的位置,该距离DL等于从原来的距离D0去除了偏移值OFS后的值:DL=D0-OFS。
<2平面模式的平面相加部>
图61是2平面模式的平面相加部5424的部分功能框图。参照图61,2平面模式的平面相加部5424与图58所示的1平面+偏移模式的平面相加部5424同样,包括视差影像生成部5810、开关5820、第一加法部5841、第二加法部5842以及第二裁剪处理部5832。虽然在图61中没有示出,但2平面模式的平面相加部5424还包括图58所示的其他的裁剪处理部5831、5833、5834以及其他相加部5843、5844。除此之外,2平面模式的平面相加部5424还在PG平面5804、5805的输入部中包括第二视差影像生成部6110和第二开关6120。虽然在图61中没有示出,但同样的结构也包含在副影像平面、IG平面、以及图像平面的各输入部中。
第二视差影像生成部6110从系统目标解码器5423接收左视PG平面6104和右视PG平面6105。在L/R模式的再现装置102中,左视PG平面6104和右视PG平面6105分别如文字所表示那样,表示左视PG平面和右视PG平面。因此,第二视差影像生成部6110将各平面数据6104、6105原样向第二开关5820送出。另一方面,在深度模式的再现装置102中,左视PG平面6104表示2D图形影像的PG平面,右视PG平面6105表示对于该2D图形影像的深度图。因此,第二视差影像生成部6110首先根据该深度图计算该2D图形影像的各部的两眼视差。第二视差影像生成部6110接着对左视PG平面6104进行加工,使PG平面中的该2D图形影像的各部的显示位置按照计算出的两眼视差向左右移动。由此,生成左视PG平面和右视PG平面。第二视差影像生成部6110还将这些PG平面向第二开关6120送出。
第二开关7620将PTS相等的左视PG平面6104和右视PG平面6105依照上述顺序向第二裁剪处理部5832送出。第二裁剪处理部5832将各PG平面6104、6105原样向第二加法部5842送出。第二加法部5842将各PG平面6104、6105叠加在从第一加法部5841接收到的平面数据中,并传递给第三加法部5843。其结果,在左影像平面5801上叠加左视PG平面6104,在右影像平面5802上叠加右视PG平面6105。
2平面模式的第二裁剪处理部5832也可以利用偏移信息5807,对左视PG平面6104和右视PG平面6105进行偏移控制。这是由于如下原因。在L/R模式中,也可以代替副TS内的左视PG流而将主TS内的PG流(以下略作2D·PG流)作为左视PG平面加以利用。但是,由于2D·PG流表示的一个图形影像也作为2D影像加以利用,所以该显示位置通常被设定为一定。另一方面,右视PG流表示的图形影像的显示位置被设定为,在对应的3D图形影像的进深变化时,配合该变化而向左右移动。因此,为了不使3D图形影像向左右移动而仅使该进深变化,必须将左视和右视的图形影像之间的中心位置维持为一定。因此,在再现3D图形影像时,对2D·PG流表示的图形影像赋予偏移,使其显示位置向左右移动。由此,左视和右视的图形影像之间的中心位置被维持为一定,所以看起来3D图形影像在水平方向上并没有移动。这样,通过将2D·PG流作为左视PG流加以利用,能够回避给视听者带来异样感的危险性。
《实施方式2》
本发明的实施方式2中的家庭影院系统中,与实施方式1中的不同,再现装置102代替显示装置对帧速率进行变换。除了该点以外,实施方式2中的家庭影院系统与实施方式1中的相比,结构和功能相同。因此,以下对实施方式2中的家庭影院系统中与实施方式1中的家庭影院系统相比的变更部分和扩展部分进行说明。对于与实施方式1中的家庭影院系统相同的部分,援引关于上述实施方式1的说明。
图62(a)是表示视频流6200中包含的VAU#N的示意图(字符N表示1以上的整数)。如图16所示,视频流6200由多个视频序列#K构成(字符N表示1以上的整数),各视频序列#K包含多个VAU#N。无论哪个VAU#N都具有与图16所示的构造相同的构造,特别是包含补充数据6201。该补充数据6201包含显示类型6202。例如在补充数据6201相当于MPEG-4AVC中的“picture timing SEI”的情况下,显示类型6202相当于参数“PicStruct”。显示类型6202除此之外可以作为用户数据之一而设定在SEI消息中。基视视频流和从属视视频流中的任一个都具有与视频流6200相同的构造。
显示类型6202规定VAU#N表示的帧的显示模式。图62(b)是显示类型6202的值和显示模式6203之间的对应表,图62(c)~图62(k)是表示各个显示模式的示意图。参照图62(a),显示类型表示从1到9中的某个整数值。对各整数值分配了不同的显示模式。整数值“1”的显示类型表示显示模式“帧”。该模式如图62(c)所示,表示1帧的整体的显示。整数值“2”的显示类型表示显示模式“上部(top)”。该模式如图62(d)所示,表示1帧的第奇数个行的显示。整数值“3”的显示类型表示显示模式“下部(bottom)”。该模式如图62(e)所示,表示1帧的第偶数个行的显示。整数值“4”的显示类型表示显示模式“上部、下部、上部”。该模式如图62(f)所示,表示在三个连续的帧期间依次分别显示一帧的第奇数个行、第偶数个行、第奇数个行。整数值“5”的显示类型表示显示模式“下部、上部”。该模式如图62(g)所示,表示在两个连续的帧期间依次分别显示一帧的第偶数个行和第奇数个行。整数值“6”的显示类型表示显示模式“下部、上部、下部”。该模式如图62(h)所示,表示在三个连续的帧期间依次分别显示一帧的第偶数个行、第奇数个行、第偶数个行。整数值“7”的显示类型表示显示模式“上部、下部”。该模式如图62(i)所示,表示在两个连续的帧期间依次分别显示一帧的第奇数个行和第偶数个行。整数值“8”的显示类型表示显示模式“双显”。该模式如图62(j)所示,表示在两个连续的帧期间分别重复显示一帧的整体。整数值“9”的显示类型表示显示模式“三显”。该模式如图62(k)所示,表示在三个连续的帧期间分别重复显示一帧的整体。
图63是表示系统目标解码器5423中包含的主视频流的处理系统的部分功能框图。与图57所示的实施方式1中的处理系统相比,主影像解码器6315的如下功能不同。DEC6304与图57所示的DEC5704同样,是专用于压缩图片的解码处理的硬件解码器。但是,与DEC5704不同,DEC6304从各VAU内的补充数据中解读显示类型6202,根据该值控制图片开关5707。由此,图片开关5707按照显示类型6202规定的显示模式,将非压缩的图片从DPB5705向左影像平面存储器5720和右影像平面存储器5721中的某个转送。具体来说,例如显示类型表示显示模式“帧”的情况下,图片开关5707转送1帧的整体。显示类型表示显示模式“上部”的情况下,图片开关5707仅转送1帧的第奇数个行。显示类型表示显示模式“上部、下部、上部”的情况下,图片开关5707在三个连续的帧期间依次分别转送一帧的第奇数个行、第偶数个行、第奇数个行。显示类型表示显示模式“双显”的情况下,图片开关5707在两个连续的帧期间分别重复转送一帧的整体。关于其他显示模式也同样。
这里,图片开关5707使帧速率上升到与原值24fps相比充分高的值,例如120fps、100fps、或180fps为止。即,图片开关5707以比1/24秒相比充分短的间隔,例如1/120秒、1/100秒或1/180秒间隔将图片向各主影像平面存储器5720、5721交替地转送。平面相加部5424以与该帧速率相同程度高的处理速度将左视帧和右视帧一张张地合成后传送给HDMI通信部5425。HDMI通信部5425以图4的(b)~(e)中的某个方式,将一对左视帧和右视帧变换为图4(a)所示的一帧的格式后,向显示装置103送出。此时的帧速率例如被设定为60fps、50fps或90fps。显示装置103从该一帧的数据中提取左视帧和右视帧,以该帧速率的双倍的速度,例如120fps、100fps、或180fps交替地加以显示。
图64是利用了图63所示的系统的3D再现装置的再现动作的流程图。该流程图与图55所示的流程图相比,不同点在于,追加了按照显示类型判断平面数据的更新的步骤S6401。其他步骤与图55所示的流程图相同,所以对它们的详细情况援引图55的说明。
在步骤S6401中,DEC6304从包含在步骤S5505中处理后的影像平面在内的VAU中读取补充数据,从该补充数据解读显示类型6202。DEC6304还根据该显示类型6202所表示的值,判断是否应更新主影像平面存储器5720、5721中的平面数据。例如,在显示类型表示显示模式“帧”的情况下,主影像平面存储器5720、5721中存储的平面数据应更新为表示下个帧的平面数据。另一方面,例如在显示类型表示显示模式“双显”的情况下,只要再一次处理主影像平面存储器5720、5721中已经存储的平面数据即可。这样,在应该更新平面数据的情况下,处理进入步骤S5506,在不应该更新的情况下,处理从步骤S5504开始重复。
图65是使再现装置102以帧速率=60fps送出左视帧和右视帧时的帧速率的变化的示意图。如图65(a)所示,在内容中3D影像的各帧F3Dk(k=1、2、3、4……)的显示时间被设定为1/24秒。进而,在包括3D影像的第奇数个帧F3D1、3、……的3D·VAU中,对基视的VAU设定显示类型TYL=“9”,对从属视的VAU设定显示类型TYR=“8”。另一方面,在包括3D影像的第偶数个帧F3D2、4、……的3D·VAU中,对基视的VAU设定显示类型TYL=“8”,对从属视的VAU设定显示类型TYR=“9”。在设定了显示类型TYR=“8”或“9”的情况下,图片开关5707将一帧的整体从DPB5705向某个主影像平面存储器5720、5721重复转送两次或三次。其结果是,再现装置102如图65(b)所示,关于3D影像的第奇数个帧F3Dk(k=1、3、……),每1/60秒地送出三次左视帧FLk,每1/60秒地送出两次右视帧FRk。另一方面,关于3D影像的第偶数个帧F3Dm(m=2、4、……),再现装置102每1/60秒地送出两次左视帧FLm,每1/60秒地送出三次右视帧FRm。特别是,在从3D影像的第奇数个帧F3Dk切换为3D影像的第偶数个帧F3D(k+1)的期间,将构成前者F3Dk的左视帧FLk和构成后者F3D(k+1)的右视帧FR(k+1)复用在图4(a)所示的一个帧中送出。
显示装置103在从再现装置102接收到的一帧的数据中提取左视帧FLk和右视帧FRk。显示装置103还将这些帧FLk、FRk以它们从再现装置102送出时的帧速率=60fps的双倍的速度,即120fps交替地显示。由此,如图65(c)所示,在3D影像的开头帧F3D1的显示期间,以每1/120秒交替地重复显示三次开头的左视帧FL1和两次开头的右视帧FR1。在3D影像的第2个帧F3D2的显示期间,以每1/120秒交替地重复显示两次第2个左视帧FL2和三次第2个右视帧FR2。在3D影像的第3、4个帧F3D3、F3D4的各显示期间也同样。在这种情况下,在3D影像的各帧F3Dk的显示期间,左视帧FLk和右视帧FRk中的一方被显示三次,相对于此,另一方仅被显示两次。这样,左视帧FLk和右视帧FRk之间,显示次数不同。但是,对于视听者来说,左视帧FLk和右视帧FRk共计每送出五个,看起来3D影像的帧F3Dk被切换。即,3D影像的各帧F3Dk的显示时间都等于 这样,3D影像的帧的显示时间被均一化,所以能够更加平滑地表现3D影像的运动。
根据图7可以理解,在使再现装置102以帧速率=50fps送出左视帧和右视帧的情况下,只要如下所述设定显示类型即可。首先,3D影像的帧F3Dk的编号从开头数每增加12(k=1、13、25、……),对基视的VAU设定显示类型TYL=“9”,另一方面,3D影像的帧F3Dk的编号从第7个数每增加12(k=7、19、31、……),对从属视的VAU设定显示类型TYR=“9”。对除此以外的VAU全都设定显示类型TYL=“8”。在此情况下,如图7(b)所示,3D影像的帧F3Dk的编号从开头数每增加6(k=1、7、13、19、……),在3D影像的该帧F3Dk的显示期间,每1/100秒交替地显示三次左视帧FLk和右视帧FRk中的一方以及两次另一方。在3D影像的其他帧F3Dm(m≠k)的显示期间,每1/100秒交替地显示两次左视帧FLk和右视帧FRk的每一个。其结果,如图7(b)所示,3D影像的开头帧F3D1和第7个帧F3D7的各显示时间都是1/100秒×5帧=0.05秒,比其他帧F3Dk(k=2、3、……、6、8)的显示时间=1/100秒×4帧=0.04秒长。但是,该差被缩短到一个左视帧或右视帧的显示时间=1/100秒=0.01秒为止,所以对视听者来说,很难感觉到3D影像的帧F3Dk间的显示时间之差。这样,3D影像的帧的显示时间被大致均一化,所以能够更加平滑地表现3D影像的运动。
在图65中,设想帧的扫描方式是逐行扫描方式的情况。但是,即使是交织方式,如下所示,也能进行同样的帧速率(场周期)的变换。
图66是使再现装置102以场周期=1/60秒送出左视帧和右视帧时的场周期的变化的示意图。如图66(a)所示,在内容中3D影像的各帧F3Dk(k=1、2、3、4……)的显示时间被设定为1/24秒。进而,从3D影像的开头帧F3D1开始依次地,对基视的VAU设定的显示类型TYL循环地变化为“4”、“5”、“6”、“7”、“4”、“5”、……,对从属视的VAU设定的显示类型TYR循环地变化为“7”、“4”、“5”、“6”、“7”、“4”、……。在设定了显示类型=“4”的情况下,图片开关5707将一帧按照第奇数个行、第偶数个行、第奇数个行的顺序从DPB5705向某个主影像平面存储器5720、5721转送。相对于此,在设定了显示类型=“6”的情况下,不同点是转送顺序是一帧的第偶数个行、第奇数个行、第偶数个行。在设定了显示类型=“5”的情况下,图片开关5707按照一帧的第偶数个行、第奇数个行的顺序从DPB5705向某个主影像平面存储器5720、5721转送。相对于此,在设定了显示类型=“7”的情况下,不同点是转送顺序是一帧的第奇数个行、第偶数个行。图片开关5707如上所述转送帧的结果是,再现装置102如图66(b)所示,将构成3D影像的各帧F3Dk的左视帧和右视帧的每一个分为上部场TFLk、TFRk和下部场BFLk、BFRk后送出。这里,上部场由一帧的第奇数个行构成,下部场由第偶数个行构成。
进一步参照图66(b),再现装置102关于3D影像的开头帧F3D1,首先将左视帧的上部场TFL1和右视帧上部场TFR1复用为图4(a)所示的一个帧之后,以1/60秒送出,接着,将各帧的下部场BFL1、BFR1也同样地以1/60秒送出。再现装置102接着将构成3D影像的开头帧F3D1的左视帧的上部场TFL1和构成3D影像的下个帧F3D2的右视帧的上部场TFR2复用为图4(a)所示的一个帧之后,以1/60秒送出。再现装置102进而以1/60秒送出构成3D影像的第2个帧F3D2的左视帧的下部场BFL2和右视帧的下部场BFR2,接着,以1/60秒送出各帧的上部场TFL2、TFR2。然后,关于3D影像的第3个帧F3D3,再现装置102将左视帧和右视帧的下部场之对BFL3、BFR3和上部场之对TFL3、TFR3按照该顺序以1/60秒送出。再现装置102接着以1/60秒送出构成3D影像的第3个帧F3D3的左视帧的下部场BFL3和构成3D影像的第4个帧F3D4的右视帧的下部场BFR4。然后,关于3D影像的第4个帧F3D4,再现装置102将左视帧和右视帧的上部场之对TFL3、TFR3和下部场之对BFL3、BFR3按照该顺序以1/60秒送出。以后的帧也同样地,以场为单位送出。
显示装置103在从再现装置102接收到的一帧的数据中提取左视帧和右视帧的上部场之对TFLk、TFRk或下部场之对BFLk、BFRk。显示装置103还将这些场TFLk、TFRk、BFLk、BFRk以从再现装置102送出这些场时的帧速率=60fps的双倍的速度即120fps交替地加以显示。由此,如图66(c)所示,在3D影像的开头帧F3D1的显示期间,按照左视帧的上部场TFL1、右视帧的上部场TFR1、左视帧的下部场BFL1、右视帧的下部场BFR1的顺序每1/120秒分别加以显示。接着,再次将左视帧的上部场TFL1显示1/120秒。在3D影像的第2个帧F3D2的显示期间,按照右视帧的上部场TFR2、左视帧的下部场BFL2、右视帧的下部场BFR2、左视帧的上部场TFR2的顺序每1/120秒分别加以显示。接着,再次将右视帧的上部场TFR2显示1/120秒。在3D影像的第3、4个帧F3D3、F3D4的各显示期间也同样,各场被每一次地交替显示之后,重复显示各下部场BFL3、BFR4。在这种情况下,对于视听者来说,左视帧和右视帧的各场共计每送出五个,看起来3D影像的帧F3Dk被切换。即,3D影像的各帧F3Dk的显示时间都等于 这样,即使在交织方式下,3D影像的帧的显示时间也被均一化,所以能够更加平滑地表现3D影像的运动。
图66表示将图65的逐行扫描方式变形为交织方式后的情形。同样,还可以将图7的逐行扫描方式变形为交织方式。进而,如果扩展显示类型,则还可以将图8的逐行扫描方式变形为交织方式。
<变形例>
(A)本发明的实施方式中的显示装置103如图6~8所示,先显示构成3D影像的各帧F3Dk(k=1、2、3、4……)的左视帧FLk和右视帧FRk中的左视帧FLk。此外,也可以先显示右视帧FRk。具体来说,在图9所示的3D影像的帧F3Dk的显示处理中,只要将对应于步骤S93的判断结果的处理如下所述与图9所述的步骤相反地进行即可:在步骤S93的判断为“是”时,即左视/右视的帧号NFLR是偶数时,执行步骤S94N,显示从开头数的顺序与3D影像的帧号NF3D相等的右视帧。在步骤S93的判断为“否”时,即左视/右视的帧号NFLR是奇数时,执行步骤S94Y,显示从开头数的顺序与3D影像的帧号NF3D相等的左视帧。
(B)图6~8所示的模式下,左视帧FLk和右视帧FRk被立刻切换。除此之外,可以在左视帧FLk和右视帧FRk的各显示期间之间,设置用于切换帧的期间(以下称为帧切换期间)。“帧切换期间”是指将在前的帧切换为下个帧时设置的期间,是暂时地使画面整体均一地变暗后将下个帧的各像素数据写入显示面板的期间。通过设置帧切换期间,能够从下个帧中除去在前的帧的残像(crosstalk)。
图77(a)是表示内容中的3D影像的各帧F3Dk的显示时间的示意图。图77(b)是表示120fps的左视帧和右视帧的串FLk、FRk(k=1、2、3、……)以及在它们之间设置的帧切换期间FLRk、FRLk的示意图。图77(c)是表示与图77(b)所示的各个期间FLk、FRk、FLRk、FRLk同步地使快门式眼镜104的左右透镜透射的期间LSL、LSR的示意图。如图77(a)所示,内容中3D影像的各帧F3Dk的显示时间被设定为1/24秒。在从该帧串F3Dk以1/20秒间隔交替地显示左视帧FLk和右视帧FLk的情况下,信号处理部220使显示部240如图77(b)所示交替地显示各帧,使左右信号发送部132如图77(c)所示将快门式眼镜104的左右透镜交替地透射。具体来说,信号处理部220首先使显示部240将开头的左视帧FL1显示1/120秒的一半即1/240秒。与其并行地,信号处理部220使左右信号发送部132仅将快门式眼镜104的左透镜透射。因此,开头的左视帧FL1仅映入在视听者的左眼。信号处理部220接着将帧切换期间FLR1设定为1/120秒的一半即1/240秒。在此期间,显示部240在显示面板242写入开头的右视帧FR1的像素数据。与其并行地,信号处理部220使左右信号发送部132将快门式眼镜104的的两个透镜都设为不透明。因此,在帧切换期间FLR1视听者看不到显示面板242的画面。信号处理部220也可以使显示部240关掉显示面板242的背灯。信号处理部220接着使显示部240将开头的右视帧FR1显示1/240秒。与其并行地,信号处理部220使左右信号发送部132仅将快门式眼镜104的右透镜透射。因此,开头的右视帧FR1仅映入在视听者的右眼。信号处理部220接着将帧切换期间FRL1设定为1/240秒。在此期间,显示部240在显示面板242写入开头的左视帧FL1的像素数据。与其并行地,信号处理部220使左右信号发送部132将快门式眼镜104的的两个透镜都设为不透明。因此,在帧切换期间FRL1视听者看不到显示面板242的画面。以上的操作持续到切换对象的帧号码NFSW的值超过切换栅格GRD=120/24=5为止。在图7的例子中,在帧号码NFSW的值达到“6”的时刻,切换对象的帧从开头的右视帧FR1变更为第2个右视帧FR2。这样,在3D影像的开头帧F3D1的显示期间,左视帧FL1被显示三次,另一方面,右视帧FR1仅被显示两次。但是,对于视听者来说,左视帧FLk和右视帧FRk共计每送出五个,看起来3D影像的帧F3Dk被切换。即,3D影像的各帧F3Dk的显示时间都等于
这样,即使在各帧的显示期间之间设定帧切换期间,也能够更加平滑地表现3D影像的运动。对于图7、8的模式也同样地,如果将各帧的显示期间缩短为一半,并设定该一半长的帧切换期间,则能够使3D影像的各帧的显示时间实质上均一。
(C)如图7、8所示,也可以在3D影像的不同帧间左视帧和右视帧的显示次数的合计不相同的情况下,在3D影像的某个帧中设定为其合计与其他帧不相同。例如,可以在图7中将“5帧→4帧→4帧→……”这样的模式变更为“4帧→4帧→……→4帧→5帧→……”这样的模式,也可以在图8中将“8帧→7帧→8帧→……”这样的模式变更为“7帧→8帧→7帧→……”这样的模式。这些只要如下所示变更图9所示的3D影像的帧的显示处理即可以实现:在步骤S96中,代替“左视/右视的帧号NFLR是否是切换对象的帧号NFsw以上(NFLR≥NFsw?)”而判断“将前者NFLR加1后得到的值是否是后者NFsw以上(NFLR+1≥NFsw?)”。在该判断结果是“是”的情况下,处理进入步骤S97,在是“否”的情况下,处理从步骤S93开始重复。
(D)在本发明的实施方式中,设想3D影像的帧速率FR3D等于24fps的情形。但是,严格来说,很多情况下3D影像的帧速率FR3D等于24000/1001=23.976fps。但是,即使在该情况下,只要将左视帧FLk和右视帧FLk的帧速率设定为59.94fps×2,也能够同样地实现图6所示的模式。图7、8所示的模式也同样。
(E)再现装置102也可以如图76(d)所示在3D影像的各帧期间每相同数量以一定的间隔、例如1/60秒间隔重复送出左视帧和右视帧的情况下,通过HDMI线缆122向显示装置103通知各帧的显示类型。在此情况下,显示装置103基于该显示类型进行调节,使得切换3D影像的帧的定时在左视帧和右视帧中不相同。例如在3D影像的开头帧F3D1的显示期间,在开头的左视帧FL1被显示了三次的时刻,被切换为3D影像的下个帧F3D2的显示期间。由此,开头的右视帧FR1仅被显示两次。关于3D影像的其他帧,显示装置103进行同样的控制。其结果是,左视帧和右视帧以图65(c)所示的模式显示。也可以以同样的方法显示图76所示的帧串,作为图66(c)所示的场串。
(F)在图65(a)中,在包含3D影像的各帧F3D1、2、3、……的3D·VAU中,显示类型TYL、TYR被设定在基视的VAU和从属视的VAU双方中。除此之外,也可以仅在基视的VAU和从属视的VAU中的某一方设定显示类型。在这种情况下,使3D显示装置设定其他显示类型。例如仅在基视的VAU中设定了显示类型TYL=“9”时,3D显示装置将左视帧的显示类型TYL设定为“9”,并且将右视帧的显示类型TYR设定为“8”。相反,仅在基视的VAU中设定了显示类型TYL=“8”时,3D显示装置将左视帧的显示类型TYL设定为“8”,并且将右视帧的显示类型TYR设定为“9”。同样,3D显示装置也可以预先存储能够实现图66以及图7、图8所示的各模式的其他显示模式的组合,根据左视帧和右视帧中的某一方的显示类型推导出另一方的显示类型。
(G)如图62(a)所示嵌入视频流内的显示类型例如是“4”、“5”那样规定场单位下的显示时,显示装置103能够基于该显示类型解析视频流内的场构造。特别是,能够将上部场和下部场重构成一个帧。因此,显示装置103也能够将用显示类型规定的场单位下的显示变更为帧单位下的显示,即将交织显示变更为逐行扫描显示。
(H)在图1中,再现装置102和显示装置103分别独立的装置。除此之外,再现装置102也可以与显示装置103一体化。此外,如图2所示,显示装置103除了从BD-ROM盘101之外,还从存储卡201、外部网络202以及广播波203等各种介质取得3D影像的流数据。在此情况下,显示装置103的接收部210包含适合于各种介质的接口。特别是,显示装置103具有与图54所示的3D再现装置的再现部5402同样的结构,将从各种介质取得的流数据解码为左视帧、右视帧等。
(I)本发明的实施方式中的显示装置103按照由再现装置102从BD-ROM盘101读取的流数据再现3D影像。除此之外,如图2所示,显示装置103也可以按照在外部网络202或广播波203中传送的流数据再现3D影像。在此情况下,通过如下的发送装置发送该流数据。
图67是发送装置6700的功能框图。参照图67,发送装置6700包含格式变换部6701和发送部6702。格式变换部6701从外部接收流数据STD后变换为规定的发送形式。流数据STD具有图11~图19所示的实施方式1的数据构造。流数据STD也可以还包含图62(a)所示的、表示显示类型6202的补充数据6201。发送部6702从天线通过广播波203发送由格式变换部6701变换后的流数据,或者通过因特网等外部网络202传输由格式变换部6701变换后的流数据。
(J)在本发明的实施方式的L/R模式中,基视视频流表示左视,从属视视频流表示右视。反之,也可以是基视视频流表示右视,从属视视频流表示左视。在本发明的实施方式的BD-ROM盘101中,基视视频流和从属视视频流多路复用在不同的TS中。除此以外,也可以将基视视频流和从属视视频流多路复用在一个TS中。
(K)图19所示的偏移元数据保存在从属视视频流中。除此之外,偏移元数据也可以保存在基视视频流中。在此情况下,优选地将偏移元数据保存在位于各视频序列的开头的VAU内的补充数据中。进而,3D播放列表文件也可以具备表示基视视频流和从属视视频流中的哪个包含偏移元数据的标志。由此,能够提高各流数据的制作的自由度。偏移元数据不仅可以保存在各视频序列(即各GOP)的开头,也可以保存在各VAU(即各帧或场)中。除此之外,也可以按照每个内容,将偏移元数据的间隔设定为任何值,例如设定为3帧以上。在此情况下,优选的是,限制为在各视频序列的开头的VAU中必定保存有偏移元数据,并且该偏移元数据与其紧前面的偏移元数据之间的间隔为3帧以上。由此,能够使再现装置可靠地将偏移信息的变更信息与中途再现处理并行进行。
偏移元数据也可以代替保存在视频流中而作为独立的流数据多路复用在主TS或副TS中。在此情况下,对于偏移元数据分配固有的PID。系统目标解码器利用该PID将偏移元数据与其他流数据分离。除此以外,也可以将偏移元数据首先预装载到专用的缓冲存储器中,然后接受再现处理。在此情况下,将偏移元数据以一定的帧间隔保存。由此,关于偏移元数据不需要PTS,所以能够削减PES头的数据量。其结果,能够节约预装载用的缓冲器的容量。此外,偏移元数据也可以保存在播放列表文件中。
(L)在BD-ROM盘101上,如图23所示,以交织配置的方式记录有基视数据块和从属视数据块。在相邻的两个数据块中,区段ATC时间相同。在这些两个数据块即区段对中进而也可以再现期间一致,并且视频流的再现时间相等。换言之,在区段对之间,VAU的数量也可以相等。其意义如下。
图68(a)是表示在相邻的基视数据块与从属视数据块之间区段ATC时间不同、并且视频流的再现时间不同时的再现路径的示意图。参照图68(a),开头的基视数据块B[0]的再现时间是4秒,开头的从属视数据块D[0]的再现时间是1秒。这里,从属视数据块D[0]的解码所需要的基视视频流的部分具有与该从属视数据块D[0]相同的再现时间。因而,为了节约再现装置内的读缓冲器的容量,如图68(a)中用箭头ARW1表示的那样,优选的是使再现装置交替地每相同的再现时间、例如每1秒地读入基视数据块B[0]和从属视数据块D[0]。但是,在此情况下,如图68(a)中用虚线表示的那样,在读取处理的中途发生跳跃。其结果,难以使读取处理跟上解码处理,所以难以可靠地持续无缝再现。
图68(b)是表示在相邻的基视数据块与从属视数据块之间视频流的再现时间相等时的再现路径的示意图。如图68(b)所示,在相邻的两个数据块之间,视频流的再现时间也可以相等。例如,在开头的数据块对B[0]、D[0]中,视频流的再现时间都等于1秒,在第二个数据块对B[1]、D[1]中,视频流的再现时间都等于0.7秒。在此情况下,3D再现模式的再现装置如在图68(b)中用箭头ARW2表示的那样,将数据块B[0]、D[0]、B[1]、D[1]、……从开头起依次读取。仅通过这样,再现装置就能够顺利地实现将主TS和副TS交替地每相同的再现时间加以读取。特别是,在该读取处理中不发生跳跃,所以能够可靠地持续3D影像的无缝再现。
实际上,在相邻的基视数据块与从属视数据块之间,如果区段ATC时间相等,则能够在读取处理中不发生跳跃地维持解码处理的同步。因而,即使再现期间或视频流的再现时间不相等,也与图68(b)所示的情况同样,再现装置仅通过从开头起依次读取数据块群,就能够可靠地持续3D影像的无缝再现。
在区段对之间,VAU的某个的头的数量、或PES头的数量也可以相等。在区段对之间的解码处理的同步中使用这些头。因而,如果在区段对之间头的数量相等,则即使VAU本身的数量不相等,也比较容易维持解码处理的同步。进而,与VAU本身的数量相等的情况不同,也可以不将VAU的数据全部多路复用在相同的数据块内。因此,在BD-ROM盘101的写作工序中,流数据的多路复用的自由度较高。
在区段对之间入口点的数量也可以相等。即在基础文件和文件DEP之中,也可以设定为从开头起相同的顺序的区段EXT1[k]、EXT2[k]包括相同数量的入口点。在2D再现模式和3D再现模式中,跳跃的有无不同。但是,当区段对之间入口点的数量相等时,再现时间也实质上相等。因而,不论跳跃的有无,都容易维持解码处理的同步。进而,与VAU本身的数量相等的情况不同,也可以不将VAU的数据全部多路复用在相同的数据块内。因此,在BD-ROM盘101的写作工序中,流数据的多路复用的自由度较高。
(M)在表示3D影像的AV流文件中,也可以对图22所示的PMT2210追加3D描述符。“3D描述符”是关于3D影像的再现方式而在AV流文件整体中共通的信息,特别包括3D方式信息。“3D方式信息”表示L/R模式或深度模式等、3D影像的AV流文件的再现方式。进而,在PMT2210包含的各流信息2203中也可以追加3D流描述符。“3D流描述符”按照包含在AV流文件中的基本流而表示关于3D影像的再现方式的信息。特别是,视频流的3D流描述符包括3D显示类型。在从该视频流以L/R模式再现影像时,“3D显示类型”表示该影像是左视和右视中的哪个。此外,在从该视频流以深度模式再现影像时,3D显示类型表示该影像是2D影像和深度图中的哪个。这样,当PMT2210包含关于3D影像的再现方式的信息时,该影像的再现系统仅从AV流文件就能够取得该信息。因而,这样的数据构造在例如用广播波发布3D影像内容时是有效的。
(N)从属视片断信息文件也可以在对从属视视频流的PID=0x1012、0x1013分配的视频流属性信息中包含规定的标志。当该标志是“开”时,表示从属视视频流是参照基视视频流的。该视频流属性信息也可以还包含关于参照目标的基视视频流的信息。该信息在通过规定的工具验证3D影像内容是否如规定的格式那样制作时,用于确认视频流间的对应关系。
在本发明的实施方式1中,能够根据包含在片断信息文件中的区段起点计算基视区段和从属视区段的各尺寸。除此以外,也可以将各区段的尺寸的一览表例如作为元数据的一部分保存在片断信息文件中。
(O)图41所示的3D播放列表文件1022包含一个副路径4102。除此以外,3D播放列表文件也可以包含多个副路径。例如,也可以一个副路径的副路径类型是“3D·L/R”,另一个副路径的副路径类型是“3D·深度”。在按照该3D播放列表文件再现3D影像时,通过再现对象的副路径在这些两种副路径之间切换,能够容易地将再现装置102在L/R模式与深度模式之间切换。特别是,该切换处理能够比切换3D播放列表文件本身的处理更迅速地实现。
3D播放列表文件也可以包含多个副路径类型相等的副路径。例如,在通过右视相对共同的左视的不同来表现针对同一场景的两眼视差不同的3D影像时,表示不同的右视的多个文件DEP被记录在BD-ROM盘101上,在此情况下,3D播放列表文件包含多个副路径类型是“3D·L/R”的副路径。这些副路径单独地规定不同的文件DEP的再现路径。按照该3D播放列表文件再现3D影像时,再现对象的副路径例如按照用户的操作被迅速地切换,所以不用实质上切断3D影像就能够使该两眼视差变化。由此,能够使用户容易地选择所希望的两眼视差的3D影像。
在图41所示的3D播放列表文件1022中,基视视频流登记在主路径4101内的STN表中,从属视视频流登记在扩展数据4103内的STN表SS4130中。除此以外,从属视视频流也可以登记在STN表中。在此情况下,STN表也可以包含表示登记的视频流是基视和从属视中的哪个的标志。
在本发明的实施方式1的BD-ROM盘101中,分别记录有2D播放列表文件和3D播放列表文件。除此以外,图41所示的副路径4102与扩展数据4103同样,也可以记录在仅由3D再现模式的再现装置102参照的区域中。在此情况下,由于副路径4102没有使2D再现模式的再现装置102误动作的危险性,所以能够将3D播放列表文件原样作为2D播放列表文件使用。其结果,使BD-ROM盘的写作简单化。
(P)图45所示的索引文件1011包括在标题全部中共通的3D存在标志4520和2D/3D偏好标志4530。除此以外,索引文件也可以按照标题而设定不同的3D存在标志或2D/3D偏好标志。
(Q)在3D再现装置中,除了在SPRM(13)中设定家长等级以外,也可以在SPRM(30)中设定3D家长等级。3D家长等级表示利用3D再现装置的视听者中被容许进行3D影像的视听的人的年龄下限,用于对记录在BD-ROM盘101中的3D影像标题的视听进行家长控制。与SPRM(13)的值同样,SPRM(30)的值由3D再现装置的用户利用3D再现装置的OSD等设定。3D再现装置例如如以下这样进行对各3D影像标题的家长控制。3D再现装置首先从BD-ROM盘101读取对2D影像的视听的限制年龄,与SPRM(13)的值相比较。该限制年龄表示容许在2D再现模式下视听该标题的视听者的年龄下限。如果该限制年龄超过SPRM(13)的值,则3D再现装置停止该标题的再现。如果该限制年龄是SPRM(13)的值以上,则3D再现装置接着从BD-ROM盘101读取对3D影像的视听的限制年龄,与SPRM(30)的值相比较。该限制年龄表示容许在3D再现模式下视听该标题的视听者的年龄下限。如果该限制年龄是SPRM(30)的值以下,则3D再现装置将该标题在3D再现模式下再现。如果该限制年龄超过SPRM(30)的值,则3D再现装置将该标题在2D再现模式下再现。这样,能够考虑到因年龄带来的瞳孔间距离的差异而实现“对于低于一定年龄的儿童只能将3D影像作为2D影像观看”等家长控制。该家长控制优选的是在选择图46所示的再现对象的播放列表文件的处理中判断为“显示装置对应于3D影像”时、即在步骤S4605中判断为“是”时进行。另外,在SPRM(30)中,也可以代替限制年龄而设定表示3D再现模式的许可/禁止的值,3D再现装置按照该值判断3D再现模式的有效/无效。
(R)在3D再现装置中,也可以将表示“应使2D再现模式和3D再现模式中的哪个为优先”的值设定在SPRM(31)中。SPRM(31)的值由3D再现装置的用户利用3D再现装置的OSD等设定。3D再现装置在图46所示的播放列表文件的选择处理中,在步骤S4603中,参照2D/3D偏好标志和SPRM(31)。当它们都表示2D再现模式时,3D再现装置选择2D再现模式。当2D/3D偏好标志和SPRM(31)都表示3D再现模式时,3D再现装置不显示再现模式的选择画面,而进行步骤S4605、即HDCP认证。其结果,只要显示装置能够对应于3D影像的再现,3D再现装置就选择3D再现模式。当2D/3D偏好标志和SPRM(31)表示不同的再现模式时,3D再现装置执行步骤S4604,即显示再现模式的选择画面而使用户选择再现模式。除此以外,也可以使应用程序选择再现模式。这样,即使对3D影像内容设定了2D/3D偏好标志,也仅当该值表示的再现模式与SPRM(31)表示的再现模式、即用户预先设定的再现模式不一致时能够使用户重新选择再现模式。
BD-J对象等应用程序也可以参照SPRM(31)选择再现模式。进而,也可以在步骤S4604中使用户选择再现模式时,根据SPRM(31)的值决定显示在选择画面上的菜单的初始状态。例如,在SPRM(31)的值表示2D再现模式优先的情况下,在将光标对准于2D再现模式的选择按钮的状态下显示菜单,在表示3D再现模式优先的情况下,在将光标对准于3D再现模式的选择按钮的状态下显示菜单。除此以外,当3D再现装置具有管理父、母、儿童等多个用户的账户的功能时,也可以匹配在当前时刻登录的用户的账户来设定SPRM(31)的值。
SPRM(31)的值除了“应使2D再现模式和3D再现模式中的哪个优先”以外,也可以表示“应总是设定为2D再现模式和3D再现模式中的哪个”。在SPRM(31)的值表示“应总是设定2D再现模式”的情况下,3D再现装置不论2D/3D偏好标志的值如何,都总是选择2D再现模式。在此情况下,设定SPRM(25)的值以使其表示2D再现模式。在SPRM(31)的值表示“应总是设定3D再现模式”的情况下,3D再现装置不论2D/3D偏好标志的值如何,都不显示再现模式的选择画面而进行HDCP认证。在此情况下,设定SPRM(25)的值以使其表示3D再现模式(L/R模式或深度模式)。这样,即使对3D影像内容设定了2D/3D偏好标志,也能够使用户预先设定的再现模式总是优先。
<<实施方式3>>
以下,作为本发明的实施方式3,对本发明的实施方式1、2的记录介质的记录装置及记录方法进行说明。该记录装置是称作所谓的写作装置的装置。写作装置通常设置在发行用的电影内容的制作工作室中,由写作人员使用。记录装置按照写作人员的操作,首先将电影内容用规定的压缩编码方式变换为AV流文件。记录装置接着生成脚本。“脚本”是规定包含在电影内容中的各标题的再现方法的信息,具体而言,包括动态脚本信息和静态脚本信息。记录装置接着从AV流文件及脚本生成BD-ROM盘用的卷镜像。记录装置最后将该卷镜像记录到记录介质中。
图69是该记录装置6900的功能框图。参照图69,该记录装置6900包括数据库部6901、视频编码器6902、素材制作部6903、脚本生成部6904、BD程序制作部6905、多路复用处理部6906、以及格式处理部6907。
数据库部6901是内置在记录装置中的非易失性存储装置,特别是HDD。数据库部6901除此以外也可以是记录装置上外置的HDD,也可以是记录装置中内置或外置的非易失性半导体存储器装置。
视频编码器6902从写作人员受理非压缩的位图数据等影像数据,用MPEG-4AVC、MVC、或MPEG-2等压缩编码方式压缩。由此,主影像的数据被变换为主视频流,副影像的数据被变换为次视频流。特别是,3D影像的数据利用MVC等多视点编码方式被变换为图15所示那样的基视视频流与从属视视频流之对。即,将表示左视的视频帧的串通过其自身的图片间的预测编码变换为基视视频流。另一方面,将表示右视的视频帧的串不仅根据其自身的图片、还通过与基视图片之间的预测编码变换为从属视视频流。另外,也可以将表示右视的视频帧的串变换为基视视频流,将表示左视的视频帧的串变换为从属视视频流。将变换后的各视频流6912保存在数据库部6901中。
视频编码器6902在图片间预测编码的处理过程中检测左视与右视之间的各影像的运动矢量,根据它们计算各3D影像的进深信息。图70(a)、图70(b)是表示在3D影像的一场景的显示中使用的左视图片和右视图片的示意图,图70(c)是表示由视频编码器6902根据这些图片计算出的进深信息的示意图。
视频编码器6902在左视和右视的各图片的压缩中利用这些图片间的冗余性。即,视频编码器6902将压缩前的两图片按照8×8或16×16的像素矩阵、即每个宏块进行比较,检测两图片间的各影像的运动矢量。具体而言,如图70(a)、图70(b)所示,首先,将左视图片7001和右视图片7002分别分割为宏块7003的矩阵。接着,在两图片7001、7002间按照每个宏块7003比较图像数据,根据其结果检测各影像的运动矢量。例如,表示“家”的影像7004的区域在两图片7001、7002间实质上相等。因而,从这些区域无法检测出运动矢量。另一方面,表示“球”的影像7005的区域在两图片7001、7002间不同,所以从这些区域检测到该影像7005的运动矢量。
视频编码器6902将检测到的运动矢量用于各图片7001、7002的压缩。另一方面,视频编码器6902将该运动矢量用于“家”的影像7004及“球”的影像7005等各影像的两眼视差的计算。视频编码器6902还根据各影像的两眼视差计算该影像的进深。表示该进深的信息如图70(c)所示,被整理为与各图片7001、7002的宏块的矩阵相同尺寸的矩阵7006。该矩阵7006内的块7007与各图片7001、7002内的宏块7003一对一地对应。各块7007用例如8比特的深度表示对应的宏块7003表示的影像的进深。在图70所示的例子中,“球”的影像7005的进深记录在矩阵7006的区域7008内的各块中。该区域7008对应于表示该影像7005的各图片7001、7002内的区域的整体。
视频编码器6902也可以对左视视频流和右视视频流分别设定图62(b)所示的显示类型6202。对各帧的显示类型6911被保存在数据库部6901。
视频编码器6902除此以外,在从2D影像的数据编码次视频流时,也可以按照写作人员的操作而制作对副影像平面的偏移信息6910。将制作出的偏移信息6910保存到数据库部6901中。
素材制作部6903制作视频流以外的基本流、例如音频流6913、PG流6914、以及IG流6915,并保存到数据库部6901中。例如,素材制作部6903从写作人员受理非压缩的LPCM声音数据,将其用AC-3等压缩编码方式编码后,变换为音频流6913。素材制作部6903除此以外还从写作人员受理字幕信息文件,按照它制作PG流6914。字幕信息文件规定表示字幕的图像数据或文本数据、该字幕的显示时期、以及应对该字幕添加的淡入/淡出等视觉效果。素材制作部6903还从写作人员受理位图数据和菜单文件,按照它们制作IG流6915。位图数据表示菜单的图像。菜单文件规定配置在该菜单中的各按钮的状态的转变、以及应对各按钮添加的视觉效果。
素材制作部6903还按照写作人员的操作,制作针对PG流6914和IG流6915各自的偏移信息6910。在此情况下,素材制作部6903也可以利用由视频编码器6902生成的进深信息DPI,使3D图形影像的进深匹配于3D影像的进深。在此情况下,当3D影像的进深按照每个帧而剧烈变化时,素材制作部6903也可以将利用进深信息DPI制作出的偏移值的串再用低通滤波器加以处理,使每个帧的变化减小。将这样制作出的偏移信息6910保存到数据库部6901中。
脚本生成部6904按照从写作人员经由GUI受理的指示制作BD-ROM脚本数据6917,保存到数据库部6901中。BD-ROM脚本数据6917规定保存在数据库部6901中的各基本流6912~6916的再现方法。BD-ROM脚本数据6917包含图10所示的文件群中的索引文件1011、电影对象文件1012、以及播放列表文件1021~1023。脚本生成部6904还制作参数文件PRF并向多路复用处理部6906送出。参数文件PRF从保存在数据库部6901中的基本流6912~6915之中规定应分别多路复用在主TS和副TS中的流数据。
BD程序制作部6905对写作人员提供BD-J对象及Java应用程序的编程环境。BD程序制作部6905通过GUI受理来自用户的请求,按照该请求制作各程序的源代码。BD程序制作部6905还根据BD-J对象制作BD-J对象文件1051,将Java应用程序压缩为JAR文件1061。将这些程序文件群BDP向格式处理部6907送出。
这里,设想将BD-J对象如以下这样被编程的情况:BD-J对象使图54所示的程序执行部5434将GUI用的图形数据向系统目标解码器5423送出。BD-J对象还使系统目标解码器5423将该图形数据作为图像平面数据进行处理,使平面相加部5424在1平面+偏移模式下送出图像平面数据。在此情况下,BD程序制作部6905制作针对图像平面的偏移信息6910,并保存到数据库部6901中。BD程序制作部6905也可以在该偏移信息6910的制作中使用由视频编码器6902生成的进深信息DPI。
多路复用处理部6906按照参数文件PRF,将保存在数据库部6901中的各基本流6912~6915多路复用在MPEG2-TS形式的流文件中。具体而言,如图12所示,首先,将各基本流6912~6915变换为一个源包串,接着,将各串的源包汇集为一条多路复用流数据。这样,制作主TS和副TS。将这些多路复用流数据MSD向格式处理部6907送出。
多路复用处理部6906还基于保存在数据库部6901中的偏移信息6910制作偏移元数据。如图19所示,将制作出的偏移元数据1910保存到从属视视频流内包含的各视频序列的开头的VAU中作为补充数据1901。此外,多路复用处理部6906也可以对各图形数据进行加工来调节左右的各影像帧内的图形部件的配置。由此,多路复用处理部6906能够防止各图形平面表示的3D图形影像与其他图形平面表示的3D图形影像在相同的视觉方向上重叠显示。除此以外,多路复用处理部6906可以调节针对各图形平面的偏移值,来将各3D图形影像显示为不同的进深。另一方面,多路复用处理部6906也可以将保存在数据库部6901中的显示类型6911如图62(a)所示保存在基视视频流和从属视视频流中分别包含的各VAU内的补充数据6201。
多路复用处理部6906除此之外通过以下的顺序(1)~(IV)制作2D片断信息文件和从属视片断信息文件:(I)对文件2D和文件DEP分别生成图33所示的入口映射3230。(II)利用各文件的入口映射,制作图34(a)、图34(b)所示的区段起点3242、3420。此时,在相邻的数据块间使区段ATC时间一致。进而,设计区段的配置,以使2D区段、基视区段以及从属视区段的各尺寸满足条件1、2等。(III)从应分别多路复用在主TS和副TS中的基本流中提取图32所示的流属性信息3220。(IV)如图32所示,将入口映射3230、3D元数据3240、以及流属性信息3220的组合与片断信息3210建立对应。这样,制作各片断信息文件CLI,并向格式处理部6907送出。
格式处理部6907根据保存在数据库部6901中的BD-ROM脚本数据6917、由BD程序制作部6905制作的BD-J对象文件等程序文件群BDP、以及由多路复用处理部6906生成的多路复用流数据MSD和片断信息文件CLI,制作图10所示的目录构造的BD-ROM盘镜像6920。在该目录构造中作为文件系统而使用UDF。
格式处理部6907在制作文件2D、文件DEP、以及文件SS的各文件入口时,参照分别包含在2D片断信息文件和从属视片断信息文件中的入口映射和3D元数据。由此,将入口点和区段起点的各SPN用于分配记述符的制作。特别是,决定各分配记述符应表示的LBN的值和区段的尺寸,以表现图23所示那样的数据块的交织配置。其结果,在文件SS和文件2D中共有各基视数据块,在文件SS和文件DEP中共有各从属视数据块。
<BD-ROM盘镜像的记录方法>
图71是利用图69所示的记录装置6900向BD-ROM盘记录电影内容的方法的流程图。该方法例如通过记录装置6900的电源投入而开始。
在步骤S7101中,制作应向BD-ROM盘记录的基本流、程序、以及脚本数据。即,视频编码器6902制作视频流6912。素材制作部6903制作音频流6913、PG流6914、以及IG流6915。脚本生成部6904制作BD-ROM脚本数据6917。将制作出的这些数据6912~6917保存到数据库部6901中。另一方面,视频编码器6902制作偏移信息6910和显示类型6911,保存到数据库部6901中。素材制作部6903制作偏移信息6910,保存到数据库部6901中。脚本生成部6904制作参数文件PRF,向多路复用处理部6906送出。BD程序制作部6905制作包括BD-J对象文件和JAR文件的程序文件群BDP,向格式处理部6907送出,并制作偏移信息6910而保存到数据库部6901中。然后,处理进入步骤S7102。
在步骤S7102中,多路复用处理部6906基于保存在数据库部6901中的偏移信息6910制作偏移元数据。将制作出的偏移元数据保存到从属视视频流内作为补充数据1901。然后,处理进入步骤S7103。
在步骤S7103中,多路复用处理部6906按照参数文件PRF,从数据库部6901读取各基本流6912~6915,多路复用在MPEG2-TS形式的流文件中。然后,处理进入步骤S7104。
步骤S7104中,多路复用处理部6906制作2D片断信息文件和从属视片断信息文件。特别是,在入口映射和区段起点的制作中,在区段对之间使区段ATC时间一致。进而,设计2D区段、基视区段以及从属视区段的尺寸,以使其满足条件1、2等。然后,处理进入步骤S7105。
在步骤S7105中,格式处理部6907根据BD-ROM脚本数据6917、程序文件群BDP、多路复用流数据MDS、以及片断信息文件CLI,制作BD-ROM盘镜像6920。然后,处理进入步骤S7106。
在步骤S7106中,将BD-ROM盘镜像6920变换为BD-ROM压制用数据。再将该数据记录到BD-ROM盘的母盘中。然后,处理进入步骤S7107。
在步骤S7107中,将在步骤S7106中得到的母盘用于压制工序,进行BD-ROM盘101的大量生产。这样,处理结束。
<<补充>>
<3D影像的再现方法的原理>
3D影像的再现方法大体分为使用全息技术的方法、和使用视差影像的方法两种。
使用全息技术的方法的特征在于,通过给视听者的视觉带来与从现实的立体物体给人的视觉带来的光学信息大致完全相同的信息,使该视听者立体地看到影像中的物体。但是,将该方法用于运动图像显示的技术在理论上已经建立。但是,该运动图像显示所需要的、能够实时地处理庞大的运算的计算机、以及每1mm几千条的超高分辨率的显示装置通过当前的技术都还很难实现。因而,将该方法作为商业用途实用化的目标在当前时刻几乎没有成立。
所谓“视差影像”,是指在观看一个场景的视听者的各眼中映照的2D影像之对、即左视和右视之对。使用视差影像的方法的特征在于,通过将一个场景的左视和右视再现以使其仅由视听者的各眼看到,使该视听者立体地看到该场景。
图72(a)~图72(c)是用来说明通过使用视差影像的方法进行的3D影像(立体视觉影像)的再现原理的示意图。图72(a)是视听者VWR观看放置在脸的正面的立方体CBC的情形的俯视图。图72(b)、图72(c)分别是将此时在视听者VWR的左眼LEY、右眼REY中看到的立方体CBC的外观表示为2D影像的示意图。将图72(b)、图72(c)比较可知,在各眼中看到的立方体CBC的外观稍稍不同。因为该外观的差、即两眼视差,视听者VWR能够立体地辨识立方体CBC。因而,在使用视差影像的方法中,首先,对一个场景、例如图72(a)所示的立方体CBC,准备视点不同的左右的2D影像、例如图72(b)所示的立方体CBC的左视、以及图72(c)所示的其右视。这里,各视点的位置由视听者VWR的两眼视差决定。接着,将各2D影像再现,以使其仅由视听者VWR的各自的眼睛看到。由此,对于视听者VWR来说,在画面上再现的该场景、即立方体CBC的影像看起来是立体的。这样,使用视差影像的方法与使用全息技术的方法不同,在至多准备从两个视点看到的2D影像就可以这一点上是有利的。
关于使用视差影像的方法,提出了多种用来将其具体化的方式。这些方式从使左右的2D影像怎样由视听者的各个眼睛看到的观点看,分为时分式、使用双凸透镜的方式、以及二色分离方式等。
在时分式中,在画面上将左右的2D影像每隔一定时间交替地显示,另一方面,使视听者通过快门式眼镜观察画面。这里,快门式眼镜的各透镜例如由液晶面板形成。各透镜同步于画面上的2D影像的切换而交替地使光整体上均匀地透过或遮断。即,各透镜作为将视听者的眼睛周期性地遮挡的快门发挥功能。更详细地讲,在画面上显示着左影像的期间,快门式眼镜使左侧的透镜透过光,使右侧的透镜遮断光。反之,在画面上显示着右影像的期间,快门式眼镜使右侧的透镜透过光,使左侧的透镜遮断光。由此,在视听者的眼睛中,左右的影像的残像重叠而看起来为一个3D影像。
在时分式中,如上所述,将左右的影像以一定周期交替地显示。例如在2D影像的再现中每1秒显示24张影像帧时,在3D影像的再现中,将左右的影像加在一起而每1秒显示48张影像帧。因而,在该方式中,能够快速执行画面的改写的显示装置是优选的。
在使用双凸透镜的方式中,将左右的各影像帧分割为沿纵向细长的短条形的小区域,在一个画面之中将左右的影像帧的各小区域沿横向交替地排列并同时显示。这里,画面的表面被双凸透镜覆盖。双凸透镜是将多个细长的拱形透镜平行地排列而做成一张片状的结构。各拱形透镜在画面的表面上沿纵向延伸。当通过双凸透镜使视听者观看上述左右的影像帧时,能够使来自左影像帧的显示区域的光仅成像在视听者的左眼中,使来自右影像帧的显示区域的光仅成像在右眼中。这样,通过在左右的眼睛中映照的影像间的两眼视差,使视听者看到3D影像。另外,在该方式中,也可以代替双凸透镜而使用具有同样的功能的液晶元件等其他光学部件。除此以外,也可以例如在左影像帧的显示区域中设置纵偏振光的过滤器,在右影像帧的显示区域中设置横偏振光的过滤器。此时,使视听者通过偏振光眼镜观看画面。这里,在该偏振光眼镜中,在左侧的透镜中设置有纵偏振光过滤器,并且在右侧的透镜中设置有横偏振光过滤器。因而,左右的影像仅由视听者的各自的眼睛看到,所以能够使视听者看到3D影像。
在使用视差影像的方法中,3D影像内容除了最初由左右影像的组合构成的情况以外,也可以由2D影像与深度图的组合构成。该2D影像表示从再现对象的3D影像向虚拟的2D画面的投影,深度图按每个像素表示该3D影像的各部分相对于该2D画面的进深。当3D影像内容由2D影像与深度图的组合构成时,3D再现装置或者显示装置首先从这些组合构成左右的影像,接着从这些影像以上述方式的某种将3D影像再现。
图73是表示由2D影像MVW与深度图DPH的组合构成左视LVW和右视RVW的例子的示意图。参照图73,在2D影像MVW中,在背景BGV之中显示有圆板DSC。深度图DPH按照每个像素表示该2D影像MVW内的各部分的进深。根据该深度图DPH,2D影像MVW中的、圆板DSC的显示区域DA1的进深比画面靠近前,并且背景BGV的显示区域DA2的进深比画面靠里侧。在再现装置内,视差影像生成部PDG首先根据深度图DPH表示的各部分的进深计算2D影像MVW内的各部分的两眼视差。视差影像生成部PDG接着使2D影像MVW内的各部分的显示位置对应于计算出的两眼视差而向左右移动,构成左视LVW和右视RVW。在图73所示的例子中,相对于2D影像MVW内的圆板DSC的显示位置,视差影像生成部PDG使左视LVW内的圆板DSL的显示位置向右移动该两眼视差的一半S1,使右视RVW内的圆板DSR的显示位置向左移动该两眼视差的一半S1。由此,对于视听者来说,圆板DSC看起来比画面靠近前。另一方面,相对于2D影像MVW内的背景BGV的显示位置,视差影像生成部PDG使左视LVW内的背景BGL的显示位置向左移动该两眼视差的一半S2,使右视RVW内的背景BGR的显示位置向右移动该两眼视差的一半S2。由此,对于视听者来说,背景BGV看起来比画面靠里侧。
使用视差影像的方法的3D影像的再现系统中,在电影院以及游乐园的游玩项目等中使用的再现系统已经建立并普遍地使用。因而,该方法对于能够再现3D影像的家庭影院系统的实用化也是有效的。在本发明的实施方式中,设想为使用视差影像的方法中的、时分式或使用偏振光眼镜的方式。但是,对于与这些方式不同的其他方式,只要它们使用视差影像就能够采用本发明。这根据上述实施方式的说明,对于本领域的技术人员是显而易见的。
<BD-ROM盘上的文件系统>
在作为BD-ROM盘101的文件系统而使用UDF时,图10所示的卷区域1002B一般包括分别记录有多个目录、文件集记述符、以及末端记述符的的区域。“目录”是构成同一目录的数据群。“文件集记述符”表示记录有根目录的文件入口的扇区的LBN。“末端记述符”表示文件集记述符的记录区域的末端。
各目录具有共通的数据构造。各目录特别包括文件入口、目录文件、以及下级文件群。
“文件入口”包括记述符标签、ICB(Information Control Block)标签、以及分配记述符。“记述符标签”表示包含该记述符标签的数据的种类是文件入口。例如当记述符标签的值是“261”时,该数据的种类是文件入口。“ICB标签”表示该文件入口自身的属性信息。“分配记述符”表示记录有属于相同的目录的目录文件的扇区的LBN。
“目录文件”一般包括多个下级目录的文件识别记述符和下级文件的文件识别记述符。“下级目录的文件识别记述符”是用来访问放置在该目录之下的下级目录的信息。该文件识别记述符包括该下级目录的识别信息、目录名的长度、文件入口地址、以及目录名本身。特别是,文件入口地址表示记录有该下级目录的文件入口的扇区的LBN。“下级文件的文件识别记述符”是用来访问放置在该目录之下的下级文件的信息。该文件识别记述符包括该下级文件的识别信息、文件名的长度、文件入口地址、以及文件名本身。特别是,文件入口地址表示记录有该下级文件的文件入口的扇区的LBN。“下级文件的文件入口”如后所述,包括构成下级文件的主体的数据的地址信息。
只要依次沿着文件集记述符和下级目录/文件的文件识别记述符,就能够访问记录在卷区域1002B中的任意的目录/文件的文件入口。具体而言,首先,根据文件集记述符确定根目录的文件入口,根据该文件入口内的分配记述符确定根目录的目录文件。接着,从该目录文件检测根目录之下的目录的文件识别记述符,根据其中的文件入口地址确定该目录的文件入口。进而,根据该文件入口内的分配记述符确定该目录的目录文件。接着,根据该目录文件中的、下级目录或者下级文件的文件识别记述符内的文件入口地址确定该下级目录或下级文件的文件入口。
“下级文件”分别包括区段和文件入口。“区段”一般是多个,分别是盘上的逻辑地址、即LBN连续的数据串。区段的整体构成下级文件的主体。“文件入口”包括记述符标签、ICB标签、以及分配记述符。“记述符标签”表示包含该记述符标签的数据的种类是文件入口。“ICB标签”表示该文件入口自身的属性信息。“分配记述符”对各区段各设有一个,表示卷区域1002B上的各区段的配置,具体而言表示各区段的尺寸和其前端的LBN。因而,通过参照各分配记述符,能够访问各区段。除此以外,各分配记述符的高位2比特表示在该分配记述符表示的LBN的扇区中是否实际记录有区段。即,当该高位2比特是“0”时,表示对该扇区已经分配区段并且已经记录,当是“1”时,表示对该扇区已经分配区段但未记录。
与利用UDF的上述文件系统同样,在针对卷区域的文件系统中,一般在将记录在卷区域中的各文件分割为多个区段时,如上述分配记述符那样,将表示各区段的配置的信息一起记录到卷区域中。通过参照该信息,能够知道各区段的配置、特别是其逻辑地址。
<解码开关信息>
图74(a)是表示解码开关信息A050的数据构造的示意图。解码开关信息A050在图16所示的基视视频流和从属视视频流的各VAU中保存在其补充数据1631D、1632D中。但是,在位于从属视视频流的各GOP的开头的VAU#1中,解码开关信息A050保存在与包括偏移元数据的补充数据1632D不同的补充数据中。补充数据1631D、1632D特别在MPEG-4AVC、MVC中相当于NAL单元的一种“SEI”。解码开关信息A050是用来使再现装置102内的解码器容易地确定接着应解码的VAU的信息。这里,该解码器如后所述,将基视视频流和从属视视频流以VAU为单位交替地解码。此时,该解码器一般匹配于对各VAU赋予的DTS表示的时刻来确定接着应解码的VAU。但是,在解码器的种类中,忽视DTS而将VAU依次连续解码的种类也较多。对于这样的解码器而言,优选的是各VAU除了DTS以外还包括解码开关信息A050。
参照图74(a),解码开关信息A050包括下个访问单元类型A051、下个访问单元尺寸A052、以及解码计数器A053。下个访问单元类型A051表示接着应解码的VAU属于基视视频流和从属视视频流中的哪个。例如,当下个访问单元类型A051的值是“1”时,接着应解码的VAU属于基视视频流,当是“2”时属于从属视视频流。当下个访问单元类型A051的值是“0”时,当前的VAU位于解码对象的流的后端,不存在接着应解码的VAU。下个访问单元尺寸A052表示接着应解码的VAU的尺寸。再现装置102内的解码器通过参照下个访问单元尺寸A052,能够不解析VAU的构造自身而确定其尺寸。因而,解码器能够容易地从缓冲器提取VAU。解码计数器A053表示其属于的VAU应被解码的顺序。该顺序从基视视频流内的包含I图片的VAU开始计数。
图74(b)是表示对基视视频流A001和从属视视频流A002的各图片分配的解码计数器的一例A010、A020的示意图。参照图74(b),将解码计数器A010、A020在两视频流A001、A002之间交替地递增。例如,对于基视视频流A001内的包含I图片的VAUA011,作为解码计数器A010而分配“1”。对于接着应解码的从属视视频流A002内的包含P图片的VAUA021,作为解码计数器A020而分配“2”。再对其接着应解码的基视视频流A001内的包含P图片的VAUA012,作为解码计数器A010而分配“3”。通过该分配,即使在因某种不良状况而再现装置102内的解码器缺读某个VAU时,解码器也能够根据解码计数器A010、A020立即确定由此缺失的图片。因而,解码器能够适当且迅速地执行错误处理。
在图74(b)所示的例子中,在基视视频流A001的第三个VAU A013的读入中发生错误,Br图片缺失。但是,解码器通过包含在从属视视频流A002的第二个VAUA022中的P图片的解码处理,从该VAUA022读取并保持解码计数器A020。因而,解码器能够预测接着应处理的VAU的解码计数器A010。具体而言,由于包含该P图片的VAUA022内的解码计数器A020是“4”,所以预测接着应读入的VAU的解码计数器A010是“5”。但是,实际上接着被读入的VAU是基视视频流A001的第四个VAU A014,所以该解码计数器A010是“7”。因此,解码器能够检测出缺读了一个VAU的情况。因而,解码器能够执行以下的错误处理:“关于从从属视视频流A002的第三个VAU A023提取的B图片,由于应参照的Br图片缺失,所以将解码处理跳过”。这样,解码器按照每个解码处理检查解码计数器A010、A020。由此,解码器能够迅速地检测VAU的读入错误,并且能够迅速地执行适当的错误处理。其结果,能够防止噪音混入再现影像。
图74(c)是表示对基视视频流A001和从属视视频流A002的各图片分配的解码计数器的其他例A030、A040的示意图。参照图74(c),将解码计数器A030、A040在各视频流A001、A002中单独地递增。因而,解码计数器A030、A040在属于相同的3D·VAU的一对图片间相等。在此情况下,解码器在将基视视频流A001的一个VAU解码后的时刻可以如以下这样预测:“该解码计数器A030等于接着应解码的从属视视频流A002的VAU的解码计数器A040”。另一方面,解码器在将从属视视频流A002的一个VAU解码后的时刻可以如以下这样预测:“对该解码计数器A040加上1后的值等于接着应解码的基视视频流A001的VAU的解码计数器A030”。因而,解码器在哪个时刻都能够根据解码计数器A030、A040迅速地检测VAU的读入错误,并且能够迅速地执行适当的错误处理。其结果,能够防止噪音混入再现影像。
在图57所示的系统目标解码器5423中,DEC5704也可以利用解码开关信息A050,从各VAU将图片与其DTS无关地依次解码。除此之外,缓冲器开关5706也可以使DEC5704返回该VAU内的解码开关信息A050。在该情况下,缓冲器开关5706使用该解码开关信息A050,能够决定从EB15703和EB25710中的哪个转送下一VAU。
<经由广播、通信线路的数据分发>
本发明的实施方式1、2的记录介质除了光盘以外,还包括例如包括SD存储卡的可移动性半导体存储装置等、能够作为封装媒体使用的全部可移除媒体。此外,在上述实施方式1、2的说明中,作为例子而例举了预先记录有数据的光盘、即BD-ROM或DVD-ROM等已有的只读型的光盘。但是,本发明的实施方式并不限定于这些。例如在将通过广播、或者经由网络分发的3D影像的内容由终端装置向BD-RE或DVD-RAM等已有的可写入的光盘写入时,也可以使用实施方式1、2的区段的配置。这里,该终端装置既可以组入到再现装置中,也可以是与再现装置不同的装置。
<半导体存储器卡的再现>
对于作为本发明的实施方式1、2的记录介质、代替光盘而使用半导体存储卡时的再现装置的数据读取部进行说明。
再现装置中的、从光盘读取数据的部分例如由光盘驱动器构成。相对于此,从半导体存储卡读取数据的部分由专用的接口(I/F)构成。更详细地讲,在再现装置上设置卡插槽,在其内部中安装上述I/F。在将半导体存储卡插入到该卡插槽中时,通过该I/F将该半导体存储卡与再现装置电连接。进而,从半导体存储卡将数据通过该I/F读取到再现装置中。
<对BD-ROM盘上的数据的著作权保护技术>
这里,作为以后的补充事项的前提,对用来保护记录在BD-ROM盘中的数据的著作权的机制进行说明。
有时从例如著作权的保护或数据的隐秘性的提高的观点出发而将记录在BD-ROM盘中的数据的一部分加密。该加密数据例如包括视频流、音频流、或其他流。在此情况下,如以下这样解读加密数据。
在再现装置中,预先储存有为了生成用来将BD-ROM盘上的加密数据解读的“密钥”所需要的数据的一部分、即设备密钥。另一方面,在BD-ROM盘中,记录有在该“密钥”的生成中需要的数据的另一部分即MKB(媒体密钥块)、和该“密钥”自身的加密数据即加密标题密钥。设备密钥、MKB及加密标题密钥相互建立对应,进而,与写入在图10所示的BD-ROM盘101上的BCA1001中的特定的ID即卷ID也建立了对应。如果设备密钥、MKB、加密标题密钥、以及卷ID的组合不正确,则不能进行加密数据的解读。即,仅在它们的组合正确的情况下,生成上述“密钥”即标题密钥。具体而言,首先,利用设备密钥、MKB、以及卷ID将加密标题密钥解密。仅在由此完成导出标题密钥时,能够使用该标题密钥作为上述“密钥”将加密数据解读。
即使想要通过再现装置再现BD-ROM盘上的加密数据,只要在该再现装置内没有存储有例如与该BD-ROM盘上的加密标题密钥、MKB、以及卷ID预先建立了对应的设备密钥,就不能将该加密数据再现。这是因为,如果没有用MKB、设备密钥、以及卷ID的正确的组合将加密标题密钥解密,就不能导出该加密数据的解读所需要的密钥即标题密钥。
为了保护应记录到BD-ROM盘中的视频流和音频流中的至少某个的著作权,首先,将保护对象的流用标题密钥加密,记录到BD-ROM盘中。接着,由MKB、设备密钥、以及卷ID的组合生成密钥,用该密钥将上述标题密钥加密而变换为加密标题密钥。进而,将MKB、卷ID、以及加密标题密钥记录到BD-ROM盘中。只有具备在上述的密钥的生成中使用的设备密钥的再现装置,才能从该BD-ROM盘将加密后的视频流及/或音频流用解码器解码。这样,能够保护记录在BD-ROM盘中的数据的著作权。
以上所述的、BD-ROM盘中的数据的著作权保护的机制对BD-ROM盘以外也能够采用。例如在可读写的半导体存储装置、特别是SD卡等可移动性半导体存储卡中也能够采用。
<利用电子分发的向记录介质的数据记录>
以下,对利用电子分发向本发明的实施方式1的再现装置传递3D影像的AV流文件等数据(以下称作分发数据)、进而使该再现装置将该分发数据记录到半导体存储卡中的处理进行说明。另外,以下的动作也可以代替上述再现装置而由专用于该处理的终端装置进行。此外,设想记录目标的半导体存储卡是SD存储卡的情况。
再现装置如上所述,具备卡插槽。在该卡插槽中插入有SD存储卡。在此状态下,再现装置首先向网络上的分发服务器送出分发数据的发送请求。此时,再现装置从SD存储卡读取该识别信息,将该识别信息与发送请求一起向分发服务器送出。SD存储卡的识别信息例如是该SD存储卡固有的识别号码,更具体地讲是该SD存储卡的序列号码。该识别信息被作为上述卷ID使用。
在分发服务器中保存有分发数据。该分发数据中的视频流及/或音频流等需要加密保护的数据被使用规定的标题密钥加密。该加密数据能够用相同的标题密钥解密。
分发服务器作为与再现装置共通的私钥而保持有设备密钥。分发服务器还保持有与SD存储卡共通的MKB。分发服务器在从再现装置受理了分发数据的发送请求和SD存储卡的识别信息时,首先由设备密钥、MKB、及其识别信息生成密钥,用该密钥将标题密钥加密而生成加密标题密钥。
分发服务器接着生成公钥信息。该公钥信息例如包括上述MKB、加密标题密钥、签名信息、SD存储卡的识别号码、以及设备列表。签名信息例如包括公钥信息的散列值。设备列表是应设为无效的设备、即具有将分发数据中的加密数据不正当地再现的危险性的设备的列表。在该列表中,例如确定了再现装置的设备密钥、再现装置的识别号码、内置于再现装置中的解码器等各种部件的识别号码或功能(程序)。
分发服务器还将分发数据和公钥信息向再现装置送出。再现装置接收它们,通过卡插槽内的专用I/F记录到SD存储卡中。
将记录在SD存储卡中的分发数据中的加密数据如以下这样利用例如公钥信息进行解密。首先,作为公钥信息的认证而进行以下三种检查(1)~(3)。另外,它们以怎样的顺序进行都可以。
(1)包含在公钥信息中的SD存储卡的识别信息是否与存储在插入于卡插槽中的SD存储卡中的识别号码一致。
(2)根据公钥信息计算的散列值是否与包含在签名信息中的散列值一致。
(3)是否从公钥信息表示的设备列表排除该再现装置。具体而言,是否从设备列表排除该再现装置的设备密钥。
当上述检查(1)~(3)中的某个的结果是否定时,再现装置将加密数据的解密处理中止。反之,当上述检查(1)~(3)的全部的结果是肯定时,再现装置确认公钥信息的正当性,利用设备密钥、MKB、以及SD存储卡的识别信息将公钥信息内的加密标题密钥解密为标题密钥。再现装置还使用该标题密钥将加密数据解密为例如视频流及/或音频流。
在以上的机制中有以下的优点。在电子分发时已经知道具有不正当使用的危险性的再现装置、部件、以及功能(程序)等的情况下,将这些识别信息列举在设备列表中,作为公钥信息的一部分分发。另一方面,请求分发数据的再现装置必须将该设备列表内的识别信息与该再现装置及其部件等的识别信息对照。由此,只要该再现装置或其部件等被表示在设备列表中,即使SD存储卡的识别号码、MKB、加密标题密钥、以及设备密钥的组合正确,该再现装置也不能将公钥信息用于分发数据内的加密数据的解码。这样,能够有效地抑制分发数据的不正当使用。
半导体存储卡的识别信息优选地保存在半导体存储卡内的记录区域中的、隐秘性特别高的记录区域中。这是因为,在万一该识别信息例如在SD存储卡中其序列号码被不正当地篡改的情况下,SD存储卡的非法复制变得容易执行。即是因为,如果该篡改的结果是存在多个具有相同识别信息的半导体存储卡,则在上述检查(1)中不能进行正规品和非法的复制品之间的识别。因而,必须将半导体存储卡的识别信息记录到隐秘性较高的记录区域中,保护其不受不正当的篡改。
在半导体存储卡内构成这样的隐秘性较高的记录区域的方法例如如以下这样。首先,设置从通常的数据用的记录区域(以下称作第一记录区域)电分离的其他记录区域(以下称作第二记录区域)。接着,在半导体存储卡内设置向第二记录区域访问专用的控制电路。由此,仅能够经由该控制电路向第二记录区域访问。例如,在第二记录区域中仅记录加密后的数据,将用来将该加密后的数据解密的电路仅组入到控制电路内。由此,只要不使控制电路将该数据解密,就不能进行向第二记录区域内的数据的访问。除此以外,也可以仅由控制电路保持第二记录区域内的各数据的地址。在此情况下,第二记录区域内的数据的地址仅能够由控制电路确定。
在半导体存储卡的识别信息记录在第二记录区域中的情况下,在再现装置上动作的应用程序在利用电子分发从分发服务器取得数据而记录到半导体存储卡中的情况下,进行如下的处理。首先,该应用程序经由存储卡I/F对上述控制电路发出对记录在第二记录区域中的半导体存储卡的识别信息进行访问的访问请求。控制电路对应于该请求,首先,从第二记录区域读取该识别信息。控制电路接着经由存储卡I/F向上述应用程序发送该识别信息。该应用程序然后将分发数据的发送请求与该识别信息一起向分发服务器送出。应用程序还对应于该请求,将从分发服务器接收的公钥信息和分发数据经由存储卡I/F记录到半导体存储卡内的第一记录区域中。
另外,上述应用程序优选的是,在对半导体存储卡内的控制电路发出上述访问请求之前检查该应用程序自身的篡改的有无。在该检查中,也可以使用依据例如X.509的数字证书。此外,分发数据如上所述,只要记录在半导体存储卡内的第一记录区域中就可以,也可以不由半导体存储卡内的控制电路控制向该分发数据的访问。
<向实时录制的适用>
在本发明的实施方式3中,前提是,将AV流文件及播放列表文件通过写作系统中的预录制技术记录到BD-ROM盘中供给用户。但是,AV流文件及播放列表文件也可以通过实时录制记录到BD-RE盘、BD-R盘、硬盘、或者半导体存储卡等可写入的记录介质(以下简称作BD-RE盘等)中供给用户。在此情况下,AV流文件也可以是通过记录装置将模拟输入信号实时解码而得到的传输流。除此以外,也可以是记录装置通过将数字输入的传输流部分化而得到的传输流。
执行实时录制的记录装置包括视频编码器、音频编码器、多路复用器、以及源包打包器。视频编码器将视频信号编码而变换为视频流。音频编码器将音频信号编码而变换为音频流。多路复用器将视频流和音频流多路复用,变换为MPEG2-TS形式的数字流。源包打包器将MPEG2-TS形式的数字流内的TS包变换为源包。记录装置将各源包保存到AV流文件中,写入到BD-RE盘等中。
与AV流文件的写入处理并行,记录装置的控制部在存储器上生成片断信息文件和播放列表文件,并写入到BD-RE盘等中。具体而言,当由用户请求了录像处理时,控制部首先匹配于AV流文件而生成片断信息文件,并写入到BD-RE盘等中。在此情况下,每当从外部接收的传输流中检测到视频流内的一个GOP的开头时,或者每当由视频编码器生成视频流内的一个GOP时,控制部取得位于该GOP的开头的I图片的PTS、和保存有该GOP的开头的源包的SPN。控制部还将该PTS和SPN之对作为一个入口点追加到片断信息文件的入口映射中。这里,对该入口点追加了“is_angle_change标志”。is_angle_change标志在该GOP的开头是IDR图片时设定为“开”,在该GOP的开头不是IDR图片时设定为“关”。在片断信息文件内还按照记录对象的流的属性设定流属性信息。这样,在将AV流文件和片断信息文件写入到BD-RE盘等中之后,控制部利用该片断信息文件内的入口映射生成播放列表文件,并写入到BD-RE盘等中。
<受控复制>
本发明的实施方式的再现装置还可以通过受控复制将BD-ROM盘101上的数字流向其他记录介质写入。所谓“受控复制”,是指用来仅在通过与服务器的通信进行的认证成功的情况下许可从BD-ROM盘等只读型记录介质向可写入的记录介质复制数字流、播放列表文件、片断信息文件、以及应用程序的技术。该可写入的记录介质包括BD-R、BD-RE、DVD-R、DVD-RW、以及DVD-RAM等可写入的光盘、硬盘、以及SD存储卡、记忆棒(注册商标)、CF(注册商标)、SmartMedia(注册商标)、及多媒体卡(注册商标)等可移动性半导体存储装置。受控复制能够进行记录在只读型记录介质中的数据的备份次数的限制、以及对备份处理的收费。
在进行从BD-ROM盘向BD-R盘或BD-RE盘的受控复制的情况下,当两盘的记录容量相等时,只要将记录在复制源的盘中的比特流原样依次复制就可以。
在不同种的记录介质间进行受控复制时需要转码。所谓“转码”,是指用来使记录在复制源的盘中的数字流适合于复制目标的记录介质的应用格式的处理。转码包括例如从MPEG2-TS形式向MPEG2程序流形式变换的处理、以及将对视频流和音频流分别分配的位速率降低而重新编码的处理。在转码中,必须通过上述实时录制生成AV流文件、片断信息文件、以及播放列表文件。
<数据构造的記述方法>
通过在for语句中记述控制变量的初始值和重复条件,来定义本发明的实施方式1的数据构造中的、“存在多个规定型的信息”的重复构造。此外,通过在if文中记述该条件、和在该条件的成立时应设定的变量,来定义“在规定的条件成立时定义规定的信息”的数据构造。这样,实施方式1的数据构造通过高级编程语言记述。因而,该数据构造经过“句法解析”、“优化”、“资源分配”、以及“代码生成”这样的编译器的翻译过程,被变换为能够由计算机读取的代码,记录到记录介质中。通过用高级编程语言的记述,该数据构造被作为面向对象型语言的类构造体的方法以外的部分、具体而言是该类构造体中的排列型的成员变量进行处理,构成程序的一部分。即,该数据构造与程序实质上是等同的。因而,该数据构造应作为计算机相关的发明受到保护。
<通过再现程序进行的播放列表文件、片断信息文件的管理>
在将播放列表文件和AV流文件记录到记录介质中时,在该记录介质中将再现程序作为执行形式的文件加以记录。再现程序使计算机按照播放列表文件再现AV流文件。再现程序在被从记录介质装载到计算机内的存储器装置中之后,由该计算机执行。该装载处理包括编译处理或链接处理。通过这些处理,将再现程序在存储器装置内分割为多个段。这些段包括text段、data段、bss段、以及stack段。text段包括再现程序的代码串、变量的初始值、以及不可改写的数据。data段包括具有初始值的变量、以及可改写的数据。data段特别包括记录在记录介质上的、被随时访问的文件。bss段包括不具有初始值的变量。bss段内的数据按照text段内的代码表示的命令被参照。在编译处理或链接处理中,在计算机内的RAM中确保bss段用的区域。stack段是根据需要而临时确保的存储器区域。在再现程序的各处理中,临时使用本地变量。stack段包括这些本地变量。在开始程序的执行时,将bss段内的变量用零初始化,确保stack段所需要的存储器区域。
播放列表文件及片断信息文件如上所述,在记录介质上已经被变换为能够由计算机读取的代码。因而,这些文件在再现程序的执行时作为text段内的“不可改写的数据”、或者data段内的“被随时访问的文件”管理。即,播放列表文件及片断信息文件在再现程序的执行时被组入到该构成要素之中。因此,播放列表文件以及片断信息文件在再现程序中起到超过了单纯的数据提示的作用。
工业实用性
本发明涉及立体视觉影像的显示技术,如上所述,帧速率被变换。这样,很明显本发明能够在工业上加以利用。
标号说明
F3Dk(k=1、2、3、4……)3D影像的帧串
FLk 左视帧串
FRk 右视帧串
GRD 切换栅格
Claims (20)
1.一种显示装置,用于在画面上显示立体视觉影像,其特征在于,具有:
接收部,接收包含立体视觉影像的左视和右视在内的流数据;
信号处理部,从上述流数据中交替地提取左视帧和右视帧后加以送出;以及
显示部,每规定时间在画面上显示从上述信号处理部送出的各个帧,
上述信号处理部在上述流数据表示的立体视觉影像的一个帧期间,分别将一个左视帧重复第一次数地、将一个右视帧重复第二次数地向上述显示部送出,
上述信号处理部基于用上述流数据表示的立体视觉影像的帧速率除上述显示部显示左视帧和右视帧时的帧速率之后得到的值,在上述立体视觉影像的至少一个帧期间将上述第一次数和上述第二次数决定为相互不同的值。
2.如权利要求1所述的再现装置,其特征在于,
上述信号处理部决定上述第一次数和上述第二次数,以使上述立体视觉影像的一个帧期间与其下个帧期间之间的时间差比一对左视帧和右视帧的显示时间短。
3.如权利要求2所述的再现装置,其特征在于,
上述信号处理部决定上述第一次数和上述第二次数,以使上述立体视觉影像的一个帧期间的长度与其下个帧期间的长度相等。
4.如权利要求1所述的再现装置,其特征在于,
上述信号处理部求出用上述流数据表示的立体视觉影像的帧速率除上述显示部显示左视帧和右视帧时的帧速率之后得到的商,
每次左视帧和右视帧的输出次数的合计、或者上述合计加1之后得到的值超过上述商的整数倍,上述信号处理部将输出对象的左视帧和右视帧替换为构成立体视觉影像的下个帧的左视帧和右视帧。
5.一种显示方法,用于在画面上显示立体视觉影像,其特征在于,包括:
接收包含立体视觉影像的左视和右视在内的流数据的步骤;
从上述流数据中交替地提取左视帧和右视帧的步骤;以及
每规定时间在画面上显示从上述流数据提取的各个帧的步骤,
在上述流数据表示的立体视觉影像的一个帧期间,分别将一个左视帧重复第一次数地、将一个右视帧重复第二次数地显示在画面上,
基于用上述流数据表示的立体视觉影像的帧速率除显示左视帧和右视帧时的帧速率之后得到的值,在上述立体视觉影像的至少一个帧期间将上述第一次数和上述第二次数决定为相互不同的值。
6.一种记录介质,记录有包含立体视觉影像的左视、右视以及控制信息在内的流数据,其特征在于,
上述控制信息具有包括各个左视帧的显示类型在内的第一部分、和包括各个右视帧的显示类型在内的第二部分,
各个左视帧的显示类型规定第一次数,上述第一次数表示在立体视觉影像的一个帧期间应在画面上每规定时间重复显示该左视帧的次数,
各个右视帧的显示类型规定第二次数,上述第二次数表示在立体视觉影像的一个帧期间应在画面上每上述规定时间重复显示该右视帧的次数,
在立体视觉影像的至少一个帧期间,上述第一次数和上述第二次数被设定为相互不同的值。
7.如权利要求6所述的记录介质,其特征在于,
上述第一次数和上述第二次数被设定为,使得立体视觉影像的一个帧期间与其下个帧期间之间的时间差比一对左视帧和右视帧的显示时间短。
8.如权利要求7所述的记录介质,其特征在于,
上述第一次数和上述第二次数被设定为,使得上述立体视觉影像的一个帧期间的长度与其下个帧期间的长度相等。
9.一种发送装置,用于发送包含立体视觉影像的左视、右视以及控制信息在内的流数据,其特征在于,具有:
格式变换部,将上述流数据变换为规定的发送形式;以及
发送部,发送上述发送形式的流数据,
上述控制信息具有包括各个左视帧的显示类型在内的第一部分、和包括各个右视帧的显示类型在内的第二部分,
各个左视帧的显示类型规定第一次数,上述第一次数表示在立体视觉影像的一个帧期间应在画面上每规定时间重复显示该左视帧的次数,
各个右视帧的显示类型规定第二次数,上述第二次数表示在立体视觉影像的一个帧期间应在画面上每上述规定时间重复显示该右视帧的次数,
在立体视觉影像的至少一个帧期间,上述第一次数和上述第二次数被设定为相互不同的值。
10.如权利要求9所述的发送装置,其特征在于,
上述第一次数和上述第二次数被设定为,使得立体视觉影像的一个帧期间与其下个帧期间之间的时间差比一对左视帧和右视帧的显示时间短。
11.如权利要求10所述的发送装置,其特征在于,
上述第一次数和上述第二次数被设定为,使得上述立体视觉影像的一个帧期间的长度与其下个帧期间的长度相等。
12.一种方法,用于发送包含立体视觉影像的左视、右视以及控制信息在内的流数据,其特征在于,包括:
将上述流数据变换为规定的发送形式的步骤;以及
发送上述发送形式的流数据的步骤,
上述控制信息具有包括各个左视帧的显示类型在内的第一部分、和包括各个右视帧的显示类型在内的第二部分,
各个左视帧的显示类型规定第一次数,上述第一次数表示在立体视觉影像的一个帧期间应在画面上每规定时间重复显示该左视帧的次数,
各个右视帧的显示类型规定第二次数,上述第二次数表示在立体视觉影像的一个帧期间应在画面上每上述规定时间重复显示该右视帧的次数,
在立体视觉影像的至少一个帧期间,上述第一次数和上述第二次数被设定为相互不同的值。
13.一种再现装置,用于再现立体视觉影像,其特征在于,具有:
输入部,取得包含立体视觉影像的左视、右视以及控制信息在内的流数据;
解码部,从上述流数据解码左视帧和右视帧后,交替地送出;
格式变换部,从上述解码部接收一对左视帧和右视帧后,变换为规定的输出形式;以及
输出部,发送上述输出形式的帧,
上述控制信息包括各个左视帧的显示类型和各个右视帧的显示类型,
各个左视帧的显示类型规定第一次数,上述第一次数表示在立体视觉影像的一个帧期间应在画面上每规定时间重复显示该左视帧的次数,
各个右视帧的显示类型规定第二次数,上述第二次数表示在立体视觉影像的一个帧期间应在画面上每上述规定时间重复显示该右视帧的次数,
在立体视觉影像的至少一个帧期间,上述第一次数和上述第二次数被设定为相互不同的值,
上述解码部将各个左视帧重复该左视帧的显示类型所规定的第一次数地向上述格式变换部送出,
上述解码部将各个右视帧重复该右视帧的显示类型所规定的第二次数地向上述格式变换部送出。
14.如权利要求13所述的再现装置,其特征在于,
上述第一次数和上述第二次数被设定为,使得立体视觉影像的一个帧期间与其下个帧期间之间的时间差比一对左视帧和右视帧的显示时间短。
15.如权利要求14所述的再现装置,其特征在于,
上述第一次数和上述第二次数被设定为,使得上述立体视觉影像的一个帧期间的长度与其下个帧期间的长度相等。
16.一种再现方法,用于使再现装置再现立体视觉影像,其特征在于,包括:
使上述再现装置取得包含立体视觉影像的左视、右视以及控制信息在内的流数据的步骤;
使上述再现装置内的解码部,从上述流数据解码左视帧和右视帧后,交替地送出的步骤;
使上述再现装置内的格式变换部,从上述解码部接收一对左视帧和右视帧后,变换为规定的输出形式的步骤;以及
使上述再现装置发送上述输出形式的帧的步骤,
上述控制信息包括各个左视帧的显示类型和各个右视帧的显示类型,
各个左视帧的显示类型规定第一次数,上述第一次数表示在立体视觉影像的一个帧期间应在画面上每规定时间重复显示该左视帧的次数,
各个右视帧的显示类型规定第二次数,上述第二次数表示在立体视觉影像的一个帧期间应在画面上每上述规定时间重复显示该右视帧的次数,
在立体视觉影像的至少一个帧期间,上述第一次数和上述第二次数被设定为相互不同的值,
使上述再现装置从上述解码部将各个左视帧重复该左视帧的显示类型所规定的第一次数地向上述格式变换部送出,
使上述再现装置从上述解码部将各个右视帧重复该右视帧的显示类型所规定的第二次数地向上述格式变换部送出。
17.一种显示装置,用于在画面上显示立体视觉影像,其特征在于,具有:
接收部,接收包含立体视觉影像的左视、右视以及控制信息在内的流数据;
信号处理部,从上述流数据中交替地提取左视帧和右视帧加以送出;以及
显示部,每规定时间在画面上显示从上述信号处理部送出的帧,
上述控制信息包括各个左视帧的显示类型和各个右视帧的显示类型,
各个左视帧的显示类型规定第一次数,上述第一次数表示上述显示部在立体视觉影像的一个帧期间应重复显示该左视帧的次数,
各个右视帧的显示类型规定第二次数,上述第二次数表示上述显示部在立体视觉影像的一个帧期间应重复显示该右视帧的次数,
在立体视觉影像的至少一个帧期间,上述第一次数和上述第二次数被设定为相互不同的值,
上述接收部将各个左视帧重复该左视帧的显示类型所规定的第一次数地向上述信号处理部送出,
上述接收部将各个右视帧重复该右视帧的显示类型所规定的第二次数地向上述信号处理部送出。
18.如权利要求17所述的显示装置,其特征在于,
上述第一次数和上述第二次数被设定为,使得立体视觉影像的一个帧期间与其下个帧期间之间的时间差比一对左视帧和右视帧的显示时间短。
19.如权利要求18所述的显示装置,其特征在于,
上述第一次数和上述第二次数被设定为,使得上述立体视觉影像的一个帧期间的长度与其下个帧期间的长度相等。
20.一种显示方法,用于使显示装置显示立体视觉影像,其特征在于,包括:
使上述显示装置接收包含立体视觉影像的左视、右视以及控制信息在内的流数据的步骤;
使上述显示装置的信号处理部,从上述流数据中交替地提取左视帧和右视帧加以送出的步骤;以及
使上述显示装置的画面每规定时间显示从上述信号处理部送出的帧的步骤,
上述控制信息包括各个左视帧的显示类型和各个右视帧的显示类型,
各个左视帧的显示类型规定第一次数,上述第一次数表示在立体视觉影像的一个帧期间应在上述画面上重复显示该左视帧的次数,
各个右视帧的显示类型规定第二次数,上述第二次数表示在立体视觉影像的一个帧期间应在上述画面上重复显示该右视帧的次数,
在立体视觉影像的至少一个帧期间,上述第一次数和上述第二次数被设定为相互不同的值,
使上述显示装置从上述接收部将各个左视帧重复该左视帧的显示类型所规定的第一次数地向上述信号处理部送出,
使上述显示装置从上述接收部将各个右视帧重复该右视帧的显示类型所规定的第二次数地向上述信号处理部送出。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US29032209P | 2009-12-28 | 2009-12-28 | |
US61/290,322 | 2009-12-28 | ||
PCT/JP2010/007514 WO2011080907A1 (ja) | 2009-12-28 | 2010-12-24 | 表示装置と方法、記録媒体、送信装置と方法、及び再生装置と方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102334339A true CN102334339A (zh) | 2012-01-25 |
Family
ID=44226334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010800094649A Pending CN102334339A (zh) | 2009-12-28 | 2010-12-24 | 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110310235A1 (zh) |
JP (1) | JP5480915B2 (zh) |
CN (1) | CN102334339A (zh) |
WO (1) | WO2011080907A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104202588A (zh) * | 2014-08-28 | 2014-12-10 | 广东威创视讯科技股份有限公司 | 3d信号剪切方法、系统及3d信号开窗方法和系统 |
CN104254868A (zh) * | 2013-01-30 | 2014-12-31 | Lsi公司 | 使用至少一个较高帧速率图像流提高图像流帧速率的方法和装置 |
CN108074528A (zh) * | 2016-11-17 | 2018-05-25 | 乐金显示有限公司 | 显示装置及其控制器 |
CN108363204A (zh) * | 2017-01-23 | 2018-08-03 | 泰丰有限公司 | 显示装置、显示方法及记录介质、以及游乐设施 |
CN110364189A (zh) * | 2014-09-10 | 2019-10-22 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2010050084A1 (ja) * | 2008-10-31 | 2012-03-29 | パナソニック株式会社 | 信号処理装置 |
JP5390017B2 (ja) * | 2010-03-24 | 2014-01-15 | パナソニック株式会社 | 映像処理装置 |
CN103026713B (zh) * | 2010-07-12 | 2016-02-24 | 皇家飞利浦电子股份有限公司 | 3d视频广播中的辅助数据 |
JP2012029006A (ja) * | 2010-07-22 | 2012-02-09 | Toshiba Corp | 映像出力制御装置及び映像出力制御方法 |
KR101675119B1 (ko) * | 2010-09-28 | 2016-11-22 | 삼성전자 주식회사 | 3차원 사용자 인지 정보를 표시하기 위한 데이터스트림 생성 방법 및 장치, 데이터스트림 재생 방법 및 장치 |
KR20120039197A (ko) * | 2010-10-15 | 2012-04-25 | 삼성전자주식회사 | 리모트 컨트롤러, 디스플레이장치, 3d 안경 및 이들의 제어방법 |
US8836772B2 (en) * | 2010-11-17 | 2014-09-16 | Sony Computer Entertainment, Inc. | 3D shutter glasses with frame rate detector |
CN102480671B (zh) * | 2010-11-26 | 2014-10-08 | 华为终端有限公司 | 视频通信中的音频处理方法和装置 |
JP4908624B1 (ja) * | 2010-12-14 | 2012-04-04 | 株式会社東芝 | 立体映像信号処理装置及び方法 |
US9351028B2 (en) * | 2011-07-14 | 2016-05-24 | Qualcomm Incorporated | Wireless 3D streaming server |
US9621870B2 (en) * | 2011-08-22 | 2017-04-11 | Pixar | Temporal cadence perturbation for time-division stereoscopic displays |
US9247229B2 (en) | 2011-08-22 | 2016-01-26 | Pixar | Temporal cadence perturbation for time-division stereoscopic displays |
US9219903B2 (en) | 2011-08-22 | 2015-12-22 | Pixar | Temporal cadence perturbation for time-division stereoscopic displays |
JP5733139B2 (ja) * | 2011-09-27 | 2015-06-10 | 株式会社Jvcケンウッド | 動きベクトル検出装置及び方法、並びに、映像信号処理装置及び方法 |
BR112013017322A2 (pt) | 2011-11-11 | 2017-03-01 | Sony Corp | dispositivo e método de transmissão, e, método de recepção |
JP5928118B2 (ja) * | 2012-04-16 | 2016-06-01 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
KR101310941B1 (ko) * | 2012-08-03 | 2013-09-23 | 삼성전자주식회사 | 복수의 컨텐츠 뷰를 디스플레이하는 디스플레이 장치와 그 컨텐츠 뷰 중 하나에 동기화되어 구동되는 안경 장치 및 그 방법들 |
KR20140031758A (ko) * | 2012-09-05 | 2014-03-13 | 삼성전자주식회사 | 포인팅 디바이스를 이용하여 aⅴ 데이터의 메뉴를 제어하기 위한 인터랙티브 그래픽 데이터를 기록한 정보저장매체, 그 재생방법 및 장치 |
US9762944B2 (en) * | 2012-11-28 | 2017-09-12 | Rovi Guides, Inc. | Systems and methods for presenting content simultaneously in different forms based on parental control settings |
ITTO20121073A1 (it) * | 2012-12-13 | 2014-06-14 | Rai Radiotelevisione Italiana | Apparato e metodo per la generazione e la ricostruzione di un flusso video |
JP2014200074A (ja) * | 2013-03-15 | 2014-10-23 | 株式会社リコー | 配信制御システム、配信制御方法、及びプログラム |
TWI603290B (zh) * | 2013-10-02 | 2017-10-21 | 國立成功大學 | 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統 |
US20150253974A1 (en) | 2014-03-07 | 2015-09-10 | Sony Corporation | Control of large screen display using wireless portable computer interfacing with display controller |
EP3291550B1 (en) * | 2016-08-30 | 2021-02-10 | Advanced Digital Broadcast S.A. | A method and system for paring shutter glasses with a remote control unit |
US10715882B2 (en) * | 2018-06-29 | 2020-07-14 | Intel Corporation | Timing synchronization between a content source and a display panel |
US11516453B2 (en) * | 2018-07-06 | 2022-11-29 | Sony Corporation | Information processing apparatus, information processing method, and program for point cloud sample processing |
CN111225263B (zh) * | 2020-01-17 | 2022-06-14 | 广州虎牙科技有限公司 | 视频播放控制方法和装置、电子设备及存储介质 |
CN114125516B (zh) * | 2020-08-26 | 2024-05-10 | Oppo(重庆)智能科技有限公司 | 一种视频播放方法及穿戴式设备、存储介质 |
CN112686865B (zh) * | 2020-12-31 | 2023-06-02 | 重庆西山科技股份有限公司 | 一种3d视图辅助检测方法、系统、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005260810A (ja) * | 2004-03-15 | 2005-09-22 | Matsushita Electric Ind Co Ltd | カメラレコーダ |
CN1737641A (zh) * | 2004-08-17 | 2006-02-22 | 三菱电机株式会社 | 立体图像显示装置 |
US20060126919A1 (en) * | 2002-09-27 | 2006-06-15 | Sharp Kabushiki Kaisha | 3-d image display unit, 3-d image recording device and 3-d image recording method |
US20070085902A1 (en) * | 2005-10-18 | 2007-04-19 | Texas Instruments Incorporated | System and method for displaying stereoscopic digital motion picture images |
US20090051759A1 (en) * | 2005-05-27 | 2009-02-26 | Adkins Sean M | Equipment and methods for the synchronization of stereoscopic projection displays |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4827783B2 (ja) * | 2007-03-30 | 2011-11-30 | 三洋電機株式会社 | 画像表示装置 |
US20100045779A1 (en) * | 2008-08-20 | 2010-02-25 | Samsung Electronics Co., Ltd. | Three-dimensional video apparatus and method of providing on screen display applied thereto |
WO2010058547A1 (ja) * | 2008-11-18 | 2010-05-27 | パナソニック株式会社 | 特殊再生を考慮した再生装置、集積回路、再生方法 |
-
2010
- 2010-12-24 WO PCT/JP2010/007514 patent/WO2011080907A1/ja active Application Filing
- 2010-12-24 CN CN2010800094649A patent/CN102334339A/zh active Pending
- 2010-12-24 JP JP2011547328A patent/JP5480915B2/ja not_active Expired - Fee Related
- 2010-12-24 US US13/201,025 patent/US20110310235A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060126919A1 (en) * | 2002-09-27 | 2006-06-15 | Sharp Kabushiki Kaisha | 3-d image display unit, 3-d image recording device and 3-d image recording method |
JP2005260810A (ja) * | 2004-03-15 | 2005-09-22 | Matsushita Electric Ind Co Ltd | カメラレコーダ |
CN1737641A (zh) * | 2004-08-17 | 2006-02-22 | 三菱电机株式会社 | 立体图像显示装置 |
US20090051759A1 (en) * | 2005-05-27 | 2009-02-26 | Adkins Sean M | Equipment and methods for the synchronization of stereoscopic projection displays |
US20070085902A1 (en) * | 2005-10-18 | 2007-04-19 | Texas Instruments Incorporated | System and method for displaying stereoscopic digital motion picture images |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104254868A (zh) * | 2013-01-30 | 2014-12-31 | Lsi公司 | 使用至少一个较高帧速率图像流提高图像流帧速率的方法和装置 |
CN104202588A (zh) * | 2014-08-28 | 2014-12-10 | 广东威创视讯科技股份有限公司 | 3d信号剪切方法、系统及3d信号开窗方法和系统 |
CN110364189A (zh) * | 2014-09-10 | 2019-10-22 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
CN111212251A (zh) * | 2014-09-10 | 2020-05-29 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
CN110364189B (zh) * | 2014-09-10 | 2021-03-23 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
CN111212251B (zh) * | 2014-09-10 | 2022-05-27 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
CN108074528A (zh) * | 2016-11-17 | 2018-05-25 | 乐金显示有限公司 | 显示装置及其控制器 |
CN108363204A (zh) * | 2017-01-23 | 2018-08-03 | 泰丰有限公司 | 显示装置、显示方法及记录介质、以及游乐设施 |
CN108363204B (zh) * | 2017-01-23 | 2022-02-11 | 泰丰有限公司 | 显示装置、显示方法及记录介质、以及游乐设施 |
Also Published As
Publication number | Publication date |
---|---|
US20110310235A1 (en) | 2011-12-22 |
JPWO2011080907A1 (ja) | 2013-05-09 |
JP5480915B2 (ja) | 2014-04-23 |
WO2011080907A1 (ja) | 2011-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102334339A (zh) | 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法 | |
CN102362504B (zh) | 记录方法及再现装置 | |
CN102334338B (zh) | 显示装置和方法、发送装置和方法、以及接收装置和方法 | |
CN102138335B (zh) | 再现装置、记录方法及记录介质再现系统 | |
CN102113334B (zh) | 再现装置、记录方法及记录介质再现系统 | |
CN102027750B (zh) | 记录介质、再现装置及集成电路 | |
CN101803396B (zh) | 记录方法、再现装置和集成电路 | |
US8270807B2 (en) | Recording medium, playback device, and integrated circuit | |
US8290338B2 (en) | Recording medium, playback device, encoding device, integrated circuit, and playback output device | |
CN102027751B (zh) | 再现装置 | |
CN101953170B (zh) | 再现装置及集成电路 | |
MX2011001209A (es) | Medio de grabacion, dispositivo de reproduccion, y circuito integrado. | |
CN102124748A (zh) | 记录介质、再生装置及集成电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20120125 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |