CN101828229A - 记录有3d影像的记录介质、再现3d影像的再现装置及系统lsi - Google Patents

记录有3d影像的记录介质、再现3d影像的再现装置及系统lsi Download PDF

Info

Publication number
CN101828229A
CN101828229A CN200980100580A CN200980100580A CN101828229A CN 101828229 A CN101828229 A CN 101828229A CN 200980100580 A CN200980100580 A CN 200980100580A CN 200980100580 A CN200980100580 A CN 200980100580A CN 101828229 A CN101828229 A CN 101828229A
Authority
CN
China
Prior art keywords
stream
look
data
display set
graphical stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980100580A
Other languages
English (en)
Other versions
CN101828229B (zh
Inventor
小川智辉
佐佐木泰治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42073194&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101828229(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101828229A publication Critical patent/CN101828229A/zh
Application granted granted Critical
Publication of CN101828229B publication Critical patent/CN101828229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

记录在记录介质中的左视角图形流和右视角图形流都包含一个以上的显示集,各个显示集是在一个画面的图形对象的显示中使用的数据组。所述左视角图形流中包含的一个以上的显示集,与所述右视角图形流中包含的一个以上的显示集一对一地相对应,在相对应的显示集中,在所述视频流的再现时间轴上设定相同的再现时间。各个所述显示集包含状态信息,该状态信息表示所述显示集包含在一个画面的图形对象的显示中所需要的全部数据、还是所述显示集为与前一个显示集之间的差分,相对应的显示集中包含的状态信息表示相同的内容。

Description

记录有3D影像的记录介质、再现3D影像的再现装置及系统LSI
技术领域
本发明涉及在再现装置中采用两个图形解码器结构时的图形的立体观察。
背景技术
近年来,作为下一代光盘标准的蓝光光盘(Blu-ray Disc,以下称为“BD”)的普及正在加速。在依据BD-ROM标准的再现装置中,向与该再现装置连接的显示器等显示装置输出叠加有字幕或图形的高画质的视频流,由此能够欣赏具有较强的临场感的影像(例如参照专利文献1)。
另一方面,作为显示装置的技术方向,不仅能够欣赏扁平的影像,也能够欣赏好像跳跃出来的影像的立体观察显示器开始普及。立体观察显示器有各种方式,但其基本原理是导入按左视角(left view)和右视角(right view)来使左右眼睛观看不同图案的结构,利用两眼之间的视差来模拟地形成立体影像。
现有技术文献
专利文献
专利文献1:WO2005-119675号公报
但是,存在如何进行与视频合成并再现的图形的立体观察显示的问题。其中,如果图形是字幕及菜单,则在进行左视角再现时和右视角再现时,分别使构成作为非压缩图形的图形对象的像素数据的坐标移动,由此能够将字幕及菜单呈现在画面的近前。可是,在该坐标移动中,只是保持平面状态不变地在近前看到图形,图形自身看起来并不是立体的。
在近年来的电影作品中出现下述示例,即:使用以字幕为主要用途而导入的演示图形(Presentation Graphics)流的数据构造,实现好像与电影作品中的出场人物紧密同步的动画图形。
在图形表示例如动画角色的情况下,在基于坐标移动的立体观察中,只不过是在近前看到平面状态下的角色,不能立体地再现动画角色的脸部的凹陷或鼻子的突出程度等。因此,有在娱乐用途方面仍有不足的意见。
因此,为了立体地观看动画角色,在一个图形流中分别编入左视角用的图形数据和右视角用的图形数据,将该图形流解码,由此实现立体观察。
但是,在这种考虑方式中,由于图形解码器的解码的负荷成为二倍,所以必须提高作为图形解码器的动作的基准的时钟频率,这有碍于产品的成本降低。
为了避免时钟频率的高频化,可以将图形数据设为两个流结构,而且将再现装置设为两个解码器结构。即,将左视角用的图形数据和右视角用的图形数据安排到独立的图形流中,并且在再现装置中安装两个图形解码器。另外,如果使两个图形解码器处理这两个图形流,则不需要太提高时钟频率,即可使再现装置解码左视角和右视角的图形数据。
可是,在再现装置采用两个解码器结构的情况下,存在不能保证随机访问(random access)时的图形的立体观察的问题。具体说明该问题。左视角用和右视角用的图形流分别构成为包括多个显示集(Display Set,以下称为“DS”),各个DS是在一个画面的量的图形显示中应该使用的数据组。该DS具有多种类型,有包括在一个画面的量的图形显示中所需要的全部数据的DS、及只包括与前一个DS的差分的DS。只包括与前一个DS的差分的DS不能单独地进行图形整体的显示。其中,由于在通过左视角而看到的像和通过右视角而看到的像中,看上去存在差异,所以即使有在一个DS中动画角色与前一个DS的变化较大,并包括在一个画面的量的图形显示中所需要的全部数据的情况,也要考虑在另一个DS中由于死角的原因动画角色的变化不大,只包括与前一个DS的差分即可的情况。
这样,在再现装置中,在从这些DS进行找出要再现部分的开头的动作(頭出し,以下也称为“寻源”)的情况下,有可能产生下述问题,即:虽然能够对一个图形进行正确解码,但对于另一个由于不能向解码器提供再现所需要的数据而不能进行解码。结果,有时不能进行随机访问时的图形的立体观察。
发明内容
本发明的目的在于,提供一种保证随机访问时的图形的立体观察的记录介质。
为了达到上述目的,本发明的一个实施方式的记录介质,记录有视频流、左视角图形流和右视角图形流,其特征在于,所述左视角图形流和所述右视角图形流都包含一个以上的显示集,各个所述显示集是在一个画面的图形对象的显示中所使用的数据组,所述左视角图形流中包含的一个以上的显示集,与所述右视角图形流中包含的一个以上的显示集一对一地相对应,在相对应的显示集中,在所述视频流的再现时间轴上设定相同的再现时间,各个所述显示集包含状态信息,该状态信息表示所述显示集包含一个画面的图形对象的显示所需要的全部数据、还是所述显示集为与前一个显示集之间的差分,所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的状态信息表示相同的内容。
发明效果
根据上述记述的结构,左视角图形流的各个显示集的状态信息、和对应该显示集的右视角图形流的显示集的状态信息,表示相同的内容。因此,在一个图形流的显示集中,在其状态信息表示包括一个画面的量的图形的显示中所需要的全部数据的情况下,在对应的另一个图形流的显示集中,其状态信息表示包括显示一个画面的量的图形时所需要的全部数据。
因此,通过将这些显示集配置在判明进行寻源的位置处,如果在随机访问时能够解码一个图形流,则另一个图形流一定也能够解码。因此,能够保证随机访问时的图形的立体观察。
附图说明
图1是表示家庭影院系统的结构的图。
图2是表示BD-ROM的内部结构的图。
图3是表示BD-ROM的应用格式的图。
图4是表示构成左视角流、右视角流的各个源包是经过什么过程被写入到AV数据区域中的图。
图5是表示BD-ROM的物理单位、与构成一个文件范围的源包之间的对应关系的图。
图6是将TS包的包ID可取的多个数值范围、和具有各个数值范围的包ID的TS包的PES流类别对应示出的图。
图7是表示交错配置的一例的图。
图8是表示立体观察用的基本视角流、增强视角流的内部结构的一例的图。
图9是表示通过按照图8所示的定时切换立体眼镜的透光/遮光,向再现提供什么样的影像的图。
图10是表示通过眼睛的残像反应而形成的立体影像的图。
图11是表示PG流的结构的图。
图12是表示利用各种类别的功能区段构成的逻辑构造的图。
图13是表示ODS、PDS的数据构造的图。
图14是表示WDS、PCS的数据构造的图。
图15是表示在左视角PG流和右视角PG流中对应的DS中的DS的类型、composition_number、forced_on_flag及的图。
图16是表示属于左视角的DS的WDS、PCS的记述示例的图。
图17是表示属于右视角的DS的WDS、PCS的记述示例的图。
图18是表示在左视角PG流和右视角PG流中对应的DS中的DS的object_id的图。
图19是表示被分配了DSn的AVClip的再现时间轴的图。
图20是表示素材信息文件的一例的图。
图21是表示表项映射表的内部结构的图。
图22表示表项映射表的入口点的登记。
图23是表示如何设定与左视角和右视角分别对应的表项映射的图。
图24是表示播放列表信息的数据构造的图。
图25是表示子路径信息表的内部结构的图。
图26表示针对左视角、右视角定义什么样的再现区间。
图27是表示视频流序号表的内部结构的图。
图28是表示STN_table中的PG流信息表的内部结构的图。
图29是表示播放列表信息中的扩展数据的内部结构的图。
图30是表示视频流序号表的内部结构的图。
图31是表示再现装置的内部结构的图。
图32是表示再现部1的内部结构的图。
图33是表示播放列表再现处理的处理步骤的流程图。
图34是表示基于STN_table_extension的再现步骤的流程图。
图35是表示装置状态变化时及流变化的请求时的PSR2的设定步骤的流程图。
图36是表示PSR2设定步骤的流程图。
图37是表示变形示例1-1中的再现部1的内部结构的图。
图38是表示IG流的结构的图。
图39是表示利用各种类别的功能区段构成的逻辑构造的图。
图40是表示ICS与Interactive_composition之间的对应关系的图。
图41是表示ICS的内部结构的图。
图42是表示有关多个页面中的任意页面(第x个页面)的页面信息的内部结构的图。
图43是表示属于左视角的DS的ICS的记述示例的图。
图44是表示属于右视角的DS的ICS的记述示例的图。
图45是表示实施方式2的再现部1的内部结构的图。
图46是表示左视角PG流和右视角PG流的复用顺序的限制的图。
图47是表示PCS的数据构造的变形示例的图。
图48是表示包括3D-PCS的DS的图。
标号说明
100BD-ROM;200再现装置;300电视机;400液晶闸门眼镜;500遥控器;201BD驱动器;202HDMI接口;203再现状态/设定寄存器组;204非易失性存储器;205静态脚本存储器;206再现控制引擎;207堆内存;208BD-J平台;209动态脚本存储器;210模式管理模块;211命令解释器;212UO检测模块;1再现部;2读出缓冲器;3PID滤波器;4a、4b、4c、4d、4e传输缓冲器;4f周边电路;5a左视角用视频解码器;5b右视角用视频解码器;6a视频平面(左);6b视频平面(右);7切换器;8a左视角用图形解码器;8b右视角用图形解码器;9a左视角用图形平面;9b右视角用图形平面;10a左眼用CLUT单元;10b右眼用CLUT单元;11a左眼用OFFSET单元;11b右眼用OFFSET单元;12CLUT输出切换器;13加法器;14音频解码器。
具体实施方式
以下,参照附图说明本发明的实施方式。
(实施方式1)
<整体结构>
图1是表示记录介质和再现装置的使用行为的图。如图1(a)所示,作为记录介质的一例的BD-ROM100和再现装置200,与电视机300、液晶闸门眼镜400和遥控器500一起构成家庭影院系统,供用户使用。
BD-ROM100向上述家庭影院系统提供例如电影作品。
再现装置200与电视机300连接并再现BD-ROM100。
电视机300通过显示电影作品的再现影像并显示菜单等,向用户提供交互式操作环境。
液晶闸门眼镜400由液晶闸门和控制部构成,利用用户的两个眼睛的视差来实现立体观察。液晶闸门眼镜400的液晶闸门是使用了液晶透镜的闸门,该液晶透镜具有通过改变施加电压来改变光的透射率的性质。液晶闸门眼镜400的控制部从再现装置接收用于切换右视角用图像和左视角用图像的输出的同步信号,并按照该同步信号来切换第1状态和第2状态。
图1(b)表示第1状态。第1状态指调节施加电压以使对应右视角的液晶透镜不透射光,并调节施加电压以使对应左视角的液晶透镜透射光的状态。在该状态下,左视角用的图像被用于收看。
图1(c)表示第2状态。第2状态指调节施加电压以使对应右视角的液晶透镜透射光,并调节施加电压以使对应左视角的液晶透镜不透射光的状态。在该状态下,右视角用的图像被用于收看。
一般,对于通过右视角而看到的像和通过左视角而看到的像,看上去存在若干差异。这是因右视角和左视角的位置差异而引起的。并且,利用这种差异,人们能够将眼睛看到的像识别为立体像。因此,如果液晶闸门眼镜400使以上所述的第1状态和第2状态的切换,与右视角用图像和左视角用图像的输出的切换定时同步,则用户产生将平面状态的显示看成立体状态的错觉。
下面,说明在显示右视角影像和左视角影像时的时间间隔。
具体地讲,在平面显示的图像中,右视角用图像和左视角用图像具有差异,该差异的程度相当于因人的两个眼睛的视差而形成的看上去的差异,通过以较短的时间间隔切换显示这些图像,使看起来好像就是在进行立体显示。
这种较短的时间间隔,只要是通过上述的切换显示使人错觉地看成立体状态的程度的时间即可。
返回图1(a),遥控器500是从用户受理对分层化的GUI的操作的设备,为了受理这些操作,遥控器500具有调用构成GUI的菜单的菜单键、使构成菜单的GUI部件的焦点移动的箭头键、对构成菜单的GUI部件进行确定操作的确定键、用于使分层化的菜单返回到更上位层的返回键、和数值键。
以上是关于家庭影院系统的说明。
<记录介质>
下面,说明作为再现装置200的再现对象的记录介质。由再现装置200进行再现的是BD-ROM100。图2是表示BD-ROM的内部结构的图。
第1段表示作为被多层化的光盘的BD-ROM,第2段将处于各个记录层上的螺旋轨道沿水平方向拉伸进行描述。该螺旋轨道被作为一个连续的记录区域来进行处理。该记录区域由位于最内周的导入区(lead-in)、位于最外周的导出(lead-out)、以及位于两者之间的第1记录层的记录区域、第2记录层的记录区域和第3记录层的记录区域构成。
第3段表示BD-ROM中的文件系统区域。文件系统区域由“卷管理区域”和“逻辑地址空间”构成。
“卷(volume)管理区域”是记录有文件系统管理信息的区域,用于把第1记录层的记录区域、第2记录层的记录区域和第3记录层的记录区域作为一个连续的文件系统空间进行处理。
“逻辑地址空间”是通过扇区(sector)连续的逻辑块序号(LBN)指示的地址空间。即,第2段中的第1记录层的记录区域、第2记录层的记录区域和第3记录层的记录区域,构成一个连续的逻辑地址空间。
第4段表示文件系统管理区域的逻辑地址空间中的区域分配。在文件系统管理记录中的内周侧存在非AV数据记录区域。在紧挨着非AV数据记录区域之后存在AV数据记录区域。
第5段表示在这些非AV数据记录区域和AV数据记录区域中记录的范围(extent,或盘区)。在AV数据记录区域中存在构成AV文件的范围(图中的EXT、EXT、EXT…)。在非AV数据记录区域中存在构成除AV文件之外的文件的范围(图中的EXT、EXT、EXT…)。
图3是表示BD-ROM的应用格式的图。
“BDMV目录”是记录有在BD-ROM中处理的AV内容及管理信息等数据的目录。在BDMV目录的属下有被称为“JAR目录”、“BDJO目录”、“PLAYLIST目录”、“CLIPINF目录”、“STREAM目录”的5个子目录,在BDMV目录中配置有“index.bdmv”、“MovieObject.bdmv”这两种文件。
“index.bdmv”是有关BD-ROM整体的管理信息,在将盘插入到再现装置中后,index.bdmv被最先读出,由此在再现装置中盘被唯一地识别。此外,index.bdmv表示能够在BD-ROM中再现的多个标题的标题序号、与规定各个标题的BD-J对象或电影对象之间的对应关系。
“MovieObject.bdmv”存储一个以上的电影对象(movie object)。电影对象是规定在以命令解释器为控制主体的动作模式(HDMV模式)下再现装置应该进行的控制步骤的管理对象,在由用户进行了一个以上的命令、针对GUI的菜单调用、标题调用的情况下,电影对象包括规定是否屏蔽(mask)这些调用的屏蔽标志。
“JAR目录”是配置有对应于归档文件(archive file)的JAR文件的目录。归档文件是将一个以上的类文件(class file)、一个以上的数据文件等汇总为一个而得到的文件。一个以上的类文件、一个以上的数据文件等例如能够利用归档器(archiver)(未图示)汇总为一体。
在此,作为归档文件的一个示例,以Java(注册商标)的归档文件为例进行说明。
例如,在以作为再现装置具有的字节码解释器的Java虚拟设备为控制主体的动作模式(BD-J模式)下,规定再现装置应该进行的控制步骤。存储了JAR文件的文件利用5位的数字zzzzz和扩展符jar识别。
“BDJO目录”是存储有已存储了管理对象(BDJ对象)的文件的目录,该管理对象用于规定在以作为字节码解释器的Java虚拟设备为控制主体的动作模式(BD-J模式)下再现装置应该进行的控制步骤。存储了BDJ对象的文件利用5位数字zzzzz和扩展符bdjo识别。
“PLAYLIST目录”配置有存储了播放列表(play list)信息的文件,该播放列表信息包括指定针对基本视角(base view)视频流的再现区间的主路径信息、指定针对增强视角(enhanced view)视频流的再现区间的子路径信息。存储了该播放列表信息的文件利用“yyyyy”5位识别序号和扩展符“mpls”识别。其中,基本视角视频流是指构成左视角或右视角的视频流中、能够实现平面观察显示的视频流。另一方面,把构成右视角或左视角的视频流中的非基本视角视频流的视频流称为“增强视角视频流”。构成增强视角视频流的图片(picture)数据,根据与构成基本视角视频流的图片数据之间的帧相关性被实施压缩编码。
关于利用了这种视点之间的相关性的视频压缩的方法,有被称为多视角视频编码(Multiview Video Coding:MVC)的MPEG-4 AVC/H.264的修订标准。作为ISO/IEC MPEG和ITU-T VCEG的共同项目的Joint VideoTeam(JVT),在2008年7月完成了被称为多视角视频编码(Multiview VideoCoding:MVC)的MPEG-4 AVC/H.264的修订标准的制定。MVC是将多个视点的影像一并进行编码的标准,不仅影像的时间方向的相似性,视点之间的相似性也被用于预测编码,由此与多个视点独立的压缩相比,能够提高压缩效率。
构成基本视角、增强视角的流不光是视频流。演示图形(PG)流也构成基本视角、增强视角。下文中,把基本视角视频流和基本视角PG流一并称为“基本视角流”。并且,把增强视角视频流和增强视角PG流一并称为“增强视角流”。
“CLIPINF目录”是配置有存储了素材(clip)信息的文件(素材信息文件)的目录。素材信息文件利用“xxxxx”5位识别序号和扩展符“clip”识别。在该素材信息文件的内部具有与左视角的视频流和右视角的视频流分别对应的表项映射。
构成位于以上目录中的文件的范围被记录在非AV数据区域中。
“STREAM目录”是配置有存储了平面观察视频流的AV素材文件、和存储了立体观察视频流的AV素材文件的目录。存储了平面观察视频流的文件利用“xxxxx”5位识别序号和扩展符“m2ts”识别。存储了立体观察视频流的文件利用“xxxxx”5位识别序号和扩展符“ilts”识别。
构成存储于STREAM目录中的基本视角流的文件的范围、和构成应该存储于STREAM目录中的增强视角流的文件的范围,被记录在AV数据区域中。
图4表示构成基本视角流的各个源包和构成增强视角流的各个源包是经过什么过程被写入到AV数据区域中。该图的第1段表示构成基本视角流或增强视角流的TS包。
构成基本视角流或增强视角流的188字节的TS包如第2段所示,被附加有4字节的TS_extra_header(图中带斜线部分),成为192字节长度的源包。该TS_extra_header包括表示该TS包的解码器输入时刻信息的Arrival_Time_Stamp。
构成基本视角流或增强视角流的源包构成一个以上的“ATC序列”。“ATC序列”指构成ATS的时间轴的源包的排列,指在该Arrival_Time_Stamp参照的Arrival_Time_Clock中不存在不连续点(no arrival time-basediscontinuity)的排列。换言之,把在该Arrival_Time_Stamp参照的Arrival_Time_Clock中存在连续性的源包串称为“ATC序列”。ATS表示附加在TS包的开头的、向解码器的传输时刻。
这种ATC序列成为AV clip,并以文件名xxxxx.m2ts记录在记录层中。
这种AV clip与通常的计算机文件相同,被分割为一个以上的文件范围,并记录在各个记录层的区域中。第3段表示AV clip,第4段示意地表示AVclip是如何被记录在各个记录层中的。在该第4段中,构成文件的各个文件范围具有预先设定的大小(把该大小称为S_EXT)以上的数据长度。
图5是表示BD-ROM的物理单位、与构成一个文件范围的源包之间的对应关系的图。如第2段所示,在BD-ROM的AV文件记录区域中形成有多个扇区。构成文件范围的源包如第1段所示按每多个源包进行分组,并写入到连续的扇区中。把该多个源包称为“Aligned Unit”,向BD-ROM的写入是按照Aligned Unit单位进行的。
在第3段中,扇区以多个单位被附加了纠错编码,并构成ECC块。再现装置只要按照Aligned Unit单位访问BD-ROM,就能够获得多个已完结的源包。以上是向BD-ROM写入AV clip的过程。
图6(a)是将TS包的包ID(PID)能够取的多个数值范围、和具有各个数值范围的包ID的TS包的PES流类别对应示出的图。
具有0x0100的包ID的TS包构成节目映射(Program_map),具有0x1001的包ID的TS包构成节目参考时钟(PCR)。
具有0x1011的包ID的TS包构成基本视角视频流,0x1012的TS包构成增强视角视频流。
具有0x1100~0x111F的包ID的TS包构成音频流。
具有0x1220~0x123F的包ID的TS包构成基本视角PG流。具有0x1240~0x125F的包ID的TS包构成增强视角PG流。另外,构成平面观察用的图形PG流的TS包中、不可能成为基本视角PG流的TS包的包ID的数值范围为0x1200~0x121F。
这些构成视频流的TS包、构成PG流的TS包,按照构成基本视角的各个TS包、构成增强视角的各个TS包被汇总。图6(b)表示其一个示例。
如该图所示,构成基本视角的源包的组,由被赋予了0x1011的PID的基本视角视频流的源包(图中的Video)、被赋予了0x1100的PID的音频流的源包(图中的Audio)、和被赋予了0x1220、0x1221、0x1222、0x1223、0x1224、0x1225、0x1226的PID的PG流的源包(图中的PG)构成。
另一方面,构成增强视角的源包的组,由被赋予了0x1012的PID的增强视角视频流(图中的Video)的源包、被赋予了0x1101的PID的音频流的源包(图中的Audio)、和被赋予了0x1240、0x1241、0x1242、0x1243、0x1244、0x1245的PID的PG流的源包(图中的PG)构成。
构成基本视角、增强视角的源包的组被交错配置。图7是表示交错配置的一例的图。该图中的交错配置指将构成基本视角、增强视角的范围,按照“基本视角”、“增强视角”、“基本视角”、“增强视角”……这样的规律进行记录。
第1段表示AV文件,第2段表示构成AV文件的范围EXT_L[i]、EXT_L[i+1]、EXT_R[i]、EXT_R[i+1]。第3段表示属于各个范围内的源包串,第4段表示记录层中的扇区串。其中,括号内的变量i、i+1表示作为第几个的范围而被再现。根据这种表述方法得知,利用变量i指定的两个范围、即EXT_L[i]、EXT_R[i]被同时再现,利用变量i+1指定的两个范围、即EXT_L[i+1]、EXT_R[i+1]被同时再现。
范围EXT_L[i]、EXT_L[i+1]由PID=0x1011的源包构成。虚线箭头h1、h2、h3、h4表示范围EXT_L[i]、EXT_L[i+1]归属于基本视角流、增强视角流中哪一方的归属关系。根据箭头h1、h2所示的归属关系得知,范围EXT_L[i]、EXT_L[i+1]归属于基本视角流。根据箭头h3、h4所示的归属关系得知,范围EXT_R[i]、EXT_R[i+1]归属于增强视角流。
把范围EXT_L[i]的大小称为SEXT_L[i],把范围EXT_R[i]的大小称为SEXT_R[i]。
说明如何设定这些SEXT_L、SEXT_R的大小。其中,范围由再现装置中的右视角用读出缓冲器、左视角用读出缓冲器这两个缓冲器交替读出,并提供给视频解码器。这样,需要考虑填满右视角用读出缓冲器和左视角用读出缓冲器的时间,来设定SEXT_L、SEXT_R的大小。即,把向右视角用读出缓冲器的传输速率设为Rmax1,为了满足
右视角用读出缓冲器=Rmax1ד伴随跳跃的同时填满左视角用读出缓冲器的时间”
这种关系,必须设定右视角用读出缓冲器的容量。其中,所说跳跃(jump)与寻盘(disk seek)的意思相同。这是因为,在BD-ROM中能够确保记录的连续区域是有限的,基本视角流和增强视角流未必被相邻地记录,也有可能被记录在跳跃的区域中。
下面,说明“伴随跳跃的同时填满左视角用读出缓冲器的时间”。左视角用读出缓冲器中的TS包存储是按照Rud-Rmax2这样的传输速率进行的。这意味着来自左视角用读出缓冲器的输出速率Rmax2与进入左视角用读出缓冲器的输入速率Rud之间的差分。这样,填满左视角用读出缓冲器的时间为RB2/(Rud-Rmax2)。
在左视角用读出缓冲器中读出数据时,需要考虑从右视角视频流向左视角视频流的跳跃时间(Tjump)、和从左视角视频流向右视角视频流的跳跃时间(Tjump),所以左视角用读出缓冲器的存储需要时间为(2×Tjump+RB2/(Rud-Rmax2))。
把右视角用读出缓冲器的传输速率设为Rmax1,在上述的左视角用读出缓冲器的存储时间中,必须按照传输速率Rmax1来输出右视角用读出缓冲器内的全部源包,所以右视角用读出缓冲器的大小RB1为
RB1≥Rmax1×[2×Tjump+RB2/(Rud-Rmax2)]。
按照相同的步骤,求出左视角用读出缓冲器的容量RB2为
RB2≥Rmax2×[2×Tjump+RB1/(Rud-Rmax1)]。
右视角用读出缓冲器、左视角用读出缓冲器的存储器大小的具体值为1.5Mbyte以下,在本实施方式中,范围大小SEXT_R、SEXT_L被设定成为与该右视角用读出缓冲器、左视角用读出缓冲器的大小相同的大小、或者与其大致相同的大小。以上说明了基本视角流、增强视角流的记录方法。
下面,说明基本视角流、增强视角流的内部结构。
图8是表示立体观察用的基本视角流、增强视角流的内部结构的一例的图。
基本视角流、增强视角流例如包括图片数据。图片数据有多种类型,包括I图片、P图片、B图片这些图片数据。
I图片(I Picture)指一个画面的量的图片数据。
P图片(P Picture)指表示与作为基准的I图片之间的差分的图片数据。
B图片(B Picture)指根据作为基准的I图片和P图片生成的图片数据。
该图的第2段表示基本视角流的内部结构。在该流中包含图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9这些图片数据。
这些图片数据根据DTS(Decoding Time Stamp,解码时间戳:表示解码器进行解码的开始时刻的信息)被进行解码。第1段表示左视角图像。并且,根据PTS并按照I1、Br3、Br4、P2、Br6、Br7、P5的顺序,再现被进行解码后的图片数据I1、P2、Br3、Br4、P5、Br6、Br7、P9,由此再现左视角图像。
第4段表示增强视角流的内部结构。在该增强视角流中包含图片数据P1、P2、B3、B4、P5、B6、B7、P8。这些图片数据被按照DTS进行解码。第3段表示右视角图像。根据PTS(Presentation Time Stamp,演示时间戳:表示视频/音频的提示时刻的信息),并按照P1、B3、B4、P2、B6、B7、P5的顺序再现这样被解码后的图片数据P1、P2、B3、B4、P5、B6、B7、P8,由此再现右视角图像。
第5段表示如何改变液晶闸门眼镜400的状态。如该第5段所示可知,在收看左视角影像时关闭右视角的液晶闸门,在收看右视角影像时关闭左视角的液晶闸门。
并且,增强视角流除了利用时间方向的冗余性的图片间预测编码之外,还通过利用视点间的冗余性的图片间预测编码被压缩。即,增强视角流的图片参照基本视角流的相同显示时刻的图片被压缩。
例如,增强视角流的开头P图片参照基本视角流的I图片,增强视角流的B图片参照基本视角流的Br图片,增强视角流的第二个P图片参照基本视角流的P图片。
图9是表示按照图8所示的定时切换立体眼镜的透光/遮光来向再现提供什么样的影像的图。其中,帧显示期间为1/24秒,如果每隔1/48秒改变立体眼镜的右视角、左视角的透光/遮光,则右视角、左视角的图片分别交替出现。图9所示的左视角图像和右视角图像示意地表示、出现在图像内的人物的人脸的朝向及位置在左视角图像和右视角图像中稍微偏移(另外,图9、图10中的人物的人脸的朝向及位置的偏移只是示意图)。
图10是表示通过眼睛的残像反应而形成的立体影像的图。通过按照图8所示的定时切换立体眼镜的透光/遮光,能够识别为立体影像。
下面说明PG流。图11是表示PG流的结构的图。图11(a)的第1段表示构成AV Clip的TS包串。第2段表示构成PG流的PES包串。第2段中的PES包串是通过从第1段的TS包中具有预定的PID的TS包提取有效载荷(payload)并连接而构成的。
第3段表示PG流的结构。PG流由被称为PCS(Presentation CompositionSegment:演示合成区段)、WDS(Window Definition Segment:窗口定义区段)、PDS(Palette Definition Segment:调色板定义区段)、ODS(ObjectDefinition Segment:对象定义区段)、END(END of Display Set Segment:显示集区段末尾)的功能区段(functional segment)构成。在这些功能区段中,PCS被称为画面结构区段,WDS、PDS、ODS、END被称为定义区段。PES包与功能区段的对应关系是一对一的关系或一对多的关系。即,功能区段被转换为一个PES包并记录在BD-ROM中,或者在被分段后转换为多个PES包,并记录在BD-ROM中。
图11(b)是表示通过变换功能区段而得到的PES包的图。如图11(b)所示,PES包包括“包头”和“有效载荷”,该有效载荷相当于功能区段的实体。并且,在包头中具有对应该功能区段的DTS、PTS。在后面的说明中,把存在于储存有功能区段的PES包的包头内的DTS和PTS,作为功能区段DTS和PTS进行处理。
这些各种类别的功能区段构建图12所示的逻辑构造。图12是表示利用各种类别的功能区段构成的逻辑构造的图。该图在第4段表示功能区段,在第3段表示Display Set的类型,在第2段表示Display Set,在第1段表示Epoch。第2段的Display Set(简称为DS)指构成PG流的多个功能区段中、构成一个画面的量的图形的功能区段的集合。并且,图中的虚线kz1表示第4段的功能区段归属于哪个DS的归属关系。可知PCS-WDS-PDS-ODS-END这一系列的功能区段构成一个DS。再现装置从BD-ROM读出构成该DS的多个功能区段,就能够构成一个画面的量的图形。
第1段的Epoch指在AV Clip的再现时间轴上具有存储器管理的连续性的一个期间、和在该期间被分配的数据组。此处假定的存储器指用于存储一个画面的量的图形的图形平面、用于存储解压缩状态的图形数据的对象缓冲器。对于它们的存储器管理具有连续性,指在贯穿相当于该Epoch的期间不产生这些图形平面和对象缓冲器的快擦写(flash),只在图形平面内的某个确定的矩形区域内进行图形的删除和再描绘(※其中,快擦写指平面和缓冲器的存储内容全部清除的情况)。该矩形区域的纵横大小和位置在相当于Epoch的期间中始终是固定的。在图形平面中,只要在该被固定的区域内进行图形的删除和再描绘,就能保证影像与图形的同步。即,Epoch能够成为可以保证影像-图形的同步的再现时间轴上的一个单位。在图形平面中,在想要变更要进行图形的删除及再描绘的区域的情况下,必须在再现时间轴上定义该变更时间点,并将该变更时间点之后设为新的Epoch。该情况时,在两个Epoch的边界处不能保证影像-图形的同步。
并且,以Epoch中的图形的位置关系为例进行说明,在再现时间轴上,把在画面上的某个确定的矩形区域内出现图形的期间称为Epoch。
以上是关于Epoch的说明。下面说明Display Set。
图12中的虚线hk1、2表示第2段的DS与第3段的DS的类型中的哪个类型对应。并且,判明Epoch Start、Acquisition Point、Normal Case这一系列的DS构成第1段的Epoch。“Epoch Start”、“Acquisition Point”、“NormalCase”是DS的类型。该图中的Acquisition Point、Normal Case的顺序只是一例,可以从任一方开始。
“Epoch Start”表示新的Epoch的开始。因此,Epoch Start包括下一个画面合成所需要的全部功能区段。Epoch Start被配置在电影作品的章节(chapter)等、判明进行了寻源的位置处。
“Acquisition Point”不是Epoch的开始时间点,而是包括下一个画面合成所需要的全部功能区段的Display Set。如果从作为Acquisition Point的DS进行寻源,则能够可靠地实现图形显示。即,作为Acquisition Point的DS具有能够从Epoch的中途构成画面结构的作用。作为Acquisition Point的Display Set被编入在能够成为寻源目的地的位置。在这种位置具有能够通过时间搜索指定的位置。时间搜索(time search)指从用户受理几分几秒的时间输入,并从相当于该时间输入的再现时间点进行寻源的操作。这种时间输入是以10分钟单位、10秒钟单位这样较大的单位进行的,所以间隔10分钟的再现位置、间隔10秒钟的再现位置是能够通过时间搜索指定的位置。这样,在能够通过时间搜索指定的位置设置Acquisition Point,由此能够适合进行时间搜索时的PG流再现。
“Normal Case”只包括与前一个Display Set之间的差分。例如,在某个DSv的图形是与先行的DSu相同的内容,但是画面结构与该先行的DSu不同的情况下,设置PCS和只有END的DSv,把该DSv设为Normal Case的DS。这样,不需要设置重复的ODS,所以能够有助于削减BD-ROM的容量。另一方面,Normal Case的DS只不过是差分部分,所以不能利用Normal Case单独构成画面结构。
下面说明Definition Segment(ODS、WDS、PDS)。
“Object_Definition_Segment”是定义图形对象的功能区段。下面说明该图形对象。
记录在BD-ROM中的AV Clip把高清晰级别的高画质作为卖点,所以图形对象的分辨率也被设定为1920×1080像素这种高精细的大小。由于具有1920×1080的分辨率,所以在BD-ROM中,能够鲜明地再现例如在剧场上映用的字幕的字体、即手写感较强的字体的字幕显示或动画角色。图形对象由多个游程长度(run-length)数据构成。游程长度数据指利用表示像素值的像素代码和像素值的连续长度来表现像素串的数据。像素代码是8比特的值,取1~255的数值。在游程长度数据中,能够利用该像素代码从全彩色的16,777,216种颜色中选择任意的256种颜色,并设定为像素的颜色。另外,在显示为字幕的情况下,图形对象必须通过在透明颜色的背景下配置字符串来描绘。
基于ODS的图形对象的定义利用图13(a)所示的数据构造来进行。ODS如图13(a)所示包括表示自己是ODS的“segment_type”、表示ODS的数据长度的“segment_length”、唯一识别在Epoch中对应该ODS的图形对象的“object_id”、表示Epoch中的ODS的版本的“object_version_number”、“last_in_sequence_flag”、和作为图形对象的一部分或全部的连续字节长度数据“object_data_fragment”。
在图形流的Epoch中包含具有相同ID的多个ODS。具有相同ID的多个ODS的纵横大小相同,并被分配了对象缓冲器的共同的区域。如果具有相同ID的多个ODS中的一个ODS被读出到该区域中,则对象缓冲器中的ODS被具有相同ID的后续ODS覆盖。这样,伴随视频流的再现的进行,对象缓冲器中的ODS被具有相同识别符的后续ODS覆盖,由此ODS中的图案完成时间上的推移。使具有相同ID的图形对象的纵横大小相同这一限制,只不过是在一个Epoch内的限制。在属于某个Epoch的图形对象和属于下一个Epoch的图形对象中,纵横大小也可以改变。
说明“last_in_sequence_flag”、“object_data_fragment”。由于PES包的有效载荷的限制,有时在一个ODS中不能存储构成PG的非压缩图形。在这种情况下,通过将图形分割得到的一部分(fragment:片段)被设定为object_data_fragment。在将一个图形对象存储在多个ODS中的情况下,除了最后片段之外的全部片段是相同的大小。即,最后的片段为其之前的片段大小以下的大小。存储了这些片段的ODS在DS中按照相同顺序出现。利用具有last_sequence_flag的ODS指示图形对象的末尾。上述的ODS的数据构造是以从前一个PES包起堆叠片段的存储方法为前提的,但也可以是在各个PES包产生空闲来进行堆叠的存储方法。以上是ODS的说明。
“Palette_Definition_segment(PDS)”是存储调色板数据的功能区段。调色板数据指表示1~255的像素代码与像素值的组合的数据。其中,像素值由红色色差成分(Cr值)、蓝色色差成分(Cb值)、亮度成分(Y值)、透明度(T值)构成。通过把各个游程长度数据具有的像素代码置换为调色板中表示的像素值,游程长度数据发出颜色。图13(b)表示PDS的数据构造。如图13(b)所示,PDS包括表示自己是PDS的“segment_type”、表示PDS的数据长度的“segment_length”、唯一识别该PDS中包含的调色板的“pallet_id”、表示Epoch中的Epoch的PDS的版本的“pallet_version_number”、有关各个表项的信息“pallet_entry”。“pallet_entry”表示各个表项的红色色差成分(Cr值)、蓝色色差成分(Cb值)、亮度成分(Y值)、透明度(T值)。
下面说明WDS。
“Window_Definition_segment”是定义图形平面的矩形区域的功能区段。如前面所述,在Epoch中,只有在图形平面中的某个矩形区域内进行清除和再描绘的情况下,存储器管理具有连续性。该图形平面中的矩形区域被称为“window”(窗口),并利用该WDS定义。图14(a)是表示WDS的数据构造的图。如该图所示,WDS使用下述内容进行表述:在图形平面中唯一识别窗口的“window_id”、表示图形平面中的左上像素的水平位置的“window_horizontal_position”、表示图形平面中的左上像素的垂直位置的“window_vertical_position”、表示图形平面中的窗口的横宽的“window_width”、表示图形平面中的窗口的纵高的“window_height”。说明window_horizontal_position、window_vertical_position、window_width、 window_height能取的值。假定了这些要素的坐标系是图形平面的内部区域,该图形平面具有纵:video_height、横:video_width的二维状的大小。
window_horizontal_position是图形平面中的左上像素的水平地址,所以取1~video_width的值,window_vertical_position是图形平面中的左上像素的垂直地址,所以取1~video_height的值。
window_width是图形平面中的窗口的横宽,所以取1~video_width-window_horizontal_position的值,window_height是图形平面中的纵高,所以取1~video_height-window_vertical_position的值。
根据WDS的window_horizontal_position、window_vertical_position、window_width、window_height,能够按每个Epoch规定在图形平面的何处配置窗口、把窗口的大小设为多大。因此,在显示有属于某个Epoch的图片的期间,能够在编写时进行调整使窗口出现在相当于图片上的余白的位置,以便不会妨碍图片内的图案。由此,例如能够容易观看基于图形的字幕显示。WDS能够按每个Epoch进行定义,所以即使图片的图案随时间而变化时,也能够根据该变动容易观看地显示图形。因此,结果能够将电影作品的质量提高到与将字幕编入到影像主体中时相同的水平。
下面说明“END of Display Set Segment”。END of Display Set Segment是表示Display Set的传输的结束的指标,被配置在Display Set中的功能区段中紧挨着最后的ODS的后面。该END of Display Set Segment的内部结构包括表示自己是END of Display Set Segment的“segment_type”、和表示该功能区段的数据长度的“segment_length”,因此没有需要进行说明的构成要素,所以省略图示。
以上是有关ODS、PDS、WDS、END的说明。
下面说明PCS。PCS是构成交互式画面的功能区段。PCS利用图14(b)所示的数据构造构成。如该图所示,PCS由“segment_type”、“segment_length”、“composition_number”、“ composition_state”、“pallet_update_flag”、“pallet_id”、“composition_object(1)~(m)”构成。
“composition_number”使用0~15的数值来识别Display Set中的图形更新。关于如何识别,只要从Epoch的开头到该PCS存在图形更新,在每当经由这些图形更新时,就按照将数值递增的规则设定composition_number。
“composition_state”表示从该PCS开始的Display Set是Normal Case、还是Acquisition Point、还是Epoch Start。
“pallet_update_flag”表示在该PCS中是否进行了PalletOnly DisplayUpdate(仅调色板显示更新)。PalletOnly Display Update指通过只把紧挨着的前面的调色板切换为新的调色板而进行的更新。如果在该PCS进行了该更新,该字段被设定为“1”。
“pallet_id”表示应该在PalletOnly Display Update时使用的调色板。
“composition_object(1)…(m)”是用于实现该PCS所属的Display Set中的画面结构的控制信息。图14(b)的虚线wd1用于详细表示任意的composition_object(i)的内部结构。如该虚线wd1所示,composition_object(i)包括“object_id_ref”、“window_id_ref”、“forced_on_flag”、“object_cropped_flag”、“object_horizontal_position”、“object_vertical_position”、“cropping_rectangle信息(1)(2)…(n)”。
“object_id_ref”是图形对象识别符(object_id)的参照值。该参照值表示在实现对应于composition_object(i)的画面结构时应该使用的图形对象的识别符。
“window_id_ref”是窗口识别符(window_id)的参照值。该参照值表示在实现对应于composition_object(i)的画面结构时应该在哪个窗口显示图形对象。
“forced_on_flag”在表示按照再现装置的设定在图形对象为0FF时也应被强制显示的图形对象时,被设为1。
“object_cropped_flag”是切换在显示对象缓冲器中被剪切(crop)的图形对象、还是把图形对象设为不显示的标志。在被设定为“1”的情况下,显示在对象缓冲器中被剪切的图形对象,在被设定为“0”的情况下,不显示图形对象。
“object_horizontal_position”表示图形平面中的图形对象的左上像素的水平位置。
“object_vertical_position”表示图形平面中的图形对象的左上像素的垂直位置。
“cropping_rectangle信息(1)(2)…(n)”是在“object_cropped_flag”被设定为“1”时有效的信息要素。虚线wd2用于详细表示任意的cropping_rectangle信息(i)的内部结构。如该虚线所示,cropping_rectangle信息(i)包括“object_cropping_horizontal_position”、“object_cropping_vertical_position”、“object_cropping_width”、“object_cropping_height”。
“object_cropping_horizontal_position”表示图形平面中的剪切矩形的左上像素的水平位置。剪切矩形是用于切取图形对象的一部分的框,相当于ETSI EN 300 743标准规格中的“Region”。
“object_cropping_vertical_position”表示图形平面中的剪切矩形的左上像素的垂直位置。
“object_cropping_width”表示图形平面中的剪切矩形的横宽。
“object_cropping_height”表示图形平面中的剪切矩形的纵高。
以上是PCS的数据构造
<采用两个解码器模型时的限制>
下面,说明对于左视角PG流和右视角PG流分别如何设定上述的各个功能区段的各个字段。
图15是表示左视角PG流中包含的DS的类型、composition_number及forced_on_flag、与右视角PG流中包含的DS的类型、composition_number及forced_on_flag之间的对应关系的图。如该图所示,作为Epoch Start的DS和作为Acquisition Point的DS,在左视角和右视角时一定是成对存在的。这是因为Epoch Start和Acquisition Point是能够利用其单体来完结图形对象的描绘的单位,必须成对存在,否则不能进行3D再现。即,在左视角的DS是Epoch Start的情况下,一定存在与其成对的右视角的DS,而且其composition_state也一定是Epoch Start。
同样,在左视角的DS是Acquisition Point的情况下,一定存在与其成对的右视角的DS,而且其composition_state也一定是Acquisition Point。
在左视角的DS是Normal Case的情况下,优选对应的右视角的DS是Normal Case。
这样,通过把对应的DS的类型设为共通,能够保证例如进行随机访问时的立体观察。即,如果左视角的DS例如是Epoch Start,则与其对应的右视角的DS也是Epoch Start,所以通过把这些DS配置在判明进行了寻源的位置处,能够避免只能够对左视角和右视角的一方DS进行解码,另一方不能进行解码的状况。
并且,如该图所示,被成对地进行3D再现的左视角DS的composition_number和右视角DS的composition_number必须相同。这样,为了使左视角和右视角的DS相对应,通过使composition_number相同,图形解码器能够容易判定在再现时应该输出左视角DS和右视角DS中的哪一方。
另外,需要将左视角PG流的DS中的forced_on_flag、与右视角PG流的对应的DS中的forced_on_flag设定为相同的值。这是因为,如果在再现过程中只输出右视角的图形对象(或者左视角的图形对象),而不输出与其对应的左视角的图形对象(或者右视角的图形对象),则将不能进行图形对象的立体观察。
并且,如前面所述,画面结构区段被存储在PES包中,当然,在包含于左视角DS中的画面结构区段、和包含于与其对应的右视角DS中的画面结构区段中,需要将存储了这些画面结构区段的各个PES包的PTS的值设为相同的值。
并且,在左视角DS的调色板定义区段、和与其对应的右视角DS的调色板定义区段中,代码值与亮度和色差之间的对应关系被设定为相同的内容,而且两者的palette_id也相同。
下面,说明在WDS的各个字段和PCS中如何记述除了上述字段之外的字段。图16、图17是表示属于Display Set的WDS、PCS的记述示例的图。其中,以图形是动画角色的情况为例进行说明,但图形也可以是由装饰字符等构成的字幕。
图16是属于左视角DS的WDS、PCS的记述示例。在图16(a)中,WDS的window_horizontal_position(left)、window_vertical_position表示图形平面中的窗口的左上坐标,window_width、window_height表示窗口的显示框的横宽、纵高。其中,window_horizontal_position(left)中的(left)表示该window_horizontal_position是与对应的右视角的window_horizontal_position(Right)不同的值。
图16(a)中的剪切信息中的object_cropping_horizontal_position(left)、object_cropping_vertical_position,表示在把对象缓冲器中的图形的左上坐标作为原点的坐标系中的剪切范围的基准点。并且,从基准点起的、object_cropping_width、object_cropping_height表示的范围(图中的粗框部分)成为剪切范围。剪切后的图形被配置在图形平面的坐标系中以object_horizontal_position(left)、object_vertical_position为基准点(左上)的矩形范围cp1中。这样,图形被写入到图形平面中的窗口内。由此,图形被与动态图像合成并显示。
图17是属于右视角DS的WDS、PCS的记述示例。在图17(a)中,WDS的window_horizontal_position(Right)、window_vertical_position表示图形平面中的窗口的左上坐标,window_width、window_height表示窗口的显示框的横宽、纵高。其中,window_horizontal_position(Right)中的(Right)表示该window_horizontal_position是与对应的左视角的window_horizontal_position(left)不同的值。
图17(a)中的剪切信息中的object_cropping_horizontal_position(Right)、object_cropping_vertical_position,表示在把对象缓冲器中的图形的左上坐标作为原点的坐标系中的剪切范围的基准点。并且,从基准点起的、object_cropping_width、object_cropping_height表示的范围(图中的粗框部分)成为剪切范围。剪切后的图形被配置在图形平面的坐标系中以object_horizontal_position(Right)、object_vertical_position为基准点(左上)的矩形范围cp2中。这样,图形被写入到图形平面中的窗口内。由此,图形被与动态图像合成并显示。
如上所述,对于WDS,将左视角和右视角的Window_width和Window_height设定为相同的值。这是因为考虑到在窗口的显示框的横宽和纵高因左视角和右视角而不同时,图形进入到一方窗口的显示框内但未能完全进入到另一方窗口的情况,在这种情况下,将不能保证影像与图形的同步。并且,关于图形平面中的窗口的左上坐标,window_vertical_position在左视角和右视角时是相同的值,但在左视角window_horizontal_position和右视角时是不同的值。这是因为通常左右眼睛看到的水平方向的物体的位置不同。但是,根据图形的生成方法,也可以是window_vertical_position的值在左视角和右视角时不同,而window_horizontal_position在左视角和右视角时相同。
并且,object_cropping_width和object_cropping_height被设定为在左视角和右视角时是相同的值。因为如果剪切的范围不同,则在左视角和右视角时,配置在图形平面中的图形将会产生差异。并且,关于剪切范围的基准点,object_cropping_vertical_position在左视角和右视角时是相同的值,但object_cropping_horizontal_position在左视角和右视角时是不同的值。但是,也可以是object_cropping_vertical_position的值在左视角和右视角时不同,而object_cropping_horizontal_position在左视角和右视角时相同。
并且,关于矩形范围的基准点,object_vertical_position在左视角和右视角时是相同的值,但object_horizontal_position在左视角和右视角时是不同的值。这是因为如上所述,通常左右眼睛看到的水平方向的物体的位置不同。但是,根据图形的生成方法,也可以是object_vertical_position的值在左视角和右视角时不同,而object_horizontal_position在左视角和右视角时相同。
另外,如图16、图17所示,左视角图形和右视角图形是从不同的角度观看的图形,所以两者的ODS的object_data_flagment自然不同。但是,如图18所示,对object_id设定相同的值。这是因为在再现装置采用两个解码器结构的情况下,有可能存在采用使图形控制器在两个解码器中共用的结构的情况,在这种情况下,如果不把在左视角时和右视角时对应的图形对象的object_id设定为相同的值,则图形控制器不能判别哪些图形对象彼此是对应关系。
通过施加以上所述的限制,在两个解码器结构中,能够实现基于左视角PG流和右视角PG流的立体观察。
下面,说明具有这些PCS、ODS的Display Set在AV Clip的再现时间轴上是如何分配的。Epoch是在再现时间轴上存储器管理连续的期间,Epoch由一个以上的Display Set构成,所以如何在AV Clip的再现时间轴上分配Display Set成为问题。其中,AV Clip的再现时间轴指假想的时间轴,用于规定构成在AV Clip中复用的视频流的各个图片数据的解码定时、再现定时。在该再现时间轴上,解码定时、再现定时利用90KHz的时间精度表述。在Display Set内的PCS、ODS上附加的DTS、PTS,表示应该在该再现时间轴上实现同步控制的定时。使用附加在该PCS、ODS上的DTS、PTS进行同步控制,亦即Display Set在再现时间轴上的分配。
把属于Epoch的Display Set中任意的Display Set设为DSn,则DSn根据图19所示的DTS、PTS设定,被分配在AV Clip的再现时间轴上。图19是表示被分配了DSn的AV Clip的再现时间轴的图。在该图中,DSn的时期开始利用属于DSn的PCS的DTS值(DTS(DSn[PCS]))表示,时期结束利用属于DSn的PCS的PTS值(PTS(DSn[PCS]))表示。并且,在DSn中,进行最初显示的定时也被表示为PCS的PTS值(PTS(DSn[PCS]))。在AV Clip的再现时间轴上,如果使视频流的期望的图片出现的定时与PTS(DSn[PCS])一致,则DSn的最初显示与该视频流同步。
PTS(DSn[PCS])是向DTS(DSn[PCS])加上ODS的解码所需要的期间(DECODEDURATION)得到的值。
最初显示所需要的ODS的解码是在该DECODEDURATION内进行的。图19中的期间mc1表示进行属于DSn的任意ODS(ODSm)的解码的期间。该解码期间的开始点利用DTS(ODSn[ODSm])表示,该解码的结束点利用PTS(ODSn[ODSm])表示。
对属于Epoch的全部ODS进行以上所述的在再现时间轴上的分配,由此规定Epoch。以上是有关对再现时间轴的分配的说明。
<素材信息文件>
图20是表示素材信息文件的一例的图。素材信息文件由素材信息、流属性表和表项映射表构成,该素材信息如该图所示是AV Clip的管理信息,并与AV Clip一对一对应。
引出线zh1用于详细表示流属性表的内部结构。在流属性表中,如该引出线所示,按照每个PID登记有关包含于AV Clip中的各个流的属性信息。属性信息根据每个基本视角流、增强视角流具有不同的信息。
引出线zh2用于详细表示基本视角流的内部结构。如引出线所示,作为由PID=0x1011的TS包构成的基本视角的流属性信息,记述有编解码器、分辨率、宽高比(aspect ratio)、帧速率。
下面,说明表项映射表的内部结构。
表项映射(entry map)是表示使用某个包ID确定的STC时间轴中任意的源包的源包序号、与STC时间轴中的PTS之间的对应关系的表。
STC时间轴是表示解码时刻、显示时刻的MPEG2-TS的时间轴。把不存在作为AV流的系统基准时刻的STC(System Time Clock:系统时间时钟)的不连续点(system time-base discontinuity)的一个源包的系列称为“STC序列”。
图21(a)是表示表项映射表的内部结构的图。引出线eh1用于详细表示表项映射表的内部结构。
如引出线eh1所示,在表项映射表中,像有关由PID=0x1011的TS包构成的基本视角流的表项映射、有关由PID=0x1012的TS包构成的增强视角流的表项映射那样,对于由多种类型的TS包构成的打包(packetized)了的基本流中的每一个,分别存在表项映射。在表项映射中,把包括成为一对的PTS与SPN的组的信息称为“入口点”(entry point)。入口点是对于PTS与SPN的组,使表示能否进行来自该SPN的解码的显示方式标志(is_angle_change标志)与该组相对应的信息。并且,把开头设为0,把对每个入口点递增而得到的值称为入口点ID(以下称为EP_ID)。
通过利用该表项映射,再现装置能够确定与视频流的时间轴上的任意地点对应的源包位置。例如,在进行快进及后退的特殊再现时,确定选择登记在表项映射中的I图片并再现,由此能够有效地进行处理,而不需要分析AV Clip。并且,表项映射对在AV Clip中复用的每个视频流生成,并利用PID进行管理。
引出线eh2用于详细表示PID=0x1011的表项映射的内部结构。表项映射构成为包括对应于EP_ID=0的入口点、对应于EP_ID=1的入口点、对应于EP_ID=2的入口点、对应于EP_ID=3的入口点。对应于EP_ID=0的入口点由被设定为有效(ON)的is_angle_change标志、SPN=3、PTS=80000构成。对应于EP_ID=1的入口点由被设定为无效(OFF)的is_angle_change标志、SPN=1500、PTS=270000构成。
对应EP_ID=2的入口点由被设定为无效的is_angle_change标志、SPN=3200、PTS=360000构成。对应EP_ID=3的入口点包括被设定为无效的is_angle_change标志、SPN=4800、PTS=450000。
该图21(b)表示利用对应于图21(a)所示的PID=0x1011的TS包的表项映射内的多个入口点,指示哪个源包。对应EP_ID=0的入口点指示SPN=3,并使该源包序号与PTS=80000相对应。对应EP_ID=1的入口点指示SPN=1500,并使该源包序号与PTS=270000相对应。
对应EP_ID=2的入口点指示SPN=3200的源包,并使该源包序号与PTS=360000相对应。对应EP_ID=3的入口点指示SPN=4800的源包,并使该源包序号与PTS=450000相对应。
图22表示表项映射表的入口点的登记。第1段表示按照STC序列规定的时间轴。第2段表示素材信息中的表项映射。第3段表示构成ATC序列的源包串。
箭头te1、te2、te3、te4示意地表示STC时间轴上的再现时间点t1、t11、t21、t31与入口点的对应关系,箭头sh1、sh2、sh3、sh4示意地表示ATC序列中的SPN=n1、n11、n21、n31与入口点的对应关系。
在表项映射指定ATC序列中SPN=n1的源包的情况下,把该表项映射的PTS设定为STC序列中的PTS=t1。这样,能够使用PTS=t1这样的时间点,使再现装置执行自ATC序列中的SPN=n1起的随机访问。并且,在表项映射指定ATC序列中SPN=n21的源包的情况下,把该表项映射的PTS设定为STC序列中的PTS=t21。这样,能够使用PTS=t21这样的时间点,使再现装置执行自ATC序列中的SPN=n21起的随机访问。
图23是表示如何设定与左视角和右视角分别对应的表项映射的图。该图中的对应关系是这样记述的,即:对表项映射中的各个入口点的源包序号记述STC序列中的源包序号,对表项映射中的各个入口点的PTS记述STC序列中的PTS。表示如何根据表项映射来获取时间轴的源包与时间轴之间的对应关系。
箭头th1、th2、th3、th4示意地表示STC时间轴上的再现时间点t1、t2与入口点之间的对应关系,箭头sh1、sh2、sh3、sh4示意地表示ATCsequenee中的SPN=n1、n11、n8、n18与入口点之间的对应关系。
第5段表示被交错(interleaving)记录的左视角、右视角的范围,与前面的附图所示的范围相同。第3段表示与PID=0x1011、PID=0x1012分别对应的表项映射。对应PID=0x1011的表项映射,包括指示n1的入口点、指示n8的入口点。这些入口点表示n1、n8与STC时间轴上的t1、t2之间的对应关系。对应PID=0x1012的表项映射,包括指示n11的入口点、指示n18的入口点。这些入口点表示n11、n18与STC时间轴上的t1、t2之间的对应关系。
如上所述,在时间轴上,应该在相同的再现时间点再现的左视角、右视角的范围,在AV数据记录区域中被记录在分散的位置,但是,使用与各个范围对应的表项映射,由此可以使用PTS唯一地访问成为左视角的范围、右视角的范围的开头的源包。
以上是关于素材信息文件的说明。
<播放列表信息>
下面,具体说明播放列表(PlayList)信息。
图24是表示播放列表信息的数据构造的图。在该图中,播放列表信息包括再现属性信息、主路径信息、子路径信息表、扩展数据。
首先说明再现属性信息。引出线mp3用于详细表示再现属性信息的内部结构。如引出线mp3所示,再现属性信息包括相应内容所基于的标准的“版本序号”、“再现类型”、“立体显示标志”。作为版本序号,能够存储BD-ROM应用格式版本2.00等版本序号。并且,作为再现类型,能够对再现装置指示“顺序”、及“随机/shuffle”再现,“顺序”表示从开头开始顺序再现包含于播放列表中的播放项目(PlayItem)。
下面说明主路径(MainPath)信息。引出线mp1用于详细表示主路径信息的内部结构。MainPath如箭头mp1所示,利用多个PlayItem信息#1……#N定义。PlayItem信息定义构成MainPath的一个逻辑式再现区间。PlayItem信息的结构利用引出线mp2详细表示。如该引出线所示,PlayItem信息由以下部分构成:“Clip_information_file_name”,表示再现区间的IN(进入,起始)点和OUT(退出,结束)点所属的AV Clip的再现区间信息的文件名;“Clip_codec_identifier”,表示AV Clip的编码方式;“is_multi_angle”,表示PlayItem是否构成多个角度;“connection_condition”,表示该PlayItem(当前PlayItem)与前一个PlayItem(previous PlayItem)之间的连接状态;“ref_to_STC_id[0]”,唯一地表示被该PlayItem作为对象的STC_Sequence;“In_time”,表示再现区间的起始点的时间信息;“Out_time”,表示再现区间的结束点的时间信息;“UO_mask_table”,表示在该PlayItem中应该屏蔽的用户操作是哪个操作;“STN_table”、“BaseView_indicator”和“multi_clip_entry”。其中,构成再现路径的是表示再现区间的起始点的时间信息“In_time”、与表示再现区间的结束点的时间信息“Out_time”的组,再现路径信息由该“In_time”与“Out_time”的组构成。
STN_table(STream Number_table)是对包括包ID的流表项与流属性的组分配了逻辑的流序号的表。STN_table中的流表项与流属性的组的顺序,表示对应的流的优先顺序。
BaseView_indicator在其值为0时,表示BaseView(基本视角)是Left(左),在其值为1时,表示BaseView是Right(右)。
图25是表示子路径信息表的内部结构的图。引出线su1用于详细表示子路径信息表的内部结构。如引出线su1所示,子路径信息表包括多个子路径信息1、2、3、…m。这些子路径信息是由一个类构造体(class structure)派生出来的多个实例(instance),其内部结构都是相同的。引出线su2用于详细表示Subpath信息的相同的内部结构。如该引出线所示,各个Subpath信息包括表示子路径的类型的Subpath_type、和一个以上的子播放项目信息(…子播放项目信息#1~#m…)。引出线su3用于详细表示SubPlayItem(子播放项目信息)的内部结构。如该引出线所示,子播放项目信息包括“Clip_information_file_name”、“Clip_codec_identifier”、“ref_to_STC_id[0]”、“SubPlayItem_In_time”、“SubPlayItem_Out_time”、“sync_PlayItem_id”、“sync_start_PTS_of_PlayItem”。下面说明SubPlayItem的内部结构。
“Clip_information_file_name”是通过记述素材信息的文件名来唯一指定对应于SubPlayItem的SubClip的信息。
“Clip_codec_identifier”表示AV Clip的编码方式。
“ref_to_STC_id[0]”唯一地表示被该SubPlayItem作为对象的STC_Sequence。
“SubPlayItem_In_time”是表示在SubClip的再现时间轴上的、SubPlayItem的起始点的信息。
“SubPlayItem_Out_time”是表示在SubClip的再现时间轴上的、SubPlayItem的结束点的信息。
“sync_PlayItem_id”是唯一指定构成MainPath的PlayItem中、应该与该SubPlayItem同步的PlayItem的信息。SubPlayItem_In_time处于利用该sync_PlayItem_id指定的Play Item的再现时间轴上。
“ sync_start_PTS_of_PlayItem”以45KHz的时间精度,表示在利用sync_PlayItem_id指定的Play Item的再现时间轴上,利用SubPlayItem_In_time指定的SubPlayItem的起始点位于何处。
图26表示针对左视角、右视角定义什么样的再现区间。该图是以图23为基础而制作的,在作为其基础的附图的第2段的时间轴上描述PlayItem的In_time和Out_time。在第1段的时间轴上描述SubPlayItem的In_time和Out_time。第3段~第5段与图23的第3段~第5段相同。左视角、右视角的I图片在时间轴上处于相同的时间点。
左视角和右视角利用播放项目信息和子播放项目信息相对应。
图27是表示视频流序号表的内部结构的图。如引出线mh1所示,视频流序号表由stream_entry与stream_attribute的组构成。
“Stream_entry”包括:“ref_to_stream_PID_of_main_Clip”,表示针对构成主视频流的PES包的PID的参照值;“video_format”,表示NTSC、PAL等视频的显示方式;和“frame_rate”,表示帧速率,1/24秒、1/29.94秒等。
图28是表示STN_table中的PG流信息表的内部结构的图。STN_table中的PG流信息表由“显示方式信息”和“N个流信息”构成。n个流信息中的各个流信息对应于各个流序号,由stream_entry和stream_attribute构成。引出线gh1用于详细表示stream_entry的内部结构。对stream_entry设定有“ref_to_stream_PID_of_mainClip”、或“ref_to_Sub_Path_id”、“ ref_to_SubClip_entry_id”、“ref_to_stream_PID_of_subClip”中任一方。在对应于流序号的PG流存在于和视频流相同的AVClip中的情况下,“ref_to_stream_PID_of_subClip”表示有关该PG流的PID。
下面说明扩展数据(extension data)。图29是表示播放列表信息中的扩展数据的内部结构的图。引出线eh1用于详细表示扩展数据的内部结构。如该引出线所示,扩展数据由分别与播放项目信息#1~#N对应的STN_table_extention构成。引出线eh2用于详细表示对应于PlayItem信息#1的STN_table_extention的内部结构。如该引出线所示,对应PlayItem信息#1的STN_table_extention包括“视频流序号表”。
图30是表示视频流序号表的内部结构的图。
由N个enhanced_view_is_available标志e1、和N个stream_entry与stream_attribute的组f1构成。它们与1~N的流序号相对应,enhanced_view_is_available标志通过使用1~N的流序号能够唯一地确定。也能够使用1~N的流序号唯一确定stream_entry与stream_attribute的组。
“Stream_entry”如引出线vh1所示,包括表示针对构成主视频流的PES包的PID的参照值的“ref_to_stream_PID_of_main_Clip”,stream_attribute如引出线vh2所示,包括“video_format”和“frame_rate”。
这些表中的stream_entry的顺序,表示在再现装置选择流时的、流选择的优先顺序。即,再现装置优先选择在表中表项处于较高顺序的流。
在enhanced_view_is_available标志为有效、被设定为增强视角的情况下,在ref_to_stream_of_MainClip中记述有0x1011的包ID和0x1012的包ID。
下面说明STN_table_extention中的PG流信息表。STN_table_extention中的PG流信息表的内部结构构成为包括N个流信息。n个流信息中的各个流信息对应于各个流序号,包括“stream_entry”和“stream_attribute”。stream_entry包括针对能够再现的构成左视角PG流的PES包的PID的参照值、与针对构成右视角PG流的PES包的PID的参照值的组。
其中,在STN_table_extention中,存在数量与STN_table中的stream_entry和stream_attribute的组的数量相同的stream_entry和stream_attribute的组。STN_table_extention的stream_entry和stream_attribute的组,与STN_table的stream_entry和stream_attribute的组一对一地对应,而且它们是相同的流序号。利用STN_table_extention的stream_entry表示的左视角和右视角的各个流、和对应的利用STN_table的stream_entry表示的流基本上相同,只是显示位置在水平方向上不同。即,对利用STN_table的stream_entry表示的流加上相当于人的两个眼睛的视差的差分所得到的,是利用STN_table_extention的stream_entry表示的左视角和右视角的各个流。
另外,本申请说明书中的内容(content)是包含利用某个标题序号管理的播放列表信息、和在由该播放列表信息参照的AV Clip中复用的视频流的单位,被称为“标题”(title)。
以上是关于播放列表信息的说明。
<再现装置>
下面具体说明再现装置。图31是表示再现装置的内部结构的图。再现装置200构成为包括BD驱动器201、系统LSI(再现部)1、HDMI接口202、再现状态/设定寄存器(Player Status/Setting Register)组203、静态脚本存储器205、再现控制引擎206、堆内存(heap memory)207、BD-J平台208、动态脚本存储器209、模式管理模块210、命令解释器211和UO检测模块212。
BD驱动器201进行BD-ROM的装载/读出/弹出,执行向BD-ROM的访问。作为具体结构,包括半导体激光器(未图示)、准直透镜(未图示)、光束分离器(未图示)、物镜(未图示)、聚光透镜(未图示)、具有光检测器(未图示)的光学头(未图示)。从半导体激光器射出的光束通过准直透镜、光束分离器、物镜,会聚在光盘的信息面上。会聚后的光束在光盘上反射/衍射,通过物镜、光束分离器、聚光透镜会聚在光检测器上。根据在光检测器上会聚后的光的光量而生成的信号,对应于从BD-ROM读出的数据。
系统LSI(再现部)1如图32所示构成为包括读出缓冲器(read buffer)2、PID滤波器(PID filter)3、传输缓冲器(transfer buffer)4a、4b、4c、4d、4e、周边电路4f、左视角用视频解码器5a、右视角用视频解码器5b、视频平面(左)6a、视频平面(右)6b、切换器7、左视角用图形解码器8a、右视角用图形解码器8b、左视角用图形平面9a、右视角用图形平面9b、左眼用CLUT单元10a、右眼用CLUT单元10b、左眼用OFFSET单元11a、右眼用OFFSET单元11b、CLUT输出切换器12、加法器13和音频解码器14。
读出缓冲器2典型地是FIFO存储器,是临时存储从BD-ROM读出的源包,并在调整传输速度后传输给PID滤波器3的缓冲器。具体地讲,读出缓冲器2包括用于存储右视角用源包的右视角用读出缓冲器、和用于存储左视角用源包的左视角用读出缓冲器。
PID滤波器3对从读出缓冲器2输出的多个TS包实施滤波(过滤,filter)。由PID滤波器3实施的滤波是这样进行的,即,只将TS包中具有期望的PID的TS包写入到传输缓冲器4a、4b、4c、4d、4e的某一个缓冲器中。在由PID滤波器3实施的滤波中,不需要进行缓冲。因此,输入到PID滤波器3的TS包根据该TS包的PID,被写入到传输缓冲器4a、4b、4c、4d、4e的某一个缓冲器中,而且不存在时间延迟。
传输缓冲器4a、4b、4c、4d、4e是按照先入先出方式存储从PID滤波器3输出的TS包的存储器。把从该传输缓冲器4a、4b、4c、4d、4e获取TS包的速度设为速度Rx。
周边电路4f是进行把从传输缓冲器4c、4d读出的TS包转换为功能区段的处理的布线逻辑(wired logic)。通过转换得到的功能区段被存储在编码数据缓冲器(EB)中。
左视角用视频解码器5a对从PID滤波器3输出的多个TS包进行解码,得到非压缩形式的左视角图片,并写入到视频平面(左)6a中。
右视角用视频解码器5b对从PID滤波器3输出的多个TS包进行解码,得到非压缩形式的右视角图片,并写入到视频平面(右)6b中。
视频平面(左)6a是存储非压缩形式的左视角图片的存储器。
视频平面(右)6b是存储非压缩形式的右视角图片的存储器。
切换器7对将左视角图片和右视角图片中的某一方输出给加法器13进行切换。
左视角用图形解码器8a对左视角PG流进行解码,得到非压缩图形,把该非压缩图形作为图形对象写入到左视角用图形平面9a中。具体地讲,如图32所示,由编码数据缓冲器(EB)81a、外围电路82a、流图形处理器83a、对象缓冲器(OB)84a、合成缓冲器(CB)85a、和图形控制器86a构成。
编码数据缓冲器(EB)81a是将功能区段和DTS、PTS一起存储的缓冲器。该功能区段是通过从存储在传输缓冲器4c中的传输流的各个TS包中去除TS包头、PES包头,并序列地排列有效载荷得到的。被去除的TS包头、PES包头中的PTS/DTS,与PES包相对应地存储。
外围电路82a是实现编码数据缓冲器(EB)81a-流图形处理器83a之间的传输、编码数据缓冲器(EB)81a-合成缓冲器(CB)85a之间的传输的布线逻辑。在该传输处理中进行下述处理,即,如果当前时间点到达ODS的DTS表示的时刻,则把ODS从编码数据缓冲器(EB)81a传输给流图形处理器83a。并且,如果当前时间点到达PCS、PDS的DTS表示的时刻,则把PCS、PDS传输给合成缓冲器(CB)85a。
流图形处理器83a对ODS进行解码,把通过解码得到的包括索引颜色的非压缩状态的非压缩图形作为图形对象,写入到对象缓冲器(OB)84a中。由该流图形处理器83a进行的解码,在与ODS相关联的DTS的时刻开始,并到与ODS相关联的PTS表示的解码结束时刻结束。上述的图形对象的解码速率Rd是该流图形处理器83a的输出速率。
对象缓冲器(OB)84a是相当于ETSI EN 300 743标准规格的像素缓冲器的缓冲器,配置有通过流图形处理器83a的解码得到的图形对象。
合成缓冲器85a是配置有PCS、PDS的存储器。
图形控制器86a对配置在合成缓冲器85a中的PCS进行解读,并进行基于PCS的控制。具体地讲,执行向对象缓冲器(OB)84a的图形写入、和来自对象缓冲器(OB)84a的图形读出及图形的显示。该控制的执行是在存储了PCS的PES包的PTS的值表示的时间点进行的。
右视角用图形解码器8b对右视角PG流进行解码,得到非压缩图形,把该非压缩图形作为图形对象写入到右视角用图形平面9b中。具体结构与左视角用图形解码器8a相同,所以省略说明。
左视角用图形平面9a是具有一个画面的量的区域的平面存储器,存储一个画面的量的非压缩图形(左视角)。
右视角用图形平面9b是具有一个画面的量的区域的平面存储器,存储一个画面的量的非压缩图形(右视角)。
左眼用CLUT单元10a使用由所设定的palette_id表示的PDS的颜色查找表(look-up table),把存储在左视角用图形平面9a中的像素代码转换为Y、Cr、Cb的像素值。
右眼用CLUT单元10b使用由所设定的palette_id表示的PDS的颜色查找表,把存储在右视角用图形平面9b中的像素代码转换为Y、Cr、Cb的像素值。
其中,在左眼用CLUT单元10a和右眼用CLUT单元10b中设定有共通的palette_id。
左眼用OFFSET单元11a调整被实施颜色转换后的左视角非压缩图形的进深。
右眼用OFFSET单元11b调整被实施颜色转换后的右视角非压缩图形的进深。
CLUT输出切换器12在左视角非压缩图形和右视角非压缩图形之间,切换应该输出给加法器13的非压缩图形。
加法器13向通过左眼用CLUT单元10a(或右眼用CLUT单元10b)进行颜色转换后的非压缩图形,乘以PDS表示的T值(透射率),然后与存储在视频平面(左)6a(或视频平面(右)6b)中的非压缩状态的图片数据相加,得到合成图像并输出。
音频解码器14对从加法器13输出的TS包进行解码,并输出非压缩形式的音频数据。
以上是再现部1的构成要素。
返回图31,HDMI发送接收部202包括依据于例如HDMI标准(HDMI:High Definition Multimedia Interface,高精度多媒体接口)的接口,按照HDMI标准与和再现装置进行HDMI连接的装置(在该示例中为电视机300)之间进行发送接收,通过HDMI发送接收部202,将由加法器13相加后的影像和由音频解码器14进行解码后的非压缩的音频数据传输给电视机300。
电视机300保存例如与是否应对立体观察显示相关的信息、与能进行平面显示的分辨率相关的信息、与能进行立体显示的分辨率相关的信息,在从再现装置通过HDMI发送接收部202发出请求时,向再现装置返回所请求的必要的信息(例如与是否应对立体观察显示相关的信息、与能进行平面显示的分辨率相关的信息、与能进行立体显示的分辨率相关的信息)。
这样,通过HDMI发送接收部202,能够从电视机300获取关于电视机300是否应对立体观察显示的信息。
再现状态/设定寄存器(PSR)组(set)203是寄存器的集合体,包括存储播放列表的再现状态的再现状态寄存器、存储表示再现装置中的配置的配置信息的再现设定寄存器、能够存储内容所利用的任意的信息的通用寄存器。播放列表的再现状态指正在利用在播放列表中记述的各种AV数据信息中的哪个AV、正在再现播放列表的哪个位置(时刻)等的状态。在播放列表的再现状态变化时,再现控制引擎206将其内容存储在PSR组203中。并且,根据来自由作为HDMV模式的动作主体的命令解释器、或作为BD-J模式的动作主体的Java平台所执行的应用的指示,能够存储应用所指定的值,并将所存储的值传递给应用。
并且,在PSR组203中例如具有立体观察再现能力及立体观察再现显示方式标志等。
立体观察再现能力表示再现装置是否具有执行立体观察再现的能力。
立体观察再现标志表示用户是否打算执行立体观察再现。
静态脚本存储器205是存储当前播放列表信息及当前素材信息的存储器。当前播放列表信息指能够从BD-ROM进行访问的多个播放列表信息中成为当前处理对象的播放列表信息。当前素材信息指能够从BD-ROM进行访问的多个素材信息中成为当前处理对象的素材信息。
再现控制引擎206根据来自作为HDMV模式的动作主体的命令解释器、作为BD-J模式的动作主体的Java平台的函数调用,执行AV再现功能、播放列表的再现功能。AV再现功能是从DVD播放器、CD播放器沿袭下来的功能组,指再现开始、再现停止、暂停、暂停的解除、静态图像功能的解除、利用立即值(immediate value)指定再现速度的快进、利用立即值指定再现速度的后退、声音切换、副影像切换、角度切换的处理。播放列表再现功能指按照播放列表信息进行该AV再现功能中的再现开始及再现停止。
堆内存207是用于配置系统应用的字节码、BD-J应用的字节码、系统应用所利用的系统参数、BD-J应用所利用的应用参数的堆栈区域。
BD-J平台208是作为BD-J模式的动作主体的Java平台,完全安装了Java2Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0)、和GloballyExecutable MHP specification(GEM1.0.2)for package media targets,包括类装载器(class loader)和字节码解释器。类装载器是系统应用中的一个,类装载器从存在于JAR归档文件中的类文件读出字节码,并存储在堆内存中,由此进行BD-J应用的装载。字节码解释器把构成存储在堆内存207中的BD-J应用的字节码、构成系统应用的字节码转换为本机码(native code),并使MPU执行。
动态脚本存储器209是存储当前动态脚本,并在由作为HDMV模式的动作主体的命令解释器、作为BD-J模式的动作主体的Java平台进行的处理中使用的存储器。当前动态脚本指记录在BD-ROM中的Index.bdmv、BD-J对象、电影对象中成为当前执行对象的脚本。
作为模式管理模块的一例的模式管理器210,保存从BD-ROM读出的Index.bdmv,并进行模式管理和分支控制。由模式管理器210进行的模式管理,指使命令解释器211和BD-J平台208中的哪一方执行动态脚本的、模块的分配。
作为HDMV模块的一例的命令解释器211是成为HDMV模式的动作主体的DVD虚拟播放器,并成为HDMV模式的执行主体。作为HDMV模式的动作主体的命令解释器对构成脚本程序的导航命令进行解读并执行。导航命令是利用与DVD-Video相似的语法记述的,所以通过执行该导航命令,能够实现像DVD-Video那样的再现控制。
UO检测模块212检测对遥控器500或再现装置200的前面板进行的用户操作,向模式管理模块210输出表示用户操作的信息(以后称为UO(UserOperation,用户操作))。根据该UO选择只适合于当前的再现装置的模式的UO,并传递给执行该模式的模块。例如,在执行HDMV模式的过程中,在接受到上下左右、激活(activate)这些UO的情况下,向HDMV模式的模块输出这些UO。
<播放列表再现处理>
下面,具体说明播放列表再现处理。
图33是表示播放列表再现处理的处理步骤的流程图。
在步骤S1读入播放列表信息文件,并进入到步骤S2~S5的处理。步骤S2用于判定再现装置是否存在能力。步骤S3用于判定作为再现装置的连接对象的电视机是否存在立体观察再现的处理能力。步骤S4用于判定当前播放列表的再现属性信息中的显示方式标志是否有效。如果步骤S2~S4的任一步骤判定为否,则转入步骤S5,执行基于各个播放项目信息中的STN_table的播放项目再现。
如果步骤S2~S4全部判定为是,则在步骤S5执行基于各个播放项目信息中的STN_table_extension的播放项目再现。
图34是表示基于STN_table_extension的再现步骤的流程图。
在步骤S51,将当前PlayItem序号初始化为“1”,并转入到步骤S52~S62的循环。该循环用于对当前播放项目序号执行步骤S52~S60的处理,并反复进行把当前播放项目序号递增的处理(S61),直到当前播放项目序号到达最后(S62:是)。步骤S52~S60如下所述。
在步骤S52,使用对应基本视角流的包ID的表项映射,把当前PlayItem.In_Time和当前PlayItem.Out_Time转换为Start_SPN[i]和End_SPN[i]。
选择增强视角流,并选择当前PG流(S53),把所选择的流的当前流序号写入到PSR中(S54),并确定对应于当前流序号的SubPlayItem(S55)。把使用与增强视角流的包ID[j]相对应的表项映射[j]而确定的SubPlayItemIn_Time、SubPlayItem_Out_Time转换为Start_SPN[j]、End_SPN[j](S56)。
确定属于读出范围[i]的范围(extent),该读出范围[i]用于从Start_SPN[i]到End_SPN[i]读出包ID[i]的TS包[i](S57),并确定属于用于从Start_SPN[j]到End_SPN[j]读出包ID[j]的TS包[j]的读出范围[j]的范围(S58)。并且,在步骤S59,按照地址的升序将属于读出范围[i]、[j]的范围分类,在步骤S60,指示驱动器,以使用分类后的地址连续读出属于读出范围[i]、[j]的范围。以上是基于STN_table_extension的再现步骤。
下面说明PG流选择步骤。根据STN_table或STN_table_extension选择PG流的选择步骤,包括“Procedure when playback condition is changed”(再现状态改变时的过程)、和“Procedure when Stream change is requested”(请求流改变时的过程)这两个选择步骤。PG流选择由再现控制引擎206进行。
Procedure when playback condition is changed表示由于再现装置产生某种情况,在再现装置的状态变化时应该执行的处理步骤。
Procedure when Stream Change is requested表示在用户请求了流的切换时应该执行的处理步骤。
图35(a)是表示装置状态变化时的PSR2的设定步骤的流程图。其中,PSR2表示PG的当前流序号。
步骤S11用于判定STN_table中的entry数是否为0,如果是0,则保持PSR2的值(步骤S13)。
步骤S12用于在STN_table中的entry数不是0的情况下,判定STN_table中的entry数是否多于PSR2、而且条件(A)是否为真。条件(A)表示再现装置具有再现利用PSR2确定的PG流的能力。如果在步骤S12为是,则保持PSR2(步骤S14)。如果PSR2的值大于entry数或者不满足条件(A),则再次设定PSR2(步骤S15)。
图35(b)是表示流变化时的PSR2的设定步骤的流程图。该流程图与图35(a)的不同之处是,(a)中的PSR2的表述方式被替换为X。该X是基于User Operation的值。
该流程图中的步骤S20用于判定STN_table中的entry数是否多于X、而且条件(A)是否为真。条件(A)表示再现装置具有再现利用PSR2确定的PG流的能力,通过比较PSR15(表示字幕能力)和PG流的Stream_coding_type来进行判定。如果X满足该条件,则对PSR2设定X(步骤S21)。
如果X大于entry数或者不满足条件(A),则判定X是否是0xFFFF(步骤S22)。如果不是0xFFFF,则认为用户打算选择的PG流的序号无效,所以忽视基于用户操作的值X,保持PSR2的设定值(步骤S24)。如果PSR2的设定值是0xFFFF,则设定PSR2(步骤S23)。
图36是表示PSR2设定步骤的流程图。该流程图的步骤S31、步骤S32是对在STN_table中记述的PG流的每个反复进行步骤S33~步骤S35的处理的循环处理。在该循环处理中,把成为处理对象的PG流设为PG流i。步骤S33用于判定PG流i是图形字幕流还是文本字幕流,如果是图形字幕,则转入步骤S34。
步骤S34用于判定图形字幕流i是否满足下面的(a)(b)。
(a)再现装置具有再现图形字幕流i的能力
(b)图形字幕流i的语言属性与再现装置的语言设定一致
该条件(b)用于判定STN_table中的PG_language_code是否与PSR16(表示装置的语言设定)一致。 
另一方面,步骤S35用于判定文本字幕流i是否满足下面的(a)(b)。
(a)再现装置具有用字体(font)展开文本字幕流i并再现的能力
(b)文本字幕流i的语言属性与再现装置的语言设定一致
关于是否具备条件(a)的判定,根据再现装置的PSR30是否表示“有再现能力”来进行。关于是否具备条件(b)的判定,根据STN_table中的textST_language_code是否与PSR16的设定值一致来进行。
在对全部PG流反复进行以上步骤S33~S35的处理后,执行步骤S36~S41的处理。
步骤S36用于判定是否存在满足(a)的图形字幕,如果不存在,则对PSR2设定Invalid(无效)的值(0xFFFF)(步骤S38)。
步骤S37用于判定是否存在满足(a)(b)双方的PG流,如果存在,则对PSR2设定满足(a)(b)的PG流中、在STN_table中的表项顺序最高的PG流(步骤S41)。
步骤S39用于对PSR2设定只满足(a)的图形字幕流、只满足(a)的文本字幕流中、在STN_table中的表项顺序最高的流。
在设定了PSR2后,判定再现装置能否进行采用左视角和右视角的三维再现。在能够进行三维再现的情况下,对PID滤波器3设定与PSR2的流序号相对应的左视角PG流和右视角PG流的PID,使其进行包滤波。
并且,起动左视角图形解码器和右视角图形解码器,进行两个系统的TS包系列的解码。
根据以上所述的本实施方式,左视角PG流的多个DS和右视角PG流的多个DS一对一地相对应,对相对应的DS的画面结构区段设定相同的PTS。并且,在对应的DS的画面结构区段中,composition_state被设定为相同的内容。
因此,在一方PG流的DS中,在其composition_state例如是Epoch Start的情况下,在对应的另一方PG流的DS中,其composition_state也是EpochStart。
因此,通过把这些PG流的DS配置在判明进行了寻源的位置处,在进行随机访问时,如果一方PG流能够进行解码,则另一方PG流一定也能够进行解码。因此,能够保证随机访问时的图形的立体观察。
并且,在左视角PG流和右视角PG流的对应的DS中,composition_number和forced_on_flag被设定为相同的内容,对应的DS的PDS被设定为相同的内容。另外,在WDS中,Window_width、window_height及window_vertical_position被设定为相同的内容,在PCS中,object_cropping_width、object_cropping_height、object_cropping_vertical_position、及object_vertical_position被设定为相同的内容。
这样,在左视角PG流和右视角PG流的对应的DS中,除了对象及显示位置的水平坐标(window_horizontal_position、object_horizontal_position、object_cropping_horizontal_position)之外的字段被设定为相同的内容,所以在再现装置中能够把两个图形控制器的控制内容设为基本相同的内容,能够简化硬件结构。
(变形示例1-1)
以上示出了再现装置具有左视角用的左眼用CLUT单元10a、和右视角用的右眼用CLUT单元10b的结构。但是,对各个CLUT单元应该设定的调色板的id相同,所以能够使CLUT单元共用。下面,说明在左视角时和右视角时替换为相同的CLUT单元的一个变形示例。
图37是表示在变形示例1-1的再现装置中搭载的系统LSI的内部结构的图。
左视角用图形平面9a和右视角用图形平面9b分别与CLUT输出切换器15连接。
CLUT输出切换器15用于在左视角非压缩图形和右视角非压缩图形之间,切换应该输出给CLUT单元10的非压缩图形。
OFFSET单元11对由CLUT单元10进行颜色转换后的左视角或右视角的非压缩图形的进深进行调整,并输出给加法器13。
如上所述,左视角用图形平面9a和右视角用图形平面9b的输出,通过CLUT输出切换器15与共同的CLUT单元10连接,所以具有能够削减硬件规模、并且通过对2D用图形解码器进行较少的变更就能构成3D用图形解码器的优点。
(实施方式2)
在实施方式1中,说明了在两个解码器模型中实现PG图形流的立体观察的方案,但在本实施方式中,说明两个解码器模型中的交互图形(以下称为“IG”)流的立体观察。
IG流是实现图形对象的交互式显示的图形流。图38(a)是表示IG流的结构的图。第1段表示构成AV Clip的TS包串。第2段表示构成图形流的PES包串。第2段中的PES包串通过从第1段的TS包中具有预定的PID的TS包取出有效载荷并连接而构成。第3段表示图形流的结构。图形流包括被称为ICS(Interactive Composition Segment:交互合成区段)、PDS(PaletteDefinition Segment:调色板定义区段)、ODS(Object Definition Segment:对象定义区段)、END(END of Display Set Segment:显示集区段末尾)的功能区段。ICS被称为画面结构区段,是控制交互式图形对象的画面结构的功能区段。关于PES包与功能区段之间的对应关系以及其他功能区段,与PG相同,所以省略说明。
图38(b)是表示通过转换功能区段得到的PES包的图。图38(b)也与PG相同,所以省略说明。
图39是表示利用各种类型的功能区段构成的逻辑构造的图。该图的第1段表示Epoch、第2段表示Display Set、第3段表示Display Set的类型、第4段表示属于Display Set的功能区段。IG流也包括Epoch Start、AcquisitionPoint、Normal Case这些类型,并且与在PG中说明的情况相同。
IG流的特征在于,根据在上述的再现时间轴上的动态图像的再现进展,控制多页面菜单的行为。用于实现该特征的结构位于ICS内的Interactive_composition中。下面,说明ICS、Interactive_composition的内部结构。
图40(a)(b)是表示ICS与Interactive_composition之间的对应关系的图。ICS与Interactive_composition的对应关系包括图40(a)所示的一对一的关系、和图40(b)所示的一对多的关系。
对应关系为一对一的情况,指Interactive_composition 的大小较小、Interactive_composition被容纳在一个ICS内的情况。
一对多的对应关系指Interactive_composition的大小较大、Interactive_composition被分段、并被容纳在多个ICS内的情况。由于能够存储在多个ICS中,所以对Interactive_composition大小没有限制,无论是512K字节还是1M字节,都能够增大Interactive_composition的大小。虽然能够使ICS与Interactive_composition形成一对多的对应关系,但为了简单起见,在后面的说明中,把ICS与Interactive_composition的对应关系设为一对一。
图41是表示ICS的内部结构的图。在ICS中存储有Interactive_composition整体、或者将Interactive_composition分段得到的一部分。如图41的左侧所示,ICS包括:“segment_descriptor”,表示自己是ICS;“video_descriptor”,表示该ICS设想的纵横的像素数和帧速率;“composition_descriptor”;和“Interactive_composition_data_fragment”,其是Interactive_composition整体、或者将Interactive_composition分段得到的一部分。
图41中的箭头cu1用于详细表示“composition_descriptor”的内部结构。如该箭头cu1所示,“composition_descriptor”包括:“composition_state”,表示该ICS所属的Display Set是Normal Case、Acquisition Point、Epoch Start、Effect_Sequence中的哪一个;和表示画面合成的次数的“Composition_Number”。
图41中的箭头cu2用于详细表示“Interactive_composition”的内部结构。如该箭头所示,Interactive_composition包括“Interactive_composition_length”、“Stream_model”、“user_interface_model”、“composition_time_out_pts”、“selection_time_out_pts”、“user_time_out_duration”、和与能够在多页面菜单中显示的多个页面中的各个页面对应的“页面信息(1)(2)…(i)…(number_of_page-1)”。
“Interactive_composition_length”表示Interactive_composition的数据长度。
“Stream_model”表示Interactive_composition设想的流模型的类型。流模型表示Interactive_composition被以何种形式记录在BD-ROM中,并在再现装置的合成缓冲器中如何被处理,Stream_model表示图形流是(i)被从AV Clip解复用并装载在合成缓冲器中的、还是(ii)作为SubClip被预装载在合成缓冲器中的。
“user_interface_model”表示Interactive_composition设想的用户接口模型是Always-onU/I还是Pop-upU/I。Always-onU/I指伴随AV Clip的再现进行来进行菜单的显示及删除的用户接口,Pop-upU/I指以用户进行的操作为触发来进行菜单的显示及删除的用户接口。
“composition_time_out_pts”表示ICS归属的Epoch的末期(EpochEND)。基于ICS的交互控制在该Epoch末期(Epoch END)已经不可能进行,所以该composition_time_out_pts表示的时间点指对话控制的末期。
“selection_time_out_pts”表示自动将处于被选择状态的按钮激活的超时时刻。按钮指多页面菜单中的各个选择项目,用于规定把该按钮的状态变为激活状态的时间的是该selection_time_out_pts。
图中的IF语句(if(Stream_model==’ob’)),表示上述的composition_time_out_pts和selection_time_out_pts是在Stream_model=Multiplexed时出现的任意的信息要素。在ICS设想的流模型是预装载的情况下,不存在这些composition_time_out_pts、selection_time_out_pts。
“user_time_out_duration”(用户超时期间)表示用于删除根据用户操作能够显示的页面的超时时刻。在Always-onU/I中,根据用户操作来显示自2ndPage(第二个页面)以后的Page(页面)(称为SubPage(子页面)),所以根据该user_time_out_duration的超时,只有SubPage被删除,只成为1stPage(第一个页面)。在Pop-upU/I中,不仅SubPage被删除,由于根据用户操作来显示多页面菜单整体,所以根据user_time_out_duration的超时,全部页面被删除,处于没有任何显示的状态(No Menu Display)。
图42是表示有关多个页面中的任意页面(第x个页面)的页面信息的内部结构的图。如该图42的左侧所示,页面信息(x)包括:作为唯一识别页面x的识别符的“page_id”;“page_version_number”;“UO_mask_table”;表示在开始显示页面(x)时应该再现的显示效果的“in_effect”;表示在结束显示页面(x)时应该再现的显示效果的“out_effect”;记述在对页面(x)执行动画时应该适用的帧速率的“animation_frame_rate_code”;“default_selected_button_id_ref”;“default_activated_button_id_ref”;“pallet_id_ref”;对应页面(x)上的多个按钮中的各个按钮的“按钮信息(1)(2)…(number_of_buttons-1)”。
“UO_mask_table”表示允许/不允许page(x)中的用户操作。如果该屏蔽(mask)字段被设定为不允许,则针对再现装置的用户操作无效。
“default_selected_button_id_ref”表示在Page(x)的显示开始时,动态地确定还是静态地确定应缺省设定为被选择状态的按钮。如果该字段是“0xFF”,则表示动态地确定缺省设定为被选择状态的按钮。在动态地确定的情况下,优先解释再现装置中的状态寄存器(Player Status Register(PSR))的设定值,PSR所表示的按钮处于被选择状态。如果该字段不是“0xFF”,则表示静态地确定缺省设定为被选择状态的按钮。在这种情况下,利用在“default_selected_button_id_ref”规定的按钮序号覆盖PSR,把该字段指示的按钮设为被选择状态。
“default_activated_button_id_ref”表示在到达selection_time_out_pts所表示的时间点时,自动被设定为激活状态的按钮。如果default_activated_button_id_ref是“FF”,则在预定的超时时刻,当前处于被选择状态的按钮被自动选择。如果该default_activated_button_id_ref是00,则不进行自动选择。如果是除00、FF之外的值,该字段被解释为有效的按钮序号。
“pallet_id_ref”表示在Page(x)中应该对CLUT Unit设定的调色板的id。
“按钮信息(Button_info)”是定义在Page(x)上显示的各个按钮的信息。利用以上字段确定Multi-Page菜单中的各个页面。下面说明按钮信息的内部结构。在假定Page(x)上的任意按钮是按钮(i)的情况下,说明如何规定该按钮(i)的内部结构。图42中的虚线箭头cx1用于详细表示规定按钮(i)的按钮信息i的内部结构。
显示于页面上的各个按钮具有正常(normal)状态、被选择(selected)状态、激活(active)状态这三种状态。正常状态指只不过被单纯显示的状态。与此相对,被选择状态指通过用户操作被光标点中,但还没有确定的状态。激活状态指已经确定的状态。由于具有这些状态,所以对按钮信息i规定以下所述的信息要素。
“button_id”是在Interactive_composition中唯一识别按钮(i)的数值。
“button_numeric_select_value”是表示是否允许按钮(i)的数值选择的标志。
“auto_action_flag”表示是否自动把按钮(i)设为激活状态。如果auto_action_flag被设定为有效(比特值1),则按钮(i)处于激活状态,而不是成为被选择状态。如果auto_action_flag被设定为无效(比特值0),则按钮(i)即使被选择了,也只不过是被选择状态。
“button_horizontal_position”、“button_vertical_position”表示对话画面中的按钮(i)的左上像素的水平位置、垂直位置。
“neighbor_info”是表示在按钮(i)是被选择状态、并被命令向上下左右方向移动光标的情况下,把哪个按钮设定为被选择状态的信息,包括“upper_button_id_ref”、“lower_button_id_ref”、“left_button_id_ref”、“Right_button_id_ref”。
“upper_button_id_ref”表示在按钮(i)是被选择状态的情况下,在操作遥控器并按下命令向上移动光标的键(MOVEUP键)的情况下,应该取代按钮(i)而成为被选择状态的按钮的序号。如果在该字段设定了按钮(i)的序号,则忽视MOVEUP键的按下。
“lower_button_id_ref”、“left_button_id_ref”、“Right_button_id_ref”表示在按钮(i)是被选择状态的情况下,在操作遥控器并按下命令向下移动光标的键(MOVE Down键)、命令向左移动光标的键(MOVE Left键)、命令向右移动光标的键(MOVE Right键)的情况下,应该取代按钮(i)的按下而成为为被选择状态的按钮的序号。如果在该字段设定了按钮(i)的序号,则忽视这些键的按下。
“normal_state_info”是规定按钮(i)的正常状态的信息,包括“normal_start_object_id_ref”、“normal_end_object_id_ref”和“normal_repeated_flag”。
关于“normal_start_object_id_ref”,在以动画形式来描绘正常状态下的按钮(i)的情况下,被附加到构成动画的多个ODS中的连续号码中的、第一个号码,被记述在该normal_start_object_id_ref中。
关于“normal_end_object_id_ref”,在以动画形式来描绘正常状态下的按钮(i)的情况下,被附加到构成动画的多个ODS中的连续号码即“object_ID”中的、最后一个号码被记述在该normal_end_object_id_ref中。在该normal_end_object_id_ref表示的ID与normal_start_object_id_ref表示的ID相同的情况下,利用该ID表示的图形对象的静态图像成为按钮(i)的图案。
“normal_repeat_flag”表示是否反复继续正常状态下的按钮(i)的动画显示。
“selected_state_info”是规定按钮(i)的被选择状态的信息,包括“selected_state_sound_id_ref”、“selected_start_object_id_ref”、“selected_end_object_id_ref”、“selected_repeat_flag”。
“selected_state_sound_id_ref”是在按钮(i)的状态变为被选择状态时,指定应该作为点击声音而再现的声音数据的信息。该指定通过记述在被称为sound.bdmv的文件中存储的声音数据的识别符来进行。在该字段是0xFF的情况下,表示没有指定声音数据,不进行点击声音的再现。
关于“selected_start_object_id_ref”,在以动画形式来描绘被选择状态下的按钮(i)的情况下,被附加到构成动画的多个ODS中的连续号码中的、第一个号码被记述在该selected_start_object_id_ref中。
关于“selected_end_object_id_ref”,在以动画形式来描绘被选择状态下的按钮(i)的情况下,被附加到构成动画的多个ODS中的连续号码即“object_ID”中的、最后一个号码被记述在该selected_end_object_id_ref中。在该selected_end_object_id_ref表示的ID与selected_start_object_id_ref表示的ID相同的情况下,利用该ID表示的图形对象的静态图像成为按钮(i)的图案。
“selected_repeat_flag”表示是否反复继续被选择状态下的按钮(i)的动画显示。如果selected_end_object_id_ref和selected_start_object_id_ref是相同的值,则对该字段设定00。
“activated_state_info”是规定按钮(i)的激活状态的信息,包括“activated_state_sound_id_ref”、“activated_start_object_id_ref”、“activated_end_object_id_ref”。
“activated_state_sound_id_ref”是在对应button信息的按钮的被选择状态变化时,指定应该作为点击声音而再现的声音数据的信息。该指定通过记述存储在sound.bdmv中的声音数据的识别符来进行。在该字段是0xFF的情况下,表示没有指定声音数据,不进行点击声音的再现。
关于“activated_start_object_id_ref”,在以动画形式来描绘激活状态下的按钮(i)的情况下,被附加到构成动画的多个ODS中的连续号码中的、第一个号码被记述在该activated_start_object_id_ref中。
关于“activated_end_object_id_ref”,在以动画形式来描绘激活状态下的按钮的情况下,被附加到构成动画的多个ODS中的连续号码即“object_ID”中的、最后一个号码被记述在该activated_end_object_id_ref中。
“导航命令(navigation_command)”是在按钮(i)处于激活状态时执行的命令。导航命令的代表性命令是SetButtonPage命令。SetButtonPage命令是命令再现装置,使其显示Multi-Page菜单的所期望的页面,并将该页面中的所期望的按钮设定为被选择状态的命令。通过使用该导航命令,创作(authoring)人员能够容易记述页面切换。
以上是按钮信息的内部结构。
<采用两个解码器模型时的限制>
下面,说明对于左视角和右视角如何分别设定上述的各个功能区段的各个字段,基本情况与PG的情况相同。即,包含于左视角IG流中的DS的类型及composition_number、和包含于与其对应的右视角IG流中的DS的类型及composition_number,被设定为相同的内容。
并且,在包含于左视角DS中的画面结构区段和包含于与其对应的右视角DS中的画面结构区段中,存储了这些画面结构区段的各个PES包的PTS的值被设定为相同的值。
另外,在左视角的DS的调色板定义区段和与其对应的右视角DS的调色板定义区段中,代码值与亮度及色差之间的对应关系被设定为相同的内容,关于palette_id,两者也相同。
下面,说明如何记述ICS中除上述字段之外的字段。图43、44是表示属于Display Set的ICS的记述示例的图。这些附图表示在图形平面中描绘有多个按钮的示例。
图43是属于左视角的DS的ICS的记述示例。如图43所示,利用button信息(0)定义的标题1按钮,在图形平面的坐标系中,被配置在以button_horizontal_position 1(left)、button_vertical_position为基准点(左上)的范围内。并且,利用button信息(number_of_buttons-1)定义的标题m按钮,在图形平面的坐标系中,被配置在以button_horizontal_position m(left)、button_vertical_position为基准点(左上)的范围内。这样,各个标题按钮被写入到图形平面中。由此,标题按钮被与动态图像合成并显示。
图44是属于右视角的DS的ICS的记述示例。如图43所示,利用button信息(0)定义的标题1按钮,在图形平面的坐标系中,被配置在以button_horizontal_position 1(Right)、button_vertical_position为基准点(左上)的范围内。并且,利用button信息(number_of_buttons-1)定义的标题m按钮,在图形平面的坐标系中,被配置在以button_horizontal_position m(Right)、button_vertical_position为基准点(左上)的范围内。这样,各个标题按钮被写入到图形平面中。由此,标题按钮被与动态图像合成并显示。
如上所述,作为基准点,button_vertical_position在左视角时和右视角时是相同的值,但button_horizontal_position在左视角时和右视角时是不同的值。
并且,在左视角时和右视角时,对button_id设定相同的值。这是因为在采用两个解码器结构的再现装置中,采取在两个解码器中共用图形控制器的结构。因此,如果不把左视角时和右视角时的对应的DS的图形对象的button_id设定为相同的值,则图形控制器不能判别哪个图形对象彼此是对应关系。
关于button_信息中的除上述项目之外的项目、即neighbor_info、normal_state_info、selected_state_info、activated_state_info、navigation_command,在左视角时和右视角时是相同的内容。
另外,在左视角时和右视角时的对应的DS中,composition_time_out_pts、selection_time_out_pts、user_time_out_duration,被设定为相同的内容。
通过附加以上所述的限制,在两个解码器结构中,能够实现基于左视角IG流和右视角IG流的立体观察。
<再现装置>
下面,具体说明在本实施方式的再现装置中搭载的系统LSI。图45是表示本实施方式的系统LSI的内部结构的图。基本结构与图32相同。与图32的不同之处是,图形控制器86在左视角用图形解码器和右视角用图形解码器中共用。下面说明其理由。在IG的情况下,假设图形解码器从UO检测模块受理UO的通知。因此,如果有两个图形控制器,则各个图形控制器分别从UO检测模块受理UO的通知。这样,只能串行地从UO检测模块向图形解码器进行UO的通知,所以在图形控制器之间产生时间差。结果,在执行基于UO的处理时,有可能在图形控制器之间产生问题。因此,在左视角时和右视角时共用图形控制器86。
在左视角时和右视角时共用的图形控制器86,对配置在合成缓冲器85a中的ICS进行解读,并进行基于ICS的控制,并且对配置在合成缓冲器85b中的ICS进行解读,并进行基于ICS的控制。
并且,在从UO检测模块212收到UO的通知时,对左视角用图形解码器和右视角用图形解码器分别进行对应该UO的控制。
更具体地讲,图形控制器86参照配置在合成缓冲器85a中的ICS的多个页面信息中、利用PSR11指定的页面信息(当前页面信息)的按钮信息,进行图形的描绘。该描绘是这样进行的,在当前页面信息内的各个按钮信息中,从对象缓冲器84a读出利用normal_state_info的normal_start_object_id和normal_end_object_id指定的图形,并写入到左视角用图形平面9a中。对于当前页面信息内的按钮信息中、利用PSR10指定的页面信息,从对象缓冲器84a读出利用selected_state_info的selected_start_object_id和selected_end_object_id指定的图形,并写入到左视角用图形平面9a中,由此进行描绘。通过这样描绘,配置有标题1按钮~标题m按钮的页面出现在左视角用图形平面9a中,并被合成到动态图像中。关于右视角时也相同。
根据以上所述的本实施方式,在左视角IG流和右视角IG流的对应的DS中,composition_state被设定为相同的内容,所以通过把这些IG流的DS配置在判明进行了寻源的位置处,与PG流的情况相同,能够保证随机访问时的图形的立体观察。
并且,通过在左视角时和右视角时共用再现装置内的图形控制器,与采用两个控制器结构时相比,能够削减硬件规模,实现产品的成本降低。
(补充)
以上说明了在提交本申请的时间点申请人所知道的最佳实施方式,但本发明当然不限于上述实施方式。
(1)再现装置200还可以具有本地存储器。本地存储器具有内置介质、可移动式介质,在保存下载下来的追加内容及应用所使用的数据等时使用。追加内容的保存区域按照每个BD-ROM进行划分,应用在保存数据时能够使用的区域按照每个应用进行划分。并且,有关如何使下载下来的追加内容与BD-ROM上的数据相合并、以及记述有合并规则的合并管理信息,也保存在该内置介质、可移动式介质中。
内置介质例如指内置于再现装置中的硬盘驱动器、存储器等能够写入的记录介质。
可移动式介质例如指具有可移动性的记录介质,SD卡等具有可移动性的半导体存储卡比较适合。
以可移动式介质是半导体存储卡时为例进行说明,在再现装置中设有用于安装可移动式介质的插槽(未图示)、和用于读取安装在插槽中的可移动式介质的接口(例如存储卡I/F),在将半导体存储器安装在插槽中后,可移动式介质与再现装置电连接,能够利用接口(例如存储卡I/F)把记录在半导体存储器中的数据转换为电信号并读出。
在再现装置200具有本地存储器的情况下,还可以具有虚拟文件系统。虚拟文件系统以与追加内容一起下载到本地存储器中的合并管理信息为基础,构建用于使存储在本地存储器中的追加内容和BD-ROM上的内容相合并的、虚拟的BD-ROM(虚拟包,virtual package)。并且,能够被作为HDMV模式的动作主体的命令解释器和作为BD-J模式的动作主体的BD-J平台进行参照,而无需区分虚拟包和原始BD-ROM。在再现虚拟包时,再现装置使用BD-ROM上的数据和本地存储器上的数据双方进行再现控制。
并且,再现装置200还可以具有网络接口。网络接口用于和再现装置的外部进行通信,能够访问可以通过因特网进行访问的服务器,并访问通过局域网连接的服务器。例如,能够用于在因特网上公开的BD-ROM追加内容的下载,与内容指定的因特网上的服务器之间进行数据通信,由此能够再现利用了网络功能的内容。BD-ROM追加内容是原始的BD-ROM中没有的内容,例如追加的副声音、字幕、特别收录影像、应用等。能够从BD-J平台控制网络接口,能够把在因特网上公开的追加内容下载到本地存储器中。
(2)关于追加内容,有时通过另外下载左视角和右视角的PG流来获取。关于这种情况,认为是在一个AV Clip内只存在左视角和右视角的PG流的情况。说明这种情况的限制。
图46是复用PG流(L)和PG流(R)的示意图。其中,最上面的段表示PG流(L)的结构示例,此处是由Display Set(L)1和Display Set(L)2这两个DS构成。
从上面起第2段表示对PG流(L)进行TS打包的状态。
最下面的段表示PG流(R)的结构示例,此处是由Display Set(R)1和Display Set(R)2这两个DS构成。
从下面起第2段表示对PG流(R)进行TS打包的状态。
其中,为了进行3D显示,需要左视角和右视角的成对的DS,但在该图中,Display Set(L)1和Display Set(R)1、以及Display Set(L)2和Display Set(R)2分别成对地用于3D显示。在复用时,成对的左视角的DS和右视角的DS如该图所示,被配置成为始终使左视角的DS在流中先行。即,配置成为始终使左视角的DS的TS包序号比较小。除此之外,对左视角流设定表项映射表。由此,即使在跳跃再现时,也能够在对左视角的DS进行解码后马上对右视角的DS进行解码,所以始终能够成对地进行左视角DS和右视角DS的解码。因此,能够避免只有成对中的一方能够解码、而另一方不能解码的问题。
并且,在该图中记述了在跳跃再现和特殊再现中使用的表项的位置,但通过将左视角和右视角的成对的DS双方配置在利用表项示出的TS包的后方,在根据前面叙述的表项来进行跳跃再现时,也能够正确显示成对的左视角和右视角的DS。
另外,在该示例中把成对的DS配置在表项的后方,但也可以把双方的DS配置在表项的前方。在这种情况下,在根据表项来进行跳跃再现时,由于成对的双方的DS不能进行解码,所以能够防止从左视角和右视角的任一方开始只显示一方,能够减轻对收看者的不协调感。
(3)在上述各个实施方式中,说明了分别准备左视角和右视角的PG流的情况,此处说明用一个PG流应对3D显示的第1方法。图47表示3D-PCS的数据构造。在图14中说明的PCS与3D-PCS的差别是,在利用composition_object()表示的字段中,追加了表示object是左眼用还是右眼用的L_R_flag。例如,在某个composition_object()表示左眼用的情况下,L_R_flag被设定为0,在表示右眼用的情况下,L_R_flag被设定为1。
通常在利用3D来显示PG时,需要使左眼用的object和右眼用的object成对。即,在3D-PCS中,number_of_composition的值必须是偶数,并且必须存在相同数量的左眼用composition_object()和右眼用composition_object()。
并且,在作为功能区段的3D-PCS被复用(包括2D用的PCS)时,如图48(a)所示,在流中被配置在比2D用的PCS先行的位置。换言之,被配置成为使TS包序号小于2D用的PCS,由此应对3D的再现装置能够先发现3D-PCS,在读出时能够跳过三维显示不需要的2D用的PCS。
并且,在图中被表述为3D-ODS,是表示包括只被3D-PCS参照的Object的ODS,通过把3D-ODS的segment_type设定为与ODS的segment_type不同的值,由此能够在不能应对3D的再现装置中跳过3D-ODS进行读出,所以能够减轻解码负荷。另外,在某个Object被2D用的PCS和3D-PCS双方参照的情况下,不定义为3D-ODS,而定义为ODS,由此能够共用2D用和3D用的Object。
并且,例如在3D-PCS中存在多个composition_object()的情况下,也可以在左眼用的composition_object()的后面设置一定对应的右眼用的composition_object()。这样,通过连续配置成对的左眼用和右眼用的composition_object(),具有能够容易验证左眼用和右眼用的各个composition_object()具有的forced_on_flag为相同的优点。并且,通过这样限制左视角和右视角的排列顺序,能够删除表示各个composition_object()是左眼用还是右眼用的L-R_flag,能够采用与已有的2D用PCS完全相同的数据构造,也能够解释3D-PCS,而几乎不需变更2D用PCS的解释程序。
下面,说明用一个PG流应对3D显示的第2方法。与图48(a)的不同之处是分别准备左眼用的3D-PCS(3D-PCS(L))和右眼用的3D-PCS(3D-PCS(R))(参照图48(b))。说明这样预先区分左眼用和右眼用的3D-PCS的优点。在前面叙述的包括左眼用和右眼用双方的信息的3D-PCS中,需要新设定用于表示待参照的Object是左眼用还是右眼用的标志(L-R_flag)。并且,在不设置标志的情况下,需要进行使奇数号的composition_object()为左眼用、使偶数号的composition_object()为右眼用等配置的限制。即,在对3D-PCS进行解码时,需要变更解释2D用的PCS的程序,并能读出L-R_flag这种新字段,或者需要把奇数号的composition_object()和偶数号的composition_object()分别处理为左眼用和右眼用。
与此相对,通过像3D-PCS(L)和3D-PCS(R)这样来划分区段进行传输,3D-PCS(L)和3D-PCS(R)的构造能够取与2D用的PCS相同的构造,所以能够直接沿用解释2D用的PCS的程序。在这种情况下,为了使解码器区分3D-PCS(L)和3D-PCS(R)以及2D用的PCS,可以把segment_type设定为不同的类型。例如,在正常的2D用PCS的segment_type被设定为0x00时,把3D-PCS(L)的segment_type的值设定为0x01,把3D-PCS(R)的segment_type的值设定为0x02。或者,关于3D-PCS(L)和3D-PCS(R)的配置,通过使3D-PCS(L)的TS包序号较小,即使把3D-PCS(L)和3D-PCS(R)双方的segment_type的值设定为0x01,解码器也能够区分2D用的PCS和3D-PCS。
并且,关于3D-PCS(L)和3D-PCS(R)和2D用PCS的配置,把3D-PCS(L)和3D-PCS(R)配置在前面,然后配置2D用PCS,由此在能够应对3D的再现装置中先发现3D-PCS的情况下,能够跳过后面的2D用PCS来进行读出,所以能够减轻解码负荷。
(4)在上述实施方式中,在左视角时和右视角时的对应的DS中,将composition_number设定为相同,但也可以设计新的字段(例如L_R_Pairing_number),在对应的DS中将该字段设定为相同内容。
(5)在上述实施方式中,设为左视角PG流参照该流中的对象、右视角PG流参照该流中的对象,但是,例如也可以设为从右视角PG流参照左视角PG流的对象。这样,左右的PG流能够参照彼此的对象,由此不需要传输左右相同的对象,具有能够节约传输所需带宽的优点。
(6)在上述实施方式中,液晶闸门眼镜104由液晶闸门和控制部构成,并采取向收看者的左眼提供左视角用图像、向右眼提供右视角用图像的结构,但不需要限定于这种结构。例如,不采用液晶而采用偏振光滤波器来实现立体观察的眼镜也在市场上销售,当然也可以使用采用这种机构的眼镜。
(7)在上述实施方式中,以使用液晶闸门立体眼镜104进行立体观察收看的方法为前提进行了说明,但也可以采用分别使左眼、右眼收看左视角图像、右视角图像的其他方式。例如,可以在显示用显示器中采用并列(side by side)方式或双凸透镜(lenticular)等,并采用不利用眼镜等特殊的收看器具的方式。
另外,关于以下所示的技术话题,能够实施进一步的改进和变更。请注意,关于是按照各个实施方式所述那样进行实施、还是实施这些改进/变更,都是任意设定的,由实施人员主观确定。
<作为记录装置的实施>
再现装置200在具有本地存储器和可移动式介质的情况下,成为假设向这些存储器和介质中写入的结构,因此可以说在本申请说明书中记述的再现装置兼备作为记录装置的功能。在再现装置200作为记录装置发挥作用的情况下,根据以下两个方式来执行管理对象的写入。
i)在再现装置200具有再现虚拟包的功能的情况下,按照下面所述进行BD-J对象的写入。即,在装填了BD-ROM时,按照来自应用的请求,通过网络从WWW服务器获取对应上述BD-ROM的追加内容。获取到的追加内容包括记述有GUI管理表的BD-J对象。“GUI管理表”指正在动作中的应用进行GUI时的管理表,包括在执行GUI显示时的分辨率,在GUI中使用的字体数据,以及用户进行了针对GUI的菜单调用、标题调用的情况下、用于规定是否屏蔽这些调用的屏蔽标志。
在再现装置200中,进行记录控制的控制部按照来自上述应用的请求,将获取到的BD-J对象写入到本地存储器中。这样,通过将记录在BD-ROM中的内容和记录在上述本地存储器中的追加内容相结合,能够构建上述虚拟包。
其中,在上述BD-ROM中记录有盘根证书的识别符、发布BD-ROM内容的组织的识别符、BD-ROM的识别符,要存储追加内容的区域利用文件路径来确定,该文件路径包括盘根证书的识别符、组织识别符、和BD-ROM识别符。
上述应用将确定要用于存储追加内容的区域的文件路径传递给控制部,由此进行写入。
上述本地存储器在具有目录名和文件名被限制在255字符以下的文件系统的情况下,在向上述本地存储器进行写入时使用的文件路径包括:8字符以下的目录名、和文件名、而且扩展符名称为3字符以下的8.3形式的文件系统中的文件名和扩展符的指定。
ii)再现装置200在具有接受on demand manufacture(按需制造)服务或电子sell-through(代理商销售)服务(MODSET)的提供的功能时,按照下面所述进行BD-J对象的写入。
即,再现装置200在通过on demand manufacture服务或电子sell-through服务来接受BD-J对象的供给时,在可移动介质的根目录的属下生成缺省的目录和MODEST目录,在MODEST目录的属下生成BDMV目录。MODEST目录是第一个MODEST目录,第一个MODEST目录是在首次接受上述服务时生成的MODEST目录。在用户从第二次开始接受服务时,再现装置200的控制部生成对应从第二次开始的服务的MODEST目录。
并且,如上所述,在获取到记述有GUI管理表的BD-J对象时,控制部向缺省目录写入起动程序,向MODEST目录属下的BDMV目录写入BD-J对象。该起动程序是在记录介质被装填到再现装置200上时被最先执行的程序,使再现装置200显示用于受理用户选择BDMV目录的操作的菜单,并使再现装置200执行根(root)变更功能。该根变更功能是在用户进行了针对菜单的选择操作时,把被选择的BDMV目录所属的MODEST目录识别为根目录的功能。根据这种根变更功能,能够根据通过与再现BD-ROM时相同的控制步骤获取的BD-J对象来执行再现控制。
<Java(TM)应用>
BD-J应用例如可以是电子商务交易(EC(Electronic Commerce))的客户端应用,也可以是网络对战式的在线游戏。另外,还可以与搜索引擎协作,向用户提供各种在线服务。
<编入GUI管理表的单位>
可以在BD-J对象设置GUI管理表。并且,也可以将GUI管理表设置成为与播放列表信息及播放项目信息相对应,在当前播放列表成为特定的播放列表的定时或当前播放项目成为特定的播放项目时,在进行了平面存储器的释放后,再进行确保立体观察再现用的平面存储器或平面观察再现用的平面存储器。这样,存储器装置的区域管理能够以更加精细的时间精度进行。
<立体观察用视频流>
将左视角用、右视角用的视频流记录在BD-ROM中只不过是一个示例。也可以按照每个图片,将表示每个像素的进深值的视频流作为增强视角视频流记录在BD-ROM中,并进行再现。
<应该安装的虚拟包>
在实施再现装置时,优选在再现装置中安装下面叙述的BD-JExtension。BD-J Extension包括为了对Java(TM)平台赋予超越GEM[1.0.2]的功能而特制的各种虚拟包。利用BD-J Extension提供的虚拟包包括以下内容。
·org.bluray.media
该虚拟包提供应该对Java(TM)Media FrameWork追加的特殊功能。该虚拟包被追加了有关角度、声音、字幕的选择的控制。
·org.bluray.ti
该虚拟包包括用于使GEM[1.0.2]中的“服务”映射至“标题”而动作的API、从BD-ROM询问标题信息的机构及选择新的标题的机构。
·org.bluray.application
该虚拟包包括用于管理应用的生命周期的API。并且,包括询问在使应用执行时信令(signaling)所需要的信息的API。
·org.bluray.ui
该虚拟包定义对BD-ROM特制的关键事件用的常数,包括如实现与影像再现的同步那样的类。
·org.bluray.vfs
该虚拟包为了不论数据在哪儿都能无缝地再现数据,提供将记录在BD-ROM中的内容(on-disc内容)和没有记录在BD-ROM中的LocalStorage(本地存储器)上的内容(off-disc内容)结合(bind)的机制(BindingScheme)。
Binding Scheme用于使BD-ROM中的内容(AV Clip、字幕、BD-J应用)和Local Storage上的关联内容相关联。该Binding Scheme不论内容在哪儿,都能实现无缝再现。
<编程语言的适用范围>
在上述实施方式中,作为虚拟机的编程语言使用了Java(TM),但也可以不使用Java(TM),而采用在UNIX(TM)OS等中使用的B-Shell及PerlScript、ECMA Script等其他编程语言。
<多驱动器化>
在上述实施方式中,作为记录介质的一例列举BD-ROM的示例进行了说明,作为具有从BD-ROM读出数据的功能的具体装置的一例,列举BD-ROM驱动器的示例进行了说明。但是,BD-ROM只是一个示例,作为记录介质也可以是BD-R、BD-RE、DVD、CD等光盘介质,只要是在这些记录介质中存储具有上述的数据构造的数据、并读取这些记录介质的驱动器装置,就能够实现在上述实施方式中说明的动作。
各个实施方式中的记录介质包括光盘、半导体存储卡等所有封装介质(package media)。关于上述实施方式的记录介质,以预先记录有必要的数据的光盘(例如BD-ROM、DVD-ROM等已有的能够读取的光盘)为例进行了说明,但不限于此,例如,也可以利用具有向光盘进行写入的功能的终端装置(例如可以将上述功能安装在再现装置中,也可以是与再现装置不同的装置),将包括经由广播或网络发布的实施本发明所需要的数据的3D内容记录在能写入的光盘(例如BD-RE、DVD-RAM等已有的能够写入的光盘)中,把该记录后的光盘适用于本发明的再现装置,由此能够实施本发明。
并且,在记录介质是除光盘之外的、例如SD存储卡等可移动介质(半导体存储卡)时,也能够实施本发明。
在使用半导体存储器取代BD-ROM的情况下,可以构成为通过用于读出半导体存储卡内的数据的接口(存储卡I/F),向读出缓冲器2、堆内存207、动态脚本存储器209、静态脚本存储器205传输数据。
更具体地讲,可以构成为在将半导体存储卡插入到再现装置200的插槽(未图示)中后,再现装置200和半导体存储卡通过存储卡I/F电连接。记录在半导体存储卡中的数据通过存储卡I/F传输给读出缓冲器2、堆内存207、动态脚本存储器209、静态脚本存储器205。
下面说明记录在BD-ROM中的数据的著作权保护的结构。例如从保护著作权、提高数据的保密性的观点出发,有时根据需要将记录在BD-ROM中的数据中的一部分数据加密。
例如,记录在BD-ROM中的数据中被加密的数据例如是对应视频流的数据、对应音频流的数据、或者对应包括视频流和音频流的数据。
下面,说明记录在BD-ROM中的数据中被加密的数据的解读。
在再现装置中,与解读BD-ROM中被加密的数据所需要的密钥对应的数据(例如设备密钥),被预先存储在再现装置中。
另一方面,在BD-ROM中记录有与解读被加密的数据所需要的密钥对应的数据(例如对应上述设备密钥的MKB(媒体密钥块))、将用于解读被加密的数据的密钥自身加密的数据(例如对应上述设备密钥和MKB的加密标题密钥)。其中,设备密钥、MKB和加密标题密钥是成对的,也与被写入到BD-ROM的通常不能复制的区域(被称为BCA的区域)中的识别符(例如卷ID)相对应。如果这种组合不正确,则不能进行加密的解读。只在组合正确的情况下,才能够导出加密解读所需要的密钥(例如根据上述的设备密钥、MKB和卷ID,对加密标题密钥进行解密而得到的标题密钥),并使用该加密解读所需要的密钥进行被加密的数据的解读。
当在再现装置中再现所装填的BD-ROM时,例如,如果在再现装置内不存在与BD-ROM内的加密标题密钥和MKB成对(或对应)的设备密钥,则不能再现被加密的数据。这是因为,解读被加密的数据所需要的密钥(标题密钥)是将密钥本身加密(加密标题密钥)记录在BD-ROM中,如果MKB与设备密钥的组合不正确,就不能导出加密解读所需要的密钥。
相反,再现装置构成为,如果加密标题密钥、MKB、设备密钥及卷ID的组合正确,则使用例如上述的加密解读所需要的密钥(根据设备密钥、MKB及卷ID对加密标题密钥进行解密而得到的标题密钥),通过解码器对视频流进行解码,并通过音频解码器对音频流进行解码。
以上是记录在BD-ROM中的数据的著作权保护的结构,该结构不限于BD-ROM,例如在适用于能够进行读入/写入的半导体存储器(例如SD卡等具有可移动性的半导体存储卡)时,也能够实施。
例如,也可以构成为利用例如电子发布将与记录在BD-ROM中的数据相对应的数据记录在半导体存储卡中,并从半导体存储卡进行再现。在利用电子发布来发布必要的数据、并记录所发布的数据的情况下,优选根据需要对所发布的数据中的一部分或全部数据进行加密并发布,并在对必要的数据进行加密的状态下记录在半导体存储器中。
说明利用电子发布,将与在本实施方式中说明的数据相对应的数据(发布数据)记录在半导体存储器中的动作。
上述的动作也可以构成为使在本实施方式中说明的再现装置能够进行那些动作,还可以利用将发布数据存储在与本实施方式的再现装置独立的半导体存储器中的、专用的终端装置进行上述动作的方式。在此说明由再现装置进行的示例。以记录目的地的半导体存储器是SD卡为例进行说明。
在向被插入到再现装置具有的插槽中的SD存储卡记录发布数据的情况下,首先向存储发布数据的发布服务器(未图示)请求发送发布数据。此时,再现装置从SD存储卡读出用于唯一识别所插入的SD存储卡的识别信息(例如各个SD存储卡固有的识别序号,更具体地讲,例如SD存储卡的序列号等),将所读出的识别信息与发布请求一起发送给发布服务器。
这个用于唯一识别SD存储卡的识别信息,例如相当于上述的卷ID。
另一方面,在发布服务器中,将待发布的数据中的必要数据(例如视频流、音频流等)进行加密后存储在服务器中,以便能够使用加密解读所需要的密钥(例如标题密钥)进行加密解除。
例如,发布服务器构成为保存私钥,并能够动态地生成针对半导体存储卡的固有的各个识别序号而不同的公钥信息。
并且,发布服务器构成为能够对解读被加密的数据所需要的密钥(标题密钥)本身进行加密(即,构成为能够生成加密标题密钥)。
所生成的公钥信息例如包括相当于上述的MKB、卷ID和加密标题密钥的信息。关于被加密的数据,例如,如果半导体存储器固有的识别序号、包含于后面叙述的公钥信息中的公钥本身、和在再现装置中预先记录的设备密钥的组合正确,则能够得到加密解读所需要的密钥(例如,根据设备密钥、MKB和半导体存储器固有的识别序号对加密标题密钥进行解密而得到的标题密钥),使用该得到的加密解读所需要的密钥(标题密钥),能够解读被加密的数据。
然后,再现装置将接收到的公钥信息和发布数据记录在插入到插槽中的半导体存储卡的记录区域中。
下面,说明对记录在半导体存储卡的记录区域中的公钥信息、和包含于发布数据中的数据中被加密的数据进行解密并再现的方法的一例。
所接收到的公钥信息记录有例如公钥本身(例如上述的MKB和加密标题密钥)、签名信息、半导体存储卡的固有的识别序号、和表示应该设为无效的设备的相关信息的设备列表。
签名信息例如包括公钥信息的散列(hash)值。
在设备列表中记述有例如与有可能进行不正当再现的装置相关的信息。该信息例如是预先记录在再现装置中的设备密钥、再现装置的识别序号、或再现装置具有的解码器的识别序号这样的、唯一地确定有可能进行不正当再现的装置、装置中包含的部件或功能(程序)的信息。
说明有关记录在半导体存储卡的记录区域中的发布数据中被加密的数据的再现。
首先,在利用公钥本身对被加密的数据进行解码之前,进行有关是否使解码密钥本身发挥作用的检查。
具体地讲,进行以下检查:
(1)检查包含于公钥信息中的半导体存储器固有的识别信息和预先存储在半导体存储卡中的固有的识别序号是否一致
(2)检查在再现装置内计算的公钥信息的散列值和包含于签名信息中的散列值是否一致
(3)根据包含于公钥信息中的设备列表表示的信息,检查进行再现的再现装置能否进行不正当的再现(例如,检查包含于公钥信息中的设备列表表示的设备密钥、和预先存储在再现装置中的设备密钥是否一致)。
进行这些检查的顺序可以按照任何顺序进行。
在上述的(1)~(3)的检查中,如果满足下述的任一情况:判定为包含于公钥信息中的半导体存储器固有的识别信息和预先存储在半导体存储器中的固有的识别序号不一致、在再现装置内计算的公钥信息的散列值和包含于签名信息中的散列值不一致、或者进行再现的再现装置有可能进行不正当的再现,则再现装置进行控制以便不能进行被加密的数据的解读。
并且,如果判定为包含于公钥信息中的半导体存储卡固有的识别信息和预先存储在半导体存储卡中的固有的识别序号一致、而且在再现装置内计算的公钥信息的散列值和包含于签名信息中的散列值一致、而且进行再现的再现装置不可能进行不正当的再现,则判定为半导体存储器固有的识别序号、包含于公钥信息中的公钥本身、以及预先记录在再现装置中的设备密钥的组合正确,并使用加密解读所需要的密钥(根据设备密钥、MKB和半导体存储器固有的识别序号对加密标题密钥进行解密而得到的标题密钥),进行被加密的数据的解读。
例如,在被加密的数据是视频流、音频流的情况下,视频解码器使用上述的加密解读所需要的密钥(对加密标题密钥进行解密而得到的标题密钥),对视频流进行解密(解码),音频解码器使用上述的加密解读所需要的密钥对音频流进行解密(解码)。
通过形成这种结构,在进行电子发布时得知是有可能被不正当利用的再现装置、部件、功能(程序)等的情况下,如果将用于识别它们的信息示于设备列表中进行发布,则在再现装置侧包括播放列表中所示的信息的情况下,将能够抑制使用公钥信息(公钥本身)进行的解密,所以即使半导体存储器固有的识别序号、包含于公钥信息中的公钥本身、以及预先记录在再现装置中的设备密钥的组合正确,也能够进行控制以便不能进行被加密的数据的解读,能够抑制在不正当的装置上利用发布数据。
并且,优选采用将预先记录在半导体存储卡中的半导体存储卡的固有的识别符存储在保密性较高的记录区域中的结构。因为在预先记录在半导体存储卡中的固有的识别序号(例如,以SD存储卡为例,指SD存储卡的序列号等)被进行了篡改时,将容易导致被非法复制。这是因为虽然多个半导体存储卡分别被分配了不同的固有的识别序号,但如果进行了篡改使该固有的识别序号相同,则上述(1)的判定将没有意义,有可能导致进行相当于篡改数量的非法复制。
因此,优选采用将半导体存储卡的固有的识别序号这样的信息记录在保密性较高的记录区域中的结构。
为了实现这种结构,例如,半导体存储卡可以构成为将用于记录半导体存储卡的固有的识别符这样的保密性较高的数据的记录区域,设定为与存储普通数据的记录区域(称为第1记录区域)不同的记录区域(称为第2记录区域),并设计用于进行向该第2记录区域的访问的控制电路,并且使向第2记录区域的访问只能通过控制电路进行访问。
例如,将记录于第2记录区域中的数据进行加密、记录,控制电路例如安装有对被加密的数据进行解密的电路。在进行向第2记录区域的数据访问的情况下,控制电路可以构成为对加密进行解密、并返回解密后的数据。或者,控制电路可以构成为保存记录于第2记录区域中的数据的存储位置的信息,如果有数据的访问请求,则确定对应的数据的存储位置,并返回从所确定的存储位置读取到的数据。
作为在再现装置上进行动作的应用,请求利用电子发布来向半导体存储卡记录的应用,在通过存储卡I/F向控制电路发出对记录在第2记录区域中的数据(例如半导体存储器固有的识别序号)的访问请求后,接收到请求的控制电路读出记录在第2记录区域中的数据,并返回给在再现装置上进行动作的应用。也可以构成为向发布服务器请求和该半导体存储卡的固有的识别序号一起进行的、必要的数据的发布请求,将由发布服务器发送的公钥信息和对应的发布数据记录在第1记录区域中。
并且,作为在再现装置上进行动作的应用,请求利用电子发布来向半导体存储卡记录的应用,在通过存储卡I/F向控制电路发出对记录在第2记录区域中的数据(例如半导体存储器固有的识别序号)的访问请求之前,优选事前检查应用有无被篡改。关于篡改的检查,例如可以采取利用了依据于已有的X.509标准的数字证书的检查等。
并且,向记录在半导体存储卡的第1记录区域中的发布数据的访问,不一定需要通过半导体存储卡具有的控制电路进行访问。
<程序的实施方式>
各个实施方式公开的应用程序可以按照下面所述生成。首先,软件开发人员使用编程语言记述用于实现各个流程图及功能性构成要素的源程序。在进行该记述时,软件开发人员按照编程语言的语法,使用类构造体及变量、排列变量、外部函数的调用,记述具体实现各个流程图及功能性构成要素的源程序。
所记述的源程序作为文件提供给编译器(compiler)。编译器翻译这些源程序并生成目标程序。
由编译器进行的翻译包括语法分析、优化、资源分配、代码生成这些过程。在语法分析中,进行源程序的词法分析、语法分析和意思分析,把源程序转换为中间程序。在优化时,对中间程序进行基本块化、控制流程分析、数据流程分析这些作业。在资源分配时,为了实现与作为目标的处理器的命令设定的适应性,把中间程序中的变量分配给作为目标的处理器具有的寄存器或存储器。在代码生成时,把中间程序中的各个中间命令转换为程序码,得到目标程序。
此处生成的目标程序由一个以上的程序码构成,这些程序码用于使计算机执行各个实施方式所示的流程图的各个步骤或功能性构成要素的各个步骤。其中,程序码有处理器的本机码、JAVA字节码等各种类型。在利用程序码实现各个步骤时有各种方式。在能够使用外部函数来实现各个步骤时,调用该外部函数的调用语句成为程序码。并且,像实现一个步骤那样的程序码有时也归属于各个不同的目标程序。在命令种受限制的RISC处理器中,也可以通过组合算术运算命令及逻辑运算命令、分支命令等,实现流程图的各个步骤。
在生成目标程序后,编程器(programmer)针对这些目标程序起动连接器(linker)。连接器把这些目标程序和相关联的库程序分配到存储器空间中,并将它们结合成为一个,生成装载模块。这样生成的装载模块是以计算机的读取为前提的,用于使计算机执行各个流程图所示的处理步骤或功能性构成要素的处理步骤。也可以把这种程序记录在计算机可读的记录介质中提供给用户。
<系统LSI的单体实施>
所说系统LSI指在高密度基板上安装裸片并封装得到的产品。通过在高密度基板上安装多个裸片并封装,使多个裸片具有像一个LSI那样的外形构造的产品,也包含于系统LSI中(这种系统LSI被称为多芯片模块。)。
在此如果考察封装的类型,系统LSI的种类包括QFP(方形扁平封装)、PGA(插针网格阵列)。QFP是将插针安装在封装体的四个侧面上的系统LSI。PGA是在整个底面上安装多个插针的系统LSI。
这些插针作为与其他电路的接口来发挥作用。系统LSI中的插针具有这种接口的作用,所以通过向系统LSI中的这些插针连接其他电路,系统LSI发挥作为再现装置200的核心的作用。
这种系统LSI当然能够装配在再现装置200上,还能够装配在TV或游戏机、电脑、一段(one segment)电话等处理影像再现的各种设备上,能够更广地扩展再现装置的用途。
如上述实施方式所述,在把缓冲器及视频解码器、音频解码器、图形解码器也构成为一体的系统LSI时,优选系统LSI的设计思想依据于Uniphier体系。
依据于Uniphier体系的系统LSI由下面的电路单元构成。
·数据并行处理器DPP
数据并行处理器DPP是多个单元处理器进行相同动作的SIMD型处理器,利用一个命令使内置于各个单元处理器中的运算器同时动作,由此实现针对构成图片的多个像素的解码处理的并行化。
·命令并行处理器IPP
命令并行处理器IPP具有:包括命令RAM、命令高速缓冲存储器、数据RAM、数据高速缓冲存储器的“Local Memory Controller”;包括命令提取部、解码器、执行单元、寄存器文件的“Processing Unit部”;使ProcessingUnit部并行执行多个应用的“Virtual Multi Processor Unit部”。
·MPU块
MPU块由ARM核、外部总线接口(Bus Control Unit:BCU)、DMA控制器、定时器、矢量中断控制器这些周边电路、和UART、GPIO(GeneralPurpose Input Output:一般用途输入输出)、同步串行接口等周边接口构成。
·流I/O块
流I/O块通过USB接口或ATA Packet接口,与连接在外部总线上的驱动器装置、硬盘驱动器装置、SD存储卡驱动器装置进行数据的输入输出。
·AV I/O块
AV I/O块由音频输入输出、视频输入输出、OSD控制器构成,与电视机、AV放大器进行数据的输入输出。
·存储器控制块
存储器控制块是实现通过外部总线连接的SD-RAM的读写的块,包括控制各个块之间的内部连接的内部总线连接部、与在系统LSI外部连接的SD-RAM进行数据传输的访问控制部、调整来自各个块的对SD-RAM的访问请求的访问计划部。
具体的生产步骤如下所述。首先,以各个实施方式所示的结构图为基本,生成应作为系统LSI的部分的电路图,使用电路元件及IC、LSI具体实现结构图中的构成要素。
并且,为了具体实现各个构成要素,规定将电路元件及IC、LSI之间进行连接的总线及其周边电路、与外部的接口等。另外,也规定连接线、电源线、接地线、时钟信号线等。在进行这种规定时,考虑LSI的规格来调整各个构成要素的动作定时,对各个构成要素实施保证必要的带宽等的调整,由此完成电路图。
在完成电路图后,进行安装设计。所说安装设计指基板布局的作成作业,即,将根据电路设计作成的电路图上的部件(电路元件及IC、LSI)配置在基板上的何处、或者确定在基板上如何布线电路图上的连接线。
在进行这种安装设计并确定基板上的布局后,把安装设计结果转换为CAM数据,输出给NC工作机械等设备。NC工作机械以该CAM数据为基础进行SoC安装及SiP安装。SoC(System on chip:芯片上系统)安装指在一个芯片上形成多个电路的技术。SiP(System in Package:封装中系统)安装指利用树脂等将多个芯片作成一个封装体的技术。经过以上过程,能够以各个实施方式所示的再现装置200的内部结构图为基础形成本发明涉及的系统LSI。
另外,按照以上所述生成的集成电路根据集成度的不同,有时也称为IC、LSI、超级(super)LSI、特级(ultra)LSI。
在使用FPAG来实现系统LSI的情况下,多个逻辑元件被配置成网格状,根据在LUT(Look UP Table:查找表)中记述的输入输出的组合,连接纵、横的布线,由此能够实现各个实施方式所示的硬件结构。LUT存储在SRAM中,这种SRAM的内容因电源断开而消失,所以在使用这种FPGA时,需要向SRAM写入利用配置信息的定义来实现各个实施方式所示的硬件结构的LUT。
在本实施方式中,利用中间件和对应于系统LSI的硬件、除系统LSI之外的硬件、针对中间件的接口的部分、中间件和系统LSI之间的接口的部分、中间件和除系统LSI之外的必要硬件之间的接口的部分、用户接口的部分来实现,在装配它们来构成再现装置时,通过使它们协作动作来提供特有的功能。
通过适当定义针对中间件的接口以及中间件与系统LSI的接口,能够分别独立地并行开发再现装置的用户接口部分、中间件部分、系统LSI部分,能够更高效地进行开发。另外,各个接口的部分的切断方法有各种切断方法。例如,在使视频解码器、图形解码器、音频解码器、加法器(合成部)形成为一个芯片时,关于控制它们的中间件以及与对应于它们的中间件之间的接口部分,可以在开发芯片的一侧进行开发,并在完成后将芯片装配到再现装置中,并且将所开发的中间件、接口部分编入到再现装置内的存储器等的存储部中,由此能够并行进行再现装置侧的开发和芯片侧的开发,开发效率提高。
如果使所开发的芯片和与所开发的芯片相关的中间件之间的接口部分共用,则能够提高通用性。
另外,关于利用系统LSI进行构成的部分,当然不是只能利用LSI构成,也可以使用与应包含于系统LSI中的功能对应的信号处理电路进行构成。
<记录方法>
说明记录介质的制作方法、即用于获得记录了预定的数据的记录介质的记录方法的使用形式。
上述各个实施方式涉及的记录方法不仅包括实时地生成AV Clip及除此之外的数据,并直接写入到记录介质的区域中的实时记录,而且包括事前生成应该记录在卷区域中的比特流的整体像,根据该比特流生成原盘用盘并冲压该原盘用盘,由此批量生产光盘的间接写入、即预先格式化记录。上述各个实施方式涉及的记录介质是利用基于实时记录的记录方法、和基于预先格式化记录的记录方法的任一种记录方法确定的。
该记录方法包括:进行动态图像、声音、字幕、菜单这些数据材料的输入的步骤;将所输入的数据材料数字化并进行压缩编码,并且进行基于MPEG的编码,由此得到PES流的步骤;将PES流复用并得到AV Clip的步骤;把Java(TM)程序、通过复用步骤得到的AV Clip作为输入,按照依据于BD-ROM的文件系统格式生成AV文件、非AV文件的步骤;将应记录在BD-ROM中的数据中的非AV文件写入到记录介质中的步骤;和将AV文件写入到记录介质中的步骤。
<卷区域中的范围的定位>
当预定的数据被存储在文件中并记录在记录介质中的情况下,在文件系统中按照“范围”(extent)的方式进行处理,这已经在前面说明。在记录介质中,该范围的地址是按照下面所述进行管理的。
范围形成于卷区域中的分区空间中物理上相连续的多个扇区中。分区空间由“记录了文件设置记述符的区域”、“记录了末端记述符的区域”、“ROOT目录区域”、“BDMV目录区域”、“JAR目录区域”、“BDJO目录区域”、“PLAYLIST目录区域”、“CLIPINF目录区域”、“STERAM目录区域”构成,是被文件系统访问的区域。下面说明这些区域。
“文件设置记述符”包括指示目录区域中记录了ROOT目录的文件表项的扇区的逻辑块序号(LBN)。“末端记述符”表示文件设置记述符的末端。
下面具体说明目录区域。上述的多个目录区域都具有相同的内部结构。即,“目录区域”由“文件表项”、“目录文件”和“有关下位文件的文件记录区域”构成。
“文件表项”包括“记述符标签”、“ICB标签”和“分配记述符”。
“记述符标签”是表示自己是文件表项的标签。
“ICB标签”表示有关文件表项自身的属性信息。
“分配记述符”包括表示目录文件的记录位置的逻辑块序号(LBN)。以上是有关文件表项的说明。下面具体说明目录文件。
“目录文件”包括“有关下位目录的文件识别记述符”和“下位文件的文件识别记述符”。
“下位目录的文件识别记述符”是用于访问位于自己属下的下位目录的参照信息,由表示该下位目录的识别信息、该下位目录的目录名的长度、表示下位目录的文件表项被记录为哪个逻辑块序号的文件表项地址、和该下位目录的目录名构成。
“下位文件的文件识别记述符”是用于访问位于自己属下的下位文件的参照信息,由表示该下位文件的识别信息、该下位文件名的长度、表示有关下位文件的文件表项被记录为哪个逻辑块序号的文件表项地址、和下位文件的文件名构成。
在这些目录的目录文件的文件识别记述符中,表示了下位目录和下位文件的文件表项被记录在哪个逻辑块中,所以如果追溯该文件识别记述符,就能够从ROOT目录的文件表项到达BDMV目录的文件表项,并且能够从BDMV目录的文件表项到达PLAYLIST目录的文件表项。同样,也能够到达JAR目录、BDJO目录、CLIPINF目录、STERAM目录的文件表项。
“下位文件的文件记录区域”是记录了位于某个目录的属下的下位文件的实体的区域,记录了有关该下位文件的“文件表项”和一个以上的“范围”。
“文件表项”包括“记述符标签”、“ICB标签”和“分配记述符”。
“记述符标签”是表示自己是文件表项的标签。标签包括文件表项记述符、空白比特(space bit)映射记述符等类型,对于文件表项,记述有表示文件表项的“261”作为记述符标签。
“ICB标签”表示有关文件表项自身的属性信息。
“分配记述符”包括表示构成位于某个目录的属下的下位文件的范围的记录位置的逻辑块序号(LBN)。分配记述符包括表示范围长度的数据、和表示范围的记录位置的逻辑块序号。其中,在表示范围长度的数据的上位2比特被设定为“0”时,表示是已分配而且已记录的范围,在被设定为“1”时,表示是已分配但未记录的范围。通过设定为“0”,表示是分配识别符的后面的范围。在位于某个目录的属下的下位文件被分配到多个范围中的情况下,文件表项按每个范围具有多个分配记述符。
通过参照如上所述的文件表项的分配识别符,能够得知构成播放列表信息文件、Clip信息文件、AV Clip文件、BD-J对象文件、JAR归档文件的范围的地址。
存储了作为本发明的主要目标的流、数据、标志的文件,指存在于该文件归属的目录的目录区域内的文件记录区域,能够通过追溯目录文件中的文件识别记述符和文件表项中的分配识别符来进行访问。
<文件打开>
说明将记录介质上的文件读入到装置中的处理。
如上所述的AV流、Index.bdmv、JAR文件、BD-J对象,被按照文件构造、目录构造记录在BD-ROM中,所以再现装置能够通过进行文件打开(file open)用的系统调用,将它们读出到存储器中。
文件打开指利用在系统调用时被赋予的文件名检索目录,如果存在文件则确保FCB(File Control Block:文件控制块),并返回文件句柄(file handle)的序号的处理。FCB通过将目的文件的目录表项的内容复制到存储器中而生成。
<在实时记录中的适用>
把利用创作系统中的预记录技术将AV Clip、播放列表信息记录在BD-ROM中并提供给用户作为前提,但也可以通过实时记录,记录在BD-RE或BD-R、硬盘、半导体存储卡中,并提供给用户。
在这种情况下,AV Clip可以是通过由记录装置对模拟输入信号进行实时编码得到的传输流,也可以是通过由记录装置将数字输入的传输流部分化而得到的传输流。
执行实时记录的记录装置具有:视频编码器,对视频信号进行编码并得到视频流;音频编码器,对音频信号进行编码并得到音频流;复用器,复用视频流、音频流等,得到MPEG2-TS形式的数字流;和源包打包器,把构成MPEG2-TS形式的数字流的TS包转换为源包,把被转换为源包形式的MPEG2数字流存储在AV Clip文件中,并写入到BD-RE、BD-R等中。
记录装置的控制部与数字流的写入一起地,进行在存储器中生成素材信息及播放列表信息的处理。具体地讲,在用户请求了录制处理时,控制部在BD-RE、BD-R上生成AV Clip文件和素材信息文件。
并且,如果从由装置外部输入的传输流中检测出视频流中的GOP的开头位置、或者通过编码器生成了视频流的GOP,则记录装置的控制部获取在该GOP中位于开头的内图片(intra-picture)的PTS、和存储了该GOP的开头部分的源包的包序号,把该PTS与包序号的组作为EP_PTS表项与EP_SPN表项的组,并追加记述在素材信息文件的表项映射中。以后每当生成GOP时,就把EP_PTS表项与EP_SPN表项的组追加记述在素材信息文件的表项映射中。此时,在GOP的开头是IDR图片的情况下,把被设定为“ON”的is_angle_change标志追加记述在EP_PTS表项与EP_SPN表项的组中。在GOP的开头不是IDR图片的情况下,把被设定为“OFF”的is_angle_change标志追加记述在EP_PTS表项与EP_SPN表项的组中。
并且,关于素材信息文件中的流的属性信息,按照应该记录的流的属性进行设定。如上所述,如果生成了AV Clip、素材信息并写入到BD-RE、BD-R中,则通过该素材信息内的表项映射,生成定义再现路径的播放列表信息,并写入到BD-RE、BD-R中。通过利用实时记录技术执行这种处理,能够在BD-RE、BD-R上获得AV Clip-素材信息-播放列表信息这样的分层构造。
<作为实现受控复制的记录装置的实施>
在各个实施方式中说明的再现装置,也可以具有根据受控复制(managed copy)来写入数字流的功能。
所说受控复制是这样一种技术,在将记录在BD-ROM等只读的记录介质中的数字流及播放列表信息、素材信息、应用程序,复制到其他光盘(BD-R、BD-RE、DVD-R、DVD-RW、DVD-RAM等)及硬盘、可移动介质(SD存储卡、存储棒、compact flash(注册商标)、SmartMedia、多媒体卡等)等能够读写的记录介质中时,与服务器进行通信,只有在进行认证并被许可的状态下才能够执行复制。根据这种技术,能够进行限制备份次数、只在交费状态下允许备份等控制。
在实现从BD-ROM向BD-R、BD-RE的复制的情况下,如果复制源和复制目的地记录容量相同,则在受控复制中,只需进行从最内周到最外周依次复制作为复制源的BD-ROM中的比特流的动作即可。
受控复制用于假设不同类型介质间的复制,需要进行代码转换(transcoding)。其中,所说“代码转换”指下述处理,把记录在BD-ROM中的数字流的形式从MPEG2传输流形式转换为MPEG2程序流形式等,降低对视频流和音频流分配的比特速率后再进行编码,由此使数字流适合于复制目的地介质的应用格式。在采取这种代码转换时,需要通过进行上述的实时编码技术的处理,获得AV Clip、Clip信息、播放列表信息。
<在on demand manufacture服务或电子sell-through服务(MODEST)中使用的记录装置>
在再现装置200具有接受on demand manufacture服务或电子sell-through服务(MODEST)的提供的功能的情况下,按照下面所述进行BD-J对象的写入。即,在再现装置200通过on demand manufacture服务或电子sell-through服务(MODEST)接受BD-J对象的提供时,在可移动介质中的根目录的属下生成缺省的目录和MODEST目录,在MODEST目录的属下生成BDMV目录。MODEST目录是第一个MODEST目录,第一个MODEST目录是在首次接受所述服务时生成的MODEST目录。在用户从第二次开始接受服务时,再现装置200的控制部生成对应从第二次开始的服务的MODEST目录。
并且,如上所述,在获取到记述有GUI管理表的BD-J对象时,控制部向缺省目录写入起动程序,向MODEST目录属下的BDMV目录写入BD-J对象。该起动程序是在记录介质被装填到再现装置200上时被最先执行的程序,用于使再现装置200显示从用户接受选择BDMV目录的操作的菜单,并使再现装置200执行根变更功能。该根变更功能是在用户进行了针对菜单的选择操作时,把被选择的BDMV目录所属的MODEST目录识别为根目录的功能。根据这种根变更功能,能够根据通过与再现BD-ROM时相同的控制步骤获取的BD-J对象来执行再现控制。
<数据构造的记述方式>
各个实施方式所示的数据构造中、存在多个某种确定类型的信息的反复构造,能够通过对for语句设定控制变量的初始值和反复条件来定义。
并且,在预定的条件成立时,用于定义某种确定信息的任意的数据构造,能够使用if语句,在if语句中记述其应该成立的条件、和在条件成立时应该设定的变量。这样,各个实施方式所示的数据构造能够利用高级编程语言的语法来记述,所以各个实施方式所示的数据构造经过语法分析、优化、资源分配、代码生成这些基于编译器的翻译过程,与上述程序相同,以被转换为计算机能够读取的计算机代码的状态被记录在记录介质中。这样,利用高级编程语言记述的数据构造,在面向对象的语言中,作为除类构造体的方法之外的部分、即类构造体中的排列型的成员变量进行处理,并形成程序的一部分。即,各个实施方式的数据构造被转换为计算机代码后记录在记录介质中,并成为程序的成员变量,所以实质上与程序相同,并作为计算机关联发明受到保护。
<程序中的播放列表信息、素材信息的定位>
根据播放列表信息执行AV再现的执行形式的程序,在被从记录介质装载到存储器上,并提供给计算机进行执行时,在存储器中由text部分、data部分、bss部分、stack部分这多个部分构成。
text部分由程序代码串、初始值、和不会被改写的数据构成。
data部分具有初始值,并配置有在执行过程中有可能被改写的数据。在记录介质中,像存储在文件中的随时被访问的那种数据,被存储在该data部分中。
bss部分配置有不具有初始值的数据。text部分按照地址指定来访问bss部分的数据,所以在编译、连接时必须在所确定的RAM中确保bss部分用的区域。
stack部分是根据需要临时提供给程序的区域,在实现各个流程图的处理时,被临时使用的那种局部变量被存储在该部分中。
bss部分在程序的初始化时被设定初始值,stack部分在程序的初始化时确保必要区域。
播放列表信息和素材信息按照上面所述被转换为计算机代码,并记录在记录介质中,所以在执行程序时,作为上述的text部分中的“不会被改写的数据”、或者上述的data部分中的“被存储在文件中并随时被访问的数据”进行管理。各个实施方式所示的播放列表信息、素材信息,在执行程序时应该成为程序的构成要素,播放列表信息、素材信息不属于单纯的数据的提示。
也可以分别组合上述实施方式和上述补充部分。
产业上的可利用性
本发明能够适用于记录3D影像内容的记录介质,尤其在利用左视角和右视角的PG流来实现3D角色的立体观察时比较有效。

Claims (12)

1.一种记录介质,记录有视频流、左视角图形流和右视角图形流,其特征在于,
所述左视角图形流和所述右视角图形流都包含一个以上的显示集,
各个所述显示集是在一个画面的图形对象的显示中所使用的数据组,
所述左视角图形流中包含的一个以上的显示集,与所述右视角图形流中包含的一个以上的显示集一对一地相对应,在相对应的显示集中,在所述视频流的再现时间轴上设定相同的再现时间,
各个所述显示集包含状态信息,该状态信息表示所述显示集包含一个画面的图形对象的显示所需要的全部数据、还是所述显示集为与前一个显示集之间的差分,
所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的状态信息表示相同的内容。
2.根据权利要求1所述的记录介质,其特征在于,
各个所述显示集包含多个功能区段,在多个功能区段中具有画面结构区段和对象定义区段,
所述图形对象利用所述对象定义区段进行定义,
所述画面结构区段是用于规定使用了所述图形对象的画面结构的功能区段,
所述状态信息包含于所述画面结构区段中。
3.根据权利要求2所述的记录介质,其特征在于,
所述画面结构区段包含画面结构序号,
所述画面结构序号表示所述画面结构区段所属的显示集是第几个显示集,
在所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的画面结构区段中,画面结构序号被设定为共同的序号。
4.根据权利要求2所述的记录介质,其特征在于,
所述画面结构区段包含强制显示标志,
所述强制显示标志是用于规定是否强制使再现装置显示基于所述画面结构区段所属的显示集的图形对象的标志,
在所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的画面结构区段中,强制显示标志表示相同的内容。
5.根据权利要求2所述的记录介质,其特征在于,
所述左视角图形流和所述右视角图形流是打包基本流(PES),
所述画面结构区段存储在PES包中,
所述再现时间被附加在存储了所述画面结构区段的PES包中,表示何时执行基于所述画面结构区段所属的显示集的图形对象的显示。
6.根据权利要求2所述的记录介质,其特征在于,
所述对象定义区段使用代码值及该代码值的游程长度来定义图形对象,
所述左视角图形流和所述右视角图形流都包含调色板定义区段,
所述调色板定义区段包含表示各个代码值与亮度及色差之间的对应关系的调色板数据,
在所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的调色板定义区段中,表示各个代码值与亮度及色差之间的对应关系的调色板数据被设定为相同的内容。
7.根据权利要求2所述的记录介质,其特征在于,
所述画面结构区段是交互控制区段,
所述交互控制区段包含一个以上的页面信息,
所述一个以上的页面信息是用于规定多页面菜单的画面结构的信息,各个页面信息包含一个以上的按钮信息,各个按钮信息是通过将图形对象显示为按钮部件的一种状态从而在构成多页面菜单的各个页面上实现交互式画面结构的信息,
所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的页面的数量相同,而且相对应的页面中所包含的按钮的数量相同。
8.根据权利要求7所述的记录介质,其特征在于,
在所述相对应的页面中所包含的按钮中,相对应的按钮的参照对象ID相同。
9.根据权利要求7所述的记录介质,其特征在于,
所述画面结构区段包含选择超时时戳、用户超时期间和合成超时信息,
所述选择超时时戳表示用于将当前页面中的按钮部件自动激活,并使再现装置执行按钮部件包含的命令的超时时间,
所述用户超时期间表示用于使当前页面返回到第一个页面,并成为只显示第一个页面的状态的超时时间,
所述合成超时信息表示使基于画面结构区段的交互式画面显示结束的时间,
在所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的画面结构区段中,选择超时时戳、用户超时期间和合成超时信息表示相同的内容。
10.根据权利要求2所述的记录介质,其特征在于,
所述画面结构区段包含按钮接近信息,
所述按钮接近信息是用于指定在某个按钮为被选择状态、并且进行了指示上下左右方向的任一方向的键操作的情况下,应该将哪个按钮设为被选择状态的信息,
在所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的画面结构区段中,按钮接近信息表示相同的内容。
11.一种再现装置,其特征在于,具有:
读出单元,从记录介质中读出视频流和图形流;
视频解码器,对所读出的视频流进行解码;和
图形解码器,对所读出的图形流进行解码,
在所述记录介质中记录有视频流、左视角图形流和右视角图形流,
所述左视角图形流和所述右视角图形流都包含一个以上的显示集,
各个所述显示集是在一个画面的图形对象的显示中所使用的数据组,
所述左视角图形流中包含的一个以上的显示集,与所述右视角图形流中包含的一个以上的显示集一对一地相对应,在相对应的显示集中,在所述视频流的再现时间轴上设定相同的再现时间,
各个所述显示集包含状态信息,该状态信息表示所述显示集包含一个画面的图形对象的显示所需要的全部数据、还是所述显示集为与前一个显示集之间的差分,
所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的状态信息表示相同的内容,
在图形解码器中具有左视角图形解码器和右视角图形解码器,
所述左视角图形解码器和所述右视角图形解码器分别具有:
处理器,对所述数据组中定义图形对象的数据进行解码,并获得图形对象;
对象缓冲器,存储通过解码而得到的图形对象;和
合成缓冲器,存储所述数据组中用于规定使用了图形对象的画面结构的数据,
所述左视角图形解码器和所述右视角图形解码器具有图形控制器,作为共同的构成要素,
所述图形控制器在到达所述再现时间时,解读存储在所述左视角图形解码器内的合成缓冲器中的用于规定画面结构的所述数据、和存储在所述右视角图形解码器内的合成缓冲器中的用于规定画面结构的所述数据,根据解读后的这些数据,使用所述左视角图形解码器内的对象缓冲器的图形对象构成左视角用的画面结构,并且使用所述右视角图形解码器内的对象缓冲器的图形对象构成右视角用的画面结构。
12.一种系统LSI,安装在再现装置中,其特征在于,具有:
读出单元,从记录介质中读出视频流和图形流;
视频解码器,对所读出的视频流进行解码;和
图形解码器,对所读出的图形流进行解码,
在所述记录介质中记录有视频流、左视角图形流和右视角图形流,
所述左视角图形流和所述右视角图形流都包含一个以上的显示集,
各个所述显示集是在一个画面的图形对象的显示中所使用的数据组,
所述左视角图形流中包含的一个以上的显示集,与所述右视角图形流中包含的一个以上的显示集一对一地相对应,在相对应的显示集中,在所述视频流的再现时间轴上设定相同的再现时间,
各个所述显示集包含状态信息,该状态信息表示所述显示集包含一个画面的图形对象的显示所需要的全部数据、还是所述显示集为与前一个显示集之间的差分,
所述左视角图形流和所述右视角图形流中的相对应的显示集中所包含的状态信息表示相同的内容,
在图形解码器中具有左视角图形解码器和右视角图形解码器,
所述左视角图形解码器和所述右视角图形解码器分别具有:
处理器,对所述数据组中定义图形对象的数据进行解码,并获得图形对象;
对象缓冲器,存储通过解码而得到的图形对象;和
合成缓冲器,存储所述数据组中用于规定使用了图形对象的画面结构的数据,
所述左视角图形解码器和所述右视角图形解码器具有图形控制器,作为共同的构成要素,
所述图形控制器在到达所述再现时间时,解读存储在所述左视角图形解码器内的合成缓冲器中的用于规定画面结构的所述数据、和存储在所述右视角图形解码器内的合成缓冲器中的用于规定画面结构的所述数据,根据解读后的这些数据,使用所述左视角图形解码器内的对象缓冲器的图形对象构成左视角用的画面结构,并且使用所述右视角图形解码器内的对象缓冲器的图形对象构成右视角用的画面结构。
CN2009801005809A 2008-09-30 2009-09-29 记录有3d影像的记录介质、再现3d影像的再现装置及系统lsi Active CN101828229B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10132908P 2008-09-30 2008-09-30
US61/101,329 2008-09-30
PCT/JP2009/004956 WO2010038412A1 (ja) 2008-09-30 2009-09-29 3d映像が記録された記録媒体、3d映像を再生する再生装置、およびシステムlsi

Publications (2)

Publication Number Publication Date
CN101828229A true CN101828229A (zh) 2010-09-08
CN101828229B CN101828229B (zh) 2012-10-24

Family

ID=42073194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801005809A Active CN101828229B (zh) 2008-09-30 2009-09-29 记录有3d影像的记录介质、再现3d影像的再现装置及系统lsi

Country Status (10)

Country Link
US (5) US8050533B2 (zh)
EP (1) EP2352153A4 (zh)
JP (2) JP4469419B1 (zh)
KR (1) KR20110063615A (zh)
CN (1) CN101828229B (zh)
BR (1) BRPI0904965A2 (zh)
MX (1) MX2010003231A (zh)
RU (1) RU2496157C2 (zh)
TW (1) TW201027978A (zh)
WO (1) WO2010038412A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262545A (zh) * 2010-12-17 2013-08-21 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法、立体动态图像生成程序
CN104053008A (zh) * 2013-03-15 2014-09-17 乐金电子(中国)研究开发中心有限公司 基于合成图像预测的视频编解码方法及视频编解码器
CN114513617A (zh) * 2014-09-10 2022-05-17 松下电器(美国)知识产权公司 再现装置以及再现方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2496157C2 (ru) * 2008-09-30 2013-10-20 Панасоник Корпорэйшн Носитель записи, на котором записано 3d видео, устройство воспроизведения для воспроизведения 3d видео и большая интегральная схема системы
CN102227913B (zh) * 2008-12-01 2013-12-25 夏普株式会社 内容再生装置
US20110249757A1 (en) 2008-12-19 2011-10-13 Koninklijke Philips Electronics N.V. Method and device for overlaying 3d graphics over 3d video
US20100177167A1 (en) * 2009-01-12 2010-07-15 Hu Chao Portable integrative stereoscopic video multimedia device
KR101626486B1 (ko) * 2009-01-28 2016-06-01 엘지전자 주식회사 방송 수신기 및 비디오 데이터 처리 방법
JP4915457B2 (ja) 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4985807B2 (ja) * 2009-04-15 2012-07-25 ソニー株式会社 再生装置および再生方法
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
RU2011110045A (ru) * 2009-06-11 2013-07-20 Панасоник Корпорэйшн Устройство воспроизведения, интегральная схема, носитель записи
WO2010143439A1 (ja) 2009-06-12 2010-12-16 パナソニック株式会社 再生装置、集積回路、記録媒体
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US9185335B2 (en) * 2009-12-28 2015-11-10 Thomson Licensing Method and device for reception of video contents and services broadcast with prior transmission of data
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント 3次元画像表示装置、および3次元画像表示方法
JP5682149B2 (ja) * 2010-06-10 2015-03-11 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5637750B2 (ja) 2010-06-30 2014-12-10 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
JP5537290B2 (ja) * 2010-06-30 2014-07-02 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
CN103098462A (zh) * 2010-08-06 2013-05-08 松下电器产业株式会社 编码方法、显示装置以及解码方法
JP5595946B2 (ja) * 2011-02-04 2014-09-24 日立コンシューマエレクトロニクス株式会社 デジタルコンテンツ受信装置、デジタルコンテンツ受信方法、およびデジタルコンテンツ送受信方法
JPWO2012123982A1 (ja) * 2011-03-11 2014-07-17 日立コンシューマエレクトロニクス株式会社 記録装置/方法/媒体、再生装置/方法
JP5778478B2 (ja) * 2011-05-23 2015-09-16 ルネサスエレクトロニクス株式会社 データ処理システム
JP6101267B2 (ja) 2011-08-18 2017-03-22 アザーヴァース デジタル インコーポレーテッドUtherverse Digital, Inc. 仮想世界の相互作用のシステムおよび方法
KR20140031758A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 포인팅 디바이스를 이용하여 aⅴ 데이터의 메뉴를 제어하기 위한 인터랙티브 그래픽 데이터를 기록한 정보저장매체, 그 재생방법 및 장치
CN107168892A (zh) * 2017-03-29 2017-09-15 联想(北京)有限公司 一种数据的写入方法及装置
CN110248243B (zh) * 2019-07-25 2022-02-18 维沃移动通信有限公司 一种多媒体文件的显示方法、终端及介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6484266B2 (en) 1995-09-29 2002-11-19 Matsushita Electric Industrial Co., Ltd. Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
EP2101496B1 (en) 1996-02-28 2013-01-23 Panasonic Corporation High-resolution optical disk for recording stereoscopic video, optical disk reproducing device and optical disk recording device
EP2175659B1 (en) 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
EP1011268B1 (en) 1997-08-29 2010-03-03 Panasonic Corporation Optical disk having hierarchically encoded digital video recorded thereon, reproducing and recording apparatuses therefor
US6429867B1 (en) * 1999-03-15 2002-08-06 Sun Microsystems, Inc. System and method for generating and playback of three-dimensional movies
US7180663B2 (en) * 2002-06-19 2007-02-20 Robert Bruce Collender 3D motion picture theatre
AU2002952873A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
JP3878649B2 (ja) * 2003-02-28 2007-02-07 松下電器産業株式会社 記録媒体、再生装置、記録方法、プログラム、再生方法。
US20040212612A1 (en) * 2003-04-28 2004-10-28 Michael Epstein Method and apparatus for converting two-dimensional images into three-dimensional images
EP2068563B1 (en) 2003-06-30 2010-11-10 Panasonic Corporation Recording medium, reproduction device, recording method, program, and reproduction method
CN101661767B (zh) 2003-11-12 2011-07-27 松下电器产业株式会社 记录介质、再现装置和方法、记录方法以及计算机可读取程序
WO2005079078A1 (ja) * 2004-02-17 2005-08-25 Seijiro Tomita 立体映像記録・再生方法並びにこれを表示する立体映像表示装置
EP1727091A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital coding 3d stereoscopic video images
JP4546465B2 (ja) * 2004-06-03 2010-09-15 パナソニック株式会社 再生装置、プログラム
RU2315439C1 (ru) * 2006-07-03 2008-01-20 Борис Иванович Волков Система объемной видеозаписи и воспроизведения
US8711203B2 (en) * 2006-10-11 2014-04-29 Koninklijke Philips N.V. Creating three dimensional graphics data
RU2496157C2 (ru) * 2008-09-30 2013-10-20 Панасоник Корпорэйшн Носитель записи, на котором записано 3d видео, устройство воспроизведения для воспроизведения 3d видео и большая интегральная схема системы
JP4588120B2 (ja) * 2009-02-19 2010-11-24 パナソニック株式会社 再生装置、記録方法、記録媒体再生システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262545A (zh) * 2010-12-17 2013-08-21 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法、立体动态图像生成程序
CN103262545B (zh) * 2010-12-17 2015-10-14 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法
CN104053008A (zh) * 2013-03-15 2014-09-17 乐金电子(中国)研究开发中心有限公司 基于合成图像预测的视频编解码方法及视频编解码器
CN104053008B (zh) * 2013-03-15 2018-10-30 乐金电子(中国)研究开发中心有限公司 基于合成图像预测的视频编解码方法及视频编解码器
CN114513617A (zh) * 2014-09-10 2022-05-17 松下电器(美国)知识产权公司 再现装置以及再现方法
CN114513617B (zh) * 2014-09-10 2024-04-09 松下电器(美国)知识产权公司 再现装置以及再现方法

Also Published As

Publication number Publication date
RU2010111906A (ru) 2011-10-10
US20120014665A1 (en) 2012-01-19
EP2352153A1 (en) 2011-08-03
EP2352153A4 (en) 2017-04-26
US7991264B2 (en) 2011-08-02
JP4469419B1 (ja) 2010-05-26
KR20110063615A (ko) 2011-06-13
BRPI0904965A2 (pt) 2015-06-30
JPWO2010038412A1 (ja) 2012-03-01
JP2010171991A (ja) 2010-08-05
MX2010003231A (es) 2010-08-02
RU2496157C2 (ru) 2013-10-20
US7991263B2 (en) 2011-08-02
US20100254681A1 (en) 2010-10-07
US8600212B2 (en) 2013-12-03
WO2010038412A1 (ja) 2010-04-08
US20100260481A1 (en) 2010-10-14
JP5291026B2 (ja) 2013-09-18
US7991262B2 (en) 2011-08-02
CN101828229B (zh) 2012-10-24
US20100092148A1 (en) 2010-04-15
US8050533B2 (en) 2011-11-01
US20100254680A1 (en) 2010-10-07
TW201027978A (en) 2010-07-16

Similar Documents

Publication Publication Date Title
CN101828229B (zh) 记录有3d影像的记录介质、再现3d影像的再现装置及系统lsi
CN102172033B (zh) 再生装置、记录方法、记录介质再生系统
CN102100076B (zh) 能够进行立体视觉再生的再生装置、再生方法
CN102685435B (zh) 再现装置、记录方法
CN102017641B (zh) 再生装置、记录方法、记录介质再生系统
CN102067591B (zh) 再现装置、记录装置、再现方法及记录方法
CN102355590B (zh) 3d 影像的记录介质、再现装置、系统lsi、再现方法、眼镜、显示装置
CN102138335B (zh) 再现装置、记录方法及记录介质再现系统
CN101803396B (zh) 记录方法、再现装置和集成电路
CN102232295A (zh) 再现装置、记录介质及集成电路
CN102150434A (zh) 立体视觉再现影像内容的再现装置、再现方法及再现程序
CN102160389A (zh) 再现装置、集成电路、记录介质
CN102057682A (zh) 记录介质、再现装置、集成电路、再现方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20100908

Assignee: Shenzhen Maxmade Technology Co.,Ltd.

Assignor: Blue light United Co., Ltd.

Contract record no.: X2019990000006

Denomination of invention: Recording medium on which 3D images have been recorded, playback apparatus for reproducing 3D images, and system LSI

Granted publication date: 20121024

License type: Common License

Record date: 20190923