CN102598686B - 再现装置、集成电路、再现方法 - Google Patents

Abstract

提供一种再现装置，能实现制造商独自制作的内置于设备中的设备内置用GUI与由内容提供商制作的立体视觉图像的共存。字幕解码器解码字幕流，以规定的布局执行字幕显示。GUI处理部执行设备内置的GUI的描绘。字幕布局中有在上端及下端双方确保字幕显示用区域的通常布局、仅在上端侧确保字幕显示区域的上端配置布局、仅在下端侧确保字幕显示区域的下端配置布局，若选择上端配置布局或下端配置布局作为字幕的布局，则GUI处理部选择相同布局作为设备内置的GUI的布局。

Description

再现装置、集成电路、再现方法

技术领域

本发明属于立体视觉再现技术的技术领域。

背景技术

所谓立体视觉再现技术是指通过导入左眼与右眼看不同图像的方式、利用该两眼间的视差、模拟制作立体影像的技术。

目前虽然立体视觉再现技术的应用以剧场等的应用为主流，但由家庭设置用显示器或再现装置享受立体视觉再现的利用方式也期待今后得以迅速普及。

用于让用户视听立体视觉图像的显示器(立体视觉显示器)中有各种方式。例如，经常使用的方式之一中有利用快门(shutter)眼镜的方式。在该方式中，利用眼镜交互地高速遮挡视听者的左眼与右眼的视野，与该眼镜的动作同步地，显示器的显示图像也高速更新为左眼用、右眼用。由此，作为结果，显示器显示的左眼用图像仅通过快门眼镜由左眼看到，相反，右眼用图像仅右眼看到。

现有技术文献

专利文献

专利文献1：国际公开WO2010/032399号公报

专利文献2：日本申请公开2010-245761号公报

发明概要

发明要解决的问题

立体视觉再现中，不仅内容提供商制作的动态图像、字幕、菜单，制造商独自制作的内置设备用的设备内置(built-in)的GUI也构成显示对象。这种设备内置GUI对应于用户操作显示，但若将这种设备内置GUI配置在画面上的任意场所，则从画面中立体出现的立体物与设备内置GUI交叉，会显示设备内置GUI在立体物中穿透的奇怪的立体视觉影像。为了避免这 种穿透到立体物中的情况，也可以考虑利用上述专利文献1中记载的文献公知发明。在本发明中，通过将立体视觉图像变换为平面视觉图像后，供与作为设备内置GUI的OSD(On Screen Display：屏幕显示)的合成，所以能避免上述穿透到立体视觉影像中的情况。

但是，设备内置GUI中存在操作反馈。这是指仅在5秒左右短的期间将用户执行何操作及是否禁止用户执行了的操作视觉地反馈给用户。若如此对显示期间短的设备内置GUI适用上述专利文献中记载的现有技术，则发生多次从立体视觉图像切换到平面视觉图像，导致用户“3D眩晕”。

另外，因为再现装置是再现Blu-Ray(蓝光)盘的播放器，所以如专利文献2所述，还考虑将表示BD中记录的3D图像进深方向最近前侧位置的值、进而表示最深处侧位置的值设定在PSR(Player Setting Register：播放器设定寄存器)，在该近前侧或深处侧的位置上配置OSD。但是，在适用该专利文献2的技术的情况下，虽然避免OSD穿透到以动态图像表现的立体物中，但在立体物的进深中最近前侧位置或最深处侧配置OSD。在选择最近前侧位置作为OSD的进深方向位置的情况下，若立体视觉再现时画面中的OSD的平面位置与画面中的立体物的平面位置重合，则变为OSD贴附在立体像上的方式，所以无法区别该OSD是电影作品中的物体还是为了用户反馈而显示的OSD。相反，在选择最深处侧位置作为OSD进深方向的位置的情况下，若立体视觉再现时画面中的OSD的平面位置与画面中的立体物的平面位置重合，则变为OSD隐藏于立体像的方式，所以因该OSD的场所不同，OSD隐藏于立体物中，变为无法视觉识别OSD是何内容的事态。

立体视觉再现时，因为不保障画面中的OSD的位置与画面中的立体物的位置重合时的易见性，所以在专利文献2的技术适用中，无法期待实现上述课题的根本解决。另外，在立体像与OSD的进深存在差异的情况下，因为眼的焦点难以聚焦，所以容易产生眼睛疲劳。

发明内容

本发明的目的在于，提供一种再现装置，能实现制造商独自制作的内置于设备中的设备内置用GUI与由内容提供商制作的立体视觉图像的共存。

用于解决问题的手段

为了解决上述课题，涉及本发明的再现装置，其特征在于，具备：

视频解码器，解码立体视觉视频流，进行立体视觉再现；

字幕解码器，解码字幕流，以规定的布局执行字幕显示；

描绘部件，执行设备内置的GUI的描绘；和

合成部件，将基于视频解码器的立体视觉再现、字幕显示与所描绘的设备内置的GUI合成，

在所述字幕布局中，有通常布局、仅在画面上端侧确保字幕显示区域的上端配置布局、仅在画面下端侧确保字幕显示区域的下端配置布局，

所述描绘部件包含布局选择部，若选择上端配置布局或下端配置布局作为字幕的布局，则该布局选择部选择相同布局作为设备内置的GUI的布局。

发明效果

在字幕的布局变化为上端配置布局、下端配置布局的情况下，因为选择与字幕的布局相同的布局作为设备内置的GUI的布局，所以将设备内置GUI与字幕配置在相同显示区域中。因为这种字幕的布局或配置位置不与动态图像重复，易见地在创作(authoring)时决定，所以若将与字幕相同的布局适用于设备内置GUI，则保障GUI不重复于立体视觉图像中。在字幕的布局变化为上端配置布局、下端配置布局的情况下，选择与字幕的布局相同的布局作为设备内置GUI的布局，所以将设备内置GUI与字幕配置在相同显示区域中，不会仅将设备内置GUI配置在与动态图像重复的位置上。并且，通过为了设备内置GUI而选择与字幕的布局相同的布局，不必将动态图像切换为平面视觉，所以不导致3D眩晕。从而，制造商可容易地进行GUI显示的品质管理。因为能执行GUI显示的品质管理，所以能以立体视觉模式显示对制造商合适的GUI，能实现再现装置的便利性或功能提高、与其他公司制品的差别化。

虽然是任意的，但实现上述课题解决的再现装置也可以是下面的方式1)、2)、3)…。

方式1)也可以是，所述再现装置具备右眼用视频平面、左眼用视频平面、移位部，

所述视频解码器通过解码立体视觉视频流，得到左眼用图片数据及右眼用图片数据的组，将其分别写入右眼用视频平面及左眼用视频平面，

所述移位部在上端配置布局中，将存储在视频平面中的图片数据向下移位，在下端配置布局中，将存储在视频平面中的图片数据向上移位。

因为只要使存储在视频平面中的像素位置上下方向移动即能实现视频平面的上下方向移位，所以可利用这种上下方向移位，任意变更视频平面的布局。这种像素位置的移动只要变更存储在视频平面中的像素数据的地址即可，硬件处理的追加是最小限度即可。从而，能以低廉的开发成本来实现视频平面的布局变更。

方式2)也可以是，所述再现装置具备平面存储器，该平面存储器存储构成字幕的像素数据及构成设备内置的GUI的像素数据，

在所述字幕解码器及所述描绘部件的显示模式中，有1平面偏移模式与平面视觉模式，

所述1平面偏移模式是通过向平面存储器中的像素数据坐标提供水平方向的偏移来实现立体视觉再现的再现模式，

所述描绘部件具备GUI深度调整部，当以1平面偏移模式显示设备内置的GUI时，该GUI深度调整部调整设备内置的GUI的深度，

所述GUI深度调整部采用以1平面偏移模式显示字幕时的水平方向的偏移，作为以1平面偏移模式显示设备内置的GUI时的水平方向的偏移。

因为以1平面偏移模式显示时的水平方向的偏移能作为立体视觉再现用的信息要素，从视频解码器实时取得，所以若将从视频解码器取得的偏移用于GUI的进深调整，则能调整GUI的深度以变为与字幕相同程度的进深。另外，即便伴随动态图像的时间轴行进，字幕侧的进深时时刻刻地变动，也能使GUI的深度追踪于字幕侧的进深。由此，能执行作为电影作品整体取得统一的立体视觉控制。

方式3)也可以是，所述GUI深度调整部采用以1平面偏移模式显示字幕时的移位方向，作为以1平面偏移模式显示设备内置的GUI时的移位方向。

因为采用以1平面偏移模式显示时的字幕的移位方向作为GUI的移位方向，所以无论字幕侧的位置向左右中的哪个方向变动，均能使GUI的配 置追踪于字幕侧的位置。由此，能执行作为电影作品整体取得统一的立体视觉控制。

方式4)也可以是，所述描绘部件还具备：

特殊字幕判定部，判定构成再现对象的字幕流是否是字符数比通常字幕多的特殊字幕；

空白区域检测部，检测所述上端配置布局或下端配置布局中、画面上端或下端确保的字幕区域的空白区域；和

配置决定部，决定设备内置的GUI的配置位置，

在特殊字幕判定部判定为字幕流是特殊字幕的情况下，配置决定部将设备内置的GUI的配置位置决定为在由空白区域检测部检测到的空白区域内。

因为在特殊字幕判定部判定为字幕流是特殊的字幕的情况下，将设备内置的GUI的配置位置决定为在空白区域内，所以能尽量排除字符数多的字幕与设备内置GUI重复显示的可能性。从而，选择到的字幕流能实现不被是否特殊字幕左右的易见的画面布局。

方式5)也可以是，所述记录介质记录有流选择表，流选择表对应于字幕流的语言属性地表示字幕流的优先顺序，

所述特殊字幕判定部将相同语言属性的2个以上的字幕流、而且是其优先顺序在流选择表中设定为第2个以下的字幕流，判定为是特殊字幕用的字幕流。

特殊字幕流因为根据在流选择表中入口在第2个以后的优先顺序这样的电影作品创作的经验规则来判定是否特殊的字幕流，所以能以高的概率来保证是否特殊的字幕流的判定精度。另外，这种判定可通过流选择表这样的导航信息的静态解析来实现，所以可利用简易软件的安装来实现是否特殊的字幕流的判定。

方式6)也可以是，所述上端配置布局或下端配置布局中的字幕区域中的字幕配置是靠右、靠左、居中之中的某个，

空白区域检测部根据字幕区域中的字幕的配置与字幕的字符数来检测空白区域，

所述描绘部件还具备缩小部，该缩小部缩小应显示在字幕区域中的设 备内置的GUI，

所述缩小部在设备内置的GUI的显示尺寸超过字幕区域的空白的情况下，缩小设备内置的GUI。

因为字幕的配置由字幕流中的区域描绘的控制信息规定，所以通过静态解析字幕流的信息要素，可高精度地判定字幕的配置位置。这种字幕流的静态解析可由现有字幕流的解码器的软件开发的延长线来实现，所以容易安装在现有的再现装置中。

附图说明

图1是表示再现装置的使用行为的方式一例的图。

图2表示左眼用图片数据、右眼用图片数据由佩戴快门眼镜500的用户如何观看。

图3是用于说明在平面偏移的符号为正(将向左眼瞳孔入射期间描绘图象的写入位置向右方向错位、将向右眼瞳孔入射期间描绘图象的写入位置向左方向错位)的情况下、看成像位于显示画面的近前的原理的图。

图4是用于说明看成像位于显示画面的近前的原理的图。

图5是用于说明看成像位于显示画面的深处的原理的图。

图6表示根据第1实施方式的记录介质中的内部构成。

图7表示播放列表信息的内部构成。

图8表示基本流选择表的一例。

图9表示播放列表信息的扩展数据的内部构成。

图10表示扩展流选择表中的PG流的流登记序列与平面内有效化信息的内部构成。

图11表示再现装置的内部构成。

图12是表示PSR2、PSR22的内部构成的图。

图13是表示字幕配置的布局的图。

图14表示由层合成得到的立体视觉影像。

图15表示执行上方向移位的视频平面的内容与图像平面的层合成。

图16是表示由层合成得到的立体视觉影像的图。

图17表示PG平面的布局与OSD的布局的时间变迁。

图18表示PG平面的布局与OSD的布局的时间变迁。

图19表示播放列表再现步骤。

图20是表示对PG_文本字幕流的Procedure when playback condition ischanged的处理步骤的流程图。

图21是表示对当前播放项目选择最佳的PG_文本字幕流的处理步骤的流程图。

图22是表示在由设定立体视觉流命令(SetstreamSSCommand)请求了流变化时应执行的Procedure when stream change is requested的处理步骤的流程图。

图23是表示由设定流命令或请求流号码变更的用户操作来请求了流变化时应执行的Procedure when stream change is requested的处理步骤的流程图。

图24是表示当前流类型的再现类型决定的处理步骤的流程图。

图25表示标题名、章节名、再现经过时刻的显示引导的OSD、对用户操作的视觉反馈用OSD。

图26是表示OSD处理部16中的软件的层阶层、功能块的图。

图27表示OSD信息的共同的数据结构及OSD数据库与GFX平面的对应。

图28是表示对应于用户操作的处理的处理步骤的流程图。

图29是表示OSD显示的处理步骤的流程图。

图30是表示OSD布局选择的处理步骤的流程图。

图31是表示字幕布局中的空白区域的检测步骤的流程图。

图32表示PG解码器的内部构成。

图33表示文本字幕解码器的内部构成。

图34表示合成并输出解码器模块的输出用的电路构成。

图35是SDH检测的流程图。

图36是OSD配置决定的流程图。

图37表示文本字幕流中、用于定义多个区域信息的语法、与文本字符中占有的区域的右端坐标由图形平面中的多个区域分别如何决定。

图38是文本字幕流空白区域检测的流程图。

图39表示以各种布局在画面上部配置OSD的情况。

图40是假设字幕是SDH的情况的图。

图41表示用于将3D数字广播内容供给再现装置用的传输流的内部构成。

图42表示字幕流、PCS、RCS、字幕信息表、平面内有效化信息的内部构成。

图43是表示根据第5实施方式的再现装置的构成的功能框图。

图44是表示在选择BD-ROM作为第1实施方式中的记录介质的情况下的目录构成及文件构成的图。

图45表示根据第6实施方式的传输流的内部构成。

图46是表示集成电路的外观的图。

图47是表示集成电路的结构的图。

具体实施方式

本申请中包含的再现装置的发明、集成电路的发明、再现方法的发明能作为对应封装介质(package media)的播放器设备来实施。参照附图来说明具备上述用于解决问题的手段的再现装置的实施方式。

1.再现装置的使用方式

首先说明具备上述解决问题的手段的再现装置的使用方式。

图1是表示包含播放器设备的家庭影院系统的图。该系统由作为封装介质的记录介质100、作为播放器设备的再现装置200、操作装置300、电视400、液晶眼镜500构成。

(1-1)记录介质100

记录介质100向上述家庭影院系统提供例如电影作品。

(1-2)再现装置200

再现装置200与电视400连接，再现记录介质100。如此再现的再现影像中存在2D影像、3D影像。

所谓2D影像是将显示装置的显示画面捕捉为X-Y平面、由该X-Y平面上的像素表现的图像，也称为平面视觉图像。对照地，所谓3D影像是在显示装置的画面中的X-Y平面上的像素中加上Z轴方向进深的图像。3D 影像将入射到左眼瞳孔的左眼影像与入射到右眼瞳孔的右眼影像一起再现，由这些左眼影像、右眼影像发挥立体视觉效果，从而供用户视听。3D影像中的像素中，用户感到具有正的Z轴坐标的像素位于显示装置的画面的近前，感到具有负的Z轴坐标的像素位于画面的深处。

(1-3)遥控器300

遥控器300是从用户受理对分层的GUI的操作的设备，为了受理这种操作，遥控器300具备调用构成GUI的菜单的菜单键、使构成菜单的GUI部件的聚焦移动的箭头键、对构成菜单的GUI部件执行确定操作的确定键、将分层的菜单返回上一级菜单的返回键、数值键。

(1-4)电视400

电视400通过显示电影作品的再现影像或显示菜单等，向用户提供交互式操作环境。

(1-5)液晶眼镜500

液晶眼镜500由液晶快门与控制部构成，使用用户两眼的视差来实现立体视觉。液晶眼镜500的液晶快门是使用具有通过改变施加电压、光的透过率变化的性质的液晶透镜的快门。液晶眼镜500的控制部接受从再现装置发送的向右眼瞳孔入射用的图像与向左眼瞳孔入射用的图像的输出切换的同步信号，根据该同步信号，进行第1状态、第2状态的切换。

所谓第1状态是如下状态，即调节施加电压，使对应于右眼的液晶透镜不透过光，并调节施加电压，使对应于左眼的液晶透镜透过光，在该状态下，为将左眼图像供视听、右眼看不到左眼图像的状态。

所谓第2状态是如下状态，即调节施加电压，使对应于右眼的液晶透镜透过光，并调节施加电压，使对应于左眼的液晶透镜不透过光，在该状态下，为将向右眼入射的图像供视听、看不到向左眼入射的图像的状态。

(1-5-1)液晶眼镜500佩戴时的视听

图2表示左眼用图片数据、右眼用图片数据由佩戴快门眼镜500的用户如何观看。

图中的箭头vw1表示向左眼瞳孔入射的期间中向瞳孔的影像输入，图中的箭头vw2表示向右眼瞳孔入射的期间中向瞳孔的影像输入。在向左眼瞳孔入射的期间中，如箭头vw1所示，在向左眼瞳孔入射的期间中，左眼 用图片数据的存储内容通过快门眼镜500入射到用户的左眼瞳孔。在向右眼瞳孔入射的期间中，如该箭头vw2所示，右眼用图片数据的存储内容通过快门眼镜500入射到用户的右眼瞳孔。

2.用于再现3D影像的再现模式

在由该家庭影院系统再现的3D影像中存在由“立体视觉模式”的再现模式再现的3D影像、由“1plane+Offset模式”的再现模式再现的3D影像等2种。

(2-1)立体视觉模式

说明立体视觉模式。所谓立体视觉模式是通过使由Multiview Video Coding(多视视频编码)标准规定的基本视(base view)视频流、从属视(dependent view)视频流同时再现来实现立体视觉的再现模式。Multiview Video Coding(MVC)标准是MPEG-4AVC/H.264的修正标准，由作为ISO/IEC MPEG与ITU-T VCEG的共同项目的Joint Video Team(JVT)制定。MVC中，可汇总多个视点的影像来编码，通过不仅将影像的时间方向相似性、还将视点间的相似性也用于预测编码，与多个视点的独立压缩相比，提高压缩效率。

(2-1-1)基本视视频流

基本视视频流是view_id为0的子比特流，是view_id为0的视分量(viewcomponent)的序列。MPEG-4MVC基本视视频流遵照MPEG-4视频流的制约。

(2-1-2)从属视视频流

从属视视频流是view_id为1的子比特流，是view_id为1的视分量的序列。

(2-1-3)视分量

在基本视视频流的内部，记载构成基本视视频流的多个基本视分量。另外，在从属视流的内部，记载构成从属视流的多个从属视分量。这些基本视分量、从属视分量具有IDR、B、P等图片(picture)类型。

所谓视分量是指一个帧期间中、为了立体视觉再现而同时再现的多个图片数据的每个图片数据。使用视点间相关性的压缩编码通过使用基本视视频流及从属视视频流的视分量作为图片数据、实现使用图片间相关性的 压缩编码来执行。在1个帧期间分配的基本视视频流的视分量与从属视视频流的视分量的组，构成1个访问单元(access unit)，能以该访问单元的单位来随机访问。

(2-1-4)GOP构造

基本视视频流及从属视视频流均具有将各个视分量设为“图片”的GOP构造，由闭合(closed)GOP、开放(open)GOP构成。闭合GOP由IDR图片、该IDR图片之后的B图片、P图片构成。开放GOP由Non-IDR I图片、Non IDR I图片之后的B图片、P图片构成。图2所示的向左眼瞳孔入射的图像、向右眼瞳孔入射的图像通过同时再现这些基本视视频流、从属视流来实现。

(2-2)1plane+Offset模式

说明1plane+Offset模式。所谓1plane+Offset模式是将移位部内置于平面存储器的后级、使移位部作用来实现立体视觉的再现模式。平面偏移部在向左眼瞳孔入射的期间及向右眼瞳孔入射的期间中分别使平面存储器中的线(line)单位的像素坐标向左方向或右方向移位，使右眼视线及左眼视线的成像点位移到近前方向或进深方向，从而使进深感变化。具体地，若在向左眼瞳孔入射的期间使像素坐标向左方向变化，在向右眼瞳孔入射的期间使像素坐标向右方向变化，则两眼的视线成像点变为进深，若在向左眼瞳孔入射的期间使像素坐标向右方向变化，在向右眼瞳孔入射的期间使像素坐标向左方向变化，则两眼的视线成像点变为近前。

在这种平面移位中，因为立体视觉用的平面存储器为1平面即可，所以最适于简易地制作立体视觉影像。在该平面移位中，因为不过是产生出平面影像来到近前、拉入深处的立体视觉影像，所以尽管适于菜单或字幕的立体视觉效果，但不足以实现人物或物体的立体视觉效果。这是因为人物的脸的下洼或凹凸等无法再现。

在支持1plane+Offset模式的情况下，再现装置的构成如下。为了再现图形，再现装置中存在平面存储器与CLUT部、合成部，在该CLUT部、合成部之间装入平面移位部。之后，移位部使用内置于从属视视频流的访问单元构造中的偏移序列中的偏移，实现上述像素的坐标变化。由此，1plane+Offset模式中像素的飞出程度与MVC视频流紧密同步。

(2-2-1)构成移位控制对象的平面存储器

构成基于偏移序列的移位控制对象的平面存储器是构成规定层模型的多个平面存储器。所谓平面存储器是以线单位来存储一画面的像素数据、沿水平同步信号、垂直同步信号输出这些像素数据用的存储器。平面存储器存储由视频解码器、演示图形(PG)解码器的解码得到的1画面大小的像素数据、或用于描绘OSD(On Screen Display)而制作的1画面大小的像素数据。所谓OSD是再现装置中、制造商制作的设备内置GUI之1。

规定的层模型由左眼用视频平面及右眼用视频平面的阶层、PG平面的阶层、GFX平面的阶层构成，意图按左眼用视频平面→PG平面→GFX平面的顺序对各阶层的平面存储器的存储内容进行层合成。

上述层合成通过对层模型中的2个阶层的全部组合执行使平面存储器的层模型中、2个阶层的平面存储器中存储的像素数据的像素值重叠的处理来执行。下面，描述各阶层的平面存储器。

左眼用视频平面是能存储通过解码构成基本视视频流的视分量所得到的1画面大小的像素数据的平面存储器。右眼用视频平面是能存储通过解码构成从属视视频流的视分量所得到的1画面大小的像素数据的平面存储器。

所谓演示图形(PG)平面是用于存储通过以流水线式(pipeline)动作的图形解码器执行解码处理得到的图形的平面存储器。所谓GFX平面是用于OSD描绘的平面存储器。

上述层模型中，尽管视频平面存在基本视用视频平面、从属视用视频平面，但GFX平面、PG平面中，并不是基本视用、从属视用分别存在平面存储器。从而，GFX平面、PG平面构成移位控制的对象。

(2-2-2)正与负的平面偏移的表观

图3是表示正与负的平面偏移的表观(看上去的样子)的差异一例的图。

图3(a)、(b)中，近前一方表示右视输出时移位的、使用移位后图形平面输出的右视用图形图象。深处一方表示向左眼瞳孔入射输出时移位的、使用移位后图形平面输出的向左眼瞳孔入射用的图形图象(image)。

图3(a)表示平面偏移的符号为正(将向左眼瞳孔入射用图形图象向右方向错位、将右视用图形图象向左方向错位)的情况。若平面偏移为正值，则 在右视输出时的字幕右侧的位置看见向左眼瞳孔入射输出时的字幕。即，因为聚集点(焦点位置)来到屏幕近前，所以字幕也被看成是在近前。

图3(b)表示平面偏移的符号为负的情况。若为负值，则如图14所示，在右视输出时的字幕左侧的位置看见向左眼瞳孔入射输出时的字幕。即，因为聚集点(焦点位置)来到屏幕深处，所以字幕也被看成是在深处。

图4是用于说明在平面偏移的符号为正(将向左眼瞳孔入射期间的描绘图象的写入位置向右方向错位、将向右眼瞳孔入射期间的描绘图象的写入位置向左方向错位)的情况下，看成像在显示画面的近前的原理的图。

图4中，圆表示的是显示画面上显示的像。首先，在2D显示模式的情况下，因为右眼看到的像与左眼看到的像均在相同位置，所以用双眼看该像时的焦点位置位于显示画面上(图4(a))。作为结果显示的像位于显示画面上。

在向左眼瞳孔入射的期间，左眼看到的像移位显示成在平面偏移为0时的右侧位置被看到。此时，右眼因快门眼镜500什么也看不到。另一方面，右眼看到的像移位显示成，在平面偏移为0时的左侧位置被看到。此时，左眼因快门眼镜500什么也看不到(图4(b))。

人用双眼聚焦后，辨认到像位于该焦点位置上。因此，若利用快门眼镜500以短的时间间隔交互切换左眼看见像的状态与右眼看见像的状态，则人的双眼在显示画面的近前的位置对准焦点位置，结果，引起错觉，感觉像在位于显示画面的近前的焦点位置(图4(c))。

图5是用于说明图像看成位于显示画面深处的原理的图。

图5中，圆表示的是显示画面上显示的像。首先，在2D模式下，右眼看到的像、左眼看到的像均为相同位置，所以用双眼看该像时的焦点位置位于显示画面上(图5(a))。作为结果显示的像位于显示画面上。

另一方面，在左眼瞳孔入射期间，左眼看到的像在平面偏移为0时的左侧位置被看到。此时，右眼因快门眼镜500什么也看不到。另一方面，右眼看到的像在偏移为0时的右侧的位置被看到，此时，左眼因快门眼镜500什么也看不到(图3(b))。

若利用快门眼镜500以短的时间间隔交互切换左眼看见像的状态与右眼看见像的状态，则人的双眼在显示画面里面的位置对准焦点位置，结果， 引起错觉，感觉像在显示画面深处的位置(图5(c))。

(2-2-3)从属视视频流中的改良点

从属视流中，与基本视视频流的不同之处在于内置1plane+Offset模式中使用的偏移序列。这里，说明偏移序列(offset sequence)。1plane+Offset模式中使用的偏移序列在从属视视频流的视频访问单元内存在多个。

从属视视频流的视频访问单元通过排列视频访问单元定界符(delimiter)、序列参数组、图片参数组、MVC可扩展嵌套SEI消息(MVC scalable nesting SEI message)、第一视分量(first view component)、序列终止代码、流终止代码来构成。另外，该MVC可扩展嵌套SEI消息中存在用户数据容器(data container)。用户数据容器是未注册用户数据(未登记用户数据)的容器，有隐藏字幕(closed caption)信息、GOP结构图、偏移元数据等3种。是这些种类中的哪个示于容器中的type_indicator中。

(2-2-3-1)偏移元数据的细节

偏移元数据必需存储在从属视访问单元的编码顺序中各GOP开头的视频成分的MVC可扩展嵌套SEI消息中。在偏移元数据的内部存在上述多个偏移序列。偏移序列是按图片组中的每个帧期间来表示将属于图片组的各图片数据与图形合成时的控制参数的参数序列，由number_of_displayed_frames_in_GOP中所示个数的控制参数构成。该控制参数由平面偏移方向信息与平面偏移值构成。

平面偏移方向信息(Plane_offset_direction)指示平面中的偏移方向。值‘0’为前向设定，即，平面存储器存在于TV与视听者之间，在向左眼瞳孔入射的期间，平面向右方向移位，在向右眼瞳孔入射的期间，平面向左方向移位。值‘1’为后向设定，即，平面存储器存在于TV或屏幕背后，在向左眼瞳孔入射的期间，平面向左方向移位，在向右眼瞳孔入射的期间，平面向右方向移位。平面偏移方向信息表示前向设定的情况下，3维坐标系中的控制参数的Z轴坐标为正坐标。平面偏移方向信息表示后向设定的情况下，3维坐标系中的控制参数的Z轴坐标为负坐标。

平面偏移值(Plane_offset_value)是构成图形的像素的水平方向位移量的指定，以像素单位指示平面的偏移值。以上结束1plane+Offset模式的说明。

接着，说明实现这些立体模式、1plane+Offset模式的记录介质。

3.记录介质的内部构成

图6表示根据第1实施方式的记录介质中的内部构成。如图6(a)所示，在根据第1实施方式的记录介质中记录‘索引表’、‘动作模式对象的程序文件’、‘播放列表信息文件’、‘流信息文件’、‘流文件’。

(3-1)索引表

索引表是涉及记录介质整体的管理信息，当将记录介质插入再现装置之后，通过首先读出索引表，再现装置唯一识别记录介质。

(3-2)动作模式对象的程序文件

动作模式对象的程序文件存储用于使再现装置动作的控制程序。该程序文件中的程序中有由命令记述的程序、和由面向对象的编译器语言记述的程序。前者的程序在基于命令的动作模式下将多个导航命令作为批作业(batch job)提供给再现装置，根据这些导航命令使再现装置动作。将该基于命令的动作模式称为‘HDMV模式’。

后者的程序在基于面向对象型编译器语言的动作模式中，将作为类构造体(classstructure)的实例(instance)的字节代码应用提供给再现装置，并根据该实例使再现装置动作。类构造体的实例中可使用作为字节代码应用之一的Java(TM)应用。将基于面向对象型编译器语言的动作模式称为‘BD-J模式’。

(3-3)流文件

流文件存储通过复用视频流、一个以上的音频流、图形流而得到的传输流。流文件中有2D专用与2D-3D兼用的流文件。2D专用流文件是通常的传输流形式，2D-3D兼用流文件具有立体视觉交织流文件的文件形式。

所谓立体视觉交织流文件形式是以交织形式交互配置包含基本视流的主传输流(主(main)TS)的区段(extent)与包含从属视视频流的辅传输流(辅(sub)TS)的区段的形式。

流文件中存储的主传输流(TS)作为用于管理控制多种PES流的信息，具备欧洲数字广播标准中规定的数据包管理信息(PCR、PMT、PAT)。这些PCR、PMT、PAT在欧洲数字广播标准中起到规定构成一个广播节目(Program)的部分TS的作用，再现装置如欧洲数字广播标准中处理构成一 个广播节目的部分TS那样，可将TS提供给解码器执行的处理。这用于期望欧洲数字广播标准的终端装置与记录介质再现装置的兼容性。

主TS中的区段及辅TS中的区段的组设定为再现时不使双缓冲器下溢的数据尺寸，再现装置可不中断地读入这些区段的组。

以上是对流文件的说明。

(3-4)流信息文件

流信息文件保障对流文件中的传输流内任意源数据包的随机访问、或与其他传输流的无中断再现。通过该流信息文件，将流文件管理为‘AV片段’(AV clip)。流信息文件具有与帧期间的演示时间戳对应地表示AV片段中的流的编码形式、帧速率、比特率、分辨率等信息、或GOP开头位置的源数据包号码的基本入口映射(entry map)，若在访问流文件之前将该流信息文件下载到存储器中，则可把握要访问的流文件中的传输流是什么，所以可保障随机访问的执行。流信息文件中有2D流信息文件与3D流信息文件，3D流信息文件包含基本视用片段信息(片段基本信息)、从属视用片段信息(片段从属信息)与立体视觉用扩展入口映射。

(3-4-1)片段基本信息

片段基本信息包含基本视用的区段开始点信息，片段从属信息包含从属视用的区段开始点信息。基本视用的区段开始点信息由多个源数据包号码构成。各个源数据包号码表示主TS中的区段的分割位置存在于第几个数据包中。从属视用的区段开始点信息也由多个源数据包号码构成，表示辅TS中的分割位置存在于哪个数据包中。通过使用这些区段开始点信息，将立体视觉交织流文件分割为主TS与辅TS。

(3-4-2)扩展入口映射

扩展入口映射对应于表示GOP开头的帧期间的演示时间戳，表示从属视视频流中构成GOP开头的视分量开头位置的访问单元定界符的源数据包号码。

(3-4-3)基本入口映射

基本入口映射也具有与2D流信息文件的兼容，同时，还对应于表示GOP开头的帧期间的演示时间戳，表示基本视视频流中构成GOP开头的视分量开头位置的访问单元定界符的源数据包号码。

(3-5)播放列表信息文件

播放列表信息文件是存储用于让再现装置再现播放列表的信息的文件。所谓‘播放列表’(playlist)是在传输流(TS)的时间轴上规定再现区间、并且通过逻辑指定该再现区间彼此的再现顺序而规定的再现路径，起到规定仅再现TS中哪部分的哪些、按何顺序场景展开的作用。播放列表信息定义这种播放列表的‘型’。由播放列表信息定义的再现路径是所谓的‘多路径’。所谓多路径是集合对主要TS定义的再现路径(主路径)与对从属TS定义的再现路径(辅路径)的路径。若规定该多路径中基本视视频流的再现路径，并规定辅路径中从属视视频流的再现路径，则可最佳规定用于再现立体视觉的视频流的组合。

基于面向对象编程语言的应用可通过命令生成再现该播放列表信息的框架播放器实例，使基于多路径的AV再现开始。所谓框架播放器实例是根据媒体框架播放器类、在虚拟机的堆栈存储器上生成的实际数据。另外，基于命令的程序通过发行以自变量来指定该播放列表信息的再现命令，也可开始基于多路径的再现。

(3-3-1)基本流(elementary stream)的细节

图5(b)表示构成主TS的多个基本流，图5(c)表示构成辅TS的多个基本流。如图5(b)所示，设主TS包含1个基本视视频流、32个左眼PG流、32个左眼用交互图形(IG)流、32个音频流。如图5(c)所示，设辅TS包含1个从属视视频流、32个右眼PG流、32个右眼用IG流。

复用于TS上的基本流(ES)除上述基本视视频流、从属视视频流外，还具有音频流、演示图形流、交互图形流。

.音频流

音频流中存在主要(primary)音频流、次要(secondary)音频流两种。主要音频流是在进行混合再现时应成为主声音的音频流，次要音频流是在进行混合再现时应成为辅声音的音频流。次要音频流存在该混合用下采样用的信息、增益控制用的信息。

.演示图形流(PG流)

PG流通过在解码器中采用流水线，可实现与影像的紧密同步，是适于字幕显示的图形流，有2DPG流与立体视觉PG流两种。立体视觉PG流中 有左眼PG流及右眼PG流两种。

2DPG流最大可定义32个，左眼PG流最大可定义32个，右眼PG流也最大可定义32个。向这些PG流分别赋予不同的数据包标识符，通过向解复用部指示应再现的数据包标识符，将这些PG流中期望的PG流供于再现。

通过基于流水线的解码动作的实现，实现与动态图像的紧密同步，所以PG流的用途不限于字幕等字符再现。若是显示电影作品的吉祥物角色、使其与动态图像同步动作等必需紧密同步的图形再现，则无论哪个均可作为基于PG流的再现对象采用。

虽然未复用于流文件，但呈现字幕的流中，除了PG流外，还有文本字幕(textST)流等流。textST流是以字符代码呈现字幕内容的流。

PG流、文本字幕流不区别其种类，作为相同流类型，这些PG流及文本字幕流登记在相同流登记序列中。另外，当执行流选择的过程(procedure)时，根据流登记序列中的流登记顺序，确定应再现的PG流或文本字幕流。PG流、文本字幕流不区别流种类，供于流选择的过程，所以以一个流种类、即‘PG文本字幕流(有时也简称为字幕流)’的种类来处理这些PG流及文本字幕流。

2D用PG_文本字幕流在1plane+Offset模式下再现。在后面的说明中，将2DPG_文本字幕流说明为是1plane+OffsetPG_文本字幕流。

.交互图形(IG)流

IG流是通过具备交互操作的信息，可伴随视频流的再现进行来显示菜单或根据用户操作显示弹出菜单的图形流。

IG流具有交互操作的信息的意义如下所述。Java虚拟机对应于来自应用的请求将播放列表再现开始指示给作为再现控制主体的再现控制引擎的情况下，Java虚拟机在命令再现控制引擎再现之后，将开始播放列表再现的响应返回到应用。即，在继续再现控制引擎执行播放列表再现的期间，Java虚拟机不等待执行终止。这是因为Java虚拟机是所谓的事件驱动型动作主体，在再现控制引擎执行播放列表再现的期间，也可进行动作。

另一方面，在HDMV模式下，命令翻译器在命令再现控制引擎再现播放列表的情况下，等待该播放列表再现的执行终止，直到播放列表再现终 止。在继续再现控制引擎执行的再现期间，命令执行部不能执行交互处理。代替该命令翻译器，图形解码器进行交互动作。由于让图形解码器进行交互动作，所以在IG流中内置规定使用按钮部件的交互操作的控制信息。

以上是对流文件的说明。接着，说明播放列表信息的细节。

为了定义上述多路径，播放列表信息具有图7的内部构成。图7表示播放列表信息的内部构成。如图7(a)所示，播放列表信息包含‘主路径信息’、‘辅路径信息’、‘播放列表标记信息’、‘扩展数据’。下面，说明这些构成要素。

(3-5-1)主路径信息

主路径信息由一个以上主要再现区间信息构成。图7(b)是表示主路径信息及辅路径信息的内部构成的图，如该图所示，主路径信息由一个以上主要再现区间信息构成。辅路径信息由一个以上从属再现区间信息构成。

主要再现区间信息被称为播放项目(playitem)信息，是通过定义一个以上TS再现时间轴中为In_Time的时刻与为Out_Time的时刻的组，定义逻辑的再现区间的信息。再现装置中包含存储当前播放项目号码的播放项目号码寄存器，多个播放项目中、对应的播放项目号码存储在该播放项目号码寄存器中的播放项目变为当前的再现对象。播放列表信息具有播放项目信息——流信息——传输流的阶层构造，传输流及流信息的组与播放项目信息的比率为1对多的关系，可由多个播放项目信息来多重参照1个传输流。从而，通过采用为了某个播放列表而制作的传输流作为库电影(bank film)，并由多个播放列表信息文件中的播放项目信息来参照该传输流，能高效制作电影作品的改版(variation)(另外，所谓库电影是电影业界的术语，是多个场景中随意使用的影像内容)。通常，播放列表单位不被用户识别，所以将从流文件派生出的多个改版(例如剧场公开版或TV放映版)识别为播放列表。

图7(c)表示播放项目信息的内部构成。如图所示，包含‘流参照信息’、‘开始时间结束时间(in-time out-time)信息’、‘连接状态信息’、‘基本流选择表’。

‘流参照信息’包含表示将构成播放项目的传输流作为‘AV片段’来管理的流信息文件的‘流信息文件名称信息(clip_information_file_name)’、 表示该TS中的编码方式的‘片段编码方式标识符(Clip_codec_indentifier)’、表示该TS的STC序列中设定开始时间及结束时间的STC序列是哪个的‘STC标识符参照(STC_ID_referrence)’。

‘开始时间结束时间信息(In-Time,Out_Time)’表示STC序列时间轴中播放项目的起点与STC序列时间轴上播放项目的终点。

‘连接状态信息’规定对应于播放项目信息的再现区间与其之前的再现区间的连接信息是否无缝连接。

‘基本流选择表’在后面详细说明。

(3-5-2)辅路径信息

辅路径信息由多个从属再现区间信息(辅播放项目信息)构成。图7(d)表示辅播放项目的内部构成。如图所示，辅播放项目信息是通过在STC序列的时间轴上规定开始时间与结束时间的组来定义构成辅路径的再现区间的信息，包含‘流参照信息’、‘开始时间结束时间信息’、‘同步播放项目参照’、‘同步开始时刻信息’。‘流参照信息’与播放项目信息一样，包含‘流信息文件名称信息’‘片段编码方式标识符’、‘STC标识符参照’。

‘开始时间结束时间信息(SubPlayItem_In_Time,SubPlayItem_Out_Time)’表示STC序列时间轴上的辅播放项目的起点与STC序列时间轴上的辅播放项目的终点。

‘同步播放项目参照(Sync_PlayItem_Id)’是唯一指定播放项目中该辅播放项目应同步的播放项目的信息。辅播放项目开始时间存在于由该同步播放项目参照符指定的播放项目的再现时间轴上。

‘同步开始时刻信息(Sync_Start_PTS_of_PlayItem)’表示由同步播放项目参照符指定的播放项目的STC序列时间轴中、由辅播放项目开始时间指定的辅播放项目的起点在哪个时刻被映射。

(3-5-3)播放列表标记信息

播放列表标记信息是定义再现区间固有的标记点(mark point)的信息，包含表示再现区间的参照符、表示数字流的时间轴上标记点位于何处的时间戳、与表示标记点的属性的属性信息。另外，属性信息表示由播放列表标记信息定义的标记点是链接点还是入口标记。

链接点(link point)是虽然可基于链接命令链接、但在由用户执行章节跳 过操作的情况下不构成选择对象的标记点。

入口标记(entry mark)是可基于链接命令链接、且在由用户执行章节跳过操作的情况下构成选择对象的标记点。

IG流的按钮信息内内置的链接命令以经播放列表标记信息的间接参照形式来指定随机访问再现位置。

以上是对构成播放列表信息的播放项目信息、辅播放项目信息、播放列表标记信息的说明。接着说明基本流选择表的细节。

(3-5-4)基本流选择表(STreamNumber_table)

基本流选择表是如下表，即对多个流种类的每个，规定当构成播放列表的多个播放项目中、包含该基本流选择表的播放项目变为当前播放项目时，允许复用于由多路径的主路径参照的AV片段上的ES、及复用于由多路径的辅路径参照的AV片段上的ES中哪个ES再现。这里所谓的流种类是指画中画(picture in picture)中的主要视频流、画中画中的次要视频流、混音(sound mixing)中的主要音频流、混音中的次要音频流、PG_文本字幕流、IG流等种类，基本流选择表可对这些流种类的每个种类，登记应允许再现的流。具体地，基本流选择表由流登记的排列构成。这里，所谓流登记是指与该流号码对应地表示当基本流选择表归属的播放项目变为当前播放项目时，应允许再现的ES是哪个流，流登记为将流入口及流属性的组合与逻辑流号码建立对应的数据结构。流登记中的流号码由1、2、3等整数值表现，流号码的最大数为对应的流种类的流个数。

再现装置中，对该流种类的每个，存在流号码寄存器，该流号码寄存器中存储的流号码所指示的基本流为构成当前再现对象的基本流，即当前流。

在该流入口内，记述应再现的基本流(ES)的数据包标识符。由于在流入口内可记述应再现的ES的数据包标识符，所以将流登记中的流号码存储在再现装置的流号码寄存器中，并根据流登记中的流入口内的数据包标识符，再现装置让再现装置的PID滤波器执行数据包滤波。由此，将基本流选择表中允许再现的ES的TS数据包输出到解码器，进行ES的再现。

基本流选择表中的这些流登记根据流号码的顺序排列，基于流号码的顺序的流登记顺序在存在多个满足‘再现装置可再现’、‘流的语言属性与 再现装置的语言设定一致’的条件的流的情况下，利用流登记序列中的流号码的顺序，决定构成选择对象的流。

由此，在基本流选择表中的流登记中，在存在再现装置不能再现的流的情况下，从再现中去除这种流，另外，在存在多个满足‘再现装置可再现’、‘流的语言属性与再现装置的语言设定一致’的条件的流的情况下，创作者可将应优先选择其中哪个的指针传递给再现装置。

将是否存在满足‘再现装置可再现’、‘流的语言属性与再现装置的语言设定一致’的条件的流的判定、或选择满足‘可再现’、‘流的语言属性与再现装置的语言设定一致’的条件的流中哪个的选择步骤称为流选择过程。流选择过程当将当前播放项目切换为新的时或从用户请求进行流切换时执行。

将在当前播放项目切换为新的等再现装置的状态变化发生时，进行上述判定或选择，对再现装置的流号码寄存器设定流号码的一连串步骤称为‘应在状态变化时执行的过程’。流号码寄存器按每个流种类存在，所以上述过程按每个流种类执行。

将在用户执行流切换请求的情况下，进行上述判定或选择，对再现装置的流号码寄存器设定流号码的一连串步骤称为‘请求流变化时的过程’。

将当装填盘时，将流号码寄存器设定为流登记序列中的初始值的步骤称为‘初始化’。

基本流选择表中的流登记序列对由辅播放项目信息指定的流与由播放项目信息指定的流一律赋予优先顺序，所以即便是未与视频流复用的流，只要由辅播放项目信息指定，则也构成应与视频流同步再现的流选择时的选择对象。

另外，在再现装置可再现由辅播放项目信息指定的流，且由辅播放项目信息指定的流的优先顺序比与视频流复用的图形流的优先顺序高的情况下，可代替与视频流复用的流，将由辅播放项目信息指定的流供于再现。

下面说明基本流选择表中的流号码的用途。基本流选择表中记载的流号码可用于设定流命令的操作数。

所谓设定流命令(set stream command)是将指定给操作数的流号码作为当前流号码设定在流号码寄存器、命令再现装置切换当前流的命令，基于 命令的程序用于让再现装置执行流的切换时。

另外，也可用于流变化UO的自变量或设定流API的自变量中。所谓流变化UO是将指定给自变量的流号码作为当前流号码设定在流号码寄存器、命令再现装置切换当前流的用户操作事件。

所谓设定流API是将指定给自变量的流号码作为当前流号码设定在流号码寄存器、命令再现装置切换当前流的API，基于面向对象编程语言的程序用于让再现装置执行流切换时。

<基本流选择表的具体例>

图8表示基本流选择表的一例。图8(a)表示按流种类存在主要视频流、主要音频流、PG流、IG流、次要视频流、次要音频流等种类的情况下，基本流选择表中设置的多个流登记序列。图8(b)表示通过基本流选择表从主TS、辅TS中分离哪个ES。该图左侧表示主TS、辅TS，正中表示基本流选择表与解复用部。右侧表示根据基本流选择表分离的主要视频流、主要音频流、PG流、IG流、次要视频流、次要音频流。以上是对基本流选择表的说明。接着，说明扩展数据的细节。图9是表示扩展数据的内部构成的图。扩展数据是在2D模式下不需要的、仅在3D模式下必需的扩展数据的统称。如图9所示，扩展数据由基本视指示符、扩展流选择表与平面内有效化信息序列构成。

(3-5-5)基本视指示符

‘基本视指示符’对每个3D用播放列表指定应将构成利用视点间相关性的压缩编码基础的基本视视频流作为左眼及右眼中的哪个来显示。通过使播放列表信息中的基本视指示符变化，可以在播放列表的等级上改变将基本视视频流变为左眼及右眼用中哪个的分配。

因为能以不依赖于流构造的播放列表等级来使上述分配变化，所以在存在设定成图像中的物体位置及角度为基本视=左眼、从属视=右眼用的播放列表的情况下，作为与该播放列表不同的版本，能制作设定成基本视=右眼用、从属视=左眼用的播放列表

若以播放列表的等级使对基本视、从属视的左眼、右眼用分配逆转，则能使立体视觉效果逆转。例如，在已制作期望在画面近前出现对象物的立体视觉效果的播放列表的情况下，与这种播放列表不同，能制作期望在 画面深处出现对象物的立体视觉效果的播放列表。从而，实现能由3D播放列表来简单制作立体视觉效果不同的播放列表的变化的效果。

(3-5-6)扩展流选择表(STreamNumber_table_StereoScopic(SS))

扩展流选择表是3D用播放列表固有的信息，是仅在立体视觉输出模式下与流选择表一起使用的流选择表。当播放项目再现或再现与之关联的辅路径时，定义可选择的基本流。

扩展流选择表表示仅在立体视觉输出模式下应允许再现的基本流，包含流登记序列。流登记序列中的各个流登记信息包含流号码、对应于该流号码的流入口、与流属性。由于扩展流选择表意味着立体视觉输出模式固有的扩展，所以将向各播放项目信息关联扩展流选择表(STN_table_SS)的播放列表称为‘3D播放列表’。

扩展流选择表中的流入口表示在将再现装置设定为立体视觉输出模式的情况下，当将对应的流号码设定在再现装置中的流号码寄存器中时，再现装置应该用于解复用的数据包标识符。这里，与基本流选择表的不同之处在于扩展流选择表中的流登记序列不构成流选择过程的对象。即，基本流选择表中的流登记序列中的流登记信息解释为各个ES的优先顺序，将某个流登记信息内的流号码写入流号码寄存器中。但是，扩展流选择表中的流登记序列不构成流选择过程的对象，扩展流选择表中的流登记信息仅用于当在将某个流号码存储在流号码寄存器中时，取出对应于该流号码的流入口及流属性的目的。

当输出模式从平面视觉模式切换为立体视觉模式时，构成对象的流选择表为了从基本流选择表切换为扩展流选择表，若执行流选择过程，则不能维持流号码的相同性，尤其是还有可能丧失语言属性的相同性。

当从平面视觉模式切换到立体视觉模式时，为了维持以语言属性为首的流属性的相同性，将扩展流选择表的用途也保留为上述用途。

下面说明扩展流选择表中流号码的用途。扩展流选择表中记载的流号码可用于设定流命令或设定立体视觉流命令的操作数。

所谓设定立体视觉流命令是将指定给操作数的立体视觉用流号码作为当前流号码设定在流号码寄存器中、命令再现装置切换当前流的命令，基于命令的程序用于让再现装置执行向立体视觉流的切换时。

另外，流变化UO的自变量或设定流API的自变量中也可使用。扩展流选择表由从属视视频流的流登记序列、PG流的流登记序列、IG流的流登记序列构成。

将扩展流选择表中的流登记序列结合于流选择表中的相同流种类的流登记序列上。该结合通过在流选择表中的主要视频流的流登记序列上结合扩展流选择表中的从属视视频流的流登记序列、在流选择表中的PG流的流登记序列上结合扩展流选择表中的PG流的流登记序列、并在IG流的流登记序列上结合扩展流选择表中的IG流的流登记序列来执行。

若执行上述结合，则对结合后的流选择表中、基本流选择表中的流登记序列执行上述过程。

<扩展流选择表的细节>

图9中的扩展流选择表由对应于各播放项目中各个流种类的流登记序列构成。

这里，在存在播放项目#1~#N等N个播放项目的情况下，对应于播放项目#1~#N每个的流登记序列设置在扩展流选择表中。对应于各播放项目的流登记序列是从属视流登记序列、PG流登记序列、IG流登记序列。

图10(a)表示扩展流选择表中的PG流的流登记序列的内部构成。PG流的流登记序列由M个流登记信息构成。这里，所谓“M”是播放项目信息#x的基本流选择表中、允许再现的PG流的个数。

图中的引出线详细地表示流登记序列的共同内部构成。

‘PG_文本字幕偏移序列ID参照信息(PGtextST_offset_sequence_id_ref)’是PG_文本字幕流偏移序列参照信息，指示对1plane+Offset模式的PG_文本字幕流的偏移序列。

偏移元数据由从属视视频流的访问单元提供。再现装置必需使由该字段提供的偏移适用于1plane+Offset模式类型的演示图形(PG)平面。

在该字段为不定值(FF)的情况下，再现装置不将该偏移适用于PG平面。

‘上端配置是否存在标志’表示是否存在上端配置字幕流。

‘下端配置是否存在标志’表示是否存在下端配置字幕流。

‘立体视觉是否存在标志’表示PG流中的左眼用IG流入口、右眼用 IG流入口是否存在。在立体视觉PG流中的构造不存在的情况下，必需将该字段设定为0。在立体视觉PG流中的构造存在的情况下，必需将该字段设定为1。

‘上端字幕流入口’包含定义上端配置字幕流的辅路径或存储上端配置字幕流的流文件、该流文件中的上端配置字幕流的数据包标识符的参照。

由扩展流选择表设定为可再现的多个字幕流中、显示坐标Y0,Y1设定在图形平面的上端区域中的字幕流，通过该流入口被指定为是上端配置字幕流。

‘上端字幕流属性’表示上端配置字幕流的编码方式及语言属性。

‘上端字幕的偏移序列ID参照’表示再现上端配置字幕流时应适用的偏移序列。

‘下端字幕流入口’包含定义下端字幕流的辅路径或存储下端字幕流的流文件、该流文件中的下端字幕流的数据包标识符的参照。

由扩展流选择表设定为可再现的多个字幕流中、显示坐标Y0,Y1设定在图形平面的下端区域中的字幕流，通过该流入口被指定为是下端字幕流。

‘下端字幕流属性’表示下端字幕流的编码方式或语言属性。

‘下端字幕的偏移序列ID参照’表示再现下端字幕流时应适用的偏移序列。

‘左眼PG的流入口’包含定义立体视觉中左眼PG流的辅路径或存储左眼PG流的流文件、该流文件中的左眼PG流的数据包标识符的参照。

‘右眼PG的流入口’包含定义立体视觉中右眼PG流的辅路径或存储右眼PG流的流文件、该流文件中的右眼PG流的数据包标识符的参照。

‘立体视觉PG的流属性’表示立体视觉PG再现时应再现的字幕流的编码方式或语言属性。

‘立体视觉PG的偏移序列ID参照’表示立体视觉PG再现时应适用的偏移序列。以上是对扩展流选择表的说明。

(3-5-6)平面内有效化信息序列

平面内有效化信息序列是对应于播放项目信息#1、#2~#N中的每个的平面内有效化信息的集合。所谓平面内有效化信息是使左眼视频平面及右眼视频平面的区域中的一部分有效化的信息。图10(b)表示平面内有效化信 息的内部构成。平面内有效化信息是在选择对应的播放列表信息作为当前播放列表的情况下，规定视频平面中的像素区域中、哪部分有效的信息，由bottom_margin、top_margin、top_down_offset、bottom_up_offset构成。

top_margin、bottom_margin规定在采用通常布局的情况下、画面的上端区域的纵向幅度、下端区域的纵向幅度是多少。在top_margin、bottom_margin中记载像素数除以2的值。从而，再现时，若向该top_margin、bottom_margin所示的值乘以“2”，则能算出通常布局时应设置在视频平面上下端的空白的尺寸。作为top_margin、bottom_margin，期望设定为69。此时，通过向top_margin、bottom_margin乘以2，在视频平面上下端确保138的像素数。

top_down_offset规定在采用上端配置布局的情况下、画面的上端区域的纵向幅度为多少。

bottom_up_offset规定在采用下端配置布局的情况下、画面的下端区域的纵向幅度为多少。在top_down_offset、bottom_up_offset中记载像素数除以2的值。从而，再现时，若向该top_down_offset、bottom_up_offset所示的值乘以“2”，则能算出视频平面中像素的上下移位所需的像素数。作为top_down_offset，期望设定为104。此时，通过向top_down_offset乘以2，在视频平面的下方向移位中利用208的像素数。作为bottom_up_offset，期望设定为34。此时，通过向bottom_up_offset乘以2，在视频平面的上方向移位中利用68的像素数。可在由bottom_up_offset、top_down_offset指定的画面端部显示字幕或由字节代码应用显示GUI。

这里结束对构成再现装置的再现处理对象之记录介质的说明。接着说明再现装置的细节。

(4-1)再现装置的内部构成

图11表示再现装置的内部构成。如图所示，再现装置由读出部1、视频解码器2、视频平面3、字幕解码器4、图形平面5、合成部6、收发部7、左右移位部8a、8b、上下移位部9、解复用部10、寄存器组11、播放列表信息存储器12、过程执行部13、再现控制部14、操作受理部15、OSD处理部16构成。

(4-1-1)读出部1

读出部1从记录介质中读出索引表、程序文件、播放列表信息文件、流信息文件、流文件。读出部201当读出立体视觉交织流文件时，使用3D流信息文件中的片段基本信息内的区段开始点信息与片段从属信息内的区段开始点信息，执行将立体视觉交织流文件分割为主TS与辅TS后存储在不同的读缓冲器中的处理。该分割通过重复如下处理来执行：以片段从属信息中区段开始点信息所示的源数据包号码的数据包数量，从立体视觉交织流文件中取出源数据包，追加到主TS；和以片段基本信息中区段开始点信息所示的源数据包号码的数据包数量，从立体视觉交织流文件中取出源数据包，追加到辅TS。

(4-1-2)视频解码器2

视频解码器2具备编码数据缓冲器、解码数据缓冲器，通过将构成从属视视频流的视分量预加载到编码数据缓冲器，解码期望位于基本视视频流内闭合GOP开头的解码器更新的图片类型(IDR类型)的视分量。在该解码时，全部清除编码数据缓冲器、解码数据缓冲器。在如此解码IDR类型的视分量之后，解码根据与该视分量之间的相关性来压缩编码的基本视视频流的后续视分量、及从属视视频流的视分量。若通过解码得到对该视分量的非压缩图片数据，则存储在解码数据缓冲器中，并将这种图片数据设为参照图片。

使用该参照图片，对基本视视频流的后续视分量、及从属视视频流的视分量进行运动补偿。若通过运动补偿对基本视视频流的后续视分量、及从属视视频流的视分量得到非压缩的图片数据，则将其存储在解码数据缓冲器中，并设为参照图片。以上解码在各个访问单元的解码时间戳所示的解码开始时刻到来时执行。

(4-1-3)视频平面3

视频平面3由左眼用平面存储器、右眼用平面存储器构成。将通过解码基本视的视分量得到的非压缩图片数据、通过解码从属视的视分量得到的非压缩图片数据写入这些左眼用平面存储器、右眼用平面存储器中。该写入在各个访问单元的演示时间戳所示的再现开始时刻到来时执行。

将解码后的图片数据写入左眼用平面存储器、右眼用平面存储器中哪个，根据播放列表信息中的基本视指示符来进行。若基本视指示符将基本 视视频流指定为“左眼用”，则将构成基本视视频流的视分量的图片数据写入左眼用平面存储器，将构成从属视视频流的视分量的图片数据写入右眼用平面存储器。

若基本视指示符将基本视视频流指定为“右眼用”，则将作为基本视视频流的视分量的图片数据写入右眼用平面存储器，将作为从属视视频流的视分量的图片数据写入左眼用平面存储器。另外，将这些视分量依次输出到显示装置。具体而言，在一个帧期间，同时输出左眼用平面存储器的图片数据与右眼用平面存储器的图片数据。左眼用视频平面及右眼用视频平面由多个线存储器(line memory)构成，构成视频数据的像素数据分别存储在构成线存储器的32比特长的存储元件中。另外，构成图片数据的像素数据在画面上的坐标例如对应于作为视频平面中线存储器的地址的ROW地址、与作为线存储器中存储元件的相对地址的COLUMN地址的组。

(4-1-4)字幕解码器4

字幕解码器4解码PG_文本字幕流，将通过解码得到的非压缩位图或图形写入图形平面中。

(4-1-5)图形平面5

图形平面5由PG平面5a、GFX平面5b构成。PG平面5a存储由字幕解码器4解码得到的字幕。GFX平面5b存储由OSD处理部16描绘的OSD。

(4-1-5-1)PG平面5a

PG平面5a由多个线存储器构成，将构成非压缩字幕的像素数据分别存储在构成PG平面的线存储器的半字(8比特)长的存储元件中。之后，构成字幕的像素数据在画面上的坐标例如对应于指示PG平面中像素数据的线存储器的ROW地址、与指示该线存储器中的存储元件的COLUMN地址的组。所谓PG平面中存储的像素数据是8比特的像素代码。利用使用颜色查找表(color look-up table)的色变换，将8比特的像素代码变换为Y值、Cr值、Cb值、α值。例如在将图片数据的分辨率设定为1920×1080的情况下，PG平面存储横向1920×纵向1080的像素数据。在相当于PG平面背景部分的存储元件中，存储表示透明色的Y值、Cr值、Cb值、α值，该部分在合成左眼用视频平面及右眼用视频平面时，左眼用视频平面及右眼 用视频平面中的动态图像透视。另一方面，在相当于前景部分的存储元件中存储表示透明色以外的Y值、Cr值、Cb值、α值，由该透明色以外的Y值、Cr值、Cb值、α值来描绘字幕。

(4-1-5-2)GFX平面5b

GFX平面5b由多个线存储器构成，构成OSD的像素数据分别存储在构成GFX平面的线存储器的双字(32比特)长的存储元件中。之后，构成OSD的像素数据在画面上的坐标例如对应于指示GFX平面中像素数据的线存储器的ROW地址、与指示该线存储器中的存储元件的COLUMN地址的组。GFX平面中的像素数据由8比特的R值、8比特的G值、8比特的R(B)值、8比特的透明度α构成。在将分辨率设定为1920×1080的情况下，GFX平面存储横向1920×纵向1080的像素数据。在相当于GFX平面背景部分的存储元件中，存储表示透明色的R值、G值、B值、α值，该部分在合成左眼用视频平面及右眼用视频平面时，左眼用视频平面及右眼用视频平面中的动态图像透视。另一方面，在相当于前景部分的存储元件中存储表示透明色以外的R值、G值、B值、α值，由该透明色以外的R值、G值、B值、α值来描绘字幕。

(4-1-6)层合成部6

层合成部6执行多个平面存储器中的层合成。在构成层合成对象的层存储器中存在左眼用视频平面、右眼用视频平面、PG平面、GFX平面，这些平面具有阶层构造，即：左眼用视频平面及右眼用视频平面存在于下位层中，在其上一层中存在PG平面，在其再上一层中存在GFX平面。层合成部6根据该阶层构造来执行层合成，得到向左眼用图片数据及右眼用图片数据分别合成字幕或OSD的合成影像，供给输出。

(4-1-7)收发部7

收发部7当经接口与家庭影院系统中的其他设备连接时，经协商阶段，移至数据传送阶段，进行数据传送。该协商阶段把握对方侧设备的性能(包含解码能力、再现能力、显示频率)，设定在播放器设定寄存器中，确定以后传送用的传送方式，包含确认彼此装置的正当性的相互认证阶段。经该协商阶段，根据显示装置中的水平同步期间，将层合成后的图片数据中的一线大小的非压缩明文形式的像素数据以高的传送速率传送到显示装置。 另一方面，在显示装置的水平回扫期间及垂直回扫期间，向与再现装置连接的其他装置(不仅电视，还包含放大器、扬声器)传输非压缩明文形式的音频数据。由此，电视、放大器、扬声器等设备能接收非压缩明文形式的图片数据、非压缩明文形式的音频数据，能实现再现能力。另外，在对方侧设备中存在解码能力的情况下，能对视频流、音频流进行透过(pass-through)传输。透过传输能以压缩加密形式原样传输视频流、音频流。

(4-1-8-1)左右移位部8a

左右移位部8a通过向PG平面中的像素数据的X坐标提供水平方向的偏移，实现立体视觉。如上所述，构成字幕的像素数据在画面上的坐标对应于指示PG平面中像素数据的线存储器的ROW(行)地址与指示该线存储器中存储元件的COLUMN(列)地址的组。若使指示PG平面中字幕的各像素数据存储元件的COLUMN地址增减相当于偏移序列的plane_offset_value的地址，则能使像素数据的坐标向左右方向位移。像素数据的地址移位能通过伴随地址调整的像素数据的拷贝处理来实现。这里，在想以由偏移序列的plane_offset_value指定的像素数X变更像素数据的X坐标的情况下，在像素数据的拷贝时，以相当于像素数X的地址对指示构成该拷贝对象的存储元件的COLUMN地址进行前后调整。若以这种调整为前提执行拷贝，则像素数据的坐标向左右方向移位。当层合成部6执行层合成时，在构成PG平面的线存储器与层合成部6内的线存储器之间，执行上述像素数据的拷贝，所以若在该拷贝时执行上述地址调整，则能左右移位PG平面。

(4-1-8-2)左右移位部8b

左右移位部8b通过向GFX平面中的像素数据的X坐标提供水平方向的偏移，实现立体视觉。如上所述，构成OSD的像素数据在画面上的坐标对应于指示GFX平面中像素数据的线存储器的ROW地址与指示该线存储器中存储元件的COLUMN地址的组，所以若使指示GFX平面中OSD的各像素数据存储元件的COLUMN地址增减相当于plane_offset_value的地址，则能使像素数据的坐标向左右方向位移。像素数据的地址移位能通过伴随地址调整的像素数据的拷贝处理来实现。这里，在想以由plane_offset_value指定的像素数X变更像素数据的X坐标的情况下，在像 素数据的拷贝时，以相当于像素数X的地址对指示构成该拷贝对象的存储元件的COLUMN地址进行前后调整。若以这种调整为前提执行拷贝，则像素数据的坐标向左右方向移位。当层合成部6执行层合成时，在构成GFX平面的线存储器与层合成部6内的线存储器之间，执行上述像素数据的拷贝，所以若在该拷贝时执行上述地址调整，则能左右移位GFX平面。

(4-1-9)上下移位部9

上下移位部9通过上下方向移位视频平面中的像素数据，在视频平面的上端或下端中设置空白区域。如上所述，构成图片数据的像素数据在画面上的坐标对应于视频平面中线存储器的地址与指示线存储器中存储元件的COLUMN地址的组。从而，若以相当于top_down_offset、bottom_up_offset的地址使指示视频平面中像素数据的线存储器的ROW地址移位，则能使像素数据的坐标上下方向位移。像素数据的地址移位可通过伴随地址调整的像素数据的拷贝处理实现。这里，在想以由预定的像素数Y变更像素数据的Y坐标的情况下，在像素数据的拷贝时，将指示构成该拷贝对象的线存储器的ROW地址调整到Y线上或Y线下。若以这种调整为前提执行像素数据拷贝，则指示像素数据的线存储器的ROW地址变更，伴随该变更，像素数据的坐标向上方向或下方向移位。当层合成部6执行层合成时，在构成视频平面的线存储器与层合成部6内的线存储器之间，执行上述像素数据的拷贝，所以若在该拷贝时执行上述地址调整，则能上下移位视频平面。

(4-1-10)解复用部10

解复用部10具备将源数据包变换为TS数据包的源去包器、执行数据包滤波的PID滤波器，将具备3D播放列表信息的基本流选择表流入口中记述的数据包标识符的源数据包变换为TS数据包后输出到解码器，将具有3D播放列表信息的立体视觉流选择表流入口中记述的数据包标识符的源数据包变换为TS数据包后输出到解码器。基本流选择表的多个入口及扩展流选择表的多个入口中具有哪个数据包标识符，基于播放器状态寄存器中流号码寄存器的设定。

(4-1-11)寄存器组11

寄存器组11由多个播放器状态寄存器、多个播放器设定存储器构成。各个播放器状态寄存器、播放器设定存储器均为字长为32比特的寄存器，向32比特长的寄存器分别提供寄存器号码，使用该寄存器号码来确定应访问的寄存器。

将构成各寄存器一字(32比特)的各比特数据的比特位置称为b0~b31。将最上位比特称为b31，将最下位比特称为b0。另外，32比特中从第bx比特的比特位置至第by比特的比特位置的比特范围由［bx:by］的表述来表现。

将规定寄存器号码的播放器设定寄存器/播放器状态寄存器中存储的32比特长的比特串、即任意比特范围［bx:by］的值处理为程序进行动作时的动作系统的环境变量(称为系统参数或播放器变量)。进行再现控制的程序可通过系统性能或应用编程接口(API)来取得系统参数。另外，只要不特别禁止，则程序能改写这些播放器状态寄存器、播放器设定存储器的值。要件是向基于面向对象编程语言的程序中系统参数的取得或改写提供正当权限。

播放器状态寄存器是再现装置的MPU执行算术运算或比特运算时、用于存储构成其被运算符的数值的硬件资源，是在装填光盘时设定初始值，另外，在当前播放项目的变更等再现装置的状态变化时，判定其存储值有效性的寄存器。作为该存储值，有当前标题(title)号码、当前播放列表号码、当前播放项目号码、当前流号码、当前章节(chapter)号码等。因为在装填光盘时存储初始值，所以该存储值为暂时的，若排出光盘，或断开再现装置的电源，则该存储值丧失有效性。

播放器设定存储器与播放器状态寄存器的不同之处在于实施电源对策。因为实施电源对策，所以在再现装置的电源断开时，其存储值保存到非易失性存储器中，在再现装置的电源接通时，恢复其存储值。将再现装置的制造主体(制造商)在再现装置出厂时设定的再现装置的各种配置、用户根据设置步骤设定的各种配置、以及再现装置与TV系统或音响、放大器等家庭影院系统的设备连接时，利用与构成连接对方的设备的协商判明的对方侧设备的能力设定在播放器设定寄存器中。

(4-1-12)播放列表信息存储器12

播放列表信息存储器12存储构成播放列表信息的多个播放项目信息，并且，存储通过结合播放项目信息中包含的基本流选择表与扩展流选择表而得到的结合流登记序列。

(4-1-13)过程执行部13

过程执行部13对基本流选择表及扩展流选择表的结合流登记信息执行流选择过程，将当前字幕流号码写入寄存器组11内的流号码寄存器。之后，对当前字幕流确定最佳布局，让上下移位部9执行对应于该布局的视频平面的移位。字幕布局中有通常布局、上端配置布局、下端配置布局，在采用上端配置布局作为当前字幕流的布局的情况下，控制上下移位部9，使视频平面向下方向移位。在采用下端配置布局作为当前字幕流的布局的情况下，控制上下移位部9，使视频平面向上方向移位。

(4-1-14)再现控制部14

再现控制部14执行自视频流时间轴上的任意时刻起的随机访问。具体地，在命令从视频流时间轴上的任意时刻再现的情况下，使用3D流信息文件中的基本入口映射与扩展入口映射，搜索对应于该任意时刻的访问单元的源数据包号码。这种访问单元包含基本视视频流的视分量及从属视视频流的视分量的组，通过上述搜索，确定存储对该访问单元的访问单元定界符的源数据包的源数据包号码。通过执行从这种源数据包号码的读出及解码，执行随机访问。当3D播放列表再现时，使用由3D播放列表信息的主路径信息规定的开始时间、结束时间与由辅路径信息规定的开始时间、结束时间，对主TS、辅TS分别执行随机访问，由此开始播放列表再现。

(4-1-15)操作受理部15

操作受理部15检测、通知对遥控器或再现装置12前面板等输入设备执行的用户操作。该通知通过根据对应于这些输入设备的设备驱动器内的中断处理器发生的中断、生成UOP来执行。所谓UOP是遥控器或前面板中设置的键矩阵检测到键按下时发生的事件(UOP事件)，具有对应于按下的键的属性。具体地，当对应于遥控器或前面板的设备驱动器的中断处理器通过对键矩阵的键感应检测到键按下时，根据该键按下发生中断信号，从而生成UOP事件。

(4-1-16)OSD处理部16

OSD处理部16当再现控制部14执行根据操作受理部15受理的操作的处理时，显示对应于该操作的内置用GUI，视觉地反馈用户执行的操作，并执行对应于该用户操作的处理。在本实施方式中，使用OSD作为内置用GUI的一例。

若通过用户操作而请求的处理是设置(set up)处理，则在画面中显示设置菜单的OSD，受理对该OSD的设定操作。根据该设定操作，更新寄存器组11内的播放器设定寄存器。若是再现、停止，则根据该用户操作，让再现控制部14执行播放列表再现或播放列表再现的停止。

若是暂停、快进、后退、录制、声音选择、字幕选择，则判定该用户操作是否由每个播放项目信息的用户操作屏蔽表许可。在执行许可的操作的情况下，显示视觉地表示该操作的OSD，在执行禁止的操作的情况下，显示视觉地表示禁止该操作的OSD。在显示这些OSD时，选择与字幕解码器4在字幕显示中使用的配置布局相同的布局。

以上是对再现装置的内部构成的说明。

(4-2)寄存器组11的内部构成

下面，说明寄存器组11内存在的播放器设定寄存器、播放器状态寄存器中特别重要的寄存器。本申请说明书中特别使用的是寄存器组中第2个播放器状态寄存器(PSR2)、第22个播放器状态寄存器(PSR22)。图12是表示PSR2、PSR22的内部构成的图，从此前所示的内部构成或数据结构中抽取需要特别说明的构成要素，描述构成要素间的关联。

下侧示出解复用部10、字幕解码器4。上侧描绘作为寄存器组11内的32比特长的寄存器的PSR2、PSR22、与存储扩展流选择表的存储器。图中箭头Py1、Py2模式表示基于解复用部10的PSR2、流登记信息中的上端字幕的流入口、下端字幕的流入口的参照。图中箭头Py3、Py4、Py5模式表示基于字幕解码器4的上端配置是否存在标志/下端配置是否存在标志的参照、上移位/下移位状态寄存器的参照、与立体视觉状态寄存器的参照。

PSR2的［b11:b0］构成流号码寄存器。流号码寄存器将1~255的值存储为流号码。通过存储0XFFF，表示字幕非选择状态。

PSR22的［b0］构成立体视觉状态寄存器。通过将立体视觉状态寄存器设定为0，表示是2D再现模式。通过设定为1，表示是3D再现模式。

PSR22的［b2:b1］构成上移位/下移位状态寄存器。上移位/下移位状态寄存器通过将b2,b1设定为0,0，表示不存在上移位、下移位的能力。通过将b2,b1设定为1,0，表示存在视频平面的下移位的能力。通过将b2,b1设定为1,1，表示存在视频平面的上移位的能力。

(4-3)字幕及OSD的布局

在选择与字幕布局相同的布局作为OSD布局的情况下，OSD的XY坐标必需由字幕布局来决定。这里，在将OSD可取的坐标中上侧坐标设为Y0、下侧坐标设为Y1的情况下，应如何决定这些Y0、Y1参照图13来说明。

图13(a)表示通常布局。如图所示，在字幕上端侧存在top_margin高度的空白。在下端侧存在bottom_margin高度的空白。在由这种布局显示动态图像的情况下，动态图像的纵向幅度变为Frame_Height-(top_margin+bottom_margin)的大小。此时，OSD的Y0、Y1确保在下端侧空白。

这些bottom_margin、top_margin的值是通过将播放列表信息中的平面内有效化信息的bottom_margin字段、top_margin字段中记载的偏移乘以2得到的值。

图13(b)表示上端配置布局。此时，在画面的上端侧存在top_down_offset的空白区域。Y0、Y1确保在该上端侧空白的空白区域。

在图形平面的坐标系中，上侧的空白区域存在于从0至top_down_offset。Y0、Y1变为该上端侧空白。从而，Y0变为0，Y1变为top_down_offset。该top_down_offset的值是通过将播放列表信息中的平面内有效化信息的top_down_offset字段中记载的偏移乘以2得到的值。

图13(c)表示下端配置布局。此时，在上端侧存在bottom_up_offset的空白。在图形平面的坐标系中，下侧的空白区域的上端坐标是向bottom_up_offset 加上作为动态图像框的纵向幅度的Frame_Height-(top_margin+bottom_margin)的坐标。该bottom_up_offset的值是通过将播放列表信息中的平面内有效化信息的bottom_up_offset字段中记载的偏移乘以2得到的值。另外，下侧的空白区域的下端坐标变为Frame_Height。Y0、Y1变为该下端侧空白。从而，Y0变为 bottom_up_offset+Frame_Height-(top_margin+bottom_margin)，Y1变为Frame_Height。

尤其是在电影作品的影像中，通常是宽银幕电影尺寸(1：2.35)的高宽比(aspect)，在BD-ROM等光盘中存储影像的情况下，宽高比不变更地将正片影像配置在16：9的HDTV影像的中央，如图13(a)所示，通常在画面上下插入黑框。因此，若采用图13(b)、(c)的布局，则能在将位于影像上下的黑框集中在视频平面的上或下的宽的字幕显示区域中显示字幕。从而，能提高画面的利用效率，能提高立体视觉效果。

(4-4)与视频平面的层合成

下面，说明执行上下方向移位的视频平面与图形平面的层合成。图14表示执行下方向移位的视频平面的内容与图形平面的层合成。

该图中，视频平面变为图13(b)的布局，在上端侧存在空白区域，设定成Y0=0、Y1=top_down_offset。图14(a)是用于在近前侧看见字幕的移位的情况，图14(b)是用于在里侧看见字幕的移位的情况。在图14(a)、(b)各自中，里侧是视频平面，近前是图形平面。视频平面通过执行下方向移位，变为图14(b)所示的上端配置布局。图14(a)中，对近前侧的图形平面执行用于在近前看见字幕的平面移位，在图形平面内的像素X坐标制作左右方向的偏移，从而在近前看见图形平面。

图15表示执行上方向移位的视频平面的内容与图形平面的层合成。图中，视频平面变为图13(c)的布局，在下端侧存在空白区域，Y0被设定成bottom_up_offset+Frame_Height-(top_margin+bottom_margin)。

图15(a)是用于在近前侧看见字幕的移位的情况，图15(b)是用于在里侧看见字幕的移位的情况。在图15(a)、(b)各自中，里侧是视频平面，近前是图形平面。视频平面通过执行上方向移位，变为图13(b)所示的下端配置布局。图15(a)中，对近前侧的图形平面执行用于在近前看见字幕的平面移位，在图形平面内的像素X坐标制作左右方向的偏移，从而在近前看见图形平面。

图16(a)表示由图14的层合成得到的立体视觉影像。图16(b)表示由图15的层合成得到的立体视觉影像。以上是对与视频平面的层合成的说明。

(4-5)图形平面布局的时间变迁

下面，说明图形平面布局的时间变迁的细节。图17表示PG平面的布局与OSD的布局的时间变迁。第1段表示多个图片与合成到各图片的OSD。第2段表示播放项目信息#1、#2、#3。第3段表示对应于各播放项目信息的扩展流选择表中的流登记信息的记述内容。这里，在再现装置的流号码寄存器设定成流号码“=1”，对播放项目信息#1的扩展流选择表中的流号码“=1”的流登记信息设定为上端配置是否存在标志“=1”、下端配置是否存在标志“=0”的情况下，PG平面的布局变为上端配置布局。此时，OSD的布局选择为上端配置布局。

在对播放项目信息#2的扩展流选择表中的流号码“=1”的流登记信息设定为上端配置是否存在标志“=0”、下端配置是否存在标志“=0”的情况下，PG平面的布局变为通常布局。此时，OSD的布局选择为通常布局。

在对播放项目信息#3的扩展流选择表中的流号码“=1”的流登记信息设定为上端配置是否存在标志“=1”、下端配置是否存在标志“=0”的情况下，PG平面的布局变为上端配置布局。此时，OSD的布局选择为上端配置布局。

图18表示PG平面的布局与OSD的布局的时间变迁。第1段表示多个图片与合成到各图片的OSD。第2段表示播放项目信息。第3段表示对应于各播放项目信息的扩展流选择表中的流登记信息的记述内容。这里，在再现装置的流号码寄存器设定成流号码“=1”，对播放项目信息#1的扩展流选择表中的流号码“=1”的流登记信息设定为上端配置是否存在标志“=0”、下端配置是否存在标志“=1”的情况下，PG平面的布局变为下端配置布局。此时，OSD的布局选择为下端配置布局。

在对播放项目信息#2的扩展流选择表中的流号码“=1”的流登记信息设定为上端配置是否存在标志“=0”、下端配置是否存在标志“=0”的情况下，PG平面的布局变为通常布局。此时，OSD的布局选择为通常布局。

在对播放项目信息#3的扩展流选择表中的流号码“=1”的流登记信息设定为上端配置是否存在标志“=0”、下端配置是否存在标志“=1”的情况下，PG平面的布局变为下端配置布局。此时，OSD的布局选择为下端配置布局。

以上是对字幕布局及OSD布局的说明。

(4-6)播放列表再现的控制步骤

以上字幕流的选择或字幕显示用布局选择与播放列表的再现联动执行。说明构成字幕流选择或字幕布局选择前提的播放列表再现的控制步骤。

以上的再现控制可通过由面向对象型编译器语言记述图19至图24的流程图所示的处理步骤后让计算机执行来实现。

图19表示播放列表再现步骤。该流程图在步骤S1将当前播放项目号码设定为1后，构成重复步骤S2~步骤S6的处理的循环。在该循环中，在当前播放项目号码变为最终号码之前，重复如下处理，即：由Procedure when playback condition is changed(再现条件变化时的过程)来决定流号码(步骤S2)，打开存储对应于流号码的ES的流文件读出源数据包串(步骤S3)，指示读出的源数据包串中对应于流号码的源数据包串的解复用(步骤S4)，命令解码器将读出的源数据包从播放项目的开始时间再现到结束时间、从辅播放项目的开始时间再现到结束时间(步骤S5)。这里，若不是最终号码(步骤S6为否)，则将当前播放项目号码递增，移动到步骤S7。

此时，步骤S7中判定是否有流选择请求，若有请求，则将请求的流号码设为x，执行Procedure when stream change is requested(请求流变化时的过程)(步骤S8)。若是最终号码，则终止处理(步骤S6为是)。

(4-7)当前流及其再现类型决定

使用输出模式(PSR22)、PSR24中的立体视觉PG性能、is_SS_PG来选择由PSR2的PG_文本字幕流号码参照的PG_文本字幕流。

图20是表示PGtestST流的Procedure when playback condition is changed的处理步骤的流程图。该流程图中，步骤S11~步骤S22的处理为立体视觉模式及平面视觉模式的共同处理。步骤S23~步骤S24是立体视觉模式特有的处理。

在步骤S11中，从PSR2取得当前PG_文本字幕流号码，在步骤S12中，判定当前PG_文本字幕流号码是PG流的还是文本字幕流的。步骤S13检查对应于当前PG_文本字幕流号码的PG流是否满足条件(A)、条件(B)。

这里，条件(A)、条件(B)如下规定。

条件(A)：再现装置中存在解码由当前PG_文本字幕流号码确定的PG流的能力。

条件(B)：由当前PG_本字幕流号码确定的PG流的语言属性与再现装置的语言设定相同。

另一方面，在步骤S14中，检查对应于当前PG_文本字幕流号码的文本字幕流是否满足条件(A)、条件(B)。

条件(A)：再现装置中存在将当前PG_文本字幕流号码的文本字幕流的字符代码展开成位图的能力。这种再现能力示于寄存器组23中的PSR30中。

条件(B)：再现装置中存在支持当前PG_文本字幕流号码的文本字幕流的语言特性的能力。

这里，在某种语言的字幕由文本字幕流表现的情况下，为了将该语言的文本字幕流设为‘能解码’，再现装置侧必需存在将该语言中的字符代码展开为位图的能力、与支持该语言的特性的支持能力。

说明位图展开。再现装置中存在从文本字幕向位图的展开能力必需存在能将某种语言的文本代码展开为位图的处理能力。世界上现存BIG5字符代码、GB2312用CN-GB编码方式、GB18030-2000字符代码、KSC5601-1987用EUC-KR编码方式、Shift-JIS字符代码/编码方式等种类。另外，能否将文本字幕流展开为位图因构成对象的文本字幕流的文本代码相当于这些字符代码/编码方式中哪个而不同。这里，在再现装置的第30个播放器设定寄存器(PSR30)中，对BIG5字符代码、GB2312用CN-GB编码方式、GB18030-2000字符代码、KSC5601-1987用EUC-KR编码方式、Shift-JIS字符代码/编码方式分别设定再现装置中是否存在将文本代码展开为位图等处理能力。从而，能否解码构成对象的文本字幕流可通过参照PSR30所示的每个字符代码/编码方式的处理能力中、对应于该文本字幕流的文本代码类型的处理能力来判断。

说明语言特性的支持能力。以英语、日语、阿拉伯语为例，只有在英语的字幕显示支持“横写”、“字距调整”、“连体字/连字(合字/抱き字：double letter/logotype)”功能时，才能够判定为支持语言特性。

只有在日语的字幕显示支持“横写”、“竖写”、“行尾禁止规则”(行末禁則)、“注音假名”功能时，才能够判定为支持语言特性。

只有在阿拉伯语的字幕显示支持“从右向左书写”、“连体字/连字”功 能时，才能够判定为支持语言特性。

在可将某种语言的文本字幕流展开为位图、可支持该语言特性的情况下，可满足上述条件(A)、条件(B)。在虽然可将该语言的文本字幕流展开为位图、但不能支持该语言特性的情况下，则不满足上述条件(B)，仅满足条件(A)。

就寄存器组中的PSR48~61的各位而言，对每种语言设定每种语言的支持能力。具体地，PSR48~61中存在对应于由IS0639-2/T规定的3字节语言代码各自的标志，对这些标志设定有无对应于各语言代码的文本字幕的显示能力。

就由IS0639-2/T规定的3字节语言代码而言，‘ita’的3字节代码表示意大利语，‘jpn’的3字节代码表示日语。‘jav’的3字节代码表示爪哇语。由于由IS0639-2/T规定的语言代码如此通过3字节的代码网罗430种语言，所以在决定当前PG_文本字幕流序中，在判定能否解码流号码表中记载的文本字幕流时，参照该PSR48~61中的标志。由此，即便是少数派的语言，也可适当判断能否解码。

在经过以上判定之后，执行步骤S15。步骤S15判定再现装置是否满足条件(Z)。

这里，所谓条件(Z)是用户期望再现无语言特性支持的不支持语言字幕，这种期望示于寄存器组中的PSR30中。

之后，执行步骤S16的判定步骤。这是判定是否当前播放项目的流选择表中的PG_文本字幕流的个数=0。在流选择表中不存在允许再现的PG_文本字幕流的情况下，维持PSR2中的PG_文本字幕流的号码(步骤S17)。

在当前流选择表中存在至少1个允许再现的PG_文本字幕流的情况下，执行步骤S18。这是询问当前PG_文本字幕流号码的有效性的步骤，判定当前PG_文本字幕流号码是否是流选择表中的stream_entry的总数以下，且满足条件(A)、条件(B)。

若步骤S18中判定为不满足，则执行步骤S20的判定。这是判定当前PG_文本字幕流号码是否是流选择表中的stream_entry的总数以下，且满足条件(A)(Z)的判断。若满足，则对PSR2设定不支持语言的文本字幕的PG_文本字幕流号码，但由于用户期望再现不支持语言，所以不使PSR2变化(步 骤S21)。若步骤S20中判定为不满足，则对当前播放项目选择最佳的流(步骤S22)。

在下面的步骤S23中，PSR22的PG_文本字幕流的流登记信息从扩展流选择表中取得当前PG_文本字幕流。之后，在步骤S24中，决定当前PG_文本字幕流的再现类型。

以上是对PG_文本字幕流中的Procedure when playback condition is changed的说明。

图21是表示对当前播放项目选择最佳的PG_文本字幕流的处理步骤的流程图。

步骤S30中，对全部PG_文本字幕流检查是否满足条件(a)~条件(c)。

在将构成检查对象的PG流设为PG流i的情况下，条件(a)~条件(c)如下规定。

条件(a)：再现装置中存在解码PG流i的能力。

条件(b)：PG流i的PG_language_code与再现装置中的语言设定一致。这里，再现装置中的语言设定示于寄存器组中的PSR17中。

在将构成检查对象的文本字幕流设为文本字幕流i的情况下，条件(a)~条件(c)如下规定。

条件(a)：再现装置中存在将文本字幕流i的字符代码展开成位图的能力。

条件(b)：再现装置中存在支持文本字幕流i的语言属性的能力。

条件(c)：文本字幕流i的textST_language_code与再现装置中的语言设定一致。

在经过以上检查之后，在步骤S31中，再现装置判定是否满足前一流程图中所述的条件(Z)(：不支持语言的再现)。在不满足的情况下，在步骤S32中，判定是否存在满足条件(a)~条件(c)的PG_文本字幕流。若存在，则选择满足条件(a)~条件(c)的PG_文本字幕流中、对应的流入口在流选择表中位于开头顺序的PG_文本字幕流，将选择到的PG_文本字幕流号码设定在PSR2(步骤S33)。

若不存在满足条件(a)~条件(c)的PG_文本字幕流，则在步骤S34中，判定是否存在满足更宽松的条件的文本字幕流。所谓宽松的条件是满足条 件(a)、条件(b)，步骤S34中判定是否存在满足条件(a)、条件(b)的文本字幕流。若存在，则选择满足条件(a)、条件(b)的PG_文本字幕流中、对应的流入口在流选择表中位于开头顺序的PG_文本字幕流，将选择到的PG_文本字幕流号码设定在PSR2(步骤S36)。

若不存在，则将为0xFFF的PG_文本字幕流号码设定在PSR2(步骤S35)。在步骤S31中，若判定为满足条件(Z)，则在步骤S37中，判定是否存在满足其他宽松条件的PG_文本字幕流。所谓其他宽松的条件是满足条件(a)、条件(c)，步骤S37中判定是否存在满足条件(a)、条件(c)的PG_文本字幕流。

若存在，则选择满足条件(a)、条件(c)的PG_文本字幕流中、对应的流入口位于流选择表最初的PG_文本字幕流，将选择到的PG_文本字幕流号码设定在PSR2(步骤S38)。

在不存在的情况下，在步骤S39中，判定是否存在满足条件(a)的PG_文本字幕流。在存在的情况下，选择满足条件(a)的PG_文本字幕流中、对应的流入口在流选择表中位于开头顺序的PG_文本字幕流，将选择到的PG_文本字幕流号码设定在PSR2(步骤S40)。在不存在的情况下，将0xFFF设定在PSR2(步骤S35)。

以上是对最佳PG_文本字幕流的选择步骤的说明。

(4-8)请求流变化时的步骤

图22是表示在由设定立体视觉流命令(SetstreamSSCommand)请求流变化时应执行的Procedure when stream change is requested的处理步骤的流程图。

在步骤S41中，设定立体视觉流命令判定由操作数指定的号码X是意味着PG流的流号码还是意味着文本字幕流的流号码。步骤S42检查对应于号码X的PG流(PGx)是否满足以下条件(A)、条件(B)。

条件(A)：再现装置中存在解码由号码X确定的PG流的能力。

条件(B)：构成所确定的PG流属性的语言与再现装置的语言设定一致。

步骤S43检查对应于号码X的文本字幕流(textSTx)是否满足以下条件(A)、条件(B)。

条件(A)：再现装置中存在将对应于号码X的文本字幕流X的字符代 码展开成位图的能力。

条件(B)：再现装置中存在支持对应于号码X的文本字幕流X的语言属性的能力。

在步骤S44中，再现装置检查是否满足条件(Z)，进行步骤S45的判定。该判定是判定号码是否为流选择表中的stream_entry的总数以下，且是否满足条件(A)(B)的判定。若满足，则选择相当于号码X的PG_文本字幕流号码的PG_文本字幕流，设定在PSR2(步骤S46)。

若在步骤S45中判定为不满足，则执行步骤S47的判定。该判定是判定号码是否为流选择表中的stream_entry的总数以下，且是否满足条件(A)(Z)。若满足，则选择相当于号码X的PG_文本字幕流，将该PG_文本字幕流号码设定在PSR2(步骤S48)。

若不满足，则执行步骤S49的判定。该判定是判定号码X是否是0xFFF。若不是，则流选择表中不存在允许再现的PG_文本字幕流，维持PSR2的值(步骤S50)。

若是0xFFF，则对当前播放项目选择最佳的PG_文本字幕流(步骤S51)。该最佳的PG_文本字幕流的选择与图23所示的相同。

以后的步骤S52~步骤S55是立体视觉模式特有的处理。具体地，从扩展流选择表中的流登记信息中取得由PG流号码X确定的PG流X的is_SS_PG(步骤S23)。

图23是表示由设定流命令或请求流号码变更的用户操作来请求流变化时应执行的Procedure when stream change is requested的处理步骤的流程图。在该流程图中，在步骤S56中，通过将由设定流命令的操作数指定的流号码、或由请求流号码变更的用户操作指定的流号码设定为序列X，执行步骤S41~步骤S50、S23、S24的处理。该步骤S41~步骤S50、S23、S24的处理内容与图22的一样，所以附加相同的参照符号，省略其说明。

(4-9)当前字幕流的再现类型决定

在以上流选择过程的处理步骤中，当前字幕流的再现类型必需对应于再现装置中的字幕显示的能力与播放列表信息中每个播放项目信息的扩展流选择表的内容来决定。作为图20~图23的子例程，图24的流程图表示当前字幕流的再现类型决定的处理步骤。

图24是表示当前流种类的再现类型决定的处理步骤的流程图。该流程图构造成对应于步骤S62、步骤S63、步骤S64的判定步骤中的判定结果的组合，使处理分支到步骤S65~步骤S67、步骤S68~步骤S70、步骤S72、S73、步骤S71之一。步骤S62是是否将对应于当前字幕流号码的上端配置是否存在标志设定为开(ON)、视频平面的下移位能力标志是否示为“有能力”的判定，若该步骤S62为是，则在步骤S65中将当前字幕的再现类型设为上端配置布局的再现类型，在步骤S66中，将视频平面向下移位top_down_offset。

在步骤S67中，在图形平面执行使用了扩展流选择表中的多个流登记信息中、对应于PSR2中存储的当前流的流号码的流登记信息的上端字幕偏移序列ID参照信息所指示的偏移序列的平面移位。即，使PG平面及GFX平面向左方向或右方向沿偏移序列的offset_direction所示的方向移位偏移序列的offset_value所示的像素数。

步骤S63是以步骤S62为否为前提执行的步骤。即，步骤S63是是否将对应于当前字幕流号码的下端配置是否存在标志设定为开、是否存在上移位能力标志的判定，若该步骤S63为是，则在步骤S68中将当前字幕的再现类型设为下端配置布局的再现类型，在步骤S69中，将视频平面向上移位bottom_up_offset。在步骤S70中，在图形平面上执行使用了扩展流选择表中的多个流登记信息中、对应于PSR2中存储的当前流的流号码的流登记信息的下端字幕偏移序列ID参照信息所指示的偏移序列的平面移位。

步骤S64判定是否将对应于当前字幕流号码的立体视觉是否存在标志设定为开、且PSR24中的b2的立体视觉PG能力为“1”。若步骤S64为是，则将当前字幕流的再现类型设为使用左眼PG流及右眼PG流的立体视觉PG(步骤S71)。

在设再现类型为立体视觉PG的情况下，使用扩展流选择表中的多个流登记信息中、对应于PSR2中存储的当前流的流号码的流登记信息的右眼流入口及左眼流入口内的数据包标识符参照，进行立体视觉再现。具体地，使解复用部执行对应于PSR2中存储的当前流流号码的流登记信息的右眼流入口及左眼流入口内数据包标识符参照所指示的数据库标识符的TS数据包的解复用。

若步骤S64为否，则将再现类型设为1plane+Offset(步骤S72)。在步骤S73中，在图形平面执行使用了扩展流选择表中的多个流登记信息中、对应于PSR2中存储的当前流流号码的流登记信息的PG_文本字幕偏移序列ID参照信息所指示的偏移序列的平面移位。

在步骤S67、步骤S70、步骤S73中，让左右移位部8执行基于这些平面移位方向信息、平面偏移值的左右方向的移位，所以字幕的飞出量、拉入量在基本视视频流的时间轴中GOP的各个帧期间为最佳。

以上是对当前字幕流的再现类型决定的说明。此前的说明以基于播放列表信息的再现处理的说明为主，而此后为OSD描绘部的详细说明。

(5-1)OSD的类型

下面示出由OSD处理部16描绘的OSD的类型。

图25(a)表示标题名、章节名、再现经过时刻的显示引导。在后面使用的画面例中，将标题名表述为Tx，将章节名表述为Cx，将再现经过时刻表述为XX：YY：ZZ。

图25(b)表示对用户操作的视觉反馈用的OSD。再现标记mk1、暂停标记mk2、快进标记mk3、后退标记mk4、录制标记mk5均在用户执行对应操作的情况下、视觉地感受(反馈)由再现装置受理这些操作。禁止标记mk6在用户执行上述操作中被禁止的操作的情况下、向用户反馈该禁止。EG标记mk7视觉地反馈请求了选择到英语字幕。JP标记mk8视觉地反馈请求了选择到日语字幕。

图25(c)表示菜单调用时显示的菜单OSD。由声音的按钮部件、字幕的按钮部件、重复再现的按钮部件构成，声音的按钮部件可设定日语、英语等语言种类。字幕的按钮部件可设定日语、英语等语言种类。重复再现的按钮部件可具体设定是以章节单位执行重复再现还是以标题单位执行重复再现。这种菜单OSD无显示时间的限制，若由用户执行菜单调用，则只要无用户关闭菜单的操作，则仍显示菜单。

图25(d)表示存储OSD的GFX平面与存储字幕的PG平面、视频平面的层合成。存储OSD的GFX平面为最近前侧地用于层合成。

以上是由OSD处理部16显示的OSD的类型。

(5-2)OSD处理部16中的软件的层阶层

下面，从软件的层阶层的观点来说明OSD处理部16。图26(a)是表示OSD处理部16中的软件的层阶层的图。如图所示，OSD处理部16由OSD信息的数据库18；对应于菜单调用显示OSD菜单并受理用户操作、处理该用户操作的程序19；与受理OSD信息的检索请求、检索OSD信息数据库、显示与检索请求一致的OSD信息的OSD显示程序20构成。

(5-3)OSD处理部16的功能块

将这些构成OSD处理部16的程序存储在再现装置内的闪式ROM中，由CPU读出后供给执行。将构成该程序的各种执行模块捕捉为功能的构成要素，从功能的侧面看，描绘OSD处理部16的内部构成的是图26的框图。下面，参照该模块来说明OSD处理部16的功能构成要素。

如图所示，OSD处理部16从功能上由OSD布局选择部21、OSD深度调整部22、特殊字幕判定部23、空白区域检测部24、OSD配置决定部25、缩小部26构成。

(5-3-1)OSD布局选择部21

若选择上端配置布局或下端配置布局作为字幕的布局，则OSD布局选择部21选择相同布局作为设备内置的GUI布局。这里，字幕布局是上端配置布局、下端配置布局、通常布局中哪个通过参照扩展流选择表的上端配置是否存在标志、下端配置是否存在标志与PSR2中的上端配置状态标志、下端配置状态标志来决定。

(5-3-2)OSD深度调整部22

OSD深度调整部22当以1plane+Offset模式显示设备内置GUI时，调整设备内置GUI的深度。该OSD深度调整部22执行的调整将以1plane+Offset模式再现PG流、文本字幕流时的水平方向的偏移或移位方向采用为以1plane+Offset模式显示设备内置GUI时的水平方向的偏移。即，OSD深度调整部22当以1plane+Offset模式显示字幕时，根据基本视视频流及从属视流各自的各个GOP的每个帧期间中定义的偏移序列、即由图24的再现类型决定选择的偏移序列的控制参数，确定以1plane+Offset模式显示设备内置GUI时的每个帧期间的移位方向(offset_direction)与移位量(offset_value)。以如此确定的移位方向、移位量来让左右移位部8执行GFX平面中的平面移位。由此，GFX平面中的OSD以与字幕相同的方向及相同 的量立体地再现。

(5-3-3)特殊字幕判定部23

特殊字幕判定部23判定构成再现对象的当前字幕流是否字符数比通常字幕多的特殊字幕。特殊字幕判定部23执行的判定通过将相同语言属性的2个以上字幕流、即其优先顺序在流选择表中被设定为第2个以下的字幕流判定为特殊字幕用的字幕流来执行。

(5-3-4)空白区域检测部24

空白区域检测部24在上端配置布局或下端配置布局中当前的字幕流为文本字幕流的情况下，检测画面的上端或下端确保的字幕区域的空白区域。上端配置布局或下端配置布局中的字幕区域中的字幕配置为靠右、靠左、居中之一，空白区域检测部24执行的空白区域的检测根据字幕区域中的字幕配置与字幕的字符数来执行。

(5-3-5)OSD配置决定部25

OSD配置决定部25决定设备内置GUI、即OSD的配置。这里，在判定为字幕流是特殊的字幕的情况下，由空白区域检测部24检测空白区域，所以设备内置GUI的配置位置为由空白区域检测部24检测到的空白区域内。

(5-3-6)缩小部26

缩小部26缩小应显示在字幕区域中的设备内置的GUI。

以上是对OSD处理部16的说明。

(5-4)OSD信息

下面，说明用于定义这些OSD的信息(OSD信息)的细节。图25所示的OSD均由具有图27(a)所示共同的具体数据结构的OSD信息来定义。说明该共同的数据结构。

图27(a)表示OSD信息的共同的数据结构。

如图所示，由ID、ouput position、output size、minimum scaling size、output_duration、output_data构成。

ID是赋予各个OSD的号码。output position(输出位置)表示GFX平面中的OSD的配置坐标(x,y)。output size(输出尺寸)表示GFX平面中的width(宽度)、height(高度)。minimum scaling size(最小缩放尺寸)表示在GFX 平面中配置OSD的情况下最小的OSD尺寸。output_duration(输出期间)表示在视频流的时间轴上使OSD的显示继续多久。output_data(输出数据)是表示OSD图像的图像位图、文本。

(5-5)OSD数据库

图25中的各种OSD由图27(a)中的共同的数据结构定义，在再现装置中构筑数据库。

图27(b)表示OSD数据库与GFX平面的对应。数据库中由上述共同数据结构定义的OSD信息构筑，该数据库中的OSD信息能通过号码的指定来调用。另外，在调用的OSD信息的output_position中，OSD由OSD信息的width、height所示的大小显示。以上是对用于实现OSD的OSD信息、和由该OSD信息在再现装置内构筑的数据库的说明。

(5-6)OSD处理部16中的处理步骤

下面，说明OSD处理部16的处理步骤的细节。作为OSD处理部16的处理，判定是否执行对应于用户操作的请求而被请求的处理，若不禁止执行请求的处理，则执行视觉反馈，执行该处理，若禁止执行请求的处理，则向用户视觉反馈禁止这种处理。

图28的流程图、图29的流程图示出基于上述2个程序的处理步骤中、对应于用户操作的处理的处理步骤及OSD显示的处理步骤。

(5-6-1)对应于用户操作的处理

图28是表示对应于用户操作的处理的处理步骤的流程图。步骤S71是再现开始等待的步骤，在再现装置起动时重复这种循环。若开始再现，则以一定期间显示再现标记的OSD(步骤S72)，之后移动到由步骤S73、步骤S74、步骤S75的判定步骤构成的判定步骤系列。

步骤S73是是否请求快进/后退/暂停/声音·字幕切换的判定，步骤S74是是否执行标题/章节/时刻显示的显示操作的判定，步骤S75是是否执行停止操作的判定。在请求快进/后退/暂停/声音·字幕切换的情况下，步骤S73为是，移动到步骤S78。步骤S78是指定的操作是否由用户操作屏蔽表禁止的判定，在禁止的情况下，在步骤S79中执行禁止标记的OSD显示之后，返回到步骤S73~步骤S75的循环。

在不禁止的情况下，在步骤S80中执行快进/后退/暂停/声音·字幕切 换的OSD显示，在步骤S81中，执行对应于UOP的处理。

在步骤S74中判定为是的情况下，移动到步骤S77。步骤S77执行标题/章节/时刻的OSD显示，返回到步骤S73~步骤S75的循环。

(5-6-2)OSD显示的处理步骤

图29是表示OSD显示的处理步骤的流程图。在步骤S82中，由应显示的OSD的标识来检索OSD数据库，得到OSD信息，在步骤S83中判定字幕布局。在步骤S84中，从当前的字幕布局的Y0~Y1中检测空白区域，在步骤S86中，判定当前选择的当前PG_文本字幕流是通常字幕还是字符多的特殊字幕。特殊字幕中存在听觉障碍者用字幕(SDH:Subtitle for DefectHearing)或电影导演的评论。为了简化说明，‘字符数多的特殊字幕’只要不特别限定，则指SDH。在步骤S87中，对OSD的配置进行配置位置或配置方法的选择，在步骤S85中，根据可描绘OSD的(X0,Y0)~(X1,Y1)，设定OSD信息的x、y、height、width、倍率、尺寸、显示时间。之后，在步骤S89中，将指定的ID的OSD绘制到GFX平面。

字幕的布局有图13(a)~(c)的通常布局、上端布局、下端布局所示的3种，必需判定将其中的哪个布局设定为当前字幕流的布局。该当前字幕流的布局判定的处理步骤如图30的流程图所示。

(5-7)OSD的布局选择

图30是表示OSD布局选择的处理步骤的流程图。图26(b)所示的OSD布局选择部21的实体构成该图30中的子例程。

该流程图所示的处理步骤是子例程化的步骤，在调用子例程时，通过受理1个以上自变量，执行该流程图所示的处理，在执行该处理之后，返回返回值。在步骤S91中，取得PSR22，移动到步骤S92、步骤S93的判定。步骤S92是PSR22中显示状态的判定，若是2D，则在步骤S94中设定为通常布局。若是3D，则执行步骤S93的判定。

步骤S93是字幕布局的判定，若表示视频平面的移位能力的PSR22的b2-b1为00，则在步骤S94中设为通常布局。若PSR22的b2-b1为11，则在步骤S95中设为下端配置布局。若PSR22的b2-b1为10，则在步骤S96中设为上端配置布局。

字幕布局中有上述3个类型，另外，各个布局中作为字幕区域的上侧 Y坐标的Y0、作为下侧Y坐标的Y1变化。

(5-8)空白区域的检测步骤

与字幕的布局按每个当前字幕流变化一样，在当前字幕的布局中，画面上的空白位置也按每个当前字幕流变化。图31的流程图中规定字幕流的布局中、适于OSD配置的空白区域存在于何处的检测步骤。图26(b)所示的空白区域检测部24的实体为该图31中的子例程。

图31是表示空白区域检测步骤的流程图。该流程图所示的处理步骤子例程化，在调用子例程时，通过受理1个以上自变量，执行该流程图所示的处理，并在执行该处理之后，返回返回值。该子例程的第1自变量是再现的字幕布局，第2自变量是再现的3D影像的基本尺寸，第3自变量是字幕种类。返回值是可描绘OSD的空白信息(区域、位置、字幕类型)。步骤S101是字幕布局的判定，若字幕布局是上端配置布局，则在步骤S102中，将Y0“=0”至Y1=top_down_offset的范围设为字幕区域。若是通常布局，则在步骤S103中将Y0=Frame_Height-bottom_margin至Y1=Frame_Height的范围设为字幕区域。若是上端配置布局，则在步骤S104中将Y0=bottom_up_offset+(Frame_Height-top_margin+bottom_margin)至Y1=Frame_Height的范围设为字幕区域。步骤S105是字幕种类的判定，若字幕种类是文本字幕流，则执行文本字幕流的空白检测，将其空白坐标确定为OSD配置的X坐标，即X0(步骤S106)。

若是PG，则跳过步骤S106。在步骤S107中，将X1设为Frame_Width，将X0,Y0,X1,Y1设为可OSD配置的区域(x0,y0)~(x1,y1)。

如上所述，根据本实施方式，在字幕的布局变化为上端配置布局、下端配置布局的情况下，选择与字幕布局相同的布局作为设备内置的GUI布局，所以将设备内置GUI与字幕配置在相同显示区域中，不会仅将设备内置GUI配置在与动态图像重复的位置上。

(第2实施方式)

在第2实施方式中，说明字幕解码器、与构成该字幕解码器的解码对象的流的内部构成。

PG流中的解码器构成在采用1plane+Offset方式的情况下，变为1解码器+1平面构成。在采用3D-立体视觉模式的情况下，变为2解码器+2平 面构成。

文本字幕流中的解码器构成中不存在3D-立体视觉模式，在1plane+Offset模式的情况下，变为1解码器+1平面构成。

首先，说明PG流的内部构成与解码PG流的字幕解码器、即PG解码器的内部构成。

(6)PG流的内部构成

左眼用PG流、右眼用PG流均包含多个显示集(display set)。所谓显示集是构成一个画面显示的功能段的集合。功能段是存储在约2K字节的PES数据包的有效载荷中，提供给解码器，使用DTS、PTS进行再现控制的处理单位。

各显示集包含多个功能段。该多个功能段中存在如下段。

(6-1)对象定义段

对象定义段是定义图形对象的功能段。图形定义段通过使用代码值与该代码值的运行长度(run length)来定义图形对象。

(6-2)调色板(pallet)定义段

调色板定义段包含表示各代码值与亮度、红色差/蓝色差之间的对应关系的调色板数据。左眼用图形流的调色板定义段与右眼用图形流的调色板定义段中，将代码值与亮度和色差之间的对应关系设定为相同内容。

(6-3)窗口定义段

窗口定义段是定义用于在画面上展开非压缩图形对象的平面存储器中称为窗口的矩形框的功能段。图形对象的描绘由该平面存储器的内部限制，在该窗口的外部不描绘图形对象。

由于将平面存储器的一部分指定为图形显示用窗口，所以再现装置不必进行平面整体的图形描绘。仅对有限大小的窗口进行图形描绘即可。由于可省略显示用平面中窗口以外部分的描绘，所以大大减轻再现装置侧的软件负担。

(6-4)画面构成段

画面构成段是规定使用了图形对象的画面构成的功能段，包含对图形解码器中构成(composition)控制器的多个控制项目。画面构成段是规定图形流中显示集的细节、并且规定使用了图形对象的画面构成的功能段。这种 画面构成中有Cut-In/Out(切入/切出)、Fade-In/Out(淡入/淡出)、Color Change(颜色变化)、Scroll(滚动)、Wipe-In/Out(划入/划出)等，通过伴随基于画面构成段的画面构成，可实现渐渐删除某个字幕，显示下一字幕等显示效果。

(6-5)结束段

是位于属于一个显示集的多个功能段最后的功能段。再现装置将从画面构成段起至该结束段为止解释为是构成一个显示集的功能段。

PG流中显示集的开始时刻由存储了画面构成段的PES数据包的DTS确定，显示集的终止时刻由存储了画面构成段的PES数据包的PTS确定。

左眼用图形流和右眼用图形流是打包基本流(PES)，画面构成段存储在PES数据包中，存储了画面构成段的PES数据包的PTS表示何时执行基于画面构成段所属显示集的显示。

存储了画面构成段的PES数据包的PTS值在左眼用视频流与右眼用视频流中为相同内容。

(6-2)PG解码器的解码器模型

PG解码器包含存储从PG流读出的功能段的‘代码数据缓冲器’；解码画面构成段后得到图形对象的‘流图形处理器’；存储解码得到的图形对象的‘对象缓冲器’；存储画面构成段的‘构成缓冲器’；和解读构成缓冲器中存储的画面构成段，根据这些画面构成段中的控制项目，使用对象缓冲器中得到的图形对象在图形平面上进行画面构成的‘构成控制器’。

在该图形平面的前段，存在用于调整构成功能段的TS数据包输入速度的传输缓冲器。

在图形解码器的后段，存在图形平面、根据调色板定义段将构成图形平面中存储的图形对象的像素代码变换为亮度、色差的CLUT部、和平面移位用移位部。

PG流中的流水线通过图形解码器同时执行如下两个处理来进行，这两个处理是：解码属于某个显示集的对象定义段，将图形对象写入对象缓冲器中的处理；和将解码属于在先显示集的对象定义段所得到的图形对象从对象缓冲器写入平面存储器中的处理。

图32表示PG流的图形解码器的内部构成。图32(a)是由1plane+Offset 模式方式显示用的解码器模型。图32(b)是显示立体视觉模式数据时的解码器模型。

在本图中，相当于图形解码器主体的部分用黑框包围，相当于图形解码器后段的部分用点划线包围。

在图32(a)中，图形解码器为1解码器构成，图形平面也是1平面构成。但是，图形平面的输出分别分为左眼用、右眼用，对各个左眼用输出、右眼用输出附加移位部。

在图32(b)中，存在2组传输缓冲器——图形解码器——图形平面——CLUT部，可分别独立处理左眼用流、右眼用流。

由于偏移序列包含在右眼用视频流中，所以在平面偏移形式下，图形解码器变为1解码器构成，将该一个图形解码器的输出切换为左眼用与右眼用。

PG解码器的2D/3D切换时的动作如下。

1.在1plane+Offset模式与2D模式的相互切换时无缝切换。这通过无效化Offset来进行。

2.立体视觉模式与平面视觉模式下，由于伴随PID切换，所以字幕暂时消失。这与流切换一样。

以上是对PG解码器的说明

下面对文本字幕流、解码文本字幕流的文本字母解码器的细节进行说明。

(7-1)文本字幕解码器的解码器模型

文本字幕流由多个字幕描述数据构成。

文本字幕解码器包含从字幕描述数据中分离文本代码与控制信息的‘字幕处理器’；存储从字幕描述数据中分离的文本代码的‘管理信息缓冲器’；存储控制信息的‘控制信息缓冲器’；使用字体数据将管理信息缓冲器内的文本代码展开为位图的‘文本绘制器(renderer)’；存储利用展开得到的位图的‘对象缓冲器’；和使用从字幕描述数据中分离的控制信息来执行沿时间轴的文本字幕再现控制的‘描绘控制部’。

在文本字幕解码器的前段，存在进行字体数据预加载的‘字体预载缓冲器’、调整构成文本字幕流的TS数据包输入速度的‘传输流(TS)缓冲器’、 在播放项目再现之前预载文本字幕流用的‘字幕预载缓冲器’。

在图形解码器的后段，存在‘图形平面’、‘CLUT部’与平面移位用的移位部，该CLUT部根据调色板定义段，将构成图形平面中存储的图形对象之像素代码变换为亮度、色差。

图33表示文本字幕解码器的内部构成。图33(a)表示1plane+Offset模式下的文本字幕解码器的解码器模型，图33(b)表示立体视觉模式下的文本字幕解码器的解码器模型。本图中，相当于文本字幕解码器主体的部分用黑框包围，相当于文本字幕解码器后段的部分用点划线包围。相当于文本字幕解码器前段的部分用虚线框包围。

图33(a)中，图形平面的输出被分为左眼用、右眼用的每个，对各个左眼用输出、右眼用输出附加移位部。

图33(b)中，存在左眼用图形平面与右眼用图形平面，将由文本字幕解码器展开的位图写入这些各个图形平面中。

文本字幕流与PG流不同，不是将图形数据作为位图来发送，而是通过发送字体数据与字符代码，由绘制引擎生成字幕，所以字幕的立体视觉由1plane+Offset模式来实现。

以上是对文本字幕流及文本字幕解码器的说明。接着，说明用于合成这些PG解码器、文本字幕解码器的输出后输出的输出段的内部构成。

(8)再现装置中的输出段的内部构成

图34表示合成这些解码器模块的输出、并以1plane+Offset模式方式输出用的内部构成。

左眼视频平面、右眼视频平面、PG平面、IG平面的层模型由黑框包围，相当于平面存储器后段的部分由点划线包围。从该图可知，上述层模型仅存在1组。另外，相当于平面存储器后段的部位存在2组。

在1plane+Offset模式方式下，视频平面准备左眼用与右眼用视频平面。PG平面、IG平面不分左眼用、右眼用，仅存在左眼用、右眼用共同的1个平面存储器。另外，对这些左眼用输出、右眼用输出分别执行上述层合成。

再现装置必需支持B-D演示模式、1plane+Offset模式双方，所以作为再现装置的硬件构成，基本上变为2解码器+2平面的构成，当再现装置切 换为1plane+Offset模式、平面视觉模式时，无效化1解码器+1平面的组中的一方，为1解码器+1平面构成。

如上所述，根据本实施方式，立体视觉模式、1plane+Offset模式可分别采用适当的字幕解码器的构成。

(第3实施方式)

在第1实施方式中，因为当前的字幕流是文本字幕流，该文本字幕流构成SDH，所以将字幕的配置区域决定为最佳区域。在本实施方式中，说明文本字幕流为当前字幕流的情况下的OSD配置区域的决定方式的细节。

在当前文本字幕流为文本字幕流的情况下，通过解析基本流选择表中该当前文本字幕流在哪个位置，可静态检测该当前文本字幕流是否是SDH。图35的流程图示出作为该特殊字幕的SDH的静态检测的处理步骤。图35是作为特殊字幕的SDH检测的流程图。该流程图所示的处理步骤子例程化，受理1个以上自变量，进行处理，返回返回值。该子例程中的第1自变量是存储再现中字幕流的流号码的流号码寄存器，第2自变量是基本流选择表。返回值是所选择的当前字幕流是否是SDH的判断结果。

该流程图为将流选择表中的号码“=1”的流号码作为流号码x、从流号码“=1”的字幕至当前流号码的字幕重复步骤S115~步骤S119的处理的循环(步骤S113、S114)。取得字幕号码=x的字幕流的语言属性(步骤S115)，该号码=x的字幕流的语言属性与当前字幕流的语言属性相同(步骤S116)，判定当前字幕流的流号码是否比字幕流x的流号码大(步骤S117)。

为了号码=x的字幕流的语言属性与当前字幕流的语言属性相同，当前字幕流的流号码比字幕流x的流号码大，意味着在流选择表中存在2个以上具有相同语言属性的2个以上字幕流，将该2个以上字幕流中流选择表中的入口顺序低的字幕流选择为当前字幕流。

SDH在相同语言属性的2个以上字幕流中，将流选择表中的入口顺序设定得低，选择这种入口顺序低的字幕流作为当前字幕流，可认为通过流选择命令或流选择API，选择SDH的字幕流。

在是相同语言属性，同时再现中的字幕号码大的情况下，判定为是SDH，退出循环。之后，作为字幕流x是SDH的字幕流，作为SDH的字幕流再现中，终止处理，若语言属性不同，则跳过步骤S117~步骤S119， 将下一号码的字幕流判定为判定对象。通过以上处理，静态解析文本字幕流，可最佳实现是否SDH的检测。

<OSD配置决定的步骤>

单纯决定OSD配置，应通过上述文本字幕流是否是SDH、能用于OSD显示的区域大小为多少来选择。图36的流程图表示最佳OSD的配置决定步骤。图26(b)所示的OSD配置决定部25的实体构成该图36中的子例程。

图36是OSD配置决定的流程图。该流程图所示的处理步骤子例程化，通过在调用子例程时受理1个以上自变量，执行该流程图所示的处理，在执行该处理之后，返回返回值。第1自变量是可描绘OSD的空白区域，第2自变量是是否再现SDH的判断结果，第3自变量是应显示的OSD的OSD信息。返回值是涉及显示的OSD的信息，为由空白区域、SDH的显示区域调整的OSD信息，即显示位置、尺寸、显示时间、缩小倍率。

步骤S121是OSD显示时间的确认。后面，利用步骤S122~步骤S126的判定结果的组合，有选择地执行步骤S127~步骤S130的处理。步骤S122是显示时间设定的判定，步骤S123是是否SDH再现中的判定。步骤S124是字幕种类的判定，步骤S125是OSD尺寸是否空白区域尺寸以下的判定。步骤S126是OSD尺寸×极限缩小率是否在空白区域尺寸以下的判定。

若步骤S122为是，则OSD的显示时间为无限时间，不会立即消失，所以步骤S127中选择标准的显示位置。

在虽然是有限时间、但是通常字幕的情况下，步骤S123为否，移动到步骤S129。在步骤S129中，从通知的空白区域内选择显示位置。在虽然是有限时间、但是SDH的情况下，执行步骤S125的判定。步骤S125是OSD尺寸是否在空白区域以下的判定。若OSD尺寸为空白区域以下，则步骤S125为是，步骤S129中从通知的空白区域中选择OSD的显示位置。

在OSD尺寸高于空白区域的情况下，移动到步骤S126。步骤S126是向OSD尺寸乘以极限缩小率后的尺寸是否在空白区域尺寸以下的判定。若向OSD尺寸乘以极限缩小率后的尺寸为空白区域尺寸以下，则步骤S126为是，移动到步骤S128。在步骤S128中算出OSD最佳缩小率，在步骤S129中从通知的空白区域中选择OSD的显示位置。

在步骤S124中判定为当前字幕是PG的情况下，在步骤S130中选择 选择后的空白区域以外的区域。

在向OSD尺寸乘以极限缩小率后的尺寸高于空白区域尺寸的情况下，步骤S126为否，所以在步骤S130中选择选择后的空白区域以外的区域。以上是对OSD配置决定的处理步骤的说明。下面，说明OSD的配置位置决定步骤的细节。

<OSD配置位置决定步骤>

文本字幕流能在1个画面中定义多个字幕区域，这些字幕区域的右端坐标按每个字幕区域不同。从而，当将OSD配置在画面上时，必需将存在于图形平面中最右侧的文本字幕作为基准，决定OSD配置用的空白。

字幕区域中的空白区域的检测以存在定义图形平面内的多个字幕区域的区域信息为前提。作为字幕区域中的空白区域检测的前提，说明如何定义文本字幕流中字幕的配置区域。

<文本字幕流中的配置区域的定义>

图37(a)表示文本字幕流中、定义多个区域信息用的区域格式信息的语法。在图37(a)的语法中，for(i=0;i<number_of_area_format;i++)是以预定数(number_of_area_format)来重复以区域信息area_info、作为区域中文本字符串的水平位置的character_horizontal_position、作为区域中文本字符串的垂直位置的character_vertivcal_position、作为文本字符串的横向幅度的character_width、作为文本字符串的纵向幅度的character_height、规定文本字符串的流控制的Character_flow、表示文本字符串的水平方向位置调整方式的character_horizontal_verification、指定文本字符串的垂直方向位置调整方式的character_vertivcal_verfication为成员变量的数据结构的构造，利用该重复构造，以预定数(number_of_area_format)生成由图37(a)的成员变量构成的区域格式信息的实例。

上述区域信息(area_info)由作为区域水平开始位置的area_horizontal_position、作为区域的垂直开始位置的area_vertivcal_position、作为水平幅度的area_width、作为垂直幅度的area_height构成。

在区域内如何配置文本字符串由区域信息中的character_horizontal_verification规定。另外，各个区域内文本字符串占有的 区域的右端坐标由利用character_horizontal_verification如何配置文本字符串来决定。

图37(b)~(d)表示文本字符串占有的区域的右端坐标由图形平面中多个区域各自如何决定。图37(b)~(d)各自中整体框表示图形平面，整体框内部的框是区域。

图37(b)表示靠左配置时的文本字符串的右端坐标(Lx,Ly)。Lx为area_horizontal_position+character_width，Ly与area_vertivcal_position相同。

图37(c)表示靠右配置时的文本字符串的右端坐标(Rx,Ry)。Rx为area_horizontal_position+area_width，Ry为area_vertivcal_position。

图37(d)表示居中配置时的文本字符串的右端坐标(Cx,Cy)。Cx为area_horizontal_position+area_width-(area_width-character_width)/2，Cy为area_vertivcal_position。

若检测图形平面内各个区域中的文本字符串的占有范围的右端坐标，则能将该右端坐标设为空白区域的基准。若使用以上文本字幕流的区域信息的语法，则通过记述执行图38的流程图的处理步骤的程序并让CPU执行，能让再现装置执行空白区域检测。以上是对基于文本字幕流的区域定义的说明。下面，说明文本字幕流的空白区域检测步骤的细节。

<文本字幕流的空白区域检测步骤>

图38是文本字幕流中空白区域检测的流程图。该流程图所示的处理步骤子例程化，当调用子例程时受理1个以上自变量，执行该流程图所示的处理，并在执行该处理之后，返回返回值。该自变量为为了再现文本字幕流而在图形平面中确保的多个字幕显示区域每个。返回值是多个字幕显示区域中的文本字幕中、位于最右侧的文本字幕的X坐标。

步骤S131是区域数确认，之后，移动到步骤S132~步骤S133的循环。该循环重复如下处理，即：将图形平面中存在的多个字幕显示区域每个选择为处理对象，以步骤S134~步骤S138的步骤检测构成该处理对象的字幕显示区域的右端坐标X0，在步骤S140判定如此算出的字幕显示区域的X0是否比此前算出的字幕显示区域的右端坐标的最大值大，若大，则更新区域的右端坐标的最大值(步骤S141)。

步骤S134是字幕配置方式的确认，若字幕配置靠左，则执行步骤S136， 若居中，则执行步骤S137，若靠右，则执行步骤S138。在使字幕靠左的情况下，在步骤S136中将area_horizontal_position+character_horizontal_position+character_width设为X0。

在使字幕居中的情况下，在步骤S137中将area_horizontal_position+area_width-(area_width-character_width)/2设为X0。在使字幕靠右的情况下，在步骤S138中将area_horizontal_position+area_width设为X0。

以上是对文本字幕流的空白区域检测步骤的说明。

综上所述，对应于字幕的配置布局分情况说明通常布局、上端布局、下端布局各自的每个布局的最佳OSD配置。

<每个布局的最佳OSD配置>

图39(a)表示以标准状态在画面上部配置OSD的情况。该标准状态是上下存在黑带的状态。

(b)是下移位视频平面且显示通常字幕的情况。该情况下，字幕与OSD干涉。此时，作为OSD的布局，选择与通常字幕相同的布局，所以OSD在字幕区域中显示，使字幕深度反映于OSD中。

图39(c)表示视频平面下移位、字幕是SDH文本字幕、将OSD配置在视频显示区域中的情况。由此，能避免OSD与字幕的干涉。

图39(d)表示视频平面下移位、字幕是SDH文本字幕、缩小显示OSD的情况。

此时，字幕与OSD干涉。因此，缩小OSD，在SDH字幕区域的空白中配置OSD。由此，在反映字幕深度的同时，在字幕区域缩小显示OSD。

在图40(a)中，假设视频平面下移位、字幕是SDH文本字幕的情况。此时，字幕与OSD干涉。另外，也没有缩小显示的空白。因此，避免SDH文本字幕区域，选择影像区域中的显示。由此，在反映字幕深度的同时，在影像区域显示OSD。

图40(b)表示显示无显示结束时间的OSD的情况。此时，3D影像与OSD长时间干涉。此时，选择标准显示位置。另外，将设定OSD配置在影像区域与字幕区域中。

文本字幕流在播放项目再现时预加载到文本字幕解码器，供于解码，所以通过在该预加载时解析文本字幕流中的区域格式信息、区域信息，可 最佳检测显示SDH或评论字幕时的空白区域。

如上所述，根据本实施方式，通过从预定解码时预加载到字幕解码器的文本字幕流中取出区域格式信息并解析，能适当解析字幕的空白区域。另外，某个文本字幕流是SDH还是评论字幕的判定参照流选择表中向构成对象的文本字幕流提供什么样的优先顺序来执行，所以空白区域解析的对象能缩小范围至部分字幕流。从而，因为空白区域检测用的文本字幕流解析不会多余，所以不会使文本字幕的再现大大延迟。

(第4实施方式)

在本实施方式中，描述OSD显示应用的制作。此前的实施方式中描述的再现装置的再现控制部能构成为所谓的BD-J平台。此时，OSD显示应用能作为在BD-J平台上动作的系统应用来安装。

BD-J平台中，将字节代码变换为本地(native)代码的字节代码翻译器、类加载用类加载器或应用信令用应用管理器、基于HAVi设备、Java媒体框架的播放列表再现用的再现控制引擎、进高速缓存出高速缓存(cache in and cache out)管理用的高速缓存管理器、事件处理用事件管理器等软件群、即与数字广播的多媒体家庭平台终端(DVB-MHP)中的软件群最类似的软件群变为动作主体。

作为在BD-J平台上动作的系统应用，在安装OSD显示应用的情况下，BD-J平台中立体视觉再现的实现中可利用的API中，有Java2Micro_Edition(J2ME)Personal BasisProfile(PBP 1.0)与Globally Executable MHP specification(GEM1.0.2)for packagemedia targets。若利用这些API，则可通过使用网络处理用的java.net、GUI处理用的java.awt、语言处理用的java.lang、对记录介质的I/O处理用的java.io、作为公用(utility)的java.util、媒体框架用javax.media等类方法、构建器(constructor)、接口、事件的构造体编程，记述与OSD显示有关的处理。

另外，通过使用BD-J平台用的扩展名API(称为BD-J扩展)，实现使用此前实施方式中记述的立体视觉再现用的数据结构、立体视觉再现中的再现单位的控制。该BD-J扩展包含来自java.net、java.awt、java.lang、java.io、java.util、javax.media类方法的继承方法(inherit method)，因为将这些类的接口设为嵌入式接口、超级接口，所以可在使用java.net、java.awt、java.lang、 java.io、java.util、javax.media类的编程技法的延长线上，制作以立体视觉再现为前提的OSD显示应用。

例如，BD-J平台中的扩展API包含命令寄存器组中的立体视觉状态寄存器、上移位/下移位状态寄存器的状态设定或状态取得的设定取得类。这种设定取得类由表示立体视觉状态寄存器、上移位/下移位状态寄存器的保持值的常数字段、命令取得PSR的保持值的取得方法和命令播放器设定寄存器、播放器状态寄存器的保持值设定的设定方法构成。

设定取得类的方法包含java.lang.Object类的方法的继承方法。另外，若方法调用时的自变量非法，则丢弃作为java.lang类事件的java.lang.IlleghalArgumentException事件。该类继承java.lang.object的方法或事件，所以程序员可在java.lang.object的延长线上制作利用立体视觉状态寄存器、上移位/下移位状态寄存器的保持值的程序。

(第5实施方式)

在此前的实施方式中，3D内容记录在记录介质中，通过读出以供再现，而本实施方式假设3D内容是“3D数字广播内容”，由数字广播系统广播后供给再现装置的情况。

图41表示将3D数字广播内容供给再现装置用的传输流的内部构成。

第1段表示构成传输流的多个TS数据包。该传输流在开头存在存储PAT的TS数据包，接着存在存储PMT的TS数据包，再后面存在存储PCR的TS数据包。之后，存在多流的TS数据包群。

PAT(Program Association Table：节目关联表)是PID为0的表，表示PMT的PID。

PMT(Program Map Table：节目映射表)是存储某个服务中包含的视频流、音频流、字幕流等的PID的表。

PCR(Program Clock Reference：节目时钟参考)表示再现装置中的时钟的初始值。

多流数据包群复用构成视频流、音频流、字幕流的TS数据包、和存储了字幕信息表、平面内有效化信息表的TS数据包。

第2段表示视频流，第3段表示音频流，第4段表示字幕流。该第2段中的视频流由多个图片数据构成，但各个图片数据为并排(side by side)形 式。所谓并排形式的图片数据是通过横向结合左眼图像及右眼图像来得到的多视点图像。第4段中的字幕流将运行长度编码后的图形字幕提供给显示装置。第5段中的字幕信息表将字幕流的细节提供给再现装置。第5段的平面内有效化信息表指示再现装置视频平面的内部区域中哪部分有效。

图42(a)表示字幕流的内部构成。如图所示，字幕流由Page Composition Segment(PCS)、Region Composition Segment(RCS)、Pallet Define Segment(PDS)、Objet DefineSegment(ODS)等多种功能段构成。

下面说明字幕流。3D数字广播内容中的字幕流中也存在称为“epoch”的单位。该3D数字广播内容中的epoch在其开始点传递解码器的存储器使用的完全记述。因此，epoch边界提供保证的服务获取点(service acquisition point)。由某个段描述的‘模式变更’的页构成法来执行epoch边界的信令。

图42(b)表示PCS、RCS与字幕信息表的关系。该图的左侧表示PCS的内部构成，正中表示RCS的内部构成。右侧表示字幕信息表的内部构成。

Page Composition Segment(PCS)由sync_byte、segment_type、page_id、segment_length、page_time_out、page_version_number、region_id、region_horizontal_address、region_vertical_address构成。

Region Composition Segment(RCS)由sync_byte、segment_type、page_id、region_id、region_version_number、region_fill_flag、region_width、region_height、region_depth、clut_id、pixel_code、object_id、object_type、object_provider_flag、object_horizontal_position、object_vertical_position、foreground_pixel_code、background_pixel_code构成，传送1个以上的区域列表。区域列表定义应由以PTS关联的时刻显示的区域的集合。

在Region Composition Segment(RCS)的完全记述的组之后，‘模式变更’或‘获取点’的显示集中的RCS导入区域，分配其用的存储器。具有页更新的显示集仅包含变更内容的区域。以上是对PCS、RCS的说明。接着说明字幕信息表的细节。

字幕信息表由‘上端配置是否存在标志’、‘下端配置是否存在标志’、‘region_vertical_address’、‘region_height’构成。其中，region_vertical_address与PCS中记述的相同，region_height与RCS中记述的相同。图中箭头cf1、cf2表示字幕信息表中的‘region_vertical_address’、 ‘region_height’与PCS中的‘region_vertical_address’、RCS中的‘region_height’的相同性。即，因为region_vertical_address及region_height记述在字幕信息表中，所以再现装置能不解析PCS、RCS内部就知道字幕是配置在上端还是配置在下端、字幕的配置区域的位置及大小如何。

图42(c)表示平面内有效化信息表的内部构成。如图所示，作为平面内有效化信息表，规定与图10(b)相同的信息要素，所以可执行第1实施方式所述的字幕的上端配置、下端配置。

图43是表示涉及第5实施方式的再现装置的构成的功能框图。该图以第1实施方式中的图11的内部构成图为基础制图，与构成该基础的内部构成图相比，不同之处在于将读出部1置换为服务受理部101与接收部102，将解复用部10置换为解复用部103，将视频解码器102置换为视频解码器104，将图形平面5置换为字幕线存储器105，将GFX平面置换为OSD线存储器106，将字幕解码器4置换为字幕解码器107。下面，说明本实施方式中的新的构成要素(服务受理部101与接收部102、解复用部103、视频解码器104、字幕线存储器105、OSD线存储器106、字幕解码器107)。

服务受理部101管理服务选择。具体地，受理基于来自遥控器信号的用户指示或来自应用的指示的服务变更请求，通知给接收部102。

接收部102从天线或缆线接收分发了所选择的服务的TS载波的频率中的信号并解调。之后，将解调后的TS送出到解复用部103。

解复用部103若接收从接收部102送出的传输流，则分离成复用于传输流的视频音频数据、字幕流、对象轮播(carousel)、字幕信息表、平面内有效化信息表。

视频解码器104解码构成3D数字广播内容的视频流的并排形式的图片数据，将非压缩的左眼图像及右眼图像的组写入左眼视频平面3a及右眼视频平面3b。

字幕线存储器105由多个线存储器构成。在各个线存储器中存储构成一行字幕的像素数据。

OSD线存储器106由多个线存储器构成。在各个线存储器中存储构成一行OSD的像素数据。

字幕解码器107具备编码数据缓冲器、像素缓冲器等2个缓冲存储器， 执行3D数字广播内容中的字幕流的解码。代码数据缓冲器存储编码状态的对象定义段。

像素缓冲器存储通过解码对象定义段得到的图形对象。另外，字幕解码器107根据PCS执行从像素缓冲器向线存储器的传输。下面，说明从像素缓冲器向线存储器的传输。当该传输时，在像素缓冲器中定义Region的列表。所谓Region是存储字幕解码器模型中、由字幕的解码处理(Subtitle Processing)得到的图形的缓冲器(Pixel Buffer)上定义的区域。

通过将Pixel Buffer上定义的Region中应显示的Region记述在PCS(PageComposition Segment)中，实现图形显示。

例如，在Pixel Buffer中定义包含‘Shall We?’的字幕的Region1、与包含‘Saidthe fly on the mirror’的字幕的Region2，若其中Region1的标识符记述在PCS中，则根据该标识符的记述，将构成‘Shall We?’的字幕的非压缩图形从像素缓冲器传输到与动态图像合成用的缓冲器(Display)。由此，显示‘Shall We?’。另外，若Region2的标识符记述在PCS中，则将非压缩图形从像素缓冲器传输到视频平面。此时，根据该标识符的记述，显示‘Said the fly on the mirror’等字幕。这样，通过在解码器中设置编码数据缓冲器、像素缓冲器的缓冲存储器，将该像素缓冲器中的Region传输到与动态图像合成用的缓冲器(“Display”用的线存储器)，从而进行字幕显示。

以上是对新的构成要素的说明。因为存在这些新的构成要素，所以对现有构成要素中OSD处理部16施加改良。下面，说明现有构成要素(OSD处理部16)中的改良内容。

在OSD处理部16判定3D数字广播内容中的字幕布局的情况下，应留意的是，通过在3D数字广播内容中定义构成像素数据上端侧显示区域的Region、构成下端侧显示区域的Region，执行图13(a)(c)所示的字幕的上端配置、下端配置。具体地，字幕流的PCS中有region_vertical_address的字段，由该region_vertical_address字段规定Region中的左上坐标。另外，RCS中有region_width、region_height的字段，由region_height字段来规定Region的纵向幅度。

因此，在本实施方式中，将表示字幕是配置在上端侧还是配置在下端 侧的信息(上端配置是否存在标志、下端配置是否存在标志)、表示显示上端侧Region或下端侧Region时的左上坐标的region_vertical_address、与表示上端侧Region或下端侧Region的纵向幅度的region_height记述为不同字幕信息表，OSD处理部16根据该字幕信息表，进行字幕布局判定。之后，在定义图片数据的上端侧显示区域及下端侧显示区域的RCS中，使用表示Region的左上坐标及纵向幅度的信息，算出字幕区域。

说明每个布局的字幕区域的左上坐标Y0及左下坐标Y1的算出。

在下端配置布局中，将表示下端侧Region的左上坐标的region_vertical_address设为下端侧字幕区域的左上坐标Y0。将向该region_vertical_address(=Y0)加上下端侧Region中的region_height字段后的值(region_vertical_address+region_height)设为下端侧字幕区域的左下坐标Y1。

在上端配置布局中，将表示上端侧Region的左上坐标的region_vertical_address设为上端侧字幕区域的左上坐标Y0。将向该region_vertical_address(=Y0)加上下端侧Region中的region_height字段后的值(region_vertical_address+region_height)设为上端侧字幕区域的左下坐标Y1。

通常配置布局也一样，将表示Region的左上坐标的region_vertical_address设为下端侧字幕区域的左上坐标Y0。将向该region_vertical_address(=Y0)加上下端侧Region中的region_height字段后的值(region_vertical_address+region_height)设为下端侧字幕区域的左下坐标Y1。

经过以上过程，若根据RCS及PCS判定字幕区域的布局是某个布局，则OSD处理部16采用与字幕布局相同的布局作为OSD的显示布局。另外，在以数字广播3D内容发送平面内有效化信息表的情况下，也可按与第1实施方式一样的步骤来取得字幕上端配置时、下端配置时的配置区域的坐标。

如上所述，根据本实施方式，因为在再现装置再现3D数字广播内容的情况下，当字幕的布局变化为上端配置布局、下端配置布局时，选择与字幕布局相同的布局作为设备内置的GUI布局，所以将设备内置GUI与字 幕配置在相同显示区域中，不会仅将设备内置GUI配置在与动态图像重复的位置上。

(第6实施方式)

本实施方式是以3D数字广播内容的传输流传送应存储在BD-ROM中的基本流、并且以对象轮播传送BD-ROM的目录构成及文件构成的改良。

图44是表示选择BD-ROM作为第1实施方式中的记录介质的情况下的目录构成及文件构成的图。所谓该图的目录构成是在根目录属下存在BDMV目录，在该BDMV目录中存在存储索引表的文件(index.bdmv)。在BDMV目录属下有对象目录(图中的BDJO目录)、播放列表目录(图中的PLAYLIST目录)、片段信息目录(图中的clipinf目录)、流目录(图中的STREAM目录)。在BDJO目录中存储动作模式对象的文件(00001.bdjo)，在PLAYLIST目录中存储播放列表信息的文件(00001.mpls)。在clipinf目录中存储流管理信息的文件(00001.clpi)，在STREAM目录中存储数字流的文件(00001.m2ts)。

图45表示涉及第6实施方式的传输流的内部构成。该图中的传输流的多流数据包群复用第1段所示的基本视视频流、第2段所示的从属视视频流、第3段所示的32个演示图形流、第4段所示的32个交互图形流、第5段所示的32个音频流、第6段所示的程序信息文件流。

第7段表示由程序信息文件流传送的对象轮播。在对象轮播中有‘index’、‘object’、‘Playlist’、‘clipinf’等一系列对象轮播。

‘index’是存储BD-ROM的BDMV目录及应存储在该目录中的索引表的对象轮播。

‘object’是存储BDJO目录及应存储在该目录中的动作模式对象的对象轮播。

‘Playlist’是一体化BD-ROM的playlist目录及应存储在该目录中的播放列表信息文件的对象轮播。

‘clipinf’是一体化BD-ROM的clipinf0目录及应存储在该目录中的流信息文件的对象轮播。图44的虚线框模式表示图45中的各个对象轮播存储哪个目录及文件。

多次发送这些index、object、playlist、clipinf等一系列对象轮播。由 此，对传送路径上发生的错误提高耐性。

以上是对3D数字广播内容中的传输流的说明。下面，说明涉及本实施方式的再现装置。因为传输流是新的内容，所以对现有构成要素中接收部102施加改良。下面，说明作为现有构成要素的接收部102中的改良内容。

涉及本实施方式的再现装置的接收部102接收对应于选择到的服务的对象轮播，执行对象轮播中存储的目录及该目录属下的文件的进高速缓存。通过接收全部图45的对象轮播后进行进高速缓存，在高速缓存上再现BD-ROM的目录构成及文件构成。

通过使用高速缓存中存在的播放列表信息、流管理信息来进行第1实施方式的处理，可在立体视觉再现模式下以与字幕相同的布局来显示OSD。

如上所述，根据本实施方式，通过接收用于构成BD-ROM目录及文件的对象轮播后进行进高速缓存，可取得应由第1实施方式的记录介质供给的目录及文件。

(备注)

以上说明了在本申请的申请时刻申请人得知的最佳实施方式，但对下面所示的技术主题可施加进一步的改良或变更实施。是否如各实施方式所示实施还是实施这些改良变更均是任意的，请留意基于实施者主观的实施。

(字幕流的种类)

字幕流是文本字幕流、再现装置执行图37的文本字幕空白检测，并不是本发明的必需要件。这是因为即便实现不执行文本字幕空白检测、将基于PG流的字幕或文本字幕配置在画面空白区域右端的定型或简化的处理，也能避免字幕与OSD的重复，可实现本申请的课题解决。

(集成电路的实施方式)

根据本发明的集成电路是系统LSI，排除再现装置的硬件构成中记录介质的驱动部或与外部的连接器等机构部分，内置相当于逻辑电路或存储元件的部分，即逻辑电路的核心部分。所说系统LSI指在高密度基板上安装裸芯片并封装得到的产品。通过在高密度基板上安装多个裸芯片并封装，使多个裸芯片具有像一个LSI那样的外形构造的产品，被称为多芯片模块，这种产品也包含于系统LSI中。

在此如果考察封装的类型，则系统LSI的种类包括QFP(方形扁平封装)、PGA(插针网格阵列)。QFP是将插针安装在封装体的四个侧面上的系统LSI。PGA是在整个底面上安装多个插针的系统LSI。

这些插针作为电源供给或接地、与其他电路的接口来发挥作用。系统LSI中的插针具有这种接口的作用，所以通过向系统LSI中的这些插针连接其他电路，系统LSI发挥作为再现装置的核心的作用。

系统LSI的结构由‘前端部’、‘信号处理部’、‘后端部’、‘介质接口’、‘存储器控制器’、‘主控制部’构成，通过介质接口、存储器控制器，与再现装置中的驱动器或存储器、收发部连接。再现装置中的驱动器中有BD-ROM驱动器、内置介质驱动器、可移动介质驱动器等。另外，再现装置的存储器中确保读缓冲器、各种平面存储器、视频解码器中的编码数据缓冲器、解码数据缓冲器。

‘前端处理部’由被预编程的DMA主电路或I/O处理器等构成，执行所有的包处理。该包处理相当于从立体视觉交织流文件复原ATC序列的处理、由解复用器进行的源数据包去包器的处理、PID滤波器的处理。在再现装置的存储器所确保的读缓冲器、各种平面存储器、视频解码器中的编码数据缓冲器、解码数据缓冲器之间实现DMA传输，由此实现诸如上述的包处理。

‘信号处理部’由信号处理用处理器或SIMD处理器等构成，执行所有的信号处理。信号处理包括由视频解码器进行的解码处理及由音频处理器进行的解码处理。

‘后端部’进行所有的AV输出处理。AV输出处理包括像素处理，通过该像素处理进行层合成用的图像重叠、尺寸调整、图像格式变换。并且，一并执行数字/模拟变换等。

‘介质接口’是与驱动器、网络的接口。

‘存储器控制器’是存储器访问用的从设备电路(slave circuit)，根据前端部、信号处理部、后端部的请求，实现数据包或图片数据的存储器的读写。

‘主控制部’是相当于主微机的构成要素，对介质接口、前端部、信号处理部、后端部执行整体控制。该整体控制中有作为再现控制引擎、BD-J 平台、HDMV命令翻译器、模块管理器的控制。有时也兼PG解码器执行的解码及文本字幕解码器的功能。该主控制部中的微机由ROM、命令RAM、命令高速缓存、数据RAM、数据高速缓存、MPU构成，该MPU具有命令取出(fetch)部、解码器、执行单元、寄存器文件。并且，执行在前面的实施方式中叙述的各种处理的程序，作为嵌入程序与基本输入输出系统(BIOS)、各种中间件(操作系统)一起存储在该主微机的微机内的ROM中。因此，再现装置的主要功能能够安装在该系统LSI内。图46是表示集成电路的外观的图。涉及本发明的集成电路能装配在再现装置的主体基板的插座(socket)上。

图47是表示集成电路的架构的图。如该图所示，作为系统LSI的集成电路70的架构由前端(front end)部71、信号处理部72、后端(back end)部73、介质接口74、存储器控制器75、和主微机76构成，集成电路70通过介质接口74、存储器控制器75与再现装置的驱动器或存储器、收发部连接。再现装置的驱动器包括BD-ROM的驱动器、本地存储器的驱动器、可移动介质的驱动器等。

前端处理部71由被预编程的DMA主电路或I/O处理器等构成，执行所有的包处理。该包处理相当于从立体视觉交织流文件复原ATC序列的处理、由解复用器进行的源数据包去包器的处理、PID滤波器的处理。在再现装置的存储器所确保的轨道缓冲器、各种平面存储器、视频解码器中的编码数据缓冲器、解码数据缓冲器之间实现DMA传输，由此实现诸如上述的包处理。

信号处理部72由信号处理用处理器或SIMD处理器等构成，执行所有的信号处理。信号处理包括由视频解码器进行的解码处理及由音频处理器进行的解码处理。

后端部73由加法器、滤波器构成，进行所有的AV输出处理。AV输出处理包括像素处理，通过该像素处理进行层合成用的图像重叠、尺寸调整、图像格式变换。并且，一并执行数字/模拟变换等。

介质接口74是与驱动器、网络的接口。

存储器控制器75是存储器访问用的从设备电路(slave circuit)，根据前端部、信号处理部、后端部的请求，实现数据包或图片数据的存储器的读 写。利用经由该存储器控制器75的存储器的读写，存储器作为轨道缓冲器或视频平面、图形平面、视频解码器中的各种缓冲器发挥作用。

主微机76由MPU、ROM、RAM构成，对介质接口、前端部、信号处理部、后端部执行整体控制。该整体控制包括作为控制部、BD-J模块、HDMV模块、模块管理器的控制。该主微机中的CPU具有命令取出(fetch)部、解码器、执行单元、寄存器文件、程序计数器。并且，执行在前面的实施方式中叙述的各种处理的程序，作为嵌入程序与基本输入输出系统(BIOS)、各种中间件(操作系统)一起存储在该主微机的微机内的ROM中。因此，再现装置的主要功能能够安装在该系统LSI内。

(程序的实施方式)

各实施方式中所示的程序可如下制作。首先，软件开发者使用编程语言，记述实现各流程图或功能构成要素的源程序。在该记述中，软件开发者根据编程语言的句法，使用类构造体或变量、数组变量、外部函数的调用，记述具体表现各流程图或功能构成要素的源程序。

将记述的源程序作为文件提供给编译器。编译器翻译这些源程序，生成目标程序。

编译器执行的翻译由句法解析、优化、资源分配、代码生成等过程构成。在句法解析中，进行源程序的字句解析、句法解析和含义解析，将源程序变换为中间程序。在优化中，对中间程序进行基本块化、控制流程解析、数据流解析等作业。在资源分配中，为了实现构成目标的处理器适合于命令集，将中间程序中的变量分配给目标处理器的处理器具有的寄存器或存储器。在代码生成中，将中间程序内的各中间命令变换为程序代码，得到目标程序。

这里生成的目标程序由让计算机执行各实施方式所示的流程图各步骤或功能构成要素各个步骤的一个以上程序代码构成。这里，程序代码有处理器的本地代码、JAVA(注册商标)字节代码等各个种类。利用程序代码来实现各步骤有各种方式。在可利用外部函数来实现各步骤的情况下，调用该外部函数的调用语句变为程序代码。另外，实现一个步骤的程序代码也归属于各个目标程序。在限制命令种类的RISC处理器中，通过组合算术运算命令或逻辑运算命令、分支命令等，也可实现流程图的各步骤。

若生成目标程序，则编程者对其启动连接器(linker)。连接器将这些目标程序或关联的库程序分配到存储器空间中，将其结合成一个，生成加载模块。如此生成的加载模块以计算机读取为前提，让计算机执行各流程图所示的处理步骤或功能构成要素的处理步骤。也可将这种程序记录在非临时性的计算机可读取的记录介质中提供给用户。

(记录介质的变化)

各实施方式中的记录介质包含光盘、半导体存储卡等封装介质全部。本实施方式的记录介质以事先记录了必要数据的光盘(例如BD-ROM、DVD-ROM等现有可读取光盘)为例进行说明，但不限于此，例如将包含经由广播或网络分发的本发明实施所需的数据的3D内容记录在可利用具有写入光盘的功能的终端装置(例如既可将上述功能置入再现装置中，也可是与再现装置分开的装置)写入的光盘(例如BD-RE、DVD-RAM等现有可写入光盘)中，即便将该记录后的光盘适用于本发明的再现装置，也能实施本发明。

(半导体存储卡记录装置及再现装置的实施方式)

说明将各实施方式中说明的数据结构记录在半导体存储器中的记录装置及对其进行再现的再现装置的实施方式。

首先，作为前提技术，说明BD-ROM中记录的数据的著作权保护机制。

有时BD-ROM中记录的数据中、例如从著作权保护、数据隐匿性提高的观点看，部分数据根据需要被加密。

例如，BD-ROM中记录的数据中加密的数据例如是对应于视频流的数据、对应于音频流的数据、或对应于包含这些数据的流的数据。

下面，说明BD-ROM中记录的数据中加密数据的解读。

半导体存储卡再现装置将与解读BD-ROM内加密数据所需的密钥相对应的数据(例如设备密钥)事先存储在再现装置中。

另一方面，在BD-ROM中记录与解读加密数据所需密钥相对应的数据(例如对应于上述设备密钥的MKB(媒体密钥块))、和将解读加密数据用的密钥自身加密后的数据(例如与上述设备密钥和MKB相对应的加密标题密钥)。这里，设备密钥、MKB和加密标题密钥成对，并且，也与写入BD-ROM上通常不能拷贝的区域(称为BCA的区域)中的识别符(例如卷ID)对应。设 若该组合不正确，则不能解读加密。仅在组合正确的情况下，才能导出加密解读需要的密钥(例如根据上述设备密钥、MKB和卷ID，对加密标题密钥进行解密得到的标题密钥)，使用该加密解读所需的密钥，可解读加密的数据。

在再现装置再现装填的BD-ROM的情况下，例如若与BD-ROM内的加密标题密钥、MKB成对的(或对应的)设备密钥不在再现装置内，则不再现加密的数据。这是因为加密数据的解读所需的密钥(标题密钥)，密钥自身被加密后(加密标题密钥)记录在BD-ROM上，若MKB与设备密钥的组合不正确，则不能导出加密解读需要的密钥。

相反，若加密标题密钥、MKB、设备密钥和卷ID的组合正确，则构成再现装置，以便使用例如上述加密解读所需的密钥(根据设备密钥、MKB和卷ID，对加密标题密钥进行解密得到的标题密钥)，由解码器解码视频流，由音频解码器解码音频流。

以上是BD-ROM中记录的数据著作权保护的机制，但该机制未必限于BD-ROM，例如在适用于可读入/写入的半导体存储器(例如SD卡等具有可移动性半导体存储卡)的情况下也可实施。

说明半导体存储卡再现装置的再现步骤。光盘构成为例如经光盘驱动器读出数据，而在使用半导体存储卡的情况下，构成为经用于读出半导体存储卡内数据的I/F来读出数据。

具体而言，若半导体存储卡插入再现装置的槽中，则经由半导体存储卡I/F电连接再现装置与半导体存储卡。只要构成为将半导体存储卡中记录的数据经半导体存储卡I/F读出即可。

(作为接收装置的实施方式)

各实施方式中说明的再现装置也可实现为从电子分发服务的分发服务器接收与本实施方式中说明的数据相对应的数据(分发数据)、并记录在半导体存储卡中的终端装置。

这种终端装置也可构成为各实施方式中说明的再现装置进行这种动作。与本实施方式的再现装置不同，也可由进行在半导体存储器中存储分发数据的专用终端装置来进行。这里说明再现装置进行的实例。另外，作为记录目的地的半导体存储器，以SD卡为例来说明。

在插入再现装置具备的槽中的SD存储卡中记录分发数据的情况下，首先请求向存储分发数据的分发服务器发送分发数据。此时，再现装置从SD存储卡中读出唯一识别所插入的SD存储卡用的识别信息(例如各个SD存储卡固有的识别号码，具体而言例如SD存储卡的序列号等)，将读出的识别信息与分发请求一起，发送给分发服务器。

该唯一识别SD存储卡用的识别信息例如相当于上述卷ID。

另一方面，分发服务器加密分发数据中必要的数据(例如视频流、音频流等)并存储在服务器上，以便能使用加密解读所需的密钥(例如标题密钥)来解除加密。

例如，分发服务器构成为保持私钥，对半导体存储卡的固有识别号码的每个，可动态生成不同的公钥信息。

另外，分发服务器构成为可对加密数据解读所需的密钥(标题密钥)自身进行加密(即构成为可生成加密标题密钥)。

生成的公钥信息例如包含相当于上述MKB、卷ID和加密标题密钥的信息。加密的数据若例如半导体存储器固有的识别号码、后述的公钥信息中包含的公钥主体和事先记录在再现装置中的设备密钥的组合正确，则得到加密解读所需的密钥(例如根据设备密钥、MKB和半导体存储器固有的识别号码，对加密标题密钥进行解密得到的标题密钥)，使用该得到的加密解读所需的密钥(标题密钥)，可解读加密的数据。

接着，再现装置将接收到的公钥信息与分发数据记录在插入槽中的半导体存储卡的记录区域中。

下面，说明解密并再现半导体存储卡的记录区域中记录的公钥信息与分发数据中包含的数据中的加密数据的方法一例。

接收到的公钥信息例如记录公钥主体(例如上述MKB和加密标题密钥)、签名信息、半导体存储卡的固有识别号码、和表示涉及应无效的设备的信息的设备列表。

签名信息中例如包含公钥信息的散列值。

设备列表中例如记载涉及有可能非法再现的设备的信息。这是例如事先记录在再现装置中的设备密钥、再现装置的识别号码或再现装置具备的解码器的识别号码等、唯一确定有可能非法再现的装置、装置中包含的部 件或功能(程序)等的信息。

说明半导体存储卡的记录区域中记录的分发数据中加密的数据的再现。

首先，检查在利用公钥主体对加密数据进行解密之前是否使解密密钥主体起作用。

具体而言，进行：

(1)公钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别号码是否一致的检查，(2)再现装置内算出的公钥信息的散列值与签名信息中包含的散列值是否一致的检查，(3)根据公钥信息中包含的设备列表示出的信息，进行再现的再现装置是否可能非法再现的检查(例如公钥信息中包含的设备列表示出的设备密钥与事先存储在再现装置中的设备密钥是否一致的检查)。进行这些检查的顺序按什么样的顺序进行均可。

在上述(1)~(3)检查中，若判断为满足公钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别号码不一致、再现装置内算出的公钥信息的散列值与签名信息中包含的散列值不一致、或进行再现的再现装置有可能非法再现中的某一个，则再现装置进行控制，以不解读加密的数据。

另外，若判断为公钥信息中包含的半导体存储器固有的识别信息与事先存储在半导体存储卡中的固有识别号码一致、且再现装置内算出的公钥信息的散列值与签名信息中包含的散列值一致、且进行再现的再现装置不可能非法再现，则判断为半导体存储器固有的识别号码、公钥信息中包含的公钥主体和事先记录在再现装置中的设备密钥的组合正确，使用加密解读所需的密钥(根据设备密钥、MKB和半导体存储器固有的识别号码，对加密标题密钥进行解密得到的标题密钥)，进行加密数据的解读。

例如在加密数据是视频流、音频流的情况下，视频解码器利用上述加密解读所需的密钥(对加密标题密钥进行解密得到的标题密钥)，解密(解码)视频流，音频解码器利用上述加密解读所需的密钥，解密(解码)音频流。

通过上述构成，在知道有可能在电子分发时被非法利用的再现装置、部件、功能(程序)等的情况下，若将用于识别其的信息示于设备列表中分发， 则在再现装置侧包含设备列表中所示的设备的情况下，可抑制使用公钥信息(公钥主体)的解密，所以即便半导体存储器固有的识别号码、公钥信息中包含的公钥主体和事先记录在再现装置中的设备密钥的组合正确，也由于可控制成不解读加密的数据，所以可抑制非法装置利用分发数据。

产业上的可利用性

本发明涉及再现立体视觉视频流的再现装置200使字幕或图形重合于立体视觉视频流上显示的技术，尤其可适用于不仅立体视觉视频流、字幕或图形也一起立体输出并重合的立体视觉视频再现装置。

符号说明

100 记录介质

200 再现装置

300 操作装置

400 显示装置

500 眼镜

Claims (9)

1.一种再现装置，在构成播放列表信息的多个播放项目信息中的一个播放项目信息成为当前播放项目信息时，进行在当前播放项目信息的流号码表中允许再现的基本流的再现，通过所述流号码表而被允许再现的基本流包含字幕流，其特征在于，

具备：

视频解码器，解码立体视觉视频流，进行立体视觉再现；

过程执行部件，通过以当前播放项目信息的流号码表中的流登记排列作为对象来执行过程，选择当前字幕流，将当前字幕流的流号码存储到流号码寄存器；

字幕解码器，解码当前字幕流，以规定的布局执行字幕显示；

描绘部件，执行设备内置的GUI的描绘；和

合成部件，将基于视频解码器的立体视觉再现、字幕显示与所描绘的设备内置的GUI合成，

在所述字幕的布局中，有通常布局、仅在画面上端侧确保字幕显示区域的上端配置布局、仅在画面下端侧确保字幕显示区域的下端配置布局，

由所述过程执行部件执行的过程中，包括：

第1过程，在流号码寄存器中存储的流号码在当前播放项目信息中不是有效的情况下，判定在当前播放项目信息中的流号码表的多个入口所指示的多个字幕流中，解码字幕流的能力在再现装置中存在并且具有与再现装置的语言设定相同的语言属性的字幕流是否存在多个，在存在多个满足该条件的字幕流的情况下，选择该多个字幕流中的、在流号码表的流登记排列中入口顺序为最高的字幕流；以及

第2过程，在产生了字幕流的变更请求的情况下，选择该变更请求所涉及的字幕流，

在请求了显示设备内置的GUI的情况下，所述描绘部件判定相同语言属性的2个以上的字幕流、而且是其优先顺序在流选择表中被设定为第2个以下的字幕流是否被选择，若判定结果为肯定，则当前的流号码为听觉障碍者用字幕，确定设备内置的GUI的位置或尺寸，以使得设备内置的GUI被显示在上端侧字幕显示区域或者下端侧字幕显示区域的空白区域。

2.根据权利要求1所述的再现装置，其特征在于，

所述再现装置具备右眼用视频平面、左眼用视频平面、移位部，

所述视频解码器通过解码立体视觉视频流，得到左眼用图片数据及右眼用图片数据的组，将其分别写入右眼用视频平面及左眼用视频平面，

所述移位部，若所述上端配置布局被选择，则将存储在所述右眼用视频平面及所述左眼用视频平面中的图片数据分别向下移位，若所述下端配置布局被选择，则将存储在所述右眼用视频平面及所述左眼用视频平面中的图片数据分别向上移位。

3.根据权利要求1所述的再现装置，其特征在于，

所述再现装置具备平面存储器，该平面存储器存储构成字幕的像素数据及构成设备内置的GUI的像素数据，

在所述字幕解码器及所述描绘部件的显示模式中，有1平面偏移模式与平面视觉模式，

所述1平面偏移模式是通过向平面存储器中的像素数据坐标提供水平方向的偏移来实现立体视觉再现的再现模式，

所述描绘部件具备GUI深度调整部，当以1平面偏移模式显示设备内置的GUI时，该GUI深度调整部调整设备内置的GUI的深度，

所述GUI深度调整部采用以1平面偏移模式显示字幕时的水平方向的偏移，作为以1平面偏移模式显示设备内置的GUI时的水平方向的偏移。

4.根据权利要求3所述的再现装置，其特征在于，

所述GUI深度调整部采用以1平面偏移模式显示字幕时的移位方向，作为以1平面偏移模式显示设备内置的GUI时的移位方向。

5.根据权利要求1所述的再现装置，其特征在于，

所述上端侧的字幕显示区域或下端侧的字幕显示区域中的字幕配置是靠右、靠左、居中之中的某个，

所述空白区域根据上端侧的字幕显示区域或下端侧的字幕显示区域中的字幕的配置与字幕的字符数来检测，

所述描绘部件还具备缩小部，该缩小部缩小应显示在上端侧的字幕显示区域或下端侧的字幕显示区域中的设备内置的GUI，

在设备内置的GUI的显示尺寸超过上端侧的字幕显示区域或下端侧的字幕显示区域中的空白区域的情况下，所述缩小部缩小设备内置的GUI。

6.根据权利要求1所述的再现装置，其特征在于，

所述再现装置具备：

接收部件，接收被广播的传输流；和

解复用部件，对接收到的传输流进行解复用，

通过对传输流的解复用得到视频流及字幕流，

将字幕配置在哪个布局中，是通过所述传输流中、与视频流及字幕流一起存在的字幕信息表来规定的，

所述字幕信息表表示由字幕流显示的字幕的配置位置及尺寸，

所述描绘部件通过参照字幕信息表中字幕的配置信息，判定选择上端配置布局或下端配置布局中的哪个作为字幕的布局。

7.根据权利要求1所述的再现装置，其特征在于，

所述再现装置具备：

接收部件，接收被广播的对象轮播；和

高速缓存部件，将接收到的对象轮播存储在高速缓存中，在高速缓存内得到文件布局，

所述文件布局包含流文件与播放列表文件，播放列表文件包含扩展信息表，

视频流及字幕流存在于所述流文件的内部，

将字幕配置在哪个布局中，是通过所述扩展信息表来表示的，

所述扩展信息表表示由字幕流显示的字幕的配置位置及尺寸，

所述描绘部件通过参照所述扩展信息表中字幕的配置信息，判定选择上端配置布局或下端配置布局中的哪个作为字幕的布局。

8.一种集成电路，在构成播放列表信息的多个播放项目信息中的一个播放项目信息成为当前播放项目信息时，进行在当前播放项目信息的流号码表中允许再现的基本流的再现，通过所述流号码表而被允许再现的基本流包含字幕流，其特征在于，

具备：

视频解码器，解码立体视觉视频流，进行立体视觉再现；

过程执行部件，通过以当前播放项目信息的流号码表中的流登记排列作为对象来执行过程，选择当前字幕流，将当前字幕流的流号码存储到流号码寄存器；

字幕解码器，解码当前字幕流，以规定的布局执行字幕显示；

描绘部件，执行设备内置的GUI的描绘；和

合成部件，将基于视频解码器的立体视觉再现、字幕显示与所描绘的设备内置的GUI合成，

在所述字幕的布局中，有通常布局、仅在画面上端侧确保字幕显示区域的上端配置布局、仅在画面下端侧确保字幕显示区域的下端配置布局，

由所述过程执行部件执行的过程中，包括：

第1过程，在流号码寄存器中存储的流号码在当前播放项目信息中不是有效的情况下，判定在当前播放项目信息中的流号码表的多个入口所指示的多个字幕流中，解码字幕流的能力在再现装置中存在并且具有与再现装置的语言设定相同的语言属性的字幕流是否存在多个，在存在多个满足该条件的字幕流的情况下，选择该多个字幕流中的、在流号码表的流登记排列中入口顺序为最高的字幕流；以及

第2过程，在产生了字幕流的变更请求的情况下，选择该变更请求所涉及的字幕流，

在请求了显示设备内置的GUI的情况下，所述描绘部件判定相同语言属性的2个以上的字幕流、而且是其优先顺序在流选择表中被设定为第2个以下的字幕流是否被选择，若判定结果为肯定，则当前的流号码为听觉障碍者用字幕，确定设备内置的GUI的位置或尺寸，以使得设备内置的GUI被显示在上端侧字幕显示区域或者下端侧字幕显示区域的空白区域。

9.一种再现方法，在构成播放列表信息的多个播放项目信息中的一个播放项目信息成为当前播放项目信息时，进行在当前播放项目信息的流号码表中允许再现的基本流的再现，通过所述流号码表而被允许再现的基本流包含字幕流，其特征在于，

具有如下步骤：

视频解码步骤，解码立体视觉视频流，进行立体视觉再现；

过程执行步骤，通过以当前播放项目信息的流号码表中的流登记排列作为对象来执行过程，选择当前字幕流，将当前字幕流的流号码存储到流号码寄存器；

解码当前字幕流，以规定的布局执行字幕显示的步骤；

描绘步骤，执行设备内置的GUI的描绘；和

合成步骤，将基于视频解码步骤的立体视觉再现、字幕显示与所描绘的设备内置的GUI合成，

在所述字幕的布局中，有通常布局、仅在画面上端侧确保字幕显示区域的上端配置布局、仅在画面下端侧确保字幕显示区域的下端配置布局，

由所述过程执行步骤执行的过程中，包括：

第1过程，在流号码寄存器中存储的流号码在当前播放项目信息中不是有效的情况下，判定在当前播放项目信息中的流号码表的多个入口所指示的多个字幕流中，解码字幕流的能力在再现装置中存在并且具有与再现装置的语言设定相同的语言属性的字幕流是否存在多个，在存在多个满足该条件的字幕流的情况下，选择该多个字幕流中的、在流号码表的流登记排列中入口顺序为最高的字幕流；以及

第2过程，在产生了字幕流的变更请求的情况下，选择该变更请求所涉及的字幕流，

在请求了显示设备内置的GUI的情况下，所述描绘步骤判定相同语言属性的2个以上的字幕流、而且是其优先顺序在流选择表中被设定为第2个以下的字幕流是否被选择，若判定结果为肯定，则当前的流号码为听觉障碍者用字幕，确定设备内置的GUI的位置或尺寸，以使得设备内置的GUI被显示在上端侧字幕显示区域或者下端侧字幕显示区域的空白区域。