CN102027749A

CN102027749A - 考虑特殊再现的再现装置、集成电路、再现方法

Info

Publication number: CN102027749A
Application number: CN2009801173359A
Authority: CN
Inventors: 大久保雅文; 杰尔马诺·莱希森林
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2008-11-18
Filing date: 2009-11-16
Publication date: 2011-04-20
Anticipated expiration: 2029-11-16
Also published as: WO2010058547A1; KR20110095128A; US8548308B2; EP2348747A1; CN102027749B; EP2348747A4; JPWO2010058547A1; JP5632291B2; US20100150523A1

Abstract

本发明提供考虑特殊再现的再现装置、集成电路、再现方法。读出部件(201)从记录媒体读出包含左眼用视频流及右眼用视频流的数字流。模式存储部(203)存储着使用户立体观看视频帧的3D模式、使用户平面观看视频帧的2D模式中的某一个作为本装置的再现模式。维数判断部(202)判断从记录媒体读出的数字流是否支持3D模式；分离器(204)在上述数字流支持3D模式、而且上述再现模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方。

Description

考虑特殊再现的再现装置、集成电路、再现方法

技术领域

本发明涉及立体视视频与字幕和图形的叠加技术的技术领域。

背景技术

上述叠加技术是指使再现装置为视频流、字幕、图形而分别具有不同的显示平面，在高像质的视频流的各个视频帧上叠加字幕和图形，并输出到相连接的显示装置等设备的技术，作为实现高临场感的技术正广泛普及。

在作为连接对象的显示设备中，不仅能欣赏平面影像而且能欣赏凸出似的影像的立体视显示装置预计在不久的将来会普及。在立体视显示装置中，有各种各样的方式，基本原理是通过导入使左眼和右眼观看不同的图画的机制，利用该两眼间的视差，来模拟地形成立体影像。

例如，常用方式之一是利用快门眼镜的方式。在该方式中，通过用眼镜来交替地高速遮蔽观众的左眼和右眼的视野，与该眼镜的工作同步，显示装置的显示图像也按左眼用/右眼用来高速更新，结果是能够实现下述机制：快门眼镜使显示装置上显示的左眼用的图像只能由左眼看见，而右眼用的图像只能由右眼看见。

如果想使观众观看以与普通平面影像同等的帧率而被立体化的影像，则显示装置端需要2倍于普通的响应性能，例如为了显示一秒60帧的视频，最低必须进行1秒120帧的切换。因此，显示的视频流必须以1秒120帧的状态被编码，为了用提高帧率以外的方法来得到立体效果，也有像非专利文献1那样用并列(side-by-side)方式进行编码的方法。

此外，也有像专利文献2那样使用棋盘图案(checkered pattern)的方式。

再者，在对被立体化的影像进行特殊再现的情况下的显示技术中，有像专利文献3那样在再现被立体化的影像时暂停了的情况下也能够继续欣赏立体影像的技术。

在重叠多个层来显示的技术中，有像专利文献4那样在多画面显示超过了规定的画面数的状态下进行GFX绘制的情况下，进行控制，使得在GFX绘制期间对判断为优先级低的输入影像的至少1个以上的输入影像进行跳帧的技术。

现有技术文献

专利文献

专利文献1：国际公开第2005/119675号小册子

专利文献2：美国专利申请公开第2008/0036854号说明书

专利文献3：日本特开2002-95017

专利文献4：日本特开2003-298938

非专利文献

非专利文献1：FOUNDATIONS OF THE STEREOSCOPIC CINEMA A STUDY INDEPTH(by LENNY LIPTON)

然而，目前立体欣赏数字流的方式主要应用在剧场等中，如上述专利文献所述，通过家庭设置用的再现装置再现立体视数字流来欣赏的使用形式预计今后也会普及。

而为了形成3D的立体影像，当然需要使数字流支持3D。

然而，即便数字流支持3D，在再现装置中数字流不支持3D的情况下，也不能形成3D的立体影像。此外，即使数字流支持3D，用户也有时想以2D来再现数字流。

即，如果仅凭数字流支持2D还是支持3D，来决定再现装置以3D再现还是以2D再现数字流，则有时会不妥当。

发明内容

本发明的目的在于提供一种再现装置，在是否支持3D这一点上数字流和再现装置不同的情况下，也能够实现适当的流再现。

能够解决上述课题的再现装置能够将显示模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个，其特征在于，包括：

读出部件，从记录媒体上读出包含左眼用视频流及右眼用视频流的数字流；

模式存储部，存储着当前显示模式；

维数判断部，判断从记录媒体上读出的数字流是否支持3D模式；

分离器，在上述数字流支持3D模式、而且当前显示模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方；及

视频解码器，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观看的视频帧。

发明效果如下：

如上构成的再现装置进行两个判断：判断数字流支持2D还是支持3D，判断再现装置被设置为以2D来再现还是被设置为以3D来再现，最终通过决定以2D来再现数字流还是以3D来再现数字流，能够适当地形成立体影像。

在想用家用的再现装置来再现立体视视频流的情况下，当然有可能进行快进、后退等特殊再现。但是，为了模拟地形成立体影像，需要对左眼和右眼的视频流分别进行解码，交替地切换并输出它们，与进行平面性的处理的平面处理相比，处理量增加。因此，在用再现立体视视频流的再现装置进行特殊再现的情况下，立体处理有可能跟不上特殊再现的情况下的再现速度。

为了解决这种课题，最好如下构成上述再现装置。

即，最好上述再现装置包括：再现控制部件，在当前显示模式是3D模式的情况下请求了特殊再现时，将显示模式维持在3D模式，使视频解码器进行重复2次以上输出同一视频帧的处理；

作为重复输出对象的视频帧是对从数字流分离出的右眼用视频流及左眼用视频流中的某一方进行解码而得到的视频帧，将重复输出的视频帧分别写入到右眼用视频平面、左眼用视频平面上。该再现装置即使在用再现立体视视频流的再现装置进行特殊再现的情况下，也能够防止立体处理跟不上特殊再现的情况下的再现速度。

在3D显示视频流的情况下，有显示到近侧或显示到远侧这两种样式。在视频流被3D显示在近侧的情况下，如果合成2D的图形流，则图形流会看不到，成问题。

因此，通过使得图形流也能够以3D来显示，能够消除上述问题。

此外，如果图形流也能够3D显示，则也有用户能欣赏各种各样立体影像这一效果。

在显示模式被从3D变更到2D的情况下或显示模式被从3D变更到2D的情况下，再现装置通知显示装置已切换显示模式。收到通知的显示装置实际完成了能够以切换后的模式进行显示的准备后，通知再现装置已完成能够以切换后的模式进行显示的准备。在从通知显示装置已切换显示模式、到显示装置通知再现装置已完成能够以切换后的模式进行显示的准备的期间，成为能够写入到平面上、但是不显示到显示装置上的状态(消失，blackout)。因此，在此期间，写入到平面上的内容不会被显示到显示装置上。

另一方面，应用程序是例如能够通过提供利用了电影的正片的影像的游戏等而使用户娱乐的程序。在游戏等中，也有例如按照正片的影像、声音来再现动画的情况。即，绘制构成动画的图形图像的应用程序需要与正片的影像——视频流同步将图形图像绘制到交互式图形平面上。

由以上可知，在从应用程序通知显示装置已切换显示模式、到显示装置通知再现装置已完成能够以切换后的模式进行显示的准备的期间，有时也会向交互式图形平面上写入图形图像来进行图形图像的绘制处理。

在这种情况下，应用程序不能使图形流和视频流同步。

在解决这种课题时，最好如下构成上述再现装置。即，上述再现装置包括：

平台部，执行字节码应用；和

传输部件，通过向与再现装置相连接的显示装置传输视频帧，而使显示装置执行视频帧的输出；

在上述模式存储部中存储着的显示模式被从2D模式切换到3D模式的情况下，或者从3D模式切换到2D模式的情况下，传输部件进行显示装置的重新认证；

在上述重新认证后，收到能够进行与切换后的模式相应的输出的意思的通知的情况下，应该对上述平台部执行着的字节码应用通知能够进行与上述切换后的模式相应的输出的意思。

为了使得在从通知显示装置已切换显示模式、到显示装置通知再现装置已完成能够以切换后的模式进行显示的准备的期间，应用程序不向交互式图形平面上写入图形图像来进行处理，可以建立显示装置通知应用程序已完成能够以切换后的模式进行显示的准备的机制。由此，能够使得应用程序能够与视频流同步地向交互式图形平面上绘制图形图像。

附图说明

图1是具备本申请的课题解决部件的、最基本的再现装置的内部结构图。

图2是具备本申请的课题解决部件的、最基本的再现方法的流程图。

图3是将具备本申请的课题解决部件的再现装置用作具体的电器产品时的使用形态图。

图4是BD-ROM 100的内部结构图。

图5是播放列表文件的内部结构中的“再现属性信息”、“再现数据信息”的内部结构的详图。

图6示出规定2D播放列表的播放列表文件的具体描述。

图7示出规定3D播放列表的播放列表文件的一例。

图8是具备本申请的课题解决部件的再现装置的内部结构的结构图。

图9是寄存器组12的内容的例子的示意图。

图10是合成了进行过平面移动的图像平面的视频帧的图。

图11示出通过用液晶眼镜500来观看向左平面移动后的图像平面、和向右平面移动后的图像平面而出现的立体图像。

图12是再现装置200读入上述影像数据——播放列表并放映立体影像上重叠的立体字幕/立体图形时的处理过程的流程图。

图13是3D模式下的视频帧处理的处理过程的流程图。

图14是2D模式下的播放列表再现的处理过程的流程图。

图15是2D模式下的2D流的视频帧处理的处理过程的流程图。

图16是2D模式下的3D流的视频帧处理的处理过程的流程图。

图17是能够支持多图像平面的播放列表再现处理的处理过程的流程图。

图18是加进了输出显示模式切换完成通知事件的过程的、3D模式下的视频帧处理的处理过程的流程图。

图19是加进了输出显示模式切换完成通知事件的过程的、2D模式下的视频帧处理的处理过程的流程图。

图20是在普通再现之外、考虑特殊再现的3D模式下的视频帧处理的处理过程的流程图。

图21示出了禁止根据用户操作、来自BD-J应用程序、电影对象的指示进行特殊再现的情况下的流程图的一例。

图22是适用了Depth(深度)运算方式的再现装置的内部结构的方框图。

图23是采用了Depth运算方式的情况下的3D模式下的视频帧处理的处理过程的流程图。

图24示出再现装置200和显示装置400的通信序列。

图25是HDMI接口中的、模式切换的处理过程的流程图。

图26是在显示模式按B-D显现(presentation)模式、B-B显现模式、B-D显现模式那样来转移的情况下、输出的图片和显示频率、HDMI如何变化的图。

图27示出由于从普通再现切换到快进、从快进切换到普通再现，再现装置中的解码内容及显示装置400的显示内容如何变化。

图28示出通过选择GOP内存在的I图片、B图片、P图片中的哪个来再现、选择构成视频流的多个Closed-GOP(闭GOP)、Open-GOP(开GOP)中的哪个来再现、来实现速度调整的倍速再现的实现例。

图29示出分离器及视频解码器的内部结构。

图30是考虑到倍速再现的特殊再现的处理过程的流程图。

图31是3D模式下的视频帧处理的处理过程的流程图。

图32是与用户操作、BD-J应用程序的请求、电影对象的请求相应的图像平面处理过程的流程图。

图33是记录方法的处理过程的流程图。

图34是再现装置的硬件的内部结构图。

图35是平面偏移量的符号为正(将左眼用的图形图像向右偏移，将右眼用的图形图像向左偏移)的情况下、像看起来比显示画面更近的原理的说明图。

图36是平面偏移量的符号为负(将左眼用的图形图像向左偏移，将右眼用的图形图像向右偏移)的情况下、像显得比显示画面更远的原理的说明图。

图37是字幕的凸出程度如何根据平面偏移量的大小来变化的图。

图38示出图像平面8的内部结构。

图39示出向右移动、向左移动后的、前景区域的像素数据及背景区域的像素数据。

图40是图像平面8上的平面移动的处理过程的图。

图41是图形平面上保存着的像素数据的图。

图42示出移动后的图形平面的保存内容。

标号说明

100BD-ROM； 200再现装置

300遥控； 400电视

500液晶眼镜； 1a BD驱动器

1b网络设备； 1c本地存储器

2a，2b读缓冲器； 3虚拟文件系统

4分离器； 5视频解码器

6视频平面； 7a，b图像解码器

7c，d图像存储器； 8图像平面

9音频解码器； 10交互式图形平面

11背景平面； 12寄存器组

13静态脚本存储器； 14再现控制引擎

15缩放引擎； 16合成部

17HDMI发送接收部； 18显示功能标志保持部

19左右处理存储部； 20平面移动引擎

21偏移信息存储器； 22BD-J平台

具体实施方式

以下，参考附图来说明具备上述课题解决部件的再现装置的实施方式。

图1是具备本申请的课题解决部件的、最基本的再现装置的内部结构图。本图所示的再现装置除了上述课题解决部件以外，尽量排除了无用的构件，由读出部件201、维数判断部202、模式存储部203、分离器(demultiplexer)204、视频解码器205构成。

图2是具备本申请的课题解决部件的、最基本的再现方法的流程图。本图所示的再现方法由与上述课题解决部件对应的时序要素——读出步骤S101、模式存储步骤S102、分离步骤S103、解码及帧输出步骤S104构成。

图3是将具备上述课题解决部件的再现装置用作具体的电器产品时的使用形态图。如本图所示，记录媒体的一例——BD-ROM 100、再现装置200与遥控300、显示装置400、液晶眼镜500一起构成家庭影院系统，供用户使用。

BD-ROM 100向上述家庭影院系统提供例如电影作品。

再现装置200与显示装置400相连，再现BD-ROM 100。在这样再现的再现影像中，存在2D影像、3D影像。2D影像是指将显示装置的显示画面看作X-Y平面、用该X-Y平面上的像素表现的图像，也称为平面图像。

与此相对，3D影像是指对显示装置的画面上的X-Y平面上的像素加上了Z轴方向的纵深所得的图像。3D影像一起再现要用左眼观看的左眼用影像、和要用右眼观看的右眼用影像，用这些左眼用影像、右眼用影像来发挥立体效果，供用户观看。3D影像中的像素中的、具有正的Z轴坐标的像素，用户感到比显示装置的画面更近；而具有负的Z轴坐标的像素，则感到比画面更远。

遥控300是从用户那里接受与再现控制有关的各种各样的操作、并且从用户那里接受对分级的GUI进行的操作的机器，为了接受这种操作，遥控100包括调用弹出菜单的菜单键、移动构成弹出菜单的GUI部件的焦点的箭头键、对构成弹出菜单的GUI部件进行确定操作的确定键、用于使分级的弹出菜单返回到上一级的返回键、数字键。

显示装置400通过显示电影作品的再现影像，或者显示菜单等，而向用户提供交互式的操作环境。

液晶眼镜500由液晶快门和控制部构成，用用户的两眼的视差来实现立体视觉。液晶眼镜500的液晶快门是采用了具有通过改变施加电压来改变光的透射率的性质的液晶镜片的快门。液晶眼镜500的控制部接受从再现装置发送的右眼用的图像和左眼用的图像的输出切换的同步信号，根据该同步信号，来切换第1状态、第2状态。

第1状态是指调节施加电压、使得与右眼对应的液晶镜片不透过光，调节施加电压、使得与左眼对应的液晶镜片透过光的状态，在该状态下，左眼用的图像供观看。

第2状态是指调节施加电压、使得与右眼对应的液晶镜片透过光，调节施加电压、使得与左眼对应的液晶镜片不透过光的状态，在此情况下，液晶眼镜能够使右眼用的图像供观看。

一般由于右眼和左眼的位置差异，右眼看到的像和左眼看到的像在视觉上有若干差异。利用该差异，人能够将眼睛看到的像识别为立体。因此，液晶眼镜500如果使以上那样的第1状态、第2状态的切换与右眼用的图像和左眼用的图像的输出的切换定时同步，则用户会产生将平面显示看成立体的错觉。接着，说明显示右眼用影像、左眼用影像时的时间间隔。

具体地说，在平面显示的图像中，右眼用的图像和左眼用的图像有与人的视差相当的视觉差异，通过以很短的时间间隔来切换显示这些图像，看起来就好像是在进行立体显示。

该很短的时间间隔只要是通过上述切换显示足以使人产生看成立体的错觉的时间就够了。

以上是对家庭影院系统的说明。

接着说明再现装置200再现的对象——记录媒体。再现装置200再现的是BD-ROM 100。图4是BD-ROM 100的内部结构图。

本图的第4排示出BD-ROM，第3排示出BD-ROM上的光道。本图的光道是将从BD-ROM的内周到外周螺旋状形成的光道沿横向拉伸而绘制的。该光道由导入区、卷区、以及导出区组成。此外，在导入区的内侧有称为BCA(Burst Cutting Area)的只能由驱动器读出的特别区域。该区域不能从应用程序读出，所以常常用于例如著作权保护技术等。

本图的卷区具有文件系统层、应用层这样的层次模型，在文件系统层中，以文件系统信息打头，记录着影像数据等应用程序数据。文件系统是指UDF或ISO9660等，能够与普通PC同样用目录、文件结构来读出记录着的逻辑数据，能够读出255个字符的文件名、目录名。用目录结构来表现BD-ROM的应用层格式，则如图中的第1排所示。在该第1排中，在BD-ROM上，在Root目录下，有CERTIFICATE目录及BDMV目录。

在CERTIFICATE目录下，存在盘的根证书的文件(app.discroot.cert)。app.discroot.cert是用Java(注册商标)虚拟机来执行进行动态脚本控制的Java(注册商标)应用程序时、用于确认应用程序是否被窜改、及应用程序的身份的过程(以下称为签名验证)的数字证书。

BDMV目录是记录着BD-ROM处理的AV内容和管理信息等数据的目录，在BDMV目录下，存在称为PLAYLIST目录、CLIPINF目录、STREAM目录、BDJO目录、JAR目录、META目录的6个子目录，安排着INDEX.BDMV和MovieObject.bdmv这2种文件。

STREAM目录是保存着可谓传输流主体的文件的目录，存在被赋予了扩展名“m2ts”的文件(00001.m2ts)。

在PLAYLIST目录中，存在被赋予了扩展名“mpls”的文件(00001.mpls)。

在CLIPINF目录中，存在被赋予了扩展名“clpi”的文件(00001.clpi)。

在BDJO目录中，存在被赋予了扩展名“bdjo”的文件(XXXXX.bdjo)。

在JAR目录中，存在被赋予了扩展名“jar”的文件(YYYYY.jar)。

在META目录中，存在XML文件(ZZZZZ.xml)。

以下，说明这些文件。

<Index.bdmv>

Index.bdmv(索引表)是与整个BD-ROM有关的管理信息，将光盘插入到再现装置中后，通过首先读出index.bdmv，在再现装置中能唯一地识别光盘。Index.bdmv规定构成光盘的节目结构的各个节目、和规定工作模式的工作模式对象之间的对应关系。节目结构是指在装入光盘时，开始再现伴有对观众的警告或内容提供商的徽标显示等的节目(第一次播放节目)，再现第一次播放节目后，再现构成电影作品的正片的一般节目(用“1”、“2”、“3”这样的序列号标识的一般节目)，如果正片节目的再现结束，则再现接受节目选择的节目(菜单节目)并等待用户选择一般节目。

光盘的节目通过向上述那样的第一次播放节目、一般节目、菜单节目分别分配规定工作模式的工作模式对象，来详细规定各个节目以何种工作模式来工作。

<MovieObject.bdmv>

MovieObject.bdmv保存着电影对象。电影对象是工作模式对象之一，是在基于命令的工作模式(称为HDMV模式)中、将多个导航命令作为批作业提供给再现装置、使再现装置根据这些导航命令来工作的批作业程序。具体地说，电影对象包含1个以上的命令、和规定在用户对GUI进行了菜单调用、节目调用的情况下是否屏蔽这些调用的屏蔽标志。导航命令是指用所谓的解释型语言描述的控制命令，多个导航命令作为批作业由解释器(作业控制程序)解释，使CPU执行期望的作业。导航命令由操作码和操作数组成，能够用操作码来命令再现装置进行节目分支或再现、运算等操作。操作数是播放列表的号码或节目号，能够指定待操作的对象。

<m2ts文件>

被赋予了扩展名“m2ts”的文件是MPEG-TS(TransportStream)形式的数字AV流，通过复用视频流、1个以上的音频流、字幕数据而得到。视频流表示电影的动画部分，音频流表示电影的声音部分。将只包含2D用的流的传输流称为“2D流”，将包含3D用的流的传输流称为“3D流”。

在3D流的情况下，可以向m2ts中放入左眼用和右眼用这两者的数据，也可以为左眼用和右眼用分别准备m2ts。为了减少流所用的容量，最好使用左眼用视频流和右眼用视频流相互参考的编解码器(例如，MPEG-4AVCMVC)。将用这种编解码器压缩编码了的视频流称为MVC视频流。

<播放列表信息>

被赋予了扩展名“mpls”的文件是保存着播放列表(PL)信息的文件。播放列表信息是参考AV片断来定义播放列表的信息。

在BD-ROM上存在着识别待再现的流是2D用还是3D用的维数识别标志，在本实施方式中，在播放列表(PL)信息中嵌入了维数识别标志。

在本实施方式中，能够根据BD-ROM上的播放列表(PL)的构成格式来确定在待再现的流中是否存在3D用的流。用于再现控制的Java(TM)应用程序可以通过命令Java(TM)虚拟机生成再现该播放列表信息的JMF播放器实例，来开始AV再现。JMF(Java Media Frame work，Java媒体框架)播放器实例是指根据JMF播放器类在虚拟机的堆存储器上生成的实际的数据。

再者，作为术语定义，2D播放列表只包含2D再现用的流，而3D播放列表除了包含2D流以外，还包含3D立体视觉用的流。

被赋予了扩展名“clpi”的文件是与AV片断分别一一对应的Clip(片断)信息。由于是管理信息，所以Clip信息具有AV片断上的流的编码形式、帧率、比特率、分辨率等信息、和表示GOP的起始位置的EP_map。以上Clip信息及播放列表信息被分类为“静态脚本”。

<BD-J对象>

BD-J对象是使再现装置以基于字节码应用的工作模式(称为BD-J模式)来工作的工作模式对象。字节码应用是指用面向对象语言这样的编译型语言、例如Java(TM)语言生成的应用程序。BD-J对象是用Java(TM)语言等“编译型语言”来规定再现装置的工作的，所以具有与用解释型语言——命令来描述的电影对象相反的意义。BD-J对象包含以下“应用程序管理表”。

(应用程序管理表)

应用程序管理表包含多个项目。这些项目包含在节目中是应该自动启动应用程序(AutoStart)、还是应该等待从其他应用程序中调用来启动(Present)这一表示启动的方法的“控制码”、用作为JAR文件的文件名的5位数值来表示作为对象的应用程序的“应用程序ID”、以及“应用程序详细信息”。

“应用程序详细信息”为每个应用程序保存着应用程序被装入的情况下的“优先级”、表示应用程序是否是节目未绑定、是否是光盘绑定的“绑定信息”、表示应用程序的名称的字符串、表示应用程序的语言属性的“语言码”、以及指示与应用程序相对应的图标所在的“图标定位符”。应用程序管理表通过将节目作为生存周期来管理，能够以节目这一再现单位为区隔来管理各应用程序对存储资源等的消耗。由此，即使在某个节目的再现中多个应用程序竞争资源的利用、而陷入了死锁状态，如果用户选择别的节目，则也能使这些应用程序全部结束，所以死锁状态强制解除。此外，即使在某个节目的再现中失控了的应用程序占有了存储器，如果用户选择别的节目，则也能使该应用程序强制结束，所以存储容量的压力强制解除。通过这样做，能够实现不消耗无谓的存储资源、稳定的存储资源的管理。由于能够实现稳定的存储资源的管理，所以在存储资源的容量受限的家电设备的实现中，将进一步发挥其真正的价值。将用BD-J对象内的应用程序管理表来规定工作的字节码应用称为“BD-J应用程序”。

与该Java(注册商标)应用程序的实体相当的是图2中的BDMV目录下的JAR目录中保存着的Java(注册商标)存档文件(YYYYY.jar)。

应用程序是例如Java(注册商标)应用程序，由被装入到虚拟机的堆区(也称为工作存储器)上的1个以上的xlet程序组成。

在META目录中保存着的元文件(ZZZZZ.xml)中，保存着与放入光盘中的影像作品有关的各种各样的信息。作为元文件中保存着的信息，有光盘的光盘名及图像、光盘由谁制作的信息、与各节目有关的节目名等。以上是对BD-ROM 100的说明。元文件不是必须的文件，也有未保存该文件的BD-ROM。

以上是对再现装置的再现对象——BD-ROM的说明。接着，说明播放列表信息的细节。

实现立体视觉及平面视觉的播放列表信息如下构成。一般“播放列表”是指通过在AV流的时间轴上规定再现区间、并且在逻辑上指定该再现区间之间的再现顺序而规定的再现路径，具有规定再现AV流中的哪个的哪一部分、并以何种顺序来展开场景的作用。MPLS文件中保存着的播放列表信息定义这种播放列表的“类型”。用播放列表信息定义的再现路径是所谓的“多路径”。多路径是指对主AV流定义的再现路径(主路径)、和对辅流定义的再现路径(支路径)的捆绑。在这种多路径的再现时间轴上，定义了章位置。通过使再现装置参考该章位置，而使再现装置实现对多路径的时间轴上的任意时间点的随机访问。为了定义这种多路径，播放列表信息包含再现属性信息、MainPath信息、Subpath信息、PlayListMark信息。

1)MainPath信息是通过定义主视视频流的再现时间轴中的、1个以上的、作为In_Time的时间点和作为Out_Time的时间点的组合、来定义逻辑再现区间的信息，包含STN_table。该MainPath信息相当于再现数据信息。

2)播放列表Mark信息包含用In_Time信息及Out_Time信息的组合指定的视频流的一部分中的、作为章的时间点的指定。

3)Subpath信息由1个以上的SubPlayItem信息构成，SubPlayItem信息包含要与上述主视视频流同步来再现的辅视流的指定、和该辅视流的再现时间轴上的In_Time信息及Out_Time信息的组合。

用以上数据结构，能够定义将左眼用视频流上的再现区间、及右眼用视频流上的再现区间捆绑所得的多路径，通过这种多路径的定义，能够以与现有的BD-ROM的数据结构兼容的形式，来定义能够立体再现的再现区间。

图5是播放列表文件的内部结构中的、“再现属性信息”、“再现数据信息”的内部结构的详图。

“再现属性信息”包含播放列表文件基于的标准的“版本”、指定该播放列表文件是电影、幻灯播放中的哪一种、是顺序再现还是随机再现构成播放列表文件的各个PlayItem的“再现类型”、以及表示播放列表文件是2D播放列表还是3D播放列表这一区别的“维数识别标志”。

“再现数据信息”由N+1个PlayItem信息(图中的PlayItem#0信息～PlayItem#N信息)构成。各个PlayItem信息包含表示该PlayItem对应的传输流的“流文件信息”、表示该流文件的再现时间长度的“再现时间信息”、以及为每个打包基本流表示在该播放项信息中允许再现何种打包基本流的“流登录信息”。

“维数识别标志”表示是3D播放列表，这是用播放列表文件参考的传输流文件内数字流是支持3D的数字流的情况；“维数识别标志”表示是2D播放列表，这是用播放列表文件参考的传输流文件内数字流是只支持2D的数字流的情况。

以下，说明播放列表文件的具体描述例。图6示出规定2D播放列表的播放列表文件的具体描述。

在图6的一例中，“版本信息”是2.00；播放列表文件的再现类型被设置为下述内容：再现数据信息的PlayItem信息是“电影”，表示从起始处顺序再现用PlayItem信息指定的流文件的“顺序”。

此外，维数识别标志示出是能够2D显示的流结构的例子。

在再现数据信息中，描述了与影像/声音/字幕数据有关的信息。

在图6的例子中，示出PlayItem#0使用的流文件是上述STREAM目录下的00001.m2ts，PlayItem#0的再现时间是0x002932E0。PlayItem#0的3个流登录信息示出用影像#1、声音#1、字幕#1这3个逻辑流号标识的3个打包基本流的细节。

具体地说，示出用影像#1这一逻辑流号识别的打包基本流是由具有包标识符0x02的TS包构成的视频流。

示出用声音#1这一逻辑流号识别的打包基本流是由具有包标识符0x80的TS包构成、语言为日语的声音流。

示出用字幕#1这一逻辑流号识别的打包基本流是由具有包标识符0x92的TS包构成、语言为日语、尺寸为普通尺寸的字幕数据。

图7示出规定3D播放列表的播放列表文件的一例。

本图中的再现属性信息的版本是“2.00”，播放列表文件的再现类型是“电影”、表示从起始处顺序再现再现数据信息中包含的播放项的“顺序”被设置为再现类型。维数识别标志示出是能够立体表示的3D播放列表。

在再现数据信息中，示出存在1个PlayItem，PlayItem#0使用的流文件是上述STREAM目录下的00001.m2ts。PlayItem#0的再现时间是0x002932E0，在PlayItem#0中，存在4个表示打包基本流的细节的流登录信息。

由这些流登录信息可知以下事实。

即，可知：被分配了影像#1这一逻辑流号的打包基本流由包标识符为0x02的TS包构成，具有左眼用这一视觉属性。

被分配了影像#2这一逻辑流号的打包基本流由包标识符为0x02的TS包构成，具有右眼用这一视觉属性。

被分配了声音#1这一逻辑流号的打包基本流是由包标识符为0x80的TS包构成、具有日语这一语言属性的声音流。

可知：被分配了字幕#1这一逻辑流号的打包基本流是由包标识符为0x92的TS包构成、具有日语这一语言属性、字符尺寸为普通尺寸的字幕数据。

以上是对播放列表信息的说明。接着，说明再现装置的细节。

下面详细说明再现装置的构件。图8是再现装置的内部结构的结构图。如本图所示，再现装置由BD驱动器1a、网络设备1b、本地存储器1c、读缓冲器2a，2b、虚拟文件系统3、分离器4、视频解码器5a，b、视频平面6、图像解码器7a，b、图像存储器7c，d、图像平面8、音频解码器9、交互式图形平面10、背景平面11、寄存器组12、静态脚本存储器13、再现控制引擎14、缩放引擎15、合成部16、HDMI发送接收部17、显示功能标志保持部18、左右处理存储部19、平面移动引擎20、偏移信息存储器21、BD-J平台22、动态脚本存储器23、模式管理模块24、HDMV模块25、UO检测模块26、绘制引擎27a、绘制存储器27b、显示模式设置初始显示设置部28、维数模式存储部29构成。

在输入到第1实施方式的再现装置200中的视频流中，分别存在左眼用的和右眼用的，但是字幕/GUI流则输入左眼用和右眼用共享的。在本实施方式中，以预先在一个流文件中嵌入了右眼用流和左眼用流为前提来进行描述。这是为了尽量抑制存储器和图形方面的机器资源贫乏的机器(例如CE机器)所需的运算量。

(BD驱动器1a)

BD驱动器1a包括具有半导体激光器、准直透镜、分束器、物镜、聚光透镜、光检测器的光学头。从半导体激光器出射的光束通过准直透镜、分束器、物镜，会聚到光盘的信息面上。会聚的光束在光盘上反射/衍射，通过物镜、分束器、聚光透镜，会聚到光检测器上。光检测器按照会聚的光的光量，来生成再现信号。通过对该再现信号进行解调，能够解调出BD上记录着的各种各样的数据。

(网络接口1b)

网络接口1b用于与再现装置的外部进行通信，能够访问可用因特网访问的服务器，或者访问用本地网连接的服务器。例如，能够用于下载因特网上公开的BD-ROM追加内容，或者通过与内容指定的因特网上的服务器进行数据通信来再现利用网络功能的内容。BD-ROM追加内容是指原始的BD-ROM上没有的内容，例如追加的第二音频、字幕、赠送影像、应用程序等。可以从BD-J平台来控制网络接口1b，可以将因特网上公开的追加内容下载到本地存储器1c中。

(本地存储器1c)

本地存储器1c包括内置媒体及移动媒体，用于保存下载下来的追加内容或应用程序所用的数据等。保存追加内容的区域被分给每个BD-ROM，而应用程序能够用来保持数据的区域被分给每个应用程序。此外，记载着将下载的追加内容如何与BD-ROM上的数据合并的合并规则的合并管理信息也被保存在该内置媒体、移动媒体中。

内置媒体是指例如再现装置中内置的硬盘驱动器、存储器等可写的记录媒体。

移动媒体是指例如具有便携性的记录媒体，最好是SD卡等具有便携性的半导体存储卡。

以移动媒体为半导体存储卡时为例进行说明，再现装置包括用于安装移动媒体的插槽(未图示)及用于读取插槽上安装的移动媒体的接口(例如存储卡接口)，向插槽中安装了半导体存储器后，移动媒体和再现装置电连接，能够利用接口(例如存储卡接口)将半导体存储器中记录着的数据变换为电信号并读出。

(读缓冲器2a)

读缓冲器2a是用于暂时保存从BD驱动器1a读出的构成构成左眼用流的盘区的源包、在调整了传送速度之后、传送到分离器4的缓冲器。

(读缓冲器2b)

读缓冲器2b是用于暂时保存从BD驱动器1a读出的构成构成右眼用流的盘区的源包、在调整了传送速度之后、传送到分离器4的缓冲器。

(虚拟文件系统3)

虚拟文件系统3根据与追加内容一起下载到本地存储器1c中的合并管理信息，来合并本地存储器中保存着的追加内容和插入的BD-ROM上的内容，以构筑虚拟的BD-ROM(虚拟软件包)。为了构筑虚拟软件包，虚拟文件系统3具有用于生成及更新应用程序数据相关联信息的“应用程序数据相关联模块3a”。应用程序数据相关联信息是指根据BD-ROM光盘上的文件系统信息、和应用程序设置的别名访问信息、将本地存储器的信息与应用程序相关联的信息。

HDMV模式的工作主体——HDMV模块或BD-J模式的工作主体——BD-J平台能够无区别地参考虚拟软件包和原始BD-ROM。在再现虚拟软件包的过程中，再现装置用BD-ROM上的数据和本地存储器上的数据这两者来进行再现控制。

(分离器4)

分离器4由源包拆包器、PID过滤器构成，接受与要再现的流(流被包含在插入的BD-ROM及与插入的BD-ROM对应的本地存储器中)对应的包标识符的指示，根据该包标识符来执行包过滤，将其结果得到的TS包输出到解码器。在包过滤时，分离器4能够根据流的首标信息来划分左眼用视频流的视频帧和右眼用视频流的视频帧。本再现装置在向显示装置输出数据时交替地进行左眼用的影像和右眼用的影像的处理并输出。

在有些输出形式时需要同时输出两者的情况下，分离器交替地处理左眼用视频流的视频帧、和右眼用视频流的视频帧，在左眼用视频帧及右眼用视频帧这两者的解码完成的时间点输出两者。再者，在硬件结构上有2个输出的情况下分别输出左眼用和右眼用的影像。

(视频解码器5)

视频解码器5对从分离器4输出的构成左眼用视频流的TS包进行解码并将非压缩形式的视频帧写入到左眼视频平面6(图8的视频平面6上的符号(L)所示者)上。另一方面，对从分离器4输出的构成右眼用视频流的TS包进行解码并将非压缩形式的视频帧写入到右眼视频平面6(图8的视频平面6上的符号(R)所示者)上。

(视频平面6)

视频平面6是例如能够保存以1920×2160(1280×1440)这样的分辨率构成视频帧的图片数据的平面存储器，具有1920×1080(1280×720)的分辨率的左眼用平面(图8的视频平面6上的符号(L)所示者)、1920×1080(1280×720)的分辨率的右眼用平面(图8的视频平面6上的符号(R)所示者)。

(图像解码器7a，b)

图像解码器7a，b对从分离器4输出、被写入到图像存储器7c、7d中的构成字幕数据的TS包进行解码并将非压缩形式的图形字幕写入到图像平面8中。图像解码器7a，b解码的“字幕数据”是用游程长度编码压缩了的表示字幕的数据，用表示Y值、Cr值、Cb值、α值的像素码、和该像素码的游程长度来定义。

(图像平面8)

图像平面8是例如能够保存以1920×1080(1280×720)这样的分辨率对字幕数据进行解码而得到的图形数据(例如字幕数据)的图形平面，例如具有具有能够保存1920×1080(1280×720)的分辨率的数据的存储区域的左眼用平面(图8所示的图像平面8上的符号(L)所示者)、具有能够保存1920×1080(1280×720)的分辨率的数据的存储区域的右眼用平面(图8所示的图像平面8上的符号(R)所示者)。

(音频解码器9)

音频解码器9对从分离器4输出的音频帧进行解码，并输出非压缩形式的音频数据。

(交互式图形平面10)

交互式图形平面10是例如具有能够以1920×1080(1280×720)这样的分辨率来保存BD-J应用程序利用绘制引擎27a绘制的图形数据的存储区域的图形平面，例如具有具有能够保存1920×1080(1280×720)的分辨率的数据的存储区域的左眼用平面(图8的交互式图形平面10上附有符号(L)者)、具有能够保存1920×1080(1280×720)的分辨率的数据的存储区域的右眼用平面(图8的交互式图形平面10上附有符号(R)者)。

交互式图形平面10上保存的“图形数据”是各个像素由R值、G值、B值、α值定义的图形。写入到交互式图形平面10上的图形主要是用于构成GUI的图像或小配件。虽然表示像素的数据有不同，但是图像数据及图形数据用图形数据这一表现来总括。本申请针对的图形平面有图像平面8、交互式图形平面10这2种，在简称“图形平面”的情况下，指示图像平面8、交互式图形平面10这两者或其中某一种。

(背景平面11)

背景平面11是例如能够以1920×1080(1280×720)这样的分辨率来保存要成为背景图像的静止图像数据的平面存储器，具体地说，具有1920×1080(1280×720)的分辨率的左眼用平面(图8所示的背景平面11上的附有符号(L)者)、1920×1080(1280×720)的分辨率的右眼用平面(图8所示的背景平面11上的附有符号(R)者)。

(寄存器组12)

寄存器组12是包含保存播放列表的再现状态的再现状态寄存器、保存表示再现装置中的配置的配置信息的再现设置寄存器、能够保存内容所用的任意信息的通用寄存器的寄存器集。播放列表的再现状态表示利用播放列表中记载着的各种AV数据信息中的哪个AV数据、再现播放列表的哪个位置(时刻)等状态。

在播放列表的再现状态变化时，再现控制引擎14向寄存器组12中保存其内容。此外，可以根据来自HDMV模式的工作主体——HDMV模块或BD-J模式的工作主体——Java平台执行的应用程序的指示，来保存应用程序指定的值，或者将保存着的值交给应用程序。

(静态脚本存储器13)

静态脚本存储器13是用于保存当前播放列表信息和当前片断信息的存储器。当前播放列表信息是指能够从BD-ROM或内置媒体驱动器、移动媒体驱动器访问的多个播放列表信息中的当前处理对象。当前片断信息是指能够从BD-ROM或内置媒体驱动器、移动媒体驱动器访问的多个片断信息中的当前处理对象。

(再现控制引擎14)

再现控制引擎14执行AV再现功能、播放列表的再现功能。AV再现功能是指从DVD播放器、CD播放器沿袭的功能群，是再现开始、再现停止、暂停、暂停的解除、静止图像功能的解除、用立即数指定了再现速度的快进、用立即数指定了再现速度的后退、声音切换、副影像切换、角度切换这些处理。HDMV模块执行的电影对象或BD-J平台执行的BD-J应用程序通过对再现控制引擎14进行处理请求，能够使再现控制引擎不仅进行再现开始、再现停止这些普通再现的再现控制，而且进行暂停、暂停的解除、静止图像功能的解除、用立即数指定了再现速度的快进、用立即数指定了再现速度的后退、声音切换、副影像切换这些特殊再现。播放列表再现功能是指根据构成当前播放列表的当前播放列表信息、当前片断信息进行该AV再现功能中的再现开始或再现停止。AV流再现有以用户操作(例如再现按钮)为触发而开始的情况，也有以终端内的某个事件为触发而自动开始的情况。

再现装置的中间件将用于执行再现控制引擎的各种功能的API提供给BD-J应用程序。用于使再现控制引擎执行各再现功能的API的库是“AV再现库14a”。“AV再现库14a”中的各个API包含各种各样的成员函数，通过指定变元来调用AV再现库的成员函数(方法)，而使再现控制引擎执行这些成员函数的功能。另一方面，电影对象通过发布与该成员函数相当的导航命令，而使再现控制引擎执行与这些API相当的处理。

试举一例，“selectPlayList”是BD-J应用程序用于命令切换播放列表的API，用于调用该API的变元为BD-J定位符。BD-J定位符是能够用title_id、playlist_id、PlayItem_id来指定要选择的播放列表的、BD-J应用程序专用的定位符。通过使用BDMV/PLAYLIST目录中的播放列表文件的文件体，来指定要成为再现对象的播放列表。

再现控制引擎的功能执行的结果用事件通知给BD-J应用程序。由此，在利用AV再现库时，BD-J应用程序需要预先登录事件监听器，以便能够接收表示执行结果的事件。

(缩放引擎15)

缩放引擎15能够进行图像平面8或视频平面5上的影像的缩小、放大、及等倍的控制。如果在进行图像数据、视频帧的解码的时间点在平面移动引擎20内设置了值，则缩放引擎15认为发生了缩放，在将解码出的图形保存到视频平面上之前通过缩放引擎15进行缩放。

(合成部16)

合成部16进行交互式图形平面10、图像平面8、视频平面6、背景平面11的层合成。交互式图形平面10、图像平面8、视频平面6、背景平面11这些平面存储器形成层模型，合成部16进行的层合成是通过在平面存储器的层模型中对层模型中的阶层间的所有组合执行重叠阶层间的平面存储器中保存着的像素数据的像素值这一处理来进行的。

阶层间的重叠是下述处理：将位于某个阶层上的平面存储器的以行为单位的像素值乘以透射率α作为加权，并且将位于其下位阶层上的平面存储器的以行为单位的像素值乘以(1-透射率α)这一加权，将这些加权过的像素值相加，将相加结果作为该阶层上的以行为单位的像素的像素值。通过在位于层模型的2个阶层上的以行为单位的像素之间重复执行该阶层间的重叠，来实现上述层合成。

在内容将字幕或弹出菜单假想为图像平面的数据的情况下，一定在视频平面上叠加图像平面。即，即使视频平面是立体的内容，在没有纵深的字幕或弹出菜单重叠在立体视视频上的情况下，也必须优先显示图像。这是因为，不这样做，图形的部分就会成为陷入视频中的样子，显得不自然。

(HDMI发送接收部17)

HDMI发送接收部17包含例如符合HDMI标准(HDMI：High DefinitionMultimedia Interface，高清晰度多媒体接口)的接口，和与再现装置HDMI连接的装置(在本例中为显示装置400)按HDMI标准进行发送接收，将视频平面上保存着的图片数据、和音频解码器9解码出的非压缩的音频数据经HDMI发送接收部17传输到显示装置400。显示装置400保持着例如与是否支持立体显示有关的信息、与可平面显示的分辨率有关的信息、与可立体表示的分辨率有关的信息，在从再现装置经HDMI发送接收部17发出了请求后，显示装置400将请求的所需信息(例如与是否支持立体显示有关的信息、与可平面显示的分辨率有关的信息、与可立体表示的分辨率有关的信息)发回给再现装置。这样，通过经HDMI发送接收部17，能够从显示装置400取得显示装置400是否支持立体显示的信息。

(显示功能标志保持部18)

显示功能标志保持部18保存着表示再现装置能否进行3D显示这一区别的3D显示功能标志。

(左右处理存储部19)

左右处理存储部19存储当前输出处理为左眼用的输出、还是右眼用的输出。左右处理存储部19的标志表示向与图1所示的再现装置相连接的表示设备(在图1的例子中为电视)的输出是左眼输出、还是右眼输出。在进行左眼输出期间，左右处理存储部19的标志被设置为表示左眼输出的标志。而在进行右眼输出的期间，左右处理存储部19的标志被设置为表示右眼输出的标志。

(平面移动引擎20)

平面移动引擎20兼备保存图像平面偏移信息的区域，在判断出左右处理存储部19中当前处理对象是左眼影像还是右眼影像后，用保存着的图像平面偏移信息所示的平面偏移量来计算图像平面的横轴的移动量并移动。通过变更字幕/GUI的横轴的偏移幅度，来变更纵深。例如，能得到下述视觉效果：越使左眼用字幕和右眼用字幕沿—定方向远离，则显示越近；越沿相反方向离开，则显得越远。

(偏移信息存储器21)

偏移信息存储器21是用户或应用程序请求了更新图像平面偏移信息时暂时保存其值的模块。图像平面偏移信息例如是用-255～255来表现纵深的整数(255是最近，-255是最远)，将其变换为表示最终移动幅度的像素坐标。

(BD-J平台22)

BD-J平台22是BD-J模式的工作主体——Java平台，完全实现了Java2Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0)、和Globally Executable MHP specification(GEM1.0.2)for package mediatargets，通过从JAR存档文件中存在的类文件中读出字节码，保存到堆存储器中，来启动BD-J应用程序。然后，将构成BD-J应用程序的字节码、构成系统应用程序的字节码变换为本机代码，并使MPU执行。

(动态脚本存储器23)

动态脚本存储器23是保存着当前动态脚本、供HDMV模式的工作主体——HDMV模块、BD-J模式的工作主体——Java平台处理的存储器。当前动态脚本是指BD-ROM或内置媒体、移动媒体上记录着的Index.bdmv、BD-J对象、电影对象中的当前执行对象。

(模式管理模块24)

模式管理模块24保持从BD-ROM或内置媒体驱动器、移动媒体驱动器中读出的Index.bdmv，进行模式管理及分支控制。模式管理模块24进行的模式管理是指使BD-J平台22、HDMV模块25中的哪一个执行动态脚本、这一模块的分配。

(HDMV模块25)

HDMV模块25是HDMV模式的工作主体——DVD虚拟播放器，是HDMV模式的执行主体。本模块具备命令解释器，通过解释并执行构成电影对象的导航命令来执行HDMV模式的控制。导航命令是用与DVD-Video相似的语法来描述的，所以通过执行这种导航命令，能够实现类似于DVD-Video的再现控制。

(UO检测模块26)

UO检测模块26接受用户对GUI的操作。在这种用GUI接受的用户操作中，有选择BD-ROM上记录着的节目中的哪个这一节目选择、字幕选择、声音选择。特别是作为立体再现特有的用户操作，有时接受立体影像的纵深感的级别。例如，有时接受纵深感为远、普通、近等的3个级别，也有时通过纵深感为几cm、几mm这样的数值输入来接受纵深感的级别。

此外，UO检测模块26在通过遥控或机器附带的按钮等的操作而接受到变更图像平面的缩放的指令的情况下，发布机器内的模块将其直接缩放的指令。

(绘制引擎27a)

绘制引擎27a包括Java2D、OPEN-GL这些平台(基盤)软件，根据来自BD-J应用程序的请求来进行JPEG数据/PNG数据的解码，得到图像或小配件，写入到交互式图形平面及背景图形平面上。通过对JPEG数据进行解码而得到的图像数据成为GUI的壁纸，被写入到背景图形平面上。通过对PNG数据进行解码而得到的像素数据被写入到交互式图形平面上，能够实现伴有动画的按钮表示。通过对这些JPEG数据/PNG数据进行解码而得到的图像或小配件在BD-J应用程序显示用于接受节目选择或字幕选择、声音选择的弹出菜单、或者使流再现联动型的游戏工作时，被用来构成GUI部件。此外，在BD-J应用程序访问WWW站点时，被用来构成该WWW站点的浏览器画面。

(绘制存储器27b)

绘制存储器27b是读入要用绘制引擎来解码的PNG数据、JPEG数据的存储器。在该绘制存储器27b中，在BD-J应用程序执行实况显示模式时，保留高速缓存区域。实况显示模式是指组合网络上存在的WWW站点的浏览器画面、和BD-ROM的流再现。高速缓存区域是用于高速缓存实况显示模式时的当前浏览器画面及前一浏览器画面的高速缓存存储器，构成上述浏览器画面的非压缩的PNG数据或非压缩的JPEG数据被保存在这里。

(显示模式设置初始显示设置部28)

显示模式设置初始显示设置部28根据提供给BD-J平台部的当前节目中的BD-J对象，来设置再现模式、分辨率。

(维数模式存储部29)

维数模式存储部29存储再现模式、立体模式。在再现装置设置了能够3D显示作为3D显示功能标志的情况下，维数模式存储部29中保存着的终端设置——再现模式能够切换到2D、3D中的某一个。以下，将再现模式表示“3D”的状态称为“3D模式”，将再现模式表示“2D”的状态称为“2D再现模式”。以上是对再现装置的构件的说明。接着，说明用于实现立体再现的细节。

(形成立体影像所需的东西)

为了形成3D影像，再现装置和显示装置自身都需要有该能力，通过在内容中提示是否有该能力，或者在再现装置中设置想让内容自身以2D来工作还是以3D来工作，制作内容和实现再现装置的便利性增加。理由是因为内容和再现装置能够预防影像和图形的不自然的重叠。作为保持再现装置的能力和内容的设置信息的一例，有寄存器组12。

图9是寄存器组12的内容的例子的示意图。寄存器组12由“再现状态寄存器(0)～(127)”和“通用寄存器(0)～(4096)”构成。再现状态寄存器内是用于保存某个值的、编号了的保存地址的集合。例如、在某个号码的保存地址中放入当前再现中的播放列表的标识符，或者在另外某个号码的保存地址中放入利用着的音频的标识符。放入各个值的是再现控制引擎18、HDMV模块25、或BD-J平台22。内容能够用HDMV模块25或BD-J平台22从再现状态寄存器或通用寄存器取得与指定的号码对应的值，或者保存与指定的号码对应的值。

在再现状态寄存器中的第14个(再现状态寄存器(14))中，其高第3位被分配给想以2D来工作还是以3D来工作这一设定。

在再现状态寄存器中的第29个(再现状态寄存器(29))中，其低第3位被分配给再现装置是否有用于形成3D影像的能力这一设定。

(用单个图形平面来实现立体视)

在说明3D影像输出处理之前，先说说实现立体视的字幕/GUI的数据。作为本实施方式的再现装置200处理的数据，存在字幕/GUI的数据。为了降低眼睛的疲劳度，需要将字幕/GUI的数据显示得比视频流更近。

作为将字幕/GUI流显示在近处的方法，在形成左眼和右眼影像时，合成将字幕/GUI流沿横轴移动了的结果并输出。通过变更字幕/GUI的横轴的偏移幅度，来变更纵深。例如，能得到下述视觉效果：越使左眼用字幕和右眼用字幕沿一定方向远离，则显示越近；越沿相反方向离开，则显得越远。

将如上所述在1个图形平面上根据平面偏移量来执行平面移动、以实现立体视觉的再现模式称为“1plane+Offset模式”(1平面+偏移量模式)。平面移动引擎20用于实现该1plane+Offset模式。

将原来的像素数据的坐标、和向右或向左移动了的情况下的各像素数据的坐标之间的差分称为“移动量”。该移动量在立体视中，可用使图像平面8或交互式图形平面10具有何种程度的纵深这一纵深值来计算。此外，在立体再现中，可以由用作两眼的视差的某些参数导出。

此外，将用于使图形平面内的像素数据左右移动上述那样的移动量的参数称为“平面偏移量”。移动量是标量，而平面偏移量是具有正负的值的矢量，指示从当前状态沿向右及向左中的哪一个方向使像素数据的坐标移动多少。

在本实施方式中，内容制作者预先将以何种纵深来显示字幕/GUI这一信息嵌入到播放列表信息中，从而再现装置200在再现与播放列表信息相关联的流期间根据该信息将字幕/GUI立体地持续显示在视频流的前面。不限于播放列表信息，可用作平面偏移量的像素的移动量及像素的移动方向也从记录媒体或用户操作等、再现装置的外部提供。将作为平面偏移量基于的信息、从再现装置外部提供的像素的移动量及像素的移动方向的组合称为“图像平面偏移信息”。

移动量可以直接利用图像平面偏移信息中记载的值，也可以利用其他运算结果，例如将图像平面偏移信息与终端内预先设置的值相乘或组合所得的值。

此外，有时会出现在某些显示装置的分辨率和尺寸时图像平面的移动量过大、眼睛跟不上、图像看起来是2重的现象。在该情况下，通过根据图像平面偏移信息中记载的值、组合显示装置的分辨率和尺寸的信息来得到移动量，而进行调整，使得字幕/图形不显示得过近。

以下，说明用1plane+Offset模式再现出何种影像内容。

图10是合成了进行过平面移动的图像平面的视频帧的图。

9L、9R示出解码器保存到视频平面上的视频帧的一例。从女性的脸的方向和位置的不同，可知左眼用的流和右眼用的流是从不同的角度拍摄的。

9S是未进行平面移动的图形平面的内容的图，9LS是“I love you”这一字幕被向左移动了时的图像平面的快照。9RS是“I love you”这一字幕被向右移动了时的图像平面的快照。

9LL是合成左眼的视频帧、和向左移动了的图像所得的合成影像，9RR是合成右眼的视频帧、和向右移动了的图像所得的合成影像。

在9LL的左眼用影像中，可知“I love you”的字幕是向左偏移被合成的。而在9RR的右眼用影像中，“I love you”的字幕是向右偏移被合成的。如果不戴液晶眼镜来看电视，则该9LL、9RR的影像看起来叠加在一起。这如图3所示。

右眼用和左眼用的影像通过例如图1所示的液晶眼镜500过滤，在各眼中映出不同的影像。这里应注意的是，不仅视频流影像被重叠了左右的图像而被立体化，而且“I love you”的字幕也跟着沿横向偏移、即添加了纵深间(在本实施方式的情况下显示在近处)。这样，能够再现降低观众眼睛疲劳度的立体影像及字幕。

图9、图10是用与视频流联动的字幕来说明的，但是按钮等图形也可以用同样的方法进行处理而使其具有纵深。

图12是本第1实施方式的再现装置200读入上述影像数据——播放列表并放映立体影像上重叠的立体字幕/立体图形时的流程图。

播放列表再现请求以来自内容的指示、或用户操作(例如再现按钮)成为触发。不限于此，插入光盘时或选择菜单时等、节目切换请求也有时成为触发。

静态脚本存储器11按开始再现播放列表的定时提取BD-ROM光盘上的多个播放列表、多个流中的、成为当前再现处理对象的播放列表和传输流，设置到当前播放列表信息中(S1)。

其后，经步骤S2、步骤S3的判断步骤，如果这些判断步骤中的判断结果是肯定的，则在步骤S4中将再现模式切换到3D模式，从静态脚本存储器11的当前播放列表信息中提取表示显示字幕/GUI的纵深的值(以下称为图像平面偏移信息)，保存到平面移动引擎内部的存储区域中(S5)。

步骤S2判断当前播放列表信息中的维数识别标志是否表示允许3D模式的再现，步骤S3判断再现装置中的再现模式是否是3D模式。该判断通过参考维数模式记录部29中保存着的标志(2Dor3D)来进行。设想维数模式记录部中保存着的值已根据例如用户操作或来自应用程序的指示而预先切换了。

如果这些步骤中的某一个是否定的，则在步骤S12中将再现模式切换到2D再现模式，在2D模式下再现播放项(步骤S13)。

在执行了步骤S4、步骤S5之后，转移到步骤S6～步骤S13的循环。

步骤S6～步骤S13的循环是在步骤S6中将当前播放项号初始化为1后，重复步骤S7～步骤S13的处理，直至步骤S12判断为“是”(“是”)。这里，循环的结束条件是播放项成为播放列表中的最后一个号码，只要不满足该条件，就递增当前播放项号(步骤S13)。

用循环来重复进行的处理是通过将用当前播放项信息的流文件信息指定的AV流设置为当前流(步骤S7)，将当前播放项信息的左眼用视频流的包标识符及右眼用视频流的包标识符设置到分离器中而使其分离出左眼用视频流及右眼用视频流(步骤S8)，判断当前播放项信息的再现类型是电影、还是幻灯播放(步骤S9)，如果是幻灯播放，则通过3D模式下的视频帧处理来执行幻灯播放再现(步骤S10)，而如果是电影，则通过3D模式下的视频帧处理来执行电影再现(步骤S11)。

图13是3D模式下的视频帧处理的流程图。

首先，分离器4进行光盘上的传输流的多路分离，将图形流保存到图像存储器7c，d中(S802)。接着，图像解码器8对图像存储器7c，d中保存着的图形流等进行解码并写入到图像平面8上(S803)。接着，分离器4进行光盘上的传输流的多路分离，根据左右处理存储部19的标志，抽取与其对应的视频流，将通过视频解码器5解码出的视频保存到视频平面上(S804)。假设在第1实施方式中，左右处理存储部的标志被缺省设置为左眼用的处理。S802～S804的顺序只是一例，它们的顺序可以以任何顺序来进行。

结束了向图像平面上的保存之后，平面移动引擎根据步骤S5中保存的图像平面偏移信息，参考左右处理存储部19的标志，将图像平面沿一定的方向移动，合成部16在视频平面5上合成移动了的图形平面9的图像(S805)。

S805中平面移动引擎移动的方向因使图像平面显示到近处、还是显示到远处而异，而在第1实施方式中，作为左眼用影像，以向右偏移、即显示到近处为前提。

将S805中合成部16合成的最终影像作为左眼影像输出到显示装置400(S806)。与本输出完成同时，本再现装置转换左右处理存储部19的标志。即，在设置为左眼处理的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。

接着，分离器4进行光盘上的传输流的多路分离，根据左右处理存储部19的标志，抽取与其对应的视频流，将通过视频解码器5解码出的视频保存到视频平面上(S807)。在本例中，在本步骤中为右眼处理，所以抽取右眼用视频流。

图像解码器8对图像存储器7c，d中保存着的图形流等进行解码并写入到图像平面8上(S808)。参考左右处理存储部19的标志，将图像平面沿一定的方向移动，合成部16在视频平面5上合成移动了的图形平面9的图像(S809)。在S805中进行了左眼用的处理，所以向右移动了，但是这次进行右眼用的处理，所以向相反方向、即向左移动。将S809中合成部16合成的最终影像作为右眼图像输出到显示装置400(S810)。

与本输出完成同时，本再现装置转换左右处理存储部19的标志。即，在设置为左眼处理的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。

再现装置200只要在S810完成的时间点存在下一帧，就重复执行S802～S810的处理。

(2D再现模式)

2D再现模式是以2D再现时的高像质为前提的模式，所以再现模式在待再现的流为2D用的情况下一定切换到2D，这能够向顾客始终提供最高像质。在再现对象的流为3D立体用的情况下，维持当前再现模式。再现模式切换后，到出现画面需要时间，所以通过这样尽量减少再现模式的切换，能够短缩开始AV再现的时间。

图14示出2D模式下的播放列表再现的处理过程。

将当前播放项号设置为1(步骤S21)，将用当前播放项信息的流文件信息指定的AV流设置为当前流(步骤S22)，其后，根据步骤S23的判断步骤的结果，选择性地执行步骤S24～步骤S25、步骤S26～步骤S27的处理。步骤S23判断当前流是否包含左眼用视频流、右眼用视频流，在包含的情况下，通过将左眼用视频流及右眼用视频流中的、可单独再现的主视视频流的包标识符设置到分离器中而使其分离出视频流(步骤S24)，其后，执行主视视频流的帧处理(步骤S25)。

在不包含的情况下，通过将视频流的包标识符设置到分离器中，而使其分离出视频流(步骤S26)，执行视频流的帧处理(步骤S27)。

图15是2D模式下的2D流的视频帧处理的处理过程的流程图。

分离器4进行光盘上的传输流的多路分离，将图形流保存到图像存储器7c，d中(S1103)。

接着，图像解码器8对图像存储器7c，d中保存着的图形流等进行解码并写入到图像平面8上(S1104)。

接着，分离器4进行光盘上的传输流的多路分离，抽取视频流，将通过视频解码器5解码出的视频保存到视频平面上(S1105)。

接着，合成部16在视频平面5上合成图形平面9的图像(S1106)。将S1106中合成部16合成的最终影像输出到显示装置400(S1107)。在S1107中向显示装置400输出了最终影像之后，判断是否是再现模式的切换发生后的第一次帧处理(S1108)。在S1108中向显示装置400输出最终影像。

图16是2D模式下的2D流的视频帧处理的处理过程的流程图。以下，用图16的流程图来说明2D影像输出处理。

首先，接着，分离器4进行光盘上的传输流的多路分离，将图形流保存到图像存储器7c，d中(S1201)。

接着，图像解码器8对图像存储器7c，d中保存着的图形流等进行解码并写入到图像平面8上(S1202)。

接着，分离器4进行光盘上的传输流的多路分离，抽取左眼用视频流，将通过视频解码器5解码出的视频保存到视频平面上(S1203)。

接着，合成部16在视频平面5上合成图形平面9的图像(S1204)。将S1204中合成部16合成的最终影像输出到显示装置400(S1205)。其中，在S1203中抽取了左眼用视频流，但是也可以提取右眼用视频流，在S1204中合成。这样，再现装置200在待再现的传输流是3D(S2：3D)的情况下，如果终端设置被设置为2D模式(S3：2D)，则也能够输出2D用的影像。

如上所述，根据本实施方式，进行两个判断：判断数字流支持2D还是支持3D，判断再现装置被设置为以2D来再现还是被设置为以3D来再现，最终通过决定以2D来再现数字流还是以3D来再现数字流，能够适当地形成立体影像。

(第2实施方式)

以上实施方式由图像平面和视频平面这两个平面构成，而在视频平面和2个以上的图形平面的情况下，按照平面的数目来增加图像存储器和图像平面的数目，根据各图像平面的图像平面偏移信息来偏移、重叠平面。

图17是能够支持多图像平面的播放列表再现处理的处理过程的流程图。再现装置200从静态脚本存储器11的当前播放列表信息中提取与图像平面的数目相同的图像平面偏移信息，用数组保存到平面移动引擎28上(S1301)。接着，分离器4进行光盘上的传输流的多路分离，抽取左眼用视频流，将通过视频解码器5解码出的视频保存到视频平面上(S1302)。接着，分离器4进行光盘上的传输流的多路分离，将图形流保存到图像存储器7c，d中(S1303)。接着，图像解码器8对图像存储器7c，d中保存着的图形流等进行解码并写入到图像平面8上(S1304)。

接着，平面移动引擎根据S1301中保存的图像平面偏移信息的数组的最上位的值将图像平面沿一定的方向移动，合成部16在视频平面5上合成移动了的图形平面9的图像(S1305)。其中，S1305在第2次以后的情况下不是在视频平面上合成移动了的图形平面9的图像，而是在上次的S1305中合成的影像上重叠新图像平面。此外，S1305在第2次以后的情况下用图像偏移信息的数组参考的图像偏移信息也一并利用第2次以后的。

接着，再现装置200根据是否进行了与图像平面偏移信息的数组同样多的两眼的处理来判断图像平面是否全部合成完毕(S1306)。在图像平面未全部合成完毕的情况下(S1306：“否”(No))，为了处理下一个图像平面，而用下一个图像平面偏移信息来重复S1303～S1305的处理。而在图像平面全部合成完毕的情况下(S1306：“是”)，将S1305中合成部16合成的最终影像作为左眼图像输出到显示装置400(S1307)。S1307中输出了左眼影像之后，接着用右眼用影像进行与左眼用影像同等的处理(S1302～S1307)。只不过在右眼用处理中，在S1305中向右偏移了图像平面被全部向左偏移。此外，在S1307中作为左眼用影像输出到显示装置，而通过右眼用处理合成的影像作为右眼用影像被输出。在左眼用影像和右眼用影像完成的时间点进行下一帧的处理。

(第3实施方式)

本实施方式设想的BD-J应用程序是通过Xlet接口、用平台内的应用程序管理器控制的Java(TM)Xlet。Xlet接口具有“loaded”(装入)，“paused”(暂停)、“active”(活动)、“destroyed”(拆除)这4个状态，是事件驱动的，即，根据事件来进行状态转移并且执行控制。在xlet接口中，预先登录了作为应用程序的工作的触发的关键事件。这样，作为工作的触发的关键事件的登录由EventListner来进行。

BD-J应用程序是事件驱动的，所以与电影对象相比，BD-J应用程序的工作有以下不同。HDMV模式下的命令的执行主体——命令解释器在被命令再现例如10分钟长度的数字流时，在10分钟这一期间内不返回任何应答，10分钟这一时间经过后才返回应答。但是BD-J应用程序是事件驱动的，所以Java虚拟机在解释再现命令、和向下位层发出指示之后立即向BD-J应用程序返回应答。这样，执行主体的动作因工作模式而异，所以在BD-J模式下的BD-J应用程序的工作时，需要在控制的关键部位预定要通知的事件，将用于接收该关键事件的事件监听器预先登录到类文件的Xlet接口中，促使虚拟机适当工作。例如，在再现装置的再现模式从2D切换到3D、从3D切换到2D的情况下，如果输出表示该切换的事件，并且将该进行接收的事件监听器预先登录到BD-J应用程序的Xlet接口，就能够按照上述再现模式的变化来切换BD-J应用程序的处理。

在本实施方式中，在再现模式被切换了的情况下，将上述再现装置的模式被切换了的事实通知给显示装置，在从上述显示装置收到能够进行与切换后的模式相应的输出的意思的通知的情况下，向上述应用程序输出表示能够进行与上述切换后的模式相应的输出的事件，促使BD-J应用程序进行与之相应的工作。

图18是加进了输出显示模式切换完成通知事件的过程的、3D模式下的视频帧处理的处理过程的流程图。本图是以图13为基础作图的，与该作为基础的图13相比，不同点在于，在步骤S810和步骤S811之间，在本图中添加了步骤S1108、步骤S1109。

判断是否是再现模式切换发生后的第一个帧(S1108)。在是第一个帧的情况下，向应用程序发出终端的再现模式切换结束通知(S1109)。这样，再现装置200在再现对象的传输流是2D、而且终端设置是2D模式的情况下，能进行2D影像输出处理，所以能够切换2D/3D模式。

图19是加进了输出再现模式切换完成通知事件的过程的、2D模式下的视频帧处理的处理过程的流程图。本图是以图15为基础作图的，与该作为基础的图15相比，不同点在于，在步骤S1107和步骤S1110之间，添加了步骤S1108、步骤S1109。判断是否是再现模式切换发生后的第一个帧(S1108)。在是第一个帧的情况下，向应用程序发出终端的再现模式切换结束通知(S1109)。这样，再现装置200在待再现的传输流是2D、而且终端设置是2D模式的情况下，能进行2D影像输出处理，所以能够切换2D/3D模式。

如上所述，根据本实施方式，输出促使具备事件驱动的xlet接口的BD-J应用程序进行用于3D模式的适当的绘制的事件，所以在影像内容从2D切换到3D、从3D切换到2D的情况下，BD-J应用程序进行的图形绘制也能够从2D切换到3D、从3D切换到2D。

(第4实施方式)

以上实施方式说明了在普通再现时如何实现立体再现，而在本实施方式中，说明在用户请求了特殊再现时如何进行立体再现。

图20是在普通再现之外、考虑特殊再现的3D模式下的视频帧处理的处理过程的流程图。本图是以图13为基础作图的，与该作为基础的图13相比，不同点在于，添加了步骤S1401～步骤S1404。

步骤S1401判断当前再现中的影像是特殊再现、还是普通再现。示出了如果是普通再现，则影像、字幕都进行3D显示的情况的一例。

在S1401中为特殊再现的情况下，分离器4进行光盘上的传输流的多路分离，根据左右处理存储部19的标志，抽取与其对应的视频流，将通过视频解码器5解码出的视频保存到视频平面上(S1402)。在第1实施方式中，左右处理存储部的标志被缺省设置为左眼用的处理。将合成部16合成的最终影像作为左眼影像输出到显示装置400(S1403)。与本输出完成同时，本再现装置转换左右处理存储部19的标志。即，在设置为左眼处理的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。

接着，将合成部16合成的最终影像作为右眼图像输出到显示装置400(S1404)。与该输出完成同时，本再现装置转换左右处理存储部19的标志。即，在设置为左眼处理的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。再现装置200只要在S1404完成的时间点存在下一帧，就重复执行S1401～S1404的处理。

在S1401中为普通再现的情况下，继续字幕/GUI、影像的3D显示，作为图8的处理流程而实施前述的S802～S810。

这里，在难以在暂停的情况下也继续3D显示的情况下，可以与特殊再现的情况同样，重复输出1个视频帧。

如果是特殊再现，则将影像切换到2D显示，隐藏(ミユ一ト)字幕。在视频进行快进、后退等特殊再现，只能对右眼用或左眼用的视频中的某一个进行解码的情况下，也能够输出两眼用视频，所以不仅能够防止影像的闪烁，而且能够防止由于硬要显示字幕而使影像和字幕不匹配这样的不自然的再现。

(继续3D的方法)

作为在进行停止、暂停、或幻灯再现的情况下继续3D显示的处理，有“通过重复显示来继续3D”、“设置下一帧”、“基于能力的例外”。

1.通过重复显示来继续3D

例如，在影像以3D显示来再现，由于用户用遥控300进行的操作或内容(Java(注册商标)应用程序、MovieObject)而中途进行停止、暂停、或幻灯再现的情况下，通过持续重复显示影像停止的位置的左眼用视频帧和右眼用视频帧及字幕数据来继续3D显示。

即，通过将图14中进行下一帧处理时的下一帧始终设置在影像停止的位置的左眼用视频流的视频帧的位置上，来继续3D显示。此外，可以只继续3D显示视频，而隐藏字幕。同样，在由于存储器等资源制约而不能继续3D显示的情况下，也可以隐藏视频及字幕。

这样，通过尽可能地继续3D显示，能够尽可能地抑制不自然的立体感之差的发生，能够减轻给观众的不快感。

2.设置下一帧

通过将进行下一帧处理时的下一帧始终设置在影像停止的位置的左眼用视频流的视频帧的位置上，能够继续3D显示。

此外，在由于存储器等资源制约而不能继续3D显示的情况下，可以隐藏视频及字幕。这样，通过尽可能地继续3D显示，能够尽可能地抑制不自然的立体感之差的发生，能够减轻给观众的不快感。

3.基于能力的例外

当然，在再现装置200是高性能的情况下，在视频进行快进、后退等特殊再现的情况下，也可以通过实施S802～S810的处理来继续3D显示。

(第5实施方式)

以上描述了由于用户操作或来自BD-J应用程序、电影对象的指示而实施了特殊再现时的举动。不过，说起来，影像混乱、影像和字幕不能匹配起因于强行进行特殊再现。因此，以下，说明为了继续字幕/GUI、影像的3D再现而禁止特殊再现的改进。

假设在再现装置200正在再现字幕/GUI、影像的状态下，通过用户用遥控300进行的操作、来自BD-J应用程序、电影对象的指示，而请求了快进、后退等、再现速度为1倍速以外的特殊再现(S1501)。再现控制引擎18从静态脚本存储器11中的当前播放列表(PL)信息中取得维数识别标志40111，判断影像是2D还是3D(S1502)。在S1502中判断出影像是3D的情况下，驳回S1501中的特殊再现请求，继续影像的普通再现(S1503)。而在S1502中判断出影像是2D的情况下，受理S1501中的特殊再现请求，将影像再现变更为特殊再现(S1504)。

这样，通过预防难以3D显示的特殊再现，能够进行3D显示。

(第6实施方式)

在本实施方式中，说明适用了Depth运算方式的改进。

图22是适用了Depth运算方式的再现装置的内部结构的方框图。如图16所示，可知在实施方式1所示的内部结构上，添加了Depth运算引擎34。

Depth运算引擎34具有能够根据左眼用的字幕/GUI和视频帧来计算纵深的功能。作为纵深的计算方法，输入2D视频流和该2D视频流的每帧的各画面像素的纵深，再现机器据此来生成左眼用3D视频流和右眼用3D AV流。该方式示于美国专利第5929859号说明书中。在美国专利第5929859号说明书中描述的方式——Depth运算方式的情况下，也可以通过稍微改变图15所示的方法，而在3D视频流上重叠立体字幕/图形。

图23是采用了Depth运算方式的情况下的3D模式下的视频帧处理的处理过程的流程图。本图是以图20为基础作图的，与该作为基础的图20相比，不同点在于，在步骤S1401和步骤S802之间，添加了步骤S1701～步骤S1703。

在该添加的一系列步骤中，Depth运算引擎34提取表示画面的各像素的纵深信息的画面整体纵深信息(S1701)。接着，Depth运算引擎34从S1701中提取出的画面整体纵深信息中，提取与判断为最近的像素对应的纵深信息(S1702)。Depth运算引擎34将S1702中提取出的值保存到平面移动引擎28的存储区域中(S1703)。

在步骤S1703中，为了使字幕/图形显示在比视频的最近点稍近处，除了S1703中提取出的值以外，最好还将使得稍近的值保存到平面移动引擎28的存储区域中。

接着，再现装置200进行S802～S810、S1401～S1404的处理。对于S802～S810、S1401～S1404的详细处理的说明已在实施方式1的图8、图14的说明中进行过了，所以这里就不进行了。步骤S810、S1404的处理结束后，作为下一帧处理，重复S1701以后的处理。

在本例的情况下，图13中的S804和S807的视频不是分离器4进行光盘上的传输流的多路分离而取得的左眼用视频流和右眼用视频流，而是为了将输入的2D视频流显示成3D而实施了加工所得的左眼用视频帧和右眼用视频帧成为图13的步骤S804、步骤S807的对象。

如上所述，根据本实施方式，在以2D视频流和画面的各像素的纵深信息为输入的Depth运算方式中也对视频进行快进、后退等特殊再现，在不能从左眼用的视频的解码生成右眼用视频帧的情况下，也能够输出两眼用视频，所以不仅能够防止影像的闪烁，而且能够防止由于硬要显示字幕而使影像和字幕不匹配这样的不自然的再现。

再者，也可以组合第1实施方式、第6实施方式来再现。即，在如果使用实施例2的方法则在特殊再现时也能够继续3D输出的情况下，也可以在特殊再现中切换到实施例2的方法，在普通再现中用实施例1的方法来再现内容。

(第7实施方式)

以上实施方式未特别触及显示装置400和再现装置之间的传输，而在本实施方式中，讨论该传输。

以下，说明经HDMI在再现装置和显示装置之间的数据传送。

HDMI发送接收部17将进行了层合成的图片数据中的一行非压缩/平文形式的像素数据根据显示装置中的水平同步周期以高传送速率传送到显示装置。另一方面，在显示装置中的水平回扫周期及垂直回扫周期中，向与再现装置相连接的其他装置(不仅是显示装置，还包含放大器、扬声器)传送非压缩/平文形式的音频数据。通过这样做，通过HDMI相连接的显示装置、放大器、扬声器这些机器能够接受非压缩/平文形式的图片数据、非压缩/平文形式的音频数据，能够实现再现输出。HDMI传输非压缩/平文形式的图片数据、音频数据，所以在经HDMI连接机器时，严格判断其连接对方是否是正当的机器。因此，在HDMI的连接时，在相连接的再现装置及显示装置间进行相互认证。该相互认证基本上在变化了频率时也执行，所以在上述模式变更时，进行再现装置-显示装置间的相互认证。

以下、说明在再现装置200和显示装置400之间如何进行相互认证。

图24示出再现装置200和显示装置400的通信序列。本图中的时间轴是纵轴，在HDMI中，存在传输阶段、相互认证阶段、传输阶段这3个阶段。

从传输阶段到相互认证阶段的切换以2D→3D切换请求(或3D→2D切换请求)为触发，从相互认证阶段到传输阶段的切换以认证结束为触发。即，在L图像的解码由再现装置端进行、L图像的表示输出由显示装置400进行时，如果发出了切换请求，则开始相互认证。在此期间，显示装置400为消失的状态。在认证结束阶段，事件被输出到BD-J应用程序。然后，L图像、R图像的解码由再现装置端进行，L图像、R图像的表示输出由显示装置400进行。

以上相互认证在HDMI接口想要实现模式切换时进行。以下，说明HDMI接口进行的模式切换。

图25是HDMI接口中的、模式切换的处理过程的流程图。

通过HDMI将新的模式输出到显示装置400(步骤S31)，与显示装置400执行重新同步处理及重新认证处理(步骤S32)。然后，等待认证完成(步骤S33)，如果认证完成，则将事件输出到BD-J应用程序(步骤S34)。

由于发生相互认证，使显示装置400的显示内容消失，所以需要设法使显示装置400中的模式切换不发生。

该模式切换起因于频率变化，所以在本实施方式中，导入不招致显示装置400中的频率切换的2个模式。

将以上说明过的左眼用视频流、右眼用视频流中的、可单独再现的称为主视视频流。另一方面，将根据与构成该主视视频流的各个视频帧之间的相关性而压缩编码了的视频帧组成的视频流称为辅视流。

此外，将主视视频流的视频帧和辅视流的视频帧以1/48秒的表示周期按“B”-“D”-“B”-“D”那样交替输出的模式称为“B-D显现模式”。

将主视视频流的视频帧和辅视流的视频帧不是交替输出，而是将再现模式维持在3D模式，将同一视频帧重复2回以上、输出到左右的视频平面(例如，在图8、图22所示的视频平面6上，是附有符号(L)、(R)的各个区域)上，将写入到视频平面上的视频帧用于再现，将进行上述处理的再现类型称为B-B显现模式。在B-B显现模式下，只有可单独再现的主视视频流的视频帧按“B”-“B”-“B”-“B”那样被重复输出。

图26示出在再现模式按B-D显现模式、B-B显现模式、B-D显现模式那样来转移的情况下、输出的图片和显示频率、HDMI如何变化。第1排示出输出到显示装置400的图片，第2排示出显示频率。该频率是以电影素材的频率来显示左眼用、右眼用视频帧的，为48帧/秒z(2×24帧/秒)这一值。第3排示出HDMI的状态。

从B-D显现模式到B-B显现模式的转移在指示了特殊再现开始的时间点进行，从B-B显现模式到B-D显现模式的转移在特殊再现结束时进行。这样，可知即使发生了B-B显现模式、B-D显现模式间的转移，如第2排所示，显示频率也保持48Hz，如第3排所示，不发生HDMI中的重新认证。

图27示出由于从普通再现切换到快进、从快进切换到普通再现，再现装置中的解码内容及显示装置400的显示内容如何变化。本图中的时间轴是纵向，由普通再现阶段、特殊再现阶段、普通再现阶段这3个阶段构成。

在普通再现阶段，再现装置为B-D显现模式，进行L图像、R图像的解码及输出。显示装置400进行L图像、R图像的交替输出。

在特殊再现阶段，再现装置为B-B显现模式。这里，如果左眼用视频流是主视视频流，则进行L图像、L图像的解码及输出。显示装置400进行L图像、L图像的交替输出。

即使有这3个再现模式的切换，在HDMI上也不发生重新认证。

(第8实施方式)

以上实施方式中说明过的特殊再现未缩小具体处理内容的范围而进行了说明，而在本实施方式中，将焦点缩小到倍速再现的实现来进行说明。

首先，说明作为MVC视频流的基础的MPEG4-AVC形式的视频流。MPEG4-AVC形式的视频流由I图片、B图片、P图片构成。这与MPEG2形式的视频流相同。

在I图片中，有IDR图片和Non(非)-IDR I图片这2种。Non-IDR I图片、P图片、B图片是根据与其他图片的帧相关性而被压缩编码的。B图片是指由Bidirectionally predictive(双向预测)(B)形式的片(スライス)数据组成的图片，P图片是指由Predictive(预测)(P)形式的片数据组成的图片。在B图片中，有refrence(参考)B图片和nonrefrence(非参考)B图片。IDR图片、和跟在该IDR图片后面的B图片、P图片构成1个Closed-GOP。另一方面，Non-IDR I图片、和跟在Non-IDR I图片后面的B图片、P图片构成1个Open-GOP。

在编码顺序中，Closed-GOP将IDR图片安排在起始处。在显示顺序中IDR图片不是起始，IDR图片以外的其他图片(B图片、P图片)不能与Closed-GOP以前的GOP中存在的图片具有依存关系。这样，Closed-GOP具有使依存关系完结的作用。

编码顺序和显示顺序的不同点在于IDR图片、Non-IDR I图片、P图片的顺序交换了。在显示顺序中，在Non-IDR I图片之前存在B图片。Non-IDRI图片前的B图片与前面的GOP具有依存关系。另一方面，Non-IDR I图片以后的图片不能与前面的GOP具有依存关系。这样，Open-GOP能够与前面的图片具有依存关系。

这些I图片、P图片、B图片、和访问单元的关系是1访问单元＝1图片。音频流也由多个音频帧构成，而这些音频帧和访问单元的关系也是1音频帧＝1访问单元。此外，在BD-ROM中，限制1PES包＝1帧。即，如果动画是帧结构的，则1PES包＝1图片，而在场结构的情况下，1PES包＝2图片。根据这些事实，PES包以1比1的比率保存着图片或音频帧。

以上是MPEG4-AVC中的GOP结构。在这种GOP结构中，通过选择GOP内存在的I图片、B图片、P图片中的哪个来再现、选择构成视频流的多个Closed-GOP、Open-GOP中的哪个来再现这样的间歇性的再现，能够调整倍速再现时的再现速度。除此之外，在3D模式下，在执行倍速再现时，通过只从BD-ROM上读出主视视频流及辅视流中的、构成主视视频流的图片数据，在B-B显现模式下再现，来减轻访问负担。

图28示出通过选择GOP内存在的I图片、B图片、P图片中的哪个来再现、选择构成视频流的多个Closed-GOP、Open-GOP中的哪个来再现、来实现速度调整的倍速再现的实现例。

图28(a)是依次再现主视视频流的多个GOP及辅视流的多个GOP中包含的图片数据这一普通再现的图。图28(b)是跳过主视视频流内存在的GOP中存在的B图片、只依次读出I图片、P图片这一IP读出的图。在该图(b)中，可知尽管是3D模式，但是对辅视流并未进行访问。

图28(c)是跳过GOP中存在的B图片、P图片、只依次读出I图片这一I读出的图。在该图(c)中，也可知尽管是3D模式，但是对辅视流并未进行访问。

图28(d)是跳过多个GOP这一跳读的图。在本图中，再现多个GOP中包含的I图片中的、GOP的I图片，其后，跳过箭头所示的读出位置，再现几个后的GOP的I图片。在该图(d)中，可知尽管是3D模式，但是对辅视流并未进行访问。

如果进行图28(b)那样的IP读出，则再现装置进行大体2倍速的再现；如果进行图28(c)那样的I再现，则再现装置进行10倍速的再现。再者，如果进行图28(d)那样的再现，则进行30倍速以上的再现。为了减轻3D模式下的访问负担，在本图(b)～(d)中，只有主视视频流——左眼用视频流的GOP供访问，只有该左眼用视频流中的I图片在B-B显现模式下被再现。

如上所述，通过按照从遥控接受到的速度来调整应跳过的图片数据的数目，来增减动画区间上的再现速度。以上是对倍速再现的说明。接着，说明视频解码器的细节。

图29示出分离器及视频解码器的内部结构。如本图所示，分离器4由ATC计数器41、源拆包器42、PID过滤器43、STC计数器44、ATC计数器45、源拆包器46、PID过滤器47构成。

ATC计数器41生成Arrival Time Clock(ATC，到达时间时钟)，来调整再现装置内的工作定时。

源拆包器42在读缓冲器2a中存储着源包的情况下，在ATC计数器生成的ATC的值和源包的ATS值变得相同的瞬间，根据AV片断的记录速率，只将该TS包传送到PID过滤器。在该传送时，按照各源包的ATS来调整输入到解码器中的时刻。

PID过滤器43将从原拆包器22输出的TS包中的、TS包的PID与再现所需的PID一致者，根据PID，传送到各解码器。

STC计数器44生成System Time Clock(STC，系统时钟)，调整各解码器的工作定时。

ATC计数器45生成Arrival Time Clock(ATC)，来调整再现装置内的工作定时。

源拆包器46在读缓冲器2ab中存储着源包的情况下，在ATC计数器生成ATC的值和源包的ATS值变得相同的瞬间，根据AV片断的系统速率，只将该TS包传送到PID过滤器。在该传送时，按照各源包的ATS来调整输入到解码器中的时刻。

PID过滤器47将从原拆包器26输出的TS包中的、TS包的PID与当前播放项的流选择表中记载的PID一致者，根据PID，传送到主视频解码器。

视频解码器5由TB 51、MB 52、EB 53、TB 54、MB 55、EB 56、解码器核心57、缓冲器开关58、DPB 59、图片开关60构成。

Transport Buffer(TB，传输缓冲器)51是在包含左眼用视频流的TS包被从PID过滤器43输出时、原封不动地暂时存储TS包的缓冲器。

Multiplexed Buffer(MB，复用缓冲器)52是用于在从TB向EB输出视频流时、暂时存储PES包的缓冲器。在从TB向MB传送数据时，去除TS包的TS首标。

Elementary Buffer(EB，基本缓冲器)53是保存处于编码状态的视频访问单元的缓冲器。在从MB向EB传送数据时去除PES首标。

Transport Buffer(TB)54是包含右眼用视频流的TS包被从PID过滤器输出时、原封不动地暂时存储TS包的缓冲器。

Multiplexed Buffer(MB)55是用于在从TB向EB输出视频流时、暂时存储PES包的缓冲器。在从TB向MB传送数据时，去除TS包的TS首标。

Elementaly Buffer(EB)56是保存处于编码状态的视频访问单元的缓冲器。在从MB向EB传送数据时去除PES首标。

解码器核心57通过按规定的解码时刻(DTS)对视频基本流的各个视频访问单元进行解码来创建帧/场图像。在AV片断上复用的视频流的压缩编码形式中有MPEG2、MPEG4AVC、VC1等，所以按照流的属性，来切换解码器核心57的解码方法。在对构成主视视频流的图片数据进行解码时，解码器核心57将未来方向或过去方向上存在的图片数据用作参考图片，来进行运动补偿。而在对构成辅视视频流的各个图片数据进行解码时，解码器核心57将构成主视视频流的图片数据用作参考图片，来进行运动补偿。如果这样对图片数据进行了解码，则解码器核心57将解码出的帧/场图像传送到DPB 59，按显示时刻(PTS)的定时将对应的帧/场图像传送到图片开关。

缓冲器开关58使用解码器核心57对视频访问单元进行解码时取得的解码开关信息，来决定从EB 53、EB 56中的哪一个中选拔下一个访问单元，将EB 53和EB 56中存储着的图片按分配给视频访问单元的解码时刻(DTS)的定时传送到解码器核心57。左眼用视频流和右眼用视频流的DTS被设置得在时间轴上以图片为单位交替出现，所以在例如忽略DTS而提前进行解码的情况下，最好以图片为单位将视频访问单元传送到解码器核心57。

Decoded Picture Buffer(DPB，解码图片缓冲器)59是暂时保持解码出的帧/场图像的缓冲器。在解码器核心57对图片间予测编码了的P图片或B图片等视频访问单元进行解码时，用于参考已经解码出的图片。

图片开关60在将从解码器核心57传送的解码完毕的帧/场图像写入到视频平面上的情况下，将其写入目的地切换到左眼视频平面、右眼视频平面。在左眼的流的情况下，将非压缩的图片数据瞬时写出到左眼视频平面上；而在右眼的流的情况下，将非压缩的图片数据瞬时写出到右眼视频平面上。

以上是对视频解码器的说明。接着，说明如何进行倍速再现的细节。

在再现动画区间时，具有上述那样的内部结构的视频解码器通过一边跳过图片数据一边读出，来实现倍速再现。

在本实施方式中，按照再现速度来实施字幕/GUI、影像的隐藏、2D、3D显示判断处理。例如，在影像、声音、字幕的再现是能够与1倍速再现同等进行的再现速度的情况下(例如，要求1.3倍的再现速度的快放、逐帧前进、逐帧后退时)，与S1401中为普通再现的情况同样来继续字幕/GUI、影像的3D显示。

在只需停止字幕的解码就能够继续影像的3D影像的情况下，只对影像继续进行3D显示。在如果是2D则能够合成影像和字幕的再现速度的情况下，通过使影像只对左眼用或右眼用数据进行解码，对字幕进行解码，不用平面移动引擎28移动就与左眼用、右眼用的影像合成并输出，而以Java模式D来显示影像/字幕。再者，在高速再现中以2D也不能显示的情况下，连影像、字幕都隐藏。

这种特殊再现时的再现处理可以用图30的流程图来实现。

图30是考虑到倍速再现的特殊再现的处理过程的流程图。本流程图按照步骤S51、步骤S52的判断结果，来选择性地执行步骤S53、步骤S54、步骤S55。步骤S51判断请求的特殊再现是否包含与再现速度相应的解码控制，步骤S52判断是否是能够以B-D显现模式再现的速度。

如果速度在1.3倍以下，则转移到步骤S53，切换到B-D显现模式，用B-D显现模式来执行解码控制。如果在2.0倍以上，则在步骤S54中，切换到B-B显现模式，用B-B显现模式来执行IP再现、I再现等的解码控制。在不包含与速度相应的解码控制的情况下，执行请求的特殊再现(步骤S55)。

在步骤S52中，公开了如果再现速度在1.3倍以下则执行步骤S53、如果再现速度在2倍以上则执行步骤S54的结构，未考虑再现速度比1.3倍大、比2倍小的范围，而这基于再现装置不具有进行再现速度比1.3倍大、比2倍小的倍速再现的功能这一前提。然而，如果再现装置具备在特殊再现中也能进行再现速度在2倍以上的特殊再现、并且能进行再现速度比1.3倍大、比2倍小的范围的特殊再现的功能，则例如变更为在步骤S52中在再现速度比1.3倍大的情况下执行步骤S54即可。

(第9实施方式)

在以上实施方式中，在请求特殊再现时，是以使2D再现模式返回到3D模式这一处理为原则进行的，而在本实施方式中，提出了用播放列表中的播放项来屏蔽用户通过操作遥控300而发出的特殊再现的请求。

播放项中的UO屏蔽表由以下标志构成。

·chapter_serch_mask标志

chapter_serch_mask标志是规定在用户请求了章搜索这一再现控制的情况下、是否屏蔽该请求的标志。这里，章搜索是指从用户那里接受号码输入、从该号码指定的章开始再现这一再现控制。

·time_search_mask标志

time_search_mask是规定在用户请求了时间搜索这一再现控制的情况下、是否屏蔽该请求的标志。这里，时间搜索是指从用户那里接受再现时刻的输入操作、从再现时刻指定的时间点开始再现这一再现控制。

·skip_next_mask标志、skip_back_mask标志

skip_next_mask标志、skip_back_mask标志是表示在与第1实施方式同样、用户请求了跳过下一个、跳回的情况下、是否屏蔽该请求的标志。

·play_mask标志

play_mask标志是表示在用户请求了再现开始这一再现控制的情况下、是否屏蔽该请求的标志。

·stop_mask标志

stop_mask标志是表示在用户请求了再现停止这一再现控制的情况下、是否屏蔽该请求的标志。

·pause_on_mask标志

pause_on_mask标志是表示在用户请求了pause on(暂停)这一再现控制的情况下、是否屏蔽该请求的标志。

·pause_off_mask标志

pause_off_mask标志是表示在用户请求了paus off(解除暂停)这一再现控制的情况下、是否屏蔽该请求的标志。

·still_off_mask标志

still_off_mask标志是表示在用户请求了关闭静止图像模式这一再现控制的情况下、是否屏蔽该请求的标志。

·forward_play_mask标志、backward_play_mask标志

forward_play_mask标志、backward_play_mask标志是规定在与第1实施方式同样、用户请求了快进、快倒这些再现控制的情况下、是否屏蔽该请求的标志。

·resume_mask标志

resume_mask标志是表示在用户请求了重新开始再现这一再现控制的情况下、是否屏蔽该请求的标志。

·audio_change_mask标志

audio_change_mask标志是表示在用户请求了声音切换这一再现控制的情况下、是否屏蔽该请求的标志。

·PG_textST_change_mask标志

PG_textST_change_mask标志是表示在用户请求了切换用图形(Presenttation Graphics)绘制的字幕和用文本绘制的字幕的情况下、是否屏蔽该请求的标志。

·angle_change_mask标志

angle_change_mask标志是表示在与第1实施方式同样、用户请求了角度切换这一再现控制的情况下、是否屏蔽该请求的标志。

·popup_on_mask标志

popup_on_mask标志是表示在用户请求了调用弹出菜单这一再现控制的情况下、是否屏蔽该请求的标志。

·popup_off_mask标志

popup_off_mask标志是表示在用户请求了关闭弹出菜单的显示这一再现控制的情况下、是否屏蔽该请求的标志。

·select_menu_language_mask标志

select_menu_language_mask标志是表示在用户请求了选择菜单的描述语言这一再现控制的情况下、是否屏蔽该请求的标志。

其中，用UO屏蔽表屏蔽的只是用户操作，不屏蔽来自BD-J应用程序或电影对象的特殊再现的指示。

以上是UO屏蔽表。使用该UO屏蔽表的视频帧处理如图31所示。

图31是3D模式下的视频帧处理的处理过程的流程图。是重复步骤S41～步骤S43、步骤S802～步骤S810、步骤S811的处理的循环。本循环的结束条件是在步骤S811中判断出不存在下一个视频帧。

步骤S41判断用户是否有特殊再现的请求，步骤S42判断是否有停止请求，步骤S43判断是否有暂停请求。

步骤S44判断在当前播放项的UO屏蔽表中是否屏蔽了特殊再现请求，如果未屏蔽，则在步骤S45中执行特殊再现。

步骤S42判断是否发出了停止请求，如果发出了停止请求，则在步骤S47中，维持B-D显现模式，交替输出再现停止位置的左眼用视频流的视频帧及右眼用视频流的视频帧，并返回。

步骤S43判断是否请求了暂停，如果请求了，则在步骤S46中，判断在当前播放项的UO屏蔽表中是否屏蔽了特殊再现请求。如果未屏蔽，则在步骤S47中，维持B-D显现模式，交替输出再现停止位置的左眼用视频流的视频帧及右眼用视频流的视频帧，并返回。

(第10实施方式)

在以上实施方式中，描述了3D显示图形、字幕、影像所需的内容的构成及再现方法。以下，描述影像的再现状态变化了的情况下的内容再现方法。作为影像的再现状态，以进行了快进、后退、跳过等、再现速度在一倍速再现以外的特殊再现的情况、和影像被暂停、幻灯再现、停止的情况为例。

以下是特殊再现时的再现处理中的问题提起。在进行了影像的特殊再现的情况下，在用图说明过的3D内容的再现方法中，视频帧的解码跟不上，不仅影像混乱，与视频帧配合的字幕数据的解码也跟不上，向观众提供了不愉快的内容。

以下是暂停、幻灯再现、停止时的再现处理中的问题提起。

此外，在影像被暂停、幻灯再现、停止了的情况下，在显示影像停止的地点的最后一帧的情况下，如果从3D显示切换到2D显示，则由于与字幕/GUI之间的不自然的立体感之差，眼睛跟不上，损害了本来应有的视觉感，结果是临场感觉降低，所以会给观众带来不快感。

本流程图是重复步骤S61～步骤S63的循环，在步骤S61中判断用户是否发出了特殊再现的指示，在步骤S62中判断是否发出了停止请求、暂停请求，是否是视频的终点。步骤S63判断是否是幻灯播放再现。

如上所述，播放列表文件中的PlayItem的再现类型表示是否幻灯播放再现流文件，所以在当前PlayItem切换到表示实现幻灯播放再现的PlayItem时，步骤S63判断为“是”(Yes)。

如果请求了特殊再现，则在步骤S67中，判断能否与图像平面合成，如果能够合成可能，则在左眼用视频流的视频帧及右眼用视频流的视频帧中的一方上，合成像素坐标通过平面移动而变化了的图形，返回到循环。

如果不能合成，则在步骤S69中不合成图像平面上的图形，而输出左眼用视频流的视频帧及右眼用视频流的视频帧中的一方。

如果发出了停止请求、暂停请求，或者是视频的终点，则在步骤S70中判断是否能够平面移动及合成，如果能够，则在再现停止位置上的左眼用视频流的视频帧及右眼用视频流的视频帧上分别合成像素的坐标通过平面移动而变化了的图形(步骤S71)。

如果不能平面移动及合成，则在步骤S72中不合成图像平面上的图形，而交替输出左眼用视频流的视频帧及右眼用视频流的视频帧。

(第11实施方式)

本实施方式是对提供给BD-J应用程序的功能的改进。

为了不使BD-J应用程序请求特殊再现，添加使BD-J应用程序从播放列表信息中取得维数识别标志的功能。

以下，描述BD-J应用程序如何取得显示状态和取得寄存器设置值。向BD-J应用程序提供下述功能：在将3D显示着的字幕/GUI、影像变换为2D或隐藏时，向内容通知显示状态，或者使其取得当前显示状态。此时，当前显示状态可以记载在寄存器组12中。通过这样做，能够控制得使得内容自身不会显得不自然，能够减轻给观众的不快感。

接着，说明再现控制引擎将何种功能提供给BD-J应用程序。再现装置200生成向显示装置400输出的数据的处理是按照BD-J应用程序发出的请求进行的，是通过从BD-J平台22到再现控制引擎的指令来实现的。这里，说明在再现开始的处理中从BD-J模块22到再现控制引擎14的指令的细节。

具体地说，再现控制引擎将以下3个指令提供给BD-J应用程序。

1.再现准备指令

再现准备指令是用于提醒准备的指令。再现准备指令只是提醒准备，再现控制引擎是否根据再现准备指令来实际进行准备，可通过BD-J平台22上的属性“再现准备”来取得。在“再现准备”为“进行”的情况下，根据再现准备指令进行再现准备，取得当前播放列表，请求再现AV流，判断当前播放列表的再现模式，判断再现模式。在播放列表是2D的情况下，判断再现模式，切换再现模式。根据同步开始指令，来请求再现AV流。

在“再现准备”为“不进行”的情况下，不根据再现准备指令进行再现准备。通过根据再现准备指令进行实际的准备，有来自BD-J模块的自由度增加、能够进行细致的控制这些优点，但是在有些播放器的实现中，有时不能准备再现准备指令，所以设有这种属性。

2.同步开始指令

同步开始指令是用于使再现模式与AV流的模式属性同步的指令。在“再现准备”为“进行”、AV流为2D而且再现模式为3D的情况下，根据再现准备指令将再现模式切换到2D。在“再现准备”为“不进行”、AV流是2D、而且再现模式是3D的情况下，根据同步开始指令将再现模式切换到2D。

3.再现开始指令

再现开始指令是综合上述两个指令、用于进行再现准备和同步开始的指令。不管“再现准备”的值如何，都取得当前播放列表，请求再现AV流，判断当前播放列表的再现模式，判断再现装置中的再现模式。在播放列表是2D的情况下，判断再现模式，切换再现模式。其后，请求再现AV流。

(第11实施方式)

在本实施方式中，说明如何将再现装置的再现对象——BD-ROM记录到记录媒体上这一记录方法的实施方式。

本实施方式的记录方法不仅包含实时创建上述那样的文件、直接写入到记录媒体的文件系统区域上这一实时记录，而且包含事先创建要记录到文件系统区域上的比特流的整体镜像、根据该比特流来制作母盘、通过该母盘的压制来量产光盘这一预先格式记录。本实施方式的记录方法也由基于实时记录的记录方法及基于预先格式记录的记录方法来确定。

图33是记录方法的处理过程的流程图。步骤S201导入动画、声音、字幕、菜单这些数据素材；在步骤S202中，通过对数据素材进行数字化并进行压缩编码，根据MPEG标准进行编码，来得到打包基本流。在步骤S203中，复用打包基本流来生成对应的片断信息；在步骤S204中，将AV片断和片断信息分别保存到不同的文件中。

在步骤S205中，创建规定AV片断的再现路径的播放列表、用播放列表来规定控制过程的程序、对它们的管理信息；在步骤S206中，将AV片断、片断信息、播放列表、程序、其他管理信息写入到记录媒体上。

(第12实施方式)

在本实施方式中，说明用何种硬件来构成以上实施方式中描述过的再现装置。

图34是再现装置的硬件的内部结构图。在本图中，构成再现装置的主要部件是前端部101、系统LSI102、存储设备103、后端部104、非易失性存储器105、主微机106、网络接口107。

前端部101是数据输入源。前端部101包含例如图4所示的BD驱动器1a、本地存储器1c。

系统LSI 102由逻辑元件构成，成为再现装置核心。至少分离器4、视频解码器5a，b、图像解码器7a，b、音频解码器9、寄存器组12、再现控制引擎14、合成部16、平面移动引擎20这些构件被包含在该系统LSI的内部。

存储设备103由SDRAM等的存储器元件的阵列构成。存储设备107包含例如读缓冲器2a、2b、动态脚本存储器23、静态脚本存储器13、视频平面6、图像平面8、交互式图形平面10、背景平面11。

后端部104是再现装置内部和其他装置的连接接口，包含HDMI发送接收部17。

非易失性存储器105是可读写的记录媒体，是即使不提供电源、也能够保持记录内容的媒体，用于后述维数模式存储部29中存储着的再现模式的备份。这种非易失性存储器105例如可以使用闪速存储器、FeRAM等。

主微机106是由ROM、RAM、CPU组成的微机系统，在ROM中记录着控制再现装置的程序，ROM内的程序被读入到CPU中，通过程序和硬件资源的合作，来实现虚拟文件系统3、HDMV模块24、BD-J平台22、模式管理模块24、UO检测模块26的功能。

以下，说明系统LSI。系统LSI是指在高密度基板上安装裸芯片、封装而成的集成电路。通过将多个裸芯片安装到高密度基板上并封装，使多个裸芯片具有好像1个LSI那样的外形结构的，也被包含在系统LSI中(这种系统LSI被称为多芯片模块。)。

这里，如果着眼于封装的种类，则在系统LSI中，有QFP(四线扁平封装)、PGA(针网阵列)这些种类。QFP是在封装的四个侧面上安装了管脚的系统LSI。PGA是在整个底面上安装了很多管脚的系统LSI。

这些管脚承担着与其他电路的接口的作用。在系统LSI中的管脚中，存在这种接口的作用，所以通过在系统LSI的这些管脚上连接其他电路，而使系统LSI起再现装置200的核心的作用。

这种系统LSI当然可以包含到再现装置200中，还可以包含到TV或游戏、个人计算机、1seg(ワンセグ)手机等、进行影像再现的各种各样的机器中，能够大大扩展本发明的用途。

系统LSI的架构最好符合Uniphier架构。

符合Uniphier架构的系统LSI由以下电路块构成。

·数据并行处理器DPP

它是多个处理器单元(要素プロセツサ)进行同一工作的SIMD型处理器，通过用1个指令使各处理器单元中内置的运算器同时工作，来实现对构成图片的多个像素的解码处理的并行化。

·指令并行处理器IPP

它由由指令RAM、指令高速缓存、数据RAM、数据高速缓存组成的“本地存储器控制器(Local Memory Controller)”、由取指令部、解码器、执行单元、寄存器文件组成的“Processing Unit(处理单元)部”、使Processing Unit部并行执行多个应用程序的“Virtual Multi ProcessorUnit(虚拟多处理器单元)部”构成。

·MPU块

它由ARM核心、外部总线接口(Bus Control Unit：BCU)、DMA控制器、定时器、矢量中断控制器这些外围电路、UART、GPIO(General Purpose InputOutput，通用输入输出)、同步串行接口等外围接口构成。

·流I/O块

它经USB接口或ATA Packet(包)接口，与外部总线上连接的驱动器装置、硬盘驱动器装置、SD存储卡驱动器装置进行数据输入输出。

·AVI/O块

它由音频输入输出、视频输入输出、OSD控制器构成，与电视、AV放大器进行数据输入输出。

·存储器控制块

它是实现经外部总线连接的SD-RAM的读写的块，由控制各块间的内部连接的内部总线连接部、与连接在系统LSI外部的SD-RAM进行数据传送的访问控制部、调整来自各块的访问SD-RAM的请求的访问调度部组成。

具体生产过程的细节如下所述。首先根据各实施方式所示的结构图，来制作要做成系统LSI的部分的电路图，用电路元件或IC、LSI，来具体实现结构图中的构件。

如果这样具体实现了各构件，则规定连接电路元件或IC、LSI间的总线或其外围电路、与外部的接口等。进而，也规定连接线、电源线、地线、时钟信号线等。在该规定时，考虑LSI的规格来调整各构件的工作定时，或者施加保证各构件所需的带宽等的调整，来完成电路图。

如果电路图完成，则进行实现设计。实现设计是指制作基板布局的作业：决定将通过电路设计制作的电路图上的部件(电路元件或IC、LSI)安排到基板上的何处，或者将电路图上的连接线如何布置到基板上。

如果这样进行了实现设计，确定了基板上的布局，则将实现设计结果变换为CAM数据，输出到NC机床等的设备。NC机床根据该CAM数据，进行SoC实现或SiP实现。SoC(System on chip，系统芯片)实现是在1个芯片上刻制多个电路的技术。SiP(System in Package，系统级封装)实现是将多个芯片用树脂等做成1个封装的技术。经过以上过程，本发明的系统LSI可以根据各实施方式所示的再现装置200的内部结构图来制作。

其中，如上所述生成的集成电路因集成度的不同，有时也称为IC、LSI、超LSI、特LSI。

在用FPGA来实现系统LSI的情况下，通过将许多逻辑单元安排为网格状，根据LUT(Look Up Table，查找表)中记载的输入输出的组合，来连接纵/横的配线，能够实现各实施方式所示的硬件结构。LUT被存储在SRAM中，这种SRAM的内容在电源切断时消灭，所以在利用这种FPGA时，需要根据配置信息的定义，将实现各实施方式所示的硬件结构的LUT写入到SRAM中。

本实施方式用中间件和与系统LSI对应的硬件、系统LSI以外的硬件、与中间件的接口的部分、中间件和系统LSI的接口的部分、与中间件和系统LSI以外的所需的硬件的接口的部分、用户接口的部分来实现，在包含它们来构成再现装置时，通过相互协同工作，来提供特有的功能。

通过适当定义与中间件的接口及中间件和系统LSI的接口，能够分别独立地并行开发再现装置的用户接口部分、中间件部分、系统LSI部分，能够更高效地进行开发。其中，在各个接口的分割方法中，有各种各样的分割方法。

(第12实施方式)

在本实施方式中，说明基于平面移动的立体视觉的原理。

在本图中，圆圈所示的是显示画面上显示的像。

首先，在没有平面偏移量的情况下，右眼看到的像、左眼看到的像都是同一位置，所以用两眼看该像时的焦点位置位于显示画面上(图35(a))。

另一方面，在3D模式的立体模式关闭的情况下，左眼看到的像看起来处于比平面偏移量为0的情况更靠右侧的位置。此时用液晶快门眼镜使右眼什么也看不见。另一方面，右眼看到的像看起来处于比平面偏移量为0的情况更靠左侧的位置。此时用液晶快门眼镜使左眼什么也看不见(图35(b))。

人用两眼聚焦而识别出在该焦点位置上有像。因此，如果用液晶快门眼镜交替地以很短的时间间隔来切换左眼看到像的状态和右眼看到像的状态，则人的两眼想将焦点位置聚集到比显示画面更近的位置，结果是引起错觉，好像在比显示画面更近的焦点位置上有像(图35(c))。

在图36中，圆圈所示的是显示画面上显示的像。首先，在没有平面偏移量的情况下，右眼看到的像、左眼看到的像都是同一位置，所以用两眼看该像时的焦点位置位于显示画面上(图36(a))。

另一方面，在3D模式的立体模式关闭的情况下，左眼看到的像看起来处于比平面偏移量为0的情况更靠左侧的位置。此时用液晶快门眼镜使右眼什么也看不见。另一方面，右眼看到的像看起来处于比偏移量为0的情况更靠右侧的位置。此时用液晶快门眼镜使左眼什么也看不见(图36(b))。

如果用液晶快门眼镜交替地以很短的时间间隔来切换左眼看到像的状态和右眼看到像的状态，则人的两眼想将焦点位置聚集到比显示画面更远的位置，结果是引起错觉，好像在比显示画面更远的位置上有像(图36(c))。

以上说明是对写入到图形平面上的图形图像进行说明的，当然如果对交互式图形平面、视频平面、背景平面适用上述偏移量的概念则也是同样的。

(凸出程度/纵深的实现方法)

在该图(a)(b)中，近的一方示出右眼输出时用移动后的图形平面输出的右眼用的图形图像。远的一方示出左眼输出时用移动后的图形平面输出的左眼用的图形图像。

本图(a)示出平面偏移量的符号为正(将左眼用的图形图像向右偏移，将右眼用的图形图像向左偏移)的情况。如果平面偏移量是正的值，则如图35所示，左眼输出时的字幕看起来处于比右眼输出时的字幕更右的位置。即，会聚点(焦点位置)比屏幕更近，所以字幕也看起来近。

本图(b)示出平面偏移量的符号为负的情况。如果是负的值，则如图36所示，左眼输出时的字幕看起来处于比右眼输出时的字幕更左的位置。即，会聚点(焦点位置)比屏幕更远，所以字幕也看起来远。

以上是对立体视觉的原理的说明。接着，说明在1plane+Offset模式下、如何进行上述那样的图像坐标的移动。

首先，说明图像平面8的内部结构和其移动前后的像素数据的安排。

图38示出图像平面8的内部结构。在分辨率被设置为1920×1080的情况下，如该图(a)所示，图像平面8由横1920×纵1080的、8比特长的存储元件组成。这意味着能够以1920×1080的分辨率每1个像素保存8比特的像素码的存储器分配。存储元件中存储着的8比特的像素码通过使用彩色查找表的彩色变换，被变换为Y值、Cr值、Cb值。该彩色查找表中的像素码和Y值、Cr值、Cb值的对应关系由字幕数据内的调色板定义段来规定。

该图(b)示出图像平面8上保存着的像素数据。如本图所示，图像平面8上保存着的图形数据由与前景部分(构成字幕″I love″的部分)相当的像素数据、与背景部分相当的像素数据构成。这里，在与背景部分相当的存储元件中，保存着表示透明色的像素码，在该部分，在与视频平面合成时，视频平面上的运动图像看起来是透明的。另一方面，在与前景部分相当的存储元件中，保存着表示透明色以外的像素码，用该透明色以外的Y、Cr、Cb、α值来描绘字幕。在合成部15进行平面合成时，在与透明像素相当的部分，背景图形平面、视频平面的内容看起来是透明的，由于存在这种透明部分，所以能够进行平面合成。

图39示出向右移动、向左移动后的、前景区域的像素数据及背景区域的像素数据。(a)是移动前的像素数据，(b)是向右移动后的像素数据。这里，假设移动量是15个像素，则可知字幕字符“I love you”的“y”移动得从画面上看不见了。(c)是向左移动后的像素数据。这里，假设移动量是15个像素，则可知跟在字幕字符“I love”后面的字幕字符“you”中的“o”这一字符出现了。

以上是图像平面8的内部结构和其移动前后的像素数据的安排的说明。

图40是图像平面8上的平面移动的处理过程的图。

(a)示出从图像平面8生成的、向左移动后的图形平面和向右移动后的图形平面。

(b)示出向右移动。如本图所示，水平方向向右移动的方法如下面的(1-1)(1-2)(1-3)那样进行。(1-1).切下图像平面8的右端区域。(1-2).将图像平面8上存在的像素数据的位置如上所述向右沿水平方向偏移平面偏移量所示的移动量。(1-3).在图像平面8的最左端添加透明区域。

(c)示出向左移动。如本图所示，水平方向向左移动的方法如下面的(2-1)(2-2)(2-3)那样来进行。(2-1).切下图像平面8的左端区域。(2-2).将图像平面8上的各像素数据的位置向左沿水平方向偏移平面偏移量所示的移动量。(1-3).在图像平面8的右端添加透明区域。

(图形平面的存储元件中的像素数据的移动)

下面说明通过上述那样的移动，图形平面的存储元件中的像素数据如何移动。图形数据由1920×1080、1280×720这样的分辨率的像素数据构成。

图41是图形平面上保存着的像素数据的图。在本图中，方框是字长为32比特或8比特的存储元件，0001、0002、0003、0004、07A5、07A6、07A7、07A8、07A9、07AA、07AB这些16进制数的数值是在MPU的存储器空间中连续分配给这些存储元件的地址。此外，存储元件中的(0，0)(1，0)(2，0)(3，0)(1916，0)(1917，0)(1918，0)(1919，0)这些数值表示在存储元件内保存着哪个坐标的像素数据。

这里，坐标(0，0)上存在的像素数据被保存在地址0001的存储元件中，坐标(1，0)上存在的像素数据被保存在地址0002的存储元件中，坐标(1918，0)上存在的像素数据被保存在地址07A7的存储元件中，坐标(0，1)上存在的像素数据被保存在地址07A9的存储元件中。即，可知图形数据被保存得使得构成图形的多个行为连续地址。通过这样做，通过对这些附有连续地址的存储元件依次进行DMA传送，能够成组地读出这些像素数据。

图42示出移动后的图形平面的保存内容。

该图(a)示出平面偏移量被设置为“3”、向右移动了的图形平面。由于平面偏移量是“3”，所以可知在地址0004的存储元件中，保存着图形平面坐标系中的坐标(0，0)的像素数据；在地址0005的存储元件中，保存着图形平面坐标系中的坐标(1，0)的像素数据；在地址0006的存储元件中，保存着图形平面坐标系中的坐标(2，0)的像素数据。

此外，可知在地址07AC的存储元件中，保存着图形平面坐标系中的坐标(0，1)的像素数据；在地址07AD的存储元件中，保存着图形平面坐标系中的坐标(1，1)的像素数据；在地址07AE的存储元件中，保存着图形平面坐标系中的坐标(2，1)的像素数据。

该图(b)示出平面偏移量被设置为“3”、向左移动了的图形平面。由于平面偏移量是“3”，所以可知在地址0001的存储元件中，保存着图形平面坐标系中的坐标(3，0)的像素数据；在地址0002的存储元件中，保存着图形平面坐标系中的坐标(4，0)的像素数据；在地址0003的存储元件中，保存着图形平面坐标系中的坐标(5，0)的像素数据。

此外，可知在地址07A9的存储元件中，保存着图形平面坐标系中的坐标(3，1)的像素数据；在地址07AA的存储元件中，保存着图形平面坐标系中的坐标(4，1)的像素数据；在地址07AB的存储元件中，保存着图形平面坐标系中的坐标(5，1)的像素数据。

如上所述，可知移动了的图形平面是将图形平面上的各像素数据的坐标从本来的坐标向右、向左偏移了平面偏移量所示的像素数。

通过使安排构成图形数据的各像素数据的存储元件的地址变化规定的地址，能够实现图形平面的移动。当然，即使不实际使安排像素数据的存储元件的地址变化，如果是与之等价的处理，则也能够实现图形平面的移动。

(备考)

以上，说明了在申请本申请时、申请人能知道的最好的实施方式，但是对于以下所示的技术话题，可以加以进一步的改进或变更实施。如各实施方式所示来实施，还是实施这些改进/变更，都是任意的，由实施者的主观来决定，这一点请留意。

(视频解码器的实现数)

在图8、图22中，公开了视频解码器5只有1个的实现例，而这是因为在用MVC视频流来再现立体影像的情况下，能够公用作为参考图像的图片数据。

但是在现实中，最好实现分别对左眼用视频流进行解码的视频解码器、和对右眼用视频流进行解码的视频解码器，使视频解码器的实现数为“2”。

(自动再现播放列表的利用)

在BD-J对象中存在“可访问播放列表信息”的情况下，也可以按选择了与该BD-J对象对应的节目的定时，来执行从2D再现模式到3D模式的切换、从3D模式到2D再现模式的切换。在此情况下，将插入光盘时或选择菜单时等、节目切换请求作为触发，来执行图12的流程图的处理过程。

“可访问播放列表信息”包含与BD-J对象对应的节目成为当前节目时、要自动再现的播放列表的指定。此外，可访问播放列表信息包含与BD-J对象对应的节目成为当前节目时、能够选择可使其工作的应用程序的播放列表的指定。

在选择了某个节目时，再现装置中的再现控制引擎不等待来自应用程序的再现指示就开始再现用与选择出的当前节目对应的节目的可访问播放列表信息指定的播放列表，在BD-J应用程序的执行比播放列表再现的结束先结束的情况下，继续再现播放列表。

通过这种先行再现，在应用程序的类装入花费时间、不能进行图形的绘制、所以对话画面老是不能输出的情况下，使基于播放列表再现的再现影像原封不动地输出，所以即使在应用程序中的启动延迟显著的情况下，也能够先使用户观看播放列表的再现影像。在应用程序的启动延迟期间，能够处于放映着某种东西的状态，所以能给用户以安心感。

此外，由于结束不同时，所以即使应用程序因资源的枯竭而异常结束，应用程序的GUI被自动消去，如果原封不动地继续显示播放列表再现画面，则意味着播放列表的再现影像被继续输出到显示装置。通过这种继续输出，即使Java(TM)语言程序异常结束，显示装置也处于暂且放映着某种东西的状态，能够防止由于应用程序的异常结束而使画面消失这一事态。

(模式切换的适用对象)

在各实施方式中，再现模式从3D变更到2D，但是在再现模式从2D变更到3D的情况下也能得到同样的效果。

(重用及2倍的偏移量)

在图13中的步骤S808中对图像存储器7c，d中保存着的图形流进行解码，输出到图像平面8上；但是也可以通过不执行本步骤，而重用图13的步骤S805中利用过的图像平面，在图13的S809中将图像平面沿相反方向偏移本来的2倍的量，而使得不用第2次的图像进行编码即可。

(2解码器、2加法器)

在图7的结构图中，视频解码器、视频平面、图像平面加法器各具有一个，但是也可以例如出于高速化的目的使各部分各具有2个，来并行处理左眼用的影像和右眼用的影像。

(维数识别的方法)

在BD-ROM上具有识别待再现的流是2D用还是3D用的维数识别标志，在本实施方式中，在播放列表(PL)信息中嵌入了维数识别标志，但是只要是作为能够确定流主体和该流是2D用还是3D用的信息而记录的信息，则也可以以其他形式记录在BD-ROM上。

(缩放的并用)

在图13的S809移动图像平面时，最好与图13的S805同样通过缩放来放大或缩小。

(处理的缺省指定)

图13所示的步骤S801～S810的处理是左右处理存储部19缺省设置了左眼用的处理，所以先进行左眼的合成及输出，但是也可以缺省设置右眼用的处理，先进行右眼的处理。

(变更的对象)

以上记载了在图13的步骤S805中将图像平面沿一定方向偏移一定的幅度，在步骤S809中沿相反方向偏移同一幅度，但是也可以变更偏移图像平面的幅度。除此之外，也可以不是两眼都偏移，而是偏移某一只眼睛，而使其具有立体效果。

(纵深设置的对象)

在2D用的视频流上只想使字幕/图形数据具有纵深的情况下，进行图13的步骤S802～S809的处理。只是S804和S807的处理不是使用左眼用视频流的视频帧和右眼用视频帧，而能够通过将2D的两眼用流上的帧用于各眼来进行。

(图像平面偏移信息的保存地址)

在第1实施方式中，是以图像平面偏移信息存在于当前播放列表信息内为前提来描述的，但是为了细腻地实现与MVC视频流的同步，最好在MVC视频流内设有偏移量表，在这里保存图像平面偏移信息。由此，能够以图片为单位来实现细腻的同步。此外，在当前流管理信息中嵌入了图像平面偏移信息来取代当前播放列表信息的情况下，图12的步骤S5的处理也可以从当前流管理信息中取得。

(逐个光盘地切换纵深)

在本实施方式中，平面移动引擎根据当前播放列表信息的图像平面偏移信息来计算横向偏移值。即，在生成左眼影像和右眼影像的输出的一系列处理时、发生了播放列表的切换的情况下，需要图12的步骤S5的重新取得图像平面偏移信息的处理。但是，也设想了不想逐个播放列表地变更图像平面的纵深的情况。例如，是想以光盘为单位或以节目为单位来决定唯一的纵深的情况。

为了以光盘为单位来决定唯一的纵深，设想内容与以光盘为单位的信息相关联。例如，可考虑图2所示的BDMV目录下存在的“Index.bdmv”、或者保存着与光盘中放入的影像作品有关的各种各样的信息的META目录中保存着的元文件(ZZZZZ.xml)。

(逐个节目地切换纵深)

为了以节目为单位来决定唯一的纵深，设想内容与以节目为单位的信息相关联。例如，可考虑图2所示的BDMV目录下存在的“MovieObject.bdmv”、BDJO目录下存在的“XXXXX.bdjo”、或者保存着与光盘中放入的影像作品有关的各种各样的信息的META目录中保存的元文件(ZZZZZ.xml)。

(闪烁防止策)

在连接BD-ROM等的再现装置和TV等的显示装置时，有时使用HDMI，而通过从3D显示切换到2D显示，能够防止由HDMI的重新认证造成的影像的闪烁。

(缩放的适用)

在现实世界中，近处的物体看着大，远处显示的物体看起来小。但是只用上述平面移动，物体的尺寸没改变就被显示在近处或远处。在这种情况下，会给观众带来不快感。为了消除这种不快感，与将图像平面沿一定的方向移动同时进行缩放，使其看起来大，或者看起来小。

例如，在增大移动幅度而使其显示在近处的情况下，通过缩放来增大字幕/图形。

(再现数据信息中的流登录信息)

再现数据信息中的流登录信息最好以STN_table构成。STN_table是对多个流种类逐一规定在构成播放列表的多个播放项中的、包含该STN_table者成为当前播放项时、允许再现用多路径的主路径参考的AV片断上复用的基本流、及用多路径的支路径参考的AV片断上复用的基本流中的哪个的表。这里的流种类是指画中画中的主视频流、画中画中的第二视频流、混音中的主音频流、混音中的第二音频流、显现图形文本字幕数据、交互式图形流这些种类，STN_table能够为每个这些流种类登录应允许再现的流。具体地说，STN_table由流登录信息的数组构成。这里，流登录是指将在STN_table归属的播放项成为当前播放项时、要允许再现的基本流是何种流，与该流号相对应地表示；流登录信息采用将流项目及流属性的组合与逻辑流号相对应这一数据结构。

流登录中的流号用1、2、3这样的整数值来表现，流号的最大数是对应的流种类的流个数。

流属性包含表示流的语言码和流的编码方式的信息。与主路径端的流对应的流项目包含包标识符，与支路径端的流对应的项目包含标识传输流文件的标识符、标识子播放项的标识符、以及包标识符。

在该流项目内，描述要再现的基本流的包标识符。由于在流项目内，能够描述要再现的基本流的包标识符，所以将流登录信息中的流号保存到再现装置的流号寄存器中，根据流登录信息中的流项目内的包标识符使再现装置的PID过滤器执行包过滤。通过这样做，STN_table中允许再现的基本流的TS包被输出到解码器，再现基本流。

流号表中的这些流登录信息根据流号的顺序来排列，基于流号的顺序的流登录信息的次序在满足“再现装置能够再现”这一条件的流存在多个的情况下，成为优先选择它们中的哪个的基准。

通过这样做，创作(オ一サリング)者能够将下述方针传达给再现装置在STN_table中的流登录信息中存在再现装置不能再现的流的情况下，这种流被排除到再现之外；而在满足“再现装置能够再现”这一条件的流存在多个的情况下，应优先选择它们中的哪个。

判断是否存在满足“再现装置能够再现”这一条件的流、选择满足“能够再现”这一条件的流中的哪个，在当前播放项切换到新的播放项时、以及在用户请求了流切换时执行。

在当前播放项切换到新的播放项等、发生再现装置的状态变化时，进行上述那样的判断和选择，在再现装置中寄存器组内的寄存器之一——流号寄存器中设置流号，将上述一系列过程称为“状态变化时应执行的过程”。

在流切换请求由用户发出的情况下，进行上述那样的判断和选择，在再现装置的流号寄存器中设置流号，将上述一系列过程称为“请求了流变化时的过程”。

在插入了BD-ROM时，将流号寄存器设置为流登录信息串中的初值，将上述过程称为“初始化”。

流号表中的流登录信息串向用子播放项信息指定的流、和用播放项信息指定的流一律赋予了优先顺序，所以即使是未与视频流复用的流，如果用子播放项信息指定了，则也成为选择要与视频流同步再现的流时选择的对象。

在再现装置能够再现用子播放项信息指定的流、而且用子播放项信息指定的流的优先顺序比与视频流复用了的图形流的优先顺序高的情况下，可以将用子播放项信息指定的流供再现，来取代与视频流复用的流。

这样，提供一种途径将用子播放项信息指定的流供再现，来取代与视频流复用了的流，这才是STN_table的本质。

作为用于立体再现的STN_table的改进，3D模式特有的STN_table的扩展部分(称为STN_table_SS(StereoScopic))存在于播放列表信息内。该STN_table_SS由左眼用视频流的流登录信息串、右眼用视频流的流登录信息串、左眼用显现图形流的流登录信息串、右眼用显现图形流的流登录信息串、左眼用交互式图形流的流登录信息串、右眼用交互式图形流的流登录信息串构成。

在3D模式时，将STN_table_SS内的每个流种类的流登录信息串与STN_table中的流种类的流登录信息串结合。

该结合是如下进行的：将STN_tabl中的主视频流的流登录信息串置换为STN_table_SS中的左眼用视频流的流登录信息串、及右眼用视频流的流登录信息串；将STN_table中的第二视频流的流登录信息串置换为STN_table_SS中的左眼用第二视频流的流登录信息串、及右眼用第二视频流的流登录信息串；将STN_table中的显现图形流的流登录信息串置换为STN_table_SS中的左眼用显现图形流的流登录信息串、及右眼用显现图形流的流登录信息串；将STN_table中的交互式图形流的流登录信息串置换为STN_table_SS中的左眼用交互式图形流的流登录信息串、及右眼用交互式图形流的流登录信息串。

如果进行STN_table的结合，则通过对结合后的STN_table执行上述过程，而从结合后的STN_table中的流登录信息串中，选出3D模式下要选择的基本流的流登录信息，将该流登录信息中的流号设置到再现装置的流号寄存器中。并且，从该流登录信息中取出包标识符，使再现装置的PID过滤器根据该包标识符来执行包过滤。通过这样做，能够将构成左眼用流、右眼用流的TS包投入到解码器中，使其再现输出。通过这样做，能够将左眼用流、右眼用流供再现，所以如果与这些再现输出组合，则能够进行立体再现。

(记录媒体的变形)

各实施方式中的记录媒体包含光盘、半导体存储卡等全部盒装媒体。本实施方式的记录媒体是以预先记录了所需的数据的光盘(例如BD-ROM、DVD-ROM等现有的可读的光盘)为例进行说明的，但是无需限定于此，例如，将经由广播或网络分发的包含实施本发明所需的数据的3D内容利用具有光盘写入功能的终端装置(例如可以将左记功能包含在再现装置中，也可以是再现装置以外的装置)记录到可写的光盘(例如BD-RE、DVD-RAM等现有的可写的光盘)上，将该记录了的光盘适用于本发明的再现装置，也能够实施本发明。

此外，即使记录媒体是光盘以外的SD存储卡等半导体存储卡，也能够实施本发明。

(半导体存储卡的再现)

此外，说明例如将半导体存储卡用作记录媒体时的再现过程。光盘例如经光盘驱动器来读出数据，而在使用半导体存储卡的情况下，经用于读出半导体存储卡内的数据的接口来读出数据即可。

更详细地说，将半导体存储卡插入到再现装置的插槽(未图示)中后，再现装置和半导体存储卡经由半导体存储卡接口电连接。经半导体存储卡接口读出半导体存储卡上记录着的数据即可。

(程序的实施方式)

也可以根据各实施方式的流程图所示的处理过程来创建程序，实施记录了该程序的计算机可读的记录媒体。

首先，软件开发者用编程语言来描述实现各流程图或功能性构件的源程序。在该描述时，软件开发者根据编程语言的语法，用类结构体和变量、数组变量、外部函数的调用，来描述具体实现各流程图和功能性构件的源程序。

描述的源程序作为文件被提供给编译器。编译器编译这些源程序来生成目标程序。

编译器进行的编译由语法分析、优化、资源分配、代码生成这些过程组成。在语法分析中，进行源程序的词法分析、语法分析及语义分析，将源程序变换为中间程序。在优化中，对中间程序进行基本块化、控制流分析、数据流分析这些作业。在资源分配中，为了适应目标处理器的指令集，将中间程序中的变量分配给目标处理器的处理器具有的寄存器或存储器。在代码生成中，将中间程序内的各中间指令变换为程序代码，得到目标程序。

这里生成的目标程序由使计算机执行各实施方式所示的流程图的各步骤和功能性构件的各个过程的1个以上的程序代码构成。这里，程序代码有处理器的本机代码、JAVA字节码这样各种各样的种类。程序代码对各步骤的实现有各种各样的形态。在能够利用外部函数来实现各步骤的情况下，调用该外部函数的调用语句成为程序代码。此外，实现1个步骤的程序代码有时也归属于不同的目标程序。在指令种类受限的RISC处理器中，也可以通过组合算术运算指令和逻辑运算指令、分支指令等，来实现流程图的各步骤。

生成目标程序后，程序员对它们启动连接器。连接器将这些目标程序和关联的库程序分配到存储器空间中，将它们连接为1个，来生成装入模块。这样生成的装入模块是以计算机读取为前提的，用于使计算机执行各流程图所示的处理过程和功能性构件的处理过程。然后，将程序记录到计算机可读的记录媒体上提供给用户。

工业可用性

本发明涉及在再现立体视视频流的再现机器中、在立体视视频流上叠加字幕和图形来显示的技术，特别适用于不仅输出立体视视频流、而且一并立体输出、叠加字幕和图形的立体视视频再现装置。

Claims

1.一种再现装置，能够将再现模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个，其特征在于，包括：

读出部件，从记录媒体读出包含左眼用视频流及右眼用视频流的数字流；

模式存储部，存储着当前再现模式；

维数判断部，判断从记录媒体读出的数字流是否支持3D模式；

分离器，在上述数字流支持3D模式、而且当前再现模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方；及

2.如权利要求1所述的再现装置，其特征在于，

上述再现装置包括再现控制部件，该再现控制部件控制上述视频解码器，使得在当前再现模式是3D模式的情况下请求了特殊再现时，将再现模式维持在3D模式，将从上述视频解码器输出的同一视频帧分别写入到右眼用视频平面、左眼用视频平面上；

作为重复输出对象的视频帧是对从数字流分离出的右眼用视频流及左眼用视频流中的某一方进行解码而得到的视频帧，上述再现控制部件将从上述视频解码器输出的同一视频帧分别重复写入到右眼用视频平面、左眼用视频平面上。

3.如权利要求2所述的再现装置，其特征在于，

上述特殊再现的指示是快进、后退中的某一个。

4.如权利要求2所述的再现装置，其特征在于，

上述特殊再现伴有再现速度的变化；

在请求了伴有再现速度的变化的特殊再现时，上述再现控制部件判断是否能够以变化后的再现速度来执行左眼用视频流的视频帧及右眼用视频流的视频帧的交替输出；

上述再现控制部件将从上述视频解码器输出的同一视频帧分别重复写入到上述右眼用视频平面、上述左眼用视频平面上，是在再现控制部件判断为不能以变化后的再现速度来执行视频帧的交替输出的情况下进行的。

5.如权利要求4所述的再现装置，其特征在于，

能够交替输出上述左眼用视频流的视频帧及右眼用视频流的视频帧的再现速度，是指特殊再现为快放的情况下的再现速度、特殊再现为逐帧前进的情况下的再现速度、特殊再现为逐帧后退的情况下的再现速度中的某一个。

6.如权利要求1所述的再现装置，其特征在于，包括：

平台部，执行字节码应用；和

在上述模式存储部中存储着的再现模式被从2D模式切换到3D模式的情况下，或者从3D模式切换到2D模式的情况下，传输部件进行显示装置的重新认证；

在上述重新认证后，收到能够进行与切换后的模式相应的输出的意思的通知的情况下，对上述平台部执行着的字节码应用通知能够进行与上述切换后的模式相应的输出的意思。

7.如权利要求1所述的再现装置，其特征在于，

在3D模式下视频流的再现停止或暂停时，上述模式存储部维持再现模式是3D模式这一设定；

上述视频解码器交替输出对再现停止位置的左眼用视频流进行解码而得到的视频帧及对再现停止位置的右眼用视频流进行解码而得到的视频帧。

8.如权利要求7所述的再现装置，其特征在于，

上述再现装置包括：平台部，执行字节码应用；命令解释器，解释并执行用命令描述的程序；

上述视频再现停止或暂停是下述某一种情况：

用户用遥控进行了操作的情况；

平台部执行的字节码应用发出了指示的情况；

命令解释器执行的目标程序发出了指示的情况；

左眼用或右眼用视频流被再现到终点的情况。

9.如权利要求1所述的再现装置，其特征在于，

在再现装置中的再现控制从普通再现变化到幻灯再现时，

交替输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧。

10.如权利要求9所述的再现装置，其特征在于，

上述再现控制部件根据记录媒体上记录着的再现区间信息，来执行使视频解码器对数字流内的视频流进行解码的控制；

上述再现区间信息包含表示上述数字流具有幻灯播放属性还是具有电影属性的属性信息；

上述再现装置执行幻灯再现，是在当前再现区间信息从具有电影属性的再现区间信息切换到具有幻灯播放属性的再现区间信息时。

11.如权利要求1所述的再现装置，其特征在于，

上述再现区间信息包含设置是否屏蔽来自用户的特殊再现的指示或来自内容的特殊再现的指示的屏蔽信息；

上述再现装置包括：再现控制部件，在3D模式下请求了特殊再现的情况下，判断上述屏蔽信息是否表示屏蔽来自用户的特殊再现的指示；

上述再现控制部件能够在屏蔽信息表示屏蔽了的情况下，不执行特殊再现，而使视频解码器交替输出视频帧；

而在屏蔽信息表示未屏蔽的情况下，将模式存储部中的再现模式维持在3D模式，将从上述视频解码器输出的同一视频帧分别重复写入到上述右眼用视频平面、上述左眼用视频平面上。

12.如权利要求1所述的再现装置，其特征在于，

上述数字流包含图形流；

上述再现装置包含图像解码器、图像平面、平面移动引擎、以及合成部；

上述读出部件还从上述记录媒体读出用于移动上述图像平面的偏移位置信息；

上述分离器还分离出图形流；

上述图像解码器对上述分离出的图形流进行解码，将通过解码而得到的图形写入到上述图像平面上；

上述平面移动引擎根据偏移位置信息来移动构成写入到上述图像平面上的图形的像素的坐标；

上述合成部在3D模式下输出的视频帧合成通过对上述分离出的右眼用视频流及左眼用视频流进行解码而得到的右眼用及左眼用视频帧、和上述图像平面上的移动后的图形。

13.如权利要求2或12所述的再现装置，其特征在于，

在3D模式下指示了特殊再现的情况下，执行以下某一个：

1)不与图形进行合成，输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧中的某一方；

2)合成对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧中的某一方、和像素的坐标未通过平面移动而变化的图形后，输出。

14.如权利要求11所述的再现装置，其特征在于，

在上述视频解码器的再现停止或暂停时，执行以下某一个：

1)合成存在于再现停止位置上的、对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧、和像素的坐标通过平面移动而变化了的图形后，交替输出；

2)只交替输出存在于再现停止位置上的、对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧，不将图形合成到视频帧上。

15.如权利要求13所述的再现装置，其特征在于，

上述视频再现停止或暂停是在下述某一时：

1)用户用遥控进行了操作时；

2)平台部执行的字节码应用发出了指示时；

3)命令解释器执行的目标程序发出了指示时；

4)左眼用或右眼用视频流被再现到终点时。

16.如权利要求11所述的再现装置，其特征在于，

在上述视频解码器的再现从普通再现变化到幻灯再现的情况下，将显示模式维持在3D模式，执行以下某一种处理：

1)将对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧分别和像素的坐标通过平面移动而变化的图形合成后，交替输出；

2)只交替输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧，不输出图像平面上的图形。

17.一种集成电路，可以组装到能够将显示模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个的再现装置中，其特征在于，包括：

维数判断部，如果从记录媒体读出包含左眼用视频流及右眼用视频流的数字流，则判断从记录媒体读出的数字流是否支持3D模式；

18.一种再现方法，用于能够将显示模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个的计算机，其特征在于，具有：

读出步骤，从记录媒体上读出包含左眼用视频流及右眼用视频流的数字流；

维数判断步骤，判断从记录媒体上读出的数字流是否支持3D模式；

分离步骤，在上述数字流支持3D模式、而且当前显示模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方；及

解码步骤，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观看的视频帧。