CN102474650A - 立体观察影像的再现装置、集成电路、程序 - Google Patents

Abstract

一种立体观察影像的再现装置、集成电路、程序，抑制在立体影像的场景切换或从二维影像向三维影像的维数切换等时产生的急剧的进深量的变化，降低施加给视听者眼睛的负担。再现装置具有能够保存立体影像的多个帧的进深量的进深量存储部、和视频平面，在产生了从二维影像向三维影像的切换请求或者从三维影像向三维影像的场景切换请求的情况下，所述进深量存储部保存切换前帧的进深量、和至少包括切换目标帧的多个帧的进深量，根据切换请求的类型实施切换定时的控制或者切换目标帧的进深量调节，由此实现抑制了急剧的进深量变化的自然切换。

Description

立体观察影像的再现装置、集成电路、程序

技术领域

本发明属于基于两眼视差的立体观察影像的再现技术的领域。

背景技术

上述立体观察影像有各种方式，但近年来最普及的是利用两眼视差的立体看上去，即，具有包含两眼视差的左眼影像和右眼影像，将各个影像映入到视听者的左眼和右眼中，由此虚拟地产生立体感的方式。

在利用两眼视差的立体影像中，视听者将左右图像的视差程度的看上去的差异视为进深感的主要因素。此时，视听者进行眼睛的焦点位置的调整，以便立体地捕捉左右图像。

将进行二维显示时的左眼球(瞳孔)朝向的方向、与进行利用视差的三维显示时的左眼球(瞳孔)朝向的方向之间的角度称为“视差角”。该视差角越急剧变化，越需要急剧改变眼球的朝向，因而容易产生眼睛疲劳。通常，使用左眼球的朝向来定义视差角，但有时也使用右眼球的朝向的差异来定义视差角。在视差角的变化程度增大时，在与其对应地切换时使眼球移动的程度也增大，需要使眼球在短时间内大幅移动，这成为眼睛疲劳的原因。

作为在视听三维影像时降低眼睛的疲劳感的技术，已经有下述专利文献记载的文献的公知发明。

专利文献1记载的再现装置在输入左右眼睛用的信号时不马上进行3D再现，而是等待经过固定期间，在经过该固定期间后进行3D再现。在从2D向3D切换时分阶段地改变视差量，由此降低眼睛的疲劳感。该分阶段的变化包括单调增加、凹状变化、凸状变化(图4，专利文献1的第0015段)。在视差的分阶段变化中，作为目标值的视差量采用由视差量计算单元12计算、并由视差量确定单元14确定的视差量(专利文献1的第0008段)。

现有技术文献

专利文献

专利文献1：日本特开平11-164328号公报

发明概要

发明要解决的问题

当在家中使用电视机和再现装置视听三维影像的情况下，与在电影院中视听3D电影时不同，用户能够自由进行再现装置的从二维影像的输出模式(2D模式)向三维影像的输出模式(3D模式)的切换，或进行书签跳跃(bookmark jump)、章节跳跃。在构成电影的视频流的单位中，由电影作品的制作方来保证立体观察图像的突出程度不会很大。但是，在进行从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃的情况下，电影作品的制作方无法保证立体观察图像的突出程度是否合适，因而如果根据与操作2D再现装置时相同的感觉对3D再现装置命令从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃，则导致立体观察图像的突出量的变化不是预期的变化，使得视差角的变化很大，用户抱怨眼睛的疲劳感的情况多发。

作为再现装置的使用上的注意事项，可以考虑提醒注意不要频繁地进行从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃，但是这样将有损于能够轻松地访问想要欣赏的场景这种随机访问功能的便利性，使得作为再现装置的家电商品的魅力大大受损。

在专利文献1中，将从2D模式向3D模式的切换中的视差量的变化、场景跳跃中的视差量的变化作为对象，因此认为采用专利文献1的技术，使从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃中的视差量变化变平缓。其中，专利文献1的分阶段的视差量变化是跨越多个帧从视差量“0”逐渐接近目标视差量，因此是以目标视差量被固定为前提的。

专利文献1的视差量计算单元12能够监视输入信号中的视差量，并采用其最新的视差量(第0024段)，但是在目标视差根据影像信号的再现进行而变化的情况下，即使跨越时间来分阶段地增加视差量，也存在由于视差量随着再现进行而动态地变化，从而使得再现对象的帧的视差量与其目标视差量大大不同的情况。在这种情况下，在从目标帧的视差量切换为再现对象的帧的视差量时，有可能视差量的变化量增大，因而无法保证针对眼睛的疲劳感一定降低。不仅如此，也有可能使得视差量进一步增大。

在分阶段地调整视差量时，也可以考虑使再现动作暂停，将该暂停时刻的帧的视差量作为目标视差量来分阶段地改变视差量，但是由于在暂停期间不能进行再现处理，因而在分阶段地改变视差量的期间必须对输入信号中的帧进行缓冲处理。但是，如果该缓冲处理的期间变长，则产生缓冲器溢出，从而导致产生帧的缺失。如果产生这种缺失，则无法保证缺失前后的帧的视差量是合适的，依据陷入视差量的变化增大的困境。

发明内容

本发明的目的在于提供一种再现装置，即使在用户成为主体并任意地切换再现位置或再现模式的情况下，也能够减轻眼睛的负担。

用于解决问题的手段

能够解决上述问题的再现装置，输出能够立体观察的三维影像，该再现装置具有：

取得单元，从装置外部取得视频流；

再现单元，对所取得的视频流进行解码，并进行三维影像的输出；

状态管理单元，管理再现单元中的再现状态；以及

调整单元，在再现状态变化了的情况下，从视频流的时间轴中位于变化时刻之前的多个帧、以及位于变化时刻之后的多个帧中，选择应该作为进深变化的基准的帧，使用该选择的帧来调整三维影像中的进深。

发明效果

在再现装置中能够将从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃这样的情况视为“再现状态的变化”，因而通过从位于再现状态的变化时刻以后的多个帧中选择作为进深调整的基准的帧，例如在用户进行从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃，使得再现状态发生频繁变化时，再现状态的各个变化时刻的进深量的变化也被限制在某个固定的范围内，由此不会造成眼睛的疲劳感。能够根据与操作2D再现装置时相同的感觉来操作3D再现装置。即使频繁地进行从2D模式向3D模式的切换、或频繁地进行书签跳跃、章节跳跃时，也不会加大眼球疲劳。

即使用户进行从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃时，也能够从再现装置侧保证突出量是合适的，因而电影作品的制作方通过制作导入了从2D模式向3D模式的切换、3D模式中的书签跳跃、3D模式中的章节跳跃这些优点的3D内容并加以普及，由此能够实现内容产业的更大发展。

附图说明

图1表示由作为封装介质的记录介质、作为播放器设备的再现装置、显示装置、眼镜构成的家庭影院系统。

图2表示通过闸门眼镜500能够观察的立体观察图像的突出程度。

图3表示立体观察图像的突出程度的随时间的转变。

图4表示立体观察图像的突出程度和右眼影像-左眼影像间的视差量的随时间的转变。

图5是表示再现装置的内部结构的图。

图6是表示调整部的处理步骤的流程图。

图7是表示2D→3D切换命令的处理步骤的流程图。

图8表示从2D模式向3D模式切换时的进深调整。

图9是表示切换目标帧可变时的场景跳跃步骤的流程图。

图10是表示跳跃时的进深量变化的图。

图11表示执行切换目标可变的场景跳跃时的进深调整。

图12是表示切换目标帧固定时的场景跳跃步骤的流程图。

图13表示执行切换目标固定的场景跳跃时的进深调整。

图14是表示利用偏移的平面移动处理的一例的图。

图15是表示左眼用视频平面的正的值x的移动方法的图。

图16是表示第2实施方式的再现装置的内部结构的图。

图17是表示集成电路的结构的图。

具体实施方式

下面，参照附图说明本申请所包含的再现装置的发明、集成电路的发明、再现方法的发明的实施方式。

具备解决上述问题的手段的再现装置的发明能够作为再现封装介质(package media)的播放器设备进行实施，集成电路的发明能够作为被装配于该播放器设备中的系统LSI进行实施。再现方法的发明能够作为利用该播放器设备实现的时间序列步骤进行实施。

图1表示由作为封装介质的记录介质、作为播放器设备的再现装置、显示装置、眼镜构成的家庭影院系统。如该图所示，上述作为封装介质的记录介质、作为播放器设备的再现装置与显示装置、眼镜、遥控器一起构成家庭影院系统，供用户使用。

只读介质100是对上述家庭影院系统提供例如电影作品的光盘。

再现装置200与显示装置400连接，用于再现记录介质100。该再现是通过交替地反复进行左眼用影像(左眼影像)的影像输出和右眼用影像(右眼影像)的影像输出而实现的。在这样再现的再现影像中存在2D影像、三维影像。2D影像是指例如将包括显示装置的显示画面在内的平面视为X-Y平面，利用位于该X-Y平面上的显示画面的显示位置的像素而表现的图像，也被称为平面观察图像。将用于再现该2D影像的再现装置的再现模式称为“2D模式”或者“平面观察再现模式”。

与其相对的三维影像是指将与上述被视为X-Y平面的平面垂直的直线设为Z轴，增加了Z轴方向的进深的图像。将用于再现该三维影像的再现装置的再现模式称为“3D模式”或者“立体观察再现模式”。

遥控器300是受理用户对被层次化的GUI的操作的设备，为了受理这些操作，遥控器300具有调用构成GUI的菜单的菜单键、使构成菜单的GUI部件的光标移动的箭头键、对构成菜单的GUI部件进行确定操作的确定键、用于使被层次化的菜单返回到更上位层次的返回键、和数值键。

显示装置400接收来自再现装置200的影像输出，以相同的定时原样地交替地输出左眼影像和右眼影像。通过使影像输出和显示切换的帧速率相同，实现相同的定时。为了减轻视听者的眼睛的负担，也能够采用仅使显示切换一方的帧速率倍增的结构。在这种情况下，显示用显示器400蓄积左眼影像以及后续输出的右眼影像的组，在显示用显示器侧快速切换这些图像，由此进行高帧速率的显示。在显示装置400中，男女的姿势在画面中重影是因为如果不佩戴闸门眼镜500即观察显示装置400的画面，则在3D模式时将观察到重合的右眼影像、左眼影像。

闸门眼镜500具有通过控制施加电压能够改变光的透射率的液晶闸门。通过改变该光的透射率，实现(1)使进入左眼的光透射、并且将进入右眼的光切断的功能，或者(2)将进入左眼的光切断、并且使进入右眼的光透射的功能。由此，能够使左眼观察左眼影像而无需使右眼观察到，并且使右眼观察右眼影像而无需使左眼观察到。在显示立体观察影像的情况下，闸门眼镜500构成为交替地切换显示使视听者的左眼观察的图像(左眼影像)、和使利用者的右眼观察的右眼用图像(右眼影像)。在与该切换的定时同步地在视听者佩戴的闸门眼镜中显示左眼影像的期间，使进入左眼的光透射、而将进入右眼的光切断，在显示右眼影像的期间，使进入右眼的光透射、而将进入左眼的光切断，由此实现利用闸门眼镜使在显示器显示的左眼影像只有左眼能够观察到，相反右眼影像只有右眼能够观察到的结构。

在这种结构中，关于左眼用的影像和右眼用的影像，通过形成为看上去存在视差程度的差异的影像，使视听者错觉地认为看上去的差异具有进深，并且感觉显示于显示器的影像好像是从显示器中突出来似地显示立体影像。

线缆600是以高传输速率传输非压缩的视频流、非压缩的音频流的线缆，包括HDMI线缆等。

以上是关于家庭影院系统的说明。下面，说明立体观察图像的详细情况。

图2(a)～(c)表示能够通过闸门眼镜500观察的立体观察图像的突出程度。图2(a)表示在视差较大时映入的立体观察图像，图2(b)表示在视差较小时映入的立体观察图像。

图2(a)表示将图中的下侧设为用户侧、将上侧设为显示装置400侧的状态。立体观察图像存在于显示装置400和闸门眼镜500的中途。在图2(a)、(b)中，立体观察图像与显示装置400接近的程度不同。在视差量较小的图2(a)中，立体观察图像被配置于显示装置400的附近，并且远离闸门眼镜500。在左眼图像、右眼图像的视差量较大的图2(b)中，立体观察图像远离显示装置400、而接近闸门眼镜500。根据这些图2(a)、(b)可以理解如下，通过控制视差量的大小，能够实现立体观察图像的进深控制，即，使立体观察图像远离或接近闸门眼镜500。

图3表示立体观察图像的突出程度的随时间的转变。横轴表示视频流的时间轴，纵轴表示显示装置400与闸门眼镜500之间的空间。在横轴中，视频流的时间轴由多个帧构成。突出程度是按每个帧而不同的值。在帧Fk-4、Fk-3中突出程度较小，在帧Fk中突出程度较大。

图4表示立体观察图像的突出程度和右眼影像-左眼影像间的视差量的随时间的转变。

将Y轴设为视频流的时间轴，将X轴设为立体观察图像的突出程度，将Z轴设为视差量。这样，可知在视差量较大的帧中突出程度较大。例如，在帧Fk-4、Fk-3中视差量较大，因而突出程度较大，而在帧Fk+2、Fk+4中视差量较小，因而突出程度较小。根据该图4可以理解如下，每帧的视差量的差异对立体观察图像中的突出程度产生较大影响。将用于控制突出程度的视差量的大小称为“进深量”。

以上是关于立体观察图像的说明。下面，说明再现装置200的内部结构。

图5是表示再现装置的内部结构的图。如该图所示，再现装置由读出部1、解复用器2、视频解码器3、视频平面4、平面移动引擎5、加法器6、再现状态管理部7、当前处理帧存储部8、左右处理存储部9、维数模式存储部10、维数判定部11、进深存储部12、脚本存储器13、UO检测模块14、调整部15、控制部16、开始位置确定部17、和平面偏移确定部18构成。

读出部1通过安装记录了构成立体观察影像的内容(content)的记录介质，执行针对该记录介质的读出/写入。该记录介质具有以只读介质100为代表的可重写式可移动介质、可重写式内置介质这些类型。并且，再现装置具有随机访问部。随机访问部执行从视频流的时间轴的任意时刻起的随机访问。其中，视频流包括通常的视频流和多视点视频流。多视点视频流由基本视点(basic view)视频流和从属视点(dependent view)视频流构成，是立体观察用途的视频流。具体地讲，随机访问部在被命令了从视频流的时间轴的任意时刻起的再现的情况下，使用作为脚本数据之一的入口映射(entrymap)，搜索与该任意时刻对应的访问单元(access unit)的源包(source packet)号码。该访问单元包括能够独立解码的图片数据、或者视点分量(viewcomponent)的组。视点分量是构成立体观察影像的构成要素，一张右眼影像、一张左眼影像都属于视点分量。通过上述搜索，确定出存储了有关该访问单元的访问单元定界符(delimiter)的源包的源包号码，并执行从该源包号码起的读出及解码。在进行场景跳跃时，使用表示分支目的地的时间信息来执行上述搜索，由此执行随机访问。

解复用器2对输入流进行解复用，并输出多种类型的打包基本流(packetized elementary stream)。在这样输出的基本流中具有视频流、字幕用的图形流、交互用的图形流、音频流，将其中的视频流输出给解复用器2。字幕用的图形流和交互用的图形流被发送给与其对应的专用的图形解码器(未图示)，音频流被发送给音频解码器(未图示)。

视频解码器3对构成通过解复用器2的解复用而抽取出的视频流的访问单元进行解码，将非压缩的图片数据写入视频平面4。在进行多视点视频流的解码时，从从属视点视频流的序列开头的访问单元中提取辅助扩展数据，将位于该辅助扩展数据内的每个视频帧各自的进深量写入控制部16。

视频平面4是能够存储一画面量的像素数据的存储器，该像素数据构成通过视频解码器3的解码而得到的非压缩的图片数据。视频平面4的结构包括两平面结构、一平面结构，在两平面结构中，视频平面4由左眼视频平面和左眼视频平面的组构成。在构成两平面结构的各个左眼视频平面、左眼视频平面的各个平面中，存储有通过对多视点视频流进行解码而得到的左眼影像、右眼影像。在一平面结构中，在视频平面4中存储有构成通过对通常的视频流进行解码而得到的非压缩的图片数据的像素数据。

平面移动引擎5在视频平面4是一平面结构时实现平面移动。由后面叙述的平面偏移确定部18确定如下所述的偏移(offset)，即：在判定当前的处理对象即当前处理帧Fc在左右处理对象存储部11中是左眼影像还是右眼影像后，使用由平面偏移确定部14确定的平面偏移，使根据存储在视频平面中的图片而显示的输出影像相对于显示画面的水平方向(横轴)从基准位置移动何种程度的偏移。平面移动引擎5进行存储于视频平面中的各个像素数据的移动处理，以便进行与这样确定的偏移相应的移动。在此没有图示，但除视频平面4之外，还具有用于存储非压缩的字幕图形的图形平面、用于存储交互式图形的图形平面，视频平面4针对存储于这些图形平面中的各个像素数据也执行平面移动。

加法器6向在视频平面4、字幕用的图形平面、交互用的图形平面中存储的各个像素数据乘以预定的透射率，并进行相加。这是为了进行在视频平面4、字幕用的图形平面、交互用的图形平面中存储的像素的叠加。在对构成视频平面4的所有像素数据进行相加后，完成视频平面4、字幕用的图形平面、交互用的图形平面的层合成。在进行上述的层合成后，向加法器6输出构成合成后的图片数据的像素数据，由此进行图像输出。以上的视频解码器3、视频平面4、平面移动引擎、加法器6作为一体构成再现部。

再现状态管理部7具有当前处理帧存储部8、左右处理存储部9、维数模式存储部10，管理上述再现部的再现状态。

当前处理帧存储部8由多个再现状态寄存器构成，这些寄存器存储用于确定当前处理帧Fc的多个参数。用于确定当前处理帧Fc的多个参数包括当前标题(title)号码、当前播放列表(playlist)号码、当前播放项目(playitem)号码、当前章节号码、当前书签号码、当前角度号码、当前Presentation Time(PTM)，使用这些参数来确定当前处理帧Fc。

其中，当前标题号码意味着在只读介质的索引表中记述的多个标题中成为当前的再现对象的标题。

当前播放列表号码是指在可移动介质中记录的多个播放列表信息(用于定义由主路径(main path)和子路径(sub path)构成的再现路径的信息)中、成为当前的处理对象的播放列表。

当前播放项目号码是指构成与当前播放列表号码对应的播放列表信息的多个播放项目信息(通过在视频流的时间轴上定义In_Time、Out_Time的组，定义一个再现区间的信息)中、成为当前的再现对象的播放项目。

当前章节号码是指对构成播放列表信息的多个播放项目信息设定的多个章节中、被选择为当前章节的章节的号码。上述播放列表信息具有播放列表标记信息，该播放列表标记信息能够利用播放项目信息与时间戳的组，指定针对播放项目信息的标记点。利用该播放列表标记信息来确定对播放列表信息设定的各个章节。在播放列表信息中一定利用播放列表标记信息来确定章节，因而在基于播放列表的视频流的再现时，利用当前章节号码确定利用播放列表标记信息确定出的多个章节中的任意一个章节。并且，随着视频流的再现的进行，当前章节号码被更新。

当前书签号码是指对构成播放列表信息的多个播放项目信息设定的多个书签中、被选择为当前书签的书签的号码。上述书签与创作(authoring)者规定的章节的不同，是根据用户操作而确定的书签。

由于书签是根据用户操作而确定的，因而再现装置受理用户对画面的标记操作，在装置内部生成上述播放列表标记信息，由此确定书签。如果通过该操作确定出多个书签，则在基于播放列表的视频流的再现时，利用当前书签号码确定多个书签中的任意一个书签。并且，随着视频流的再现的进行，当前书签号码被更新。将在上述的当前处理帧存储部8中存储的参数中的当前播放项目号码、当前章节号码、当前书签号码改写为新的号码，由此执行所谓“场景跳跃”。

当前角度号码是在播放项目信息具有两个以上的流参照信息，并根据各个角度参照信息来参照摄像角度不同的多个视频流的情况下，用于规定将摄像角度不同的多个视频流中的哪个视频流作为当前的视频流。这种当前角度号码在只有一个流参照信息的播放项目信息中不会被更新，仅在具有两个以上的流参照信息的播放项目信息中被更新。

当前PTM表示根据与当前播放项目号码对应的当前播放项目信息而参照的视频流的时间轴中的当前的再现时刻，利用时间戳的时间精度的时钟数来表述。当前PTM随着视频解码器对视频流的解码处理的进行而被随时更新。

将诸如这些当前标题号码、当前播放列表号码、当前播放项目号码、当前章节号码、当前书签号码、当前角度号码中任意一个号码变化的情况称为“再现状态的变化”。但是，假设只有当前PTM被更新时，不视为产生了“再现状态的变化”。因为如上所述，当前PTM随着视频流的再现的进行而在时刻变化着。

左右处理存储部9存储构成视频流的多个帧中成为当前的处理对象的帧是左眼影像还是右眼影像。

维数模式存储部10存储表示影像的输出形式是2D模式还是3D模式的当前模式号码。通过将在维数模式存储部10中存储的当前模式号码改写为新的号码，能够将2D模式切换为3D模式或者将3D模式切换为2D模式。以上是关于构成再现状态管理部7的当前处理帧存储部8、左右处理存储部9、维模式存储部10的说明。下面，说明维数判定部11的详细情况。

维数判定部11使用脚本数据中所包含的模式设定用的参数和当前处理帧存储部8中的参数，执行用于确定再现装置的再现模式的模式确定处理，判定将再现装置的输出模式设为2D模式还是3D模式。在确定再现模式后，将表示确定后的再现模式的当前模式号码写入维数模式存储部10中。

进深存储部12存储视频解码器从序列的辅助扩展数据中提取的有关多个帧的进深量(从帧Fm到帧Fm+n的各个帧的进深量)。

脚本存储器13存储未经由解复用器2而从记录介质读出的流管理信息或播放列表信息、字节码应用、导航命令串。

UO检测模块14在对遥控器进行了确定GUI的按钮部件的操作、跳跃操作的情况下，输出表示该操作的用户操作(UO：User Operation)事件。

在由再现状态管理部7的当前处理帧存储部8、左右处理存储部9管理的再现状态发生变化的情况下，调整部15从视频流的时间轴中位于变化时刻前面的多个帧、以及位于变化时刻后面的多个帧中，选择应该作为进深变化的基准的帧，使用该选择的帧来调整立体观察再现的进深。该调整包括确定合适的再现位置、和确定合适的平面偏移这两种处理。图中的控制部16、开始位置确定部17、平面偏移确定部18用于实现这些处理。

控制部16受理来自外部的再现状态的切换请求，并执行与切换请求相关的处理，由此改变再现装置的再现状态。再现状态管理部7管理该变化后的再现状态。更具体地讲，控制部16是具有ROM、RAM、CPU的微机系统，在ROM中记录有控制再现装置的程序，ROM内的程序被读入到CPU中，程序和硬件资源协同动作，由此执行与切换请求相关的处理。与切换请求相关的处理是AV再现功能之一。AV再现功能是指再现开始、再现停止、临时停止、临时停止的解除、静态图像功能的解除、利用立即值指定再现速度的快进、利用立即值指定再现速度的后退、声音切换、副影像切换、角度切换等AV再现用的普通功能。

在本实施方式中，作为对象的切换请求包括基于用户的操作的切换请求、和基于被编入到脚本数据中的切换命令的切换请求。通过开始作为AV再现功能而规定的处理中的、利用这些切换请求而被请求的处理，再现装置的再现状态发生变化。对前者的切换请求进行说明。前者的切换请求例如包括用户按下维数切换键时的维数切换(1)、产生用户跳过时的场景跳跃(2)、基于数值直接输入的章节跳跃(3)、角度切换(4)等。

在按下维数切换键的维数切换(1)中，该维数切换键的按下时刻成为“切换请求的产生时刻”，该按下时刻的下一个时刻成为请求开始与切换请求相关的处理的“请求时刻”。这是因为在维数请求的切换中，优选在维数切换键被按下的时刻的下一个时刻切换输出模式。作为与维数切换键的按下对应的处理，变更在维数模式存储部10中存储的表示当前模式的号码。当前模式如果是二维则变更为三维，当前模式如果是三维则变更为二维。针对切换请求执行以上处理，由此进行输出模式的变更。

在基于用户跳过(user skip)的切换请求(2)中，用户进行跳过操作的时刻成为“切换请求的产生时刻”。并且，成为请求对基于跳过操作的跳过目的地按照切换请求开始处理的“请求时刻”。这是因为跳过操作是请求开始在跳过目的地的再现的操作。

在用户进行了章节跳跃的情况下，作为与切换请求对应的处理，需要执行使当前章节号码递增或者递减的处理。具体地讲，使当前章节号码递增或者递减，并对当前处理帧存储部8设定与递增或者递减后的当前章节号码对应的播放列表标记所参照的播放项目的播放项目号码、与该播放列表标记信息对应的当前章节号码。并且，将表示请求时刻的时刻信息写入当前处理帧存储部8的PTM寄存器中，进行当前处理帧Fc的更新。最后，命令读出部1从更新后的当前处理帧Fc进行随机访问，使从更新后的当前处理帧Fc开始进行再现。

针对切换请求执行以上处理，由此进行场景跳跃。

在基于数值的直接输入的章节跳跃(3)中，用户进行数值输入操作的时刻成为切换请求的产生时刻。并且，成为请求对与数值输入的号码对应的章节按照切换请求开始处理的请求时刻。具体地讲，将数值输入的数值设定为当前章节号码，对当前处理帧存储部8设定与新的当前章节号码对应的播放列表标记所参照的播放项目的播放项目号码、与该播放列表标记信息对应的当前章节号码。针对切换请求执行以上处理，由此进行基于数值输入的场景跳跃。

在基于角度切换的切换请求(4)中，用户进行角度切换操作的时刻成为切换请求的产生时刻。并且，成为请求对于被请求按照角度切换请求进行切换的数字流的开头位置、按照切换请求开始处理的请求时刻。并且，与角度切换请求对应的处理用来响应角度切换操作而使当前角度号码递增或者递减，按照位于播放项目信息中的多个流参照信息中、与递增或者递减后的当前角度号码对应的流参照信息来读出数字流。因为与该递增或者递减后的当前角度号码对应的流参照信息，参照的是与切换后的角度号码对应的数字流。针对切换请求执行以上处理，由此进行角度切换。

对后者的切换请求进行说明。后者的切换命令用于利用被编入到脚本数据中的导航命令或者与API调用对应的字节码，实现基于前者的用户操作的切换请求。在后者的切换命令中，请求开始与切换请求相关的处理的请求时刻，是利用该切换命令即导航命令的操作数或与API调用对应的字节码的自变量被指定为“切换目标”的再现开始时刻。在后者的切换命令中，产生与切换请求相关的处理的产生时刻，成为读入该切换命令即导航命令或字节码的读入时刻。为了简化说明，下面将在本实施方式中作为对象的切换请求基本上假设为后者的切换命令。

预读取控制部16a是控制部16的构成要素，进行“进深分析用的预读取”。所说“进深分析用的预读取”是指在作为请求开始与切换请求相关的处理的请求时刻的、切换目标的帧Fm中，将请求时刻后面的n帧、或者请求时刻前面的p帧以及请求时刻后面的q帧汇总而读出(在此，具有关系n＝p+q)，由视频解码器将这些帧的进深量分离，并存储在进深存储部12中。为了该分离而读出的多个帧不是全部被再现。被再现的帧仅限于作为进深变化的基准的帧以及其后的帧。因为在请求开始处理的请求时刻即切换目标帧之后的n帧、或者在请求开始处理的请求时刻即切换目标帧之前的p帧以及在请求时刻即切换目标帧之后的q帧，只不过是为了进深分析才被读出的。

交互控制部16b与预读取控制部16a一样是控制部16的构成要素，根据脚本数据和事件来命令读出部1进行随机访问，由此执行交互式处理。具体地讲，在显示装置400的GUI显示中，对处于高亮(high light)状态的按钮部件进行确定操作，在产生表示确定操作的事件后，交互控制部16b执行作为与按钮部件对应的按钮对象的方法(method)的字节码或者导航命令。

在该按钮部件受理到场景跳跃的情况下，成为切换命令的字节码或者导航命令作为方法被编入到按钮部件中，因而通过执行该切换命令，进行用于确定当前处理帧Fc的多个参数的更新。

在再现状态的切换请求是维数切换请求或者场景切换请求的情况下，开始位置确定部17确定应该开始与这些请求相关的处理的开始时刻。

下面，对请求时刻的类型进行说明。切换请求包括请求时刻固定的切换请求、和请求时刻可变的切换请求。

所说固定的请求时刻，例如有在场景跳跃中作为跳跃目的地的章节、或者在角度切换中作为切换目标的角度影像等。在记录了电影等的BD-ROM中，章节是按照内容创作者的意图而划分的，再现开始位置被固定为各个章节的最初的帧。并且，角度切换等再现无缝地相连续的情况也属于这种命令。

可变的请求时刻是指作为频道切换的切换目标的流、或在书签跳跃中作为跳跃目的地的书签等。书签跳跃从用户指定的帧开始再现是理想状态，但是由于用户不是以帧单位来选择书签位置，因而可以允许几个帧的误差。

尤其是开始位置确定部17在产生维数切换请求时，从位于请求开始与切换请求相关的处理的请求时刻(切换目标帧Fm)后面的多个帧(帧Fm～Fm+n)中，选择与切换请求的产生时刻(帧Fk)的进深量的差分为最小的帧，作为成为进深调整的基准的帧Fd。将这样选择的成为进深调整的基准的帧Fd确定为应该开始与切换请求相关的处理的开始时刻，由此执行进深调整。即，开始位置确定部17将切换请求的请求时刻即切换目标帧前后的帧、和切换请求的产生时刻的帧这两者的进深量进行比较，由此确定成为进深调整的基准的帧。从以作为请求时刻的切换目标帧m为始点的n帧的范围内选择与切换请求对应的处理的开始时刻帧Fd，这是因为从二维向三维的切换是依据于用户的意志的切换，相对于实际的请求时刻允许存在少许误差。

关于规定应该成为进深调整的基准的帧的选择范围的帧数“n”，优选按照针对只读介质的访问单位来确定。具体地讲，如果在一次访问中读出对应于2～3GOP的访问单元，则优选根据作为这些访问单元所包含的帧数的48～72帧来确定n。并且，在来自只读介质的一次访问中，根据来自只读介质的读出用的缓冲器(读缓冲器)确定访问尺寸。优选根据该读缓冲器规定应该成为进深调整的基准的帧的选择范围。为了简化说明，在后面的说明中，将规定应该成为进深调整的基准的帧的选择范围的帧数“n”设为简单且容易处理的数值即“5”或者“6”。

并且，在产生场景切换请求时，从位于请求开始与场景切换请求相关的处理的请求时刻即帧Fm前面的多个帧(帧Fm-p～Fm)、以及帧Fm后面的多个帧(帧Fm～Fm+q)中，选择与场景切换请求的产生时刻的帧Fk的进深量之差分为最小的帧，作为成为进深调整的基准的帧Fd。将这样选择的成为进深调整的基准的帧Fd确定为应该开始与切换请求相关的处理的开始时刻，由此执行进深调整。基于处理开始时刻的确定的进深调整是在请求时刻即切换目标帧可变的情况下进行的。在与切换请求对应的请求时刻即切换目标帧可变的情况下，不仅允许请求时刻在未来方向上延迟，而且也允许在过去方向上提前。因此，在与切换请求对应的请求时刻可变的情况下，将位于请求时刻前面的p帧和位于请求时刻后面的q帧作为选择应该成为进深调整的基准的帧的选择范围。该p和q应该满足关系n＝p+q。因为在针对只读介质的一次访问中，优选应该成为进深调整的基准的帧的选择范围汇总而读出。

平面偏移确定部18确定具有成为平面移动时的偏移的基准的进深量的偏移基准帧Fd。从位于请求开始与场景切换请求相关的处理的请求时刻即切换目标帧Fm后面的多个帧(Fm～Fm+n)中，确定与场景切换请求的产生时刻(帧Fk)的进深量之差分为最小的帧，由此进行偏移基准帧Fd的选择。并且，使用这样确定的成为进深调整的基准的偏移基准帧进行进深调整。在进行属于从场景切换请求的产生时刻即帧Fk到偏移基准帧Fd的期间中的各个帧的影像输出时，平面移动引擎5将与偏移基准帧Fd的进深量对应的偏移用作水平方向的偏移，由此实现由调整部15进行的进深调整。基于偏移基准帧的确定的进深调整是在请求开始与切换请求相关的处理的请求时刻为固定的情况下进行的。所说固定的请求时刻是指利用创作者生成的播放列表标记信息确定的请求时刻。在与切换请求对应的请求时刻为固定的情况下，按照偏移基准帧的进深进行立体观察再现，因此立体观察影像的突出程度被减弱，但是从切换请求所请求的请求时刻开始再现是很明显的。如上所述可知，在与切换请求对应的请求时刻为固定的情况下，遵守有关与切换请求对应的处理的开始时刻的请求，限制立体观察影像的突出程度，由此体现针对用户视觉的考虑。

以上是对再现装置的内部结构的构成要素的说明。下面，说明表示再现装置的软件处理步骤的详细情况。

图6是表示调整部的处理步骤的流程图。步骤S1～步骤S2是2D再现用的流程图。步骤S1的判定步骤表示是否产生了从2D模式向3D模式的切换命令的判定，如果该判定为否，则继续执行2D再现(步骤S2)。

如果产生了切换命令，步骤S1为是，在步骤S3执行从2D模式向3D模式的切换，并进入到步骤S4-步骤S8的判定步骤串中。步骤S4表示是否产生了3D模式的场景跳跃的判定，如果步骤S4为否，则反复以下处理，即：执行平面移动(步骤S5)，将各个层的平面内容合成并输出图像(步骤S6)，使当前处理帧Fc递增(步骤S7)。

在产生了场景跳跃的情况下(步骤S4：是)，则进行步骤S9的判定。步骤S9表示请求按照切换请求开始处理的请求时刻即切换目标帧是否可变的判定，如果是可变的，在步骤S10执行请求时刻的帧可变的情况时的场景跳跃。如果不是可变的，在步骤S11执行请求时刻的帧固定的情况时的场景跳跃。

将以上的流程图的处理步骤与再现装置的构成要素关联起来进行说明。在后面的说明中，成为对象的切换请求是指请求从二维的输出影像向三维的输出影像的切换的维数切换命令、请求从三维的输出影像向另一个三维的输出影像的切换的场景切换命令。

在产生切换请求时，首先判定刚刚产生切换请求的产生时刻之前的输出影像是显示二维的输出影像还是显示三维的输出影像，并判定该切换请求是否是请求从2D模式向3D模式的切换(步骤S1)。这种判定例如是通过参照在维数模式存储部10中存储的当前模式信号而进行的。

在刚刚产生切换请求的产生时刻之前的输出影像的维数模式是2D模式(即显示二维的输出影像)的情况下，判定是二维显示还是三维显示切换目标的输出影像。该判定例如是通过参照与切换命令所包含的切换目标影像的维数模式相关的信息、或者参照切换命令所包含的维数模式更新用的参数(用于更新维数模式存储部10的当前模式号码的更新参数)而进行的。

当在步骤S1判定为切换目标的维数模式是3D模式的情况下，判定为切换请求是请求从二维的输出影像向三维的输出影像的切换的维数切换请求，并进行从2D模式向3D模式的切换(步骤S3)。

在当前的维数模式是2D模式的情况下，如果产生了维数切换请求，则在步骤S8判定切换目标的维数模式是否是3D模式。如果切换前的维数模式是2D模式，则由于进深量、切换后的进深量都是“0”(即在显示画面上进行显示)，因而不需要进深调整，故不进行进深量的调整，而继续步骤S1～步骤S2的循环处理。

在当前的维数模式是3D模式的情况下，如果产生了维数切换请求，则在步骤S3判定切换目标的维数模式是否是2D模式。如果切换前的维数模式是3D模式，则在步骤S8按照切换请求判定是二维显示还是三维显示切换后的输出影像。该判定例如是通过参照切换命令所包含的与切换目标影像的输出影像的维数模式相关的信息、或者参照切换命令所包含的维数更新用的参数(用于更新在维数模式存储部10中存储的当前模式号码的参数)而进行的。在切换目标的输出影像的维数模式是2D的情况下，不需进行进深量的调整，而是进行与2D的切换请求对应的切换处理，然后进入到步骤S1～步骤S2的循环处理。

在切换目标的输出影像的维数模式是3D模式的情况下，在S9判定是否可以变更用于显示切换目标的输出影像的帧(即是否可变)。

当在S9判定为可变的情况下，如果是错开几个帧，则判定为是允许开始3D显示的帧错开的场景切换命令，并进行切换目标帧可变时的跳跃(步骤S10)。

当在S9判定为不可变的情况下，判定为是在切换后应该开始再现的影像的帧被固定的场景切换命令，并进行切换目标帧固定时的跳跃(步骤S11)。

关于S8的判定、即是否可以将用于显示切换目标的输出影像的帧错开来开始再现的判定，具体地讲例如可以利用与API调用对应的字节码的类型或者导航命令的操作数，确定切换命令的内容是场景切换命令中示例的上述命令中的哪个命令即可。

图7是表示请求从2D模式向3D模式的切换的维数切换的处理步骤的流程图。在步骤S101，存储以请求按照切换请求开始处理的请求时刻即帧Fk为始点的帧Fk～帧Fk+n的进深量，在步骤S102检索具有最接近0的进深的帧Fd(步骤S102)。然后，执行步骤S103～步骤S106的循环处理。步骤S103用于规定循环处理的反复条件。反复条件是指是否满足当前处理帧Fc＜帧Fd，在满足的情况下反复以下处理，即维持2D模式(步骤S104)，以2D模式再现当前处理帧Fc(步骤S105)，使当前处理帧Fc递增(步骤S106)。

通过该反复处理，以2D模式再现当前处理帧Fc一直到到达帧Fd。在当前处理帧Fc到达帧Fd的情况下，步骤S103变为否，执行步骤S107～步骤S108。这些步骤将当前再现模式设为3D模式(步骤S107)，将各个层的平面内容合成并输出图像(步骤S108)。

将产生了维数切换请求时的处理步骤与再现装置的构成要素关联起来进行说明。例如，在产生请求从二维的输出影像向三维的输出影像的切换的维数切换请求时，进深量存储部12将以下一个切换目标的输出影像的帧Fk为始点的连续n个帧的进深量存储在进深存储部12中(步骤S101)。再现位置确定部13从所存储的n个帧中搜索具有最接近0(最接近显示画面的位置)的进深的帧Fd(步骤S102)，将该帧Fd确定为进行维数切换的帧。

在步骤S103～步骤S106的循环处理中，解复用器2按照维数存储部10的判定持续进行二维用的处理一直到到达帧Fd(步骤S105)，在到达帧Fd的时刻，开始用于三维显示输出影像的处理(S107、S108)。

在该循环处理中，维数存储部10进行如下设定，即在到达帧Fd之前的期间中，判定为应该二维显示输出影像，在到达帧Fd之后判定为应该三维显示输出影像。

在步骤S103～步骤S106中持续进行二维用的处理，这是因为例如在诸如下述的方式中，只要使用右眼用的输出影像或者左眼用的输出影像中任意一方进行显示即足以，该方式指：使用切换后的输出影像(三维的输出影像)进行二维显示，更具体地讲，使用能够观察到视差程度的角度差异的右眼用的输出影像和左眼用的输出影像作为三维的输出影像进行三维显示的方式。并且，在诸如对一个输出影像根据右眼和左眼而赋予不同的偏移来进行三维显示的方式中，具有将偏移设为相同的值(例如设为0)的方法等。

图8(a)表示进深量变化的随时间的转变的图。图8(a)中的第1段表示构成视频流的时间轴的多个帧。第2段表示横轴为时间轴、纵轴为进深量的曲线。

图8(b)表示图8(a)中的曲线。该图是以图5(a)为基础而制图的，与作为其基础的图5的不同之处是，在图8(b)中向3D模式的切换时刻的产生时刻被绘制在时间轴上，并成为向该3D模式的切换时刻。

在图8(b)中，假设在帧Fk-1产生了向三维的切换请求，并从下一个帧Fk开始用于进行三维显示的处理。在这种情况下，在二维显示中进深为“0”，与此相对，将切换为三维显示的时刻的帧设为Fk，将赋予给帧Fk的进深量设为Z(Fk)，进深量在切换前后从0变化为Z(Fk)。

此时，如果与在切换前后产生的进深量之差相当的Z(Fk)的程度增大，则视听者需要大幅改变视差角的程度、眼球(瞳孔)的朝向，存在以此为原因而产生眼睛疲劳的情况。

图8(c)表示以向3D模式的切换时刻的产生时刻即帧Fk为基准的读入期间。读入期间为6帧，因而以帧Fk为基准的5帧(n＝5)的范围、即从帧Fk到帧Fk+5成为读入期间。在图8(c)中，在进深量存储部12中能够存储以下一个帧为始点的连续6个帧的进深信息，当在帧Fk-1产生切换处理时，在进深量存储部12中存储从帧Fk到帧Fk+5的各个帧的进深量。

第2段表示读入期间中进深量为最小的Fk+3和作为达到最小的进深量的Z(Fk+3)。因为Fk+3的进深量为最小，因而将开始向3D模式的切换处理的时期变更为Fk+3。具体地讲，从Fk-6到Fk+2为2D模式，从Fk+3开始为3D模式。

在进深量为最小的Fk+3以后成为3D模式的开始时刻，因而从2D模式向3D模式的切换时刻的眼球的移动量为最小。因此，从Fk到Fk+2持续二维处理，在到达Fc＝Fk+3时切换为三维处理。通过上述的处理，能够将在切换时产生的进深量从Z(Fk)抑制为Z(Fk+3)。由此，能够抑制在向三维显示切换时产生的视听者的眼睛的焦点位置的变化，能够降低眼睛的疲劳。

图9是表示切换目标帧可变时的场景跳跃步骤的流程图。在该流程图中，存储切换请求的产生时刻即帧Fk的进深量(步骤S201)，存储位于请求按照切换请求开始处理的请求时刻即帧Fm前后的帧Fm-p～Fm+q的进深量(步骤S202)，对位于从帧Fm-p到Fm+q的范围内的各个帧，计算与帧Fk的进深量Z(F)的差分(步骤S203)。并且，将具有这样计算的差分为最小的进深的帧Fd设定为当前处理帧Fc，由此进行场景跳跃(步骤S204)。

下面，将再现装置的构成要素与图9的处理步骤关联起来，说明产生从三维向三维的场景切换请求时的动作。在产生场景切换请求时，在进深量存储部12中存储产生了场景切换请求的产生时刻的帧Fk的进深量(S201)，然后将场景的切换目标帧及其前后的n个连续的帧的进深量存储在进深存储部12中(S202)。再现位置确定部13计算所存储的n个帧的进深量与帧Fk的进深量Z(Fk)之间的差分的大小(例如差值的绝对值)(S203)，将具有与切换前帧的进深Z(Fk)之间的差分的大小为最小的进深的帧Fd判定为显示切换(即场景切换)的定时，并通知控制部7。控制部7使处理对象的帧移动到Fd，使从移动后的帧Fd开始再现(S204)。

图10是表示跳跃时的进深量变化的图。图10中的第1段表示构成跳跃源的视频流的时间轴的多个帧(Fk-6、Fk-5、Fk-4、Fk-3……Fk+4、Fk+5、Fk+6、Fk+7)，第2段的曲线表示第1段中的各个帧的进深量的随时间的转变。第3段表示构成跳跃目的地的视频流的多个帧(Fm-6、Fm-5、Fm-4、Fm-3……Fm、Fm+4、Fm+5、Fm+6、Fm+7)，第4段的曲线表示构成第3段中的视频流的时间轴的各个帧的进深量的随时间的转变。在第1段的时间轴中，跳跃源是帧Fk，在该帧Fk的进深量是Z(Fk)。

在第4段的曲线中，成为跳跃目的地的Fm的进深量Z(Fm)被绘制在Y轴上。图11(a)表示场景跳跃前后的进深量变化。图11(a)中的第1段将视频流i的时间轴和视频流j的时间轴重合示出。在该图11(a)中可知，进行从视频流i的帧Fk向视频流j的帧Fm的跳跃。第2段将图10中表示视频流i的进深量的变化的曲线、和图10中表示视频流j的进深量的变化的曲线重合示出。在此，由于Z(Fk)与Z(Fm)的差异较大，因而在产生了帧Fk→Fm的场景跳跃的情况下，突出程度的变化变得很大，引发眼球的疲劳。

图11(b)表示为了调整进深量而确定的读入期间。在图11(b)中可知，以与切换请求相关的处理的请求时刻即帧Fm为中心的前后3帧的范围、即从Fm-3到Fm+3的帧被确定为读入期间。Fm-2是在读入期间中进深量为最小的帧。进深量为最小的Fm-2(反转显示)被确定为调整后的帧。在图11(b)中表示书签位置Fm前后的帧的进深，并假定p＝3、q＝3的情况，因而在进深量存储部12中存储有从帧Fm-3到Fm+3的各个帧的进深量。

图11(c)表示进行了分支目的地的调整的场景跳跃。第1段表示在视频流i和视频流j中视频流i的帧Fk和视频流j的帧Fm-2被连续再现。

Fm-2在读入期间中的视差量达到最小，因而将Fm-2设为调整后的分支目的地，由此能够使进深量的增大量为最小。

具有与帧Fm的进深量Z(Fm)的差分为最小的进深的帧是Fm-2，因而再现位置确定部13将跳跃对象的帧确定为Fm-2，并通知控制部7。通过上述的处理，如图12(c)所示能够将在书签跳跃时产生的进深量的变化从|Z(Fk)-Z(Fm)|抑制为|Z(Fk)-Z(Fm-2)|。由此，能够抑制在跳跃的切换时产生的视听者的眼球(瞳孔)的朝向的急剧变化，能够降低眼睛的疲劳。

关于进行书签跳跃时的时刻与进深的关系，使用图11(a)和图11(c)进行对比说明。假设用户预先登记帧Fm作为书签位置。书签跳跃前的当前维数模式保持3D模式，书签跳跃后的当前模式也保持3D模式。

图11(a)表示假定不进行图9所示流程图的处理，而是进行书签跳跃时的进深量的变化。跳跃前的帧Fk的进深量为Z(Fk)，而书签位置Fm的进深量变化为Z(Fm)，因此在基于书签跳跃的切换前后，进深量的差分的大小为|Z(Fk)-Z(Fm)|。如果在基于书签跳跃的切换的前后产生的进深量的变化的大小(即|Z(Fk)-Z(Fm)|)的程度较大，则视听者需要大幅改变视差角的程度、眼球(瞳孔)的朝向，存在以此为原因而产生眼睛疲劳的情况。

与此相对，如图11(c)所示，当在进深量存储部12中存储有从按照场景切换请求开始处理的请求时刻即帧Fm观察的前后3个连续的帧的进深量的情况下(即，S202中的p、q为3的情况)，在步骤S202，与帧Fm-3～Fm+3的各个帧对应的进深量被存储在进深量存储部12中，因而如图11(c)所示，切换目标帧被变更为帧Fm-2。

下面，对切换目标帧固定时的场景跳跃的处理步骤进行说明。

图12是表示切换目标帧固定时的场景跳跃步骤的流程图。在本流程图中，存储与切换请求相关的处理的产生时刻即帧Fk的进深量(步骤S301)，并存储请求与切换请求相关的处理的请求时刻以及该时刻以后的帧Fm～帧Fm+n的进深量(步骤S302)，对各个帧Fm～帧Fm+n计算与帧Fk的进深量Z(Fk)之间的差分(步骤S303)，将具有最小的进深的帧Fd的进深量Z(Fd)设为目标进深量(步骤S304)。并且，将帧Fm设定为当前处理帧Fc，由此进行场景跳跃(步骤S305)。以后，执行步骤S306～步骤S311的循环处理。步骤S306用于判定该循环处理的结束条件、即当前处理帧Fc＜Fd的关系是否成立。如果步骤S306为是，则反复步骤S307～步骤S311的处理。该处理用于计算当前处理帧Fc的进深量Z(Fc)与帧Fk的进深量Z(Fk)之间的差分|Z(Fc)-Z(Fk)|(步骤S307)，计算基于差分|Z(Fc)-Z(Fk)|的平面偏移，并对平面移动引擎进行设定(S308)，从而执行平面存储器的移动(S309)。然后，将各个层的平面内容合成并输出图像(S310)，使当前处理帧Fc递增(S311)。在当前处理帧Fc到达帧Fd之前，满足当前处理帧Fc＜帧Fd的关系。在当前处理帧Fc到达帧Fd之前的期间中，进行基于差分|Z(Fc)-Z(Fk)|的平面移动。

如果步骤S306为否，则执行步骤S312～步骤S315。计算基于进深量Z(Fc)的偏移，并对引擎进行设定(S312)，执行移动(S312)。然后，将各个层的平面内容合成并输出图像(S314)，使当前处理帧Fc递增而返回(S315)。

将图12的流程图所示的处理步骤与再现装置的构成元素关联起来进行说明。在产生场景切换请求时，在进深量存储部12中存储产生了切换请求的产生时刻即帧Fk的进深量(S301)，然后存储以切换目标的Fm为始点的连续的n个帧的进深量(S302)。

平面偏移确定部14从进深量存储部12存储的n个帧的进深量中，计算与切换前的帧Fk的进深量Z(Fk)之间的差分(例如差值的绝对值)(S303)，将其中具有最小进深的帧Fd的Z(Fd)确定为目标进深量(S304)。控制部7使再现位置移动到切换目标帧Fm(S305)，解复用器1开始帧Fm的三维处理。

在处理帧从帧Fm到达帧Fd之前的期间，平面偏移确定部14计算处理帧的进深量被维持为目标进深量Z(Fd)的平面偏移(S307)，更新平面移动引擎4的平面偏移(S308)。平面移动引擎4使用在左右处理存储部11中保存的信息确认当前处理中的视频平面是右眼用还是左眼用，使平面沿所确定的方向移动(S309)。在处理中的帧到达Fd时，平面偏移确定部14计算基于以平面移动引擎的平面偏移为对象的帧的进深量的平面偏移，并进行更新。

图13表示基于指定量控制的进深调整。图13(a)中的第1段表示从视频流i向视频流j的场景跳跃。在这种情况下，分支源是帧Fk，分支目的地是Fm，因而按照帧Fk→Fm的顺序进行再现。第2段表示进深量变化与视频流j的进深量变化。由于Z(Fk)较小而Z(Fm)较大，因而可知突出程度的变化比较急剧。

根据图13(a)可以理解进行章节跳跃时的时间与进深的关系。假设用户在帧Fk中选择从帧Fm开始的章节。在通过与二维再现相同的处理来进行章节跳跃的情况下，与图9相同，产生较大的进深量的差|Z(Fd)-Z(Fm)|。

图13(b)表示分支目的地为Fm时的读入期间。在图13(b)的第1段中，帧Fm～Fm+6被读取。以反转方式记述的Fm+5表示进深量为最小的帧。图13(b)的第2段表示读入期间中的各个帧的进深量。在该第2段中Fm+5的进深量最小，因而Fm+5被设定为偏移控制的目标值。

在图13(b)中，表示章节跳跃目的地的帧从帧Fm开始的连续的帧的进深，因而在接收到对应于场景切换请求的切换命令时，在进深量存储部12中存储有当前的帧Fk(即切换前帧)的进深量。并且，假定存储了以跳跃目的地的帧Fm为始点的连续的6个帧的进深量(即n＝6的情况)，在进深量存储部12中存储有帧Fm～Fm+6的各个帧的进深量。

在计算切换前的帧Fk的进深量Z(Fk)与各个帧的进深量之间的差分的情况下，其中具有最小差分(例如差分的绝对值)的进深的帧是Fm+5，因而由平面偏移确定部14将帧Fm+5的进深量即Z(Fm+5)确定为目标进深量。

图13(c)表示基于平面移动控制的进深调整。第2段的曲线是表示平面移动控制的内容的曲线。虚线表示不进行平面移动控制时的ZR变化。该曲线中的进深量变化与图13(a)相同。图13(c)中的实线表示进行了平面移动控制时的进深的选择性变化。视频流j的Fm～Fm+5被实施了使进深量维持Z(Fd)的平面移动控制，因而突出程度的变化不急剧。

控制部7使再现位置移动到帧Fm开始再现。在处理对象的帧到达Fm+5之前、即在Fm～Fm+4的期间，平面偏移确定部14将目标进深量Z(Fm+5)与处理对象帧的进深量Z(Fm+i)(i＝0、1、2、3、4)之间的差分设定为平面移动引擎4的平面偏移。

对象帧的平面移动引擎使视频平面移动相当于所设定的偏移的量，以便使进深量与目标进深量Z(Fm+5)相等。

通过上述的处理，如图13(c)所示，在到达帧Fm+5之前，被输出图像的帧的进深维持Z(Fm+5)，能够将在章节跳跃时产生的进深量的变化从|Z(Fk)-Z(Fm)|抑制为|Z(Fk)-Z(Fm+5)|，在到达帧Fm+5后，平面偏移确定部18将与帧对应的进深量设定为平面移动引擎5的平面偏移，由此能够进行与帧的进深量相当的量的移动处理。通过形成这种结构，能够抑制在切换时产生的视听者的眼球(瞳孔)的朝向的急剧变化，降低眼睛的疲劳。

使用图14和图15说明视频平面的移动处理的一例。图14是表示利用偏移的处理的一例的图。

在对平面移动引擎4设定的偏移被设定为1的情况下，使右眼用的视频平面和左眼用的视频平面分别沿图14所示的箭头方向错开1个像素。在偏移是负的值的情况下，沿与图14所示的箭头相反的方向错开。在偏移是正的值的情况下，产生比移动之前更靠进深侧显示图像的现象，在偏移是负的值的情况下，产生图像比移动之前突出的效果。

左眼用视频平面的正的值x的移动方法按照图15所示进行。1.从视频平面的最左侧的部分切取视频平面偏移x的单眼量的平面高度的区域。2.使视频平面向左沿水平方向错开与视频平面偏移值相应的量。3.向视频平面的最右侧的区域中追加视频平面偏移x的单眼量的平面高度的透明区域。

(第2实施方式)

在第1实施方式中对视频平面4执行了平面移动，本实施方式涉及对图形平面实现平面移动的改进。图16是表示第2实施方式的再现装置的内部结构的图。该图是以图5为基础而制图的，与作为其基础的附图相比不同之处在于，视频平面4被置换为左眼用视频平面4a、4b，并且追加了字幕解码器21、字幕平面22、绘制引擎23、交互平面24。

左眼用视频平面4a存储通过视频解码器的解码而得到的构成右眼影像的像素数据。

左眼用视频平面4b存储通过视频解码器的解码而得到的构成左眼影像的像素数据。

字幕解码器21对经由解复用器2分离出来的字幕图形流、或不经由解复用器2而直接从读出部1读出的文本字幕流进行解码，将非压缩的图形写入字幕平面22中。

字幕平面22存储通过字幕解码器21的解码而得到的构成字幕图形的一个画面量的像素数据。

绘制引擎23对在记录介质中记录的JPEG/PNG/ZIFF格式的图像数据进行解码，并按照来自控制部16的指示，将描绘图像写入交互平面24中。

交互平面24是用于存储构成描绘图像的一个画面量的像素数据的存储器。这种描绘图像是ARGB格式的位图。

以上对在第2实施方式中追加的构成要素进行了说明。下面，说明在第2实施方式中进行了改进的构成要素的详细情况。

第2实施方式特有的进行了改进的平面移动引擎5对字幕平面22、交互平面24进行平面移动。通过这种平面移动，字幕平面22、交互平面24即使是1平面结构，也都能够实现立体观察。在该平面移动中使用在进深存储部12中存储的进深量。

第2实施方式特有的进行了改进的加法器6进行在交互平面24、字幕平面22、视频平面4a-左眼视频平面4b中存储的像素数据的相加，以便使交互平面24位于最近前方，然后配置字幕平面22、左眼视频平面4a-左眼视频平面4b。由此，进行平面存储器的层合成。

第2实施方式特有的进行了改进的控制部16选择使交互平面24、字幕平面22的进深量达到最小的帧，以该帧为基准进行进深调整。

根据以上所述的本实施方式，在字幕平面22、交互平面24的平面移动中使用的进深量是从进深存储部12读出的进深量，因而通过确定使该进深量减小的帧位置、平面偏移，能够将对用户的影响控制为最小限度。

<备注>

以上对在递交本申请时申请人所知道的最佳的实施方式进行了说明，还能够对以下示出的技术题目实施更进一步的改进或变更。需要注意的是至于按照各个实施方式所述进行实施、还是实施这些改进/变更，都依据于实施者的主观想法，是可以任意选择的。

(成为进深控制的对象的内容的范围)

在第1实施方式中，成为进深控制的对象的内容是由数字流或播放列表信息构成的电影作品，但成为对象的内容也可以是多面体模型或用多面体模型构成的游戏应用。如果是游戏，则可以将多面体模型或用多面体模型定义的角色的状态变化、游戏的状态变化视为再现装置的状态变化，进行进深量的调整。

(记录介质的变形)

在本实施方式中，以对在只读介质中记录了成为进深控制的对象的内容的介质进行再现并视听为前提进行了说明，但也可以通过例如广播波等无线、线缆等有线、或者其它记录介质(例如硬盘等磁记录介质、或者闪存、SD卡等半导体存储器)来提供成为进深控制的对象的内容。尤其是在从网络上的记录介质取得成为进深控制的对象的内容的情况下，网络上的记录介质能够视为“网络驱动器”。客户端程序及服务器程序执行通过协议堆栈的文件传输协议，由此“网络驱动器”能够实现访问，因而再现装置通过进行上述作为客户端程序的处理，能够从网络上的记录介质读出在第1实施方式中叙述的数字流或脚本数据，并提供给解码器。

并且，在从无线、有线的播放介质取得成为进深控制的对象的内容的情况下，无线、有线的广播介质的广播站利用归档(archive)程序对位于记录介质的文件系统中的目录/文件构造进行归档，利用对象轮放(ObjectCarousel)方式反复发送经由归档程序而得到的归档文件。并且，在再现装置侧接收这种归档文件，将在该归档文件中存储的目录/文件构造展开到装置内的高速缓存中，由此能够视为本装置的记录介质的目录/文件构造进行访问。因此，再现装置通过将在该归档文件中存储的目录/文件构造展开到装置内的高速缓存中，能够读出在第1实施方式中叙述的数字流或脚本数据，并提供给解码器。

(立体观察视听的变形)

以利用闸门眼镜500进行立体观察视听的方法为前提进行了说明，但也可以利用使左眼、右眼分别视听左眼影像、右眼影像的其它方法。例如，也可以是显示用显示器采用并列(side by side)方式、双凸透镜(lenticular)方式等，采用不利用眼镜等特殊的视听工具的方式。

(跳过时的进深调整)

在本实施方式中，以对在只读介质中记录的内容进行再现及视听为前提，但是在以家庭用视频方式来再现用户自身编辑的内容的情况下，将频繁地发生进深量产生较大变化的情况。尤其是在BD-ROM等再现专用的内容的情况下，创作者对考虑视听者的眼睛的摄影方法或章节划分等有所考虑，但在家庭用视频方式中，摄影者或编辑者是用户自身，极少考虑到进深量的变化。在这种情况下，即使是章节跳跃，也可以解释为场景切换命令。

(视频解码器的扩展性)

在图5的结构图中视频解码器、视频平面具有各一个，但也可以分别设置例如基于高速化用途来处理左眼用影像的视频解码器、视频平面、和处理右眼用影像的视频解码器、视频平面，使并行地进行处理。

(切换开始帧的选择)

在切换目标可变时的场景跳跃中，作为请求时刻的输出影像的帧，说明了从场景的请求时刻帧及其前后n个连续的帧的进深量中选择切换开始的帧的结构示例，但也可以构成为从场景的切换目标帧及其后续的m个连续的帧的进深量中选择切换开始的帧。

(偏移调整的变形)

在切换目标固定时的场景跳跃中，确定平面偏移使得在具有目标进深量Z(Fd)的帧Fd之前维持目标进深量Z(Fd)，当然也可以调整偏移使得在到达Fd之前分阶段地接近目标进深量Z(Fd)。

并且，在第1实施方式中记载了在接收到维数切换请求时持续二维处理，一直到到达所选择的帧Fd，但是也可以使用平面偏移确定部使视频平面移动，以使得进深量分阶段地变化并达到帧Fd的进深。具体地讲，平面移动引擎5将三维再现模式的切换前的当前处理帧Fc的进深量Z(Fc)作为初始值，将上述偏移基准帧Fd的进深量Z(Fd)作为目标值，使应该在平面移动引擎5的平面移动中应用的偏移分阶段地变化。在进行该分阶段的变化时，求出偏移基准帧Fd与当前处理帧Fc之间的帧数，将进深量的差分|Z(Fd)-Z(Fc)|除以该帧数。由此，求出每一个帧的偏移变化量。将基于每一个帧的偏移变化量的偏移的增加量，提供给位于偏移基准帧Fd与当前处理帧Fc之间的各个帧，由此改变偏移。这样，能够实现进深量的单调变化。

(切换目标帧选择的变形)

并且，在本实施方式中说明了这样的示例，即：在针对所有切换命令的处理中，从包括切换目标帧在内的多个帧中选择在切换时产生的进深量变化为最小的帧，在到达所选择的帧时开始进行3D显示的处理，或在从切换目标帧到达所选择的帧之前的期间，进行维持与所选择的帧对应的进深量的显示，尽管在本实施方式中说明了这样的示例，但也可以采用下述的方法，即：预先指定在切换时产生的进深量变化的最高值Zmax，选择与达到比Zmax小的值的切换后帧最接近的帧的方法，或者赋予加权并优先选择与切换目标帧邻接的帧的方法。

(进深量取得的变形)

也可以从被读出到脚本存储器的脚本数据中取得各个帧的进深量。在此，在脚本数据中包含播放列表信息。构成播放列表信息的多个播放项目信息都包括基本流选择表，播放列表信息自身包括扩展流选择表。基本流选择表表示与流号码相对应的、在平面观察再现模式时再现的基本流的列表。

扩展流选择表表示流号码和与相同流号码相对应的、在3D模式时再现的基本流的列表。在该扩展流选择表中，控制信息与流号码相对应。在此，3D模式包括使用左眼图像和右眼图像进行平面观察影像的再现的主-辅(main-sub)模式、和仅使用左眼图像进行平面观察影像的再现的主-主(main-main)模式。在图形是弹出菜单、3D模式是主-主再现模式的情况下，上述扩展流选择表中的控制信息具有应该在图形平面的平面移动中使用的偏移。也可以是，这种扩展流选择表内的偏移表示左眼图像、右眼图像的视差，并且根据每个播放项目信息而变化，因此将这种偏移作为进深量存储在进深量存储部12中，并执行进深调整使得该进深量不会变得很大。

并且，也可以是，在传输流中包含各个帧的进深量，或者根据所输入的立体图像计算计算量并取得进深量的方法。

(视频流供给的变形)

在本实施方式中，以对在只读介质中记录的内容进行再现及视听为前提，但只要再现装置是诸如具有经由网络进行下载的通信单元、存储所下载的数据的硬盘等存储单元的结构，就能够适用本实施方式。

并且，只要再现装置是诸如具有接收广播波的调谐器等接收单元的结构，例如在接收与在只读介质中记录的内容相当的数据的情况下，在进行信道切换等时也能够适用本实施方式。

(集成电路的实施方式)

也可以是，在第1实施方式所示的再现装置的硬件结构中、除记录介质的驱动器部和与外部的连接器等机构部分之外，将相当于逻辑电路和存储元件的部分即逻辑电路的核心部分构成为系统LSI。所说系统LSI指在高密度基板上安装裸芯片并封装得到的产品。通过在高密度基板上安装多个裸芯片并封装，使多个裸芯片具有像一个LSI那样的外形构造的产品，被称为多芯片模块，这种产品也包含于系统LSI中。

在此如果考察封装的类型，则系统LSI的种类包括QFP(方形扁平封装)、PGA(插针网格阵列)。QFP是将插针安装在封装体的四个侧面上的系统LSI。PGA是在整个底面上安装多个插针的系统LSI。

这些插针作为电源供给或接地、与其他电路的接口来发挥作用。系统LSI中的插针具有这种接口的作用，所以通过向系统LSI中的这些插针连接其他电路，系统LSI发挥作为再现装置的核心的作用。

图17是表示集成电路的架构的图。如该图所示，作为系统LSI的集成电路70的结构由前端(front end)部71、信号处理部72、后端(back end)部73、介质I/O 74、存储器控制器75、和主微机76构成，集成电路70通过介质I/O 74、存储器控制器75与再现装置的驱动器或存储器、收发部连接。再现装置的驱动器包括只读介质的驱动器、本地存储器的驱动器、可移动介质的驱动器等。

前端处理部71由被预编程的DMA主电路或I/O处理器等构成，执行所有的包处理。由解复用器进行的处理属于该包处理。在再现装置的存储器所确保的读缓冲器、各种平面存储器、各种缓冲器之间实现DMA传输，由此实现诸如上述的包处理。

信号处理部72由信号处理用处理器或SIMD处理器等构成，执行所有的信号处理。信号处理包括由视频解码器进行的解码处理及由音频处理器进行的解码处理。

后端部73由加法器、滤波器构成，进行所有的AV输出处理。AV输出处理包括像素处理，通过该像素处理进行层合成用的图像重叠、尺寸调整、图像格式变换。并且，一并执行数字/模拟变换等。

介质I/O 74是与驱动器、网络的接口。

存储器控制器75是存储器访问用的从设备电路(slave circuit)，根据前端部、信号处理部、后端部的请求，实现包或图片数据的存储器的读写。利用经由该存储器控制器75的存储器的读写，存储器作为只读缓冲器或视频平面、图形平面、视频解码器的各种缓冲器发挥作用。

主微机76是相当于图5中的调整部15的构成要素，由MPU、ROM、RAM构成，对介质接口、前端部、信号处理部、后端部执行整体控制。该整体控制包括作为构成调整部的控制部16、开始位置确定部17、平面偏移确定部18的控制。该主微机中的CPU具有命令取出(fetch)部、解码器、执行单元、寄存器文件、程序计数器。并且，执行在前面的实施方式中叙述的各种处理的程序，作为嵌入程序与基本输入输出系统(BIOS)、各种中间件(操作系统)一起存储在该主微机的微机内的ROM中。因此，再现装置的主要功能能够安装在该系统LSI内。

(程序的实施方式)

各实施方式中所示的程序可如下制作。首先，软件开发者使用编程语言，记述实现各流程图或功能构成要素的源程序。在该记述中，软件开发者根据编程语言的句法，使用类构造体或变量、数组变量、外部函数的调用，记述具体表现各流程图或功能构成要素的源程序。

将记述的源程序作为文件提供给编译器。编译器翻译这些源程序，生成目标程序。

编译器执行的翻译由句法解析、优化、资源分配、代码生成等过程构成。在句法解析中，进行源程序的字句解析、句法解析和含义解析，将源程序变换为中间程序。在优化中，对中间程序进行基本块化、控制流程解析、数据流解析等作业。在资源分配中，为了实现构成目标的处理器适合于命令集，将中间程序中的变量分配给目标处理器的处理器具有的寄存器或存储器。在代码生成中，将中间程序内的各中间命令变换为程序代码，得到目标程序。

这里生成的目标程序由让计算机执行各实施方式所示的流程图各步骤或功能构成要素各个步骤的一个以上程序代码构成。这里，程序代码有处理器的本地代码、JAVA(注册商标)字节代码等各个种类。利用程序代码来实现各步骤有各种方式。在可利用外部函数来实现各步骤的情况下，调用该外部函数的调用语句变为程序代码。另外，实现一个步骤的程序代码也归属于各个目标程序。在限制命令种类的RISC处理器中，通过组合算术运算命令或逻辑运算命令、分支命令等，也可实现流程图的各步骤。

若生成目标程序，则编程者对其启动连接器。连接器将这些目标程序或关联的库程序分配到存储器空间中，将其结合成一个，生成加载模块。如此生成的加载模块以计算机读取为前提，让计算机执行各流程图所示的处理步骤或功能构成要素的处理步骤。也可将这种程序记录在非临时性的计算机可读取的记录介质中提供给用户。

产业上的可利用性

本发明涉及在再现平面观察影像和立体观察影像的再现设备中抑制输出影像的急剧的进深变化的技术，尤其能够应用于抑制在具有平面影像维数模式与立体影像维数模式的切换功能、场景切换功能的立体观察再现装置的切换时产生的输出影像的急剧的进深变化的立体观察再现装置。

标号说明

2解复用器；3视频解码器；4视频平面；5平面移动引擎；9左右处理存储部；11维数判定部；12进深存储部；17开始位置确定部；18平面偏移确定部；100只读介质；200再现装置；300遥控器；400显示器；500闸门/偏光眼镜。

Claims (11)

1.一种再现装置，输出能够立体观察的三维影像，该再现装置具有：

取得单元，从装置外部取得视频流；

再现单元，对所取得的视频流进行解码，并进行三维影像的输出；

状态管理单元，管理再现单元中的再现状态；以及

调整单元，在再现状态变化了的情况下，从视频流的时间轴中位于变化时刻之前的多个帧、以及位于变化时刻之后的多个帧中，选择应该作为进深变化的基准的帧，使用该选择的帧来调整三维影像中的进深。

2.根据权利要求1所述的再现装置，其特征在于，

所述调整单元具有控制部，

控制部受理来自外部的再现状态的切换请求，并执行与切换请求相关的处理，由此实现所述再现状态的变化，

所述应该作为进深变化的基准的帧的选择是通过如下方式进行的：

将关于位于请求了开始与切换请求相关的处理的请求时刻以后的多个帧的视差量、以及/或者关于位于该请求时刻以前的多个帧的视差量，和与切换请求的产生时刻相对应的帧的视差量进行比较，根据比较结果来确定位于请求时刻以后的多个帧、以及/或者位于该请求时刻以前的多个帧之中的一个帧。

3.根据权利要求2所述的再现装置，其特征在于，

所述再现装置还具有存储多个视差量的视差量存储部，

在产生了切换请求时，所述取得单元将关于位于请求了开始与切换请求相关的处理的请求时刻以后的帧的视差量、以及关于位于该请求时刻以前的帧的视差量，存储在视差量存储部中，

由所述开始位置确定部确定为应该作为进深变化的基准的帧的帧，是指位于请求时刻以后的多个帧以及/或者位于该请求时刻以前的多个帧之中、与在视差量存储部中存储的各个视差量之间的差分为最小的帧。

4.根据权利要求2所述的再现装置，

所述调整单元具有开始位置确定部，

所述开始位置确定部用于确定应该开始与切换请求相关的处理的开始时刻，

开始位置确定部将视频流的时间轴中应该作为进深变化的基准的帧的再现时刻，确定为应该开始与切换请求相关的处理的开始时刻，由此实现由调整单元进行的进深调整。

5.根据权利要求4所述的再现装置，

所述切换请求是指请求从二维影像的维数模式向三维影像的维数模式切换的维数切换请求，

所述被确定为进深变化的基准的帧，是指位于请求了开始与维数切换请求相关的处理的请求时刻以后的多个帧之中、与作为维数切换请求的产生时刻的帧之间的视差量的差分为最小的帧。

6.根据权利要求4所述的再现装置，

所述切换请求是指请求从任意一个三维影像场景向另一个三维影像场景切换的场景切换请求，

所述被确定为进深变化的基准的帧，是指位于请求了开始与所述场景切换请求相关的处理的请求时刻以前的多个帧、以及位于该请求时刻以后的多个帧之中，与作为场景切换请求的产生时刻的帧之间的视差量的差分为最小的帧。

7.根据权利要求2所述的再现装置，

所述再现单元具有：

平面存储器，存储一个画面的量的像素数据；以及

移动引擎，使在平面存储器中存储的像素数据的各自的坐标沿水平方向移动规定的偏移，由此执行平面移动，

所述三维影像由通过使在平面存储器中存储的像素数据的坐标向右移动而得到的右眼图像、和通过使在平面存储器中存储的像素数据的坐标向左移动而得到的左眼图像构成，

所述切换请求是指请求从任意一个三维影像向另一个三维影像切换的场景切换请求，

所述作为进深变化的基准的帧，是指具有在进行平面移动时作为偏移的基准的视差量的偏移基准帧，

确定位于请求了开始与场景切换请求相关的处理的请求时刻以后的多个帧之中、与作为场景切换请求的产生时刻的帧之间的视差量的差分为最小的帧，由此选择所述偏移基准帧。

8.根据权利要求7所述的再现装置，

在进行属于从请求了开始与场景切换请求相关的处理的请求时刻的帧起、到所述偏移基准帧为止的期间的各个帧的影像输出时，所述移动引擎将与偏移基准帧的视差量相对应的偏移用作水平方向的偏移，由此实现由所述调整单元进行的进深调整。

9.根据权利要求8所述的再现装置，其特征在于，

所述移动引擎将三维影像的维数模式的切换前的帧的视差量作为初始值，将所述偏移基准帧的视差量作为目标值，在对各个帧进行三维输出时，使在平面移动中应该应用的偏移分阶段地变化。

10.一种集成电路，能够装配于再现装置中，该再现装置输出能够立体观察的三维影像，该集成电路具有：

取得单元，从装置外部取得视频流；

再现单元，对所取得的视频流进行解码，并进行三维影像的输出；

状态管理单元，管理再现单元中的再现状态；以及

调整单元，在再现状态变化了的情况下，从视频流的时间轴中位于变化时刻之前的多个帧、以及位于变化时刻之后的多个帧中，选择应该作为进深变化的基准的帧，使用该选择的帧来调整三维影像中的进深。

11.一种程序，使计算机执行能够立体观察的三维影像的输出，其特征在于，该程序使计算机执行以下步骤：

取得步骤，从装置外部取得视频流；

再现步骤，对所取得的视频流进行解码，并进行三维影像的输出；

状态管理步骤，管理再现步骤中的再现状态；以及

调整步骤，在再现状态变化了的情况下，从视频流的时间轴中位于变化时刻之前的多个帧、以及位于变化时刻之后的多个帧中，选择应该作为进深变化的基准的帧，使用该选择的帧来调整三维影像中的进深。

Images