CN101287141A - 立体影像显示系统 - Google Patents

Abstract

提供一种在实现立体影像和实物体的自然融合的同时，可以提高立体影像的临场感、存在感的立体影像显示系统。根据表示实物体的位置以及姿态的位置姿态信息、表示上述实物体属性的属性信息，生成表示上述实物体的第1物理计算模型，根据该第1物理计算模型、表示在上述显示空间内的上述实物体的假想的外部环境的第2物理计算模型的相互作用的计算结果，在上述显示空间内显示立体影像。

Description

立体影像显示系统

技术领域

本发明涉及生成和实物体联动的立体影像的立体影像显示系统。

背景技术

以往，已知有称为将二维影像或立体影像与实物体进行组合的混合现实感(MR)和扩展现实的技术，例如，公开于专利文献1(特开2000-350860号公报)和非专利文献1(石井裕，《接触比特(Tangiblebit)-融合信息和物理世界的，新的用户·接口·设计》信息处理，vol.43，No.3，pp.222-229，2002)。此外，提出了使用这些技术，通过用手或者用手握着的实物体直接操作和实际空间重合显示的二维影像或者立体影像，设置在显示器面上的实物体和影像相互作用这种接口装置。在这种接口装置中，因为是影像显示，所以采用在眼前直接显示影像的头置显示方式，和在实际空间上投影立体影像的投影方式。因此，因为从观察者的眼睛看从实际空间到跟前显示影像，所以不会由实物体和操作者的手阻挡影像。

另一方面，作为自然易于观看的3D影像，提出了以IP方式和稠密多眼式为首的，伴随运动视差的裸视立体视方式(以下，称为空间像方式)。在该空间像方式中，通过组装在像素数多的液晶显示器(LCD)中有代表性的平面显示器(FPD)和透镜阵列或针孔阵列这种光线控制元件，通过空间上切换观察位置显示从大于等于3视点，理想的是从大于等于9视点的方向拍摄取得的影像能够实现运动视差。和只用辐辏进行立体观看的以往的立体影像不同，通过追加以裸视可以观察的运动视差显示的立体影像和观察位置独立地在实际空间中具有坐标。由此，去掉作为立体影像的问题的影像和实物体的同时干涉时的不协调感，观察者可以指示立体影像，并可以同时欣赏实物体和立体影像。

但是，产生在组合了二维影像和实物体的MR或者AR中能够表现相互作用的区域受到显示面的限制这一制约。在组合了立体影像和实物体的MR或者AR中，因为固定在显示面上的视点调节与由两眼视差引起的辐辏竞争，所以实物体和立体影像的同时鉴赏给观察者以不协调感和疲劳。因此，影像和实际空间或者实物体的相互作用处于表现、融合感都不完全的状态，表现临场感和现实感是困难的。

此外，在空间像方式中，所显示的立体影像的解像度由上述的构造上的原因存在降低到平面显示器(FPD)的解像度的1/(视点数)的问题。因为在FPD的解像度中由于驱动等的制约的原因而有上限，所以提高在空间像方式中的立体影像的解像度并不容易，提高影像的临场感、现实感是困难的。此外，在空间像方式中，因为在用于操作影像的手或者用手把持着的实物体的后方配置平面显示器，所以立体影像被操作者的手或者实物体遮挡，成为妨碍实物体和立体影像的自然融合的主要原因。

本发明就是鉴于上述而提出的，其目的在于提供一种在实现立体影像和实物体的自然融合的同时，提高立体影像的临场感、存在感的立体影像显示系统。

发明内容

为了解决上述的课题实现目的，本发明是包含用空间像方式在显示空间内显示立体影像的立体影像显示装置、配置在该显示空间内的至少一部分是光透过性部分的实物体的立体影像显示系统，上述立体影像显示装置具备：存储表示上述实物体的位置以及姿态的位置姿态信息的位置姿态信息存储部件；存储表示上述实物体属性的属性信息的属性信息存储部件；根据上述位置姿态信息以及属性信息生成表示上述实物体的第1物理计算模型的第1物理计算模型生成部件；生成表示在上述显示空间内的上述实物体的虚拟的外部环境的第2物理计算模型的第2物理计算模型生成部件；计算上述第1物理计算模型和第2物理计算模型的相互作用的计算部件；根据上述相互作用计算部件的计算结果，在上述显示空间内显示立体影像的显示控制部件。

如果采用本发明，因为计算在配置于显示空间内的至少一部分上具有光透过性部分的实物体，和在该显示空间内的实物体的虚拟的外部环境的相互作用，能够将该计算结果作为立体影像显示，所以在抑制由实物体引起的立体影像的阻碍能够实现立体影像和实物体的自然融合的同时，能够提高立体影像的临场感、存在感。

附图说明

图1是表示立体影像显示装置的硬件构成的图。

图2是概略表示立体影像显示部的构造的侧视图。

图3是用于说明多眼方式的立体影像显示部的图。

图4是用于说明1维IP方式的立体影像显示部的图。

图5是表示视差图像变化的状态的模式图。

图6是表示视差图像变化的状态的模式图。

图7是表示立体影像显示装置的功能结构的一个例子的方框图。

图8是表示立体影像的显示例子的图。

图9是表示立体影像的显示例子的图。

图10是表示立体影像的显示例子的图。

图11是表示立体影像的显示例子的图。

图12是表示立体影像的显示例子的图。

图13-1是表示立体影像的显示例子的图。

图13-2是表示立体影像的显示例子的图。

图14是表示立体影像显示装置的功能结构的一个例子的方框图。

图15是表示立体影像的显示例子的图。

图16是表示立体影像的显示例子的图。

图17是表示立体影像的显示例子的图。

图18是表示立体影像的显示例子的图。

图19是表示立体影像显示装置的功能结构的一个例子的方框图。

图20是表示立体影像显示装置的功能结构的一个例子的方框图。

图21是表示立体影像的显示例子的图。

图22-1是表示实物体的构造的图。

图22-2是表示立体影像的显示例子的图。

图23是表示立体影像显示装置的功能性结构的一个例子的方框图。

图24是表示立体影像的显示例子的图。

图25是表示立体影像的显示例子的图。

图26是表示立体影像的显示例子的图。

图27-1是表示实物体的位置·姿态检测方法的一个例子的图。

图27-2是表示实物体的位置·姿态检测方法的一个例子的图。

图27-3是表示实物体的位置·姿态检测方法的一个例子的图。

图28是表示立体影像显示装置的功能性结构的一个例子的方框图。

图29-1是表示立体影像的显示例子的图。

图29-2是表示立体影像的显示例子的图。

图30是表示立体影像显示装置的功能性结构的一个例子的方框图。

图31-1是表示立体影像的显示例子的图。

图31-2是表示立体影像的显示例子的图。

图32-1是表示立体影像的显示例子的图。

图32-2是表示立体影像的显示例子的图。

图33是表示立体影像的显示例子的图。

图34是表示立体影像显示装置的功能性结构的一个例子的方框图。

图35是表示立体影像显示装置的功能性结构的一个例子的方框图。

符号说明

100～106：立体影像显示装置，1：处理器，2：ROM，3：RAM，4：HDD，5：立体影像显示部，51：视差图像显示部，52：光线控制元件，53：有效像素，6：用户界面(UI)，7：实物体，71：遮光部，72：光透过部，73：光透过部，81：发光部，82：发光部，83：RFID标签，84：强制反馈部，9、91、92：拍摄装置，11：实物体位置姿态信息存储部，12：实物体属性信息存储部，12：实物体属性存储部，13：相互作用计算部，131：Model_obj，132：Model_other，14：要素图像生成部，15：实物体附加信息存储部，16：相互作用计算部，17：相互作用计算部，171：遮光部影像非显示部，18：相互作用计算部，181：光透过性部分光学性影响补正部，19：实物体位置姿态检测部，191：实物体变位机构部，20：RFID识别部，21：强制反馈部。

具体实施方式

以下参照附图详细说明立体影像显示系统的最佳的实施方式。

[第1种实施方式]

图1是表示第1种实施方式的立体影像显示装置100的硬件构成的方框图。立体影像显示装置100含有：称为进行信息处理的CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、数值运算协调处理器、物理运算处理器的处理器1；作为存储有BIOS等的读出专用存储器的ROM(Read Only Memory)2；可以改写地存储各种数据的RAM(RandomAccess Memory)3；存储涉及立体影像的显示的各种内容的同时，存储涉及立体影像的显示的立体影像显示程序的HDD(Hard DiskDrive)4；进行立体影像输出·显示的积分成像(II)方式等的空间像方式的立体影像显示部5；用户对主体装置输入各种指示且显示各种信息的用户界面(UI)6等。而且，即使在以后说明的立体影像显示装置101～106中，也具备和立体影像显示装置100一样的硬件构成。

立体影像显示装置100的处理器1根据立体影像显示程序执行各种运算处理控制各部。

此外，HDD4作为涉及立体影像的显示的各种内容，存储有以后说明的实物体位置姿态信息和实物体属性信息，此外，存储成为以后说明的物理运算模型(Model_other132)的基础的各种信息。

立体影像显示部5是在液晶等有代表性的平板显示器(FPD)上具备把出瞳排列成矩阵形的光学元件的空间像方式的立体影像显示用的显示装置。在该显示装置中，通过依照观察位置切换经由出瞳可以看到的像素，可以让观察者看到空间像方式的立体影像。

以下，说明显示在立体影像显示部5上的影像的构成方法。将本实施方式的立体影像显示装置100的立体影像显示部5设计成能够重现n视差的光线。在此，在本实施方式中，作为视差数n＝9说明。

图2是概略地表示立体影像显示部5的构造的侧视图。在立体影像显示部5中，如图2所示，在液晶板等的平面形的视差图像显示部51的显示面的前面作为光线控制元件将由光学开口在垂直方向上延伸的圆柱透镜组成的双凸透镜板作为光线控制元件52配置。因为光学开口不是倾斜和阶梯形而在纵向上是一条直线，所以将立体显示时的像素排列设置成正方排列较为容易。

在表面上配置成纵横比是3∶1的像素201在横方向上直线地排列成1行，各像素在同一行内在横方向上交替排列红(R)、绿(G)、兰(B)。像素行的纵周期(3Pp)是像素的横周期Pp的3倍。

而且，在显示彩色图像的彩色图像显示装置中，用RGB的3个像素构成1个有效像素，即，构成能够容易设定亮度和颜色的最小单位。RGB的每一个一般称为子像素。

在图2所示的显示画面中用9列3行像素构成1个有效像素53(用黑框表示)。而且，将作为光线控制元件52的双凸透镜板的圆柱透镜配置在有效像素53的大致正面。

在平行光线1维IP方式中，将相当于排列在显示面内的子像素的横周期(Pp)的9倍的水平间距(Ps)的各圆柱透镜作为以直线延伸的光线控制元件52，用双凸透镜板在显示面上水平地将来自每9个像素的光线作为平行光线重现。

实际设想的视点因为设定在距离显示面有限的距离上，所以积累了构成为了构成立体影像显示部5的影像所需要的同一视差方向的平行光线的组的像素的图像数据的各视差成分图像比9张多。通过从该视差成分图像中抽出实际使用的光线，生成显示在立体影像显示部5上的视差合成图像。

图3表示在多眼方式的立体影像显示部5中的各视差成分图像和显示面上的视差合成图像的关系的一个例子的模式图。201是3维图像显示用的图像，203是图像取得位置，202是连结视差图像的中心和图像取得位置的出瞳的线段。

图4是表示在1维IP方式的立体影像显示部5中的各视差成分图像和显示面上的视差合成图像的关系的一个例子的模式图。301是3维图像显示用的图像，303是图像取得位置，302是连结视差图像的中心和图像取得位置的出瞳的线段。

在1维IP方式的立体显示器中，用距离显示面配置在特定视距离上的立体显示器的设定视差数之上数量的多台照相机进行图像的取得(在计算机图形中进行构思)，从构思的图像中抽出在立体显示器中需要的光线进行显示。此外，从各视差成分图像抽出的光线数除了立体显示器的显示面尺寸、解像度等外，由设想视距离等决定。

图5以及图6是表示在视距离改变的情况下从使用者可以看到的视差图像变化的状态的模式图。在图5、图6中，401、501是从观察位置认出的视差图像的号码。如图5以及图6所示，当视距离变化的情况下，可知从观察位置认出的视差图像不同。

虽然各视差成分图像的标准是垂直方向是与设想视距离或者其附近的视距离对应的透视投影，并且水平方向是水平投影的图像，但垂直方向以及水平方向都可以是透视投影。即，与光线重现方式有关的立体显示装置中的影像的生成处理如果是向重现的光线信息的变换，则只要用必要充分的台数的照相机进行拍摄或者描画处理即可。

在以下的实施方式的立体影像显示部5的说明中，以能够算出可以取得在立体影像的显示中必要并且充分的光线的照相机位置和台数为前提进行说明。

图7是表示第1种实施方式的立体影像显示装置100的功能性构成的方框图。如图7所示，立体影像显示装置100由于处理器1按照立体影像显示程序控制各部，因而具备实物体位置姿态信息存储部11、实物体属性信息存储部12、相互作用计算部13、要素图像生成部14。

在此，实物体位置姿态信息存储部11将与配置在可以由立体影像显示部5进行立体显示的空间(以下，称为显示空间)内的实物体7的位置和姿态有关的信息作为实物体位置姿态存储在HDD4内。在此所谓实物体7是至少一部分由光透光性的部分组成的实物体，例如，能够使用光透光性的丙烯板和玻璃板等。另外，对于实物体7的形状和材料没有特别限制。

作为实物体位置姿态信息可以列举表示相对立体影像显示部5的实物体目标的现在位置的位置信息、表示从过去某一时刻移动到现在时刻的位置和移动量、速度等的运动信息、表示实物体7现在以及过去的姿态(方向等)的姿态信息等。例如，在以后说明的图8的例子的情况下，从实物体7的厚度中心到立体影像显示部5的显示面的距离作为实物体属性信息被存储。

实物体属性信息存储部12将实物体7自身具有的固有的属性作为实物体属性信息存储在HDD4中。在此，作为实物体属性信息列举表示实物体7形状的形状信息(多面信息、表示形状的公式信息(NURBS等))、表示实物体7的物理性特性的物理特性信息(实物体7表面的光学特性、材质、强度、厚度、折射率等)。例如，在以后说明的图8的例子的情况下，将实物体7的光学特性和厚度等作为实物体属性信息存储。

相互作用计算部13根据在实物体位置姿态信息存储部11以及实物体属性信息存储部12中分别存储的实物体位置姿态信息以及实物体属性信息生成表示实物体7的物理计算模型(Model_obj)。此外，与预先存储在HDD4中的信息为基础，生成表示在实物体7的显示空间内的虚拟的外部环境的物理计算模型(Model_other)，计算Model_obj和Model_other的相互作用。而且，设成为Model_other的生成基础的各种信息预先存储在HDD4中，并用相互作用计算部13进行随时读入。

在此，所谓Model_obj是根据实物体位置姿态信息以及实物体属性信息表示在显示空间上的实物体7的全体或者一部分的特性的信息。例如，在以后说明的图8的例子的情况下，设从实物体7的厚度中心到立体影像显示部5的显示面的距离是“a”，实物体7的厚度是“b”。此时，如果将立体影像显示部5的显示面的垂直方向设置成Z轴，则相互作用计算部13将下述关系式(1)或者式(1)的计算结果作为表示实物体7的立体影像显示部5一侧的表面位置(Z1)的Model_obj来生成。

Z1＝a-b    (1)

而且，在此虽然将Model_obj131作为表示与实物体7的表面有关的条件说明，但并不限于此，例如也可以作为表示表现折射率和强度的条件，也可以表示规定条件下的举动(例如，其他的虚拟目标冲撞到相当于实物体7的虚拟目标时的反应)。

所谓Model_other是表示在包含在虚拟空间上显示的立体影像(虚拟目标)的位置信息和运动信息、形状信息、物理特性信息等的同时，在冲撞时让虚拟目标的形状改变规定量等的，在规定条件下的虚拟目标的举动等，在Model_obj以外的实物体7的显示空间内的虚拟的外部环境的特性的信息。而且，虚拟目标的举动虽然如遵循运动方程式等的实际的自然法则来进行运算，但如果虚拟目标V的动作和实际世界没有不协调感地显示，则不需要严格遵守自然法则，可以设置成使用简化的关系式进行计算的形态。

例如，在以后说明的图8的例子的情况下，设球形的虚拟目标V1的半径是“r”，在上述的Z轴上的虚拟目标V1的中心位置是“c”。此时，相互作用计算部13将下述关系式(2)或者该式(2)的计算结果作为表示在Z轴上的虚拟目标V1的实物体7一侧的表面位置(Z2)的Model_other来生成。

Z2＝c+r    (2)

此外，所谓计算Model_obj和Model_other的相互作用是指使用已生成的Model_obj和Model_other，在规定的判定基准下，导出根据Model_obj的条件的Model_other的状态变化。

例如，在以后说明的图8的例子的情况下，当判定实物体7和球形的虚拟目标V1的虚拟冲撞的情况下，相互作用计算部13使用表示实物体7的Model_obj和表示虚拟目标V1的Model_other，从上述式(1)、(2)中导出下式(3)，根据该计算结果，进行实物体7和虚拟目标V1是否冲撞了的判定。

冲撞判定＝(a-b)-(c-d)    (3)

而且，在上述例子中，虽然设为只以两物理计算模型表示的虚拟目标的冲撞，即，与虚拟目标的表面有关的条件判定Model_obj131和Model_other132的相互作用，但并不限于此，也可以设为对其他条件进行判定的状态。

相互作用计算部13在上述(3)式的值是零(或者零以下)时，判定为实物体7和虚拟目标V1冲撞，进行向以下那样显示的Model_other的变换的计算，即改变虚拟目标V1的形状，虚拟目标V1的运动轨迹跳动。这样，在计算相互作用中，作为拿Model_obj的结果，在Model_other上加上变更。

要素图像生成部14在将相互作用计算部13中的计算结果反映到Model_obj131以及/或者Model_other132中后用透视图生成多视点图像，排列替换这些多视点图像生成要素图像阵列。而后，通过将生成的要素图像阵列显示在立体影像显示部5的显示空间内，进行虚拟目标的立体显示。

以下，说明用上述的构成显示在立体影像显示部5上的立体影像。图8表示在垂直设立(纵向设置)的立体影像显示部5、在和该立体影像显示部5平行的附近位置上垂直设立的光透过性的实物体7之间显示球形以及块形的虚拟目标V(V1，V2)的状态。而且，在图中用波浪线表示的线段T表示球形的虚拟目标V1的运行轨迹。

在图8的情况下，例如，在从立体影像显示部5的显示面离开10cn的位置上将指定和该显示面平行地设定实物体7的信息等作为实物体位置姿态信息存储在实物体位置姿态信息存储部11中。此外，将在实物体7上固有的信息，例如，将丙烯板和玻璃板等的材质、形状、厚度、强度、折射率等作为实物体属性信息存储在实物体信息存储部12中。

相互作用运算部13在根据实物体位置姿态信息以及实物体属性信息生成表示实物体7的Model_obj的同时，生成表示虚拟目标V(V1，V2)的Model_other，计算两物理计算模型间的相互作用。

此外，在图8的情况下，作为相互作用时的判定基准，可以列举实物体7和虚拟目标V1冲撞的情况等。这种情况下，相互作用计算部13作为Model_obj和Model_other的相互作用的结果，能够得到在实物体7上球形的虚拟目标V1弹回的计算结果。此外，虚拟目标V1和虚拟目标V2之间的相互作用也可以同样地计算，例如，从实物体7弹回的虚拟目标V1在与块形的虚拟目标V2冲撞这种条件下，能够得到虚拟目标V1破坏虚拟目标V2这种相互作用的计算结果。

要素图像生成部14生成依据在相互作用计算部13中的计算结果的多视点图像，变换为用于显示在立体影像显示部5上的要素像素阵列。由此，将虚拟目标V立体显示在立体影像显示部5的显示空间上。在这样的工序中生成显示的虚拟目标V通过和光透过性的实物体7同时观察，观察者能够欣赏球形的虚拟目标V1与光透过性的实物体7冲撞，此外，虚拟目标V1与块形的虚拟目标V2冲撞，虚拟目标V2破碎的样子。这些虚拟的相互作用显著提高解像度不足的立体影像的存在感，能够实现以往没有的临场感。

而且，在图8的例子中，作为虚拟目标V处理了球形以及块形的目标，但该形态并不限于图示例子。例如，在光透过性的实物体7和立体影像显示部5之间，也可以设置成计算将纸片(参照图9)和肥皂泡(参照图10)作为虚拟目标V显示，在虚拟发生的对流下飞舞，与实物体7撞击破裂的规定的条件下的相互作用的形态。

如图8～图10所示，当用玻璃板等的透明度比较高的实物体7覆盖立体影像显示部5的全面的情况下，存在实物体7自身难以看到的问题。因此，通过在实物体7上描画某些图形和模样，能够容易认出和虚拟目标V的相对的位置关系。

图11是表示在实物体7的表面上作为模样D设置了格子模样的状态的图。而且，在图中波浪线表示的线段T表示球形的虚拟目标V的运动轨迹。在此，在实物体7上描画的模样D也可以设为在实物体7上实际描画，粘贴装饰性材料的形态，但例如，也可以设置成在实物体7的内部上设置让光散射的散射区域，通过用LED等的光源照射实物体7的端面，在该散射部位上让散射光发生的形态。而且，这种情况下，可以将为了重放虚拟目标V而照射的光照射在实物体7的端面上，产生散射光的形态，也可以依照虚拟目标V的动作调制照射实物体7的端面的光的亮度的形态。

此外，立体影像显示部5和实物体7的构成并不限于上述的例子，也可以设为其他的形态。以下，参照图12、13-1、13-2说明立体影像显示部5以及实物体7的其他的构成例子。

图12表示在水平设置的立体影像显示部5上放置由光透过性的半球形组成的实物体7的构成，在该实物体7的半球内显示虚拟目标V(V1，V2，V3)。而且，在图中用波浪线表示的线段T表示虚拟目标V(V1，V2，V3)的运动轨迹。

在图12的构成的情况下，例如实物体7在立体影像显示部5的表面上的特定的位置上，将指示放置成半球的大圆一侧和立体影像显示部5接触那样的信息等作为实物体位置姿态信息存储在实物体位置姿态信息存储部11中。此外，在实物体属性信息存储部12中将在实物体7中固有的属性，例如，丙烯板和玻璃板等的材质、半径10cm的半球这种形状、强度、厚度、折射率等作为实物体属性信息存储在实物体属性信息存储部12中。

相互作用计算部13在根据实物体位置姿态信息以及实物体属性信息，生成表示实物体7的Model_obj131的同时，生成表示该Model_obj131以外的虚拟目标V(V1，V2，V3)等的Model_other132，计算两物理计算模型间的相互作用。

在图12的情况下，作为相互作用时的判定基准，可以列举实物体7和虚拟目标V1冲撞的情况等，在这种情况下，相互作用计算部13作为表示实物体7的Model_obj131和表示虚拟目标V的Model_other132的相互作用的结果，可以表现在实物体7上虚拟目标V1弹回的现象。此外，可以显示表示火花的虚拟目标(V2)，该火花明确表示在冲撞位置上弹回的情况，可以表现让虚拟目标V1破裂，让表示虚拟的内容物的虚拟目标(V3)沿着实物体7的曲面显示这种现象。

要素图像生成部14在将相互作用计算部13中的计算结果反映在Model_obj131以及/或者Model_other132上后用透视图生成多视点图像，排列替换这些多视点图像生成要素图像阵列。而后，通过将生成的要素图像阵列显示在立体影像显示部5的显示空间内，进行虚拟目标V的立体显示。

通过和光透过性的实物体7同时观察在这样的工序中生成、显示的虚拟目标V，观察者能够欣赏在实物体7的半球内球形的虚拟目标V1火花四溅弹回，破裂的样子。

此外，图13-1、图13-2是表示在相对水平面倾斜45度设置的立体影像显示部5的下端部附近垂直设立由光透过性的板形组成的实物体7的构成的图。

在此，图13-1以及图13-2的左图是从正面方向(Z轴方向)看实物体7的面的正面图。此外，图13-1以及图13-2的右图是图13-1以及图13-2的图的右侧面图。在此，立体影像显示装置100在实物体7和立体影像显示部5之间在显示球形的虚拟目标V1的同时，在立体影像显示部5的显示面上显示孔形的虚拟目标V2。而且，图中用波浪线表示的线段T表示虚拟目标V1的运动轨迹。

在图13-1、13-2的构成的情况下，例如，设将指示实物体7从立体影像显示部5的显示面下部形成45度角度设置的信息作为实物体位置姿态信息存储在实物体位置姿态信息存储部11中。此外，作为实物体属性信息，和上述一样，将在实物体7中固有的属性，例如玻璃板和丙烯板等的材质、板形的形状，强度、厚度、折射率等存储在实物体属性信息存储部12中。

相互作用计算部13根据实物体位置姿态信息以及实物体属性信息，在生成表示实物体7的Model_obj131的同时，生成表示虚拟目标V(V1，V2，V3)的Model_other，计算两物理计算模型间的相互作用。

在图13-1的情况下，作为相互作用时的判定基准，可以列举实物体7和虚拟目标V1撞击的情况等。在这种情况下，相互作用计算部13作为Model_obj和Model_other的相互作用的结果，能够得到在实物体7上球形的虚拟目标V1弹回这种计算结果。此外，作为相互作用时的其他的判定基准，还可以列举虚拟目标V1和虚拟目标V2接触的情况，在这种情况下，作为虚拟目标V1和虚拟目标V2的相互作用的结果，虚拟目标V1能够得到下落到孔形的虚拟目标V2中的计算结果。

此外，当是图13-2的情况下，作为相互作用时的其他的判定基准，可以列举实物体7和多个虚拟目标V1接触的情况等，在这种情况下，相互作用计算部13作为Model_obj131和表示多个虚拟目标V1的Model_other132的相互作用的结果，能够得到在实物体7和立体影像显示部5之间的谷部上积存许多虚拟目标V1的计算结果。

要素图像生成部14在将在上述相互作用计算部13中的计算结果反映在Model_obj131以及/或者Model_other132上后用透视图生成多视点图像，排列替换这些多视点图像生成要素图像阵列。而后，通过将生成的要素图像阵列显示在立体影像显示部5的显示空间内，进行虚拟目标V的立体显示。

通过同时观察在这种工序中生成·显示的虚拟目标V(V1，V2)与光透过性的实物体7，观察者利用平面性的实物体7能够欣赏球形的虚拟目标V1弹跳，蓄积的状态。

而且，在图13-1的构成的情况下，通过设置在孔形的虚拟目标V2上落入虚拟目标V1时，从与该虚拟目标V2对应的位置(例如，立体影像显示部5的背面)出现相当于虚拟目标V1的实物的球的机构，在能够增大虚拟目标V1的存在感的同时，能够提高互动性。

具体地说，将图13-1的构成的立体影像显示装置100设置在游戏机等上，付与虚拟目标V1的球在视觉上类似于游戏用的球的属性。通过与虚拟目标V1的球从立体影像显示部5的显示空间变成非显示的时刻联动，从游戏机的排出口排出游戏用的球，能够进一步提高虚拟目标V1的存在感、临场感。

如上所述，如果采用本实施方式，因为计算在配置于显示空间内的至少一部分上具有光透过性部分的实物体7，和在该显示空间内的实物体7的虚拟的外部环境的相互作用，将该计算结果作为立体影像(虚拟目标)显示，所以在能够实现立体影像和实物体的自然融合的同时，能够提高立体影像的临场感、存在感。

[第2种实施方式]

以下，说明第2种实施方式的立体影像显示装置。而且，在和上述的第1实施方式一样的构成要素上附加同一符号并省略其说明。

图14是表示本实施方式的立体影像显示装置101的功能构成的方框图。如图14所示，立体影像显示装置101由于处理器1按照立体影像显示程序控制各部，因而除了在第1种实施方式中说明的实物体位置姿态信息存储部11、实物体属性信息存储部12、要素图像生成部14外，具备实物体附加信息存储部15和相互作用计算部16。

在此，实物体附加信息存储部15将可以附加在表示实物体7的Model_obj131上的信息作为实物体附加信息存储在HDD4中。

作为实物体附加信息，可以例举例如涉及可以依照相互作用的效果重叠在实物体7上表示的虚拟目标的附加信息；在Model_obj131的生成时附加的属性条件等。在此，所谓附加信息例如是看上去在实物体7上产生了龟裂的虚拟目标、看上去在实物体7上产生了孔的虚拟目标等的计算效果用的内容。

此外，作为属性条件是在实物体的属性中附加性地追加的新的属性，例如在实物体7是透光性的平面玻璃的情况下，是可以在表示该实物体7的Model_obj131上附加作为镜子的属性，附加作为透镜的属性的信息。

相互作用计算部16在具有和上述的相互作用计算部13一样的功能的同时，根据表示实物体7的Model_obj131的生成时或者和Model_other132的相互作用的计算结果，读出存储在实物体附加信息存储部15上的实物体附加信息，执行附加了在该实物体附加信息的处理。

以下，参照图15～图18说明在本实施方式的立体影像显示装置100中的显示形态。

图15、16表示在垂直设立的立体影像显示部5，和在与该立体影像显示部5的显示面平行的附近位置上垂直设立的、光透过性的平面形状的实物体7之间显示球形的虚拟目标V1的状态。在此，设实物体7是光透过性的玻璃板和丙烯板等的实际物体。而且，在图中用波浪线表示的线段T表示球形的虚拟目标V1的运动轨迹。

在该构成的情况下，实物体位置姿态信息存储部11上，例如在从立体影像显示部5的显示面离开10cn的位置上，将指示和该显示面平行地设定实物体7的信息作为实物体位置姿态信息存储。此外，在实物体属性信息存储部12中，将实物体7的属性，即丙烯板和玻璃板的材质、强度、厚度、折射率等作为实物体属性信息存储。

相互作用计算部16根据实物体位置姿态信息以及实物体属性信息，在生成表示实物体7的Model_obj131的同时，生成表示虚拟目标V1的Model_other132，计算两物理量模型间的相互作用。

在图15的构成的情况下，作为相互作用时的判定基准，可以列举实物体和虚拟目标V1冲撞的情况等。在这种情况下，相互作用计算部16作为Model_obj131、Model_other132的相互作用的结果，能够得到在实物体7上球形的虚拟目标V1弹回这一计算结果。进而，相互作用计算部16根据两物理计算模型间的相互作用的计算结果、存储在实物体附加信息存储部15上的实物体附加信息，进行计算以便以撞击位置为基准显示重叠显示在实物体7上的虚拟目标V3。

要素图像生成部14在将在相互作用计算部16中的计算结果反映在Model_obj131以及/或者Model_other132上后用透视图生成多视点图像，排列替换这些多视点图像生成要素图像阵列。而后，通过将生成的要素图像阵列显示在立体影像显示部5的显示空间内，在显示虚拟目标V1的同时，将实物体7的撞击位置作为基准显示虚拟目标V3。

在图15中，显示在实物体7上看上去产生龟裂的虚拟目标V3的例子。在此，虚拟目标V3通过用上述程序生成·显示，以实物体7和虚拟目标V1的撞击位置为基准，立体显示在该实物体7上。

此外，在图16中，和上述的图15一样，以虚拟目标V1和实物体7的撞击位置为基准，表示将看上去产生了孔的附加影像作为虚拟目标V3重叠显示在实物体7上的例子。而且，在图16的例子的情况下，也可以进行从作为虚拟目标V3显示的孔中飞出虚拟目标V1的球那样的显示。

这样，伴随实物体7和虚拟目标V的虚拟的相互作用，通过在实物体7自身上重叠显示附加的立体影像(虚拟目标)，能够实现立体影像和实物体的自然融合的同时，还能够提高立体影像的临场感、存在感。

图17是表示立体影像显示装置101的立体影像的另一显示形态的图。在该显示形态中，构成为在水平设置(平放)的立体影像显示部5上垂直设立由光透过性的板形组成的实物体7。在此，设实物体7是光透过性的玻璃板和丙烯板等。而且，与实物体7有关的实物体位置姿态信息以及实物体属性信息分别存储在实物体位置姿态信息存储部11以及实物体属性信息存储部12中，作为实物体附加信息，设将指示镜子(全反射)的属性的附加条件预先存储在实物体附加信息存储部15中。

在图17的构成的情况下，相互作用计算部16在表示实物体7的Model_obj131的生成时，从实物体附加信息存储部15中读出指示镜子(全反射)的特性的附加条件，通过附加在Model_obj131上，可以如镜子那样处理表示Model_obj131的实物体。即，在Model_obj131和Model_other132的相互作用的计算时，根据附加了附加条件的Model_obj131进行处理。

因此，如图17所示，当作为Model_other132表示的虚拟目标V模拟性地显示光线的情况下，在该光线和实物体7碰撞时，通过相互作用计算部16的相互作用的计算结果，将实物体7作为镜子处理。其结果，将虚拟目标V显示成以实物体7和虚拟目标V的碰撞位置为基准，用该实物体7反射。

此外图18和图17的例子一样，是在水平设置(平放)的立体影像显示部5上表示由玻璃板和丙烯板等的光透过性的圆板形组成的实物体7垂直设立的构成的图。在此，设表示实物体7的Model_obj131通过相互作用计算部16进行附加透镜(凸透镜)的属性的附加条件的附加。

在这种情况下，如图18所示，在作为Model_other132表示的虚拟目标V模拟显示的光线、实物体7的碰撞时，通过相互作用计算部16的相互作用的计算结果，将实物体7作为透镜处理。因此，将虚拟目标V显示成以实物体7和虚拟目标V的碰撞位置为基准，用该实物体7折射(聚光)。

这样，通过同时欣赏所显示的立体影像、光透过性的实物体7，观察者能够欣赏用镜子反射光线、用透镜聚光这一虚拟的表现。如果要实际欣赏光线的轨迹，则需要在空间上冒出烟雾进行散乱。此外，在要学习反射和由透镜进行聚光时，光学元件自身价格高，必须谨慎进行容易破坏、避开污染这一处理。在本实施例的构成中，因为在丙烯板等的实物体7上虚拟发现与光学元件相当的性能，所以适合在面向孩子学习光线的轨迹的教材等的用途中使用。

如上所述，如果采用本实施方式，则通过在表示实物体7的Model_obj131的生成时附加新的属性，能够虚拟地扩展实物体7原本具有的属性，在实现立体影像和实物体的自然融合的同时，进一步提高互动性。

[第3种实施方式]

以下，说明第3种实施方式的立体影像显示装置。而且，和上述第1种实施方式相同的构成要素附加相同的符号并省略其说明。

图19是表示本实施方式的相互作用计算部17的构成的方框图。如图19所示，相互作用计算部17通过处理器1根据立体影像显示程序控制各部，具备遮光部影像非显示部171。而且，有关其他的功能部和在第1种实施方式或者第2种实施方式中说明的构成一样。

在此，遮光部影像非显示部171根据在实物体位置姿态信息存储部11中作为实物体位置姿态信息存储的实物体7的位置、姿态和在实物体属性信息存储部12中作为实物体属性信息存储的实物体7的形状，计算实物体7遮挡由立体影像显示部5照射的光线的区域的遮光区域。

具体地说，遮光部影像非显示区域171从表示实物体7的Model_obj131中生成CG模型，通过计算来再现从立体影像显示部5照射的光线照射在该CG模型上的状态，来计算实物体7遮挡用立体影像显示部5照射的光线的CG模型的区域。

此外，遮光部影像非显示部171生成在要素图像生成部14中的各视点图像制成之前除去的与计算出的遮光区域相应的CG模型的部分的Model_obj131，计算该Model_obj131、Model_other132的相互作用。

如上所述，如果采用本实施方式，因为可以防止在实物体7的遮光部位上显示立体影像，所以可以抑制该遮光部位和立体影像的位置偏移时的重影等的不协调感，能够实现从观察者看不协调感少的显示。

而且，在本实施方式中，虽然通过计算再现将从立体影像显示部5照射的光线照射在该CG模型上的状态从而计算遮光区域的形态，但并不限于此，例如作为实物体位置姿态信息和实物体属性信息，当预先存储了相当于遮光区域的信息的情况下，也可以使用该信息控制立体影像的显示的状态。此外，当具备了可以检测以后说明的实物体7的位置以及姿态的功能部(实物体位置姿态检测部19)的情况下，可以根据用该功能部实时取得的实物体7的位置以及姿态，计算遮光区域的形态。

[第4种实施方式]

以下，说明第4种实施方式的立体影像显示装置。而且，对于和上述的第1种实施方式一样的构成要素，附加相同的符号并省略其说明。

图20是表示本实施方式的相互作用计算部18的构成的方框图。如图20所示，相互作用计算部18通过处理器1根据立体影像显示程序控制各部，具备光学影响补正部181。而且，对于其他的功能部，和在第1种实施方式或者第2种实施方式中说明的构成相同。

在此，光学影响补正部181在实物体7上重叠显示虚拟目标时，补正Model_obj131以使对该虚拟目标的看法成为规定的状态。

例如，当实物体7的光透过性部分的折射率比空气高，并且形状具有曲面的情况下，该光透过性部分发挥透镜的效果。在这种情况下，为了控制成看上去不发生该透镜效果，所以光学影响补正部181通过补正给予包含在Model_obj131中的实物体7的折射率等的项目，生成抵消透镜效果的Model_obj131。

此外，例如，当实物体7以白色光为基础，看上去带有兰色的光学特性(吸收黄色的波长)的情况下，从立体影像显示部5照射的白色光因实物体7的吸光效果观看到带兰光。在这种情况下，因为控制成看上去实物体7的吸光效果不发生，所以光学影响补正部181通过补正包含在Model_obj131中的对显示颜色有贡献项目，补正在重叠显示虚拟目标时观察的颜色。例如，因为使从立体影像显示部5的出瞳照射的光经由实物体7的光透过性部分最终被看成红色，所以用橙色生成与该光学透过性部分相应的虚拟目标的颜色。

要素图像生成部14在反映了用光学影响步骤部181补正的Model_obj131中的计算结果后，用透视图生成多视点图像，排列替换这些多视点图像生成要素图像阵列。而后，通过将生成的要素图像阵列显示在立体影像显示部5的显示空间内，进行虚拟目标的立体显示。

而且，当靠立体影像显示部5的光让实物体7的光透过部显色的情况下，如覆盖实物体7的光透过性部那样，可以通过重叠显示附带颜色的虚拟目标实现，但当实物体7具有规定的散射特性的情况下，根据该特性照射光，可以更高效率地显色。

在此，所谓实物体7的散射特性表示入射到实物体7的光散射的程度。例如，在实物体7由包含微细气泡的材料构成那样的情况下，并且当该实物体7的折射率比1高的情况下，因为靠微细的气泡的作用光散射，所以与由均匀的光透过性的材料构成的实物体相比散射的程度增高。

当实物体7的折射率比1高，并且散射的程度大于等于规定值的情况下，光学影响补正部181如图21所示，通过控制成在实物体7内的任意的位置上将虚拟目标V作为亮点显示，能够让实物体7全体以规定的颜色和亮度显色。而且，在图中L表示从立体影像显示部5的出瞳照射的光。由此，和在实物体7的光透过性部上重叠显示虚拟目标的情况相比，可以用规定的颜色和亮度在更可靠的控制下高效率地让实物体7全体显色。

此外，如图22-1所示那样，能够使用在折射率比1高，并且光散射的程度大于等于规定值那样的实物体7内设置多个遮光性的壁W，能够用该壁W将实物体7分割成多个区域的物体。在这种情况下，光学影响补正部181如图22-2所示，通过在其中之一的区域内控制成将虚拟目标V作为亮点显示，能够以区域单位进行显色。

而且，当使用图22-1所示的实物体7那样的情况下，设将内置于该实物体7中的壁W的位置等用于特定各区域的信息作为实物体属性信息存储在实物体属性信息存储部12中。此外，在图22-2中，虽然表示在一个区域上显示亮点的形态，但并不限于此，例如可以设置成在许多区域的各自上显示亮点的形态，也可以显示在每个区域上不同颜色的亮点的形态。

如上所述，如果采用本实施方式，因为补正Model_obj131以使显示在实物体7的光透过性部分上的立体影像成为规定的显示状态，所以不依赖实物体7的属性，就能够以希望的看法向观察者提示立体图像。

[第5种实施方式]

以下说明第5种实施方式的立体影像显示装置。而且，对于和上述第1种实施方式一样的构成要素，附加同一符号并省略其说明。

图23是表示本实施方式的立体影像显示装置102的构成的方框图。如图23所示，立体影像显示装置102由于处理器1按照立体影像显示程序控制各部，因而除了在第1种实施方式中说明的各功能部外，具备实物体位置姿态检测部19。

在此，实物体位置姿态检测部19检测立体影像显示部5的显示面或者配置在该显示面的附近的实物体7的位置和姿态，作为实物体位置姿态信息存储在实物体位置姿态信息存储部11中。而且，在此所谓实物体7的位置表示和立体影像显示部5的相对位置，此外所谓实物体7的姿态表示相对立体影像显示部5的显示面的实物体7的朝向和角度。

具体地说，实物体位置姿态检测部19根据安装在实物体7上的位置以及姿态检测用的陀螺传感器用有线或者无线通信发送的信号，检测实物体7的现在位置以及姿态，作为实物体位置姿态信息存储在实物体位置姿态信息存储部11中，由此实时捕捉实物体7的位置以及姿态。而且，与用实物体位置姿态检测部19检测位置以及姿态的实物体7有关的实物体属性信息预先存储在实物体属性信息存储部12中。

图24是用于说明本实施方式的立体影像显示装置102的动作的图。在同一图中，正方体形的虚拟目标V在相互作用计算部13的控制下，是显示在水平设置(平放)的立体影像显示部5的显示空间内的立体影像。

实物体7含有遮光性的遮光部71、光透过性的光透过部72，本装置的观察者可以手握实物体7的遮光部71，在立体影像显示部5的显示空间内自如移动。

在图24的构成中，实物体位置姿态检测部19实时捕捉实物体7的位置以及姿态，作为实物体位置姿态信息的一要素顺序存储在实物体位置姿态信息存储部11中。相互作用计算部13与实物体位置姿态信息的更新一并根据该实物体位置姿态信息和实物体属性信息，生成表示现在的实物体7的Model_obj131，计算和表示另外生成的虚拟目标V的Model_other132的相互作用。

在此，通过观察者的操作，当实物体7移动到和虚拟目标V重叠的位置的情况下，相互作用计算部13计算Model_obj131和Model_other132的相互作用，将基于该计算结果的虚拟目标V经由要素图像生成部14显示。而且，在图24中，表示以实物体7和虚拟目标V的接触位置为基准，显示表示凹下那样的表现的虚拟目标V的例子。通过这样进行显示控制，观察者能够经由实物体7的光透过部72欣赏实物体进入虚拟目标V的样子。

此外，图25是表示其他的显示形态的图，表示将立体影像显示部5水平设置的构成。在此，实物体7a是含有遮光性的遮光部71a、光透过性的光透过部72a的实际物质，在遮光部71a等上具备位置以及姿态检测用的陀螺传感器。观察者(操作者)通过手握实物体7a，可以让实物体7a在立体影像显示部5上自如移动。

实物体7b是具有光透过性的平面形的实际物质，在立体影像显示部5的显示面上垂直设立。在此，在实物体7b上通过采用相互作用计算部13的显示控制，将具有和镜子的属性的实物体7b同样形状的虚拟目标V经由要素图像生成部14重叠显示。

在图25的构成中，用实物体位置姿态检测部19检测实物体7a的位置以及姿态，作为实物体位置姿态信息的一要素如果存储在实物体位置姿态信息存储部11中，则相互作用计算部13生成与实物体7a对应的Model_obj131，计算和表示重叠显示在实物体7b上的虚拟目标V的Model_other132的相互作用。即，作为表示实物体7a的Model_obj131，生成和实物体7a同样形状(同属性)的CG模型，计算该CG模型和附加了镜子的属性的实物体7b的CG模型的相互作用。

例如，如图25所示，通过操作者的操作当实物体7a移动到该实物体7a的一部分或者全部映入实物体7b的面(镜面)的位置的情况下，在由相互作用计算部13进行的相互作用的计算处理中，计算实物体7a的映入部分，将相当于实物体7a的映入部分的CG模型的二维图像控制成作为虚拟目标V重叠在实物体7b上。

如上所述，如果采用本实施方式，因为能够实时捕捉实物体7的位置以及姿态，所以在能够实时实现立体影像和实物体的自然融合的同时，能够提高立体影像的临场感、存在感，能够进一步提高互动性。

而且，在本实施方式中，是设置成用内置于实物体7的陀螺传感器检测该实物体7的位置的状态，但并不限于此也可以使用其他的检测机构。

例如，也可以使用从立体影像显示部5的周围向实物体7照射红外光，根据其反射的程度检测实物体7的位置的红外线图像传感器方式。在这种情况下，作为检测实物体7的位置的机构，能够含有发出红外线的红外发光部、检测该红外光的红外检测器、反射红外光的再现性反射板等(都未图示)。在此，红外发光部以及红外检测器通过在构成立体影像显示部5的显示面的4边中的某1边的两端部上分别设置，在剩下的3条边上设置反射红外线光的再现性反射板，可以检测在实物体7的显示面上的位置。

图26是表示将光透过性的半球形的实物体7放置在立体影像显示部5的显示面上的状态的模式图。当显示面上的实物体7存在的情况下，从设置在该显示面的一边(例如，图中左边)的两端部上的未图示的红外发光部分别射出的红外光被实物体7遮挡。实物体位置姿态检测部19根据用红外检测器检测的由再现性反射板产生的反射光(红外光)，以三角测量方式特定未检测出红外光的位置，即实物体7的存在位置。

用实物体位置姿态检测部19特定的实物体7的位置作为实物体位置姿态信息的一个要素存储在实物体位置姿态信息存储部11中，通过和上述一样用相互作用计算部13计算和虚拟目标V的相互作用，将反映了该计算结果的虚拟目标V经由要素图像生成部14显示在立体影像显示部5的显示空间上。而且，图中用波浪线表示的线段T表示球形的虚拟目标V的运动轨迹。

当使用上述的红外线图像传感器的情况下，如图26所示，通过将实物体7设置成半球形这一没有异向性的形状，能够将实物体7作为点处理，能够根据1点的检测位置决定占有立体影像显示部5的显示空间的实物体7的区域。此外，在照射实物体7的红外光的区域上通过实施毛玻璃形的不透明加工和粘贴半透明的板等的处理，能够一边充分发挥实物体7自身的光透光性一边提高红外检测器的检测精度。

图27-1～图27-3是用于说明采用其他的方法的实物体7的位置以及姿态的检测方法的图。以下，参照图27-1～图27-3说明使用了数字照相机等的拍摄装置的实物体7的位置以及姿态的检测方法。

在图27-1中，实物体7含有遮光性的遮光部71和光透过性的光透过部72。在此，在遮光部71上设置照射红外光等的二个发光部81、82。实物体位置姿态检测部19通过解析用拍摄装置9拍摄该二个发光点得到的摄影图像，特定在立体影像显示部5的显示面上的实物体7的位置以及方向。

具体地说，实物体位置姿态检测部19根据包含在摄影图像中的二个光点图像的2点间的距离和拍摄装置9的位置关系，用三角测量方式特定实物体7的位置。而且，实物体位置姿态检测部19预先掌握发光部81、82之间的距离。此外，实物体位置姿态检测部19根据包含在拍摄图像中的二个光点图像的大小、连结二个光点间的向量，能够特定实物体7的姿态。

图27-2是使用了二个拍摄装置91、92时的模式图。实物体位置姿态检测部19和图27-1的构成一样，通过以包含在拍摄图像中的二个光点图像为基础使用三角测量方式来特定位置以及姿态，而通过根据拍摄装置91、92间的距离特定各光点的位置，和图27-1的构成相比，能够更高精度地特定实物体7的位置。而且，设实物体位置姿态检测部19预先把握拍摄装置91、92之间的距离。

可是，实际情况是在图27-1、图27-2中说明的发光部81、82之间的距离越大，三角测量时的精度越高。因而，在图27-3中，表示将实物体7的两端部作为发光部81、82的构成。

在图27-3中，实物体7含有遮光性的遮光部71、设置在该遮光部71的两侧上的光透过性的光透过部72、73。在此，在遮光部71上内置在光透过部72、73的各自的方向上发光的光源(未图示)，在光透过部72、73的前端部分上形成光散射的散射部。即，通过将光透过部72、73作为导光路利用，让经由该导光路的光在光透过部72、73的散射部上发光，实现将光透过部72、73的前端部分设置为发光部81、82。通过分别用拍摄装置91、92拍摄该发光部81、82的光，作为拍摄信息输出到实物体位置姿态检测部19，能够更高精度地特定实物体7的位置。而且，设置在光透过部72、73的前端部分上的散射部例如能够利用丙烯树脂的剖面。

[第5种实施方式]

以下，参照图28、图29-1以及图29-2说明本实施方式的立体影像显示装置102的变形例子。

图28是表示在第5种实施方式的变形例子中的立体影像显示装置103的构成的方框图。如图28所示，立体影像显示装置103除了在第1种实施方式中说明过的各功能部外，具备实物体变位机构部191。

在此，实物体变位机构部191具备用于让实物体7改变规定的位置以及姿态的电机等的驱动机构，根据从未图示的外部装置输入的指示信号让实物体7改变到规定的位置以及姿态。此外，实物体变位机构191在实物体7的变位动作时，根据驱动机构的驱动量等检测实物体7相对立体影像显示部5的显示面的位置以及姿态，作为实物体位置姿态信息存储在实物体位置姿态信息存储部11中。

而且，在实物体位置姿态信息存储部11中存储实物体位置姿态信息后的动作因为和上述的相互作用计算部13、要素图像生成部14一样，故省略其说明。

图29-1、图29-2是表示在本变形例子中的立体影像显示装置103中的具体的构成例子的图，表示在相对水平面倾斜45度设置的立体影像显示部5的下端部附近上，垂直配置由光透光性的板形组成的实物体7的构成。

图29-1以及图29-2的左图是从正面方向(Z轴方向)观看实物体7的面的正面图。此外，图29-1以及图29-2的右图是图29-1以及图29-2的图的右侧面图。在此，在实物体7的上前端部上，以该上前端部为支点，设置向实物体7的正面方向转动的实物体变位机构部191，根据从外部装置输入的指示信号改变实物体7的位置以及姿态。

另外，如图29-1所示，在表示实物体7的Model_obj131和表示与多个球对应的虚拟目标V的Model_other132的相互作用的计算结果下，显示在实物体7和立体影像显示部5之间的谷部上积存了许多球形的虚拟目标V1的状态。

在该状态下，如果用从外部装置输入的指示信号驱动实物体变位机构部191，则实物体变位机构191根据驱动机构的驱动量检测相对实物体7的立体影像显示部5的显示面的位置以及姿态。在本构成的情况下，因为实物体7的驱动量(变位量)依赖于转动角度，所以，例如实物体变位机构部191根据处于静止状态的实物体7的位置以及姿态计算与转动角度相应的值，作为实物体位置姿态信息存储在实物体位置姿态信息存储部11中。

相互作用计算部13使用由实物体变位机构部191更新的实物体变位姿态信息和实物体属性信息，生成表示实物体7的Model_obj131，计算和表示由多个球组成的虚拟目标V的Model_other132的相互作用。在这种情况下，如图29-2所示，相互作用计算部13得到蓄积在实物体7和立体影像显示部5之间的谷部上的虚拟目标V穿过在实物体7和立体影像显示部5之间产生的间隙滚落到下方的计算结果。

要素图像生成部14在将相互作用计算部13的计算结果反映到Model_obj131以及/或者Model_other132上后用透视图生成多视点图像，排列替换这些多视点图像生成要素图像阵列。而后，通过将生成的要素图像阵列显示在立体影像显示部5的显示空间内，进行虚拟目标V1的立体显示。

通过和光透过性的实物体7同时欣赏在这种工序中生成·显示的立体影像，观察者利用光透过性的实物体7，能够欣赏从作为虚拟目标V的球积累的状态开始，从通过实物体7的移动产生的间隙洒落的样子。

这样，如果采用本实施例，则和第5种实施方式的立体影像显示装置一样，因为能够实时捕捉实物体7的位置以及姿态，所以在能够实现立体影像和实物体的自然的融合的同时，能够提高立体影像的临场感、存在感，能够进一步提高互动性。

[第6种实施方式]

以下，说明第6种实施方式的立体影像显示装置。而且，对于和上述第1、第5种实施方式一样的构成要素，附加相同的符号并省略其说明。

图30是表示本实施方式的立体影像显示装置104的构成的方框图。如图30所示，立体影像显示装置104由于处理器1根据立体影像显示程序控制各部，因而除了在第5种实施方式中说明的各功能部外，具备RFID识别部20。

而且，在本实施方式中使用的实物体7上设置RFID(RadioFrequency IDentification)标签83，并在该RFID标签83的每个上存储固有的实物体属性信息。

RFID识别部20如包含立体影像显示部5的显示空间那样具有控制电波的发射方向的天线，读出存储在实物体7的RFID标签83上的实物体属性信息，存储在实物体属性信息存储部12中。在此，在存储RFID标签83的实物体属性信息中例如包含指示勺子形状和小刀形状、叉子形状的形状信息以及光学特性等的物理的特性信息。

相互作用计算部13在从实物体位置姿态信息存储部11中读出用实物体位置姿态检测部18存储的实物体位置姿态信息的同时，从实物体属性信息存储部12中读出用RFID识别部20存储的实物体属性信息，根据实物体位置姿态信息和实物体属性信息，生成表示实物体7的Model_obj131。这样生成的Model_obj131经由要素图像生成部14作为虚拟目标RV重叠在实物体7上。

图31-1是表示在FRID标签83中包含指示勺子形状的形状信息的情况下的虚拟目标RV的显示例子的图。在此，设实物体7含有遮光性的遮光部71和光透过性的光透过部72，在遮光部71等上设置RFID标签83。在这种情况下，通过用RFID识别部20读出实物体7的RFID标签83，如同一图所示，勺子形状的虚拟目标RV如包含实物体7的光透过部72那样显示在立体影像显示部5的显示空间上。

此外，在本实施方式中，也是通过用相互作用计算部13计算虚拟目标RV和其他的虚拟目标V的相互作用，能够表现图31-1的虚拟目标RV(勺子)如图31-2所示那样，进入到圆柱形的虚拟目标V(例如，糕点)的样子。

图32-1是表示在RFID标签83中包含指示小刀形状的形状信息时的虚拟目标RV的显示例子的图。在此，实物体7和图31-1一样，含有遮光性的遮光部71、光透过性的光透过部72，设在遮光部71等上设置RFID标签83。这种情况下，通过用RFID识别符20读出实物体7的RFID标签83，如图一图所示，将小刀形状的虚拟目标RV如包含实物体7的光透过部72那样显示在立体影像显示部5的显示空间上。

此外，即使在图32-1中，也通过用相互作用计算部13计算虚拟目标RV和其他的虚拟目标V的相互作用，能够表现如图32-2所示那样，图32-1的虚拟目标RV(小刀)切圆柱形的虚拟目标V(例如，糕点等)。这样，当作为虚拟目标RV显示小刀的形状的情况下，理想的是显示为小刀形状的刀锋部分与实物体7的光透过部72对应。由此，观察者因为能够一边得到该光透过部72与立体影像显示部5的显示面接触的触感一边进行切糕点的动作，所以在提高操作性的同时，能够提高虚拟目标RV的临场感、存在感。

图33是表示本实施方式的其他的形态的图，是表示在RFID标签83中包含有指示笔尖形状的形状信息时的虚拟目标RV的显示例子的图。在此，实物体7和图13-1一样含有遮光性的遮光部71和光透过性的光透过部72，在遮光部71等上设置RFID标签83。这种情况也一样，通过用RFID识别部20读出实物体7的RFID标签83，如同一图所示，笔尖形状的虚拟目标RV如包含实物体7的光透过部72那样显示在立体影像显示部5的显示空间上。

而且，在图33的形态中，随着通过观察者的操作的实物体7的移动，在使笔尖形状的虚拟目标RV联动地重叠显示在光透过部72上的同时，通过让该移动的轨迹T显示在立体影像显示部5的显示面上，能够表现通过用虚拟目标RV表示的笔尖描画线的样子。这样在作为虚拟目标RV显示笔尖形状的情况下，理想的是将笔尖形状的前端部分显示成与实物体7的光透过部72对应。由此，因为观察者能够进行一边得到该光透过部72触及立体影像显示部5的显示面的触感一边划线这样的动作，所以在提高操作性的同时能够提高虚拟目标RV的临场感、存在感。

如上所述，如果采用本实施方式，则在表示实物体7的Model_obj131的生成时，通过附加新的属性，能够虚拟地扩展实物体7原本具有的属性，能够进一步提高互动性。

而且，也可以在本实施方式的构成中加上以后说明的强制反馈部(参照图34、35)。在该构成的情况下，例如，通过使用配备在立体影像显示部5上的强制反馈部84，能够体感用虚拟目标RV表示的笔尖等描画立体影像显示部5的显示面时的手感(例如，不光滑的纸质等)，能够进一步提高虚拟目标RV的临场感、存在感。

[第7种实施方式]

以下，说明第7种实施方式的立体影像显示装置。而且，对于和上述的第1、第5种实施方式一样的构成要素付与同一符号并省略其说明。

图34是表示本实施方式的立体影像显示装置105的构成的方框图。如图34所示，立体影像显示装置105除了在第5种实施方式中说明的各功能部外，在实物体7内具备强制反馈部84。

在此，强制反馈部84依照来自相互作用计算部13的指示信号发生撞击和振动，在手握实物体7的操作者的手上加上振动和力。具体地说，相互作用计算部13例如在表示在图24中表示的实物体7(光透过部72)的Model_obj131和表示虚拟目标V的Model_other132的相互作用的计算结果表示撞击那样的情况下，通过向强制反馈部84发送指示信号，驱动强制反馈部84，让实物体7的操作者体感撞击时的冲击。而且，相互作用计算部13和强制反馈部84间的通信用有线、无线都没有问题。

在图34的例子中，说明了在实物体7上设置了强制反馈部84的构成，但并不限于此，如果是观察者可以体感的位置则不管设置的位置如何。图35是表示本实施方式的另一构成例子的图。在此，立体影像显示装置106除了在第5种实施方式中说明的各功能部外，在立体影像显示部5内具备强制反馈部21。

在此，强制反馈部21和强制反馈部84一样，依照来自相互作用计算部13的指示信号发生冲击和振动，在立体影像显示部5自身上加上振动和力。具体地说，相互作用计算部13例如当表示在图8中表示的实物体7的Model_obj131和表示球形的虚拟目标V1的Model_other132的相互作用的算结果表示撞击那样的情况下，通过向强制反馈部21发送指示信号，驱动强制反馈部21，让观察者体感撞击时的冲击。在这种情况下，虽然观察者未手握实物体7自身，但在球形的虚拟目标V1撞击实物体7时通过给予撞击，能够提高虚拟目标V1的临场感、存在感。

此外，虽然未图示，但在实物体7以及/或者立体影像显示部上具备扬声器等的声音发生装置，依照来自相互作用计算部13的指示信号，通过输出如撞击时的效果音和打碎玻璃那样的效果音，能够进一步提高临场感。

如上所述，如果采用本实施方式，依照实物体7和虚拟目标的虚拟的相互作用的计算效果，通过驱动强制反馈装置或者音响发生装置，能够进一步提高立体影像的临场感、存在感。

以上，说明了发明的实施方式，但本发明并不限于此，可以在不脱离本发明的主旨的范围中进行各种变更、置换、追加等。

而且，在上述的第1～第7种实施方式的立体影像显示装置中执行的程序通过预先组装在ROM2或者HDD4中提供，但并不限于此，其构成也可以以可以安装的形式或者可以执行的形式的文件，用记录在CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk)等的计算机可以读取的记录媒体上提供。此外，其构成也可以是把该程序存储在与因特网等的网络连接的计算机上，经由网络下载提供，其构成也可以是经由因特网等的网络提供或者分配。

Claims (14)

1.一种立体影像显示系统，包含：用空间像方式在显示空间内显示立体影像的立体影像显示装置；配置在该显示空间内的至少一部分是光透过性部分的实物体，所述立体影像显示系统的特征在于：

上述立体影像显示装置包括：

位置姿态信息存储部件，存储表示上述实物体的位置以及姿态的位置姿态信息；

属性信息存储部件，存储表示上述实物体属性的属性信息；

第1物理计算模型生成部件，基于上述位置姿态信息以及属性信息，生成表示上述实物体的第1物理计算模型；

第2物理计算模型生成部件，生成表示在上述显示空间内的上述实物体的虚拟外部环境的第2物理计算模型；

计算部件，计算上述第1物理计算模型和第2物理计算模型的相互作用；和

显示控制部件，基于上述相互作用计算部件的计算结果，在上述显示空间内显示立体影像。

2.根据权利要求1所述的立体影像显示系统，其特征在于：

上述显示控制部件将上述计算部件的计算结果反映到根据上述第1物理计算模型表示的立体影像以及/或者根据第2物理计算模型表示的立体影像上。

3.根据权利要求1所述的立体影像显示系统，其特征在于还包括：

附加信息存储部件，将和上述实物体的属性不同的其它属性作为附加信息进行存储，

上述第1物理计算模型生成部件基于上述位置姿态信息以及属性信息以及上述附加信息，生成上述第1物理计算模型。

4.根据权利要求2所述的立体影像显示系统，其特征在于：

上述显示控制部件还具备：

影像非显示部件，在根据上述第1物理计算模型表示的立体影像中，将相当于上述实物体的至少一部分的区域设置成非显示。

5.根据权利要求1所述的立体影像显示系统，其特征在于还包括：

光学影响补正部件，基于上述实物体的光透过性部分的属性信息，补正上述第1物理计算模型以使显示在该光透过性部分上的立体影像成为规定的显示状态。

6.根据权利要求1所述的立体影像显示系统，其特征在于：

上述实物体具有：

在该实物体的光透过性部内散射光的散射部位，

上述显示控制部件在上述实物体的散射部位上将上述立体影像作为亮点显示。

7.根据权利要求1所述的立体影像显示系统，其特征在于还包括：

位置姿态检测部件，检测上述实物体的位置以及姿态，

上述位置姿态检测部件将上述检测到的实物体的位置以及姿态作为实物体位置姿态信息存储在上述位置姿态信息存储部件中。

8.根据权利要求7所述的立体影像显示系统，其特征在于：

上述实物体还具备：

可以检测位置以及姿态的传感器部件，

上述位置姿态检测部件将用上述传感器部件检测到的上述实物体的位置以及姿态作为实物体位置姿态信息存储在上述位置姿态信息存储部件中。

9.根据权利要求7所述的立体影像显示系统，其特征在于：

上述位置姿态检测部件用红外线图像传感器方式检测在上述立体影像的显示面上的上述实物体的位置。

10.根据权利要求7所述的立体影像显示系统，其特征在于：

上述实物体具有：

照射光的发光体，

上述立体影像显示装置还具备：

拍摄部件，拍摄从上述发光体照射的至少二个光点，

上述位置检测部件基于包含在用上述拍摄部件拍摄的摄影图像中的上述光点的位置关系，检测上述实物体的位置以及姿态。

11.根据权利要求9所述的立体影像显示系统，其特征在于：

上述实物体在折射率大于1的上述光透过性部分的相互不同的二个位置上具有散射光的散射部，

上述发光体通过上述光透过性部分使上述散射部位发光。

12.根据权利要求1所述的立体影像显示系统，其特征在于还包括：

位置改变部件，使上述实物体的位置以及姿态变位，

上述位置改变部件将改变了上述实物体的位置后的位置以及姿态作为实物体位置姿态信息存储在上述位置姿态信息存储部件中。

13.根据权利要求1所述的立体影像显示系统，其特征在于：

上述实物体还具备：

信息存储部件，在上述实物体上存储固有的属性，

上述立体影像显示装置具备：

信息读出部件，从上述信息存储部件中读出上述固有的属性，将该固有的属性作为上述属性信息存储在属性信息存储部件中。

14.根据权利要求1所述的立体影像显示系统，其特征在于：

上述实物体或者上述立体影像显示装置还具备：

发生冲击和振动的强制反馈部件，

上述立体影像显示装置还具备：

驱动控制部件，基于上述计算部件的计算结果，驱动上述强制反馈部件。

Images