CN100480966C - 呈现从虚拟对象接收的触觉的信息处理方法和设备 - Google Patents

Abstract

在使用触觉设备向用户呈现由叠加在触觉设备上的第一虚拟对象从叠加在真实对象上的第二虚拟对象接收的触觉时，使得用户能够在第二虚拟对象内接触，而与真实对象无关。为此，使用第一虚拟对象的第一触觉事件模型和第二虚拟对象的第二触觉事件模型获得从第二虚拟对象接收的触觉，第一触觉事件模型对应于第一虚拟对象的计算机图形信息，第一虚拟对象的形状与触觉设备的形状不同，由此使用第一虚拟对象能够针对真实对象的内部作出指令。

Description

呈现从虚拟对象接收的触觉的信息处理方法和设备

技术领域

本发明涉及一种用于呈现(present)从虚拟对象接收的触觉的信息处理方法和设备，尤其涉及使用触觉设备向用户呈现由叠加在触觉设备上的第一虚拟对象从叠加在现实对象上的第二虚拟对象接收的触觉。

背景技术

使用HMD(头戴式显示器)的VR(虚拟现实)系统是众所周知的。这些系统通过向用户呈现由计算机产生的三维计算机图形给佩戴HMD的用户虚拟空间真实存在的印象。使用HMD的VR系统根据用户头部的运动改变呈现给用户的三维计算机图形，以使用户得到该三维计算机图形真实地在自己周围的印象。

使用这种VR系统，可以使用被称为触觉设备的设备向用户提供虚拟感觉。以虚拟的方式，使用触觉设备使用户感觉好像他/她接触到实际上不存在的对象。各种触觉设备，例如使用机械装置、张力弦(stringtension)等的触觉设备已经公开在例如1998年5月30日由Ohmsha出版、Hiroshi Tamura编辑的“人机接口”(Human Interface)第238-241页中。

另外，近几年被称为MR(混合现实)的技术也已经被研发，其提供能够将三维计算机图形叠加到真实空间图片上、并且给用户呈现该叠加的三维计算机图形的系统，由此给用户提供使用VR不能看到的真实世界。MR的一个实例公开在日本待审专利公开No.2001-195601中。

MR系统通常使用HMD。使用MR系统，将真实空间的图像和虚拟空间的图像合成在一起并使用HMD显示，从而实现了混合现实的感觉。当前有两种与MR系统一起使用的HMD技术，一种是例如将三维计算机图形的图像叠加在半透明型的HMD上的光学透视技术，另一种是将三维计算机图形与固定在HMD上的一个或两个视频摄像机所采集的图像合成在一起并显示在HMD上的视频透视技术。

构想中的MR系统的应用包括向医生提供病人身体的透视的医疗辅助用途、在产品的组装流程通过真实对象上的计算机图形来显示的工厂中的组装用途，等等。

一种MR系统是从三维CAD数据以简化的方式创建实体模型，然后显示从相同数据创建的三维计算机图形，如同日本待审专利No.2005-107970所公开的。使用这种系统，用户可以使用自己的手移动三维计算机图形。在Diego C.Ruspini et al.The Haptic Display of ComplexGraphical Enviroments，SIGGRAPH 97 Proceedings，August1997，pp.345-352中描述了触觉系统。

日本待审专利No.2005-107970公开的方法使用户在用手抓住相同形状的实体模型时，能够看到实际不存在的虚拟对象。也就是说，可以以视觉和触觉方式体验虚拟对象。然而，这种方法不允许用户体验到接触虚拟对象内部或者擦除其一部分。也就是说，用户不能体验到在真实存在的对象内接触虚拟对象的内部，或者不能体验到擦除真实存在对象的一部分。

发明内容

本发明提供一种信息处理方法和设备，其中在使用叠加了第一虚拟对象的触觉设备向用户呈现从叠加在真实对象上的第二虚拟对象接收的触觉时，无论真实对象如何，使得第二虚拟对象的内部能够被接触到。

为了该目的，根据本发明的第一个方面，提供一种信息处理方法，用于使用叠加了第一虚拟对象的触觉设备向用户呈现来自叠加在真实对象上的第二虚拟对象的触觉，包括：第一获取步骤，用于获取用户观察点的位置和方向；第二获取步骤，用于获取触觉设备的位置和方向；第一虚拟图像产生步骤，基于用户观察点的位置和方向、触觉设备的位置和方向、以及第一虚拟对象的计算机图形信息产生第一虚拟对象的第一虚拟图像；第二虚拟图像产生步骤，基于用户观察点的位置和方向、以及第二虚拟对象的计算机图形信息产生第二虚拟对象的第二虚拟图像；以及呈现步骤，用于将第一虚拟图像和第二虚拟图像与真实空间图像组合在一起，并向用户呈现该组合图像；其中，使用第一虚拟对象的第一触觉事件模型和第二虚拟对象的第二触觉事件模型获得从第二虚拟对象接收的触觉；该第一触觉事件模型对应于第一虚拟模型的计算机图形信息；以及第一虚拟对象的形状与触觉设备的形状不同，以便使用第一虚拟对象能够针对真实对象的内部作出指令。

根据本发明的第二个方面，提供一种信息处理设备，用于使用叠加了第一虚拟对象的触觉设备向用户呈现来自叠加在真实对象上的第二虚拟对象的触觉，包括：第一获取单元，配置用于获取用户观察点的位置和方向；第二获取单元，配置用于获取触觉设备的位置和方向；第一虚拟图像产生单元，配置用于基于用户观察点的位置和方向、触觉设备的位置和方向、以及第一虚拟对象的计算机图形信息产生第一虚拟对象的第一虚拟图像；第二虚拟图像产生单元，配置用于基于用户观察点的位置和方向、以及第二虚拟对象的计算机图形信息产生第二虚拟对象的第二虚拟图像；以及呈现单元，配置用于将第一虚拟图像和第二虚拟图像与真实空间图像组合在一起，并向用户呈现该组合图像；其中，使用第一虚拟对象的第一触觉事件模型和第二虚拟对象的第二触觉事件模型获得从第二虚拟对象接收的触觉；该第一触觉事件模型对应于第一虚拟模型的计算机图形信息；以及第一虚拟对象的形状与触觉设备的形状不同，以便使用第一虚拟对象能够针对真实对象的内部作出指令。

从下面参照附图对典型实施例的描述中，本发明的更多特征将会变得清楚。

附图说明

图1示出用于通过软件实现本发明的实施例的计算机的基本配置。

图2是用于描述本发叨的第一实施例的处理过程的流程图。

图3是用于描述第一实施例的配置的功能框图。

图4示出第一实施例的概念。

图5是用于描述在第一实施例的S101中拍摄的图片的图示。

图6是用于描述在第一实施例的S111a和S111b中产生的计算机图形图片的图示。

图7是用于描述在第一实施例的S112中产生的合成图片的图示。

图8是用于描述在第一实施例的S140中的处理过程的流程图。

图9是用于描述在第一实施例中的触觉设备和计算机图形之间的关系的图示。

图10是用于描述在第一实施例的S1201和S1202中的处理的图示。

图11是用于描述在第一实施例的S1203和S1205中的处理的图示。

图12是用于描述在第一实施例的S100中的处理的流程图。

图13是用于描述在第一实施例中的显示实例的图示。

图14是用于描述虚拟代理方法的图示。

图15是用于描述在第五实施例中的显示实例的图示。

图16是表示在第五实施例的S1802中获得的模板缓冲器的图示。

图17是表示在第五实施例的S1803中获得的模板缓冲器的图示。

图18是用于描述第五实施例的处理过程的流程图。

具体实施方式

下面将参照附图描述本发明的实施例。

第一实施例

使用根据本实施例的系统，以叠加在在用户佩戴的HMD上(头戴式显示器)所显示的真实对象上的方式，合成作为虚拟对象的汽车的三维计算机图形。通过触觉设备将从与汽车的三维计算机图形的形状一样的形状所获取的触觉呈现给用户。

图4是本实施例的示意图，其中省略了用于连接部件的连线等。

标号100表示HMD，其在使用时由用户佩戴。HMD 100内置有成像单元和显示单元，显示通过将三维计算机图形叠加在由成像单元拍摄的图像上所获得的图像。内置在HMD 100中的成像单元具有事先测量的必要内部参数。

标号401表示桌子。桌子安装在房间内，用户在这张桌子上能够体验MR(混和真实)。

标号121表示触觉设备主单元，121a是触觉设备的手持部分。用户可以在预设的范围内自由移动触觉设备的手持部分121a的位置和方向。手持部分121a和触觉设备主单元121以机械方式连接，触觉设备主单元121驱动手持部分121a。因此，握住触觉设备的手持部分121a的用户能感受到垂直方向、水平方向、以及纵深方向上的三个自由度。触觉设备主单元121固定在桌子401上。

标号403表示用户的手。在图中仅仅示出用户的手，以方便描述。

标号404表示真实对象，其是汽车的实体模型(mock-up)。该汽车的实体模型具有与本实施例显示的汽车的虚拟对象的外观相同的形状。该实体模型通过使用立体光固化成型法等的快速成型设备制作。

注意，当本实施例使用具有与虚拟对象相同形状的实体模型时，不局限于本实施例的基本配置，而且真实对象和虚拟对象的形状可以不同。

而且，不特别限制实体模型的材料。例如，实体模型可以配置为模型、纸板、电子设备或者各种工具、仪器等。而且，可以配置该实体模型以使其物理特性能够改变，例如让内部中空以使各种重量的重物放在里面，或者例如可以改变大小或形状。

标号103表示用于测量位置和方向的结构，并包括摄像机单元103a、以及标志部分103b、103c和103d。标志部分103b附着在HMD100上，标志部分103c附着在触觉设备的手持部分121a上，标志部分103d附着在真实对象404上。标志部分103b、标志部分103c和标志部分103d各自具有不同的形状。它们由配置在内部参数已经事先获得的位置和方向传感器的摄像单元103a中的两个摄像机进行拍摄，使用例如三角测量技术，从两个摄像机各自拍摄的图像获得标志部分103b、标志部分103c和标志部分103d与摄像机单元103a的相对位置和方向。位置和方向传感器的摄像机单元103a固定在房间里。

图3是示出本实施例的配置的功能方框图。现在，参考图3描述本实施例的配置。

标号100表示用户佩戴的视频透视型HMD，其如图4所示，并且具有图像拍摄单元101和图片显示单元102。注意，虽然本实施例配置成图像拍摄单元101和图片显示单元102内置于HMD 100，但是对于本实施例的基本配置来说这些并不是必须的，而且可以做出将图像拍摄单元101和图片显示单元102分开配置的各种布置。

标号101表示图像拍摄单元，配置成包括例如双CCD摄像机、CMOS摄像机等的图像拍摄设备。图像拍摄单元101拍摄的图片发送到图片合成单元111。

标号102表示图片显示单元，配置成包括两个小型的液晶显示设备等。图片显示单元102显示从图片合成单元111发送的合成图片。

标号103表示位置和方向传感器，如图4所示，用于通过使用内置的图像拍摄设备拍摄各个标志的图像来测量任意对象的位置和方向。事先被提供了标志的位置和方向传感器103输出对象的位置和方向信号给用户观察点位置和方向测量单元104、真实对象位置和方向测量单元105、以及触觉设备位置和方向测量单元106。

注意，在本实施例中位置和方向信号从位置和方向传感器103输出到位置和方向测量单元104到106的每一个。然而，对于本实施例的基本配置这不是必要的条件，例如，用户观察点位置和方向测量单元104、真实对象位置和方向测量单元105、以及触觉设备位置和方向测量单元106各自可以配置独立的位置和方向传感器。

另外，虽然在本实施例中位置和方向传感器103由光学传感器构成，但是位置和方向传感器103也可以配置成任何种类的设备，只要能够测量预定对象的位置和方向即可。例如，位置和方向传感器103可以配置成磁场式位置和方向传感器。也就是说，可以使用任何配置，只要针对这三个要进行的测量能够从真实空间中测得位置和方向即可。

在本实施例中，位置和方向传感器103在xyz坐标系统中以x坐标、y坐标和z坐标的形式输出位置。另外，方向以绕z轴旋转的滚动角(roll angle)、绕x轴旋转的倾斜角(pitch angle)和绕y轴旋转的偏向角(yaw angle)的形式输出，并且按照偏向角旋转、倾斜角旋转和滚动角旋转的顺序旋转被测对象而得到其方向。

注意在下面的描述中，将使用字母例如M来代表可以使用4×4矩阵表示的位置和方向信息。通过参考由位置和方向传感器103获取的位置和方向值的示例来描述该矩阵。

将从位置和方向传感器获得的x坐标、y坐标和z坐标的值分别作为x、y和z，代表由位置和方向传感器103获得的位置的三维向量t由下式给出：

【表达式1】

$t=\left(\begin{array}{c}x\\ y\\ z\end{array}\right)$

同样，从位置和方向传感器获得的滚动角、倾斜角和偏向角的值分别为r、p和y，下式给出从滚动角、倾斜角和偏向角获得的3×3旋转变换矩阵Rr、Rp、Ry：

【表达式2】

$\mathrm{Rr}=\left(\begin{array}{ccc}\cos r& -\sin r& 0\\ \sin r& \cos r& 0\\ 0& 0& 1\end{array}\right),$ $\mathrm{Rp}=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos p& -\sin p\\ 0& \sin p& \cos p\end{array}\right),$ $\mathrm{Ry}=\left(\begin{array}{ccc}\cos y& 0& -\sin y\\ 0& 1& 0\\ \sin y& 0& \cos y\end{array}\right)$

因此，代表方向的3×3旋转变换矩阵R写为下式：

【表达式3】

$R=\mathrm{RrRpRy}=\left(\begin{array}{ccc}\cos r& -\sin r& 0\\ \sin r& \cos r& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos p& -\sin p\\ 0& \sin p& \cos p\end{array}\right)\left(\begin{array}{ccc}\cos y& 0& -\sin y\\ 0& 1& 0\\ \sin y& 0& \cos y\end{array}\right)$

$=\left(\begin{array}{ccc}\cos r\cos y+\sin r\sin p\sin y& -\sin r\cos p& -\cos r\sin y+\sin r\sin p\cos y\\ \sin r\cos y-\cos r\sin p\sin y& \cos r\cos p& -\sin r\sin y-\cos r\sin p\cos y\\ \cos p\sin y& \sin p& \cos p\cos y\end{array}\right)$

使用前面获得的t和R，代表从位置和方向传感器获得的位置和方向的4×4矩阵M可以写成：

【表达式4】

$M=\left(\begin{array}{cc}R& 1\\ 0& 1\end{array}\right)$

无论所获得的位置和方向的形式如何，能够使用这种4×4矩阵代表位置和方向的事实是众所周知的。

用户观察点位置和方向测量单元104从位置和方向传感器103接收位置和方向信号。用户观察点位置和方向测量单元104然后使用代表附着在用户佩戴的HMD上的标志部分103b的位置和方向的信号产生用于图像拍摄单元101的用户观察点位置和方向信息。

产生的位置和方向信息发送给触觉设备计算机图形渲染单元110a和虚拟对象计算机图形渲染单元110b，用于计算在HMD的图片显示器上显示的图片中的计算机图形的位置和方向。注意，在本实施例中，用户观察点位置和方向测量单元104的位置和方向信息只由位置和方向传感器103提供，然而也可以做出一个使用图像拍摄单元101拍摄的图片来校正该位置和方向信息的装置。另外，也可以做出只使用图像拍摄单元101拍摄的图片来获得用户观察点位置和方向测量单元104的位置和方向的配置。

真实对象位置和方向测量单元105从位置和方向传感器103接收位置和方向信号。真实对象位置和方向测量单元105使用代表附着在真实对象404上的标志部分103d的位置和方向的信号产生真实对象404的位置和方向信息。将产生的真实对象404的位置和方向发送给计算机图形情景管理单元107和触觉情景管理单元108。

触觉设备位置和方向测量单元106从位置和方向传感器103接收位置和方向信号。触觉设备位置和方向测量单元106使用代表附着在触觉设备的手持部分121a的标志部分103c的位置和方向的信号产生触觉设备的手持部分121a的位置和方向信息。将所产生的触觉设备的手持部分121a的位置和方向信息发送给计算机图形情景管理单元107和触觉情景管理单元108。

计算机图形情景管理单元107管理虚拟对象的三维计算机图形模型的信息，对于产生三维计算机图形是必需的。虽然可以使用各种格式来描述三维计算机图形模型信息，但是在本实施例中使用VRML文件(虚拟现实模型语言)来代表三维计算机图形模型信息，其中使用多边模型来代表三维计算机图形模型。注意VRML文件也存储三维计算机图形模型的位置和方向信息。存储在计算机图形情景管理单元107中的VRML文件是以叠加方式在触觉设备的手持部分121a上显示的虚拟对象的三维计算机图形模型的VRML文件和以叠加方式在真实对象404上显示的汽车的虚拟对象的三维计算机图形模型的VRML文件。使用从触觉设备位置和方向测量单元106发送的位置和方向信息更新以叠加方式在触觉设备的手持部分121a上显示的虚拟对象的三维计算机图形模型的VRML文件。使用从真实对象位置和方向测量单元105发送的位置和方向信息更新汽车的虚拟对象的三维计算机图形模型的VRML文件。另外，计算机图形情景管理单元107的信息被触觉设备计算机图形渲染单元110a和虚拟对象计算机图形渲染单元110b参考。

在本实施例中，汽车的三维计算机图形模型包括大量部件的三维计算机图形模型，其包括内部和外部的三维计算机图形模型。另外，每一个三维计算机图形模型具有半透明显示标记作为其附加的信息。半透明显示标记是指示每个三维计算机图形模型是否要被半透明地显示的标记。在该标记被设置为真的情况下，对应的三维计算机图形模型一定被半透明地显示，相反如果被设置为假，则不被半透明地显示。在初始的状态，所有三维计算机图形模型的有关该标记都设置为假。由触觉情景管理单元108等设置该标记。

触觉情景管理单元108管理虚拟对象的触觉事件模型信息，对于计算在虚拟对象之间产生的力是必需的。虽然可以使用各种格式描述触觉事件模型信息，但在本实施例中以VRML文件代表本实施例的触觉事件模型信息，其中使用多边模型代表触觉事件模型。然而，注意在触觉事件VRML文件中的代表虚拟特征的特征信息(例如颜色、光源、质地等)，被除去，并且即使在包括这些特征的情况下，也被忽略。另外，触觉情景管理单元108存储由VRML文件代表的触觉事件模型的位置和方向信息。在本实施例中，存储在触觉情景管理单元108中的VRML文件是触觉设备的手持部分121a的触觉事件模型的VRML文件和以叠加方式显示在真实对象404上的汽车的虚拟对象的触觉事件模型的VRML文件。使用从真实对象位置和方向测量单元105或者触觉设备位置和方向测量单元106发送的位置和方向信息更新触觉情景管理单元108的VRML文件的位置和方向信息。同样，触觉情景管理单元108的信息被触觉计算单元120参考。

在本实施例中，汽车的触觉事件模型包括大量部件的触觉事件模型，包括内部和外部的触觉事件模型。另外，每个触觉事件模型具有触觉事件标记作为其附加的信息。触觉事件标记是指示每个触觉事件模型是否被用作触觉事件的标记。在标记被设置为真的情况下，对应的触觉事件模型一定被用作触觉事件，相反被设置为假，则没被用作的触觉事件。在初始状态，有关该标志的所有触觉事件模型被设置为真。

注意在本实施例中，设置代表触觉设备的手持部分121a的触觉事件计算机图形模型150的顶端比其实际形状更长，如图9所示。

触觉设备计算机图形渲染单元110a从用户观察点位置和方向测量单元104接收图像拍摄单元101的位置和方向信息，从计算机图形情景管理单元107接收三维计算机图形情景信息，并且产生在图像拍摄单元101的图像拍摄范围内能容纳的触觉设备的计算机图形图片。将产生的计算机图形图片传送给图片合成单元111。

虚拟对象计算机图形渲染单元110b从用户观察点位置和方向测量单元104接收图像拍摄单元101的位置和方向信息，从计算机图形情景管理单元107接收三维计算机图形情景信息，并且产生在图像拍摄单元101的图像拍摄范围内能容纳的虚拟对象的计算机图形图片。将产生的计算机图形图片传送给图片合成单元111。

图片合成单元111将从触觉设备计算机图形渲染单元110a和虚拟对象计算机图形渲染单元110b接收的计算机图形图片叠加在从图像拍摄单元101接收的拍摄图片上，从而产生复合图像。将该复合图像发送给图片显示单元102。

触觉计算单元120从触觉情景管理单元108接收触觉情景信息并计算要在触觉设备的手持部分121a上产生的触觉。注意，使用要产生的力的方向和其强度表示该触觉信息。将计算所得的触觉信息发送给触觉设备主单元121。

在图4中示出触觉设备主单元121，用于从触觉计算单元120接收触觉信息并在触觉设备的手持部分121a产生力。注意在本实施例中，使用具有编码器的多个控制马达的机械类型触觉设备。然而，只要能在任意方向产生力，允许采用任何设备配置，所以，例如可以采用使用弦张力的触觉设备。虽然在本实施例中，触觉设备121a安装在平面401上，但是不限制安装的位置，例如触觉设备121可以由用户佩戴。

触觉设备主单元121内部具有自身的设备坐标系统。因此，触觉计算单元120将力信息转换成触觉设备主单元121的坐标系统，并且在触觉设备主单元121在其手持部分121a产生力的时候，力信息在触觉设备坐标系统中传递。

参照图3，在前面已经描述了本实施例的配置。应当注意观察点位置和方向测量单元104、真实对象位置和方向测量单元105、触觉设备位置和方向测量单元106、计算机图形情景管理单元107、触觉情景管理单元108、触觉设备计算机图形渲染单元110a、虚拟对象计算机图形渲染单元110b、图片合成单元111和触觉计算单元120至少可以被部分地作为单独设备实现。作为选择，用于实现其功能的软件可以安装在一个或者多个计算机上，使用执行软件的一个计算机或者多个计算机的CPU，从而实现各自的功能。在本实施例中，上述每个部分使用软件实现，并安装在一个计算机上。

图1示出用于通过软件实现位置和方向测量单元104、真实对象位置和方向测量单元105、触觉设备位置和方向测量单元106、计算机图形情景管理单元107、触觉情景管理单元108、触觉设备计算机图形渲染单元110a、虚拟对象计算机图形渲染单元110b、图片合成单元111和触觉计算单元120和130的功能计算机的基本配置的示意图。

CPU 1001使用存储在RAM 1002和ROM 1003中的程序和数据控制整个计算机，并且还控制用于实现位置和方向测量单元104、真实对象位置和方向测量单元105、触觉设备位置和方向测量单元106、计算机图形情景管理单元107、触觉情景管理单元108、触觉设备计算机图形渲染单元110a、虚拟对象计算机图形渲染单元110b、图片合成单元111和触觉计算单元120中的每一个的功能的软件。

RAM 1002具有用于临时存储从外部存储设备1007或者存储介质驱动器1008下载的程序和数据的区域，还有用于CPU 1001执行各种类型处理的工作区。ROM 1003总体上存储计算机程序和设置数据等。

ROM 1003总体上存储计算机程序和设置数据等。操作者可以使用用作输入设备的键盘1004和鼠标1005向CPU 1001输入各种类型的指令。

显示单元1006用CRT(阴极射线管)或者LCD(液晶显示器)配置，并能够显示图片(例如被显示在图片显示单元102上的图片)。

外部存储设备1007用作大容量信息存储设备，例如硬盘等，并且存储计算机的操作系统、CPU 1001执行的程序等。另外，在本实施例中，将所描述的已知信息存储在这里，并且根据需要下载到RAM1002。

存储介质驱动器1008读出存储在记录介质(例如CD-ROM或者DVD-ROM等)中的程序和数据，依据来自CPU 1001的指令，输出给RAM 1002或者外部存储设备1007。

接口1009包括模拟视频端口或者例如用于连接图像拍摄单元101的IEEE1349的数字输入/输出端口、例如用于连接位置和方向传感器103和触觉设备主单元121的RS232C或者USB等的串口等配置。从每个端口输入的数据通过接口1009由RAM 1002获得。图片合成单元111与用户观察点位置和方向测量单元104、真实对象位置和方向测量单元105、触觉设备位置和方向测量单元106和触觉计算单元120的功能的一部分通过接口1009实现。

上述各个构成要素通过总线1010连接，以便彼此交换数据。

图2示出根据本实施例的处理过程的流程图。用于该流程图的程序存储在外部存储设备1007中，当用户使用键盘1004和鼠标1005指令启动系统时，CPU 1001读出并且执行程序。现在参照该图描述本实施例的过程。

步骤S100是校准步骤。在步骤S100，初始化用户观察点位置和方向测量单元104、真实对象位置和方向测量单元105和触觉设备位置和方向测量单元106，从而能够校准来自从位置和方向传感器103输出的位置和方向信号的位置和方向信息。另外，初始化用于触觉计算单元120和用于计算在触觉设备主单元121产生的力的设置。

现在，参照图12描述步骤S100的处理过程。当启动步骤S100时，执行步骤S1201。步骤S1201是位置和方向传感器校准步骤。图10是用于描述步骤S1201和S1202中执行的处理的示意图。在本实施例中标号901表示世界坐标系统(world coordinate system)。世界坐标系统901沿着桌面401的边沿设置。为了设置世界坐标系统901，在步骤S1201，用户在桌子边沿定位校准仪器103z。校准仪器103z附着了三个标志，用于设置世界坐标系统。在校准仪器103z三个标志的位置关系是已知的。位置和方向传感器103的摄像机单元103a具有两个事先测量过参数的内置摄像机。因此，可以通过按压在位置和方向传感器103上未示出的校准按钮设置世界坐标系统901。在下文中，以世界坐标系统901为参考，测量从位置和方向传感器103输出的全部位置和方向信号。当步骤S1201结束时，流程进行到步骤S1202。

步骤S1202用于校准HMD。在这个步骤中，在桌面401的边沿即沿着世界坐标系统901，用户放置了校准标志902。校准标志902是一张预设了大小的矩形纸，上面印刷了预设的图案。事先测量了内置在HMD 100中的图像拍摄单元101的内部参数，所以，如果图像拍摄单元101能拍摄校准标志902的全部，那么在世界坐标系统901中就可以获得图像拍摄单元101的位置和方向。注意标志部分103b附着在HMD100上，并且标志部分103b的位置和方向总是被位置和方向传感器测量。当用户使用键盘1004和鼠标1005指令执行步骤S1202时。使用下面的表达式：

Ho＝Hs^-1·Hc

其中，Hc代表从使用图像拍摄单元101拍摄的图片获得的图像拍摄单元101的位置和方向；Hs代表使用位置和方向传感器103获得的标志部分103b的位置和方向；以及Ho代表当从标志部分103c观察时，图像拍摄单元101的相对位置和方向。

这里所获得的Ho通知给用户观察点位置和方向测量单元104。当步骤S1202结束时，流程进行到步骤S1203。

步骤S1203用于真实对象校准。图11用于描述步骤S1203和S1205中的过程。图11中的标号1102表示事先使用胶贴设置在桌面401上的真实对象404的校准位置。真实对象的校准位置11002是真实对象404的垂直投影。当执行步骤S1204时，用户将真实对象按照预设方向放在真实对象的校准位置1102以使得相匹配。标志部分103d附着在真实对象404上，位置和方向传感器103始终测量标志部分103d的位置和方向。当用户使用键盘1004和鼠标1005指令执行步骤S1203时，使用下面的表达式：

Bo＝Bs^-1·Bd

其中，Bd代表在已经预设的世界坐标系统901中真实对象的校准位置1102的位置和方向，Bs代表通过位置和方向传感器103获得的标志部分103d的位置和方向，以及Bo代表当从标志部分103b观察时真实对象404的相对位置和方向。

这里所获得的Bo通知给真实对象位置和方向测量单元105。当步骤S1203结束时，流程进行到步骤S1204。

步骤S1204用于触觉设备校准。当执行步骤S1204时，用户将触觉设备主单元121放在桌面401上的预设位置。通过手工测量和计算Dw(代表当在世界坐标系统901中观察时，触觉设备坐标系统的位置和方向)，并且使用键盘1004和鼠标1005将其输入触觉计算单元120。

步骤S1205用于校准触觉设备手持部分121a。在图11中，标号1101表示事先使用胶贴设置在桌面401上的触觉设备的手持部分121a的校准位置。触觉设备手持部分121a的校准位置1101是触觉设备的手持部分121a的垂直投影。在执行步骤S1205时，用户将触觉设备的手持部分121a按照预设方向放在触觉设备手持部分的校准位置1101以使得相匹配。标志部分103c附着在触觉设备的手持部分121a上，并且位置和方向传感器103始终测量标志部分103c的位置和方向。当用户使用键盘1004和鼠标1005指令执行步骤S1205时，使用下面的表达式：

Po＝Ps^-1·Pd

其中，Pd代表在预设的世界坐标系统901中触觉设备的手持部分121a的校准位置1101的位置和方向，Ps代表通过位置和方向传感器103获得的标志部分103c的位置和方向，以及Po代表当从标志部分103c观察时触觉设备的手持部分的顶端的相对位置和方向。

这里所获得的Po通知给触觉设备位置和方向测量单元106。当步骤S1205结束时，步骤S100结束，执行步骤S101和140。步骤S140的处理将在以后参考不同的附图描述。步骤S101是用于拍摄真实空间的图片的步骤。拍摄的图片被发送给图片合成单元111。所拍摄的图片如图5所示。图5显示触觉设备的手持部分121a、标志部分103c与标志部分103d和真实对象404。当步骤S101结束，并行执行步骤S102、S103和S104。

步骤S102是用户观察点位置和方向测量步骤。这里，在从位置和方向传感器103发送的位置和方向信号中，用户观察点位置和方向测量单元104使用代表附着在HMD 100的标志部分103b的位置和方向的信号，从而产生用于图像拍摄单元101的位置和方向信息。得到表达式：

H＝Hsn·Ho

其中，H代表所要获得的图像拍摄单元101的位置和方向，以及Hsn代表从位置和方向传感器103获得的标志部分103b的位置和方向信号。

将所获得的图像拍摄单元101的位置和方向信息发送给触觉设备计算机图形渲染单元110a和虚拟对象计算机图形渲染单元110b。

步骤S103是真实对象位置和方向测量步骤。这里，在从位置和方向传感器103发送的位置和方向信号中，真实对象位置和方向测量单元105使用代表附着在真实对象404的标志部分103d的位置和方向的信号，而产生用于真实对象404中心的位置和方向信息。得到表达式：

B＝Bsn·Bo

其中，B代表所要获得的真实对象404的位置和方向，以及Bsn代表从位置和方向传感器103获得的标志部分103d的位置和方向信号。

将所获得的真实对象404的位置和方向信息发送给计算机图形情景管理单元107和触觉情景管理单元108。

步骤S104是触觉设备位置和方向测量步骤。这里，在从位置和方向传感器103发送的位置和方向信号中，触觉设备位置和方向管理单元106使用代表附着在触觉设备的手持部分121a的标志部分103c的位置和方向的信号，而产生用于触觉设备的手持部分121a的顶端的位置和方向信息。得到表达式：

P＝Psn·Po

其中，P代表所要获得的触觉设备的手持部分121a的位置和方向，以及Psn代表从位置和方向传感器103获得的标志部分103c的位置和方向信号。

将所获得的触觉设备的手持部分121a的位置和方向信息发送给计算机图形情景管理单元107和触觉情景管理单元108。

当步骤S102、S103和S104结束，执行步骤S110和S120。步骤S110是计算机图形情景改变步骤。在步骤S110中，在存储于计算机图形情景管理单元107中的VRML文件中更新三维计算机图形模型的位置和方向。也就是说，真实对象404的位置和方向信息作为用于代表汽车的三维计算机图形模型的VRML文件的位置和方向信息存储，并且触觉设备的手持部分121a的位置和方向信息作为代表触觉设备的手持部分121a的VRML文件的位置和方向信息存储，接着步骤S110，执行步骤S111a和S111b。

步骤S111a是用于触觉设备的计算机图形渲染步骤。在步骤S111a中，触觉设备计算机图形渲染单元110a使用图像拍摄单元101的位置和方向信息，产生在虚拟空间中当从图像拍摄单元101观察点观察时代表触觉设备的手持部分121a的计算机图形图片。所产生的计算机图形图片被发送给图片合成单元111。在步骤S111a中，参考存储在计算机图形情景管理单元107中的三维计算机图形模型信息。

步骤S111b是虚拟对象计算机图形渲染步骤。在步骤S111b中，虚拟对象计算机图形渲染单元110b使用图像拍摄单元101的位置和方向信息，产生在虚拟空间中当从图像拍摄单元101观察点观察时代表虚拟对象的计算机图形图片。在步骤S111b中，参考存储在计算机图形情景管理单元107中的三维计算机图形模型信息。另外，在该步骤中，半透明地渲染其半透明显示标记被设置为真的三维计算机图形模型。

在步骤S111a和S111b结束后，流程进行到步骤S112。图6示出在该点产生计算机图形图片。在图6中，标号601表示代表触觉设备的手持部分121a的三维计算机图形，标号602表示代表汽车的三维计算机图形。

前面已经提及，存储在计算机图形情景管理单元107中的代表触觉设备的手持部分121a的三维计算机图形模型被渲染使得触觉设备的手持部分121a的顶端比其实际长。因此，代表触觉设备的手持部分121a的三维计算机图形601使其顶端渲染的比在实际图片图5中的触觉设备的手持部分121a的长。

步骤S112是图片合成步骤。在步骤S112中，首先，将从图像拍摄单元101拍摄并发送的图片写入图片合成单元111的图像缓存。接着，从触觉设备计算机图形渲染单元110a和虚拟对象计算机图形渲染单元110b发送的计算机图形图片被叠加在图像缓存上。因此，产生了合成图像，其中在拍摄的图像的背景上重现虚拟对象。图7用于描述在该点获得的合成图像。将所产生的合成图像发送图片显示单元102。当步骤S112结束，执行步骤S113。

步骤S113是图片显示步骤，在步骤S113中，将合成图片显示在图片显示单元102上。

步骤S120是触觉情景更新步骤。在步骤S120中，将存储在触觉情景管理单元108中的触觉情景更新。也就是说，真实对象404的位置和方向信息被作为代表汽车的触觉事件模型的位置和方向信息存储，并且触觉设备的手持部件121a的位置和方向信息被作为代表触觉设备的手持部件121a的触觉事件模型的位置和方向存储。

在步骤S113和S120结束后，执行步骤S121。步骤S121是标记复位判定步骤。在用户使用键盘1004和鼠标1005指令复位半透明显示标记和触觉事件标记的情况下，流程进行到步骤S122。否则，流程进行到步骤S130。

步骤S122是标记复位步骤。这里，在计算机图形情景管理单元107中用于所有存在于虚拟空间的三维计算机图形模型的半透明显示标记被设置为假。另外，在触觉情景管理单元108中用于所有触觉事件模型的触觉事件标记被设置为真。当步骤S122结束时，流程进行到步骤S130。

步骤S130是结束判定步骤。在用户使用键盘1004和鼠标1005指令结束系统的情况下，程序结束；否则，流程进行到步骤S101。

上面已经参考图2描述了根据本实施例的处理操作。

现在，描述在步骤S140中的处理操作。在步骤S140中，使用触觉情景信息从而在触觉设备主单元121产生触觉。总体上说，在触觉设备以低于1000Hz的更新频率呈现触觉的情况下，用户感觉到触觉不连续，所以，在步骤S140中从步骤S201到S206，以1000Hz或更高的频率做更新。虽然只要满足上述条件，可以采用各种类型的技术执行步骤S140，但是本实施例采用虚拟代理方法和惩示方法(penalty method)，其广泛地用于使用触觉设备的系统。在Diego C.Ruspini et al，TheHaptic Display of Complex Graphical Environments，SIGGRAPH 97Proceedings，August 1997，第345-352中描述了虚拟代理方法。

虚拟代理方法是一种其触觉设备的顶端被表示为具有任意半径的范围的技术，由此通过检查该范围和有关要被产生的力的感觉的虚拟对象的冲突，获得用于计算在触觉设备顶端产生的触觉的向量。

参考图14描述虚拟代理方法。标号1401代表虚拟对象的表面；1402代表虚拟对象的顶端，指示嵌入虚拟对象的触觉设备的顶端的状态；1403代表虚拟代理，指示触觉设备应该的最初位置；标号1404代表用于计算要在触觉设备产生的力的向量。这样，使用虚拟代理方法，触觉设备原先应有的位置被描绘成与真实位置相比较的虚拟代理，由此能容易地计算触觉。另外，惩示方法是用于获得有关虚拟对象反作用力的量值的技术。

图8是描述在步骤S140中的处理过程的流程图。当步骤S140开始时，首先执行步骤S201。

在步骤S201中，获取触觉情景。这里，触觉计算单元120从触觉情景管理单元108获取触觉情景。当步骤S201结束时，流程进行到步骤S202。

在步骤S202中，在触觉计算单元120中，触觉设备的位置和方向被转换成真实对象的坐标系统中的位置和方向信息。使用虚拟代理方法，触觉设备顶端的坐标一定被表示在有关要产生力的感觉的对象的坐标系统中，在这种情况下，有关要产生力的感觉的对象的坐标系统是真实对象404的坐标系统。使用在真实对象404的坐标系统中的触觉设备的位置和方向作为Pb，使用表达式Pb＝B^-1·P。当步骤S202结束时，流程进行到步骤S203a。

步骤S203a是触觉计算循环的开始。这意味着触觉计算以与本实施例中存在的触觉事件模型的数目相等的次数循环，步骤S209结束后，在步骤S203b中作结束判定。在步骤S203b中，以与触觉事件模型的数目相等的次数，作有关是否重复步骤S204、S205、S206、S207、S208和S209的操作的判定，并且在确认的情况下，流程进行到步骤S210。

在步骤S204中，检查触觉事件标记。在当前循环中由触觉计算改变的触觉事件模型的触觉事件标记被设置为真的情况下，流程进行到步骤S205；或者如果设置为假，进行到步骤S203b。

在步骤S205中，使用在当前循环中由触觉计算改变的触觉事件模型和通过触觉计算单元120得到的Pb执行虚拟代理，从而计算出用于计算在触觉设备的手持部分的顶端产生的力的感觉的向量Fw，其指示出触觉设备的位置和虚拟代理之间的不同。当步骤S205结束，流程进行到步骤S206。

在步骤S206中，执行有关用于计算触觉的向量Fw的判定。在该Fw的量值等于或大于穿透阈值J(预设的常量)的情况下，流程进行到步骤S207。在Fw的量值小于J的情况下，流程进行到步骤S209。作出是否有关在触觉设备进入到触觉事件模型一定或者更多距离的情况的判定，渗透到触觉设备模型并且不再从触觉事件模型产生力的感觉。

这里注意，虽然根据Fw作执行步骤S207或者执行步骤S209的判定，但是可以使用不同方法作该判定。例如，可以通过从键盘1004或鼠标1005输入作判定，或者可以根据在步骤S202得到的Pb改变量，即速度，作判定。

在步骤S207中，设置触觉事件标记。在当前循环中由触觉计算改变的触觉事件模型的触觉事件标记被设置为假，流程进行到步骤S208。

在步骤S208中，设置半透明显示标记。触觉情景管理单元108将对应于在当前循环中由触觉计算改变的触觉事件模型的三维计算机图形模型的半透明显示标记在计算机图形情景管理单元107中设置为真。这样，半透明地显示对应于有关没有力要产生的触觉事件模型的三维计算机图形模型。在步骤S208结束后，流程进行到步骤S209b。

在步骤S209中，在步骤S205中得到的向量用于计算使用惩示方法产生的力的强度。使用产生的力的强度作为F，使用表达式F＝K·|Fw|得到产生的力。这里，K是预设的弹性系数。该表达式说明力和在步骤S205中得到的向量成比例，即类似弹簧的力应用到触觉设备。这样，就得到被产生的向量的强度，即触觉。当步骤S209结束时，流程进行到步骤S203b。

步骤S210是触觉累加的步骤。这里，将在从步骤S203a到步骤S203b计算出的所有触觉信息累加。将产生的总的力的信息发送到触觉设备主单元121。当步骤S210结束，流程进行到步骤S211。

在步骤S211中，执行触觉力到触觉设备坐标系统转换。在该步骤中，使用触觉计算单元120计算的在世界坐标系统901中产生的力信息被转换成在触觉设备坐标系统中的力信息。使用从世界坐标系统901观察的触觉设备坐标系统的位置和方向Dw，触觉设备坐标系统中的三自由度向量Fd表示为Fd＝Dw^-1·Fw。将计算的Fd和之前计算的F发送到触觉设备主单元121。当步骤S211结束，流程进行到步骤S212。

在步骤S212中，执行触觉呈现。在该步骤中，触觉设备主单元121获取从触觉计算单元120得到的要被产生的力信息，并且在触觉设备的手持部分121a产生力。当步骤S212结束，流程进行到步骤S213。

在步骤S213中，在用户使用键盘1004或者鼠标1005指令结束系统的情况下，处理结束，否则流程进行到步骤S201。

上面参考图8描述了根据本实施例在步骤S401中的处理操作。

本实施例使用户能够如图13所示的操作。图13示出已经显示为用户从图7所示的状态将触觉设备的手持部分121a按压进汽车内的结果的状态。在图13中，标号1301表示半透明显示的汽车的外部的三维计算机图形模型，1302表示在因汽车的外部的三维计算机图形模型1301被半透明显示而已经成为可视的汽车里的虚拟座位。

在图13中，用户使用代表触觉设备的手持部分的三维计算机图形601，正在接触虚拟座位。在本实施例中，作为真实对象的汽车实体模型处在半透明显示的汽车的外部的三维计算机图形1301的位置，因此汽车的实体模型和触觉设备相互冲突，那么用户应该不能接触到汽车的内部。然而，在本实施例中，三维计算机图形601和代表具有较长顶端的触觉设备的手持部分被叠加在触觉设备的手持部分121a。因此，代表触觉设备的手持部分的三维计算机图形的顶端能够不受干扰地被插入到汽车实体模型内。根据代表侵入其中的触觉设备的手持部分的三维计算机图形和汽车的实体模型的内部的三维计算机图形，计算出触觉，因此，用户能体验到感觉的呈现，好像他/她接触到真实对象的内部。

另外，在本实施例中，步骤S206到S208的处理自动控制汽车实体模型的三维计算机图形和有关依赖于手持部分位置的汽车实体模型的触觉情景的显示。因此，根据手持部分的位置，用户可以在实体模型内自动地操作。

此外，如果用户从汽车内移开触觉设备的手持部分121a并且使用键盘1004或鼠标1005，指令复位半透明显示标记和触觉事件标记，用户可以再一次接触汽车的外部。本实施例被配置成用户手动执行半透明显示标记和触觉事件标记复位。在用户将手持部分的顶端插入汽车的情况下，这可以被判断为有要在汽车内操作的意图。然而，即使用户将手持部分的顶端移到汽车外面，这不必然意味着用户试图进行汽车内的操作，并且由此不能确定确实如此。从而，根据本实施例，用户通过手动指令执行复位。这样，能够防止因用户将手持部分移到汽车外面而导致的显示改变，由此，能防止显示根据手持部分的位置被不可预见地改变。

虽然本实施例描述为具有内置图像拍摄单元101和图片显示单元102的视频透视HMD，但是可以采用任何配置，只要能够向用户呈现真实世界和虚拟世界即可，例如采用光学透视型的HMD。在这种情况下，不需要图3中的图像拍摄单元103，并且不执行图2中的步骤S101和S112。另外，这不需要被配置成佩戴在用户头上的设备，例如，可以是桌上半透明显示器。在这种情况下，不需要图3中的图像拍摄单元101或者用户观察点位置和方向单元104，并且不执行图2中的步骤S101、S112和S102。另外，在本实施例中，HMD 100已经被描述成具有图像拍摄单元101和图片显示单元102各一个的单目HMD，然而，HMD可以是具有图像拍摄单元101和图片显示单元102各两个的双目HMD，这种情况下为每一侧都执行图2所示的处理。

第二实施例

在上述第一实施例中，通过抓住和移动真实对象404来移动虚拟对象。然而，对于本实施例的基本配置，这不是不可缺少的条件，并且可以作出将对象404固定的布置。

在这种情况下，不需要图2中的位置和方向传感器103的处理，并且真实对象位置和方向测量单元105的配置不是必需的。

第三实施例

在上述第一实施例中，触觉事件模型和响应于触觉设备手持部分的三维计算机图形模型是事先确定的。然而，触觉事件模型和三维计算机图形模型可以被用户指令改变。例如，用户可以使用键盘1004或鼠标1005改变触觉事件模型和三维计算机图形模型的尺寸或长度，或者根据触觉设备的手持部分改变其位置关系。

用户给出指令的方式也不限制于键盘1004和鼠标1005，可以做出安装在触觉设备的手持部分例如拨码盘等的输入设备的布置，以便操作。

使用户以这种方式能够控制触觉事件模型从而允许用户容易地操作所需的虚拟对象的部分。

第四实施例

在上述第一实施例中，触觉设备的真实手持部分因对应于它的触觉设备的手持部分的三维计算机图形模型而不可见，如图7和图13所示。因此，用户不能分辨出真实手持单元的形状和对应于三维计算机图形模型的形状的差别。

在本实施例中，通过产生不同的有关触觉设备的手持部分的特别的部分的不同的虚拟图像能够解决这个问题。例如，使用不同的颜色能够显示出形状上不同的部分，或者可以半透明显示具有相同形状的部分。

第五实施例

在本实施例中，将描述用于获得好像真实对象存在的部分的一部分被擦除一样的效果的方法，如图15所示。在图15中，轮胎部分被从汽车外部的三维计算机图形模型1501擦除。虽然标号1502表示在图15中汽车轮胎原来的部分，但是在本实施例中，即不显示汽车的三维计算机图形也不显示真实对象404的真实图像。

首先，在计算机图形情景管理单元107中事先准备用作背景的三维计算机图形。在本实施例中，准备桌面401的三维计算机图形模型。关于形状和颜色，该计算机图形模型被做得与真实对象的接近或者完全一样。虽然该三维计算机图形模型需要与真实对象404的完全相同，但是可以任意设置颜色。

在本实施例中，当在步骤S111b中渲染真实对象的计算机图形时，根本不渲染具有半透明显示标记的三维计算机图形模型。

另外，在本实施例中，在虚拟对象计算机图形渲染步骤S111b后，执行背景计算机图形渲染步骤，如图18所示的流程图。当开始背景计算机图形渲染步骤时，首先，在步骤S1801再现虚拟背景。在本实施例中，渲染桌面401的三维计算机图形模型。当步骤S1801结束，执行步骤S1802。

在步骤S1802中，具有与真实对象相同形状的三维计算机图形模型被渲染在步骤S1801渲染的图像的模板缓冲器中。注意，模板缓冲器是一个特别的缓冲区，用于图像中的每个像素。图16示出在该点获得的模板缓冲器。图16的标号1601代表具有与真实对象404相同形状的三维计算机图形。当步骤S1802结束，流程进行到步骤S1803。

在步骤S1803中，已经被渲染的计算机图形的区域被从在步骤S1802中获得的模板缓冲区擦除。图17代表在该点获得的模板缓冲器。当步骤S1803结束，流程进行到步骤S1804。

在步骤S1804，在步骤S1801获得的虚拟背景中擦除除了在步骤S1803获得的模板缓冲区之外的区域。

当步骤S1804结束时，背景计算机图形渲染步骤结束。将这里所获得的背景计算机图形在步骤S112中与真实图片合成。

使用在本实施例中描述的技术，能得到如同真实对象存在于其中的部分的一部分被擦除一样的效果，如图15所示。

虽然已经参考具体实施例描述了本发明，但是应该理解本发明不仅限于所公开的具体实施例。应对所附权利要求的范围进行最宽泛地解释，以便涵盖所有的变型、等同的结构和功能。

Claims (7)

1.一种信息处理方法，用于使用已经叠加了第一虚拟对象的触觉设备向用户呈现来自叠加在真实对象上的第二虚拟对象的触觉，所述方法包括：

第一获取步骤，用于获取所述用户的观察点的位置和方向；

第二获取步骤，用于获取所述触觉设备的位置和方向；

第一虚拟图像产生步骤，基于所述用户的观察点的所述位置和方向、所述触觉设备的所述位置和方向、以及所述第一虚拟对象的计算机图形信息产生所述第一虚拟对象的第一虚拟图像；

第二虚拟图像产生步骤，基于所述用户观察点的所述位置和方向、以及所述第二虚拟对象的计算机图形信息，产生所述第二虚拟对象的第二虚拟图像；以及

呈现步骤，用于将所述第一虚拟图像和所述第二虚拟图像与真实空间图像组合在一起，并将组合的图像呈现给用户；

其中，使用所述第一虚拟对象的第一触觉事件模型和所述第二虚拟对象的第二触觉事件模型获得从所述第二虚拟对象接收的触觉；

所述第一触觉事件模型相应于所述第一虚拟对象的计算机图形信息；

所述第一虚拟对象的形状与所述触觉设备的形状不同，以便能够使用所述第一虚拟对象针对所述真实对象的内部作出指令；

所述第二触觉事件模型相应于所述第二虚拟对象的计算机图形信息；以及

其中，所述第二虚拟对象的形状与所述真实对象的形状不同，以便能够使用所述第二虚拟对象针对所述真实对象的内部作出指令。

2.根据权利要求1的信息处理方法，还包括设置步骤，用于基于用户指令设置所述第一触觉事件模型和所述第二触觉事件模型。

3.根据权利要求1的信息处理方法，其中，在所述第一虚拟图像产生步骤中，在所述触觉设备的特定部分和除所述特定部分之外的部分之间使用不同的技术，产生所述第一虚拟图像。

4.根据权利要求1的信息处理方法，还包括背景计算机图形渲染步骤，用于渲染代表真实空间的背景的计算机图形，并且使用背景的渲染计算机图形擦除所述真实对象的部分或全部。

5.根据权利要求1的信息处理方法，其中通过虚拟代理，使用所述第一虚拟对象的第一触觉事件模型和所述第二虚拟对象的第二触觉事件模型获得从所述第二虚拟对象接收的触觉。

6.根据权利要求1的信息处理方法，其中，在所述呈现步骤中将组合的图像显示在显示单元上，以便向用户呈现组合的图像。

7.一种信息处理设备，用于使用已经叠加了第一虚拟对象的触觉设备向用户呈现来自叠加在真实对象上的第二虚拟对象的触觉，所述信息处理设备包括：

第一获取单元，配置用于获取所述用户的观察点的位置和方向；

第二获取单元，配置用于获取所述触觉设备的位置和方向；

第一虚拟图像产生单元，配置用于基于所述用户的观察点的所述位置和方向、所述触觉设备的所述位置和方向、以及所述第一虚拟对象的计算机图形信息产生所述第一虚拟对象的第一虚拟图像；

第二虚拟图像产生单元，配置用于基于所述用户观察点的所述位置和方向、以及所述第二虚拟对象的计算机图形信息产生所述第二虚拟对象的第二虚拟图像；以及

呈现单元，用于将所述第一虚拟图像和所述第二虚拟图像与真实空间图像组合在一起，并将组合的图像呈现给用户；

其中，使用所述第一虚拟对象的第一触觉事件模型和所述第二虚拟对象的第二触觉事件模型获得从所述第二虚拟对象接收的触觉；

所述第一触觉事件模型相应于所述第一虚拟对象的计算机图形信息；

所述第一虚拟对象的形状与所述触觉设备的形状不同，以便能够使用所述第一虚拟对象针对所述真实对象的内部作出指令；

所述第二触觉事件模型相应于所述第二虚拟对象的计算机图形信息；以及

其中，所述第二虚拟对象的形状与所述真实对象的形状不同，以便能够使用所述第二虚拟对象针对所述真实对象的内部作出指令。

Images