CN1815409A - 系统、图像处理装置及信息处理方法 - Google Patents

Abstract

被显示在显示设备(23a，23b)上的图像(200)包括从操作者看到的混合显示空间，即物理对象(42)、虚拟对象(43)、笔(41a)和指针(41d)。

Description

系统、图像处理装置及信息处理方法

技术领域

本发明涉及提供通过复合物理空间与虚拟空间而形成的混合现实空间的图像的技术。

背景技术

近年来，为了物理世界与虚拟世界之间无缝合并，与混合现实(MR)相关的技术开发很盛行。MR作为一种增强VR以使物理世界与虚拟现实(VR)世界共存的技术已经受到了大量的关注，而传统上虚拟现实世界只能在与物理空间分开的情况中被体验。

用于实现混合现实的典型设备是HMD(头安装显示器)。该设备通过复合物理空间与虚拟空间并将它们显示在HMD上来实现混合现实。

在通过使用VR来支持远程场所参与者之间的会议或各种合作操作的系统中，与物理世界分开的世界被建立在计算机中并被共享，如上所述。另一方面，基于MR的远程控制系统可以支持通过将虚拟世界叠加在物理世界之上而形成的工作空间中的操作。

使用HMD的远程控制技术的示例是日本专利特开公告号2002-132487(US-2002-0049510-A1)。在该现有技术公开的技术中，操作者佩戴具有摄像机的HMD。操作者与远程场所的指导者共享来自摄像机的图像。指导者的指示被叠加到摄像机图像上来指导操作。在该技术中，操作者的摄像机是立体摄像机，从而他/她和指导者可以观看相同的3D图像。指导者指出图像中操作目标的手可以通过色度键复合被提取，并被与来自摄像机的图像复合。在这个系统中，没有坐标被设定在操作者的空间中。由于这个原因，除操作目标外的任何虚拟对象既不能被安排在操作者空间的任意位置，也不能被指出以致使交互。此外，如果操作者的观察点位置移动，那么即使指导者不移动他/她的手，手的图像也移动。

与上述已知技术类似，从远程场所给佩戴具有摄像机的光学透视HMD的操作者以指示的技术的另一个示例是block party(由W.Barfield和T.Caudell编辑的“Fundamentals of WearableComputers&Augmented Reality”，pp.557-563，Lawrence ErlbaumAssociates，Publishers，(2001))。Block Party具有将CG图像叠加到操作者通过光学透视HMD看到的工作空间上的功能。指导者基于来自操作者头上摄像机的图像来掌握操作过程，并在操纵操作目标3D模型的CG的同时支持操作。在该系统中，操作者的摄像机图像不是立体的。而且也没有CG图像被叠加。指导者观看显示在桌面监视屏幕上的摄像机图像，并使用3D图形编辑器操纵CG。由于这个原因，他/她几乎不能感觉操作者空间是无缝空间，并且也没有办法三维地指出操作者的摄像机图像。此外，操作者没有指出或操纵CG的功能。

在美国专利号6,708,142公开的系统中，参与者被立体摄像机感测，并且立体图像被传送给远程场所的其它参与者，使得佩戴HMD的参与者可以观看和操纵3D图像以及在他们之间共享的虚拟对象。在该示例中，参与者被两个立体摄像机感测，并且其余多个参与者可以观看3D图像。因为操作者的位置和用于操纵虚拟对象的手的位置被测量，所以虚拟对象的操纵是可能的。但是，由参与者所观看到的立体图像包括没有背景的参与者的图像以及通过虚拟对象的VR空间的图像，而没有参与者现实空间的信息。

发明内容

如上所述，既然现有技术中指导者的观察点受到操作者观察点的限制，那么任何操作指示都不能被平滑地给出。

本发明是考虑了上述问题而作出的，并且其目的是使得可能将由操作者观看到的图像传送给远程场所的指导者，并使指导者无缝地感觉操作者空间并在观看图像的同时给出三维的操作指示。

本发明的另一个目的是提供将操作者在其中现实对象和虚拟对象被登记的操作者混合现实空间中观看到的HMD图像传送给远程场所的指导者、并使操作者和指导者在观看HMD图像的同时无缝地将现实对象和虚拟对象指为操作者混合现实空间中的操作目标的技术。

本发明的另一个目的是通过准备使指导者的观察点不受操作者观察点影响的模式、并允许平滑地给出操作指示来解决上述问题。

为了实现本发明的目的，例如，本发明的系统包括下面的安排。

即，一种系统，其特征在于包括：

第一获得单元，其适于获得第一观察者的观察点的位置/取向；

产生单元，其适于产生从具有由第一获得单元获得的位置/取向的观察点看到的虚拟空间的图像；

第一操纵单元，其由第一观察者使用来操纵虚拟对象；

第二操纵单元，其由第二观察者使用来操纵虚拟对象，第二观察者远程控制第一观察者对虚拟对象的操纵；

第二获得单元，其适于获得从观察点看到的物理空间的图像；以及

输出单元，其适于将通过将由产生单元产生的图像叠加到被第二获得单元获得的图像上而形成的图像输出到由第一观察者佩戴的头安装显示器和由第二观察者佩戴的头安装显示器，

其中，产生单元产生第一操纵单元和第二操纵单元的操纵结果被反映在其上的虚拟空间的图像。

为了实现本发明的目的，例如，本发明的图像处理装置包括下面的安排。

即，一种图像处理装置，其特征在于包括：

第一获得单元，其适于获得第一观察者的观察点的位置/取向；

产生单元，其适于产生从具有由第一获得单元获得的位置/取向的观察点看到的虚拟空间的图像；

第二获得单元，其适于获得从观察点看到的物理空间的图像；以及

输出单元，其适于将通过将由产生单元产生的图像叠加到被第二获得单元获得的图像上而形成的图像输出到由第一观察者佩戴的头安装显示器和由远程控制第一观察者的虚拟对象操纵的第二观察者佩戴的头安装显示器，

其中，产生单元产生由第一观察者使用来操纵虚拟对象的第一操纵单元和由第二观察者使用来操纵虚拟对象的第二操纵单元的操纵结果被反映在其上的虚拟空间的图像。

为了实现本发明的目的，例如，本发明的图像处理方法包括下面的安排。

即，一种通过复合物理图像和表示虚拟对象的虚拟图像来产生3D复合图像的信息处理方法，其特征在于包括：

获得从第一观察者观察点来看的右物理图像和左物理图像；

获得第一观察者的观察点的位置/取向；

获得由第一观察者使用来操纵虚拟对象的第一指出单元的位置/取向；

获得由第二观察者使用来操纵虚拟对象的第二指出单元的位置/取向；

基于第一指出单元的位置/取向和第二指出单元的位置/取向之一控制虚拟对象的信息；

基于虚拟对象的控制信息产生与第一观察者的观察点的位置/取向相应的右虚拟图像和左虚拟图像；

通过复合物理图像和虚拟对象产生右复合图像和左复合图像；以及

将复合图像展示给第一观察者和第二观察者。

为了实现本发明的目的，例如，本发明的图像处理方法包括下面的安排。

即，一种使第二用户共享其中虚拟对象被叠加到第一用户所处空间上的混合现实空间图像的信息处理方法，其特征在于包括：

混合现实空间图像获得步骤，其基于由第一用户佩戴的第一图像感测单元的图像和基于第一图像感测单元的位置/取向的虚拟对象图像来获得混合现实空间图像；

事件信息获得步骤，其通过第一用户获得虚拟对象的事件信息；

第二用户观察点位置/取向信息获得步骤，其获得第二用户的观察点位置/取向信息；以及

产生步骤，其基于第二用户的观察点位置/取向信息产生与事件信息相应的虚拟对象图像，

其中，方法具有将第一图像展示给第二用户的第一模式和将虚拟对象图像展示给第二用户的第二模式。

为了实现本发明的目的，例如，本发明的图像处理系统包括下面的安排。

即，一种用于从远程场所共享其中虚拟对象被叠加到操作者所在空间上的操作者混合现实空间的信息处理系统，其特征在于包括：

立体图像传送单元，其适于将从操作者观察点来看的操作者混合现实空间的立体图像传送给指导者；

虚拟对象共享装置，用于使操作者和指导者共享虚拟对象；以及

立体装置，用于将立体图像展示给操作者和指导者，

其中，系统具有使指导者共享从操作者观察点来看的立体图像的模式以及允许指导者从与操作者观察点分开的观察点操纵虚拟对象的模式。

本发明的其它特征和优点根据下面结合附图的描述将很清楚，在附图中，相同的标号在整个附图中指代相同或相似的部分。

附图说明

包含在说明书中且构成其一部分的附图图示了本发明的实施例，并且其与描述一起用于说明本发明的原理。

图1是示出了根据本发明第一实施例系统的功能配置的框图；

图2A是示出了其中操作者通过操纵虚拟对象来进行操作的空间的图；

图2B是示出了指导者所处的空间的图；

图3是由操作者混合现实装置10a执行的处理的流程图；

图4是由指导者混合现实装置10b执行的处理的流程图；

图5是由操作者混合现实装置10a执行以接收传送自指导者混合现实装置10b的数据(笔信息)的接收处理(接收事件处理)的流程图；

图6是在设置在笔41a上的按钮被按下时由操作者混合现实装置10a执行的处理的流程图；

图7A是示出了操作者所处的空间的图；

图7B是示出了指导者所处的空间的图；

图8是示出了根据本发明第三实施例系统的功能配置的框图；

图9是在基于Z缓冲方法的步骤S200中使用隐面处理的虚拟对象呈现处理的流程图；

图10是示出了可应用于操作者混合现实装置10a或指导者混合现实装置10b的计算机硬件配置的框图；

图11是示出了登记表示操作者或指导者是否正操纵虚拟对象、并且如果正操纵那么哪个虚拟对象正被操纵的信息块的表格的结构示例的图；

图12是示出了根据第五实施例的混合现实远程控制系统的功能配置的框图；

图13A和13B分别是示出了操作者混合现实空间和远程场所的指导者混合现实装置的屏幕显示示例的图；

图14是示出了在指导者混合现实装置中使用的指示笔的按钮布置示例的图；

图15A到15C是示出了在指导者混合现实装置的模式改变中的屏幕显示示例的图；

图16是根据第五实施例操作者混合现实装置的操作者处理的流程图；

图17A到17C是根据第五实施例指导者混合现实装置的指导者处理的流程图；

图18A到18C是根据第五实施例指导者混合现实装置的按钮事件处理的流程图；

图19A到19H是根据第五实施例管理服务器的接收事件处理的流程图；

图20A到20D是根据第六实施例指导者混合现实装置的指导者处理与管理服务器的接收事件处理的一部分的流程图；

图21A和21B是根据第七实施例用于说明操作者混合现实装置和指导者混合现实装置的屏幕显示示例的图；

图22A到22C是根据第六实施例指导者混合现实装置的指导者处理与管理服务器的接收事件处理的一部分的流程图；

图23是示出了操作者/指导者操纵对象ID表的示例的图；以及

图24是示出了指导者操纵对象ID表的示例的图。

具体实施方式

现在将根据附图详细描述本发明的优选实施例。

[第一实施例]

<系统配置>

图1是示出了根据本发明本实施例系统的功能配置的框图。如图1所示，根据本实施例的系统包括在图1上侧的操作者混合现实装置10a和在图1下侧示出的指导者混合现实装置10b。这些装置可以通过例如互联网或LAN的网络彼此传送数据。网络可以是有线的或无线的。

头安装显示器(以下将被称为HMD)20a和20b被分别连接到装置10a和10b。操作者佩戴HMD 20a，指导者佩戴HMD 20b。扬声器27a和27b以及麦克风28a和28b被分别连接到装置10a和10b，使得操作者和指导者可以通过语音通信。

笔41a和41b被分别连接到装置10a和10b。虚拟对象(将在后面描述)的操纵由操作者使用笔41a或者由指导者使用笔41b来进行。每一个笔具有按钮和用于测量与笔在世界坐标系(原点在物理空间中的一个点且三个轴即x、y和z轴在原点互相垂直的坐标系)中的位置/取向相应的磁改变的磁传感器(未示出)。指示按钮的按下或取消按下的信号或者测量结果(信号)被输入到操作者混合现实装置10a(指导者混合现实装置10b)。

接下来将描述操作者HMD 20a。操作者HMD 20a包括3D位置/取向传感器21a、摄像机22和显示设备23a。

3D位置/取向传感器21a是通过已知测量技术测量与传感器在世界坐标系中的位置/取向相应的磁改变的磁传感器。测量结果(信号)被输入到操作者混合现实装置10a。

在本实施例中，摄像机22是立体摄像机。在图1中，L表示左摄像机，R表示右摄像机。由左和右摄像机感测到的图像被输入到操作者混合现实装置10a。

显示设备23a显示立体图像。在图1中，L表示左显示设备，R表示右显示设备。将被显示在左和右显示设备上的图像被从操作者混合现实装置10a输出。

3D位置/取向传感器21a与摄像机22之间的位置/取向关系是固定的。固定的位置/取向关系被预先测量，并且被保存作为操作者混合现实装置10a侧的偏置数据。更具体地，偏置数据包含表示左摄像机与3D位置/取向传感器21a之间位置/取向关系的偏置数据以及表示右摄像机与3D位置/取向传感器21a之间位置/取向关系的偏置数据。

接下来将描述操作者混合现实装置10a。操作者混合现实装置10a包括位置/取向测量单元11a、图像输入单元12、图像产生单元13、图像复合单元15a、虚拟对象信息管理单元16、笔信息接收单元31a、图像编码单元32a、图像传送单元33a、语音编码/解码单元34a和语音传送/接收单元35a。

位置/取向测量单元11a接收从3D位置/取向传感器21a输出的信号和从笔41a输出的信号，对信号进行A/D转换，并将它们作为数据(表示3D位置/取向传感器21a在世界坐标系中的位置/取向的数据，表示笔41a在世界坐标系中的位置/取向的数据，以及表示设置在笔41a上的按钮的按下的数据)输出到虚拟对象信息管理单元16。

从指导者混合现实装置10b输出的笔信息(关于笔41b的信息)通过笔信息接收单元31a被输入到虚拟对象信息管理单元16。

因此，虚拟对象信息管理单元16将从位置/取向测量单元11a接收的数据和通过笔信息接收单元31a从指导者混合现实装置10b接收的笔信息输出到图像产生单元13。

虚拟对象信息管理单元16还管理对每一个虚拟对象(将在后面描述)的底层控制。

图像产生单元13通过使用偏置数据和从位置/取向测量单元11a输入的“表示3D位置/取向传感器21a在世界坐标系中的位置/取向的数据”来产生从操作者观察点(右摄像机和左摄像机)看到的虚拟空间的图像。即，图像产生单元13产生从右摄像机看到的虚拟空间的图像和从左摄像机看到的虚拟空间的图像。产生从具有预定位置/取向的观察点看到的虚拟空间图像的过程是已知技术，其描述在这里将被省略。

至少一个虚拟对象存在于虚拟空间中。每一个虚拟对象可以通过使用笔41a或41b来操纵，如将在后面详细描述的。如果虚拟对象之一由笔41a或41b操纵，那么图像产生单元13将操纵结果反映在被操纵的虚拟对象上。

“表示笔41b的指针”被安排在虚拟空间中。该指针将在后面描述。

图像产生单元13产生虚拟空间的图像，并将其输出到图像复合单元15a。

图像复合单元15a通过将从图像产生单元13输入的“从右摄像机看到的虚拟空间图像”叠加到通过图像输入单元12输入的“由右摄像机感测到的物理空间图像”上，来产生“从右摄像机看到的混合现实空间图像(右混合现实空间图像)”。图像复合单元15a还通过将从图像产生单元13输入的“从左摄像机看到的虚拟空间图像”叠加到通过图像输入单元12输入的“由左摄像机感测到的物理空间图像”上，来产生“从左摄像机看到的混合现实空间图像(左混合现实空间图像)”。

所产生的左混合现实空间图像被输出到显示设备23a的左显示设备。右混合现实空间图像被输出到显示设备23a的右显示设备。因此，从左摄像机看到的混合现实空间图像被显示在左显示设备上，而从右摄像机看到的混合现实空间图像被显示在右显示设备上。

图像(左混合现实空间图像和右混合现实空间图像)通过图像编码单元32a被压缩编码，并被从图像传送单元33a传送到指导者混合显示装置10b。虽然压缩编码方法没有具体限制，但是必须使用与设置在指导者混合现实装置10b侧的图像解码单元32b的解码方法相对应的方法。

语音编码/解码单元34a接收通过麦克风28a输入的操作者的语音信号，并对信号进行压缩编码以将其传送到指导者混合现实装置10b侧。语音传送/接收单元35a将语音信号传送到指导者混合现实装置10b。指导者的语音信号也被压缩编码，并被从指导者混合现实装置10b侧传送。语音传送/接收单元35a接收语音信号，并将其输入到语音编码/解码单元34a。语音编码/解码单元34a对信号进行解码，并将其作为语音信号输出到扬声器27a。

当操作者将他/她自己的语音输入到麦克风28a时，输入语音可以被传送到指导者混合现实装置10b侧。操作者可以通过扬声器27a听到指导者的语音。因此，操作者和指导者可以彼此交谈。

接下来将描述指导者HMD 20b。指导者HMD 20b包括3D位置/取向传感器21b和显示设备23b，它们分别与设置在操作者HMD 20a中的3D位置/取向传感器21a和显示设备23a相同。即，指导者HMD20b没有用于感测物理空间的摄像机。

接下来将描述指导者混合现实装置10b。指导者混合现实装置10b包括语音编码/解码单元34b、语音传送/接收单元35b、图像解码单元32b、图像接收单元33b、位置/取向测量单元11b和笔信息传送单元31b。

位置/取向测量单元11b执行与操作者混合现实装置10a侧的位置/取向测量单元11a相同的操作。即，位置/取向测量单元11b接收来自3D位置/取向传感器21b的信号和来自设置在笔41b中的磁传感器的信号，并获得这些信号作为“表示3D位置/取向传感器21b在世界坐标系中的位置/取向的数据”和“表示笔41b在世界坐标系中的位置/取向的数据”。通过使用这些数据，“3D位置/取向传感器21b与笔41b之间的位置/取向关系”被获得。位置/取向测量单元11b还从笔41b接收表示设置在笔41b上的按钮是否被按下的信号，并获得信号作为数据。

笔信息传送单元31b将包含一组“表示设置在笔41b上的按钮是否被按下的数据”和“3D位置/取向传感器21b与笔41b之间的位置/取向关系”的笔信息输出到操作者混合现实装置10a侧的笔信息接收单元31a。

语音编码/解码单元34b与操作者混合现实装置10a侧的语音编码/解码单元34a相同。语音编码/解码单元34b接收通过麦克风28b输入的指导者的语音信号，并对信号进行压缩编码以将其传送到操作者混合现实装置10a侧。语音传送/接收单元35b将语音信号传送到操作者混合现实装置10a。操作者的语音信号也被压缩编码，并被从操作者混合现实装置10a侧传送。语音传送/接收单元35b接收语音信号，并将其输入到语音编码/解码单元34b。语音编码/解码单元34b对信号进行解码，并将其作为语音信号输出到扬声器27b。

当指导者将他/她自己的语音输入到麦克风28b时，输入语音可以被传送到操作者混合现实装置10a侧。指导者可以通过扬声器27b听到操作者的语音。因此，操作者和指导者可以彼此交谈。

图像接收单元33b接收从操作者混合现实装置10a侧的图像传送单元33a传送来的被压缩编码的左混合现实空间图像和右混合现实空间图像。图像解码单元32b将数据解码成左混合现实空间图像和右混合现实空间图像。左混合现实空间图像被输出到显示设备23b的左显示设备。右混合现实空间图像被输出到显示设备23b的右显示设备。

因此，指导者通过HMD 20b看到了与操作者所看到的相同的图像。

<环境>

接下来将描述操作者和指导者所处的空间的环境。图2A是示出了其中操作者通过操纵虚拟对象来进行操作的空间的图。在该空间中，手中拿有笔41a的操作者40正在操纵虚拟对象43。操作者40在头上有HMD 20a，因此可以通过HMD 20a看到在他/她前面的虚拟对象43。现在参照图2A，标号42指代物理对象。虚拟对象43模拟物理对象42。

如图2A所示，世界坐标系被设定在该空间中。世界坐标系具有位于预定点的原点和在原点处相互垂直相交的三个轴即x、y和z轴。该空间中的任何点都可以由世界坐标系中的坐标值来表示。因此，虚拟对象43的位置可以由世界坐标系中的坐标值来表示。虚拟对象43的位置或取向可以通过笔41a来改变。使用笔41a的虚拟对象操纵方法将在后面描述。指针41c是指示笔41a位置的虚拟对象。指针41c在被叠加到作为现实对象的笔41上的同时被显示。

虚拟对象43不仅可以由操作者操纵，而且还可以由指导者操纵。指导者可以通过操作笔41b以类似的方式来操纵虚拟对象43。图21A中的指针41d是指示笔41b的位置的虚拟对象。这将参照图2B来描述。

图2B是示出了指导者所处的空间的图。指导者从远程场所操纵虚拟对象43。指导者50在手中拿有笔41b，并通过使用它来操纵虚拟对象43。

指导者50在头上具有HMD 20b。如上所述，与被显示在HDM20a的显示设备23a上的图像相同的图像被显示在HMD 20b的显示设备23b上。图像200被显示在显示设备23a和23b上。图像200示出了从操作者的观察点看到的混合现实空间，即物理对象42、虚拟对象43、笔41a和指针41d。

当指导者50改变笔41b的位置/取向时，笔41b与指导者50的观察点之间的位置/取向关系改变。因此，指针41d在图2A所示空间中的布置位置/取向被如下确定，使得笔41b与指导者50的观察点之间的相对位置/取向关系等同于基于操作者40的观察点的位置/取向关系。

因为操作者40和指导者50共享观察点，所以他们中每一个都可以将从他/她的观察点看到的混合现实空间中被操纵的图像显示给来自相同观察点的伙伴。

<虚拟对象操纵方法>

如上所述，虚拟对象可以通过操作者和指导者拿在手中的笔来操纵。例如，笔的点被移动并被使得与将被操纵的虚拟对象接触。在这种状态下，设置在笔上的按钮被按下以设定虚拟对象把持模式。当笔的位置或取向然后被改变时，将被操纵的虚拟对象的位置或取向响应于此也改变(例如将被操纵的虚拟对象被布置在笔的位置/取向)。当设置在笔上的按钮在虚拟对象把持模式期间被按下时，虚拟对象把持模式被取消。之后，即使笔的位置/取向被改变，虚拟对象的位置/取向也不改变了。

<由操作者混合现实装置10a执行的处理>

接下来将参照图3所示的流程图描述由操作者混合现实装置10a执行的处理。

首先，装置被初始化(步骤S100)。在该初始化中，由虚拟对象信息管理单元16管理的表格(将在后面描述)被初始化，并且虚拟对象被布置在虚拟空间中。

到指导者混合现实装置10b的网络连接被启动以启用数据通信(步骤S110)。

与指导者混合现实装置10b的语音通信被启动以启用语音信号通信(步骤S120)。

左眼的物理空间图像和右眼的物理空间图像由摄像机22(左摄像机和右摄像机)感测。图像输入单元12接收所捕捉到的两个图像，并将它们输出到随后步骤的图像复合单元15a(步骤S130)。图像复合单元15a单独地保存左眼的物理空间图像和右眼的物理空间图像。

3D位置/取向传感器21a测量与传感器在世界坐标系中的位置/取向相应的磁改变，并将表示测量结果的信号输出到位置/取向测量单元11a。位置/取向测量单元11a获得信号作为数据(步骤S140)。如上所述，该数据表示3D位置/取向传感器21a在世界坐标系中的位置/取向。该数据包含一组六个参数(x，y，z，α，β，γ)。在这种情况下，α是关于x轴的旋转角，β是关于y轴的旋转角，γ是关于z轴的旋转角。

设置在笔41a上的磁传感器测量与传感器在世界坐标系中的位置/取向相应的磁改变，并将表示测量结果的信号输出到位置/取向测量单元11a。位置/取向测量单元11a获得信号作为数据(步骤S150)。该数据也包含上述的一组六个参数。

由位置/取向测量单元11a在步骤S140和S150中获得的数据被输出到虚拟对象信息管理单元16。

笔信息接收单元31a接收从指导者混合现实装置10b传送来的笔信息。虚拟对象信息管理单元16获得笔信息中“表示3D位置/取向传感器21b与指导者所使用的笔41b之间位置/取向关系的数据”(步骤S160)。

虚拟对象信息管理单元16判断操作者是否正在操纵虚拟对象，即虚拟对象把持模式是否被设定(步骤S170)。如果步骤S170为是，那么处理经过步骤S170向前到步骤S180。如果步骤S170为否，那么处理经过步骤S170向前到步骤S190。

虚拟对象把持模式是否被设定是通过查找图11所示的表格来确定的。图11是示出了登记表示操作者或指导者是否正在操纵虚拟对象、以及如果如此的话哪个虚拟对象正被操纵的信息块的表格的结构示例的图。图11所示表格中的操作者操纵对象ID指示正被操作者操纵的虚拟对象特有的代码。在图11中，操作者操纵对象ID为“空”。即，操作者现在没有操纵任何虚拟对象。另一方面，指导者操纵对象ID指示正被指导者操纵的虚拟对象特有的代码。在图11中，指导者操纵对象ID为“虚拟对象C”。即，指导者当前正在操纵虚拟对象C。

通过查找图11所示的表格，操作者是否正在操纵虚拟对象就可以在步骤S170中确定出来了。

如果操作者当前正在操纵虚拟对象，那么图像产生单元13通过使用在步骤S150中获得的“表示由操作者操作的笔41a在世界坐标系中的位置/取向的数据”来把将被操纵的虚拟对象(由操作者操纵对象ID指定的虚拟对象)布置在笔41a的位置/取向。此外，图像产生单元13以景像图表格式将布置结果登记到虚拟对象信息管理单元16中(步骤S180)。

虽然在图3的流程图中没有图示，但是如果指导者现在正在操纵虚拟对象，那么图像产生单元13把将被操纵的虚拟对象(由指导者操纵对象ID指定的虚拟对象)布置在指针的当前位置/取向，并将结果以景像图表格式登记在虚拟对象信息管理单元16中。

接下来，操作者的观察点，即摄像机22的左摄像机和右摄像机在世界坐标系中的位置/取向被获得(步骤S190)。左摄像机在世界坐标系中的位置/取向和右摄像机在世界坐标系中的位置/取向通过使用偏置数据和在步骤S140中获得的“表示3D位置/取向传感器21a在世界坐标系中的位置/取向的数据”获得。

图像产生单元13产生从左摄像机和右摄像机看到的虚拟空间的图像，其中根据反映笔41a和41b的操纵结果的虚拟对象景像图表的虚拟对象被布置，并且指示笔41a和41b的位置/取向的指针也被布置(步骤S200)。

指针41d通过使用在步骤S160中获得的表示位置/取向关系的数据而被布置在虚拟空间中，使得被布置的指针与操作者观察点之间的位置/取向关系等同于基于指导者观察点的笔41b之间的位置/取向关系。

左摄像机和右摄像机的位置/取向使用在步骤S190中获得的数据而被指定。当产生从具有预定位置/取向的观察点看到的虚拟空间的图像的传统技术被使用时，从每一个摄像机看到的虚拟空间图像可以被产生。

图像复合单元15a通过将从图像产生单元13输入的“从右摄像机看到的虚拟空间图像”叠加到通过图像输入单元12输入的“由右摄像机感测到的物理空间图像”上来产生右混合现实空间图像，并将右混合现实空间图像输出到显示设备23a的右显示设备。图像复合单元15a还通过将从图像产生单元13输入的“从左摄像机看到的虚拟空间图像”叠加到通过图像输入单元12输入的“由左摄像机感测到的物理空间图像”上来产生左混合现实空间图像，并将左混合现实空间图像输出到显示设备23a的左显示设备(步骤S210)。因此，左混合现实空间图像和右混合现实空间图像可以被显示在显示设备23a上。

两个图像(左混合现实空间图像和右混合现实空间图像)被图像编码单元32a压缩编码，并被从图像传送单元33a传送到指导者混合显示装置10b(步骤S220)。

除非处理结束指示被输入到装置，否则处理通过步骤S230返回到步骤S130以重复处理。如果处理结束指示被输入，那么处理通过步骤S230向前到步骤S240以断开在步骤S120中建立的网络连接(步骤S240)并断开在步骤S110中建立的网络连接(步骤S250)。

<由指导者混合现实装置10b执行的处理>

接下来将参照图4所示的流程图描述由指导者混合现实装置10b执行的处理。

首先，装置被初始化(步骤S300)。

到操作者混合现实装置10a的网络连接被启动以启用数据通信(步骤S310)。

与操作者混合现实装置10a的语音通信被启动以启用语音信号通信(步骤S320)。

位置/取向测量单元11b接收来自3D位置/取向传感器21b的信号和来自设置在笔41b中的磁传感器的信号，并获得这些信号作为“表示3D位置/取向传感器21b在世界坐标系中的位置/取向的数据”以及“表示笔41b在世界坐标系中的位置/取向的数据”。通过使用这些数据，“3D位置/取向传感器21b与笔41b之间的位置/取向关系”(指导者笔相对位置)被获得(步骤S330)。

下面将更详细地描述步骤S330中的处理。笔41b在世界坐标系中的位置X_dw由基于“3D位置/取向传感器21b在世界坐标系中的位置/取向”的坐标系即摄像机坐标系中的位置X_dc表示。这是CG技术中公知的叫作视点变换的坐标变换。位置X_dc通过使世界坐标数据X_dw乘以视点转换矩阵M_WONC(X_dc＝M_woncX_dw)来获得。视点变换处理在例如日本专利特开公告号2003-279310中描述，其详细描述将被省略。

所获得的指导者笔相对位置的数据X_dc被从笔信息传送单元31b传送到操作者混合现实装置10a(步骤S340)。

图像接收单元33b接收传送自操作者混合现实装置10a的被压缩编码的左混合现实空间图像和右混合现实空间图像，并将它们输出到图像解码单元32b(步骤S350)。图像解码单元32b对数据进行解码，并将它们输出到显示设备23b的左显示设备和右显示设备(步骤S360)。

如果处理结束指示被输入到装置，那么处理通过步骤S370向前到步骤S400以断开在步骤S320中建立的网络连接(步骤S400)并断开在步骤S310中建立的网络连接(步骤S410)。

如果没有处理结束指示被输入到装置，那么处理通过步骤S370向前到步骤S380。如果表示设置在笔41b上的按钮被按下的信号被输入到位置/取向测量单元11b，那么处理向前到步骤S390。笔信息传送单元31b将表示被按下状态的数据作为事件传送到操作者混合现实装置10a(步骤S390)。

<在操作者混合现实装置10a侧的数据接收处理>

接下来，将参照图5所示的流程图描述由操作者混合现实装置10a执行以接收从指导者混合现实装置10b传送来的数据(笔信息)的接收处理(接收事件处理)。根据图5中流程图的处理在与根据图3的流程图的处理分开的背景上被执行。

处理根据所接收事件的类型来分支。

<当所接收事件是指导者笔相对位置时>

当所接收事件是指导者笔相对位置时，步骤S500和S510中的处理被执行。

当笔信息接收单元31a接收指导者笔相对位置X_dc时，图像产生单元13将位置X_dc转换成操作者世界坐标系中的数据X_w，以在操作者所处的空间中将作为摄像机坐标系(xw，yw，zw，αw，βw，γw)中的值的X_dc布置为操作者观察点(摄像机22的左摄像机和右摄像机)。X_dc可以通过执行步骤S330中的视点转换的逆转换而被转换成操作者世界坐标系中的数据。该处理由X_w＝M_conwX_dc＝M_wonc ^-1X_dc给出。M_conw是视点转换的逆转换的矩阵，并且等于视点转换矩阵的逆矩阵M_wonc ^-1。该处理也通过例如日本专利特开公告号2003-279310的已知技术实现(步骤S500)。

表示在步骤S500中获得的位置/取向的数据被存储在虚拟对象信息管理单元16中用于各种目的(步骤S510)。

<当所接收事件是表示设置在笔41b上的按钮被按下的数据时>

当所接收事件是表示设置在笔41b上的按钮被按下的数据时，步骤S511到S570中的处理被执行。

当在步骤S500中时，被布置在操作者所处空间中的“表示笔41a的位置/取向的指针”的位置/取向被获得(步骤S511)。

通过查找图11所示的表格来确定指导者操纵对象ID是否为空，即指导者是否正在操纵虚拟对象(步骤S520)。如果步骤S520为是，那么处理向前到步骤S530，以将指导者操纵对象ID清为空，从而取消虚拟对象把持模式(步骤S530)。

如果步骤S520中为否，那么处理向前到步骤S540，以通过使用在步骤S511中获得的“表示指针当前位置/取向的数据”来计算虚拟对象与当前指针位置之间的距离(步骤S540)。如果多个虚拟对象存在于虚拟空间中，那么到每一个虚拟对象的距离被计算。

如果存在其到指针的距离等于或小于预定值的虚拟对象(如果存在与指针间隔开预定值或更小的多个虚拟对象，那么与指针有最短距离的虚拟对象被选择)，那么处理通过步骤S550向前到步骤S560。如果在步骤S550中指定的“最靠近指针的虚拟对象”所特有的ID不等于在图11所示表格中的操作者操纵对象ID，那么处理通过步骤S560向前到步骤S570，以将在步骤S550中指定的“最靠近指针的虚拟对象”所特有的ID登记到指导者操纵对象ID中。

<当所接收事件不是上述事件时>

当所接收事件不是上述事件时，即所谓的“另一事件”，步骤S590中的处理即与事件相应的处理被执行(步骤S590)。

<当设置在笔41a上的按钮被按下时由操作者混合现实装置10a执行的处理>

下面将参照图6所示的流程图描述当设置在笔41a上的按钮被按下时由操作者混合现实装置10a执行的处理。根据图6所示流程图的处理在根据图3中流程图的处理的当前的背景上被执行。

通过查找图11所示的表格来确定操作者操纵对象ID是否(为空)存在，即操作者是否正在操纵虚拟对象(步骤S600)。如果步骤S600为是，那么处理向前到步骤S610，以将操作者操纵对象ID清为空，从而取消虚拟对象把持模式(步骤S610)。

如果步骤S600中为否，那么处理向前到步骤S620，以通过使用“表示笔41a在世界坐标系中的当前位置/取向的数据”来计算虚拟对象与笔41a当前位置之间的距离(步骤S620)。如果多个虚拟对象存在于虚拟空间中，那么到每一个虚拟对象的距离被计算。

如果存在其到笔41a的距离等于或小于预定值的虚拟对象(如果存在与笔41a间隔开预定值或更小的多个虚拟对象，那么与笔41a有最短距离的虚拟对象被选择)，那么处理通过步骤S630向前到步骤S640。如果在步骤S630中指定的“最靠近笔41a的虚拟对象”所特有的ID不等于在图11所示表格中的指导者操纵对象ID，那么处理通过步骤S640向前到步骤S650，以将在步骤S630中指定的“最靠近笔41a的虚拟对象”所特有的ID登记到操作者操纵对象ID中。

如上所述，根据图5所示流程图的处理和根据图6所示流程图的处理在不同的过程(或线程)中被执行，并且单独地查找图11所示的表格。因此，当表格被重写时，从另一个过程(或线程)的访问被禁止。通过这种方式，对每一个虚拟对象的底层控制可以被管理。

如上所述，根据本实施例，由操作者观看到的混合现实空间图像被传送给远程场所的指导者。指导者可以无缝地感觉操作者的空间，并在观看图像的同时给操作者以各种三维的操作指示。因此，对操作者的操作支持或操作教育可以从远程场所方便地进行。

在本实施例中，所有传感器已经被说明为是磁传感器。但是，例如光传感器或超声传感器的任何其它传感器都可以使用。

在本实施例中，操作者和指导者在他们的头上都佩戴HMD。取代HMD，3D显示器可以被使用。在极化显示器或液晶立体显示器中，指导者佩戴极化眼镜或液晶立体眼镜而不是HMD。如果3D影像可以通过例如透镜方法用裸眼获得，那么就不需要眼镜了。在任何一种情况下，3D位置/取向传感器必须被佩戴，因为头部的位置/取向必须被测量。

在本实施例中，在网络连接被建立在操作者混合现实装置10a与指导者混合现实装置10b之间时，他们一直执行数据通信。但是，通信的开/关可以在图像产生单元侧或指导者侧被转换。

[第二实施例]

在第一实施例中，表示笔41b位置/取向的指针被布置在通过将3D位置/取向传感器21b与笔41b之间的相对位置/取向关系转换成从操作者观察点的相对位置/取向关系而获得的位置/取向上。因此，可以获得好像操作者从他/她的观察点伸出手并指出的感觉。但是，当操作者改变头部的位置/取向时，指针的位置也移动。由于这个原因，指针可以移到指导者不期望的位置。

在第二实施例中，为了解决该问题，世界坐标系还被设定在指导者侧。图7A是示出了操作者所处空间的图。图7B是示出了指导者所处空间的图。如图7B所示，与操作者的世界坐标系相应的世界坐标系被设定在指导者所处的空间中。

在本实施例中，指导者混合现实装置10b根据图4所示流程图执行处理。在步骤S330，位置/取向测量单元11b接收来自设置在笔41b中的磁传感器的信号，并获得该信号作为表示“笔41b在设定在指导者所处空间中的世界坐标系中的位置/取向”的数据。在步骤S340，该数据被传送到操作者混合现实装置10a。

由操作者混合现实装置10a执行的处理基本上与第一实施例中的相同。指针被布置在步骤S340中所传送的位置/取向。因此，指导者可以与操作者的头部移动无关地通过指针指出相同的位置。

[第三实施例]

在上述实施例中，虚拟空间图像总是被叠加到物理空间图像上。因此，虚拟对象的图像总是被呈现在物理对象的前景中。当从观察者(操作者或指导者)来看虚拟对象(包括指针)位于物理对象的后面时，虚拟对象一定会被物理对象遮住。但是，由于上述处理虚拟对象被呈现在物理对象的前景中，从而导致视觉错误。在本实施例中，为了解决这一问题，物理对象通过图像识别技术被预先识别，或者其形状通过使用各种类型的传感器而被预先测量，使得物理对象的3D模型被预先知道。

图8是示出了根据本发明本实施例系统功能配置的框图。在根据本实施例的系统中，3D位置/取向传感器45被添加到图1所示的第一实施例的系统配置中。3D位置/取向传感器45被连接到位置/取向测量单元11a。

3D位置/取向传感器45是磁传感器，与其它传感器一样，并测量物理对象在世界坐标系中的位置/取向。

首先，将参照图3所示的流程图描述由包含在具有上述配置的系统中的操作者混合现实装置10a执行的处理。根据本实施例的操作者混合现实装置10a基本上根据图3所示的流程图执行处理。此外，在步骤S150，位置/取向测量单元11a接收3D位置/取向传感器45的测量结果信号，并获得该信号作为数据。所获得的数据表示物理对象在世界坐标系中的位置/取向，如上所述。该数据包含一组六个参数，与上述笔数据一样。

如上所述，物理对象的3D模型已经被获得。3D模型和在步骤S150中获得的数据可以被以世界坐标存储作为景像图表。

步骤S200中虚拟对象的呈现被基于虚拟对象与物理对象之间的遮挡关系而进行。隐面消除处理被用于这里的呈现。

Z缓冲方法在CG系统的隐面消除中被经常使用。Z缓冲器是具有与显示设备相同的分辨率的二维阵列缓冲器，并且存储每一个像素的深度信息。

对于所有虚拟对象的多边形，通过对通过从观察点位置透视投影而扫描变换的每一个像素使用Z缓冲器，作为深度信息的Z值被获得。如果该值小于已经存储在Z缓冲器中的Z值，那么像素被定位在前景。像素的Z值被新存储在Z缓冲器中，并且像素的色彩被重写在相应的帧缓冲器中。该处理被重复。

下面将参照图9所示的流程图描述使用步骤200中基于Z缓冲方法的隐面处理的虚拟对象呈现。

扫描变换被对例如物理对象的3D模型(物理对象模型)、指针和其它虚拟对象的所有对象执行。扫描变换被执行以使所有像素对应于作为相应于显示屏幕的帧缓冲器的图像复合单元15中的缓冲位置(步骤S204)。

在步骤204的处理被执行之前，在步骤S130来自摄像机22的所捕捉到的图像被输入到图像复合单元15。最远点的值被存储在Z缓冲器中。

物理对象模型的每一个像素的Z值被获得，并且被与Z缓冲器中的值进行比较。如果值小于已经存储在Z缓冲器中的Z值，那么Z值被新存储在Z缓冲器中。但是，将像素色彩写到相应帧缓冲器中的处理被省略(步骤S206)。结果是，虽然Z值被重写，但是帧缓冲器的内容不被重写。即，透明对象存在于Z缓冲器中所存储的深度值的位置。

然后，指针和其它虚拟对象的每一个像素的Z值被获得，并且被与Z缓冲器中的值进行比较。如果值小于已经存储在Z缓冲器中的Z值，那么Z值被新存储在Z缓冲器中。此外，像素色彩被写到相应帧缓冲器中(步骤S208)。然后，隐面处理结束。

通过上述处理，操作者或指导者的指针可以没有矛盾地无缝地指出操作者混合现实空间中的现实对象和虚拟对象。

[第四实施例]

操作者混合现实装置10a或指导者混合现实装置10b可以通过例如通用PC(个人计算机)或WS(工作站)的计算机实现。

图10是示出了可应用于操作者混合现实装置10a或指导者混合现实装置10b的计算机的硬件配置的框图。为了描述简便，具有相同配置的计算机被用作操作者混合现实装置10a和指导者混合现实装置10b。但是，具有不同配置的计算机当然也可以被应用。

现在参照图10，CPU 1001通过使用存储在RAM 1002和ROM1003中的程序和数据控制整个计算机，并执行将由装置使用计算机进行的处理(例如根据上述流程图的处理)。

RAM 1002可以适当地提供用于暂时存储从外部存储设备1006装载的程序或数据的区域，用于暂时存储通过I/F 1007传送/接收的数据的区域，以及将被CPU 1001使用以执行各种处理的工作区域。

ROM 1003存储使用计算机的装置的启动程序和设置数据。

显示单元1004包括CRT或液晶屏幕，并且可以将CPU 1001的处理结果显示为图像或文本。

操作单元1005包括键盘和鼠标，并且可以将各种指令输入到CPU 1001。在上述处理操作中将被输入到装置中的指令通过使用操作单元1005而被输入。

外部存储设备1006是由硬盘驱动表示的大容量存储设备。OS(操作系统)和用于使CPU 1001执行应该由使用计算机的装置执行的上述处理的程序数据被存储在外部存储设备1006中。数据中的一些或全部在需要时在CPU 1001的控制下被装载到RAM 1002，并且被CPU1001处理。

例如，当计算机被应用于第一实施例的操作者混合现实装置10a时，使CPU 1001执行图1中操作者混合现实装置10a的单元的功能的程序和数据被保存在外部存储设备1006中。当计算机被应用于第一实施例的指导者混合现实装置10b时，使CPU 1001执行图1中指导者混合现实装置10b的单元的功能的程序和数据被保存在外部存储设备1006中。当计算机被应用于第三实施例的操作者混合现实装置10a时，使CPU 1001执行图8中操作者混合现实装置10a的单元的功能的程序和数据被保存在外部存储设备1006中。当计算机被应用于第三实施例的指导者混合现实装置10b时，使CPU 1001执行图8中指导者混合现实装置10b的单元的功能的程序和数据被保存在外部存储设备1006中。

I/F 1007被连接到将被连接到使用计算机的装置的硬件。例如，当计算机被应用于第一实施例的操作者混合现实装置10a时，HMD20a、麦克风28a和笔41a被连接到I/F 1007。当计算机被应用于第一实施例的指导者混合现实装置10b时，HMD 20b、麦克风28b和笔41b被连接到I/F 1007。当计算机被应用于第三实施例的操作者混合现实装置10a时，3D位置/取向传感器45还被连接到I/F 1007。各种设备被连接到这里的一个I/F。但是，I/F可以对每一个设备设置。

当计算机被应用于操作者混合现实装置10a时，扬声器1008对应于扬声器27a。当计算机被应用于指导者混合现实装置10b时，扬声器1008对应于扬声器27b。

NIC(网络接口)1009将计算机连接到网络。当计算机被应用于操作者混合现实装置10a或指导者混合现实装置10b时，每一个计算机通过NIC 1009执行数据通信。

总线1010连接上述单元。

[第五实施例]

图12是示出了根据本实施例混合显示远程控制系统的功能配置的框图。配置包括在图12上侧示出的操作者混合显示装置510a和在图12下侧示出的指导者混合现实装置510b。这些装置经由管理服务器560通过网络连接。两个装置都具有HMD(头安装显示器)520a和520b，从而操作者和指导者都可以通过HMD看到操作者所处空间的混合现实空间图像。装置还包括用于操作者与指导者之间对话的麦克风528a和528b以及扬声器527a和527b。

操作者HMD 520a包括：3D位置/取向传感器521a，用于通过使用磁性测量HMD的位置/取向；立体摄像机522(L指示左摄像机，R指示右摄像机)，其能够感测物理空间并获得图像；以及能够显示图像的立体显示设备523a(L指示左显示设备，R指示右显示设备)。3D位置/取向传感器521a与摄像机522之间的位置关系被预先测量并被固定。3D位置/取向传感器521a将位置/取向信号作为测量结果输出到位置/取向测量单元511a(将在后面描述)。摄像机522将图像感测结果输出到图像输入单元512(将在后面描述)。显示设备523a接收来自图像复合单元515的左和右图像信号，并将图像分别显示在左显示设备523aL和右显示设备523aR上。

操作者混合现实装置510a中的位置/取向测量单元511a接收从HMD 520a的3D位置/取向传感器521a输出的3D位置/取向信号、作为3D指出设备的笔在混合现实空间中的3D位置/取向信号，并将这些数据输出到虚拟对象管理单元516a。虚拟对象管理单元516a接收来自位置/取向测量单元511a的操作者笔和HMD的位置/取向数据，并将它们与被用于操作的所有虚拟对象的数据一起存储。虚拟对象传送/接收单元531a向/从管理服务器560传送/接收与指导者混合现实装置510b共享的所有虚拟对象信息决。从管理服务器560接收的虚拟对象的事件信息被发送到虚拟对象管理单元516a，使得存储在那里的虚拟对象的景像图表被改变。图像产生单元513a通过根据操作者观察点信息(HMD位置/取向信息)看存储在虚拟对象管理单元516a中的所有虚拟对象的景像图表来呈现左和右虚拟空间CG，从而产生图像。

图像复合单元515通过图像输入单元512接收来自左摄像机522L和右摄像机522R的所捕捉到的图像，并将由图像产生单元513a产生的左和右虚拟空间CG图像复合到输入图像上。结果，从操作者观察点来看的虚拟空间数据被叠加到来自摄像机的所捕捉图像上，并且被分别显示在显示设备523a的左和右显示设备上。叠加后的图像被图像编码单元523a压缩编码，并通过图像传送单元533a被传送到管理服务器560。

指导者混合现实装置510b的配置与操作者混合现实装置510a的配置几乎相同，不同的只是没有摄像机被安装在HMD 520a上，因此没有图像被从摄像机输入。作为操作者空间的混合现实空间图像，来自操作者HMD的摄像机的立体图像通过管理服务器560被图像接收单元533b接收，被图像加密单元532b解码，并被显示在显示设备523b的左显示设备523bL和右显示设备523bR上。指导者HMD的位置/取向被从3D位置/取向传感器521b获得，被与笔541b的3D位置/取向一起输入到位置/取向测量单元511b，并被发送到虚拟对象管理单元516b。虚拟对象管理单元516b存储操作者与指导者之间共享的所有虚拟对象数据，象操作者混合现实装置510a的虚拟对象管理单元516a那样。对于指导者侧的虚拟对象的事件通过虚拟对象传送/接收单元531b被发送到管理服务器560。对于从管理服务器560接收的虚拟对象的事件通过虚拟对象传送/接收单元531b被发送到虚拟对象管理单元516b，使得景像图表被改变。图像产生单元513b的功能与图像产生单元513a的功能相同，其描述将被省略。图像输出单元517将接收自图像解码单元532b的操作者混合现实空间图像或者接收自图像产生单元513b的虚拟对象CD图像选择性地输出到显示设备532b。

在操作者混合现实装置与指导者混合现实装置之间的连接被建立之后，图像通信模块和语音通信模块被启动。操作者混合现实空间图像通过单向通信被从图像传送单元533a传送到图像接收单元533b。语音通信通过双向通信被交换。因此，操作者可以通过使用扬声器527a和麦克风528a与指导者谈话，并且指导者可以通过使用扬声器527b和麦克风528b与操作者谈话。

管理服务器560管理虚拟对象信息。虚拟对象通信管理单元561管理操作者混合现实装置与指导者混合现实装置之间的信息通信。虚拟对象管理单元562管理包括操作者和指导者笔和HMD的被共享的虚拟对象的景像图表的信息，以及对被共享的虚拟对象的底层控制。来自操作者或指导者的虚拟对象信息的任何改变被作为事件传送到虚拟对象管理单元562。在被共享的景像图表在虚拟对象管理单元562中被改变之后，相同的事件被分发给操作者混合现实装置510a和指导者混合现实装置510b，并且存储在每一个装置中的虚拟对象景像图表被改变。

下面将参照图13A和13B描述上述配置的操作示例。图13A示出了其中佩戴HMD的操作者540正在混合现实空间中进行操作的状态。标号542指代现实操作目标；543指代操作目标3D模型的3D CG图像。虚拟对象543被指导者共享。来自指导者的操作指示或操作示例通过虚拟对象543来实现。如图13A所示的世界坐标系(x，y，z)被设定在操作者所处的物理空间中。作为放在坐标系中的示例模型的虚拟对象543可以通过HMD观看到，好像它被放在现实操作对象542旁边。可能进行交互例如以通过使用具有磁传感器的笔来选择和移动虚拟对象的部分。标号541a指代通过将CG叠加到操作者的笔上而产生的指针；541b指代指导者笔的CG图像。

图13B示出了远程场所的指导者的空间。指导者550佩戴HMD520b。操作目标542和3D模型CG 543作为3D图像被显示在HMD520b的显示设备523b上。该图像与操作者540看到的图像相同。指针541a指示操作者笔的位置，指针541b指示指导者笔的位置。与操作者混合现实空间的世界坐标系相应的指导者世界坐标系(x，y，z)甚至被设定在指导者所处的空间中，如图13B所示。在两个世界坐标系中，虚拟对象的位置/取向由操作者和指导者共有的坐标值表示。因为指导者的HMD 520b和笔541b具有磁传感器，所以观察点位置与手中笔之间的相对位置关系可以被测量。指导者笔的离操作者的观察点的位置可以通过将位置关系转换成离操作者观察点的位置关系而被确定。由于这个原因，指导者可以给出好像操作者可以从他/她的观察点操纵指针的感觉。其中操作者观察点混合现实空间图像被共享在操作者与指导者之间、并且指导者的指针被基于操作者观察点位置显示的状态将被叫作工作空间模式。

指导者550通过在看与操作者所看的相同的图像523b的同时，用指针541b指出虚拟对象543或者移动虚拟对象的部分来向操作者给出操作指示。

为了移动虚拟对象，笔541b被如下移动使得它接触虚拟对象，并且图14中所示的第一按钮547被按下。虚拟对象抓住模式被设定，并且被抓住的虚拟对象与笔一起移动。当笔的按钮在抓住模式期间被按下时，抓住模式被取消，并且虚拟对象被释放。操作者也可以通过相同的操作操纵虚拟对象。操作者的笔只具有一个按钮(未示出)。为了防止操作者和指导者操纵的任何同时发生，只有一个笔可以被设定在抓住模式来移动虚拟对象。

在操作者空间模式中，指导者的头部与手中笔之间的相对位置关系被转换成离操作者头部的位置/取向的相对位置关系，从而将指导者的指针显示在操作者的混合现实空间中。因此，可以获得好像操作者从他/她的观察点伸出手并指出的感觉。但是，当操作者改变头部的位置/取向时，指针的位置也移动。由于这个原因，指针可能移到指导者不期望的位置。为了防止该情况，当指导者按下图14所示的笔第二按钮548时，只包含从指导者观察点来看的虚拟对象的虚拟空间(图15A到15C)被显示在显示设备523b上。在该示例中，包含虚拟对象543、操作者指针541a和指导者指针541b的虚拟空间被从指导者观察点显示。指导者通过例如在看该空间的同时指出或移动虚拟对象来对其进行操纵。当结果被反映在操作者混合现实装置上时，虚拟对象可以被共享在指导者与操作者之间。即，指导者可以不依赖于操作者头部的移动而从他/她自己的观察点看见并操纵虚拟对象。该状态将被叫作共享虚拟模式。在该模式下，操作者看到被指导者改变的虚拟对象被叠加到其上的混合现实空间。

当指导者在共享虚拟模式期间按下笔第二按钮548时，图15C中示出的独立虚拟模式的图像被显示。在该模式下，虚拟对象543不被操作者共享，并且只有指导者指针541b被显示为指针。在该状态下，指导者的指出或者虚拟对象的改变只在指导者混合现实装置中被进行，并且不被反映到操作者混合现实装置上。指导者可以通过试错法独立地操纵虚拟对象。当指导者在该模式期间按下笔第二按钮时，以独立虚拟模式被编辑的虚拟对象被上载到管理服务器，然后被下载到操作者混合现实装置。图15A中示出的操纵结果被反映在其上的图像被显示在指导者HMD的显示设备上，并且模式返回到首先描述的工作空间模式。以这种方式，指导者可以通过根据指示内容适当地转换模式来有效地给出操作指示。

图16是说明用于在混合现实工作空间中执行操作的操作者混合现实装置510a的操作的流程图。虽然在图13A和13B中没有图示，但是装置510a可以被连接到HMD 520a和操作者的笔541a，并且经由管理服务器560通过网络被连接到指导者混合现实装置510b。

在步骤S5100，操作者混合现实装置510a被初始化。在该步骤中，混合现实工作空间的世界坐标系被设定。来自传感器(将在后面描述)的输出被表示为包含坐标系中一组六个参数(x，y，z，α，β，γ)的数据。在这种情况下，α是关于x轴的旋转角，β是关于y轴的旋转角，γ是关于z轴的旋转角。作为现实对象542基准的虚拟对象543的初始数据被布置在世界坐标系中，并且作为景像图表数据被存储在虚拟对象管理单元516a中。

在步骤S5110，到管理服务器560的网络连接被建立以启用装置之间的数据传送/接收。在步骤S5100中设定的虚拟对象信息通过虚拟对象传送/接收单元531a被上载到管理服务器560。

在步骤S5120，操作者混合现实装置510a与指导者混合现实装置510b之间的语音通信连接被启动。在语音通信连接被设定之后，语音被从扬声器527a和527b输出，并被输入到麦克风528a和528b。因此，操作者和指导者可以通过语音谈话。图像通信连接还被设定使得图像可以从图像传送单元533a被传送到图像接收单元533b。

在步骤S5130，来自安装在操作者HMD上的摄像机522的图像通过图像输入单元512被输入到图像复合单元515。摄像机522包括与操作者眼睛相应的左(L)和右(R)两个摄像机。图像被存储在图像复合单元515的单独的缓冲器中。

在步骤S5140，操作者头部的位置/取向作为来自HMD 3D位置传感器521a的值被输入到位置/取向测量单元511a，使得包含世界坐标系中一组六个参数的数据被产生。

在步骤S5150，操作者笔541a的3D位置/取向信息以与来自HMD3D位置传感器的且被保存在虚拟对象管理单元516a中的数据相同的格式被输入到位置/取向测量单元511a。

在步骤S5160，在步骤S5150中获得的操作者HMD和笔的位置/取向信息作为事件通过虚拟对象传送/接收单元531b被传送给管理服务器560。

在步骤S5170，检查操作者笔的按钮是否被按下。如果步骤S5170为是，那么流程向前到步骤S5180。否则，流程向前到步骤S5190。

在步骤S5180，被按下按钮的事件通过虚拟对象传送/接收单元531a被传送到管理服务器560。

在步骤S5190，有关操作者指针、指导者指针和虚拟对象改变的信息作为来自管理服务器560的事件通过虚拟对象传送/接收单元531a被接收。

在步骤S5210，存储在虚拟对象管理单元516a中的景像图表基于在步骤S5190中获得的改变信息被改变。

在步骤S5220，图像产生单元513a基于虚拟对象的景像图表、操作者指针541a和指导者指针541b产生操纵结果被反映在其上的从操作者HMD的位置/取向看到的左CG图像和右CG图像。

在步骤S5240，图像复合单元515将步骤S5220中产生的左CG图像和右CG图像叠加到来自摄像机的左捕捉图像和右捕捉图像，从而获得虚拟对象和物理对象的复合图像。3D位置/取向传感器521a、左摄像机522L和右摄像机522R之间的位置关系被固定。因为转换公式可以通过校准而预先获得，所以摄像机观察点的位置/取向通过使用该公式被确定。左复合图像和右复合图像被分别显示在操作者HMD的左显示设备523aL和右显示设备523aR上。

在步骤S5250，与显示在操作者HMD的显示设备23a上的那些相同的双目图像被图像编码单元532a编码，并通过图像传送单元533a被传送到指导者混合现实装置的图像接收单元533b。

在步骤S5260，如果操作者混合现实装置的结束命令被输入，那么流程向前到步骤S5270的语音通信结束处理。否则，流程返回到步骤S5130。

在步骤S5270，语音连接通过结束语音通信处理而被断开，并且图像通信连接也被断开。

在步骤S5280，与管理服务器的通信被断开，从而结束处理。

图17A到17C是说明用于指导/支持混合现实工作空间中操作的指导者混合现实装置510b的操作的流程图。以工作空间模式的处理被从步骤S5300首先执行。

在步骤S5300，指导者混合现实装置510b被初始化。在该步骤中，位置/取向测量单元511b设定指导者所处空间的世界坐标系。从3D传感器(将在后面描述)的输出被表示为包含一组六个参数的数据，如在前面描述的操作者混合现实装置510a中一样。指导者操纵对象ID表格(将在后面描述)被清空。

在步骤S5302，到管理服务器560的网络连接被建立以启用装置之间的数据传送/接收。例如虚拟对象信息的数据通过虚拟对象传送/接收单元531b被下载，并被存储在虚拟对象管理单元516b中。

在步骤S5304，到操作者混合现实装置510a的语音通信连接和图像通信连接被设定，并且语音通信被启动。指导者的语音被从扬声器527b输入，并被输入到麦克风528b。因此，通过语音的对话在操作期间是可能的。来自操作者混合现实装置的图像可以通过图像接收单元533b被接收。

在步骤S5306，指导者笔541b的3D位置/取向信息(xs，ys，zs，αs，βs，γs)被读出，被输入到位置/取向测量单元511b，并被保存在虚拟对象管理单元516b中。

在步骤S5308，指导者观察点的位置/取向(xh，yh，zh，αh，βh，γh)被从HMD 3D位置传感器521b读出，被输入到位置/取向测量单元511b，并被保存在虚拟对象管理单元516b中。

在步骤S5310，在步骤S5306和S5308中获得的笔和HMD的3D位置/取向数据被传送到管理服务器560。

在步骤S5312，来自操作者混合现实装置的图像传送单元533a的左和右图像被图像接收单元533b接收，并且被图像解码单元532b解码。

在步骤S5314，被解码的左和右图像被写到图像输出单元517中，并被分别显示在指导者HMD 520b的左显示设备523bL和右显示设备523bR。

在步骤S5316，如果指导者混合现实装置的结束命令被输入，那么流程向前到步骤S5318的语音通信结束处理。否则，流程返回到步骤S5306以重复处理。

在步骤S5318，语音处理通过断开语音通信连接和图像通信连接而被断开。在步骤S5320，与管理服务器560的通信被断开，从而结束处理。

图18A示出了当指导者笔的按钮在工作空间模式下被按下时的按钮事件处理。当笔第一按钮547被按下时，步骤S5400被启动。在步骤S5400，指导者笔和HMD的位置/取向被从虚拟对象管理单元516b读出，并被传送到管理服务器560。然后，流程返回到图17A中的工作空间模式的流程。当笔第二按钮548被按下时，流程向前到共享虚拟模式(将在后面描述)下的处理。共享虚拟模式下的处理将参照图17B中示出的流程图描述。

在步骤S5330，指导者笔541b的3D位置/取向信息(xs，ys，zs，αs，βs，γs)被读出，被输入到位置/取向测量单元511b，并被保存在虚拟对象管理单元516b中。

在步骤S5334，在步骤S5330和S5332中获得的笔的3D位置/取向被传送到管理服务器560。

在步骤S5336，有关操作者指针、指导者指针和虚拟对象改变的信息通过虚拟对象传送/接收单元531b作为事件被从管理服务器560接收。

在步骤S5338，存储在虚拟对象管理单元516b中的景像改变基于在步骤S5336中获得的改变信息而被改变。

在步骤S5340，图像产生单元513b基于步骤S5338中改变的景像改变产生从指导者观察点(指导者HMD的位置/取向)看到的左CG图像和右CG图像。CG图像被输出到图像输出单元517并被显示在显示设备523b上。流程返回到步骤5330。

通过上述处理，只包含从指导者观察点来看的虚拟对象的虚拟空间图像被显示在指导者HMD上。图18B示出了当指导者笔的按钮在共享虚拟模式下被按下时的处理。

当笔第一按钮547被按下时，步骤S5410被启动。在步骤S5410，指导者笔的位置/取向被从虚拟对象管理单元516b读出，并被传送到管理服务器560。然后，流程返回到图17B中的共享虚拟模式的流程。当笔第二按钮548被按下时，流程向前到步骤S5420，以将用于将存储在管理服务器的虚拟对象管理单元562中的指导者操纵对象ID表格的适当域清空的请求传送到管理服务器560。然后，流程向前到独立虚拟模式(将在后面描述)下的处理。

独立虚拟模式下的处理将参照图17C中示出的流程图描述。

在步骤S5350，指导者笔541b的3D位置/取向信息(xs，ys，zs，αs，βs，γs)被读出，被输入到位置/取向测量单元511b，并被保存在虚拟对象管理单元516b中。

在步骤S5352，指导者观察点的位置/取向(xh，yh，zh，αh，βh，γh)被从HMD 3D位置传感器521b读出，被输入到位置/取向测量单元511b，并被保存在虚拟对象管理单元516b中。

在步骤S5354，通过检查图24中示出的指导者操纵对象ID表格来确定指导者当前是否正在操纵虚拟对象。该表格被保存在指导者混合现实装置的虚拟对象管理单元516b中，并存储表示哪个虚拟对象正被指导者操纵的值。图24中示出的示例指示指导者正在操纵虚拟对象A。如果没有虚拟对象正被操纵，那么空被存储。当通过检查该表格确定出指导者正在操纵虚拟对象时，流程向前到步骤S5356。否则，流程向前到步骤S5358。

在步骤S5356，用于将虚拟对象移到指导者笔位置的事件被发出。

在步骤S5358，如果指导者笔位置或虚拟对象被改变，那么改变被反映在景像图表上，并且对HMD的位置/取向数据被设定到观察点位置。

在步骤S5360，图像产生单元513b根据景像图表数据产生左CG图像和右CG图像。CG被写到图像输出单元517，并被显示在显示设备523b上。

在指导者混合现实装置510b中，除了上述流程之外，来自管理服务器的事件被在背景上接收，并且景像图表被适当改变。

图18C示出了当指导者笔的按钮在独立虚拟模式下被按下时的处理。当笔第一按钮547被按下时，步骤S5430被启动。在步骤S5430，通过检查在图24中示出的指导者操纵对象ID表格来确定指导者是否正在操纵虚拟对象。如果步骤S5430为是，流程向前到步骤S5432。否则，流程向前到步骤S5434。

在步骤S5432中，图24中的指导者操纵对象ID表格被清空，空被存储，并且流程返回到图17C中的独立虚拟模式的流程。

在步骤S5434，指导者笔位置与虚拟空间中存在的所有虚拟对象之间的距离被比较。流程向前到步骤S5436。

在步骤S5436，如果存在其距离等于或小于预定阈值的虚拟对象(如果存在多个虚拟对象，那么具有最短距离的一个被选择)，那么虚拟对象被设定为操纵目标，并且流程向前到步骤S5438。否则，流程返回图17C中的独立虚拟模式的流程。

在步骤S5438，在步骤S5436中获得的操纵目标ID被写到图24中的指导者操纵对象ID表格中，第一按钮事件处理结束。

当笔第二按钮548被按下时，步骤S5440被启动。在步骤S5440，图24中的指导者操纵对象ID表格被清空，并且空被存储。

在步骤S5442，用于将存储在虚拟对象管理单元516b中的虚拟对象的整个景像图表上载到管理服务器的虚拟对象管理单元562的请求被发送到管理服务器。数据被上载，并且处理被从工作空间模式的流程的步骤S5306执行。

接下来，将参照图19A到19H的流程图描述管理服务器560中的处理。管理服务器接收并处理来自操作者混合现实装置510a和指导者混合现实装置510b的请求和事件。

操作者笔处理在从操作者混合现实装置接收笔/HMD位置事件时即被启动。在步骤S5500，操作者笔和HMD的位置/取向被反映在存储于虚拟对象管理单元562中的景像图表上。

在步骤S5502，通过检查图23中示出的操作者/指导者操纵对象ID表格来确定操作者是否正在操纵虚拟对象。操作者/指导者操纵对象ID表格存在于虚拟对象管理单元562中，并存储正被操作者和指导者操纵的虚拟对象的ID。在图23所示的示例中，因为操作者现在没有操纵虚拟对象，所以空被存储。指导者正在操纵虚拟对象C。如果虚拟对象ID存在于操作者操纵对象ID中，那么流程向前到步骤S5504。否则，流程向前到步骤S5506。

在步骤S5504，正被操纵的虚拟对象被移到在步骤S5500中被更新的笔位置，并且存储在虚拟对象管理单元562中的景像图表被改变。然后，流程向前到步骤S5506。

在步骤S5506，操作者笔、HMD和虚拟对象的被更新的信息被传送到操作者主机，并且操作者笔处理被结束。

当操作者按下笔按钮时，操作者按钮处理被启动。在步骤S5510，通过检查图23中示出的操作者操纵对象ID来确定操作者当前是否正在操纵虚拟对象。如果空被存储，那么确定出操作者现在没有操纵任何虚拟对象，流程向前到步骤S5514。如果操作者操纵对象ID被存储，那么确定出操作者正在操纵虚拟对象，流程向前到步骤S5512。

在步骤S5512，图23中操作者操纵对象ID的内容被替换为空，操作者按钮事件处理结束。

在步骤S5514，所接收的当前操作者笔位置被与操作者混合现实空间中的所有虚拟对象的位置相比较，流程向前到下一个步骤。

在步骤S5516，如果存在其距离等于或小于预定阈值的虚拟对象(如果存在多个虚拟对象，那么具有最短距离的一个被选择)，那么虚拟对象被设定为操纵目标，并且流程向前到步骤S5518。否则，操作者按钮事件处理结束。

在步骤S5518，在前面步骤中获得的操纵目标ID和图23中的指导者操纵对象ID被检查。如果ID一致，那么确定出指导者正在操纵虚拟对象，操作者按钮事件处理结束。否则，流程向前到步骤S5520。

在步骤S5520，在步骤S5516中获得的操纵目标ID被写到图23中的操作者操纵对象ID，操作者按钮事件处理结束。

指导者笔处理I是在图17A的工作空间模式下在步骤S5310中被传送的事件处理流程。在步骤S5530，来自HMD 3D位置传感器521b的作为指导者观察点位置的位置/取向(xh，yh，zh，αh，βh，γh)以及指导者笔541b的3D位置/取向信息(xs，ys，zs，αs，βs，γs)被接收。这些是在指导者所处空间的世界坐标系中的值。笔的位置/取向被转换成与观察点位置/取向的相对位置，从而计算指导者笔相对位置(xd，yd，zd，αd，βd，γd)＝(xs-xh，ys-yh，zs-zh，αs-αh，βs-βh，γs-γh)。

在步骤S5532，虚拟对象管理单元562中的景像图表基于在前面步骤中计算出的指导者笔相对位置而被改变作为新的笔事件。

在步骤S5534，通过检查操作者/指导者操纵对象ID表格中的指导者操纵对象ID来确定指导者是否正在操纵虚拟对象。如果指导者操纵对象ID为空，那么确定出指导者现在没有操纵任何虚拟对象，流程向前到步骤S5538。否则，确定出指导者正在操纵虚拟对象，流程向前到步骤S5536。

在步骤S5536，正被操纵的虚拟对象被移到在步骤S5532中被更新的笔位置，被存储在虚拟对象管理单元562中的景像图表被改变。然后，流程向前到步骤S5538。

在步骤S5538中，指导者笔、HMD和虚拟对象的更新信息块被传送到操作者混合现实装置510a，指导者笔处理I结束。

指导者笔处理II是在图17B的共享虚拟模式下在步骤S5334中被传送的事件处理流程。在步骤S5540，来自HMD 3D位置传感器521b的作为指导者观察点位置的位置/取向以及指导者笔541b的3D位置/取向信息被接收。虚拟对象管理单元562中的景像图表被基于这些信息块来改变。

在步骤S5542，通过检查操作者/指导者操纵对象ID表格中的指导者操纵对象ID来确定指导者是否正在操纵虚拟对象。如果指导者操纵对象ID为空，那么确定出指导者现在没有操纵任何虚拟对象，流程向前到步骤S5546。否则，确定出指导者正在操纵虚拟对象，流程向前到步骤S5544。

在步骤S5544，正被操纵的虚拟对象被移到在步骤S5540中被更新的笔位置，被存储在虚拟对象管理单元562中的景像图表被改变。然后，流程向前到步骤S5546。

在步骤S5546，指导者笔和虚拟对象的更新信息块被传送到操作者混合现实装置510a和指导者混合现实装置510b，指导者笔处理II结束。

指导者第一按钮I处理是通过图18A中的步骤S5400的处理被传送到服务器的事件处理，其在指导者在工作空间模式下按下笔第一按钮时被启动。在步骤S5550，来自HMD 3D位置传感器521b的作为指导者观察点位置的位置/取向(xh，yh，zh，αh，βh，γh)以及指导者笔541b的3D位置/取向信息(xs，ys，zs，αs，βs，γs)被接收。这些是在指导者所处空间的世界坐标系中的值。笔的位置/取向被转换成与观察点位置/取向的相对位置，从而计算指导者笔相对位置(xd，yd，zd，αd，βd，γd)＝(xs-xh，ys-yh，zs-zh，αs-αh，βs-βh，γs-γh)。

在步骤S5552，通过检查图23所示的指导者操纵对象ID来确定指导者现在是否正在操纵虚拟对象。如果指导者操纵对象ID为空，那么确定出指导者现在没有操纵任何虚拟对象，流程向前到步骤S5556。否则，确定出指导者正在操纵虚拟对象，流程向前到步骤S5554。

在步骤S5554，图23中指导者操纵对象ID的内容被替换为空，指导者按钮事件处理结束。

在步骤S5556，存储在虚拟对象管理单元562中的当前指导者笔位置被与操作者混合现实空间中所有虚拟对象的位置相比较，流程向前到下一个步骤。

在步骤S5558，如果存在其距离等于或小于预定阈值的虚拟对象(如果存在多个虚拟对象，那么具有最短距离的一个被选择)，那么虚拟对象被设定为操纵目标，并且流程向前到步骤S5560。否则，指导者按钮事件处理结束。

在步骤S5560，在前面步骤中获得的操纵目标ID和图23中的操作者操纵对象ID被检查。如果ID一致，那么确定出操作者正在操纵操纵对象，指导者按钮事件处理I结束。否则，流程向前到步骤S5562。

在步骤S5562，在步骤S5558中获得的操纵目标ID被写到图23中的指导者操纵对象ID，指导者按钮事件处理I结束。

指导者第一按钮II处理是通过图18B中的步骤S5410的处理被传送到服务器的事件处理，其在指导者在共享虚拟模式下按下笔第一按钮时被启动。在步骤S5570，通过检查图23所示的指导者操纵对象ID来确定指导者现在是否正在操纵虚拟对象。如果指导者操纵对象ID为空，那么确定出指导者现在没有操纵任何虚拟对象，流程向前到步骤S5574。否则，确定出指导者正在操纵虚拟对象，流程向前到步骤S5572。

在步骤S5572，图23中指导者操纵对象ID的内容被替换为空，指导者按钮事件处理结束。

在步骤S5574，所接收的当前指导者笔位置被与操作者混合现实空间中所有虚拟对象的位置相比较，流程向前到下一个步骤。

在步骤S5576，如果存在其距离等于或小于预定阈值的虚拟对象(如果存在多个虚拟对象，那么具有最短距离的一个被选择)，那么虚拟对象被设定为操纵目标，并且流程向前到步骤S5578。否则，指导者按钮事件处理结束。

在步骤S5578，在前面步骤中获得的操纵目标ID和图23中的操作者操纵对象ID被检查。如果ID一致，那么确定出操作者正在操纵虚拟对象，指导者按钮事件处理II结束。否则，流程向前到步骤S5580。

在步骤S5580，在步骤S5576中获得的操纵目标ID被写到图23中的指导者操纵对象ID中，操作者按钮事件处理II结束。

指导者操纵对象ID清空处理是通过图18B中的步骤S5420的处理被传送到服务器的事件处理，其在指导者在共享虚拟模式下按下笔第二按钮时被启动。在步骤S5584，存储在虚拟对象管理单元562中的指导者/操作者操纵对象ID表格中的指导者操纵对象ID的内容被替换为空，指导者操纵对象ID清空处理结束。

指导者景像图表上载处理是通过图18C中的步骤S5442的处理被传送到服务器的事件处理，其在指导者在独立虚拟模式下按下笔第二按钮时被启动。在步骤S5588，存储在虚拟对象管理单元562中的景像图表被替换为从指导者混合现实装置上载的虚拟对象的景像图表。在步骤S5590，被替换的景像图表的信息被下载到操作者混合现实装置，处理结束。

在本实施例中，图14中示出的笔第二按钮548被用作操作者模式转换按钮。但是，本发明不限于此。模式转换功能可以被分配给两个按钮以向前到下一个模式和返回先前的模式。或者，数量等于模式数量的按钮可以被准备并被分配前进到各个模式的功能。

在指导者处于共享虚拟模式时展示给操作者的显示设备示出了其中虚拟对象被布置在图15B所示的虚拟空间背景上的图像。但是，其中操作者混合现实空间的图像(例如图15A中示出的图像)在指导者进入共享虚拟模式时被冻结的背景可以被使用。在这种情况下，即使操作者改变观察点，背景图像也不改变。但是，因为共享虚拟对象的观察点可以被自由改变，所以本发明的精神没有被破坏。

[第六实施例]

在第五实施例中，指导者可以在任意定时移位到工作空间模式、共享虚拟模式或独立虚拟模式。但是，操作者显示设备523a上的图像不反映指导者的模式改变。因为操作者不能确定指导者的模式，那么顺畅的通信就是不可能的。在第六实施例中，操作者可以在看操作者混合现实空间的同时识别指导者的模式。更具体地，指导者指针541b的色彩基于模式被改变。例如，当指导者处于图13A的工作空间模式时，指导者指针541b变为绿色。在共享虚拟模式下，指导者指针541b变为蓝色。在独立虚拟模式下，指导者指针541b变为棕色。因此，操作者可以通过操作者混合现实空间中指导者指针的色彩确定指导者的模式。下面将详细描述该操作的详细处理。

假设工作空间模式下指针的色彩在图17A到17C所示指导者处理流程中步骤S5300的初始化处理时被设定。在上述示例中，蓝色被设定。当在图18A到18C所示的每一个模式中操作者按下笔第二按钮时被启动的第二按钮处理与第一实施例不同。这将参照图20A到20D描述。图20A示出了在工作空间模式下的第二按钮处理。用于将操作者指针色彩改变事件(在上述示例中，到绿色的改变事件)传送到管理服务器的步骤S5402被添加到第五实施例中。在共享虚拟模式下的第二按钮处理中，步骤S5422中的处理(在上述示例中，到棕色的改变事件的传送)被添加。在独立虚拟模式下的第二按钮处理中，步骤S5444中的处理(在上述示例中，到蓝色的改变事件的传送)被添加。图20D示出了当管理服务器接收色彩改变处理时的处理。在步骤S5592，存储在虚拟对象管理单元562中的景像图表中的指针被改变为所指定的色彩。在步骤S5594，色彩改变事件被传送到操作者混合现实装置和指导者混合现实装置。操作者混合现实装置和指导者混合现实装置通过色彩改变事件改变存储在它们中的景像图表中指导者指针541b的色彩。通过该处理，操作者指针可以取决于操作者的模式而以不同色彩被显示。

在本实施例中，操作者可以通过指导者指针的色彩识别指导者的模式。但是，本发明不限于色彩，任何其它可视地可识别的东西例如指针形状都可以被使用。

[第七实施例]

在第五实施例中，当指导者处于工作空间模式时，指导者和操作者共享操作者观察点。当指导者处于共享虚拟模式时，操作者和指导者在单独的观察点操作。这时，伙伴的指针被显示在由他们看到的显示设备上的图像中。但是，伙伴的观察点不能被知道。在这种情况下，因为操作指示可以在从不同观察点看到共享虚拟对象的同时被发出，所以在通信中会发生误解。在第七实施例中，当指导者处于共享虚拟模式时，指导者观察点被显示在操作者的显示设备523a上，并且操作者观察点被显示在指导者的显示设备523b上，从而允许他们确认伙伴的观察点。图21A和21B示出了当指导者处于共享虚拟模式时显示设备的屏幕示例。图21A示出了操作者显示设备523a的屏幕，其中，除了虚拟对象543、操作者指针541a和指导者指针541b之前，指导者观察点555b也被显示。类似地，操作者观察点555a被示出在图21B中。以这种方式，操作者和指导者可以确认伙伴的观察点。下面将描述与第五实施例不同的该操作的详细处理。

图22A示出了在指导者混合现实装置中的指导者处理流程中的图17B所示共享虚拟模式下的处理。图22A与图17B不同之处在于步骤S5332，在步骤S5332中HMD的3D位置/取向被从位置/取向测量单元511b获得。在步骤S5335，在步骤S5332中获得的笔位置/取向和在步骤S5335中获得的HMD位置/取向的事件被传送到管理服务器560。在步骤S5336，除指针信息外HMD信息被接收，使得指示图21A和21B中示出的观察点的CG可以被显示。此外，在图16所示操作者混合现实装置的操作者处理流程的步骤S5190中，除指针和虚拟对象信息之外HMD信息被接收，使得指示观察点的CG可以被显示。在管理服务器560的处理中，图19D所示的指导者笔处理II被如图22B所示改变。在步骤S5541，除图19D的步骤S5540中的处理之外，获得指导者HMD的3D位置/取向的处理也是必需的。在步骤S5547，除图19D中的步骤S5546之外，指导者HMD的信息也被传送。图19G中的指导者操纵对象ID清空处理被如图22C所示改变。在步骤S5596，存储在虚拟对象管理单元562中的指导者/操作者操纵对象ID表格中指导者操纵对象ID的内容被替换为空，表示指导者和操作者观察点的CG被从景像图表上删除。在步骤S5598，指导者/操作者观察点CG清空事件被传送到操作者混合现实装置和指导者混合现实装置，处理结束。

在本实施例中，表示面部的CG被用作表示观察点的图像。代替地，指示操作者或指导者的观察点或照片的箭头也被使用。如果观察点位置被视觉上识别，那么本发明的目的就可以被实现。

[其它实施例]

本发明的目的甚至可以通过向系统或装置提供记录用于实现上述实施例功能的软件程序代码的记录介质(或存储介质)、并使系统或装置的计算机(CPU或MPU)读出并执行存储在记录介质中的程序代码来实现。在这种情况下，从记录介质读出的程序代码通过它们自身实现上述实施例的功能，并且记录程序代码的记录介质构成本发明。

上述实施例的功能不仅在所读出的程序代码被计算机执行时被实现，而且在运行于计算机上的操作系统(OS)基于程序代码的指令进行实际处理的一部分或全部时被实现。

上述实施例的功能还在从记录介质读出的程序代码被写到被插入到计算机中的功能扩充卡或者被连接到计算机的功能扩充单元的存储器中时被实现，并且功能扩充卡或功能扩充单元的CPU基于程序代码的指令进行实际处理的一部分或全部。

当本发明被应用于记录介质时，与上述流程图相应的程序代码被存储在记录介质中。

因为可以作出本发明的许多显然地很广的不同实施例而不脱离其精神和范围，所以将理解本发明不限于其具体的实施例，其范围仅由所附权利要求限定。

Claims (15)

1.一种系统，其特征在于包括：

第一获得单元，其适于获得第一观察者的观察点的位置/取向；

产生单元，其适于产生从具有由所述第一获得单元获得的位置/取向的观察点看到的虚拟空间的图像；

第一操纵单元，其由第一观察者使用来操纵虚拟对象；

第二操纵单元，其由第二观察者使用来操纵虚拟对象，第二观察者远程控制第一观察者对虚拟对象的操纵；

第二获得单元，其适于获得从观察点看到的物理空间的图像；以及

输出单元，其适于将通过将由所述产生单元产生的图像叠加到被所述第二获得单元获得的图像上而形成的图像输出到由第一观察者佩戴的头安装显示器和由第二观察者佩戴的头安装显示器，

其中，所述产生单元产生所述第一操纵单元和所述第二操纵单元的操纵结果被反映在其上的虚拟空间的图像。

2.根据权利要求1的系统，其特征在于还包括：布置单元，其适于将表示所述第二操纵单元的虚拟对象布置在虚拟空间中，以使虚拟对象与第一观察者的观察点之间的位置/取向关系基本上等同于第二观察者的观察点与所述第二操纵单元之间的位置/取向关系。

3.根据权利要求1的系统，其特征在于还包括：布置单元，其适于在第一观察者所处的空间中将表示所述第二操纵单元的虚拟对象布置在所述第二操纵单元在第二观察者所处空间中定义的坐标系中的位置/取向。

4.根据权利要求1的系统，其特征在于，所述第一操纵单元和所述第二操纵单元中每一个都包括由第一观察者和第二观察者中相应的一个拿在手中的笔。

5.一种图像处理装置，其特征在于包括：

第一获得单元，其适于获得第一观察者的观察点的位置/取向；

产生单元，其适于产生从具有由所述第一获得单元获得的位置/取向的观察点看到的虚拟空间的图像；

第二获得单元，其适于获得从观察点看到的物理空间的图像；以及

输出单元，其适于将通过将由所述产生单元产生的图像叠加到被所述第二获得单元获得的图像上而形成的图像输出到由第一观察者佩戴的头安装显示器和由远程控制第一观察者对虚拟对象的操纵的第二观察者佩戴的头安装显示器，

其中，所述产生单元产生由第一观察者使用来操纵虚拟对象的第一操纵单元和由第二观察者使用来操纵虚拟对象的所述第二操纵单元的操纵结果被反映在其上的虚拟空间的图像。

6.一种通过复合物理图像和表示虚拟对象的虚拟图像来产生3D复合图像的信息处理方法，其特征在于该方法包括：

获得从第一观察者观察点来看的右物理图像和左物理图像；

获得第一观察者的观察点的位置/取向；

获得由第一观察者使用来操纵虚拟对象的第一指出单元的位置/取向；

获得由第二观察者使用来操纵虚拟对象的第二指出单元的位置/取向；

基于第一指出单元的位置/取向和第二指出单元的位置/取向之一控制虚拟对象的信息；

基于虚拟对象的控制信息产生与第一观察者的观察点的位置/取向相应的右虚拟图像和左虚拟图像；

通过复合物理图像和虚拟对象产生右复合图像和左复合图像；以及

将复合图像展示给第一观察者和第二观察者。

7.根据权利要求6的方法，其特征在于

第一指出单元的位置/取向是世界坐标系中的位置/取向，

第二指出单元的位置/取向是通过基于第一观察者的观察点的位置/取向将相对于第二观察者观察点的相对位置/取向转换成世界坐标系中的位置/取向而获得的，以及

虚拟对象的信息是基于第一指出单元在世界坐标系中的位置/取向和第二指出单元在世界坐标系中的位置/取向而被控制的。

8.根据权利要求6的方法，其特征在于还包括：

基于第一指出单元的位置/取向产生第一指出单元虚拟图像，并基于第二指出单元的位置/取向产生第二指出单元虚拟图像；以及

通过将第一指出单元虚拟图像、第二指出单元虚拟图像和虚拟对象的虚拟图像与物理图像复合来产生复合图像。

9.一种使第二用户共享其中虚拟对象被叠加到第一用户所处空间上的混合现实空间图像的信息处理方法，其特征在于包括：

混合现实空间图像获得步骤，其基于由第一用户佩戴的第一图像感测单元的图像和基于第一图像感测单元的位置/取向的虚拟对象图像来获得混合现实空间图像；

事件信息获得步骤，其通过第一用户获得虚拟对象的事件信息；

第二用户观察点位置/取向信息获得步骤，其获得第二用户的观察点位置/取向信息；以及

产生步骤，其基于第二用户的观察点位置/取向信息产生与事件信息相应的虚拟对象图像，

其中，该方法具有将第一图像展示给第二用户的第一模式和将虚拟对象图像展示给第二用户的第二模式。

10.根据权利要求9的方法，其特征在于，该方法具有不取决于事件信息来将与第二用户的观察点位置/取向信息相应的虚拟对象图像展示给第二用户的第三模式。

11.一种用于从远程场所共享其中虚拟对象被叠加到操作者所处空间上的操作者混合现实空间的信息处理系统，其特征在于该系统包括：

立体图像传送单元，其适于将从操作者观察点来看的操作者混合现实空间的立体图像传送给指导者；

虚拟对象共享装置，用于使操作者和指导者共享虚拟对象；以及

立体装置，用于将立体图像展示给操作者和指导者，

其中，该系统具有使指导者共享从操作者观察点来看的立体图像的模式以及允许指导者从与操作者观察点分开的观察点操纵虚拟对象的模式。

12.根据权利要求11的系统，其特征在于，允许指导者从与操作者观察点分开的观察点操纵虚拟对象的模式包括用于共享虚拟对象的模式和不用于共享虚拟对象的模式。

13.根据权利要求11的系统，其特征在于还包括：转换单元，其适于在使指导者共享从操作者观察点来看的立体图像的模式与允许指导者从与操作者观察点分开的观察点操纵虚拟对象的模式之间转换。

14.根据权利要求11的系统，其特征在于还包括：识别单元，其适于通过使用操作者的所述立体单元识别指导者的模式。

15.根据权利要求11的系统，其特征在于还包括：显示单元，其适于通过使用操作者的所述立体单元显示指导者的观察点位置，以及通过使用指导者的所述立体单元显示操作者的观察点位置。

Images