CN1845064A

CN1845064A - 信息处理方法和设备

Info

Publication number: CN1845064A
Application number: CNA2006100733008A
Authority: CN
Inventors: 坂内祐一
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-04-08
Filing date: 2006-04-07
Publication date: 2006-10-11
Anticipated expiration: 2026-04-07
Also published as: US20060227151A1; JP4738870B2; CN100426218C; US7532224B2; EP1710002A1; JP2006293604A

Abstract

本申请涉及信息处理方法和设备，用于使得一个或多个第二用户能够共享包括叠加在第一用户所处空间中的虚拟对象的混合现实空间图像。根据由安装在第一用户上的第一立体摄像部分捕获的立体视频数据以及基于第一立体摄像部分的位置和取向产生出的虚拟对象图像来获取第一立体图像。根据由设在第一用户所处空间中的第二立体摄像部分所捕获的立体视频数据以及基于第二立体摄像部分的位置和取向产生出的虚拟对象图像来获取第二立体图像。根据第二用户的指令从第一立体图像和第二立体图像中选择图像。将所选的图像呈现给第二用户。

Description

信息处理方法和设备

技术领域

本发明涉及使得第二用户能够共享包括叠加在第一用户所存在的空间中的虚拟对象的混合现实空间图像的方法和设备。

背景技术

可以根据最近开发出的混合现实(MR，mixed reality)技术来实现现实世界和虚拟世界的无缝混合。MR技术增强了VR(虚拟现实)技术，从而可以实现物理空间和虚拟现实世界的共存，然而在过去只能在与物理空间分开的情景中体验VR世界。

头盔式显示设备(HMD)为实现混合现实所需的代表性装置。更具体地说，HMD可以显示物理空间和虚拟空间的组合图像。

在用于支持在远程参与人之间进行的会议或另一种协作工作的基于VR的系统中，计算机产生出与现实世界相独立的上述虚拟世界，从而让远程参与者共享所产生出的虚拟世界。另一方面，基于MR的远程支持系统使得远程用户能够支持在包括叠加在现实世界中的虚拟世界的工作空间中的第二用户的工作。

根据传统的技术，远程参与者能够共享VR空间，并且能够通过改变其视点来观察该空间。例如，在游戏机中，为各玩家个体显示出的虚拟空间可以组合，从而其它玩家能够灵活地显示从所期望的角度和所期望的位置观察的合成空间。由游戏机产生出的空间为与现实空间相独立的虚拟空间。游戏机不能实现包括与现实世界中的对象叠加的虚拟对象的混合现实。因此不能通过改变视点同时观察到真实对象和虚拟对象。

如日本专利申请公开No.2002-132487(与US2002/0049510A1对应)所述，可以使用头盔式显示设备(HMD)来支持远程工作。根据该例子，工作人员戴上配有摄像机的HMD，工作人员和远程指导者能够共享摄像机所拍摄的图像。指导者能够通过将指令叠加在摄像机图像上来给出工作指令。

在工作人员的摄像机为立体类型时，工作人员和指导者两者都可以观察到相同的立体图像。另外，根据色度键控组合方法，指导者的指向图像中的工作对象的指导者的手可以与摄像机图像相组合。

另外，根据上述传统技术，除了工作人员的HMD之外还设有固定摄像机，并且可以将固定摄像机的图像传送给远程指导者以让指导者支持该工作。但是，该系统没有使用用来定义工作人员的空间的坐标系。因此，不能在工作人员空间的任意位置处设置除了工作对象之外的虚拟对象以进行指点或其它互动。另外，该系统没有使用设置在工作人员空间中的多个摄像机，并且因此不能使得远程指导者能够从多个视点进行观察。

如日本专利申请公开No.2001-195601(与EP1117074对应)所述，可以在混合现实空间中固定多个对象视点摄像机。可以将包括叠加在该摄像机的图像上的虚拟对象的合成图像选择性地显示在多个显示装置上。但是，该系统不能让远程指导者在观察所显示的图像的同时在混合现实空间中进行互动，例如指点或操作虚拟对象。

发明内容

至少一个示例性实施方案涉及这样一种技术，它能够应用于其中虚拟对象能够叠加在现实视频上的工作人员混合现实空间，并且使得远程指导者能够选择性地显示包括工作人员的HMD摄像机图像的多个摄像机图像，并且在观察图像的同时无缝地感知到工作人员的空间，并且向工作人员给出三维工作指令。

至少一个示例性实施方案涉及这样的方法和设备，它们使得第二用户能够共享包括叠加在第一用户所处的空间中的虚拟对象的混合现实空间图像。至少一个示例性实施方案涉及这样一种技术，该技术使得第二用户能够获取从任意视点观察的混合现实空间图像。

根据本发明的第一方面，提供了一种如权利要求1至5中所述的信息处理方法。根据本发明的第二方面，提供了一种如权利要求6中所述的信息处理设备。

另外，至少一个示例性实施方案涉及一种远程混合现实共享设备，它使得至少一个远程参与者能够共享包括叠加在工作人员所处的空间中的虚拟对象的工作人员混合现实空间。该设备包括被配置为将由工作人员戴的立体摄像机捕获的视频和由设置在工作人员所处的空间中的立体摄像机捕获的视频传送给多个远程参与者的单元、用于立体地显示所述视频的工作人员立体显示单元和远程参与者立体显示单元，以及视点切换单元，所述视点切换单元被配置为允许所述多个远程参与者选择性地切换立体摄像机视频，从而可以从不同的视点观察工作人员混合现实空间，并且能够在工作人员和远程参与者之间共享工作人员混合现实空间。

根据对示例性实施方案的以下详细说明，并且参照附图，将清楚地了解本发明的其它特征和方面。

附图说明

结合在说明书中并且构成其一部分的这些附图例举了本发明的实施方案，并且与说明书一起用来说明本发明的原理。

图1为一方框图，显示出根据第一示例性实施方案的远程混合现实共享系统的布置。

图2A、2B和2C为示意图，显示出工作人员混合现实空间的状态和在远程指导者混合现实设备中的屏幕显示。

图3为一流程图，显示出在根据第一示例性实施方案的工作人员混合现实设备中进行的工作人员处理。

图4为一流程图，显示出在根据第一示例性实施方案的指导者混合现实设备中进行的指导者处理。

图5A、5B和5C为流程图，显示出在根据第一示例性实施方案的管理服务器中执行的接收事件处理。

图6A和6B为示意图，显示出根据第三示例性实施方案，工作人员混合现实空间的状态和在多个远程参与者混合现实设备中的屏幕显示。

图7为一方框图，显示出根据第三示例性实施方案的远程混合现实共享系统的布置。

图8A、8B和8C为流程图，显示出在根据第三示例性实施方案的管理服务器中执行的部分接收事件处理。

图9为一示意图，显示出虚拟对象操作表。

图10为一示意图，显示出摄像机管理表。

图11为一示意图，显示出根据第二示例性实施方案的摄像机管理表。

图12为一示意图，显示出根据第三示例性实施方案的虚拟对象管理表。

图13为一示意图，显示出根据第三示例性实施方案的摄像机管理表。

具体实施方式

以下示例性实施方案的说明本身只是用于举例说明，而决不是打算限制本发明、其应用或使用。

本领域普通技术人员所知的过程、技术、设备和材料将不进行详细说明，但是在适当情况下应该作为能够实施的说明书的一部分。例如，用于信号处理、显示和其它用途的某些电路可能不进行详细说明。但是，如本领域普通技术人员所公知的这些系统和构成这些系统的方法在适当的情况下也应该作为能够实施的说明书的一部分。

要指出的是，类似的附图标记和字母在以下附图中指代类似的项目，并且因此一旦在一幅图中限定了一个项目，则在接下来的附图中可以不对它进行说明。

下面将参照这些附图对示例性实施方案进行详细说明。

第一示例性实施方案

图1显示出一功能布置，显示出根据第一示例性实施方案的远程混合现实共享系统。该远程混合现实共享系统包括显示在图1的上部的工作人员混合现实设备10a和图示在图1的下部的指导者混合现实设备10b。工作人员混合现实设备10a和指导者混合现实设备10b可以通过包括管理服务器60的网络相互通信。工作人员混合现实设备10a与头盔式显示器(HMD)20a相连。

指导者混合现实设备10b与头盔式显示器(HMD)20b相连。采用在图1所示的布置，工作人员和指导者两者都能够通过HMD看到工作人员所处的空间的混合现实视频。另外，为了进行相互对话，工作人员混合现实设备10a配备有扬声器27a和麦克风28a。指导者混合现实设备10b配备有扬声器27b和麦克风28b。

工作人员的HMD 20a包括能够磁性测量出HMD的位置和取向的三维位置和取向传感器21a、能够捕获物理空间以获得图像的立体摄像机22(包括左(L)眼摄像机和右(R)眼摄像机)以及立体显示单元23a(包括左(L)眼显示器和右(R)眼显示器)。

预先测量出在三维位置和取向传感器21a与摄像机21之间的位置关系，并且使之固定。三维位置和取向传感器21a将作为测量结果的位置和取向信号输出给下文所述的位置和取向测量部分11a。

摄像机22将捕获结果输出给下文所述的图像输入部分12。显示单元23a接收来自图像组合部分15的左眼图像信号和右眼图像信号，并且将所接收到的图像分别显示在左眼显示器23aL和右眼显示器23aR上。

设在工作人员混合现实设备10a中的位置和取向测量部分11a能够接收从HMD20a的三维位置和取向传感器21a传送出的三维位置和取向信号以及从指示笔41a输入的三维位置和取向信号。指示笔41a为一种在混合现实空间中的三维指示装置。

位置和取向测量部分11a将指示笔的位置和取向数据输出给虚拟对象传送/接收部分31a，并且将HMD20a的位置和取向数据输出给图像生成部分13。虚拟对象传送/接收部分31a能够将从位置和取向测量部分11a接收到的指示笔位置和取向数据传送给管理服务器60。

虚拟对象传送/接收部分31a可以从管理服务器60接收工作人员的指示笔和指导者的指示笔的位置和取向信息以及虚拟对象的变化信息。虚拟对象传送/接收部分31a将从管理服务器60接收到的信息输出给图像生成部分13。

图像生成部分13能够预先存储虚拟对象的场景图形。该图像生成部分13接收每个指示笔的位置和取向以及来自虚拟对象传送/接收部分31a的虚拟对象操作结果信息，并且接收来自位置和取向测量部分11a的工作人员视点信息(即，HMD位置和取向信息)。

图像生成部分13可以根据所获得的信息产生出左眼虚拟空间计算机图形(CG)图像和右眼虚拟空间CG图像。图像组合部分15可以通过图像输入部分12输入来自左眼摄像机22L和右眼摄像机22R的图像。

图像组合部分15可以将从图像生成部分13产生出的左眼虚拟空间CG图像和右眼虚拟空间CG图像组合在所接收的捕获图像上。因此，显示单元23a的左眼显示器23aL和右眼显示器23aR能够将从工作人员视点获得的虚拟空间数据叠加在由摄像机捕获的图像上。视频编码部分32a可以对叠加图像进行压缩和编码并且能够通过视频传送部分33a将压缩并编码后的图像数据传送给管理服务器60。

指导者混合现实设备10a与工作人员混合现实设备10a相比，其布置更简单。HMD20b没有任何摄像机。因此，指导者混合现实设备10b不能输入摄像机图像。为了产生出工作人员空间的混合现实视频，视频接收部分33b能够通过管理服务器60接收工作人员HMD20a的摄像机图像信号或摄像机服务器70a和70b的立体图像信号。

视频解码部分23b将所接收到的信号解码。显示单元23b包括用来显示出从视频解码部分32b发送出的图像的左眼显示器23bL和右眼显示器23bR。位置和取向测量部分11b能够输入来自三维位置和取向传感器21b的指导者HMD20b的位置和取向以及指示笔41b的三维位置和取向。

虚拟对象传送部分31b能够将由位置和取向测量部分11b获得的位置和取向信息传送给管理服务器60。位置和取向信息可以用作指导者的共享虚拟对象指点/操作信息。

当通过管理服务器60建立了在工作人员混合现实设备10a和指导者混合现实设备10b之间的连接时，可以激活话音通信模块，以通过话音通信管理部分66传送和接收双向话音数据。因此，使用扬声器27a和麦克风28a的工作人员能够与使用扬声器27b和麦克风28b的指导者交谈。

摄像机服务器70a和70b能够借助网络将由设置在工作人员空间中的立体摄像机72a和72b捕获的图像传送给管理服务器60。这些摄像机服务器70a和70b包括摄像机视频传送部分71a和71b，用来将相应的立体摄像机72a和72b的右眼图像和左眼图像传送给管理服务器60的图像组合部分64。在网络带宽较窄时，摄像机视频传送部分可以包括图像编码设备(未示出)，并且管理服务器的图像组合部分64可以包括图像解码设备(未示出)，以降低网络信息流通量。

管理服务器60可以管理在远程混合现实共享系统中所使用的或所处理的信息。虚拟对象通信管理部分61针对与指示笔和虚拟对象相关的信息，管理在工作人员混合现实设备10a和指导者混合现实设备10b之间的通信。虚拟对象管理部分62管理与包括指示笔的共享虚拟对象的场景图形和共享虚拟对象的操作权限相关的信息。

虚拟对象管理部分62将与共享虚拟对象的场景图形相关的信息传送给图像生成部分63。图像生成部分63具有绘制由指导者选择的从摄像机视点看到的虚拟对象的数据的能力。图像生成部分63将所绘制的虚拟对象数据发送给图像组合部分64。

在工作人员空间的世界坐标系中预先测量出各个摄像机72a和72b的位置和取向。图像组合部分64将上述绘制的CG数据叠加在由指导者选择的、由摄像机捕获的图像上。图像组合部分64将叠加后的图像转送给视频通信管理部分65。

由指导者选择的摄像机的混合现实图像就这样借助视频通信管理部分65发送给指导者混合现实设备10b。当指导者选择工作人员的摄像机时，由工作人员混合现实设备10a捕获的图像能够直接发送给指导者混合现实设备10b。

图2A、2B和2C示例性地显示出由图1所示的系统进行的操作。图2A显示出在混合现实空间中工作的戴着HMD20a的工作人员40的状态，其中显示了现实力工作对象42以及代表工作对象的CG 3D虚拟对象43。

工作人员40可以与指导者共享虚拟对象43。指导者可以使用虚拟对象43来指导工作的内容或示例。如图所示，预先设定世界坐标系(x，y，z)以限定工作人员40的物理空间。在通过HMD观察时，能够看到放置在世界坐标系中的虚拟对象43(即，作为示例模型)，所看到的位置关系就好像它被放置在真实工作对象42附近一样。

使用具有磁性传感器的指示笔能够进行各种互动，例如选择虚拟对象或者移动所选的对象。指示标41a表示叠加在CG虚拟对象上的工作人员40的指示笔。指示标41b表示叠加在CG虚拟对象上的指导者的指示笔。具有安装在其上的立体摄像机的摄像机服务器70a和70b通过网络(未示出)与管理服务器60连接。由摄像机捕获的图像可以作为远程指导者视点图像提供给指导者。

图2B显示出远程指导者50所处的空间。具有HMD20b的指导者50能够观看显示在HMD20b的显示单元23b上的立体图像。立体图像包括从摄像机70a的视点看到的工作对象42、其3D CG模型43、显示出工作人员40的指示笔位置的指示标41a和显示出指导者50的指示笔位置的指示标41b。

具有安装在其上的磁性传感器的指导者50的HMD20b和指示笔41b能够测量出在视点位置和指示笔之间的相对位置关系。可以将所测量出的位置关系转换成从摄像机视点看的位置关系，从而限定出从摄像机视点看到的指导者50的指示笔位置。指导者50可以通过在观看在显示单元23b上的图像的同时用指示标41b指示虚拟对象43或者通过移动虚拟对象43的物品来向工作人员40给出工作指令。

可以通过将指示笔41a或41b移动到虚拟对象43的位置并且按压设在指示笔上的第一按键，进行虚拟对象43的移动。通过这个操作，指示笔的保持模式开始使虚拟对象与指示笔一起移动。如果在保持模式中再次按压指示笔的第一按键，则保持模式结束，并且可以使虚拟对象与指示笔脱开。为了防止由工作人员40进行的操作和由指导者50进行的操作相互干扰，工作人员的指示笔或者指导者的指示笔都可以进入保持模式以使虚拟对象移动。

在图2C所示的在显示单元23b上的图像为从摄像机70b的视点看到的混合现实图像。指导者50能够通过按压设在指示笔上的第二按键来切换摄像机视点。与上述图2B类似，指导者50能够在该屏幕上进行操作。对于指导者50的头部位置和指示笔位置之间的相对关系，指导者50的指示标41b被显示在根据新摄像机位置限定的位置上。从该状态开始，指导者50可以按压指示笔的第二按键，以将在显示单元23b上的图像切换为从工作人员40的视点看到的图像。

在这种情况下，工作人员40能够通过HMD20a看到的图像与指导者50能够通过HMD20b看到的完美地一致。在该状态下，指导者50可以进一步按压指示笔的第二按键以将在图2B所示的图像显示在指导者的HMD20b的显示单元23b上。这样，通过使用指示笔的第二按键，指导者50能够接连地切换处于工作人员40所在空间中的摄像机的图像。因此，指导者50能够从根据情况选择的最佳视点指示和帮助工作人员40的工作。

下面将参照随后的附图对上述操作进行更详细的说明。

图3为一流程图，显示出工作人员混合现实设备10a的操作，用来完成在混合现实空间中的工作。虽然在图2A中未示出，但是工作人员混合现实设备10a位于适当的位置处并且与工作人员的HMD20a和指示笔41a连接。工作人员混合现实设备10a能够通过设在网络上的管理服务器60与指导者混合现实设备10b通信。

在步骤S100中，可以将工作人员混合现实设备10a初始化。在该步骤中的初始化包括设定混合现实空间的世界坐标系(即，在图2A所示的真实世界中所限定的坐标系)。下文所述的传感器可以产生出在该坐标系中限定的6参数(x，y，z，α，β，γ)的数据组构成的输出，其中α表示绕着x轴线的转动角度，β表示绕着y轴线的转动角度，并且γ表示绕着z轴线的转动角度。另外，虚拟对象43(用作真实对象42的参考)的初始数据可以被设置在世界坐标系中，并且作为场景图形数据存储在图像生成部分13中。

在下一个步骤S110中，工作人员混合现实设备10a可以通过网络与管理服务器60建立连接以便传送和接收数据。工作人员混合现实设备10a能够借助虚拟对象传送/接收部分31a，将与虚拟对象和在步骤S100设定的世界坐标相关的信息上载至管理服务器60。

在步骤S120中，工作人员混合现实设备10a和管理服务器60可以设定用于话音通信的连接。在这种情况下，指导者混合现实设备10b还可以设定用于与管理服务器60进行话音通信的连接。通过上面的设定，工作人员和指导者可以用扬声器27a和27b(即，话音输出装置)和麦克风28a和28b(即，话音输入装置)相互交谈。

在步骤S130中，可以通过图像输入部分12将由安装在工作人员的HMD20a上的摄像机22捕获的图像输入到图像组合部分15。摄像机22包括与工作人员的两只眼睛对应的左(L)眼摄像机和右(R)眼摄像机。从各个摄像机发送出的图像可以存储在图像组合部分15的不同缓存器中。

在下一个步骤S140中，工作人员的头部的位置和取向可以从HMD三维位置传感器21a发送给位置和取向测量部分11a。该位置和取向测量部分11a可以产生出在世界坐标系中的那组6参数数据。

在下一个步骤S150中，可以将工作人员的指示笔41a的三维位置和取向信息发送给位置和取向测量部分11a。从指示笔41a获得的数据具有与从上述HMD三维位置传感器21a获得的数据类似的模式。

在步骤S160中，在步骤S150中获得的工作人员指示笔的位置和取向信息可以作为事件通过虚拟对象传送/接收部分31a传送给管理服务器60。

在步骤S170中，判断是否按压了工作人员指示笔的第一或第二按键。在按压了第一或第二按键时(即，步骤S170“是”中的“是”)，控制处理前进至步骤S180。否则，控制处理前进至步骤S190。

在步骤S180，可以通过虚拟对象传送/接收部分31a将按键按压事件发送给管理服务器60。

在步骤S190，虚拟对象传送/接收部分31a能够从管理服务器60接收作为事件的与工作人员的指示标、指导者的指示标以及虚拟对象有关的信息。

在步骤S210中，可以根据在步骤S190中所获得的变化信息来改变存储在图像生成部分13中的场景图形。

在步骤S220中，可以将反映操作结果的虚拟对象的场景图形、工作人员的指示标41a和指导者的指示标41b生成为从摄像机的视点(位置和取向)获得的左眼图像和右眼图像。可以在图像组合部分15中将所生成的图像盖写在左眼摄像机图像和右眼摄像机图像上。

这样，可以获得虚拟对象和真实对象的组合图像。三维位置和取向传感器21a、左眼摄像机22L和右眼摄像机22R处于固定的位置关系中。这样，可以通过进行校准预先获得转换公式。可以使用所获得的转换公式来确定摄像机视点的位置和取向。

在下一个步骤S240中，图像组合部分15中的左眼组合图像和右眼组合图像可以分别显示在工作人员HMD20a的左眼显示单元23aL和右眼显示单元23aR上。

在步骤S250中，可以在视频编码部分32a中将与显示在工作人员的HMD20a的显示单元23a上的图像相同的双眼图像编码。可以通过视频传送部分33a将编码图像传送给管理服务器60的视频通信管理部分65。

在下一个步骤S260中，判断是否输入了工作人员混合现实设备10a的终止命令。在输入了终止命令时(即，在步骤S260中为“是”)，该处理流程前进至步骤S270以执行话音通信完成处理。否则，该处理流程返回到步骤S130。

在步骤S270中，工作人员混合现实设备10a可以终止话音通信处理。然后，在步骤S280中，工作人员混合现实设备10a可以在终止该程序的处理之前断开与管理服务器60的通信。

图4为一流程图，显示出用来指示和支持在混合现实工作空间中的工作的指导者混合现实设备10b的操作。

在步骤S300中，可以将指导者混合现实设备10b初始化。该步骤中的初始化包括设置指导者所在的空间的世界坐标系，这是由位置和取向测量部分11b来执行的。与工作人员混合现实设备10a的传感器类似，将在后面描述的指导者混合现实设备10b的传感器可以产生由在该坐标系中限定的6个参数的数据组构成的输出。

在下一步骤S310中，指导者混合现实设备10b可以通过网络与管理服务器60建立连接，用于传输和接收数据。

在步骤S320中，指导者混合现实设备10b和工作人员混合现实设备10a可以通过管理服务器60的话音通信管理部分66开始话音通信。通过上面的设定，指导者和工作人员可以用扬声器27a和27b(即，话音输出装置)和麦克风28a和28b(即，话音输入装置)相互交谈。

在步骤S330中，可以从HMD三维位置传感器21b将指导者视点的位置和取向(x_h，y_h，z_h，α_h，β_h，γ_h)输入给位置和取向测量部分11b。另外，可以将指导者的指示笔41b的三维位置和取向信息(x_s，y_s，z_s，α_s，β_s，γ_s)输入给位置和取向测量部分11b。这些位置和取向数据是在指导者所处的空间的世界坐标系中限定的。可以将指示笔41b的位置和取向转换成从指导者的视点看的相对位置和取向。因此，可以计算出指导者的指示笔相对位置(x_d，y_d，z_d，α_d，β_d，γ_d)＝(x_s-x_h，y_s-y_h，z_s-z_h，α_s-α_h，β_s-β_h，γ_s-γ_h)。

在步骤S340中，在步骤S330中计算出的指导者的指示笔相对位置可以通过虚拟对象传送部分31b传送给管理服务器60的虚拟对象通信管理部分61。

在步骤S350中，视频接收部分33b能够从管理服务器60的视频通信管理部分65接收左眼图像和右眼图像。可以在视频解码部分32b中对左眼图像和右眼图像两者进行解码。

在步骤S360中，可以将解码的左眼和右眼图像显示在指导者的HMD20b的左眼显示单元23bL和右眼显示单元23bR上。

在下一个步骤S370中，判断是否输入了指导者混合现实设备10b的终止命令。在输入了终止命令时(即，在步骤S370中为“是”)，处理流程前进至步骤S400以执行话音通信终止处理。否则，该处理流程前进至步骤S380。

在步骤S380中，判断是否存在可以在指导者点击指示笔按键时产生出的按键事件。在产生出按键事件时(即，在步骤S380中为“是”)，则处理流程前进至步骤S390。否则，处理流程返回到步骤S330以重复上述处理。

在步骤S390中，指导者混合现实设备10b可以将该事件传送给管理服务器60的虚拟对象通信管理部分61。然后，该处理流程返回到步骤S330。

在步骤S400中，指导者混合现实设备10b可以终止该话音通信处理。然后，在步骤S410中，指导者混合现实设备10b可以在终止该例程的处理之前断开与管理服务器60的通信。

接下来将参照图5A、5B和5C对在管理服务器60中进行的各种事件处理进行说明。图5A为一流程图，显示出指示笔位置信息处理。

虚拟对象通信管理部分61能够从工作人员和指导者两者接收指示笔位置信息。管理服务器60响应于工作人员的指示笔位置信息的输入开始步骤S510的处理。在步骤S514中，管理服务器60将由6个参数表示的工作人员指示笔信息反映为存储在虚拟对象管理部分62中的场景图形的指示标信息。

在步骤S516中，参照在图9所示的虚拟对象操作表判断工作人员当前是否正在用指示笔操作虚拟对象。由工作人员操作物品ID和指导者操作物品ID两栏构成的虚拟对象操作表显示出由工作人员和指导者当前所操作的虚拟对象。更具体地说，从图9的表中，知道工作人员正在操作具有存储在工作人员操作物品ID栏中的ID的虚拟对象，同时指导者正在操作具有存储在指导者操作物品ID栏中的ID的虚拟对象。在当前没有操作任何虚拟对象时，将“空”存储在表中。

当有与工作人员操作物品ID对应的虚拟对象的ID存储在表中时(在步骤S516中为“是”)，则工作人员当前正在操作具有所标ID的虚拟对象。该处理流程前进至步骤S517。另一方面，在将“空”存储在表中时(即，在步骤S516中为“否”)，则工作人员当前没有操作任何虚拟对象。该处理流程前进至步骤S518。

在步骤S517中，管理服务器60将虚拟对象移动到指示笔位置，并且改变存储在虚拟对象管理部分62中的场景图形。在步骤S518中，管理服务器60在终止该例程的处理之前，将指示笔位置和虚拟对象操作事件两者传送给工作人员混合现实设备10a。

当接收到指导者的指示笔位置信息时，管理服务器60开始步骤S520的处理。在步骤S522中，管理服务器60将从指导者视点看到的指导者指示笔的相对位置信息转换成从所选摄像机视点看到的相对位置信息。更具体地说，在步骤S330中所获得的指导者的指示笔相对位置(x_d，y_d，z_d，α_d，β_d，γ_d)可以转换成工作人员空间世界坐标，作为从所选摄像机视点看到的相对位置。也就是说，当这些坐标(x_w，y_w，z_w，α_w，β_w，γ_w)表示摄像机视点时，指导者的指示笔具有坐标(x_w+x_d，y_w+y_d，z_w+z_d，α_w+α_d，β_w+β_d，γ_w+γ_d)。可以从在下文描述的图10所示的表的第二栏中获得所选摄像机的视点位置。

在步骤S524中，管理服务器60将在步骤S522中获得的指导者的指示笔信息反映成存储在虚拟对象管理部分62中的场景图形的指示标信息。在步骤S526中，参照在图9所示的虚拟对象操作表判断指导者当前是否正在用指示笔操作虚拟对象。

当有与指导者操作物品ID对应的虚拟对象的ID存储在该表中时(即，在步骤S526中为“是”)，则指导者当前正在操作具有所标ID的虚拟对象。该处理流程前进至步骤S527。另一方面，当将“空”存储在表中时(即，在步骤S526中为“否”)，则指导者当前没有操作任何虚拟对象。该处理流程前进至步骤S528。

在步骤S527中，管理服务器60将虚拟对象移动到指导者的指示笔位置，并且改变存储在虚拟对象管理部分62中的场景图形。在步骤S528中，管理服务器在终止该例程的处理之前，将指示笔指示标变化事件和虚拟对象操作事件传送给工作人员混合现实设备10a。

图5B显示出视点变化按键事件处理。当指导者按压指示笔的第二按键时，该事件可以由虚拟对象通信管理部分61接收并且发送给虚拟对象管理部分62。图10的摄像机管理表显示出指导者可以选择作为用于观察混合现实空间的视点的多个摄像机视点。图10的表包括在第一栏所列出的多个摄像机ID。根据该例子，除了工作人员摄像机之外还有总共n个摄像机。

该表的第二栏列出了由在工作人员空间的世界坐标系中所限定的6参数数据组表示的摄像机视点的位置数据。该表的第三栏显示出表示当前正在为指导者提供视点的摄像机的“标记”状态。只有一个摄像机(根据图10的例子为摄像机I)具有On标记标记，而其它摄像机具有Off标记标记。这意味着可以通过摄像机I提供指导者的视点图像。

当在这种情况下按压指导者的指示笔的第二按键时，On标记移动到摄像机II，并且摄像机I具有Off标记。这样，每次按压按键时，指导者的视点摄像机可以按照在图10的表所示的顺序连续变化(被选择)。根据该顺序，最后可以选择工作人员的摄像机，接下来再次选择摄像机I。在步骤S530中，如上所述，On标记从当前所选的摄像机移动到下一个摄像机。

在下一个步骤S532中，虚拟对象管理部分62将终止命令发送给视频通信管理部分65以终止当前视频连接。视频通信管理部分65然后断开视频通信。在步骤S534中，视频通信管理部分65参照在图10所示的摄像机管理表开始新的视频通信连接。当具有On标记的摄像机为摄像机服务器的摄像机时，可以将所选摄像机的图像信息输入到图像组合部分64中。

当具有On标记的摄像机为工作人员的摄像机时，没有图像信号从图像组合部分64输入给视频通信管理部分65。相反，可以在终止该例程的处理之前从话音通信管理部分66将工作人员混合现实设备10a的输出传送给指导者混合现实设备10b。这样，指导者能够切换混合现实视频的视点。

图5C显示出操作按键处理。当按压工作人员的指示笔按键时，步骤S550的工作人员按键处理开始。当按压指导者的指示笔的第一按键时，步骤S570的指导者按键处理开始。

在工作人员按键事件处理的步骤S552中，通过检查在图9所示的工作人员操作物品ID来判断工作人员当前是否正在操作某一个虚拟对象。当工作人员操作物品ID为空时(即，在步骤S552中为“否”)，工作人员当前没有操作任何虚拟对象，从而该处理流程前进至步骤S556。当存储有任一个操作物品ID时(即，在步骤S552中为“是”)，则工作人员当前正在操作虚拟对象，从而处理流程前进至步骤S554。

在步骤S554中，管理服务器60将在图9所示的工作人员操作物品ID的内容重写为零，并且终止工作人员按键事件处理。

在步骤S556中，管理服务器60将存储在虚拟对象管理部分62中的当前工作人员指示笔位置与处于工作人员混合现实空间中的所有虚拟对象的位置进行比较，并且前进至步骤S558。

在步骤S558中，根据比较结果判断是否存在处于预定距离内的虚拟对象(即，该距离是否在一阈值范围内)。当有这样的虚拟对象时(即，在步骤S558中为“是”)，将该虚拟对象(例如，在多个虚拟对象的情况下最近的一个)识别为操作对象。该处理流程前进至步骤S560。否则，该管理服务器60终止工作人员按键事件处理。

在步骤S560中，判断在步骤S558中所获得的操作对象ID是否与在图9所示的指导者操作物品ID一致。当所比较的ID相互一致时(即，在步骤S560中为“是”)，则指导者当前正在操作所标识的虚拟对象。管理服务器60终止工作人员按键事件处理。当所比较的ID彼此不一致时(即，在步骤S560中为“否”)，则该处理流程前进至步骤S562。

在步骤S562中，管理服务器60在终止工作人员按键事件处理之前，将在步骤S558中所获得的操作对象ID作为工作人员操作物品ID写入到图9的表中。

另一方面，在指导者按键事件处理的步骤S571中，管理服务器60通过进行与图5A的步骤S522类似的处理，将指导者的指示笔位置转变成工作人员的世界坐标。虚拟对象管理部分62存储所转换的指导者指示笔位置。

在步骤S572中，通过检查在图9所示的指导者操作物品ID来判断指导者是否正在操作任一个虚拟对象。当指导者操作物品ID为空时(即，在步骤S572中为“否”)，则指导者当前没有操作任何虚拟对象，因此该处理流程前进至步骤S576。当存储有指导者操作物品ID时(即，在步骤S572中为“是”)，指导者当前正在操作虚拟对象，于是该处理流程前进至步骤S574。

在步骤S574中，管理服务器60将在图9所示的指导者操作物品ID的内容重写为空并且终止该接收事件处理。

在步骤S576中，管理服务器60将存储在虚拟对象管理部分62中的当前指导者指示笔位置与处于工作人员混合现实空间中的所有虚拟对象的位置进行比较，获得距离。

在步骤S578中，根据比较结果判断是否存在处于预定距离内的虚拟对象(即，该距离是否在一阈值范围内)。当存在这样的虚拟对象时(即，在步骤S578中为“是”)，将该虚拟对象(例如，在多个虚拟对象的情况下的最近一个)识别为操作对象。该处理流程前进至步骤S580。否则，该管理服务器60终止接收事件处理。

在步骤S580中，判断在步骤S578中所获得的操作对象ID是否与在图9所示的工作人员操作物品ID一致。当所比较的ID相互一致时(即，在步骤S580中为“是”)，则工作人员当前正在操作所标识的虚拟对象。管理服务器60使接收事件处理终止。

当所比较的ID彼此不一致时(即，在步骤S580中为“否”)，处理流程前进至步骤S582。在步骤S582中，管理服务器60在使接收事件处理终止之前将在步骤S578中所获得的操作对象ID作为指导者操作物品ID写入到图9的表中。

在图9所示的工作人员操作物品ID和指导者操作物品ID可以由多个过程(或线程)访问。管理服务器60重写该表的内容，同时阻止从其它过程(或线程)进行访问。这样，管理服务器60能够管理每个虚拟对象的操作权限。

该示例性实施方案使用了两个设置在工作人员空间中的摄像机。但是，上述处理即使在摄像机的总数为三个或多个时也很容易进行。另外，三维位置和取向传感器21a和21b和指示笔41a和41b不限于磁性类型，而是可以用光学类型或任意其它类型代替。另外，虚拟对象43不限于真实对象的CG模型。上述处理能够类似地应用于任何其它虚拟对象。

代替使用上述HMD20b，指导者可以使用立体显示器。在这种情况下，立体显示器能够用作设置在指导者空间中的如图2B所示的显示单元23b。当该显示单元为偏振光类型或液晶快门类型时，指导者可以戴上偏振光眼镜或液晶快门眼镜，而不是使用HMD。

另外，根据双凸透镜方法，指导者可以在不使用任何眼镜的情况下观察到立体图像。但是，无论在什么情况下，显示单元必须配备有三维位置和取向传感器，以测量出指导者头部的位置和取向。

根据上述示例性实施方案，在远处的指导者可以通过选择多个摄像机视点中的所期望的一个，包括工作人员的HMD摄像机视点，来观看混合现实视频，从而无缝地感知工作人员的空间。因此，指导者能够将三维工作指令给予工作人员。

另外，在远处的多个参与者可以通过选择多个摄像机视点中的所期望的一个来观看混合现实视频，以无缝地感知工作人员的空间。因此，处于远处的多个参与者能够很容易进行三维协同工作。

第二示例性实施方案

根据第一示例性实施方案，指导者可以在设置在工作人员空间中的摄像机和工作人员的头戴式摄像机之中选择所期望的视点。但是，工作人员不能立即知道指导者的视点。为了解决这个问题，第二示例性实施方案使得工作人员能够确认显示出指导者的视点位置的标识符。

更具体地说，指导者的指示标41b能够根据摄像机视点改变其颜色。例如，在图2A中，当指导者选择摄像机70a的视点时，指导者的指示标41b转为绿色。当选择摄像机70b的视点时，指导者的指示标41b转为蓝色。当选择工作人员的摄像机视点时，指导者的指示标41b转为红色。通过这种设定，工作人员能够很容易感知到指导者的视点。

下面将对根据第二示例性实施方案的操作进行更详细说明。在图10所示的第一示例性实施方案的摄像机管理表可以改为如图11所示。图11的表包括用来表示与各个摄像机对应的颜色信息的附加栏，从而指示标41b能够响应于对摄像机的选择，参照该表的颜色信息来改变其颜色。

管理服务器60能够通过以下过程来实现该处理。首先，当在图5B所示的步骤S530中选择新的摄像机时，管理服务器60所示产生颜色改变事件(即，用于改变指示标41b的颜色的事件)。然后，管理服务器60改变存储在虚拟对象通信管理部分61中的场景图形。然后，将该颜色改变事件传送给工作人员混合现实设备10a。

作为用于使得工作人员能够识别指导者的视点位置的另一种方法，可以将指导者面部的具体形象或任意其它标识符显示在设在工作人员空间中的摄像机附近，或者可以将它叠加在该摄像机上。根据该方法，工作人员在工作人员将其面部转向摄像机时能够立即确认指导者的视点位置。

为了实现该操作，当在步骤S530中选择新的摄像机时，管理服务器60能够将CG生成事件(即，用于在摄像机位置处或其附近生成标识符的CG的事件)传送给虚拟对象通信管理部分61，并且传送给工作人员混合现实设备10a。

上述处理能够很容易进行，因为预先已经知道在工作人员空间的世界坐标系中的摄像机位置。另外，为了将该标识符与其它虚拟对象区分开，可以将用于禁止操作标识符CG的特定属性赋予该标识符。

另外，除了上述处理之外，管理服务器60可以将CG删除事件(即，用于删除为前一摄像机显示的CG的事件)传送给虚拟对象通信管理部分61，并且传送给工作人员混合显示设备10a。

如上所述，显示用于表示在工作人员空间中的指导者视点的适当标识符使得工作人员能够很容易感知到指导者的视点。因此，可以改善远程工作效率。

第三示例性实施方案

根据第一示例性实施方案，只有一个处于远处的指导者能够支持工作人员。如果该系统能够允许多个远程操作人员来共享工作人员混合现实空间，则该系统的可用性能够得到进一步改进。

图6A和6B图解了第三示例性实施方案的构思。图6A和6B的操作状态与图2A、2B和2C的不同之处在于，两个远程参与者50b和50c能够共享图6A所示的工作人员混合现实空间。

远程参与者50c的指示标41c能够被显示在工作人员混合现实空间中，并且能够由所有参与者共享。远程参与者50b和50c能够分别观看显示在图6B所示的显示单元23b和23c上的图像。根据该实施例，远程参与者50b正在从摄像机70a的视点观看工作人员混合现实空间，并且远程参与者50c正在从摄像机70b的视点进行观察。

与第一示例性实施方案类似，每个远程参与者的指示笔包括第一和第二按键(未示出)。可以使用第一按键来保持或释放虚拟对象，同时可以使用第二按键来切换摄像机视点位置。

例如，在图6B的情况中，远程参与者50b能够通过按压指示笔的第二按键，将视点位置从摄像机70a切换到摄像机70b。另外，远程参与者50b能够通过再次按压指示笔的第二按键，将视点位置从摄像机70b切换至工作人员的摄像机。另外，远程参与者50b能够通过再次按压指示笔的第二按键来将视点位置从工作人员摄像机切换到摄像机70a。

类似地，远程参与者50c能够通过按压指示笔的第二按键来连续地切换视点位置。远程参与者能够选择相同的视点，但是只允许一个参与者操作虚拟对象。

图7显示出根据第三示例性实施方案的远程混合现实共享系统的实施例。在图7所示的布置包括两个远程参与者混合现实设备10b和10c，每个都具有与图1所示的指导者混合现实设备10b的布置相同的布置。

参与者混合现实设备10b与在图1所示的与管理服务器60相关的指导者混合现实设备10b没有什么不同。参与者混合现实设备10c具有与管理服务器60的话音通信管理部分66连接的话音传送和接收部分35c、与管理服务器60的话音视频通信管理部分65连接的视频接收部分66和与管理服务器60的虚拟对象通信管理部分61连接的虚拟对象传送部分31c。

虽然该例子显示出两个远程参与者，但是可以通过提供与管理服务器60连接的另外的远程参与者混合现实设备来增加远程参与者的总数。

下面将与第一示例性实施方案相比较来说明第三示例性实施方案的处理。与工作人员混合现实设备10a相关的处理与在图3所示的流程图没有什么不同。与远程参与者混合现实设备10b和10c相关的处理与在图4所示的流程图没有什么不同。与管理服务器60相关的处理与图5A、5B和5C的流程图不同，因为增加了与管理服务器60连接的远程设备的数量。

图8A、8B和8C为流程图，显示出在根据第三示例性实施方案的管理服务器60中进行的部分接收事件处理。

该虚拟对象通信管理部分61能够接收与工作人员的指示笔位置和远程参与者的指示笔位置相关的信息。用于工作人员指示笔位置信息的处理与第一示例性实施方案中的处理没有不同。管理服务器60在图8A的步骤S600开始远程参与者的指示笔位置事件处理。

在步骤S602中，管理服务器60将从参与者视点看到的远程参与者指示笔的相对位置信息转换成从所选摄像机的视点看到的相对位置信息。在这种情况下，可以从图13的第二栏中获得所选摄像机的视点位置。

在步骤S604中，管理服务器60能够将在步骤S602中获得的远程参与者指示笔信息反映成存储在虚拟对象管理部分62中的场景图形的指示标信息。在步骤S608中，参照在图12所示的虚拟对象管理表来判断远程参与者是否正在用指示笔操作虚拟对象。

虚拟对象管理表为一矩阵，显示出工作人员和远程参与者当前正在操作的虚拟对象、列在第一栏中的虚拟对象的类型以及在随后的栏中显示出的工作人员和远程参与者。

管理服务器60能够使用该虚拟对象管理表来管理参与者对虚拟对象的操作。根据图12的实施例，远程参与者A正在操作虚拟对象I，并且远程参与者B正在操作虚拟对象III。对于每个参与者而言，将On标记放入到参与者当前正在操作的虚拟对象的行中。否则将“空”存储在该单元中。从该表中可以理解，每个虚拟对象只能由一个参与者操作。

根据该处理，管理服务器60检查已经传送了指示笔位置事件的远程参与者栏。当存在具有On标记的虚拟对象时(即，在步骤S608中为“是”)，该远程参与者当前正在操作该虚拟对象。该处理流程前进至步骤S610。

否则，该远程参与者当前没有操作任何虚拟对象，于是该处理流程前进至步骤S612。在步骤S610中，管理服务器60将虚拟对象移动到指示笔位置，并且改变场景图形。

在步骤S612中，管理服务器60在使该例程的处理终止之前，将指示笔位置和虚拟对象操作事件传送给工作人员混合现实设备10a。

图8B显示出视点变化按键事件处理。当远程参与者按压指示笔的第二按键时，该事件能够由虚拟对象通信管理部分61接收到并且发送给虚拟对象管理部分62。

图13的摄像机管理表显示出远程参与者能够选择作为用于观察混合现实空间的视点的多个摄像机视点。图13的表包括多个列在第一栏中的摄像机ID。根据该例子，除了工作人员摄像机之外还存在总共n个摄像机。

该表的第二栏列出了由在工作人员空间的世界坐标系中所限定的6参数数据组表示的摄像机视点的位置数据。该表的第三栏和随后各栏显示出当前为远程指导者提供视点的摄像机的“标记”的状态。根据该例子，远程参与者B正在从摄像机I的视点观察，并且远程参与者C正在从摄像机n的视点进行观察。

如果远程参与者B在这种情况下按压了指示笔的第二按键，On标记就从摄像机I移动至摄像机II。

这样，在每次按压该按键时，远程参与者的视点摄像机能够按照在图13的表中所示的顺序连续变化(被选择)。根据该顺序，最后可以选择工作人员摄像机，然后可以再次选择摄像机I。

在步骤S630中，如上所述，On标记从当前所选的摄像机移动到下一个摄像机。在下一个步骤S632中，虚拟对象管理部分62将终止命令发送给视频通信管理部分65以终止当前的视频连接。该视频通信管理部分65然后使视频通信断开。

在步骤S634中，视频通信管理部分65参照在图13所示的摄像机管理表，开始新的视频通信连接。当具有On标记的摄像机为摄像机服务器的摄像机时，可以将所选摄像机的图像信号输入到图像组合部分64中。

当具有On标记的摄像机为工作人员的摄像机时，没有图像信号可以从图像组合部分64输入给视频通信管理部分65。相反，可以在终止该例程的处理之前，从话音通信管理部分66将工作人员混合现实设备10a的输出传送给相应的远程参与者混合现实设备10b。这样，远程参与者能够通过切换视点来观看混合现实视频。

在图8C所示的指导者按键事件处理的步骤S671中，管理服务器60通过进行与图8A的步骤S602类似的处理将远程参与者的指示笔位置转换成工作人员的世界坐标。虚拟对象管理部分62存储经过转换的远程参与者指示笔位置。

在步骤S672中，通过检查图12所示的远程参与者操作物品ID，判断已经传送了按键事件的远程参与者当前是否正在操作虚拟对象。当不存在任何On标记时(即在步骤S672中为“否”)，该远程参与者当前没有操作任何虚拟对象，因此处理流程前进至步骤S676。当存在On标记时(即，在步骤S672中为“是”)，该远程参与者当前正在操作虚拟对象，因此处理流程前进至步骤S674。

在步骤S674中，管理服务器60将图12所示的相应远程参与者的栏重写为“空”并且终止该例程的处理。在步骤S676中，管理服务器60将存储在虚拟对象管理部分62中的当前远程参与者的指示笔位置与处于工作人员混合现实空间中的所有虚拟对象的位置进行比较，以获得距离。

在步骤S678中，根据比较结果判断是否存在处于预定距离内的虚拟对象(即，该距离是否在一阈值范围内)。当存在这样的虚拟对象时(即，在步骤S678中为“是”)，将该虚拟对象(例如，在多个虚拟对象的情况下，最近的一个)识别为操作对象。该处理流程前进至步骤S680。否则，该管理服务器60终止接收事件处理。

在步骤S680中，判断在步骤S678中所获得的操作对象ID是否与在图12所示的工作人员操作物品ID一致。当在虚拟操作对象的行中有On标记时(即，在步骤S680中为“是”)，则另一个参与者当前在操作所标记的虚拟对象。管理服务器60使接收事件处理终止。

当在虚拟操作对象的行中没有On标记时(即，在步骤S680中“否”)，处理流程前进至步骤S682。在步骤S682中，管理服务器60在使远程参与者按键处理结束之前，将在步骤S678中所获得的操作对象ID分配到在图12的表中的On标记。通过上述处理，多个远程参与者能够从多个视点观察工作人员混合现实空间，并且可以指示或操作共享虚拟对象。

第四实施方案

根据第三示例性实施方案，远程参与者能够在设置在工作人员空间中的摄像机和工作人员的头戴式摄像机之中选择所期望的视点。但是，工作人员不能立即知道远程参与者的视点。为了解决这个问题，第四示例性实施方案使得工作人员能够确认显示出远程参与者的视点位置的标识符。

为此，可以将指导者面部的具体形象或任意其它标识符显示在设在工作人员空间中的摄像机附近，或者可以将它叠加在该摄像机上。根据该方法，工作人员在工作人员将其面部转向摄像机时能够立即确认远程指导者的视点位置。

为了实现该操作，当在步骤S630中选择新的摄像机时，管理服务器60能够将CG生成事件(即，用于在摄像机位置处或其附近生成标识符的CG的事件)传送给虚拟对象通信管理部分61，并且传送给工作人员混合现实设备10a。

上述处理能够很容易进行，因为预先已经知道在工作人员空间的世界坐标系中的摄像机位置。

另外，为了将该标识符与其它虚拟对象区分开，可以将用于禁止操作标识符CG的特定属性赋予该标识符。

如上所述，在工作人员空间中显示用于表示远程指导者视点的适当标识符使得不仅工作人员而且还有远程参与者能够很容易感知到另一个参与者的视点。因此，可以改善远程工作效率。

作为面部的CG的替换方案，该标识符可以为表示另一个参与者的姓名的文本数据或颜色标识符。当多个远程参与者共享相同的摄像机视点时，这些远程参与者的标识符应该按照彼此区分开的方式显示。

第五示例性实施方案

根据第三示例性实施方案，将立体摄像机固定在工作人员空间中。但是立体摄像机可以是可动的，例如允许摇摄和俯仰运动，或者可以安装在汽车上。在这种情况下，可以用安装在摄像机上的三维位置和取向传感器实时地测量摄像机的视点位置和取向。

可以通过在摄像机的操作期间时刻测量出摄像机位置和取向，并且将所测量出的结果(即，摄像机视点位置坐标)存储在图12的表中，来实现与第三示例性实施方案相同的操作。

当远程参与者需要输入设备来移动和控制摄像机时，为该目的可以在指示笔上设置操纵杆或其他相当的装置。

另外，为了避免来自多个参与者的摄像机操作请求相互冲突，管理服务器60或摄像机服务器70a和70b应该具有基于公知技术的操作权限管理功能。

如上所述，多个远程参与者能够从多个摄像机视点观察工作人员混合现实空间，并且也能够从远处控制视点位置和取向。因此，可以实现改进的远程协作支持系统。

虽然已经参照了示例性实施方案对本发明进行了说明，但是要理解的是，本发明不限于所披露的示例性实施方案。要将下面权利要求的范围给予最宽的解释以便涵盖所有变型、等同结构和功能。

Claims

1.一种信息处理方法，用于使得第二用户能够共享包括叠加在第一用户所处空间中的虚拟对象的混合现实空间图像，该方法包括：

第一图像获取步骤，用于根据来自安装在第一用户上的第一立体摄像部分的立体视频数据和基于第一立体摄像部分的位置和取向产生的虚拟对象图像获得第一立体图像；

第二图像获取步骤，用于根据来自设在第一用户所处空间中的第二立体摄像部分的立体视频数据和基于第二立体摄像部分的位置和取向产生的虚拟对象图像来获取第二立体图像；

选择步骤，根据所述第二用户的指令从第一立体图像和第二立体图像中选择图像；以及

显示步骤，用于将所选的图像显示给所述第二用户。

2.如权利要求1所述的信息处理方法，还包括：

操作对象位置获取步骤，用于获得由所述第二用户操作的操作对象的位置；

第二用户位置和取向获取步骤，用于获取所述第二用户的位置和取向；以及

相对位置信息获取步骤，用于获取表示操作对象相对于所述第二用户的位置和取向的位置的相对位置信息。

3.如权利要求2所述的信息处理方法，还包括：

生成步骤，用于参照操作对象的相对位置信息和第一和第二立体摄像部分中与所选图像对应的的一个的位置和取向，根据第一立体摄像部分的位置和取向生成操作对象虚拟图像；

组合步骤，用于将操作对象虚拟图像与第一立体图像组合以产生合成图像；以及

显示步骤，用于将合成图像显示给第一用户。

4.如权利要求2所述的信息处理方法，还包括：

识别图像生成步骤，用于生成表示所选图像的识别图像；

识别图像组合步骤，用于将识别图像与第一立体图像组合以生成合成图像；

显示步骤，用于将在识别图像组合步骤中生成的合成图像显示给第一用户。

5.如权利要求4所述的信息处理方法，其中识别图像为操作对象的虚拟图像，并且操作对象的虚拟图像的颜色根据所选图像变化。

6.一种信息处理设备，用于使得第二用户能够共享包括叠加在第一用户所处空间中的虚拟对象的混合现实空间图像，该设备包括：

第一图像获取单元，用于根据来自安装在第一用户上的第一立体摄像部分的立体视频数据和基于第一立体摄像部分的位置和取向产生的虚拟对象图像获得第一立体图像；

第二图像获取单元，用于根据来自设在第一用户所处空间中的第二立体摄像部分的立体视频数据和基于第二立体摄像部分的位置和取向产生的虚拟对象图像来获取第二立体图像；

选择单元，根据所述第二用户的指令从第一立体图像和第二立体图像中选择图像；以及

显示单元，用于将所选的图像显示给所述第二用户。