CN115867944A

CN115867944A - 虚拟现实共享方法和系统

Info

Publication number: CN115867944A
Application number: CN202080102659.1A
Authority: CN
Inventors: 川前治; 奥万寿男
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2020-08-06
Filing date: 2020-08-06
Publication date: 2023-03-28
Also published as: US20230290081A1; WO2022029959A1; EP4195159A4; JPWO2022029959A1; EP4195159A1

Abstract

本发明的虚拟现实共享系统构成为经由网络通信连接：将在不同视点拍摄同一个现实空间而得到的多个摄像机拍摄影像进行合成来生成VR影像的VR服务器、描绘AR对象(ARO)的AR服务器、以及能够接收VR影像和ARO并在VR影像上叠加地显示ARO的视听者用虚拟现实共享终端(终端)，终端的输入设备接收了用于导入VR影像的视听者视点的设定输入操作时，从终端对VR服务器和AR服务器发送表示视听者视点的位置和方向的数据，从VR服务器接收从视听者视点看到的VR影像，并从AR服务器接收从视听者视点看到的ARO的描绘数据，在从视听者视点看到的VR影像上叠加基于描绘数据得到的AR对象并将其显示于终端的显示器。

Description

虚拟现实共享方法和系统

技术领域

本发明涉及虚拟现实共享方法和系统，涉及多人共享由现实空间与虚拟空间(AR对象：也记作Argument Reality(增强现实)物体)构成的混合现实(MR：Mixed Reality)空间的方法和系统。

背景技术

专利文献1中公开了下述技术：“包括：获取基于第一用户佩戴的第一立体拍摄部的立体影像和来自基于所述第一立体拍摄部的位置姿势的虚拟物体图像的第一立体图像的第一图像获取工序；获取基于所述第一用户所在的空间中设置的第二立体拍摄部的立体影像和来自基于所述第二立体拍摄部的位置姿势的虚拟物体图像的第二立体图像；从所述第一立体图像和所述第二立体图像中选择与所述第二用户的指示相应的图像的选择工序；和对所述第二用户展示所述选择的图像的展示工序(摘自摘要)”的技术。

现有技术文献

专利文献

专利文献1：日本特开2006-293604号公报

发明内容

发明要解决的课题

根据专利文献1，位于远程地点的视听者为了共享MR空间，而使用体验者(作业者)的HMD以及配置在现实空间中的固定摄像机，从体验者的HMD和固定摄像机中的任一者选择视听者的视线，能够从选择的视线共享MR空间。

但是，专利文献1中，位于远程地点的视听者只能以体验者的HMD或固定摄像机中的任一者固定的视线共享MR空间。从而，存在视听者只能以受限的视线共享MR空间的课题。

本发明是鉴于上述课题而得出的，目的在于增加视听者共享MR空间的视线的选择自由度。

用于解决课题的技术方案

为了解决上述课题，本发明具要求的权利范围中记载的结构。举其一例，虚拟现实共享方法的特征在于，包括：获取在第一虚拟现实共享终端的第一视点拍摄现实空间而生成的第一摄像机拍摄影像的步骤；在所述第一虚拟现实共享终端显示叠加在所述现实空间上的AR对象的第一显示步骤；获取在与所述第一视点不同的第二视点拍摄所述现实空间而生成的第二摄像机拍摄影像的步骤；将所述第一摄像机拍摄影像和所述第二摄像机拍摄影像进行合成来生成VR影像的VR影像生成步骤；获取第二虚拟现实共享终端中接收到的、用于导入所述VR影像的视听者视点的设定输入信息的视点获取步骤；和在从所述视听者视点看到的所述VR影像上叠加从所述视听者视点看到的所述AR对象并将其显示于所述第二虚拟现实共享终端的第二显示步骤。

发明效果

根据本发明，能够增加视听者共享MR空间的视线的选择自由度。对于上述以外的目的、结构、效果，在以下实施方式中说明。

附图说明

图1是第一实施方式的虚拟现实共享系统的概略图。

图2A是作为虚拟现实共享终端的体验者用HMD和参加者用HMD的外观图。

图2B是作为虚拟现实共享终端的视听者用HMD的外观图。

图3是体验者用HMD的框图。

图4是参加者用HMD的框图。

图5是视听者用HMD的框图。

图6是VR服务器的框图。

图7是AR服务器的框图。

图8是说明体验者和参加者用HMD的位置检测的例子的图。

图9是说明VR影像的生成的图。

图10是说明VR影像的规范化处理的图。

图11是MR体验程序的流程图。

图12是MR参加程序的流程图。

图13是关于AR对象的位置的补充说明的图。

图14是MR视听程序的流程图。

图15是VR生成程序的流程图。

图16是AR描绘程序的流程图。

图17是表示视听者选择视点的位置的方法的一例的图。

图18是第二实施方式的虚拟现实共享系统的概略图。

图19是第二实施方式的虚拟现实共享系统的变形例的概略图。

图20是第三实施方式的虚拟现实共享系统的参加者用HMD的框图。

图21是第三实施方式的MR参加程序的流程图。

图22是第四实施方式的虚拟现实共享系统的概略图。

图23是第四实施方式的AR描绘程序的流程图。

具体实施方式

以下，参考附图，对于本发明的实施方式进行说明。在全部图中对于同一结构、步骤附加同一附图标记，省略重复说明。

在用摄像机拍摄的现实空间的背景影像上附加用CG(Computer Graphics：计算机图形)生成的AR对象，被用于游戏和远程医疗、维护作业等内容。为了附加AR对象，而与背景影像同时用摄像机拍摄被称为AR触发器或标记的现实物体的影像，将与AR触发器或标记相关联的AR对象与背景影像合成。

特别是在混合现实(MR：Mixed Reality)中，使用摄像机与显示器一体化的HMD(头戴式显示器)，与用HMD中装备的摄像机拍摄的背景影像或者透过HMD观看的背景影像重叠地，在HMD上显示与HMD的位置和HMD的方向等相应地描绘的AR对象，作为虚拟空间的影像。

本实施方式是用在虚拟空间的影像中的、与佩戴HMD的人的动作相应地连续显示超宽(例如360°)空间的图像的VR(Virtual Reality，虚拟现实)提供基于影像的模拟体验、由多人共享该模拟体验的方式。

[第一实施方式]

(系统结构和HMD)

图1是第一实施方式的虚拟现实共享系统100的概略图。

虚拟现实共享系统100是在具有AR对象4b的操作权的体验者11、与体验者11在同一现实空间中的观看AR对象4b的参加者12a、12b、12c、12d、12e、以及与体验者11和参加者12a～12e在不同的现实空间(远程地点)的视听者13a、13b、13c之间共享包括MR空间6的虚拟空间的系统。特征在于不仅在同一现实空间中的体验者11和参加者12a～12e，位于远程地点的视听者13a～13c也能够共享地体验包括MR空间6的虚拟现实这一点。

在MR空间6中，在现实物体4a上叠加地显示以此为AR标记相关联的AR对象4b。图1中现实物体4a是新商品的非操作设备，AR对象4b是操作手段。而且，这是体验者11用AR对象4b实际演示新商品的操作方法同时进行说明的例子。

体验者11佩戴的体验者用HMD1(以下有时简记为“HMD1”)和参加者12a～12e各自佩戴的参加者用HMD2a～2e(以下有时简记为“HMD2a～2e”)分别与在MR空间6中设置的接入点5a～5c之间收发网络信号10a、10b、10c、10d、10e、10f、10g、10h、10i。体验者用HMD1和参加者用HMD2a～2e是虚拟现实共享终端。

视听者13a操作的视听者用信息终端3a(以下有时简记为“信息终端3a”)和视听者13b、13c各自佩戴的视听者用HMD3b、3c(以下有时简记为“HMD3b、3c”)与接入点5d、5e之间收发网络信号10j、10k、10l、10m、10n。视听者用信息终端3a、视听者13b、13c也是虚拟现实共享终端。

接入点5a～5c与MR空间6外的网络7连接，是网络7上设置的VR服务器8、AR服务器9与HMD1、2a～2e进行通信的中间介质。另外，在网络7上也设置有远程地点的接入点5d、5e，是VR服务器8、AR服务器9与视听者用HMD3b、3c和信息终端3a进行通信的中间介质。

AR对象4b在HMD1、2a～2e、3b、3c中三维显示，所以能够实现反映了现实物体4a与AR对象4b的前后等位置关系的有现实感的显示。

图2A是作为虚拟现实共享终端的体验者用HMD1和参加者用HMD2a～2e的外观图，图2B是作为虚拟现实共享终端的视听者用HMD3b、3c的外观图。

首先，对于体验者用HMD1、参加者用HMD2a～2e和视听者用HMD3b、3c中共通的结构进行说明。体验者HMD1、参加者用HMD2a～2e和视听者用HMD3b、3c分别具有左投影仪22a、右投影仪22b、屏幕23、鼻托24、处理器25、扬声器26、麦克风27、左镜腿28a、右镜腿28b、镜梁28c。将左镜腿28a、右镜腿28b、镜梁28c总称为镜框框体28。佩戴者用镜框框体28和鼻托24将HMD佩戴在自身的脸部。

另外，体验者用HMD1、参加者用HMD2a～2e还具有摄像机21和测距摄像机29。摄像机21以拍摄HMD佩戴者的视线前方的现实空间即背景影像的方式安装，测距摄像机29测量到作为背景影像的一部分而捕捉的现实物体4a的距离。

体验者用HMD1、参加者用HMD2a～2e中，HMD佩戴者透过屏幕23观看前方的现实空间的背景影像，或者将用佩戴的摄像机21拍摄到的背景影像映现在屏幕23上来观看。另外，左投影仪22a和右投影仪22b将AR对象4b作为用左眼确认的影像和用右眼确认的影像，投影在屏幕23上，以仿佛在现实空间的规定距离上存在AR对象4b的方式立体显示。视听者用HMD3b、3c中，叠加地显示后述的VR影像和AR对象4b。

HMD的显示中，基于现实物体4a与AR对象4b的距离的前后关系，在处于现实物体4a的一部分位于AR对象4b的一部分之前的关系时，以AR对象4b的一部分看起来被现实物体4a的一部分遮挡的方式，进行对AR对象的描绘数据加工的遮挡处理，显示增加了现实感的MR空间的影像。

处理器25、摄像机21、扬声器26、麦克风27配置于镜框框体28。另外，配置场所也可以与图2A、图2B不同。

(三维虚拟现实显示装置的框图)

图3是体验者用HMD1的框图。图3中，处理器25是用虚线包围的部分，对于处理器25，分别连接摄像机21、测距摄像机29、左投影仪22a、右投影仪22b、屏幕23、扬声器26、麦克风27、方位传感器250、陀螺仪传感器251、加速度传感器252。

处理器25包括CPU254、RAM255、影像RAM256、FROM257、特征提取处理器260、距离计算处理器261、方位传感器250、陀螺仪传感器251、加速度传感器252和内部总线262，各要素经由内部总线262相互连接。另外，也存在方位传感器250、陀螺仪传感器251、加速度传感器252不包括在处理器25中的结构的情况。

左投影仪22a和右投影仪22b分别将左眼的图像和右眼的图像独立地投影至屏幕23，进行影像的三维显示。作为其他方式，也可以是使用了全息透镜的光学系统这样的能够进行三维显示的其他显示设备。

无线通信器253从4G、5G等移动通信、无线LAN等几种通信处理中选择适当的处理，经由接入点5a、5b、5c中的任一者将HMD1连接至网络7。

FROM257中包括基本程序258和MR体验程序259作为处理程序。这些处理程序由CPU254部署至RAM255并执行。进而，在FROM257中保存有执行处理程序所需的数据。FROM257可以如图所示由一个存储介质、也可以由多个存储介质构成。进而，也可以是Flash ROM(闪存)以外的非易失性的存储介质。

另外，对左投影仪22a和右投影仪22b送出的影像数据，由CPU254保存在影像RAM256中，由CPU254从影像RAM256读取并从左投影仪22a和右投影仪22b投射至屏幕23。

特征提取处理器260进行从用摄像机21拍摄的背景影像中提取现实物体的轮廓(边缘)、将轮廓的拐点和顶点作为特征点的处理。对于这些特征点，组合用距离计算处理器261得到的距离数据。构成轮廓的特征点数据的集合与背景影像相关联。

方位传感器250、陀螺仪传感器251、加速度传感器252用于追踪HMD1的位置和摄像机的拍摄方向(等于体验者11的视线)等。获取使用后述的配置位置已知的接入点5a、5b、5c而得到的位置、以及用方位传感器250、加速度传感器252得到的上下、左右的视线方向，用陀螺仪传感器251等追踪HMD1的运动，检测HMD1的佩戴者(体验者11)运动引起的位置和方向的变化。

图4是参加者用HMD2a～2e的框图。图4中，在FROM257中保存基本程序258和MR参加程序263。HMD2a～2e作为硬件与HMD1相同，代替HMD1的MR体验程序259地保存作为应用程序的MR参加程序263这一点不同。

图5是视听者用HMD3b、3c的框图。图5中，省略了摄像机21和测距摄像机29，在FROM264中保存基本程序265和MR视听程序266。另外，代替左投影仪22a、右投影仪22b、屏幕23而具有沉浸型(非透射型、遮蔽型)的显示器30。

图6是VR服务器8的框图。图6中，VR服务器8包括有线LAN等的网络接口(网络IF)81、CPU82、RAM83、存储84、内部总线87，各构成要素经由内部总线87相互连接。

存储84在Flash ROM之外，也可以由硬盘驱动器等构成。存储84包括VR生成程序85作为处理程序，由CPU82部署至RAM83并执行。进而，存储84包括VR数据86，保存执行处理程序所需的数据。

图7是AR服务器9的框图。图7中，AR服务器9包括有线LAN等的网络IF91、CPU92、RAM93、存储94和内部总线97，各构成要素经由内部总线97相互连接。

存储94在Flash ROM之外，也可以由硬盘驱动器等构成。存储94包括AR描绘程序95作为处理程序，由CPU92部署至RAM93并执行。进而，存储94包括AR数据96，保存执行处理程序所需的数据。另外，作为AR数据96，也可以将过去生成的AR对象存档，在处理程序执行中提示体验者使用。

(VR影像的生成)

图8是说明体验者11和参加者12a～12e佩戴的HMD1、2a～2e的位置检测方法的例子的图。图8中，为了进行HMD1、2a～2e的位置检测，使用在MR空间6中设置的、设置位置已知的接入点5a～5c。HMD1、2a～2e的位置计算方法相同，所以以下举出HMD1为例进行说明。

HMD1位于P点的位置时，从接入点5a～5c接收网络信号10g～i，根据其强度计算与接入点5a～5c之间的距离。图8中，与接入点5a之间的距离是r1，与接入点5b之间的距离是r2，与接入点5c之间的距离是r3，与接入点5a距离r1的球面、与接入点5b距离r2的球面、与接入点5c距离r3的球面交叉的面上的1个点是P点，可以缩小MR空间6内的存在范围。在这些接收强度的信息之外，也能够根据搭载HMD1的头部的高度、从摄像机21可见的图像、来自各种传感器的信息，来确定P点的位置。

HMD1位于P点时，对于HMD1朝向的方向、即体验者11的视线方向，由方位传感器250决定左右方向，由加速度传感器252决定上下方向。

体验者11在MR体验中移动位置、移动头部而改变视线。对于这些变化，用加速度传感器252、陀螺仪传感器251等追踪移动。在移动后检测出HMD1处于静止状态时，可以重新进行使用接入点5a～5c的位置检测等，将传感器进行的追踪中的累积误差重置。

作为HMD1的位置和方向的计算方法，不限定于上述方法。例如，也可以使用代替接入点5a～5c地使用影像标记，在装备的摄像机21之外也同时使用测距摄像机29，用摄像机21捕捉影像标记、用测距摄像机29得到与影像标记之间的距离的方法；从用摄像机21捕捉的影像标记的变化计算移动的方法等。

图9是说明VR影像的生成方法的图。

VR影像是通过将用体验者用HMD1和参加者用HMD2a～2e的摄像机拍摄的影像粘贴在半径R的上半天球面而生成的。体验者用HMD1和参加者用HMD2a～2e中的、位于E点位置的任一个HMD朝向上半天球面的PE点拍摄时，在以PE点为中心的区域粘贴摄像机拍摄影像。同样，位于F点位置的HMD朝向上半天球面的PF点拍摄时，在以PF点为中心的区域粘贴摄像机拍摄影像。在2个区域重叠的部分，在摄像机拍摄影像中映出的物体的边界上将区域接合，成为连续的VR影像。对于体验者用HMD1、参加者用HMD2a～2e全部进行该处理。结果，能够得到不仅对于上半天球的全部区域、对于体验者11和参加者12a～12e的视线所在的区域也粘贴了影像的VR影像。

另外，在将重叠的2个区域接合时，为了使位于边界的物体的大小的位置一致，而以对HMD的位置、方向进行微调整的方式进行修正，将修正结果用作HMD的位置、方向数据，能够提高HMD的位置、方向的精度。

图10是说明VR影像的规范化(归一化)的图。

图10中，示出了从H点拍摄K点的情况和从G点拍摄K点的情况。2个情况下，摄像机21的拍摄视野角相同，所以从距离较近的G点拍摄时，拍摄区域更窄。反而言之，如果是同一被拍摄体，则在拍摄画面中更大地映出。设GK间距离为d2、HK间距离为d1时，将从G点拍摄到的影像P2粘贴在以K点为中心的区域的情况下，通过变换为仿佛从上半天球面的H点拍摄到的影像来生成视听者用VR影像。2个拍摄范围的比率是d2/d1，按该比率对从G点拍摄的影像P2进行规范化，得到规范化的影像。规范化的影像P2的显示区域与从H点实际拍摄得到的影像的区域P1相比更小。

(MR体验程序)

图11是MR体验程序259的流程图。

HMD1起动，为了共享MR空间6而对用户管理处理登入(S101)。用户管理处理在图1的系统结构中并未图示，可以独立地设置服务器，也可以使VR服务器8或AR服务器9具备该功能。对用户管理处理登入时，在VR服务器8和AR服务器9中登记为体验者11。

用HMD1的摄像机21和测距摄像机29开始拍摄(S102)。摄像机拍摄影像中包括与现实物体之间的距离数据。摄像机拍摄例如可以按30fps(frame per second，帧每秒)进行动态影像拍摄，采集拍摄影像，以后的步骤可以与摄像机的拍摄周期同步地执行。

HMD1检测MR空间6内的HMD1的位置(S103)。

HMD1检测HMD1的摄像机21的拍摄方向(S104)。HMD1的位置信息和检测出的拍摄方向是摄像机拍摄影像的元数据。

从S105和S111起分为2个进程并行处理。S105～S110是关于与AR服务器9之间的处理的进程，S111～S113是关于与VR服务器8之间的处理的进程。

在S105中，从HMD1对AR服务器9发送HMD1的位置和拍摄方向的数据。

HMD1例如从AR服务器9中保存的列表中选择MR体验中使用的AR对象，生成为显示的数据(S106)。

HMD1接收所选择的AR对象的描绘数据，显示于HMD1的屏幕23(S107)。

体验者11对所显示的AR对象4b进行操作时(S108)，设定表示进行的操作的内容的MR空间6内的配置位置、大小、方向等参数。配置位置、方向等参数是以HMD1的位置和方向为基准的相对值。HMD1将所设定的参数发送至AR服务器9，AR服务器9将反映了参数的AR对象4b的描绘数据发送至HMD1。

HMD1接收反映了所设定的参数的AR对象4b的描绘数据并进行显示(S109)。HMD1在显示时，基于现实物体4a与AR对象4b的距离关系，在处于现实物体4a的一部分位于AR对象4b的一部分之前的关系时，以AR对象4b的一部分看起来被现实物体4a的一部分遮挡的方式，进行对AR对象4b的描绘数据加工的处理。

多个AR对象可以在一个步骤中进行处理，也可以在一个步骤中处理有限数量的AR对象，跨摄像机拍摄周期的多个周期地，进行所有AR对象的处理。曾生成的AR对象只要没有由体验者11进行取消，就保留在MR空间6中。体验者11移动而位置和方向变化了的情况下，S109中接收的所描绘的AR对象的数据包括已生成的全部AR对象。在S110中判断达到摄像机拍摄的周期(Time)，未达到(S110：否)时返回S106，达到(S110：是)时判断为程序完成(S114)。

与S105～S110并行地，HMD1将HMD1的位置和拍摄方向的数据(S111)以及摄像机拍摄影像数据发送至VR服务器8(S112)。摄像机拍摄影像数据是用摄像机21拍摄到的背景影像和用测距摄像机29测量出的与现实物体4a之间的距离数据。

HMD1判断摄像机拍摄周期(S113)，等待到达(S113：是)，确认程序完成(S114)，未完成的情况下(S114：否)，在下一个摄像机周期中继续从S103起的步骤。完成了的情况下(S114：是)结束一系列处理。

图12是MR参加程序263的流程图。图12的处理在参加者用HMD2a～2e中执行。以下，举出HMD2a为例进行说明。

佩戴参加者用HMD2a的参加者2a为了共享MR体验，而对用户管理处理登入(S121)。对用户管理处理登入时，在VR服务器8和AR服务器9中登记为参加者。

HMD2a用HMD2a中搭载的摄像机21开始摄像机拍摄(S122)。以后的步骤可以与摄像机拍摄周期同步地进行。

HMD2a检测MR空间6内的HMD2a的位置(S123)。

另外，HMD2a检测HMD2a的摄像机拍摄方向(参加者的视线)(S124)，与摄像机拍摄影像相关联。

S125～S127是关于与AR服务器9之间的处理的进程，S128～S129是关于与VR服务器8之间的处理的进程。

HMD2a对AR服务器9发送HMD2a的位置和方向的数据(S125)，从AR服务器9接收体验者生成的AR对象的描绘数据(S126)，显示于HMD2a的屏幕23(S127)。

接收的AR对象4b的描绘数据是基于S125中发送的HMD2a的位置和方向的数据而与参加者用HMD2a相应地描绘的数据。

在进行显示时，HMD2a基于现实物体4a与AR对象4b的距离关系，在处于现实物体4a的一部分位于AR对象4b的一部分之前的关系时，以AR对象4b的一部分看起来被现实物体4a的一部分遮挡的方式，进行对AR对象4b的描绘数据加工的处理。

图13是关于AR对象4b的位置的补充说明的图。

体验者11位于T位置，在U位置生成AR对象4b。从T点到U点的矢量Vtu的大小是体验者11与AR对象4b的距离。此时，假设参加者12a位于S的位置，观测AR对象4b。设体验者11的位置T与参加者12a的位置S之间的矢量为Vts时，参加者12a的位置S与AR对象4b的位置之间的矢量Vsu可以由(矢量Vtu-矢量Vts)给出。从而，参加者12a与AR对象4b的距离可以按矢量Vsu的大小求出，在参加者用HMD2a的显示中，评价按矢量Vsu大小得到的AR对象4b的距离与用测距摄像机29得到的与现实物体之间的距离的前后关系。

与S125～S127并行地，HMD2a将HMD2a的位置和拍摄方向的数据(S128)以及摄像机拍摄影像数据发送至VR服务器8(S129)。

HMD2a判断摄像机拍摄周期(S130)，等待到达(S130：是)，确认程序完成(S131)，未完成的情况下(S131：否)，在下一个摄像机周期继续从S123起的步骤。完成了程序时(S131：是)结束一系列处理。

(MR视听程序)

图14是MR视听程序266的流程图。图14的处理在视听者用信息终端3a、视听者用HMD3b、3c中执行。以下，举出HMD3b为例进行说明。

佩戴视听者用HMD3b的视听者13b为了共享MR体验，而对用户管理处理登入(S141)。对用户管理处理登入时，在VR服务器8和AR服务器9中登记为视听者。

HMD3b从AR服务器9接收AR对象4b的描绘数据(AR对象4b的初始数据)。与其并行地，HMD3b从VR服务器8接收VR影像数据(VR的初始数据)(S143)。

HMD3b将AR对象4b和VR影像显示于HMD3b的显示器30(S144)。

这些步骤的AR对象4b和VR影像例如在以HMD3b为默认的起点，例如在上半天球面显示为位于与体验者11相对的位置、方向。

VR影像数据中，对于每个现实物体4a，包括进行拍摄的HMD1、2a～2e的位置、方向的元数据和与现实物体4a之间的距离数据。VR服务器8根据进行拍摄的HMD1、2a～2e的位置与视听者用HMD3b的视听者用视点的视点位置(视点位置是检测视听者的头部的运动得到的)的关系，计算与现实物体4a之间的距离。

然后，AR服务器9根据AR对象4b的位置和现实物体4a与视听者用HMD3b的视点位置的关系修正与AR对象4b之间的距离。此时，在处于现实物体4a的一部分位于AR对象4b的一部分之前的关系时，以AR对象4b的一部分看起来被现实物体4a的一部分遮挡的方式，由AR服务器9进行AR对象4b的描绘数据的加工处理。

另外，对于HMD3b的默认的位置和方向，在变更为视听者13b设定的位置和方向而起动MR视听程序时，可以使用变更后的位置和方向作为起点。

视听者13b在观看VR影像的同时通过移动头部而使视点和视线移动。HMD3b检测出使头部向左旋转时，VR服务器8相对地使VR影像向右平移。HMD3b检测出使头部向前移动时，HMD3b放大显示VR影像。由此，能够表现出视听者13b仿佛接近的MR体验。

HMD3b用方位传感器250、陀螺仪传感器251、加速度传感器252等检测视听者13b的头部的运动。将检测出的运动信息发送至AR服务器9(S146)，同时也发送至VR服务器8(S148)。

HMD3b基于发送的运动信息，接收从视听者13b的HMD3b的视点的位置、方向观看的AR对象4b的更新数据(S147)。另一方面，HMD3b从VR服务器8接收从视听者13b的HMD3b的视点的位置、方向观看的VR影像的更新数据(S149)。

HMD3b与S144同样地，考虑现实物体4a与AR对象4b的距离关系，将AR对象4b与VR影像叠加地显示(S150)。由此，视听者13b进行MR体验的视听。

根据图像帧的更新单位(帧率)判断显示周期(S151)，等待到达(S151：是)，确认MR视听程序完成(S152)，未完成的情况下(S152：否)，在下一个显示周期中继续从S145起的步骤。完成了MR视听程序的情况下(S152：是)结束一系列处理。

图15是VR生成程序85的流程图。

对登记的体验者11、参加者12a～12e和视听者13a～13c的信息终端3a和HMD3b、3c提供各种处理。VR生成程序85进行的处理，由S161～S165的接收进程和S165～S171的发送进程构成。

接收进程是VR服务器8对体验者11和参加者12a～12e的HMD1、2a～2e提供的。

VR服务器8接收HMD1、2a～2e的摄像机拍摄影像数据(S161)，同时接收生成各摄像机拍摄影像的HMD的位置、方向数据(S162)。

VR服务器8进行接收到的摄像机拍摄影像数据的规范化(S163)，粘贴在上半天球面上而追加至VR影像数据(S164)。

VR服务器8切换至发生了摄像机拍摄影像数据的接收请求的HMD(S165：是)，返回S161。不存在进行接收请求的HMD的情况下(S165：否)，VR服务器8进行结束判断(S172)。

发送进程是VR服务器8对视听者13a～13c的信息终端3a和HMD3b、3c提供的。

VR服务器8判断发送提供对象是否是新设备(S166)，是新设备的情况下(S166：是)，得到发送提供对象的起点数据，发送VR影像的初始数据(S167)。

不是新设备的情况下(S166：否)或VR影像初始数据发送之后(S167)，VR服务器8从发送提供对象HMD接收表示该发送提供对象HMD的运动的运动数据(S168)。

VR服务器8基于运动数据计算发送提供对象HMD等的位置和方向，从上半天球面的VR影像数据中截取一部分区域(S169)，对发送提供对象HMD发送所截取的VR影像数据(VR影像更新数据)(S170)。

VR服务器8在存在请求发送VR影像数据的其他HMD或信息终端的情况下(S171：是)，切换至其他发送提供对象HMD(或信息终端)并返回S166。不存在请求发送的其他HMD或信息终端的情况下(S171：否)，VR服务器8进行结束判断(S172)，如果存在结束指示(例如从体验者11的HMD1接收了MR体验结束的情况等)(S172：是)，则结束VR服务器8中的处理。

另外，如果不存在结束指示(S172：否)，则返回VR服务器8的处理刚开始后，继续S161和S166的处理。

(AR描绘程序)

图16是AR描绘程序95的流程图。

AR服务器9对已登记的体验者11、参加者12a～12e和视听者13a～13c的HMD1、2a～2e、3b、3c和信息终端3a提供各种处理。AR服务器9进行的处理主要由S181～S187的对体验者用HMD1提供的进程、S188～S191的对参加者用HMD2a～2e提供的进程、和S192～S197的对视听者用HMD3b、3c和信息终端3a提供的进程构成。

在S181中，AR服务器9判别是否存在来自体验者用HMD1的请求及其种类。不存在请求的情况下(S181：否)等待请求。

新建请求时(S181：新建)，AR服务器9从HMD1接收AR对象的选择数据(S182)，发送所选择的AR对象的默认的描绘数据(S183)。之后前进至步骤S187。

操作请求时(S181：操作)，AR服务器9从HMD1接收操作参数的数据(S184)，AR服务器9与操作参数相应地重新描绘AR对象(S185)，将重新描绘的AR对象的数据发送至HMD1(S186)。之后，前进至步骤S187。

在S187中，AR服务器9判断是否存在下一个请求。如果存在下一个请求(S187：是)则继续，如果不存在(S187：否)则前进至完成判断(S198)。

在S188中，接收参加者用HMD2a～2e中的登记的一台(发送对象参加者用HMD)的位置和方向数据。然后，对体验者11的HMD1所选择的AR对象4b与S188中接收到的位置和方向数据相应地进行重新描绘(S189)，将重新描绘的AR对象的数据发送至发送对象参加者用HMD(S190)。

在S191中，残留有未处理的已登记的参加者用HMD2a～2e的情况下，或者已登记的参加者的位置和方向发生了变化的情况下(S191：是)，返回S188，在已完成全部登记的参加者用HMDa～2e的处理的情况下(S191：否)，前进至完成判断(S198)。

在S192中，AR服务器9判断发送提供对象是视听者13a的信息终端3a或视听者用HMD3b或3c是否是新设备(S192)，是新设备的情况下(S192：是)，发送AR对象4b的初始数据(S193)。初始数据与VR影像的情况相同，是例如在上半天球面上假定与体验者11的HMD1相对的方向和位置而描绘的数据。

不是新设备的情况下(S192：否)和发送ARO描绘数据(初始)之后(S193)，AR服务器9接收发送提供对象的视听者用终端、例如HMD3b的运动信息的数据(S194)，计算发送提供对象的视听者用终端的位置和方向。然后，AR服务器9与接收到的运动数据相应地重新描绘AR对象4b(S195)，将重新描绘的AR对象的数据发送至发送提供对象的视听者用终端(S196)。

AR服务器9判断是否残留有未处理的发送提供对象的视听者用终端，残留有的情况下(S197：是)，返回S192，已完成对于全部发送提供对象的视听者用终端的处理的情况下(S197：否)，前进至完成判断(S198)。

AR服务器9进行完成判断(S198)，如果存在结束指示(S198：是)，则结束AR服务器9进行的一系列处理，如果不存在结束指示(S198：否)，则返回S180，继续处理。

另外，以上说明中，说明了在各HMD1、2a～2e、3b、3c和信息终端3a一方进行对AR对象4b的描绘数据进行加工的处理的情况，但也可以使其在AR服务器9一方进行，其中对AR对象4b的描绘数据进行加工的处理是基于现实物体4a和AR对象4b的距离关系，在处于现实物体4a的一部分位于AR对象4b的一部分之前的关系时以AR对象4b的一部分看起来被现实物体4a的一部分遮挡的方式来进行的。在该情况下，在各HMD1、2a～2e、3b、3c和信息终端3a中追加位置、方向的数据，还追加下述步骤：使用从VR服务器8得到的VR影像数据中包括的现实物体4a的数据、更详细而言是以各HMD为基准的位置数据和方向数据而从多个拍摄数据的合成影像中，以在现实物体4a看起来是怎样的视点下生成的影像数据发送至AR服务器9的步骤，在AR服务器9中，追加从各HMD1、2a～2e、3b、3c和信息终端3a接收这些数据的步骤。

图17是表示视听者13a～13c选择视听VR影像的视点的位置(视听者用视点)的方法的一例的图。特别是，通过决定观察现实物体4a和AR对象4b的视点，能够以视听者偏好的视点观察现实物体4a和AR对象4b。

立体箭头301、302是用于选择视点位置和视线方向的指针的一例。操作立体箭头301、302，选择从MR空间6内的哪个位置的视点观看VR影像。此时，也能够用虚线指定选择哪个方向的视线。另外，通过使MR空间6自身旋转，能够三维地决定立体箭头301、302的位置和方向。用如立体箭头301、302一般能够选择自由的位置和方向的指针，能够选择视点位置和视线方向。也可以将如立体箭头301、302一般选择自由的位置和方向的处理分为2个阶段，首先决定立体箭头301、302的位置，接着为了改变立体箭头301、302的视线方向，而例如用抓住并移动虚线的前端的箭头部的动作决定方向。

视听者用HMD3b、3c或信息终端3a通过输入设备、例如如果是声音输入则用麦克风27或者开关(图5中未图示)而成为用于如显示指针的视线一般选择视线位置和视线方向的模式时，显示立体箭头，该模式结束时，消去立体箭头，改为切换为从选择的视线位置和视线方向观看的影像。

根据第一实施方式的虚拟现实共享系统100，位于远程地点的视听者13a～13c能够使用根据体验者11和参加者12a～12e的摄像机拍摄影像生成的VR影像视听MR体验。因此，VR影像能够基于从各种角度看到的摄像机拍摄影像生成，所以视听者13a～13c能够连续地且大致任意地选择视线。

另外，体验者11用和参加者12a～12e用的虚拟现实共享终端(HMD1、2a～2e)能够参与VR影像的生成，且视听者13a～13c用的虚拟现实共享终端(信息终端3a和HMD3b、c)能够共享基于VR影像的MR体验。

[第二实施方式]

图18是第二实施方式的虚拟现实共享系统100a的概略图。与图1所示的第一实施方式的虚拟现实共享系统100的不同点在于配置了固定摄像机14。固定摄像机14的拍摄影像通过网络信号10p对VR服务器8提供，与体验者11用和参加者12a～12e用的虚拟现实共享终端拍摄的摄像机拍摄影像一同作为用于生成VR影像的影像数据。

作为固定摄像机14，例如使用360°摄像机，得到上半天球影像，由此能够提供用体验者11用和参加者12a～12e用的虚拟现实共享终端不能覆盖的区域的影像。由此，能够将生成的VR影像生成为没有缝隙的上半天球影像，所以能够从视听者13a～13c的虚拟现实共享终端观测没有缝隙的VR影像作为背景影像。另外，能够用体验者11用和参加者12a～12e用的虚拟现实共享终端拍摄比360°摄像机部分更高清的图像的情况下，通过使这些图像组合，能够提供高画质的VR影像。

图19是虚拟现实共享系统100b的变形例的概略图。虚拟现实共享系统100b与虚拟现实共享系统100a的不同点，在于代替由360°摄像机构成的固定摄像机14a而配置有视野角存在限制的固定摄像机14b和14c。

图19中，仅记载了固定摄像机14b、14c，但优选在MR空间6的四角配置，负责MR空间整体的拍摄。或者，以能够对拍摄的所有对象物从多方面拍摄的方式配置固定摄像机。固定摄像机14b、14c的拍摄影像分别通过网络信号10q、10r对VR服务器8提供，与体验者11用和参加者12a～12e用的虚拟现实共享终端拍摄的摄像机拍摄影像一同作为用于生成VR影像的影像数据。

根据虚拟现实共享系统100b，与虚拟现实共享系统100a相比，可以得到比较高画质的VR影像。

另外，虚拟现实共享系统100a中，得到在上半球面的内侧粘贴了影像的影像，视听者13a～13c能够得到以内侧为视点的影像，与此相对，虚拟现实共享系统100b中，能够得到以AR对象4b为中心且以其外侧为视点的影像。

如以上所说明，根据第二实施方式，通过较少的设备追加，而具有与第一实施方式同样的效果，并且得到在上半天球面全部区域粘贴影像且以内侧为视点的VR影像、和以对象物为中心的外侧视点的VR影像，易于用视听者13a～13c用的虚拟现实共享终端了解MR空间6整体。

[第三实施方式]

图20是第三实施方式的虚拟现实共享系统的参加者用HMD2h的框图。第三实施方式中，在图1、图18、图19中记载的虚拟现实共享系统100、100b、100c中，代替第一、第二实施方式的参加者用HMD2a～2e而使用参加者用HMD2f。

参加者用HMD2f的屏幕23包括开闭器231、半反射镜232，这一点与第一、第二实施方式的参加者用HMD2a～2e不同。

将开闭器231控制为开状态的情况下，参加者用HMD2f发挥透射型的HMD的功能。即，在半反射镜232上，能够看到现实空间的背景影像和从投影仪22(左投影仪22a和右投影仪22b的总称)投射的AR对象4b。

另一方面，将开闭器231控制为关闭的情况下，从投影仪22叠加地投射AR对象4b和VR影像。该情况下，参加者用HMD2f发挥沉浸型的HMD的功能。结果，参加者12a～12e能够进行与视听者13a～13c同样地选择自由的视点位置和视线方向的MR的视听体验。

图21是MR参加程序263a的流程图。

HMD2f在起动之后，为了共享MR体验而对用户管理处理登入(S211)。对用户管理处理登入时，在VR服务器8和AR服务器9中登记为参加者。

HMD2f开始摄像机拍摄(S212)。此后的步骤可以与摄像机拍摄周期同步地进行。

HMD2f检测MR空间内的HMD位置(S213)，检测HMD2f的摄像机拍摄方向(S214)，作为摄像机拍摄影像的元数据进行关联。

在S218中，HMD2f对AR服务器9发送HMD2f的位置和方向的数据。HMD2f接收体验者11生成的AR对象4b的描绘数据(S219)。

另一方面，HMD2f中，如果开闭器231关闭(S215：是)，则因为等同于将HMD2f作为沉浸型HMD使用，所以对VR服务器8发送HMD2f的运动信息(S216)，从VR服务器接收与运动信息相应的VR影像数据(S217)，前进至步骤S222。

HMD2f中，如果开闭器231打开(S215：否)，则因为等同于将HMD2f作为透射型HMD使用，所以不需要VR影像数据。因此，前进至步骤S222。

在S222中，在S217中接收到的VR影像上叠加地显示AR对象4b，或者在作为透射型HMD使用时对屏幕23投射的只有AR对象4b，使其与从开闭器231、半反射镜232透过看到的背景影像重合。之后前进至步骤S223。

此处，HMD2f使用与接入点5a～5c之间的距离来判断位于MR空间6内外中的哪一方。HMD2f位于MR空间6内时，能够选择沉浸型和透射型中的任一者，用户用输入设备进行选择操作。另外，判断为HMD2f位于MR空间6外的情况下，自动地切换为沉浸型(关闭开闭器231)。

在S220中，将HMD2f的位置和方向的数据(S220)和摄像机拍摄影像数据(S221)发送至VR服务器8。之后前进至步骤S223。

HMD2f判断摄像机拍摄周期(S223)，等待到达(S223：是)，确认MR参加程序完成，未完成的情况下(S224：否)，在下一个摄像机周期中继续从S213起的步骤。完成了的情况下(S224：是)，结束MR参加程序的处理。

如以上所说明，根据第三实施方式，具有与第一实施方式、第二实施方式同样的效果，并且参加者2a～2e可以用与视听者13a～13c相同的形式，切换MR空间6的AR视听与VR视听。

[第四实施方式]

图22是第四实施方式的虚拟现实共享系统100c的概略图。

图22的虚拟现实共享系统100c中，体验者11a～11f、参加者12f～12i在MR空间6中。

体验者11a～11f和参加者12f～12i在头部佩戴HMD，从HMD收发网络信号，但为了避免附图繁琐而省略了图示。

虚拟现实共享系统100c中，体验者11a～11f有多人，分为左侧的体验者11a～11c和右侧的体验者11d～11f。体验者11a～11f分别持有操作控制器15a～15f，使用各操作控制器15a～15f来生成、操作AR对象4c～4e。操作控制器15a～15f中分别内置了用于检测其运动的传感器，与其运动相应地生成、移动AR对象4c～4e。

虚拟现实共享系统100c中，用操作控制器15a～15f生成的AR对象4c～4e是用于攻击位于相反一侧的体验者11a～11c或11d～11f的虚拟的攻击物体，这是通过使攻击物体命中相反一侧的体验者11a～11c或11d～11f，而使命中的体验者11a～11f退场，竞争一定时间内迫使退场的体验者数的使用MR空间6的电子竞技。

参加者12f～12i使用第三实施方式的参加者用HMD2f，将佩戴的HMD用作透射型的情况下，能够在MR空间6中捕捉两侧的体验者11a～11f，重叠地观看AR对象4c～4e，将佩戴的HMD用作沉浸型的情况下，能够仿佛自身是体验者11a～11f一般重叠地观看VR影像和AR对象。另外，与以上实施例同样，视听者13a、13b、13c能够自由地选择视点位置和视线方向，观看MR空间6内。

图23是AR描绘程序95的流程图。

AR服务器9执行S231～S236的对体验者用HMD1提供的进程、图16所示的S188～S191的对参加者用HMD2a～2f提供的进程、同图所示的S192～S197的对视听者用HMD3b、3c和信息终端3a提供的进程。

AR服务器9判别是否存在来自体验者用HMD1握持的操作控制器15a～15f中的任一者(发送请求终端)的请求及其种类。不存在请求的情况下(S231：否)等待请求。

进行了设定的请求的情况下(S231：设定)，从发送请求终端接收AR对象4c～4e的至少一个设定数据(S232)，设定佩戴了体验者用HMD1的人物用握持的1台操作控制器15a～15f生成的AR对象4c～4e之一和参数。在“AR对象设定”模式下以规定模式移动操作控制器15a～15f时，自动地生成AR对象4c～4e。

进行了操作的请求的情况下(S231：操作)，接收操作控制器15a～15f的运动数据(S233)，与该运动数据相应地描绘AR对象4c～4e之一(S234)，发送描绘的AR对象4c～4e之一的数据(S235)。

AR服务器9判断是否存在下一个请求，判断是继续(S236：是)还是前进至结束判断S198(S236：否)。S234和S235的用虚线示出的循环，是AR对象4c～4e的描绘、发送的反复。对操作控制器操作而生成的AR对象4c～4e具有用于自动移动的参数。作为攻击物体生成的AR对象4c～4e在生成后，以所决定的速度模式向对方一侧的体验者自主移动。AR对象4c～4e命中体验者、或者离开规定范围或MR空间6时，自动地消失。

在S198中进行结束判断，如果存在结束指示则结束(S199：是)，如果不存在指示(S199：否)则返回S231、S188、S192，继续处理。

如以上所说明，根据第四实施方式，具有与第一实施方式～第三实施方式同样的效果，并且能够共享存在多个体验者的虚拟现实共享系统。

以上用图1至图23说明的上述实施方式并不限定于此。例如，以上将MR空间6内存在的多个虚拟现实共享终端的摄像机拍摄影像接合而生成了VR影像，但也可以将1台虚拟现实共享终端在不同时间从不同位置和视点拍摄的摄像机拍摄影像接合而生成VR影像。

另外，MR空间6内存在的多个虚拟现实共享终端的全部都可以是体验者用HMD。

进而，生成VR影像并保存在VR服务器8中之后，视听者13a～13c不仅能够与体验者11和参加者12a～12e实时地共享虚拟现实，也能够在之后读取生成的VR影像并共享虚拟现实。

另外，本发明中，能够将某个实施方式的结构的一部分置换为其他实施方式。另外，也能够在某个实施方式的结构上添加其他实施方式的结构。它们全部属于本发明的范畴，进而文中和图中出现的数值和消息等也只是一例，即使使用不同的也不损害本发明的效果。

另外，对于发明的功能等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，也可以通过微处理器单元、CPU等解释并执行动作程序而用软件实现。另外，并不限定软件的实现范围，也可以同时使用硬件和软件。

附图标记说明

1：体验者用HMD

2a～2f：参加者用HMD

3a：视听者用信息终端

3b，3c：视听者用HMD

4a：现实物体

4b～4d：AR对象

5a～5e：接入点

6 ：MR空间

7 ：网络

8 ：VR服务器

9 ：AR服务器

10a～10r ：网络信号

11，11a～11f：体验者

12a～12i ：参加者

13a～13c ：视听者

14，14a～14c：固定摄像机

15a～15f ：操作控制器

21 ：摄像机

22 ：投影仪

22a ：左投影仪

22b ：右投影仪

23 ：屏幕

24 ：鼻托

25 ：处理器

26 ：扬声器

27 ：麦克风

28 ：镜框框体

28c ：镜梁

29 ：测距摄像机

30 ：显示器

82 ：CPU

83 ：RAM

84 ：存储

85 ：VR生成程序

86 ：VR数据

87 ：内部总线

91 ：网络IF

92 ：CPU

93 ：RAM

94 ：存储

95 ：AR描绘程序

96 ：AR数据

97 ：内部总线

100，100a～100c：虚拟现实共享程序

231 ：开闭器

232 ：半反射镜

250 ：方位传感器

251 ：陀螺仪传感器

252 ：加速度传感器

253 ：无线通信器

254 ：CPU

255 ：RAM

256 ：影像RAM

258，265 ：基本程序

259 ：MR体验程序

260 ：特征提取处理器

261 ：距离计算处理器

262 ：内部总线

263，263a ：MR参加程序

266 ：MR视听程序

301，302 ：立体箭头

P1 ：区域

P2 ：影像。

Claims

1.一种虚拟现实共享方法，其特征在于，包括：

获取在第一虚拟现实共享终端的第一视点拍摄现实空间而生成的第一摄像机拍摄影像的步骤；

在所述第一虚拟现实共享终端显示叠加在所述现实空间上的AR对象的第一显示步骤；

获取在与所述第一视点不同的第二视点拍摄所述现实空间而生成的第二摄像机拍摄影像的步骤；

将所述第一摄像机拍摄影像和所述第二摄像机拍摄影像进行合成来生成VR影像的VR影像生成步骤；

获取第二虚拟现实共享终端中接收到的、用于导入所述VR影像的视听者视点的设定输入信息的视点获取步骤；和

在从所述视听者视点看到的所述VR影像上叠加从所述视听者视点看到的所述AR对象并将其显示于所述第二虚拟现实共享终端的第二显示步骤。

2.如权利要求1所述的虚拟现实共享方法，其特征在于：

在所述视点获取步骤中，使所述第二虚拟现实共享终端显示表示所述视听者视点的视点位置和视线方向的指针并接收使用所述指针进行的输入操作。

3.如权利要求2所述的虚拟现实共享方法，其特征在于：

在所述视点获取步骤中，在所述第二虚拟现实共享终端正在执行视点设定模式时在该第二虚拟现实共享终端的显示区域显示所述指针，该视点设定模式结束后转移至所述第二显示步骤，

在所述第二显示步骤中，在所述显示区域不显示所述指针，并切换至显示从所述视听者视点看到的VR影像。

4.如权利要求1所述的虚拟现实共享方法，其特征在于：

所述第一摄像机拍摄影像包括表示从所述第一视点看到作为所述AR对象的显示触发的现实物体的相对位置的元数据，

所述第二摄像机拍摄影像包括表示从所述第二视点看到所述现实物体的相对位置的元数据，

在所述VR影像生成步骤中，生成附加了从所述第一视点看到的相对位置和从所述第二视点看到的相对位置的所述VR影像，

在所述第二显示步骤中，对从所述视听者视点看到的所述VR影像中拍摄到的所述现实物体的位置与从所述视听者视点看到的AR对象的位置进行比较，在所述现实物体位于比所述AR对象更近处时，用所述现实物体遮挡所述AR对象的至少一部分来进行显示，在所述现实物体位于比所述AR对象更远处时，用所述AR对象遮挡所述现实物体的至少一部分来进行显示。

5.一种虚拟现实共享系统，构成为经由网络通信连接VR服务器、描绘AR对象的AR服务器和视听者用虚拟现实共享终端，其中所述VR服务器将在不同视点拍摄同一个现实空间而得到的多个摄像机拍摄影像进行合成来生成VR影像，所述视听者用虚拟现实共享终端能够接收所述VR影像和所述AR对象并在该VR影像上叠加地显示所述AR对象，所述虚拟现实共享系统的特征在于：

所述视听者用虚拟现实共享终端包括显示器、输入设备、通信器和处理器，

所述处理器，

在所述输入设备接收到用于导入所述VR影像的视听者视点的设定输入操作时，从所述通信器对所述VR服务器和所述AR服务器发送表示所述视听者视点的位置和方向的数据，

经由所述通信器从所述VR服务器接收从所述视听者视点看到的所述VR影像，并且从所述AR服务器接收从所述视听者视点看到的所述AR对象的描绘数据，

在从所述视听者视点看到的所述VR影像上叠加基于所述描绘数据得到的所述AR对象并将其显示于所述显示器。

6.如权利要求5所述的虚拟现实共享系统，其特征在于：

所述处理器将表示所述视听者视点的视点位置和视线方向的指针显示于所述显示器，所述输入设备接收使用所述指针进行的输入操作。

7.如权利要求6所述的虚拟现实共享系统，其特征在于：

所述处理器执行视点设定模式和视听模式中的任一者，

在所述视点设定模式下，在所述显示器显示所述指针，

在所述视听模式下，在所述显示器不显示所述指针，而在从所述视听者视点看到的所述VR影像上叠加地显示所述AR对象。

8.如权利要求5所述的虚拟现实共享系统，其特征在于：

所述多个摄像机拍摄影像包括第一摄像机拍摄影像和第二摄像机拍摄影像，

所述第一摄像机拍摄影像包括表示从第一视点看到作为所述AR对象的显示触发的现实物体的相对位置的元数据，

所述第二摄像机拍摄影像包括表示从第二视点看到所述现实物体的相对位置的元数据，

所述VR服务器生成附加了从所述第一视点看到的相对位置和从所述第二视点看到的相对位置的所述VR影像，

在所述视听者用虚拟现实共享终端中，

所述处理器对从所述视听者视点看到的所述VR影像中拍摄到的所述现实物体的位置与从所述视听者视点看到的所述AR对象的位置进行比较，在所述现实物体位于比所述AR对象更近处时，用所述现实物体遮挡所述AR对象的至少一部分来进行显示，在所述现实物体位于比所述AR对象更远处时，用所述AR对象遮挡所述现实物体的至少一部分来显示于所述显示器。

9.如权利要求5所述的虚拟现实共享系统，其特征在于：

所述VR服务器将第一摄像机拍摄影像和第二摄像机拍摄影像进行合成来生成所述VR影像，其中所述第一摄像机拍摄影像是由第一虚拟现实共享终端从第一视点拍摄所述现实空间而生成的，所述第二摄像机拍摄影像是由不同于所述第一虚拟现实共享终端的第二虚拟现实共享终端在与所述第一虚拟现实共享终端拍摄所述第一摄像机拍摄影像的时刻相同的时刻从第二视点拍摄所述现实空间而生成的。

10.如权利要求5所述的虚拟现实共享系统，其特征在于：

所述VR服务器将第一摄像机拍摄影像和第二摄像机拍摄影像进行合成来生成所述VR影像，其中所述第一摄像机拍摄影像是由第一虚拟现实共享终端从第一视点拍摄所述现实空间而生成的，所述第二摄像机拍摄影像是由所述第一虚拟现实共享终端在与所述第一摄像机拍摄影像的时刻不同的时刻从第二视点拍摄所述现实空间而生成的。