CN115968486A

CN115968486A - 三维虚拟现实显示装置、头戴式显示器和三维虚拟现实显示方法

Info

Publication number: CN115968486A
Application number: CN202080103495.4A
Authority: CN
Inventors: 川前治; 奥万寿男
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2020-08-25
Filing date: 2020-08-25
Publication date: 2023-04-14
Also published as: EP4207084A1; WO2022044124A1; US20230230333A1; JPWO2022044124A1; EP4207084A4

Abstract

本发明的三维虚拟现实显示装置包括：拍摄现实空间并输出现实空间中存在的现实物体图像的摄像机；测量从现实空间的观测者到现实物体的距离的距离传感器；显示器；和使显示器显示三维虚拟现实物体的处理器，处理器在现实物体位于观测者观测三维虚拟现实物体的视线上的情况下，对距观测者的要显示三维虚拟现实物体的距离与从观测者到现实物体的距离进行比较，在现实物体与三维虚拟现实物体重叠的情况下，进行使三维虚拟现实物体显示在视线上而使现实物体图像不显示在视线上的消除重叠显示处理。

Description

三维虚拟现实显示装置、头戴式显示器和三维虚拟现实显示方法

技术领域

本发明涉及三维虚拟现实显示装置、头戴式显示器和三维虚拟现实显示方法，特别涉及用于体验包括现实空间和虚拟现实物体(AR对象：Argument Reality Object)的混合现实(MR：Mixed Reality)的技术。

背景技术

专利文献1公开了“对显示装置输出将现实空间图像与虚拟物体图像合成得到的合成图像的信息处理装置确定现实物体的位置，基于所确定的现实物体的位置的信息来判断现实物体是否正在移动，正在移动的情况下为了以能够识别现实物体是否存在的方式使所述显示装置显示而输出所述合成图像”(摘自说明书摘要)的技术。

现有技术文献

专利文献

专利文献1：日本特开2016-122392号公报

发明内容

发明要解决的课题

专利文献1中，三维AR对象与现实空间的现实物体在来自HMD的视线上重叠的情况下，使三维AR对象成为半透明，或者在现实物体附近使三维AR对象成为不显示等，对三维AR对象的显示施加制约。因此，存在不能准确地识别三维AR对象而进行MR体验的情况。

本发明是鉴于上述课题得出的，目的在于提供一种能够更准确地识别三维AR对象的技术。

用于解决课题的技术方案

为了解决上述课题，本发明具备要求的权利范围所记载的结构。举其一例，特征在于，包括：拍摄现实空间并输出所述现实空间中存在的现实物体图像的摄像机；测量从所述现实空间的观测者到所述现实物体的距离的距离传感器；显示器；和使所述显示器显示三维虚拟现实物体的处理器，所述处理器，在所述现实物体位于所述观测者观测所述三维虚拟现实物体的视线上的情况下，对距所述观测者的要显示所述三维虚拟现实物体的距离与从所述观测者到所述现实物体的距离进行比较，在所述现实物体与所述三维虚拟现实物体重叠的情况下，进行使所述三维虚拟现实物体显示在所述视线上而使所述现实物体图像不显示在所述视线上的消除重叠显示处理。

发明效果

根据本发明，能够更准确地识别三维AR对象。上述以外的目的、结构、效果将在以下实施方式中说明。

附图说明

图1是第一实施方式的三维虚拟现实显示系统的概要图。

图2是作为三维虚拟现实显示装置的一例的HMD的外观图。

图3是HMD的框图。

图4是VR服务服务器的框图。

图5是MR辅助服务器的框图。

图6A是表示现有的三维虚拟现实显示例的图(表示3DAR对象与现实物体重叠的状态的图)。

图6B是表示第一实施方式的三维虚拟现实显示(第一消除重叠显示例)的图。

图6C是表示第一实施方式的三维虚拟现实显示(第二消除重叠显示例)的图。

图6D是表示第一实施方式的三维虚拟现实显示(第三消除重叠显示例)的图。

图7A是第一实施方式的MR体验程序的流程图。

图7B是表示体积的重叠程度的判断算法例的图。

图8是第一实施方式的VR服务服务器的流程图。

图9是第一实施方式的MR辅助服务器的流程图。

图10A是表示现有的三维虚拟现实显示的例子的图(表示现实物体与3DAR对象相比位于近前处的状态的图)。

图10B是表示第二实施方式的三维虚拟现实显示(第四消除重叠显示例)的图。

图11是第二实施方式的MR体验程序的流程图。

图12A是表示现有的三维虚拟现实显示的例子的图(表示3DAR对象与现实物体重叠的状态的图)

图12B是表示第三实施方式的三维虚拟现实显示例的图(透明部位的处理例)。

图12C是表示第三实施方式的三维虚拟现实显示例的图(置换为VR图像的例子)。

图13是表示3DAR对象表的图。

图14是第三实施方式的MR体验程序的流程图。

图15是表示第三实施方式的三维虚拟现实显示的其他例的图。

图16是第四实施方式的MR辅助服务器的框图。

图17是表示第四实施方式的三维虚拟现实显示处理的流程的流程图。

具体实施方式

以下，参考附图，对于本发明的实施方式进行说明。在全部图中对于同一结构、步骤附加同一附图标记，省略重复说明。

本实施方式中，对于用测距摄像机拍摄现实空间而得到的三维现实空间图像(以下称为“现实空间图像”)合成用CG(Computer Graphics：计算机图形学)生成的三维虚拟现实物体(以下称为“3DAR对象”，在图中记作“3D-ARO”)并显示。本实施方式中，通过使用测距摄像机20而使摄像机与测量距离的距离传感器一体地构成，但也可以将摄像机与例如超声波测距仪等分体的距离传感器组合地构成。

在拍摄现实空间得到的三维现实空间图像上叠加3DAR对象并显示时，在要在距离视点较远一侧显示的图像中，因要在较近一侧显示的图像而产生遮蔽区域。作为表现该遮蔽区域的图像处理方法，有遮挡处理。

将AR图像与现实空间的背景图像合成得到的混合现实空间(MR)图像，被用于游戏和维护作业、促销等内容。为了合成AR图像，例如从现实空间图像中拍摄称为AR标记的被拍摄体，对于该被拍摄体区域叠加与AR标记关联的AR图像。作为进行三维虚拟现实显示的硬件，大多使用摄像机与显示器一体化的HMD(头戴式显示器)，所以以下对于在HMD中实现本发明的实施方式进行说明。

[第一实施方式]

参考图1至图9，对于第一实施方式进行说明。

(三维虚拟现实显示系统的结构)

图1是第一实施方式的三维虚拟现实显示系统的概要图。

图1中，MR体验者2在头部佩戴HMD2a，观看MR空间1。同样，MR体验者3在头部佩戴HMD3a，观看MR空间1。

HMD2a、3a分别与接入点1a之间收发无线LAN信号1b、2b、3b来进行无线通信连接。

接入点1a配置在MR空间1中。并且，接入点1a与MR空间1外的网络7连接，与HMD2a、3a以及设置在网络7中的VR服务服务器8和MR辅助服务器9分别进行通信。VR(VirtualReality)指的是虚拟现实空间。

现实空间中，存在MR非体验者4a、4b。另外，作为现实空间的背景的一部分，存在花瓶5a和窗5b。3DAR对象6是车的三维AR对象。

MR空间1是设想进行车的促销的空间，不是限定于特定的一名MR体验者的空间，可以如MR体验者2、3一样由多人同时进行MR体验。MR体验者3是商品解说员，存在从不同方向观看与MR体验者2相同的3DAR对象6的情况，也可以是观看与MR体验者2不同的3DAR对象的独立的来访者。通过将作为销售对象的车作为3DAR对象6提示，宣传者不需要展示高价的现实物体(车)，也不需要展示多辆车的大的空间。MR空间1中，在MR体验者2、3以外，也可以存在MR非体验者4a、4b等入场者。MR非体验者4a、4b是MR体验者2、3的家人、或之后要进行MR体验的正在等待的来访者等。

MR非体验者4a、4b不观看3DAR对象6，在MR空间1内的移动不受到限制。因此，如MR非体验者4b一般，可能与3DAR对象6位于同一位置。

图2是作为三维虚拟现实显示装置的一例的HMD2a、3a的外观图。HMD2a是视频透视型的HMD。HMD3a与HMD2a结构相同，所以省略说明。HMD2a包括具有视差的测距摄像机20和显示器22。HMD2a用测距摄像机20拍摄前景，在配置在MR体验者2的前面的显示器22上，对于用测距摄像机20拍摄的图像合成用CG等描绘的3DAR对象6并显示。

测距摄像机20包括左摄像机20a和右摄像机20b，是用于测量与正在拍摄的对象物的距离的测距摄像机。显示器22是平面显示器，在其内侧具有快门23。在显示器22上交替地显示左眼用的图像和右眼用的图像时，快门23与显示器22的显示同步地开闭。即，以显示左眼用的图像时显示器22的左半部打开、右半部关闭，显示右眼用的图像时显示器22的左半部关闭、右半部打开的方式工作。由此，HMD2a支持三维显示。MR体验者2与显示的图像同步地、交替地仅用单眼观看显示图像。

进而，HMD2a具有处理器24和佩戴用框体25a、25b。用佩戴用框体25a、25b将HMD2a佩戴在头部。

用左摄像机20a和右摄像机20b拍摄到的前方的现实空间图像被显示在显示器22上，MR体验者2观看现实空间图像。另外，显示器22在现实空间图像上叠加地映出3DAR对象6。此时，在用左摄像机20a拍摄的图像上叠加左眼用AR对象的图像、在用右摄像机20b拍摄的图像上叠加右眼用AR对象的图像并在显示器22上显示，以3DAR对象6仿佛位于现实空间的规定距离的方式立体地(三维地)进行显示。

在用HMD2a的显示中，反映现实空间的现实物体、图1中是MR非体验者4b、花瓶5a、窗5b与3DAR对象6的距离的前后关系。例如，处于现实物体(MR非体验者4b)的一部分位于3DAR对象6的一部分之前的关系时，以3DAR对象6的一部分看起来被现实物体(MR非体验者4b)的一部分遮挡的方式，进行对3DAR对象6的描绘数据加工的遮挡处理。

(三维虚拟现实显示装置的框图)

图3是HMD2a的框图。图3中，对于与图2相同的部分附加同一附图标记。图3中，处理器24是用虚线包围的部分，对于处理器24连接了左摄像机20a、右摄像机20b、显示器22、快门23、扬声器26、麦克风27。

处理器24包括摄像机用处理器240、方位传感器241、陀螺仪传感器242、加速度传感器243、无线通信器244、CPU245(相当于主处理器)，RAM246、图像RAM247、Flash ROM(FROM)248和内部总线249，各要素经由内部总线249相互连接。

无线通信器244从4G、5G等移动通信、无线LAN等几种通信处理中选择适当的处理，经由接入点1a使HMD2a与网络7连接。

FROM248包括基本程序250、MR体验程序251。CPU245将这些处理程序部署至RAM246并执行。进而，在FROM248中，保存执行处理程序所需的数据。FROM248也可以是Flash ROM(内存)以外的非易失性的存储介质。

另外，CPU245将对显示器22发送的图像数据保存在图像RAM247之后，进行读取。

摄像机用处理器240基于用左摄像机20a和右摄像机20b拍摄到的图像，执行到现实空间图像的被拍摄体(相当于现实物体)的距离计算处理，对现实空间图像附加到现实空间图像的被拍摄体的距离数据。本说明书中，“现实空间图像”仅指图像，将对其附加距离数据后的数据称为“现实空间图像数据”。

方位传感器241、陀螺仪传感器242、加速度传感器243等传感器组用于得知HMD2a的位置和测距摄像机20的拍摄方向(用作佩戴HMD2a的MR体验者2的视线)。

另外，HMD2a也可以包括以下说明的用VR服务服务器8和MR辅助服务器9执行的处理的一部分或全部。

图4是VR服务服务器8的框图。VR服务服务器8包括有线LAN等的网络接口(网络IF)81、CPU82、RAM83、存储84，它们经由内部总线85相互连接。

存储84在Flash ROM之外，也可以与硬盘驱动器等组合。存储84保存VR服务程序86。CPU82将VR服务程序86部署至RAM83并执行。

进而，存储84保存3DAR对象等的VR数据87。VR数据87是执行VR服务程序86所需的数据。

作为VR数据87，在3DAR对象之外也可以包括VR(Virtual Reality)图像数据。VR图像数据是对MR体验者2、3的现实空间图像整体进行置换的图像，MR体验者2、3能够得到感到仿佛处于用VR图像数据提供的其他空间中、同时进行3DAR对象6的观看的体验。

图5是MR辅助服务器9的框图。MR辅助服务器9包括有线LAN等的网络IF91、CPU92、RAM93、存储94，它们经由内部总线95相互连接。

存储94在Flash ROM之外，也可以与硬盘驱动器等组合。存储94包括MR辅助程序96作为处理程序。CPU92将MR辅助程序96部署至RAM93并执行。

进而，存储94保存背景物体图像97和现实物体图像98。它们是执行MR辅助程序96所需的数据。

背景物体图像97和现实物体图像98是用户进行MR体验用的数据，对应多个用户的情况下，存在按每个用户分配的数据。

现实物体图像98是根据从HMD2a接收而得到的现实空间图像、通过时间差分等检测存在运动的区域并将一块区域识别为现实物体的数据。进而，也可以根据现实物体的形状等，检测现实物体是什么、例如是否是人。

背景物体图像97是从现实空间图像中除去了现实物体的区域得到的背景图像的数据，是现实空间图像的没有运动的区域的数据。在除去的现实物体的区域中，从在时间上回溯的现实空间图像中，对在该区域中没有出现现实物体时的数据进行插值而得到背景图像。更详细而言，因为背景物体图像97位于现实物体图像98的后侧，所以在某一时刻、即由多帧构成的三维现实空间图像的同一帧(对象帧)中没有拍摄到位于现实物体图像98的更后方的背景物体。于是，MR辅助程序96从对象帧中识别现实物体图像98，从未映出它的其他帧中提取出背景物体图像97，由此生成背景物体图像97。

(用三维虚拟现实显示得到的图像)

图6A～图6D是说明三维虚拟现实显示方法的图。图6A是表示现有的三维虚拟现实显示例的图(表示3DAR对象与现实物体重叠的状态的图)，图6B是表示第一实施方式的三维虚拟现实显示(第一消除重叠显示例)的图，图6C是表示第一实施方式的三维虚拟现实显示(第二消除重叠显示例)的图，图6D是表示第一实施方式的三维虚拟现实显示(第三消除重叠显示例)的图。图6A～图6C对应于图1所示的用虚线包围的区域(AREA)。如图1所示，作为现实物体的MR非体验者4b与3DAR对象6位于距离关系上相同程度的位置，在HMD2a的视线上重叠。此处所谓“距离关系”指的是以HMD2a为基点、在HMD2a的佩戴者即MR体验者2的同一视线方向上的距离关系。并不包括与MR体验者2之间的距离相同但视线方向不同的距离关系。

图6A是对重叠的MR非体验者4b(现实物体)和3DAR对象6进行遮挡处理后的图像。位于3DAR对象6前的MR非体验者4b的上部被显示，位于3DAR对象6后的MR非体验者4b的下部未被显示。结果，成为从3DAR对象6中出现了MR非体验者4b(像是人物的上半身承载或生长在车的发动机盖上)的图像，成为MR非体验者4b妨碍3DAR对象6的识别的不自然的图像。因此，本实施方式中，进行图6B或图6C所示的处理。

图6B、图6C中，并不用位于距离相同程度的位置的现实物体(MR非体验者4b)和3DAR对象6执行遮挡处理。改为在现实物体(MR非体验者4b)的区域，插入从背景图像截取出的背景物体图像10，用背景物体图像10和3DAR对象6进行遮挡处理。背景物体图像10通常与3DAR对象6相比在同一视线上位于更远的距离，能够无缺损地显示3DAR对象6，并且也显示被现实物体(MR非体验者4b)隐藏的背景(例如花瓶5a)，所以能够得到自然的MR体验。以上是图6B的处理(第一消除重叠显示)。

图6C中，在图6B之外，也使现实物体(MR非体验者4b)的图像移动(避让)至不妨碍3DAR对象6的识别的场所(第二消除重叠显示)。图6C的图像11是移动后的现实物体(MR非体验者4b)。现实物体(MR非体验者4b)是MR体验者2、3的孩子等要随时关注的人物的情况下，不是使现实物体成为不显示，而是使3DAR对象6和现实物体(MR非体验者4b)同时看到，并且并不显示用遮挡处理得到的不自然的图像，具有保持MR体验的沉浸感的特征。此处，使现实物体(MR非体验者4b)移动时，存在如远处和近前处一般在从MR体验者2起的同一视线上的距离不同的情况。该情况下，与从MR体验者2起的距离相应地将现实物体(MR非体验者4b)的比例尺加工为较小或加工为较大，由此能够以自然的尺寸观看。

图6D是将现实空间图像置换为VR图像数据6a的例子(第三消除重叠显示例)。VR图像数据6a位于3DAR对象6的背面的情况下，3DAR对象6以VR图像6a为背景显示。另外，取决于车的促销的场景，从图6B或图6C的影像切换为如图6D所示的显示时，能够显示将多种多样的背景与3DAR对象6组合而成的影像，体验者能够在各种场景中观看3DAR对象6。从图6B或图6C的影像切换为图6D的背景影像时，可以逐渐地使影像合成而变化，或者进行划像处理这样的加工。

(流程图)

图7A是第一实施方式的MR体验程序251的流程图。MR体验者2启动HMD2a中保存的MR体验程序251(S101)，登入VR服务服务器8和MR辅助服务器9。以下，对于HMD2a执行MR体验程序251中的动作按步骤顺序进行说明。另外，以下举出作为现实物体的MR非体验者4b与车的3DAR对象6重叠或不重叠的情况下的处理为例进行说明。

HMD2a开始用摄像机拍摄(S102)。对于用测距摄像机20拍摄的图像，附加到现实物体的距离数据。用摄像机拍摄例如可以按30fps(frame per second：帧每秒)拍摄动态图像而生成多个帧时序排列的三维现实空间图像数据，捕捉拍摄图像，此后的步骤可以与摄像机拍摄周期同步地执行。

HMD2a经由无线通信器244对MR辅助服务器9发送三维现实空间图像数据(S103)。MR辅助服务器9如后所述从现实空间图像中分离出现实物体图像(MR非体验者4b)和背景物体图像(例如花瓶5a、窗5b)。

进而，HMD2a对VR服务服务器8发送3DAR对象6的描绘数据(包括在VR数据87中)的发送请求(S104)。

HMD2a从MR辅助服务器9接收从现实空间图像中提取出的至少一个以上的、优选全部的现实物体图像数据(包括现实物体图像及其距离数据)(S105)，从VR服务服务器8接收3DAR对象(本例中是3DAR对象6)的描绘数据和VR图像数据(S106)。

HMD2a对各现实物体(MR非体验者4b)与3DAR对象6的三维重叠、换言之是以HMD2a为基准的情况下的同一视线上的从HMD2a观察的现实物体图像(包括MR非体验者4b的图像和到它的距离数据)与从HMD2a起的3DAR对象6的距离进行比较。

现实物体和三维的3DAR对象6在同一视线上位于相同距离的情况下，现实物体的体积与3DAR对象的体积重叠。从而，不考虑其体积的重叠地进行遮挡处理时，例如即使遮挡处理对于3DAR对象6的近前处和现实物体的表面成功，在3DAR对象6的远处对于与现实物体的表面的距离关系也没有适当地处理，可能成为从3DAR对象6中突然出现现实物体的不自然的显示。

本实施方式中，对应于现实物体与3DAR对象6的体积的重叠程度而选择以往的遮挡处理或消除重叠显示处理。

于是，HMD2a在现实物体的体积与3DAR对象6的体积不重叠的距离的情况下(S107：分开)，用现实物体和3DAR对象执行遮挡处理(S108)。

另一方面，HMD2a在现实物体(MR非体验者4b)的体积与3DAR对象的体积重叠的距离的情况下(S107：重叠)，HMD2a进行消除重叠显示处理。

参考图7B，说明步骤S107中的判断算法的一例。图7B是表示体积重叠程度的判断算法例的图。为了便于说明，设HMD2a的显示面是与铅垂方向平行的面。然后，以显示器22的1点、例如显示器22的左上角为原点，使用画面的二维坐标x-y面和与其正交的z轴定义现实的三维坐标。从而，z-x面是水平面，z轴表示从HMD2a观察的视线的远近方向的距离。

图7B的例子中，现实物体位于HMD2a的正面的情况下，z轴的值与从HMD2a到MR非体验者4b的距离一致。因为用测距摄像机20观察MR非体验者4b，所以MR非体验者4b的来自观测者的视线L上的位置P_R(x_R，z_R)可以用MR非体验者4b的与HMD2a相对的表面与视线L的交点表示。

另一方面，对于3DAR对象6，用三维图像系的(s，t，u)的三轴坐标定义其形状。AR标记在现实空间中出现时，对于它叠加显示3DAR对象6。因此，如果使3DAR对象6的原点(s₀，t₀，u₀)与AR标记的三维坐标(x_l，y_m，z_n)重叠，则能够将(s₀，t₀，u₀)变换为(x_l，y_m，z_n)。为了便于说明，假设不存在stu坐标系与xyz坐标系的各轴旋转方向的偏差，s轴与x轴一致，t轴与y轴一致，u轴与z轴一致。

处理器24中，如果在HMD2a的视线L上构成3DAR对象6的点仅有一个则将该点选择为最远点P_n，存在多个点、例如P₁、……、P_n-2、P_n-1、P_n的情况下，将距离HMD2a最远的点、即z轴的值最大的点选择为最远点P_n。另外，z轴的值最小的点P₁是最近点。

然后，对上述视线L与MR非体验者4b的交点P_R的三维坐标(x_R，y_R，z_R)和3DAR对象6的最远点P_n的坐标(x_ARn，y_ARn，z_ARn)(其中，本例中x_R＝x_ARn，y_R＝y_ARn)进行比较。如果z_R>z_ARn则判断为现实物体与3DAR对象6不存在体积重叠部分(状态1)。如果z_R≤zar则判断为现实物体与3DAR对象6存在体积重叠部分(状态2)。

于是，HMD2a对MR辅助服务器9请求与现实物体(MR非体验者4b)的区域对应的背景物体图像(相当于图6B的背景物体图像10)的数据(S109)，并接收(S110)。接收之后，HMD2a用背景物体图像10和3DAR对象6隐藏现实物体(MR非体验者4b)(第一消除重叠显示)。另外，HMD2a截取现实物体(MR非体验者4b)并在与3DAR对象6不重叠的场所显示，并且在现实物体(MR非体验者4b)实际存在的区域嵌入背景物体图像10(第二消除重叠显示)。

另外，S106中与3DAR对象6的描绘数据一同接收背景的VR图像数据的情况下，在S107、S108的步骤中，将现实物体中的背景物体图像置换为VR图像，在S108中用背景的VR图像和3DAR对象和现实物体进行遮挡处理和现实物体的移动等合成处理。此处，本例中，示出了在HMD2a内实施对HMD2a的显示图像进行合成的处理的结构，但进行合成处理的场所不限定于此，也可以如后所述用通过网络连接的服务器、或进行协作连接的智能手机或平板等进行处理。

HMD2a进行是否已对与3DAR对象6重叠的全部现实物体执行了S107～S111的步骤的确认，在残留有现实物体的情况下(S112：否)，返回S107。另一方面，HMD2a对全部现实物体已完成处理的情况下(S112：是)，将已处理的图像显示在HMD2a的显示器22上(S113)。

HMD2a的MR体验程序251尚未完成的情况下，在下一个摄像机周期中继续从S103起的步骤(S114：否)。HMD2a的MR体验程序251完成的情况下(S114：是)，结束上述处理。

图8是VR服务程序86的流程图。接收已登记的MR体验者2的登入请求时，执行登入处理(S121)。

VR服务服务器8接收来自HMD2a的3DAR对象6的描绘数据的发送请求时(S122)，生成所请求的3DAR对象的描绘数据(S123)。3DAR对象的描绘数据是与3DAR对象的描绘数据的发送请求中包括的HMD2a和3DAR对象的距离、HMD2a的视线方向等相应地、对3DAR对象6进行了3D描绘的数据(对象文件)，与HMD2a的移动和/或视线的变化相应地更新描绘数据。另外，也可以根据太阳和照明等的光源的方向，将反射和/或阴影的影响附加为图像而作为描绘数据。

VR服务服务器8将所生成的描绘数据发送至HMD2a(S124)。

VR服务服务器8持续进行从步骤S122到S124的处理，直到MR体验者2登出或MR体验程序251结束等VR服务程序86的结束条件成立(S125：否)。

VR服务服务器8在VR服务程序86的结束条件成立时(S125：是)，结束上述一系列处理。

图9是MR辅助程序96的流程图。

MR辅助服务器9对已登记的MR体验者2的登入请求进行处理(S131)。

MR辅助服务器9从HMD2a接收现实空间图像数据(S132)，识别现实物体图像(S133)而提取出现实物体图像数据，得到背景图像。背景图像每当接收现实空间图像时被更新(S134)。

MR辅助服务器9将现实物体图像数据发送至HMD2a(S135)。另外，MR辅助服务器9接收背景物体图像的发送请求时(S136)，将背景物体图像数据发送至HMD2a(S137)。

MR辅助服务器9持续进行从步骤S132到S137的处理，直到MR体验者2登出或MR体验程序251结束等MR辅助程序96的结束条件成立(S138：否)。

MR辅助服务器9在MR辅助程序96的结束条件成立时(S138：是)结束上述一系列处理。

根据本实施方式，在现实物体与3DAR对象6在MR体验者的同一视线上重叠的情况下，在现实物体的体积与3DAR对象6的体积不重叠的程度地分开的情况下进行遮挡处理，在两者重叠的程度地接近的情况下不进行遮挡处理，而是进行消除重叠处理，由此不会显示为现实物体与3DAR对象6不自然地重叠。因此，能够提高MR体验的沉浸感。

另外，根据本实施方式，在不进行MR体验的第三者(MR非体验者)存在的开放空间中，3DAR对象6的形状也不会被第三者影响，所以MR体验者能够准确地识别3DAR对象6，进行MR体验。

[第二实施方式]

参考图10A、图10B和图11对于本发明的第二实施方式进行说明。图10A是表示现有的三维虚拟现实显示的例子的图(表示现实物体与3DAR对象6相比位于近前处的状态的图)。图10B是表示第二实施方式的三维虚拟现实显示(第四消除重叠显示例)的图。

如图10A所示，作为现实物体的MR非体验者4b和3DAR对象6位于距离相同程度的位置，并且作为现实物体的其他MR非体验者4c位于3DAR对象6前，它们在HMD2a的视线上都重叠，妨碍观看3DAR对象6。

图10B中，位于3DAR对象6的后侧的MR非体验者4b与第一实施方式同样地被背景物体图像10置换。另一方面，将其他MR非体验者4c删除并配置3DAR对象6。进而，在删除了MR非体验者4c的区域中的、3DAR对象6不重叠的残留区域中，从其他帧的全景图像中提取与残留区域对应的图像而生成前景图像，嵌入残留区域中。3DAR对象6和背景物体图像10与MR非体验者4b对应，3DAR对象6和前景图像11a与其他MR非体验者4c对应。进行用背景物体图像10和前景图像11a和3DAR对象6覆盖MR非体验者4b和其他MR非体验者4c的现实物体图像而将其隐藏的处理(第四消除重叠显示例)。结果，能够观看3DAR对象6整体。

图11是第二实施方式的MR体验程序251的流程图。

与图7的流程图的不同在于S150的步骤的距离比较。

S150中，对于现实物体与3DAR对象6之间的距离按“位于后方的位置且分开”的情况和“位于接近的位置或位于前方”的情况进行判断，前者时用现实物体和3DAR对象6进行遮挡处理(S108)，后者时进行背景物体图像和前景图像的发送请求(S151)，并接收(S152)。然后，用背景物体图像、3DAR对象6和前景图像隐藏现实物体图像(S153)。上述例子中，进行MR非体验者4b和其他MR非体验者4c看起来仿佛不存在的处理。

如以上所说明，根据第二实施方式，具有与第一实施方式相同的特征，并且即使现实物体与3DAR对象6相比位于近前处，也可以进行妨碍观察3DAR对象6的现实物体的除去。

[第三实施方式]

参考图12A至图15B，对于第三实施方式进行说明。

图12A是表示现有的三维虚拟现实显示的例子的图(表示3DAR对象与现实物体重叠的状态的图)。图12B是表示第三实施方式的三维虚拟现实显示例的图(透明部位的处理例)。图12C是表示第三实施方式的三维虚拟现实显示例的图(置换为VR图像的例子)。图12A～图12C中，MR体验者2正在体验仿佛坐在车的驾驶座一般的状况。将仪表盘60、前窗61、后视镜62、方向盘63等显示为3DAR对象。MR非体验者4d、4e(现实物体)与前窗61重叠，可以越过前窗61看见。仪表盘60、前窗61、后视镜62、方向盘63分别是构成车的3DAR对象6的部位。本例中，将作为一个虚拟现实物体的3DAR对象6分割为多个虚拟现实物体的部位，对于各个部位附加规定遮挡处理的种类的标志。因为仪表盘60、后视镜62、方向盘63分别是3DAR对象6的非透明区域，所以附加非透明区域标志。另一方面，因为前窗61是3DAR对象6的透明区域，所以附加透明区域标志。

图12A中，是没有进行遮挡处理的情况下的表现方式，MR非体验者4d、4e与3DAR对象6不自然地重叠。

图12B中，示出了进行遮挡处理的结果。第三实施方式中，对于前窗61的3DAR对象6的描绘数据，设定了图13中说明的Occlusion Flag(遮挡标志)，对于与前窗61重叠的现实物体，禁止置换为3DAR对象6的处理，用现实物体和3DAR对象6进行遮挡处理。结果，越过前窗61观测MR非体验者4d、4e。此时，MR非体验者4d与3DAR对象6的距离接近，在前窗61的后方显示MR非体验者4d时，成为与图6A的MR非体验者4b(现实物体)相同的表现方式的情况下，将MR非体验者4d(现实物体)缩小，以距离如图12B的MR非体验者4d一般分开的方式进行显示。另外，MR非体验者4e与仪表盘(3DAR对象)60和方向盘63(3DAR对象)、以及作为车体的3DAR对象6相比距离更远，所以将前窗61作为透明部分处理，按与除此以外的部分的距离关系实施遮挡处理。

图12C表示将现实空间的背景图像置换为VR图像6b的情况。对于仪表盘60、方向盘63和VR图像6b进行遮挡处理，但前窗61是透过型或半透过型的3DAR对象，能够观测位于视线远处的VR图像6b，可以进行仿佛位于用VR图像提供的虚拟的场所一般的体验。

图13是3DAR对象的一例的表100。3DAR对象用“CONTENTS ID”识别，能够将多个3DAR对象(AR Obuject 1～7等)合并为相关联的对象。各个3DAR对象包括3DAR对象所固有的“Data id”、用于使MR体验者等用户易于理解的“Title”、以及“Occlusion Flag”、“3DImage Data”。

对于“Occlusion Flag”定义“00”、“01”、“10”。“Occlusion Flag”的值是“00”的情况下，与现实物体和3DAR对象的距离相应地进行遮挡处理。“Occlusion Flag”的值是“00”的标志相当于非透明部位标志。

另外，“Occlusion Flag”的值是“01”的情况下，在现实物体与3DAR对象的距离接近的情况下，将现实物体置换为背景物体，以不隐藏3DAR对象的方式进行处理，“OcclusionFlag”的值是“01”的标志相当于非透明部位标志。

“Occlusion Flag”的值是“10”的情况下，如图12B的前窗61一般，无论距离如何都将3DAR对象视为透明的，用前窗61远处的3DAR对象和现实物体进行遮挡处理。“OcclusionFlag”的值是“10”的标志相当于透明部位标志。前窗61远处的3DAR对象可以是机动车的3DAR对象6的一部分、例如发动机盖，也可以是与机动车的3DAR对象6不同的其他3DAR对象、例如其他机动车的3DAR对象。

图14是第三实施方式的MR体验程序251的流程图。

与图7的流程图的不同，在于追加了S160、S161的步骤。

HMD2a在S160中检查3DAR对象的“Occlusion Flag”，如图13所说明，与“OcclusionFlag”相应地使处理不同。

“Occlusion Flag”是“00”的情况下，HMD2a在S108中按照现实物体与3DAR对象的距离的关系进行遮挡处理(对于该处理用图15说明。)。

“Occlusion Flag”是“10”的情况下，HMD2a在S161中作为图12所示的前窗61这样的透明的物体处理，进行即使比现实物体距离更近也使其看起来透过的处理。之后，进入S107。

“Occlusion Flag”是“01”的情况下，HMD2a在S107中进行现实物体与3DAR对象的距离的比较，按分开的情况和距离接近或重叠的情况进行不同的处理。

图15是应用“Occlusion Flag”是“00”的情况的图像的例子。图15是现实物体4f正在海边(存在沙滩64和海面65的3DAR对象)游玩的状况。图15中，海面65的“OcclusionFlag”被设定为“00”。即使从海面65中出现作为现实物体4f的人物的一半也没有不自然感。因此，按海面65与现实物体4f的距离的关系进行遮挡处理即可。

如以上所说明，根据第三实施方式，具有与第一实施方式相同的特征，并且能够应用与3DAR对象的特征相应的遮挡处理。

[第四实施方式]

参考图16和图17，对于第四实施方式进行说明。图16是第四实施方式的MR辅助服务器9的框图。第四实施方式的MR辅助服务器9在存储94中保持3DAR对象&VR图像数据900、现实空间图像数据901、显示图像数据902。

第四实施方式的MR辅助服务器9保持由HMD2a指示、从VR服务服务器8接收的3DAR对象&VR图像数据900、和从HMD2a接收的现实空间图像数据901。

进而，MR辅助服务器9从现实空间图像数据901中识别并提取位于现实物体图像98的视线上的远近方向的远侧(较远一侧)的物体作为背景物体，生成背景物体图像97。

进而，MR辅助服务器9对现实物体图像98和3DAR对象&VR图像数据900进行遮挡处理等，得到与现实空间图像合成的显示图像数据902。显示图像数据902被发送至HMD2a，用HMD2a的显示器22显示。另外，与3DAR对象的图像数据一同接收背景的VR图像数据的情况下，将其蓄积在3DAR对象&VR图像数据900中。

MR辅助服务器9包括将现实物体中的背景图像置换为VR图像数据、用背景的VR图像、3DAR对象和现实物体进行遮挡处理以及现实物体的移动等合成处理的程序。

图17是第四实施方式的MR辅助程序96的流程图。

MR辅助服务器9对已登记的MR体验者2的登入请求进行处理(S131)。进而，MR辅助服务器9从HMD2a接收现实空间图像数据(S132)。

MR辅助服务器9将3DAR对象的描绘数据的发送请求发送至VR服务服务器(S140)。关于请求的3DAR对象，在HMD2a中用户决定合成怎样的AR内容并按此接收3DAR对象的描绘数据的发送指示。

MR辅助服务器9从S132中接收到的现实空间图像数据中识别现实物体(S133)，从接收到的现实空间图像数据更新背景图像(S134)。

MR辅助服务器9接收3DAR对象的描绘数据和VR图像(也存在不接收VR图像的情况)数据(S141)。

MR辅助服务器9检测现实物体与3DAR对象的重叠，并且对2个物体的距离进行比较(S142)。以体积不重叠的程度分开的情况下(S142：分开)，用现实物体和3DAR对象执行遮挡处理(S143)。

另一方面，重叠的情况下(S142：重叠)，MR辅助服务器9从背景图像生成背景物体图像的数据(S144)，执行用背景物体图像和3DAR对象覆盖现实物体而将其隐藏的处理(S145)。

MR辅助服务器9进行是否已对与3DAR对象重叠的全部现实物体执行了S142～S145的步骤的确认，残留有现实物体的情况下(S146：否)，返回S142。

MR辅助服务器9在已对全部现实物体完成了处理的情况下(S146：是)，将已处理的图像作为显示图像的数据发送至HMD2a(S147)。

MR辅助服务器9确认程序结束，在不结束的情况下(S138：否)继续进行从S142起的步骤。在结束的情况下(S138：是)结束一系列处理。

根据第四实施方式，具有与第一实施方式相同的特征，并且用高性能的MR辅助服务器9执行MR体验处理的大部分，具有减轻HMD2a的处理等能够使实现方法变得灵活的特征。

本发明不限于上述用图1至图17说明的各实施方式，能够将某个实施方式的结构的一部分置换为其他实施方式。另外，也能够在某个实施方式的结构上添加其他实施方式的结构。它们全部属于本发明的范畴，进而文中和图中出现的数值和消息等也只是一例，即使使用不同的数值和消息等也不损害本发明的效果。

另外，对于发明的功能等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，也可以通过微处理器单元、CPU等解释并执行动作程序而用软件实现。另外，并不限定软件的实现范围，可以同时使用硬件和软件。

附图标记说明

1 ：MR空间

1a ：接入点

1b ：无线LAN信号

2，3 ：MR体验者

2a，3a ：HMD

2b，3b ：无线LAN信号

4a，4b，4c，4d，4e ：MR非体验者

4f ：现实物体

5a ：花瓶

5b ：窗

6 ：3DAR对象

6a ：VR图像数据

6b ：VR图像

7 ：网络

8 ：VR服务服务器

9 ：MR辅助服务器

10 ：背景物体图像

11 ：图像

11a ：前景图像

20 ：测距摄像机

20a ：左摄像机

20b ：右摄像机

22 ：显示器

23 ：快门

24 ：处理器

25a，25b ：安装用框体

26 ：扬声器

27 ：麦克风

60 ：仪表盘

61 ：前窗

62 ：后视镜

63 ：方向盘

64 ：沙滩

65 ：海面

82 ：CPU

83 ：RAM

84 ：存储

85 ：内部总线

86 ：VR服务程序

87 ：VR数据

91 ：网络IF

92 ：CPU

93 ：RAM

94 ：存储

95 ：内部总线

96 ：MR辅助程序

97，98 ：背景物体图像

100 ：表

240 ：摄像机用处理器

241 ：方位传感器

242 ：陀螺仪传感器

243 ：加速度传感器

244 ：无线通信器

245 ：CPU

246 ：RAM

247 ：图像RAM

249 ：内部总线

250 ：基本程序

251 ：MR体验程序

900 ：3DAR对象&VR图像数据

901 ：现实空间图像数据

902 ：显示图像数据

L ：视线

PR ：交点

Pn ：最远点

P1 ：最近点。

Claims

1.一种三维虚拟现实显示装置，其特征在于，包括：

拍摄现实空间并输出所述现实空间中存在的现实物体图像的摄像机；

测量从所述现实空间的观测者到所述现实物体的距离的距离传感器；

显示器；和

使所述显示器显示三维虚拟现实物体的处理器，

所述处理器，在所述现实物体位于所述观测者观测所述三维虚拟现实物体的视线上的情况下，对距所述观测者的要显示所述三维虚拟现实物体的距离与从所述观测者到所述现实物体的距离进行比较，在所述现实物体与所述三维虚拟现实物体重叠的情况下，进行使所述三维虚拟现实物体显示在所述视线上而使所述现实物体图像不显示在所述视线上的消除重叠显示处理。

2.如权利要求1所述的三维虚拟现实显示装置，其特征在于：

所述处理器，在所述现实物体位于与构成所述三维虚拟现实物体的点中的、沿着所述视线的远近方向上最远的最远点距离相同处或与所述最远点相比靠近前处的情况下，判断为所述现实物体与所述三维虚拟现实物体重叠。

3.如权利要求2所述的三维虚拟现实显示装置，其特征在于：

所述处理器，在所述现实物体与所述最远点相比在所述视线上位于更远处的情况下，对所述现实物体图像执行使其显示在所述三维虚拟现实物体的背后的遮挡处理来进行显示。

4.如权利要求2所述的三维虚拟现实显示装置，其特征在于：

所述处理器，在所述现实物体位于与所述最远点距离相同处或与所述最远点相比靠近前处的情况下，从所述摄像机拍摄所述现实空间而得到的三维现实空间图像中删除所述现实物体图像，并在进行了该删除的区域中嵌入基于所述三维现实空间图像生成的背景物体图像来进行显示。

5.如权利要求4所述的三维虚拟现实显示装置，其特征在于：

所述处理器将删除了的所述现实物体图像移动到所述三维现实空间图像中的避开所述视线的位置来进行显示。

6.如权利要求2所述的三维虚拟现实显示装置，其特征在于：

所述处理器，在所述现实物体位于与所述最远点距离相同处或与所述最远点相比靠近前处的情况下，在预先准备的三维虚拟空间图像上叠加所述三维虚拟现实物体来进行显示。

7.如权利要求2所述的三维虚拟现实显示装置，其特征在于：

所述处理器，在所述现实物体位于与构成所述三维虚拟现实物体的点中的、沿着所述视线的远近方向上最近的最近点距离相同处或与所述最近点相比靠近前处的情况下，从所述摄像机拍摄所述现实空间而得到的三维现实空间图像中删除所述现实物体图像，在删除了所述现实物体的三维现实空间图像上叠加所述三维虚拟现实物体，并在从所述三维现实空间图像中删除了所述现实物体图像而得到的残留区域中嵌入基于所述三维现实空间图像生成的前景图像来进行显示。

8.如权利要求1所述的三维虚拟现实显示装置，其特征在于：

所述三维虚拟现实物体被附加用于控制对该三维虚拟现实物体进行的遮挡处理的标志，

所述处理器与所述标志相应地控制所述三维虚拟现实物体与所述现实物体图像之间的遮挡处理等的执行。

9.如权利要求8所述的三维虚拟现实显示装置，其特征在于：

所述三维虚拟现实物体包括非透明区域和透明区域，

所述标志包括附加于所述非透明区域的非透明区域标志和附加于所述透明区域的透明区域标志，

所述处理器，对附加了所述非透明区域标志的所述三维虚拟现实物体的部位执行所述消除重叠显示处理，对附加了所述透明区域标志的所述三维虚拟现实物体的透明区域，与所述透明区域和所述现实物体之间的距离无关地，在所述三维虚拟现实物体的其他部位或其他的所述三维虚拟现实物体和所述现实物体位于透过所述透明区域观测所述现实物体的视线上的情况下，进行与所述三维虚拟现实物体的其他部位或其他的所述三维虚拟现实物体与所述现实物体的距离相应的显示，或者在仅所述现实物体位于所述视线上的情况下进行与到所述现实物体的距离相应的显示。

10.一种头戴式显示器，其特征在于：

搭载有权利要求1～9中任一项所述的三维虚拟现实显示装置。

11.一种三维虚拟现实显示方法，其特征在于，包括：

获取三维现实空间图像数据的步骤，其中所述三维现实空间图像数据是对拍摄现实空间而生成的三维现实空间图像附加从所述现实空间的观测者到存在于所述现实空间中的现实物体的距离来得到的；

在所述现实物体位于所述观测者观测三维虚拟现实物体的视线上的情况下，对距所述观测者的显示所述三维虚拟现实物体的距离与基于所述三维现实空间图像数据得到的到所述现实物体的距离进行比较的步骤；和

在所述现实物体与所述三维虚拟现实物体重叠的情况下，进行使所述三维虚拟现实物体显示在所述视线上而使所述现实物体图像不显示在所述视线上的消除重叠显示处理的步骤。