CN111986334A - Hololens和CAVE结合的虚拟体验系统及方法 - Google Patents

Abstract

本发明公开了一种Hololens和CAVE结合的虚拟体验系统及方法。该系统包括CAVE系统和Hololens设备；CAVE系统生成三维虚拟环境；Hololens设备在CAVE系统生成的三维虚拟环境中根据Hololens设备中的三维模型生成虚拟对象的三维全息图像；虚拟对象的三维全息图像与三维虚拟环境叠加形成虚拟三维场景。本发明的系统及方法，利用CAVE系统弥补了Hololen设备由于受视场角限制，难以提供大视野虚拟场景的缺点，又利用Hololens设备轻便灵活、能够将虚拟对象的全息图像与现实场景混合叠加的特点，弥补了CAVE系统的虚拟场景灵活性和互动体验感较弱的缺点。

Description

Hololens和CAVE结合的虚拟体验系统及方法

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种Hololens和CAVE结合的虚拟体验系统及方法。

背景技术

CAVE沉浸式虚拟现实显示系统是以计算机图形学为基础，把高分辨率的立体投影显示技术、多通道视景同步技术、音响技术、传感器技术等融合在一起，产生一个被三维立体投影画面包围的供多人使用的完全沉浸式的虚拟环境。体验者借助相应虚拟现实交互设备(如数据手套、位置跟踪器等)，从而获得一种身临其境的高分辨率三维立体视听影像和六自由度交互感受。由于投影面几乎能够覆盖用户所有的视野，因此CAVE系统能提供给使用者一种带有震撼性的身临其境的沉浸感受。HoloLens是混合现实产品，是首个不受线缆限制的全息计算机设备，能够将虚拟对象的全息图像与现实场景混合，提供具有极强沉浸感的混合现实体验，让体验者与数字内容交互，并与周围真实环境中的全息影像互动。CAVE和Hololens均被广泛应用于具有沉浸感需求的虚拟仿真应用领域，包括虚拟设计与制造，虚拟装配，模拟训练，虚拟演示，虚拟生物医学工程，地质、矿产、石油，航空航天、科学可视化，军事模拟指挥、虚拟战场、电子对抗，地形地貌、地理信息系统(GIS)，建筑视景与城市规划，地震及消防演练仿真等。

CAVE和Hololens两者各自的技术特点决定了各自的优缺点。现有的CAVE虚拟现实系统能够提供大的视野和全景图像，能够产生强烈的沉浸感，但是不能提供虚拟对象的全息图像，且需要专门配备VR识别设备、VR交互设备和位置跟踪系统来实现与体验者之间的互动，其交互方式不够灵活、自然，互动体验感较弱。Hololens能够提供虚拟对象的全息图像，并且可以将计算机生成的虚拟对象叠加于现实世界之上，并支持体验者的位置跟踪、手部追踪和语音识别，交互方式灵活自然，但是视场较小，即便是最新的Hololens产品其视场对角仅仅为52度(垂直28.5度，水平43度)，虚拟大场景的效果较弱。

发明内容

本发明的目的是提供一种Hololens和CAVE结合的虚拟体验系统及方法，将CAVE和Hololens结合起来，使CAVE提供的虚拟环境和Hololens提供的虚拟对象叠加混合，能够提供更强的沉浸感、更自然的互动方式和更逼真的体验感。

为实现上述目的，本发明提供了如下方案：

一种Hololens和CAVE结合的虚拟体验系统，包括：

CAVE系统和Hololens设备；

所述CAVE系统用于生成三维虚拟环境；所述Hololens设备用于在所述CAVE系统生成的三维虚拟环境中根据所述Hololens设备中的三维模型生成虚拟对象的三维全息图像；所述虚拟对象的三维全息图像与所述三维虚拟环境叠加形成虚拟三维场景。

可选的，所述Hololens和CAVE结合的虚拟体验系统，还包括：

网络设备和云计算平台；

所述网络设备分别与所述Hololens设备、所述CAVE系统和所述云计算平台连接；

所述Hololens设备用于对环境进行扫描，并通过所述网络设备将环境扫描结果发送至所述云计算平台；

所述Hololens设备用于接收所述云计算平台根据所述环境扫描结果确定的空间定位点，并通过所述网络设备将所述空间定位点传输至所述CAVE系统；

所述Hololens设备用于对体验者进行定位得到体验者位置数据，并通过所述网络设备将所述体验者位置数据传输至所述CAVE系统；所述Hololens设备还用于识别体验者的动作和语音，并通过所述网络设备将所述体验者的动作指令和语音指令传输至所述CAVE系统；

所述CAVE系统用于根据所述空间定位点和所述体验者位置数据进行环境网格空间映射，使所述三维虚拟环境与所述虚拟对象的三维全息图像的空间关系对应；所述CAVE系统还用于根据所述动作指令和所述语音指令确定体验者的操作，并产生与所述体验者的操作对应的三维虚拟环境，使所述三维虚拟环境与体验者之间进行交互。

可选的，所述CAVE系统，具体包括：

图形工作站、投影机和投影空间；所述投影空间中设有多个投影面；

所述图形工作站分别与所述投影机和所述网络设备连接；所述图形工作站用于将三维渲染后的视频图像传输至所述投影机，所述投影机将所述视频图像投影至所述投影面形成三维虚拟环境。

可选的，所述网络设备，具体包括：

交换机和无线路由器；

所述无线路由器分别与所述Hololens设备、所述交换机和所述云计算平台连接。

可选的，所述Hololens和CAVE结合的虚拟体验系统，还包括：

音响设备；

所述音响设备与所述图形工作站连接；所述音响设备用于模拟环境音效。

可选的，

所述图形工作站通过视频线与所述投影机连接；

所述图形工作站通过音频线与所述音响设备连接。

本发明还提供一种Hololens和CAVE结合的虚拟体验方法，包括：

所述CAVE系统生成三维虚拟环境；

将Hololens设备置于CAVE系统生成的三维虚拟环境中；

所述Hololens设备根据所述Hololens设备中的三维模型生成虚拟对象的三维全息图像；

所述虚拟对象的三维全息图像与所述三维虚拟环境叠加形成虚拟三维场景。

可选的，所述方法，还包括：

所述Hololens设备对环境进行扫描，并通过网络设备将环境扫描结果发送至云计算平台；

所述Hololens设备接收所述云计算平台根据所述环境扫描结果确定的空间定位点，并通过所述网络设备将所述空间定位点传输至所述CAVE系统；

所述Hololens设备对体验者进行定位得到体验者位置数据，并通过所述网络设备将所述体验者位置数据传输至所述CAVE系统；

所述Hololens设备识别体验者的动作和语音，并通过所述网络设备将所述体验者的动作指令和语音指令传输至所述CAVE系统；

所述CAVE系统根据所述空间定位点和所述体验者位置数据进行环境网格空间映射，使所述三维虚拟环境与所述虚拟对象的三维全息图像的空间关系对应；

所述CAVE系统根据所述动作指令和所述语音指令确定体验者的操作，并产生与所述体验者的操作对应的三维虚拟环境，使所述三维虚拟环境与体验者之间进行交互。

与现有技术相比，本发明的有益效果是：

本发明提出了一种Hololens和CAVE结合的虚拟体验系统及方法，该系统包括CAVE系统和Hololens设备；CAVE系统生成三维虚拟环境；Hololens设备在CAVE系统生成的三维虚拟环境中根据Hololens设备中的三维模型生成虚拟对象的三维全息图像；虚拟对象的三维全息图像与三维虚拟环境叠加形成虚拟三维场景。该系统利用CAVE系统弥补了Hololen设备由于受视场角限制，难以提供大视野虚拟场景的缺点，又利用Hololens设备轻便灵活、能够将虚拟对象的全息图像与现实场景混合叠加的特点，弥补了CAVE系统的虚拟场景灵活性和互动体验感较弱的缺点。

此外，Hololens设备对环境进行扫描，并通过网络设备将环境扫描结果发送至云计算平台，同时接收云计算平台根据环境扫描结果确定的空间定位点，并通过网络设备将空间定位点传输至CAVE系统；Hololens设备对体验者进行定位得到体验者位置数据，并通过网络设备将体验者位置数据传输至CAVE系统；CAVE系统根据空间定位点和体验者位置数据进行环境网格空间映射，使三维虚拟环境与虚拟对象的三维全息图像的空间关系对应，能够提供更强的沉浸感、更自然的互动方式和更逼真的体验感；同时，通过Hololens识别体验者的动作和语音，根据手部动作(如对全息图像的触摸、抓握和移动)和语音对虚拟场景进行操控并与虚拟场景之间进行互动，替代了传统CAVE系统中需要通过虚拟现实交互设备(如数据手套、位置跟踪器等)来获得与虚拟场景之间的“六自由度交互感受”的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中Hololens和CAVE结合的虚拟体验系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种Hololens和CAVE结合的虚拟体验系统及方法，将CAVE和Hololens结合起来，使CAVE提供的虚拟环境和Hololens提供的虚拟对象叠加混合，能够提供更强的沉浸感、更自然的互动方式和更逼真的体验感。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例

图1为本发明实施例中Hololens和CAVE结合的虚拟体验系统结构图，如图1所示，一种Hololens和CAVE结合的虚拟体验系统，包括：CAVE系统、Hololens设备、网络设备、云计算平台和音响设备。网络设备分别与Hololens设备、CAVE系统和云计算平台连接。网络设备包括：交换机和无线路由器；无线路由器分别与Hololens设备、交换机和云计算平台连接。

CAVE系统用于生成三维虚拟环境；Hololens设备用于在CAVE系统生成的三维虚拟环境中根据Hololens设备中的三维模型生成虚拟对象的三维全息图像；虚拟对象的三维全息图像与三维虚拟环境叠加形成虚拟三维场景。

Hololens设备用于对环境进行扫描，并通过网络设备将环境扫描结果发送至云计算平台；Hololens设备用于接收云计算平台根据环境扫描结果确定的空间定位点，并通过网络设备将空间定位点传输至CAVE系统；Hololens设备用于对体验者进行定位得到体验者位置数据，并通过网络设备将体验者位置数据传输至CAVE系统；CAVE系统还用于根据空间定位点和体验者位置数据进行环境网格空间映射，使三维虚拟环境与虚拟对象的三维全息图像的空间关系对应。Hololens支持手动追踪，能够双手完全铰接模型，以真实自然的方式实现全息图像的触摸、抓握和移动；能够通过智能麦克风和自然语言语音处理，执行语音命令；能够进行世界范围的位置追踪和进行实时环境网格空间映射。

Hololens设备还用于识别体验者的动作和语音，并通过网络设备将体验者的动作指令和语音指令传输至CAVE系统；CAVE系统还用于根据动作指令和语音指令进行环境网格空间映射，使三维虚拟环境与虚拟对象的三维全息图像的空间关系对应，并感受体验者的操作，实施产生相应变化(包括菜单操作、系统设置、选择虚拟对象、移动虚拟对象、场景切换、视场的旋转、缩放和平移)，使所述三维虚拟环境与体验者之间产生交互。其中，体验者的动作包括体验者对三维全息图像的触摸、抓握和移动。

CAVE系统，具体包括：图形工作站、投影机和投影空间；投影空间中设有3～5个投影面，包括：左、前、右、上、下；多个投影面包围体验者形成一个立体体验空间，各面可以采用背投方式或正投方式，并使用反射镜以节省空间。图形工作站分别与投影机和网络设备连接；图形工作站用于将三维渲染后的视频图像传输至投影机，投影机将视频图像投影至投影面形成三维虚拟环境。

音响设备与图形工作站连接，音响设备用于模拟环境音效，图形工作站通过视频线与投影机连接，图形工作站通过音频线与音响设备连接。

控制软件运行在CAVE系统的图形工作站上，根据CAVE系统的三维模型进行图形渲染，并将图像分别传输到各个投影机，投影机将图像投影到对应的投影面上，各投影面上的图像拼接融合在一起，形成CAVE的三维虚拟环境。体验者佩戴Hololens头盔进入CAVE系统，透过Hololens的眼镜能够看到CAVE系统产生的虚拟环境，产生置身于虚拟环境中的沉浸感。同时，Hololens设备根据三维模型产生虚拟对象的三维全息图像，包括人、动植物和各种非生命物体。透过头盔上的眼镜，体验者观察到虚拟对象被叠加到CAVE系统提供的三维虚拟环境中。CAVE系统提供的虚拟环境和Hololens设备提供的虚拟对象混合叠加，共同形成逼真的沉浸式虚拟三维场景。Hololens设备通过无线路由器连接到互联网，通过Microsoft Azure云计算平台进行高质量的远程3D渲染，并利用Azure的空间定位点服务创建空间定位点。Hololens设备通过网络将空间定位点的坐标系统共享给图形工作站，图形工作站上的控制软件根据共享的空间定位点坐标系统，进行实时环境网格空间映射，使CAVE的虚拟环境与全息图像在空间关系上保持一致。Hololens设备对体验者进行定位与跟踪，识别体验者的动作和语音。体验者通过双手的动作实现全息图像的触摸、抓握和移动，通过手部动作和语音对虚拟场景进行操控并与虚拟场景之间进行互动。

本发明提供的一种Hololens和CAVE结合的虚拟体验方法，包括：

CAVE系统生成三维虚拟环境；将Hololens设备置于CAVE系统生成的三维虚拟环境中；Hololens设备根据Hololens设备中的三维模型生成虚拟对象的三维全息图像；虚拟对象的三维全息图像与三维虚拟环境叠加形成虚拟三维场景。

Hololens设备对环境进行扫描，并通过网络设备将环境扫描结果发送至云计算平台；Hololens设备接收云计算平台根据环境扫描结果确定的空间定位点，并通过网络设备将空间定位点传输至CAVE系统；Hololens设备对体验者进行定位得到体验者位置数据，并通过网络设备将体验者位置数据传输至CAVE系统；Hololens设备识别体验者的动作和语音，并通过网络设备将体验者的动作指令和语音指令传输至CAVE系统；CAVE系统根据空间定位点和体验者位置数据进行环境网格空间映射，使三维虚拟环境与虚拟对象的三维全息图像的空间关系对应；CAVE系统根据动作指令和语音指令感受体验者的操作，并实施产生相应变化(包括菜单操作、系统设置、选择虚拟对象、移动虚拟对象、场景切换、视场的旋转、缩放和平移)，使所述三维虚拟环境与体验者之间产生交互。

本发明在提供大视野虚拟场景的同时，又能够将虚拟对象的全息图像与现实场景混合叠加，弥补了CAVE虚拟场景灵活性和互动体验感较弱的缺点和HoloLens视野较小的缺点，能够提供更强的沉浸感、更自然的互动方式和更逼真的体验感。由于现有的CAVE虚拟现实系统能够提供大的视野和全景图像，能够产生强烈的沉浸感，但是不能提供虚拟对象的全息图像，且需要专门配备VR识别设备、VR交互设备和位置跟踪系统来实现与体验者之间的互动，其使用的灵活性和互动体验感较弱。Hololens能够提供虚拟对象的全息图像，并且可以将计算机生成的虚拟对象叠加于现实世界之上，并支持体验者的位置跟踪、手部追踪和语音识别，但是最新的Hololens第二代产品的视场较小，对角仅为52度(垂直28.5度，水平43度)，虚拟大场景的效果较弱。本发明利用彼此的互补特性，将CAVE和Hololens结合起来，实现Hololens的虚拟对象全息图像与CAVE的虚拟环境混合，并利用Hololens对体验者进行定位与跟踪，识别体验者的动作和语音，解决了体验者和虚拟场景之间的互动问题，从而弥补了CAVE虚拟场景灵活性和互动体验感较弱的缺点和HoloLens视野较小的缺点，能够提供更强的沉浸感、更自然的互动方式和更逼真的体验感。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种Hololens和CAVE结合的虚拟体验系统，其特征在于，包括：

CAVE系统和Hololens设备；

所述CAVE系统用于生成三维虚拟环境；所述Hololens设备用于在所述CAVE系统生成的三维虚拟环境中根据所述Hololens设备中的三维模型生成虚拟对象的三维全息图像；所述虚拟对象的三维全息图像与所述三维虚拟环境叠加形成虚拟三维场景。

2.根据权利要求1所述的Hololens和CAVE结合的虚拟体验系统，其特征在于，所述Hololens和CAVE结合的虚拟体验系统，还包括：

网络设备和云计算平台；

所述网络设备分别与所述Hololens设备、所述CAVE系统和所述云计算平台连接；

所述Hololens设备用于对环境进行扫描，并通过所述网络设备将环境扫描结果发送至所述云计算平台；

所述Hololens设备用于接收所述云计算平台根据所述环境扫描结果确定的空间定位点，并通过所述网络设备将所述空间定位点传输至所述CAVE系统；

所述Hololens设备用于对体验者进行定位得到体验者位置数据，并通过所述网络设备将所述体验者位置数据传输至所述CAVE系统；所述Hololens设备还用于识别体验者的动作和语音，并通过所述网络设备将所述体验者的动作指令和语音指令传输至所述CAVE系统；

所述CAVE系统用于根据所述空间定位点和所述体验者位置数据进行环境网格空间映射，使所述三维虚拟环境与所述虚拟对象的三维全息图像的空间关系对应；所述CAVE系统还用于根据所述动作指令和所述语音指令确定体验者的操作，并产生与所述体验者的操作对应的三维虚拟环境，使所述三维虚拟环境与体验者之间进行交互。

3.根据权利要求2所述的Hololens和CAVE结合的虚拟体验系统，其特征在于，所述CAVE系统，具体包括：

图形工作站、投影机和投影空间；所述投影空间中设有多个投影面；

所述图形工作站分别与所述投影机和所述网络设备连接；所述图形工作站用于将三维渲染后的视频图像传输至所述投影机，所述投影机将所述视频图像投影至所述投影面形成三维虚拟环境。

4.根据权利要求3所述的Hololens和CAVE结合的虚拟体验系统，其特征在于，所述网络设备，具体包括：

交换机和无线路由器；

所述无线路由器分别与所述Hololens设备、所述交换机和所述云计算平台连接。

5.根据权利要求4所述的Hololens和CAVE结合的虚拟体验系统，其特征在于，所述Hololens和CAVE结合的虚拟体验系统，还包括：

音响设备；

所述音响设备与所述图形工作站连接；所述音响设备用于模拟环境音效。

6.根据权利要求5所述的Hololens和CAVE结合的虚拟体验系统，其特征在于，

所述图形工作站通过视频线与所述投影机连接；

所述图形工作站通过音频线与所述音响设备连接。

7.一种Hololens和CAVE结合的虚拟体验方法，其特征在于，包括：

所述CAVE系统生成三维虚拟环境；

将Hololens设备置于CAVE系统生成的三维虚拟环境中；

所述Hololens设备根据所述Hololens设备中的三维模型生成虚拟对象的三维全息图像；

所述虚拟对象的三维全息图像与所述三维虚拟环境叠加形成虚拟三维场景。

8.根据权利要求7所述的Hololens和CAVE结合的虚拟体验方法，其特征在于，所述方法，还包括：

所述Hololens设备对环境进行扫描，并通过网络设备将环境扫描结果发送至云计算平台；

所述Hololens设备接收所述云计算平台根据所述环境扫描结果确定的空间定位点，并通过所述网络设备将所述空间定位点传输至所述CAVE系统；

所述Hololens设备对体验者进行定位得到体验者位置数据，并通过所述网络设备将所述体验者位置数据传输至所述CAVE系统；

所述Hololens设备识别体验者的动作和语音，并通过所述网络设备将所述体验者的动作指令和语音指令传输至所述CAVE系统；

所述CAVE系统根据所述空间定位点和所述体验者位置数据进行环境网格空间映射，使所述三维虚拟环境与所述虚拟对象的三维全息图像的空间关系对应；

所述CAVE系统根据所述动作指令和所述语音指令确定体验者的操作，并产生与所述体验者的操作对应的三维虚拟环境，使所述三维虚拟环境与体验者之间进行交互。

Images