CN212541342U

CN212541342U - 一种多模态的沉浸式vr体验学习平台

Info

Publication number: CN212541342U
Application number: CN202021458904.6U
Authority: CN
Inventors: 丁娜
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2021-02-12
Anticipated expiration: 2030-07-22

Abstract

本实用新型涉及虚拟现实技术领域，具体地说，涉及一种多模态的沉浸式VR体验学习平台。包括VR头盔，所述VR头盔包括头盔主体，所述头盔主体的正面上端铰接有视觉镜片，所述头盔主体的正面下端一侧转动连接有录音麦克风，所述头盔主体的顶面内部固定嵌设有主板，所述VR头盔外侧还配套设有遥控器。本实用新型设计可以减轻因头盔松动导致的画面晃动情况，增加多种控制方式，提高其使用便捷性；同时可以给用户提供了更多可选性，提高画面品质、降低延迟，给用户带来更好的使用体感，有效提高教学效果。

Description

一种多模态的沉浸式VR体验学习平台

技术领域

本实用新型涉及虚拟现实技术领域，具体地说，涉及一种多模态的沉浸式VR体验学习平台。

背景技术

作为一个前沿科技领域的热门关键词，VR中文译为“虚拟现实”，该技术融合了计算机3D图形技术、计算机仿真技术、传感器技术、现实技术等多种科学技术，在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感和模拟现实环境的交互性，有助于加深感受、启发认知。目前，将VR技术应用到时间教学中，尤其是物理、计算机、医学等新工科类，可以引起学生的学习兴趣，减轻教师的教学压力，并可以有效提高教学的效果。但是，现有的应用于教学的VR产品模态单一，仍然存在较多不足，如虚拟画面不够逼真、画面延迟或晃动引起用户晕眩、控制方式单一等。

实用新型内容

本实用新型的目的在于提供一种多模态的沉浸式VR体验学习平台，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本实用新型的目的之一在于，提供一种多模态的沉浸式VR体验学习平台，包括VR头盔，所述VR头盔包括头盔主体，所述头盔主体的正面上端铰接有视觉镜片，所述头盔主体的正面下端一侧转动连接有录音麦克风，所述头盔主体的顶面内部固定嵌设有主板，所述VR头盔外侧还配套设有遥控器。

作为本技术方案的进一步改进，所述头盔主体的两侧中间均设有耳朵孔，所述头盔主体的正面下端通过针线缝合固定有限位弹性带。

作为本技术方案的进一步改进，所述主板上装载有一种多模态的沉浸式VR体验学习系统。

本实用新型的目的之二在于，提供一种多模态的沉浸式VR体验学习系统，包括软件和数据库单元、人机交互单元和主控制单元；软件和数据库单元与主控制单元通过数字信号通信连接，人机交互单元与主控制单元通过数字信号通信连接；所述软件和数据库单元用于提供和存储用于模拟现实的虚拟场景的软件和场景信息；所述人机交互单元用于管理用于与虚拟场景之间的交互过程；所述主控制单元用于控制系统运行及管理多模态场景的并行和切换过程。

作为本技术方案的进一步改进，所述软件和数据库单元包括软件装载模块、环境数据录入模块、数据分类存储模块和数据更新模块；环境数据录入模块的信号输出端与数据分类存储模块的信息输入端连接，数据更新模块的信号输出端与数据分类存储模块的信息输入端连接；所述软件装载模块用于提供装载各种虚拟现实软件的平台并管理各软件的正常运行；所述环境数据录入模块用于录入预先制作的场景数据以供用于选择；所述数据分类存储模块用于对环境数据按不同场景模态进行分类并分别保存；所述数据更新模块用于通过网络通信实时对环境数据进行更新和存储。

其中，软件包括交互软件、视觉漫游软件、建模软件等。

作为本技术方案的进一步改进，所述人机交互单元包括环境信息反馈模块、动作响应模块和画面优化模块；动作响应模块的信号输出端与画面优化模块的信号输入端连接，画面优化模块的信号输出端与环境信息反馈模块信号输入端连接；所述环境信息反馈模块用于通过各种感官通道将虚拟场景反馈给用户；所述动作响应模块用于识别用户的动作并根据动作对虚拟场景作出相应的调整；所述画面优化模块用于通过降低延迟和减轻晃动来使场景画面更清晰逼真。

其中，感官通道包括视觉通道、嗅觉通道、触觉通道等，目前视觉通道的技术较为成熟。

作为本技术方案的进一步改进，所述环境信息反馈模块包括视觉反馈模块和嗅觉反馈模块；所述视觉反馈模块用于通过视觉通道将模拟场景的环境画面反馈给用户；所述嗅觉反馈模块用于通过嗅觉通道将模拟的气味信息反馈给用户。

作为本技术方案的进一步改进，所述动作响应模块包括位置跟踪模块和语音识别模块；位置跟踪模块通过惯性传感器将用户的动作信号传导给动作响应模块，语音识别模块通过声传感器将用户的语音指令传导给动作响应模块；所述位置跟踪模块用于追踪用户运动的方向和距离并根据其动作对虚拟场景进行调整；所述语音识别模块用于收集识别用户的语音指令并根据指令作出动作。

作为本技术方案的进一步改进，所述位置跟踪模块采用n维向量欧氏距离算法，其计算公式为：

其中，d₁₂为两个n维向量a(x₁₁，x₁₂，...，x_1n)与b(x₂₁，x₂₂，...，x_2n)之间的欧式距离。

作为本技术方案的进一步改进，所述主控制单元包括模态切换模块、并行平衡模块和遥操作控制模块；模态切换模块与并行平衡模块通过数字信号通信连接；所述模态切换模块用于管理不同模态的独立运行及平滑切换过程；所述并行平衡模块用于管理多模态并列运行的过程使虚拟场景平衡稳定；所述遥操作控制模块用于通过无线通信技术操控模态切换及启停过程。

本实用新型的目的之三在于，提供一种多模态的沉浸式VR体验学习装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的多模态的沉浸式VR体验学习平台。

本实用新型的目的之四在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的多模态的沉浸式VR体验学习平台。

与现有技术相比，本实用新型的有益效果：

1.该多模态的沉浸式VR体验学习平台中通过在头盔上设置限位弹性带，使其适用于不同用户且佩戴后保持稳定，减轻因头盔松动导致的画面晃动情况，同时在头盔主体上设置可转动的视觉镜片和录音麦克风，并增加多种控制方式，提高其使用便捷性；

2.该多模态的沉浸式VR体验学习平台中通过装载有可进行多模态切换及并行的学习系统，给用户提供了更多可选性，并提高画面品质、降低延迟，给用户带来更好的使用体感，有效提高教学效果。

附图说明

图1为实施例1的整体结构示意；

图2为实施例1的整体框图；

图3为实施例1的软件和数据库单元模块框图；

图4为实施例1的人机交互单元模块框图；

图5为实施例1的环境信息反馈模块框图；

图6为实施例1的动作响应模块框图；

图7为实施例1的主控制单元模块框图；

图8为实施例1的整体关系框图；

图9为实施例1的学习平台装置结构示意图。

图中各个标号意义为：

100、VR头盔；101、头盔主体；1011、耳朵孔；1012、限位弹性带；102、视觉镜片；103、录音麦克风；

200、主板；

300、遥控器；

400、软件和数据库单元；401、软件装载模块；402、环境数据录入模块；403、数据分类存储模块；404、数据更新模块；

500、人机交互单元；501、环境信息反馈模块；5011、视觉反馈模块；5012、嗅觉反馈模块；502、动作响应模块；5021、位置跟踪模块；5022、语音识别模块；503、画面优化模块；

600、主控制单元；601、模态切换模块；602、并行平衡模块；603、遥操作控制模块。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

实施例1

如图1-9所示，本实施例提供一种多模态的沉浸式VR体验学习平台，包括VR头盔100，VR头盔100包括头盔主体101，头盔主体101的正面上端铰接有视觉镜片102，头盔主体101的正面下端一侧转动连接有录音麦克风103，头盔主体101的顶面内部固定嵌设有主板200，VR头盔100外侧还配套设有遥控器300。

本实施例中，头盔主体101的两侧中间均设有耳朵孔1011，耳朵孔1011避免将用于的耳朵压住，使其可以接收到外部的声音信号。

进一步地，头盔主体101的正面下端通过针线缝合固定有限位弹性带1012，限位弹性带1012挂在用户的下巴上，对头盔主体101起到固定作用，避免用户动作时头盔主体101发生晃动从而导致视觉镜片102带着画面晃动。

本实施例中，视觉镜片102为带有定位传感器的3D镜片，视觉镜片102与主板200连接。

进一步地，录音麦克风103与主板200连接。

此外，遥控器300采用无线遥控原理，遥控器300与主板200通过无线信号连接。

本实施例提供一种多模态的沉浸式VR体验学习系统，该系统装载在主板200上。

本实施例中，多模态的沉浸式VR体验学习系统包括软件和数据库单元400、人机交互单元500和主控制单元600；软件和数据库单元400与主控制单元600通过数字信号通信连接，人机交互单元500与主控制单元600通过数字信号通信连接；软件和数据库单元400用于提供和存储用于模拟现实的虚拟场景的软件和场景信息；人机交互单元500用于管理用于与虚拟场景之间的交互过程；主控制单元600用于控制系统运行及管理多模态场景的并行和切换过程。

本实施例中，软件和数据库单元400包括软件装载模块401、环境数据录入模块402、数据分类存储模块403和数据更新模块404；环境数据录入模块402的信号输出端与数据分类存储模块403的信息输入端连接，数据更新模块404的信号输出端与数据分类存储模块403的信息输入端连接；软件装载模块401用于提供装载各种虚拟现实软件的平台并管理各软件的正常运行；环境数据录入模块402用于录入预先制作的场景数据以供用于选择；数据分类存储模块403用于对环境数据按不同场景模态进行分类并分别保存；数据更新模块404用于通过网络通信实时对环境数据进行更新和存储。

其中，软件包括交互软件、视觉漫游软件、建模软件等。

本实施例中，人机交互单元500包括环境信息反馈模块501、动作响应模块502和画面优化模块503；动作响应模块502的信号输出端与画面优化模块503的信号输入端连接，画面优化模块503的信号输出端与环境信息反馈模块501信号输入端连接；环境信息反馈模块501用于通过各种感官通道将虚拟场景反馈给用户；动作响应模块502用于识别用户的动作并根据动作对虚拟场景作出相应的调整；画面优化模块503用于通过降低延迟和减轻晃动来使场景画面更清晰逼真。

进一步地，环境信息反馈模块501包括视觉反馈模块5011和嗅觉反馈模块5012；视觉反馈模块5011用于通过视觉通道将模拟场景的环境画面反馈给用户；嗅觉反馈模块5012用于通过嗅觉通道将模拟的气味信息反馈给用户。

其中，气味信息包括化学实验中可能出现的刺激性气味、新工科实践中可能出现的烟雾浓度等。

进一步地，动作响应模块502包括位置跟踪模块5021和语音识别模块5022；位置跟踪模块5021通过惯性传感器将用户的动作信号传导给动作响应模块502，语音识别模块5022通过声传感器将用户的语音指令传导给动作响应模块502；位置跟踪模块5021用于追踪用户运动的方向和距离并根据其动作对虚拟场景进行调整；语音识别模块5022用于收集识别用户的语音指令并根据指令作出动作。

其中，位置跟踪模块5021采用n维向量欧氏距离算法，其计算公式为：

具体地，通过位置跟踪模块5021实时追踪用户的动作、活动方向并计算运动后的坐标位置，并实时对虚拟场景进行调整，用以提高虚拟场景的逼真度。

本实施例中，主控制单元600包括模态切换模块601、并行平衡模块602和遥操作控制模块603；模态切换模块601与并行平衡模块602通过数字信号通信连接；模态切换模块601用于管理不同模态的独立运行及平滑切换过程；并行平衡模块602用于管理多模态并列运行的过程使虚拟场景平衡稳定；遥操作控制模块603用于通过无线通信技术操控模态切换及启停过程。

参阅图8，示出了本实施例所涉及的提供一种多模态的沉浸式VR体验学习装置结构示意图，该装置包括处理器、存储器和总线。

处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的多模态的沉浸式VR体验学习平台。

可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

此外，本实用新型还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的多模态的沉浸式VR体验学习平台。

可选的，本实用新型还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面多模态的沉浸式VR体验学习平台。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上显示和描述了本实用新型的基本原理、主要特征和本实用新型的优点。本行业的技术人员应该了解，本实用新型不受上述实施例的限制，上述实施例和说明书中描述的仅为本实用新型的优选例，并不用来限制本实用新型，在不脱离本实用新型精神和范围的前提下，本实用新型还会有各种变化和改进，这些变化和改进都落入要求保护的本实用新型范围内。本实用新型要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种多模态的沉浸式VR体验学习平台，其特征在于：包括VR头盔(100)，所述VR头盔(100)包括头盔主体(101)，所述头盔主体(101)的正面上端铰接有视觉镜片(102)，所述头盔主体(101)的正面下端一侧转动连接有录音麦克风(103)，所述头盔主体(101)的顶面内部固定嵌设有主板(200)，所述VR头盔(100)外侧还配套设有遥控器(300)。

2.根据权利要求1所述的多模态的沉浸式VR体验学习平台，其特征在于：所述头盔主体(101)的两侧中间均设有耳朵孔(1011)，所述头盔主体(101)的正面下端通过针线缝合固定有限位弹性带(1012)。

3.根据权利要求1所述的多模态的沉浸式VR体验学习平台，其特征在于：所述主板(200)上装载有一种多模态的沉浸式VR体验学习系统。

4.根据权利要求3所述的多模态的沉浸式VR体验学习平台，其特征在于：所述多模态的沉浸式VR体验学习系统包括人机交互单元(500)；所述人机交互单元(500)包括环境信息反馈模块(501)、动作响应模块(502)和画面优化模块(503)；动作响应模块(502)的信号输出端与画面优化模块(503)的信号输入端连接，画面优化模块(503)的信号输出端与环境信息反馈模块(501)信号输入端连接；所述环境信息反馈模块(501)用于通过各种感官通道将虚拟场景反馈给用户；所述动作响应模块(502)用于识别用户的动作并根据动作对虚拟场景作出相应的调整；所述画面优化模块(503)用于通过降低延迟和减轻晃动来使场景画面更清晰逼真。

5.根据权利要求4所述的多模态的沉浸式VR体验学习平台，其特征在于：所述环境信息反馈模块(501)包括视觉反馈模块(5011)和嗅觉反馈模块(5012)；所述视觉反馈模块(5011)用于通过视觉通道将模拟场景的环境画面反馈给用户；所述嗅觉反馈模块(5012)用于通过嗅觉通道将模拟的气味信息反馈给用户。

6.根据权利要求4所述的多模态的沉浸式VR体验学习平台，其特征在于：所述动作响应模块(502)包括位置跟踪模块(5021)和语音识别模块(5022)；位置跟踪模块(5021)通过惯性传感器将用户的动作信号传导给动作响应模块(502)，语音识别模块(5022) 通过声传感器将用户的语音指令传导给动作响应模块(502)；所述位置跟踪模块(5021)用于追踪用户运动的方向和距离并根据其动作对虚拟场景进行调整；所述语音识别模块(5022)用于收集识别用户的语音指令并根据指令作出动作。

7.根据权利要求3所述的多模态的沉浸式VR体验学习平台，其特征在于：所述多模态的沉浸式VR体验学习系统包括主控制单元(600)；所述主控制单元(600)包括模态切换模块(601)、并行平衡模块(602)和遥操作控制模块(603)；模态切换模块(601)与并行平衡模块(602)通过数字信号通信连接；所述模态切换模块(601)用于管理不同模态的独立运行及平滑切换过程；所述并行平衡模块(602)用于管理多模态并列运行的过程使虚拟场景平衡稳定；所述遥操作控制模块(603)用于通过无线通信技术操控模态切换及启停过程。