CN111640339B - 沉浸式虚拟现实装置、系统及控制方法 - Google Patents

Abstract

本发明属于虚拟现实技术领域，具体涉及一种沉浸式虚拟现实装置、系统及控制方法，旨在解决现有虚拟现实系统感知信息单一、操作不灵活、交互性差、沉浸性差的问题。本发明提供的一种沉浸式虚拟现实装置，包括虚拟运动装置、虚拟现实显示装置、虚拟感知装置以及中控系统，具体地，被测对象在虚拟运动装置上运动，基于检测到运动速度及方向，通过虚拟场景模型，在虚拟现实显示装置上实时生成虚拟现实图像；通过可视化编程可由实验者控制虚拟感知装置中的触发机构，以模拟对被测对象的视听触嗅等感知信息，本发明沉浸式虚拟现实装置提高了虚拟现实系统的真实性、沉浸性、交互性、灵活性，使被测对象能够完全沉浸在虚拟场景中进行拓展认知行为训练。

Description

沉浸式虚拟现实装置、系统及控制方法

技术领域

本发明属于虚拟现实技术领域，具体涉及一种沉浸式虚拟现实装置、系统及控制方法。

背景技术

在神经科学研究领域里，虚拟现实技术已经得到了广泛应用，这项技术的合理应用将极大推动神经科学行为学的研究，最终可以广泛的应用到整个基础科研相关的生命科学领域。虚拟现实系统不仅可以通过虚拟场景来研究动物的场景认知；也可以通过虚拟现实系统在动物中建立一系列的行为范式，进而研究抉择空间认知和学习记忆等神经科学的前沿问题。

高级认知功能是神经科学中的核心问题，其研究涉及多感觉整合和综合认知等方面。场景认知就是高级认知功能的一个典型体现。场景包括了事件发生时整个外部环境当中的各种视觉、听觉、触觉和嗅觉等信息。但是，目前国际上一些实验室只构建了虚拟视觉空间，还没有实验室能够很全面的整合多感觉信息来构建虚拟场景，为神经科学行为学研究提供平台。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术中虚拟现实系统感知信息单一、操作不灵活、交互性差、沉浸性差的问题，本发明第一方面提供了一种沉浸式虚拟现实装置，其包括虚拟运动装置，所述虚拟运动装置包括基座、第一球体、支撑组件、第一驱动机构、检测机构；

所述基座具有与所述第一球体匹配的第一容纳空间，所述第一球体设置于所述第一容纳空间内；

若干个所述支撑组件均匀设置于所述基座，所述支撑组件设置有第二容纳空间，所述第二容纳空间内设置有第二球体，若干个所述第二球体均可以与所述第一球体接触；

所述第二球体能够在所述第一驱动机构的控制下从所述第二容纳空间凸出与所述第一球体接触，或陷入所述第一容纳空间内壁与所述第一球体分离，所述第二球体与所述第一球体接触时，所述第一球体能够在外力的作用下在所述第一容纳空间内自由滚动；

所述检测机构设置于所述第一球体周向，用于检测所述第一球体滚动的方向和速度。

在一些优选技术方案中，所述基座包括若干个结构相同的弧形轨道，所述弧形轨道背向所述第一球体方向凸出，若干个所述弧形轨道沿圆周方向均匀排列形成所述第一容纳空间。

在一些优选技术方案中，所述支撑组件活动设置于所述弧形轨道。

在一些优选技术方案中，所述第一驱动机构为气动驱动机构。

在一些优选技术方案中，所述虚拟现实装置还包括中控系统、虚拟现实显示装置；所述虚拟现实显示装置和所述虚拟运动装置分别与所述中控系统通信连接；

所述虚拟现实显示装置设置于所述虚拟运动装置周向，所述中控系统能够控制所述第一驱动机构使得所述第二球体与所述第一球体接触，并基于所述检测机构的检测结果实时生成虚拟现实图像，发送至所述虚拟现实显示装置进行显示；所述检测机构的检测结果为所述第一球体滚动的方向和速度。

在一些优选技术方案中，所述虚拟现实装置还包括设置于所述虚拟运动装置周向的虚拟感知装置，所述虚拟感知装置与所述中控系统通信连接，所述虚拟感知装置包括多个触发机构，多个所述触发机构能够分别执行所述中控系统的控制指令。

在一些优选技术方案中，所述触发机构包括第一触发机构、第二触发机构、第三触发机构；

所述第一触发机构用于提供听觉引导，所述第一触发机构能够基于所述中控系统的控制指令输出声音信号，并调节所述声音信号的音量；

所述第二触发机构用于提供嗅觉引导，所述第二触发机构能够基于所述中控系统的控制指令，释放和/或收集气体；

所述第三触发机构用于提供触觉引导，其包括第二驱动机构和与所述第二驱动机构输出端连接的执行机构，所述中控系统能够通过所述第二驱动机构控制所述执行机构转动。

在一些优选技术方案中，所述触发机构还包括第四触发机构、第五触发机构，所述虚拟感知装置还包括监测机构；

所述第四触发机构能够基于所述中控系统的控制指令释放光信号和/或电信号；

所述第五触发机构能够基于所述中控系统的控制指令打开/关闭储水容器的出水口，和/或控制出风装置的通风状态；

所述监测机构用于监测所述储水容器出水口的打开次数。

在一些优选技术方案中，所述虚拟感知装置还包括设置于所述虚拟运动装置周向的导轨，所述触发机构可活动设置于所述导轨，所述触发机构能够在所述中控系统的控制下沿所述导轨延伸方向运动。

本发明第二方面提供了一种沉浸式虚拟现实系统，该虚拟现实系统包括上述技术方案中任一项所述的沉浸式虚拟现实装置，所述中控系统包括：

虚拟场景模块，所述虚拟场景模块基于所述检测机构的检测结果，依据预设的虚拟场景模型，实时生成虚拟现实图像，并发送至所述虚拟现实显示装置进行显示；

中央控制器，基于所述检测机构的检测结果，依据预设的控制模型，生成所述虚拟感知装置和/或所述虚拟运动装置的控制指令；

上位机，配置为基于可视化编程的方法，依据所输入的信息，生成控制策略并发送至所述中央控制器和/或所述虚拟场景模块。

本发明第三方面提供了基于可视化编程的沉浸式虚拟现实装置控制方法，其中，该控制方法基于可视化编程模块控制上述技术方案中任一项所述的沉浸式虚拟现实装置，所述控制方法具体包括以下步骤：

步骤S100，所述可视化编程模块接收用户在人机界面设定的指令，并将指令发送至主程序模块，其中，所述指令用于控制所述沉浸式虚拟现实装置，所述指令包括所述触发机构的控制指令；

步骤S200，所述主程序模块接收所述指令，并基于所述指令生成控制策略，将所述控制策略发送至中央控制器；

步骤S300，所述中央控制器依据所述控制策略，对所述沉浸式虚拟现实装置进行动态控制。

本发明的有益效果:

本发明通过虚拟运动装置、虚拟现实显示装置、以及虚拟感知装置结合构成虚拟现实装置，提高了虚拟现实系统的真实性、沉浸性、交互性。

本发明的中控系统，通过中央控制器完成集成控制、灵活操控虚拟场景中多模态感知的方法，实现了控制信号与多种触发机构之间的时间同步，提高了虚拟现实系统的精度。

本发明的虚拟运动装置利用第二球体悬浮装置实现了被测对象通过跑动的速度和方位与虚拟场景进行实时交互。提高了虚拟现实系统的沉浸性、交互性及稳定性。

本发明的中控系统基于Scratch可视化编辑界面，开发自定义积木，将所有指令转换成自定义积木。实现了实验者可以根据实验要求自主灵活配置，随意搭建实验程序，自主设计行为训练方案，提高了虚拟现实系统的灵活性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明一种实施例的沉浸式虚拟现实装置的整体示意图；

图2为本发明一种实施例中虚拟运动装置整体结构示意图；

图3为本发明一种实施例中支撑组件的结构示意图；

图4为本发明一种实施例中虚拟感知装置的结构示意图；

图5为本发明一种实施例的沉浸式虚拟现实系统流程图；

附图标记列表：

100-虚拟运动装置，110-基座，111-弧形轨道，120-第一球体，130-支撑组件，131-亚克力管，132-风管盖，133-夹板，134-夹钳，135-可夹紧板，136-气管接头，137-第二球体，140-检测机构；200-虚拟现实显示装置，300-虚拟感知装置，310-第二触发机构，320-第三触发机构，330-第四触发机构，350-第五触发机构。

具体实施方式

为使本发明的实施例、技术方案和优点更加明显，下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所述的实施例是本发明的一部分实施例，而不是全部实施例。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的一种沉浸式虚拟现实装置包括虚拟运动装置，所述虚拟运动装置包括基座、第一球体、支撑组件、第一驱动机构、检测机构；

所述基座具有与所述第一球体匹配的第一容纳空间，所述第一球体设置于所述第一容纳空间内；

若干个所述支撑组件均匀设置于所述基座，所述支撑组件设置有第二容纳空间，所述第二容纳空间内设置有第二球体，若干个所述第二球体均可以与所述第一球体接触；

所述第二球体能够在所述第一驱动机构的控制下从所述第二容纳空间凸出与所述第一球体接触，或陷入所述第一容纳空间内壁与所述第一球体分离，所述第二球体与所述第一球体接触时，所述第一球体能够在外力的作用下在所述第一容纳空间内自由滚动；

所述检测机构设置于所述第一球体周向，用于检测所述第一球体滚动的方向和速度。

为了更清晰地对本发明沉浸式虚拟现实装置进行说明，下面结合附图对本发明一种优选实施例进行展开详述。

作为本发明的一个优选实施例，本发明的沉浸式虚拟现实装置如图1所示，包括中控系统、虚拟运动装置100、虚拟现实显示装置200、虚拟感知装置300，虚拟运动装置100、虚拟现实显示装置200、虚拟感知装置300分别通过通信链路与中控系统连接。

参阅图2，虚拟运动装置100包括基座110、第一球体120、支撑组件130、第一驱动机构、检测机构140；其中，基座110具有与第一球体120外形匹配的第一容纳空间，第一球体120设置于该第一容纳空间内；具体地，基座110包括若干个结构相同的弧形轨道111，弧形轨道111背向第一球体方向凸出，若干个弧形轨道111沿圆周方向均匀排列形成第一容纳空间。在本发明的优选实施例中，基座还包括支架，支架包括顶环、支撑柱、底板和底座，本发明优选实施例中采用6个弧形轨道架按圆周方向均匀排列并通过焊接与顶环和底板连接构成半球形框架，如图2所示，通过支撑柱和底座固定在桌面上。需要说明的是，附图仅为本发明的一种优选实施方式，本领域技术人员可根据实际情况灵活设置基座100结构。

进一步地，支撑组件130为多个，多个支撑组件130均匀设置于基座110，进一步地，支撑组件130设置有第二容纳空间，第二容纳空间内设置有第二球体137，第一驱动机构与支撑组件130连接，并能够控制第二球体137的凸出或陷入；第一驱动机构为气动驱动机构。在本发明的优选实施例中，第一驱动机构优选为空气调节装置。作为本发明的一种优选实施例，本发明的支撑组件130如图3所示，包括亚克力管131、风管盖132、夹板133、夹钳134、可夹紧板135、气管接头136、第二球体137、气管组成。亚克力管131采用圆柱形状，一端通过风管盖132封住，保证气体的密闭性，使第二球体137悬浮起来有足够的压力。可夹紧板135采用压环的结构，既保证卡牢亚克力管131又能方便调整位置。夹钳134的内侧采用弧形的表面，利用对称设置的两个夹钳134形成一个矩形槽，矩形槽的弧面正好卡在由弧形轨道构成的半球形框架上，支撑组件130可活动地设置于弧形轨道，其可沿弧形轨道滑动，其可通过顶丝固定。夹板133是连接可夹紧板135与夹钳134的零件。第二球体137放入亚克力管131内，第一驱动机构从底部给亚克力管131充气，使第二球体137悬浮起来，当第一驱动机构为支撑组件输入气体时，第二球体137能够从第二容纳空间内凸出与第一球体120接触，同理相当于从第一容纳空间内壁即弧形轨道表面凸出与第一球体120接触，第二球体137与第一球体120接触时，第一球体120能够在外力的作用下在第一容纳空间内自由滚动。进一步地，当第一驱动机构停止输入或减少输入支撑组件内的气体时，第二球体137能够陷入第一容纳空间内壁与第一球体120分离，此时，第一球体120失去第二球体137的支撑，与第一容纳空间内壁接触，不会轻易受外力作用自由滚动。自由滚动即第一球体120在第一容纳空间内可以沿多方向自由滚动，而非指定方向。在本发明的优选实施例中，外力由被测对象施加，被测对象可以为动物、仿生机器人等小型物体。虚拟运动装置100通过空气调节装置给第二球体137的气管内充气使第二球体137悬浮起来，从而托起第一球体120。在本发明的优选实施例中，第一球体优选为泡沫等轻质材质制成的球体，第二球体为乒乓球等轻质球体，且优选地，第二球体直径小于第一球体，以便于能够在第一容纳空间内设置多个，以使得多个第二球体共同支撑第一球体。在被测对象在头部固定的条件下(被测对象在认知行为训练实验中，需要对多脑区和多细胞进行神经活动记录。比如多通道电极记录，脑电波(Electroencephalogram简称EEG)等电生理记录，双光子显微成像系统对大脑各脑区进行结构和功能(钙)成像，因此，被测对象的头部是双光子限位成像系统固定的)。被测对象身体以第一球体120作为支撑。可以在第一球体120上自由跑动，从而带动第一球体120滚动，相应地改变第一球体120的滚动速度和方向。检测机构140设置于第一球体120周向，用于检测第一球体120滚动的方向和速度，在本发明的优选实施例中，检测机构优选为激光鼠标，通过在第一球体120周向设置2个灵敏的激光鼠标，在一些优选实例中，激光鼠标为雷柏V310电竞激光鼠标；实时监测第一球体120滚动的方向和速度，即能够得到被测对象的运动轨迹。

本发明的虚拟现实显示装置200，如图1所示，虚拟现实显示装置200设置于虚拟运动装置100的周向，在本发明的优选实施例中，虚拟现实显示装置200设置于被测对象的正前方。虚拟现实显示装置200和虚拟运动装置100分别与所述中控系统通信连接。

中控系统与第一驱动机构、检测机构信号连接，中控系统能够控制第一驱动机构使得第二球体137与第一球体120接触，并基于检测机构140的检测结果，依据预设的虚拟场景模型，实时生成虚拟现实图像，发送至虚拟现实显示装置200进行显示；检测机构140的检测结果为第一球体120滚动的方向和速度。经过计算分析最终计算出被测对象在虚拟空间当中的实时位置信息及运动状态。

具体地，虚拟现实显示装置200包括虚拟场景程序和虚拟场景组件；首先依据预设的虚拟场景模型建立模型以及场景，然后根据被测对象的运动轨迹设定场景的运动轨迹，同时屏幕上产生相应的场景，同时基于检测机构的检测结果分析出的被测对象运动轨迹，依据预设的虚拟场景模型，实时更新虚拟现实显示装置上显示的图像。采用C++语言进行编写，形成通用性很强的独立文件。实验者根据训练要求可以选择不同的虚拟场景。为了全面覆盖被测对象的整个视觉范围，本发明的优选实施例中，虚拟场景组件采用曲面屏幕，图像通过背部投影到曲面屏幕的方式以呈现虚拟现实图像。虚拟运动装置100类似于被测对象的跑步机，被测对象通过跑动的速度和方位与虚拟现实显示装置200进行实时交互，这样大大提高了虚拟系统的沉浸性和交互性。

进一步参阅图4，本发明的虚拟现实装置还包括设置于虚拟运动装置100周向的虚拟感知装置300，虚拟感知装置300与中控系统通信连接，虚拟感知装置300包括多个触发机构和监测机构，监测机构以及多个触发机构能够分别执行中控系统的控制指令，每个触发机构之间互不影响具有很好的独立性。

在本实施例中，触发机构包括第一触发机构、第二触发机构310、第三触发机构320、第四触发机构330、第五触发机构340；

第一触发机构用于对被测对象提供听觉引导，听觉是感知外界信息的重要途径，被测对象通过声音信息判定物体的距离远近。因此，能够随距离变化而调节声音大小是虚拟听觉的关键。本发明的第一触发机构能够基于中控系统的控制指令输出声音信号，并调节声音信号的音量。在本发明优选实施例中第一触发机构采用4个方位进行声音刺激。将4个音箱放在不同的方位，通过中控系统中的声音控制模块控制各个音箱声音的音量强弱，根据虚拟场景中位置信息的变化，4个声道的声音大小也随之变化。此处虚拟场景中位置信息的变化，即被测对象运动轨迹导致的其位于虚拟场景中位置的变化。由于本发明第一触发机构可放置位置多样，且第一出发机构可以为多个，因此未在附图中进行示意。

第二触发机构310用于对被测对象提供嗅觉引导，要功能是让被测对象在虚拟环境里闻到逼真的气味，增加虚拟系统的沉浸性、感知性。第二触发机构能够基于中控系统的控制指令，释放和/或收集气体；本发明优选实施例利用一套多通道气体产生装置，通过控制真空泵来准确及时的产生和更新气体的气味，达到真实的虚拟嗅觉空间。中控系统的控制指令能够分别控制放气管和抽气管两个真空泵的开和关。需要说明的是，第二触发机构中的多通道气体产生装置本领域技术人员可采用公知技术进行，在此不再过多赘述。

第三触发机构320用于对被测对象提供触觉引导，被测对象在探索真实环境的过程中会运用到很多触觉的感觉信息。比如被测对象会利用胡须的触觉系统沿着墙角探索整个空间。为了增加虚拟空间的真实感，根据被测对象接近虚拟空间边界的情况，适时的给予胡须触觉的反馈，通过触碰被测对象的胡须来模拟虚拟屏障。在本发明的优选实施中，第三触发机构320包括第二驱动机构和与第二驱动机构输出端连接的执行机构，中控系统能够通过所述第二驱动机构控制所述执行机构转动；具体地，本实施例中，第二驱动机构优选为数字舵机，执行机构优选为金属杆摆臂，本发明采用数字舵机带动金属杆摆臂进行摆动去触碰被测对象的胡须来模拟虚拟屏障。金属杆摆臂固定在舵机上，舵机通过框架固定在支架上，当被测对象遇到虚拟屏障时，舵机接收到中央控制器的指令后，自动控制金属杆摆臂对被测对象的胡须给予触碰，实现虚拟嗅觉感知。需要说明的是，本领域技术人员可以随意设置第三触发机构的具体结构，本实施例中仅做参考不能作为本发明第三触发机构的限定。

第四触发机构330能够基于中控系统的控制指令释放光信号和/或电信号；在行为训练中，有时需要对特定神经环路进行光遗传刺激，本发明使用特定波长的激光器，通过双光子显微镜释放光信号对被测对象进行光遗传刺激。进一步地，电信号是一种危险信号，用来模拟遇到危险状况。在本发明的优选实施例中，采用小电阻丝缠绕在被测对象局部部位，通过产生的微小电流给被测对象产生一种危险信号。

第五触发机构340能够基于中控系统的控制指令打开/关闭储水容器的出水口，和/或控制出风装置的通风状态；为了被测对象在虚拟显示装置中进行更好的学习行为训练，本发明还设置第五触发机构340，其包括储水容器和出风装置，当被测对象在虚拟场景当中进行正确的学习行为训练之后，第五触发机构340基于中控系统的控制指令打开储水容器的出水口，以使被测对象可以获得喝水奖励。如果需要研究抉择行为的时候，则设置多个储水容器，以使被测对象将在不同的出水口之间做出选择。当被测对象在虚拟场景当中进行错误的行为后，中控系统可以发送控制指令设置出风装置的通风状态，以使被测对象得到行为反馈。本发明第五触发机构由电磁阀控制打开/关闭储水容器的出水口，和/或控制出风装置的通风状态。

在行为训练中，为了更好的对被测对象的行为进行分析，需要监测被测对象在特定时间内的喝水次数，获取设置了用于监测储水容器出水口的打开次数的监测机构。在本发明中监测机构采用触摸式电容检测探头采集储水容器出水口的打开次数，即得到被测对象的喝水次数。

进一步地，虚拟感知装置300还包括设置于虚拟运动装置100周向的导轨，触发机构可活动设置于导轨上，触发机构能够在中控系统的控制下分别沿导轨延伸方向运动。具体地，在本发明的优选实施例中，将第二触发机构310、第三触发机构320、第五触发机构340设置在导轨上，导轨设置在虚拟运动装置100与虚拟现实显示装置200之间，触发机构能够在中控系统的控制下沿导轨延伸方向运动到被测对象面前，执行相应地控制指令，也可在中控系统的控制下沿导轨延伸方向运动远离被测对象。

在本发明的一些优选实施例中，虚拟感知装置300可通过在触发机构下方设置导轨，导轨接收中控系统的控制指令沿预设方向移动，进而带动设置于其上的触发机构移动至预设位置。在本发明的另一些优选实施方式中，虚拟感知装置300也可直接在触发机构下端部设置移动装置，例如滚轮等移动机构，使得触发机构直接接收中控系统的移动控制指令，自行移动到预设位置，本领域技术人员可根据实际结构灵活设计，在此不再对虚拟感知装置300各触发机构的移动方式进行限定。

本发明另一方面提供一种沉浸式虚拟现实系统，其包括上述由虚拟运动装置、虚拟现实显示装置、虚拟感知装置以及中控系统构成的沉浸式虚拟现实装置，在本发明的沉浸式虚拟现实系统中，中控系统包括：

虚拟场景模块，虚拟场景模块基于检测机构的检测结果，即第一球体的滚动速度和方向，依据预设的虚拟场景模型，实时生成虚拟现实图像，并发送至虚拟现实显示装置进行显示；

中央控制器，基于检测机构的检测结果，依据预设的控制模型，生成虚拟感知装置和/或虚拟运动装置的控制指令；

上位机，配置为基于可视化编程的方法，依据所输入的信息，生成控制策略并发送至中央控制器和/或虚拟场景模块。

具体地，中控系统能够通过上位机的可视化编程方法，依据实验者输入的信息，生成控制策略并发送至中央控制器和/或虚拟场景模块，中央控制器可以通过控制第一驱动机构使得第二球体137与第一球体120接触，检测机构140的检测结果能够反馈给中控系统，中控系统基于检测机构140的检测结果经过计算分析最终计算出被测对象在虚拟空间当中的实时位置信息及运动状态，并依据预设的虚拟场景模型，实时生成虚拟现实图像，发送至虚拟现实显示装置200进行显示。中央控制器，还能够基于检测机构的检测结果，依据预设的控制模型，生成虚拟感知装置和/或虚拟运动装置的控制指令。例如，实验者通过上位机基于可视化编程设置第三触发机构启动，为被测对象提供触觉引导，则上位机依据实验者输入的第三触发机构启动这一信息，生成控制策略，此时的控制策略则包括第三触发机构移动至被预设位置需要的移动控制方向、移动步长等信号，以及第二驱动机构启动信号、转速信号、频率信号等控制指令，中央控制器通过HTTP通讯协议接收这一控制策略，并生成对虚拟运动装置的控制指令，控制虚拟运动装置执行命令。上述仅为本发明一种控制指令的实施例，并不作为对本发明的限定。

需要说明的是，本发明的第一驱动机构也可以直接通过电源进行连接，即第一驱动机构可以由中控系统控制，也可以不由中控系统控制，直接连接电源即可实现虚拟运动装置的打开或者关闭。即本发明的虚拟运动装置可以为一个独立的沉浸式虚拟现实运动装置，其亦可以与虚拟现实显示装置结合，构成一个独立的沉浸式虚拟现实运动视觉装置；更能够结合虚拟现实显示装置、虚拟感知装置共同构成一个运动与视听触嗅结合的沉浸式虚拟现实装置。

如图5所示，本发明的中控系统包括上位机和下位机，上位机配置为基于可视化编程的方法，依据所输入的信息，生成控制策略并发送至中央控制器和/或虚拟场景模块，用于人机交互及数据分析处理。下位机用于控制虚拟运动装置100、虚拟现实显示装置200以及虚拟感知装置300的运行。

在一些优选实施例中，上位机包括Scratch(简易图形化编程工具)、Python主程序、C++。Python与Scratch、C++之间通过HTTP协议通讯，中央控制器通过串口与计算机连接。上位机与下位机之间通过串口协议通讯。下位机包括中央控制器，其为本发明系统的核心部件，控制着虚拟感知装置300。虚拟感知装置300是被测对象行为训练与系统进行交互的单元，由多个触发机构和监测机构组成。进一步地，虚拟运动装置100和虚拟现实显示装置200组成运动交互单元。本系统各装置结构之间均采用模块化设计，把虚拟现实场景的各种信息进行模块化处理，方便根据实验需求进行延展和优化。使整个系统具有良好的灵活性和兼容性。

本发明上位机基于Scratch完成可视化编程，具体地，Scratch是面向用户交互的可视化编辑界面，利用其自带的扩展功能，可以创建不同功能的自定义积木。根据Scratch扩展沟通协议，建立一个JSON格式的描述文件来定义扩展积木，通过菜单“导入实验性HTTP扩展功能”导入Scratch。为了使实验者操作灵活，积木功能明确，将每一个指令设计成一个自定义积木。自定义积木可以定义三种不同类型积木：参数设置积木、控制指令积木、数据显示积木。本实施例定义了若干个参数设置积木、控制指令积木和显示积木，其能够依据所输入的信息，生成相应地控制策略，例如实验者自定义设置第三触发机构的触发频率为N，即自定义积木中能够生成相应地第三触发机构的控制策略，包括导轨移动步长、舵机驱动次数、舵机转速及频率等控制指令，以使得通过触发该自定义积木，即可完成对被测对象提供触觉引导。

Python主程序是本系统的关键，负责接收指令、数据处理、发送指令。它是中央控制器、Scratch、虚拟场景模块之间的桥梁。主线程是在指定端口运行的HTTP服务器，负责接收和处理所有指令。子线程负责CCD视频录制。主线程功能主要包括虚拟场景控制、声音控制、触觉控制、嗅觉控制、刺激控制、奖惩控制、导轨控制、数据处理分析。

计算机与中央控制器采用USB转9针串口线连接，下位机软件主要负责外部设备控制、导轨控制、信息采集以及与计算机通信。微处理器采用具有高性能的ARM Cortex内核嵌入式微处理器，采用标准C语言，模块化编程。下位机软件主要由主程序、初始化模块、外围控制任务模块、数据采集任务模块、导轨控制任务模块、通讯任务模块组成。

当Scratch界面上某个自定义积木触发后，发送指令给Python主程序，Python主程序处理后通过串口协议发给中央控制器，中央控制器触发外部设备执行功能。这种设计将控制指令转换成了简单明了的积木，简化了实验程序的设计，方便了使用者根据实验需求自主灵活配置，随意设计实验程序，提高了系统的灵活性。

本发明中央控制器是整个系统的核心部件，主要包括微控制器、声音控制模块、继电器模块、数据采集模块、舵机控制模块、导轨驱动模块、接口电路和中央控制器电源。其能够分别控制第一触发机构、第二触发机构、第三触发机构、第四触发机构、第五触发机构，以及监测装置，具体地，本实施例第一触发机构将声音信息分为声源方向设置和声音种类设置，声源方向有6种：右前方、左前方、前方、右后方、左后方、后方。声音种类有50种。声音控制模块采用X9241WS数字电位器控制各个通道的声音强弱。虚拟场景位置信息的变化通过HTTP协议发送给中控系统中的Python主程序，经过计算分析，Python主程序通过串口协议定时发送给中央控制器，经过声音控制模块触发外部设备音箱，实现随距离变化而调节声音大小的虚拟听觉感知。

进一步地，第二触发机构的放气管和抽气管固定在导轨的支架上，当中央控制器控制第二触发机构运行时，先控制放气管和抽气管通过电动导轨移动到被测对象的正前方，然后触发Scratch界面上放气积木，指令通过HTTP协议发送给Python主程序，计算分析后，Python主程序发送给中央控制器，经过继电器模块打开真空泵，通过气流精确控制气味分子的刺激，同时配合抽气真空泵及时清理残余气味，结束后自动退回，实现逼真的虚拟嗅觉感知。

中央控制器通过控制第三触发机构的舵机，使其转动，进而自动控制金属杆摆臂对被测对象的胡须给予触碰，实现虚拟嗅觉感知。

当中央控制器接收到指令后，通过控制继电器来控制光信号和电信号的开和关，进而控制第四触发机构执行指令。

第五触发机构的储水容器出水口和出风装置固定在导轨的支架上，当中央控制器控制第五触发机构运行时，使第五触发机构沿导轨延伸方向运行，带动储水容器出水口和出风装置移到小老鼠的正前方，然后触发相应的自定义积木，指令经过Python主程序发送给中央控制器，通过继电器来控制储水容器出水口和出风装置的电磁阀，从而实现第五触发机构执行指令。

中央控制器控制监测机构，通过定时采集检测探头数据，并将采集到的数据通过串口传递给Python主程序，经过分析计算，将喝水次数显示在Scratch界面上。

需要说明的是，本发明的上位机基于可视化编程，因此其本身配置有鼠标，而在本发明优选实施例中，检测机构采用鼠标对第一球体的滚动方向和速度进行检测，为了不干扰计算机自身的鼠标系统，本发明系统还编写了检测机构鼠标的硬件接口驱动程序，任何第三方程序可以通过动态连接库文件来实时获取检测机构鼠标信息，从而得到被测对象的运动状态，并实时显示在Scratch界面上。

本发明还提出一种基于可视化编程的沉浸式虚拟现实装置控制方法，该控制方法基于可视化编程模块控制前述的沉浸式虚拟现实装置，具体地，该控制方法具体包括以下步骤：

步骤S100，可视化编程模块接收用户在人机界面设定的指令，并将指令发送至主程序模块，其中，该指令用于控制沉浸式虚拟现实装置，指令包括触发机构的控制指令；

步骤S200，主程序模块接收所述指令，并基于指令生成控制策略，将控制策略发送至中央控制器；

步骤S300，中央控制器依据控制策略，对上述沉浸式虚拟现实装置进行动态控制。

需要说明的是，用户在人机交互界面设定的指令是动态的，该指令可以为控制指令、显示指令、参数设置指令，具体地，指令包括第一触发机构中音量的控制指令、第二触发机构中气体释放和/或收集的控制指令、第三触发机构中数字舵机的驱动指令、第四触发机构中释放光信号和/或电信号的控制指令、第五触发机构中打开/关闭储水容器的出水口，和/或控制出风装置的通风状态的控制指令等，本发明的指令并不限于上述的实施例，且指令为动态的，实验者或用户可依据本发明沉浸式虚拟现实装置的实际需求通过人机交互界面自行设定。同时可视化编程模块并不限于Scratch软件，只要能够实现实验者、用户能够通过人机交互界面进行自定义设置的软件均可。进一步地，本领域技术人员可理解的是，步骤S300中的动态控制，即为基于实验者、用户自定义设置的指令对沉浸式虚拟现实装置进行实时的、动态的控制。

本发明还提出一种基于可视化编程的沉浸式虚拟现实方法，应用于前述的沉浸式虚拟现实系统，具体方法包括如下步骤：

步骤A1：首先启动中控系统中的Python主程序，然后启动Scratch软件，打开本系统文件(导入自定义积木的文件)。

步骤A2：打开中央控制器及虚拟运动装置的电源，调节第一驱动机构，保证足量的空气使第二球体悬浮起来并能够承受第一球体和被测对象的重量。同时确保检测机构靠近第一球体，利用固定机构将被测对象头部固定放在第一球体上方。

步骤A3：根据实验要求设置参数(场景选择、声音种类及声源选择、触觉频率选择等等)。触发虚拟感应装置所需的自定义积木，控制相应地触发机构沿导轨移动到预设的准确位置。

步骤A4：在Scratch界面上拖拽需要的积木到脚本区，通过设置积木之间的等待时间来控制积木的运行时间，按实验流程设计实验程序。

步骤A5：点击开始按钮，运行程序，记录分析数据。

上述本申请实施例中的技术方案中，至少具有如下的技术效果及优点：

本发明通过虚拟运动装置、虚拟现实显示装置、以及虚拟感知装置结合构成虚拟现实装置，提高了虚拟现实系统的真实性、沉浸性、交互性。

本发明的中控系统，通过中央控制器完成集成控制、灵活操控虚拟场景中多模态感知的方法，实现了控制信号与多种触发机构之间的时间同步，提高了虚拟现实系统的精度。

本发明的虚拟运动装置利用第二球体悬浮装置实现了被测对象通过跑动的速度和方位与虚拟场景进行实时交互。提高了虚拟现实系统的沉浸性、交互性及稳定性。

本发明的中控系统基于Scratch可视化编辑界面，开发自定义积木，将所有指令转换成自定义积木。实现了实验者可以根据实验要求自主灵活配置，随意搭建实验程序，自主设计行为训练方案，提高了虚拟现实系统的灵活性。

需要说明的是，在本发明的描述中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种沉浸式虚拟现实装置，其特征在于，该虚拟现实装置包括虚拟运动装置、虚拟现实显示装置和中控系统，所述虚拟现实显示装置和所述虚拟运动装置分别与所述中控系统通信连接；

所述虚拟运动装置包括基座、第一球体、支撑组件、第一驱动机构和检测机构；所述中控系统能够控制所述第一驱动机构；

所述基座具有与所述第一球体匹配的第一容纳空间，所述第一球体设置于所述第一容纳空间内；

若干个所述支撑组件均匀设置于所述基座，所述基座包括若干个结构相同的弧形轨道，所述支撑组件活动设置于所述弧形轨道，所述弧形轨道背向所述第一球体方向凸出，若干个所述弧形轨道沿圆周方向均匀排列形成所述第一容纳空间；所述支撑组件设置有第二容纳空间，所述第二容纳空间内设置有第二球体，若干个所述第二球体均可以与所述第一球体接触；

所述第一驱动机构为气动驱动机构，能够为所述支撑组件输入气体，所述第二球体能够在所述第一驱动机构的控制下从所述第二容纳空间凸出与所述第一球体接触，或陷入所述第二容纳空间内壁与所述第一球体分离，所述第二球体与所述第一球体接触时，所述第一球体能够在外力的作用下在所述第一容纳空间内自由滚动；

所述检测机构设置于所述第一球体周向，用于检测所述第一球体滚动的方向和速度；

所述虚拟现实显示装置设置于所述虚拟运动装置周向，所述中控系统能够控制所述第一驱动机构使得所述第二球体与所述第一球体接触，并基于所述检测机构的检测结果实时生成虚拟现实图像，发送至所述虚拟现实显示装置进行显示；所述检测机构的检测结果为所述第一球体滚动的方向和速度。

2.根据权利要求1所述的沉浸式虚拟现实装置，其特征在于，所述虚拟现实装置还包括设置于所述虚拟运动装置周向的虚拟感知装置，所述虚拟感知装置与所述中控系统通信连接，所述虚拟感知装置包括多个触发机构，多个所述触发机构能够分别执行所述中控系统的控制指令。

3.根据权利要求2所述的沉浸式虚拟现实装置，其特征在于，

所述触发机构包括第一触发机构、第二触发机构、第三触发机构；

所述第一触发机构用于提供听觉引导，所述第一触发机构能够基于所述中控系统的控制指令输出声音信号，并调节所述声音信号的音量；

所述第二触发机构用于提供嗅觉引导，所述第二触发机构能够基于所述中控系统的控制指令，释放和/或收集气体；

所述第三触发机构用于提供触觉引导，其包括第二驱动机构和与所述第二驱动机构输出端连接的执行机构，所述中控系统能够通过所述第二驱动机构控制所述执行机构转动。

4.根据权利要求2所述的沉浸式虚拟现实装置，其特征在于，所述触发机构还包括第四触发机构、第五触发机构，所述虚拟感知装置还包括监测机构；

所述第四触发机构能够基于所述中控系统的控制指令释放光信号和/或电信号；

所述第五触发机构能够基于所述中控系统的控制指令打开/关闭储水容器的出水口，和/或控制出风装置的通风状态；

所述监测机构用于监测所述储水容器出水口的打开次数。

5.根据权利要求2、3、4中任一项所述的沉浸式虚拟现实装置，其特征在于，所述虚拟感知装置还包括设置于所述虚拟运动装置周向的导轨，所述触发机构可活动设置于所述导轨，所述触发机构能够在所述中控系统的控制下沿所述导轨延伸方向运动。

6.一种沉浸式虚拟现实系统，其特征在于，该虚拟现实系统包括权利要求2、3、4、5中任一项所述的沉浸式虚拟现实装置，所述中控系统包括：

虚拟场景模块，所述虚拟场景模块基于所述检测机构的检测结果，依据预设的虚拟场景模型，实时生成虚拟现实图像，并发送至所述虚拟现实显示装置进行显示；

中央控制器，基于所述检测机构的检测结果，依据预设的控制模型，生成所述虚拟感知装置和/或所述虚拟运动装置的控制指令；

上位机，配置为基于可视化编程的方法，依据所输入的信息，生成控制策略并发送至所述中央控制器和/或所述虚拟场景模块。

7.一种基于可视化编程的沉浸式虚拟现实装置控制方法，其特征在于，该控制方法基于可视化编程模块控制权利要求2、3、4、5中任一项所述的沉浸式虚拟现实装置，所述控制方法具体包括以下步骤：

步骤S100，所述可视化编程模块接收用户在人机界面设定的指令，并将指令发送至主程序模块，其中，所述指令用于控制所述沉浸式虚拟现实装置，所述指令包括所述触发机构的控制指令；

步骤S200，所述主程序模块接收所述指令，并基于所述指令生成控制策略，将所述控制策略发送至中央控制器；

步骤S300，所述中央控制器依据所述控制策略，对所述沉浸式虚拟现实装置进行动态控制。

Images