CN116778783A - 一种基于虚拟现实的船舶控制教学系统 - Google Patents

Abstract

本发明的目的在于提供一种基于虚拟现实的船舶控制教学系统，基于C/S架构进行开发，C为client客户端，S为Server服务端；所述客户端包括虚幻引擎和3D建模；所述虚幻引擎为实时3D创作平台，建立虚拟模型以及虚拟海洋环境，虚幻引擎包括粒子系统和摄像机系统；所述3D建模为3D建模软件，对模型进行材质贴图；所述3D建模软件建立船舶以及鳍、舵、螺旋桨各个重要部位的3D模型，并贴上材质贴图；所述3D模型导入虚幻引擎后，进行虚拟实验演示功能设计及系统交互功能设计。本发明降低船舶控制实验教学成本，解决高校无法开展高成本的实验教学问题，可完成对线下教学的替代。提供真实的沉浸式环境以及模型，能够让学员更好的理解实验内容，提高教学质量。

Description

一种基于虚拟现实的船舶控制教学系统

技术领域

本发明属于虚拟现实技术领域，具体涉及一种基于虚拟现实的船舶控制教学系统。

背景技术

传统的船舶控制实践教学模式，由于船海实验设备庞大且运行成本高，师生不可能在真实的海洋环境中教学，导致教学效果不理想。新的实践教学方式应运而生，目前现有的技术中有基于2D数字仿真的实验教学，但由于沉浸和交互的限制，不适用于工程等应用学科。近年来，虚拟现实(VirtualReality，简称VR)技术高速发展，开发工具体系日益完善，对虚拟现实的研究不断增加。课程内容通过各种多媒体元素在沉浸式3D虚拟环境中生动展示。本系统将虚拟现实技术应用到实验教学中，系统由软件和硬件共同组成。利用三维建模软件构建虚拟场景和船舶模型，利用虚拟现实引擎软件实现交互功能的设计，硬件不仅有传统的鼠标键盘，还有虚拟现实设备，包括VR液晶显示屏、VR头戴式显示器，手柄设备和激光定位器。

发明内容

本发明的目的在于提供一种基于虚拟现实的船舶控制教学系统。

本发明的目的通过如下技术方案来实现：

一种基于虚拟现实的船舶控制教学系统，基于C/S架构进行开发，C为client客户端，S为Server服务端；所述客户端包括虚幻引擎和3D建模；所述虚幻引擎为实时3D创作平台，建立虚拟模型以及虚拟海洋环境，虚幻引擎包括粒子系统和摄像机系统；所述3D建模为3D建模软件，对模型进行材质贴图；

所述3D建模软件建立船舶以及鳍、舵、螺旋浆各个重要部位的3D模型，并贴上材质贴图；所述3D模型导入虚幻引擎后，进行虚拟实验演示功能设计及系统交互功能设计。

进一步地，所述虚幻引擎的粒子系统模拟船舶运动的效果，利用动态材质技术模拟海浪效果；所述虚幻引擎对客户端开发以及虚拟仿真环境，实现虚拟场景和三维场景下的交互逻辑编写和虚拟船舶模型以及海洋环境模型的构建，使虚拟场景优化。

进一步地，所述虚拟实验演示功能，首先对实验过程和原理进行分析，由此构建虚拟实验场景并建立数学模型，利用Matlab和C++进行算法实现，作为系统后台仿真程序，使系统具备机理仿真能力，从而让用户能够利用该系统对实验参数进行定量分析；通过蓝图通信技术建立实验参数与三维模型之间的联系，由实验参数驱动三维模型，让虚拟实验现象能够根据实验参数的变化而更新。

进一步地，所述蓝图通信技术让实验参数与船舶模型、粒子系统和材质系统建立联系，使船舶运动幅度，以及运动过程中海面波浪效果能够根据实验参数的变化而更新。

进一步地，所述系统交互功能为系统开发虚拟三维场景下的基础交互功能和与Web服务器相结合的在线交互功能。

进一步地，所述虚幻引擎是的摄像机系统先分析摄像机工作原理，进行场景漫游功能的开发，用户通过鼠标、键盘控制虚拟场景中的视角；基于射线碰撞检测算法实现用户与虚拟设备间的交互；对3DUI技术原理进行分析，由此构建虚拟屏幕进行信息展示；通过与Web服务端技术的结合开发登录验证功能、在线实验反馈功能，拓展系统的交互性。

进一步地，借助虚幻引擎中的VaRest插件通过Http协议实现与Web服务端之间的数据通信；Web服务端基于前端VUE以及Express框架进行开发，实现数学模型脚本的调用和与数据库的交互；

所述VaRest，是一种能够实现客户端与服务端之间的数据请求响应的虚幻引擎插件，提供Get、Post、Put、Delect四种请求方式；

所述VUE，是一个用于创建用户界面的开源JavaScript框架，也是一个创建单页应用的Web应用框架；实验完成后的数据，以及实验反馈和更新通过浏览器显示，方便查阅；

所述Express，是一个快速、开放、极简的Web开发框架；用来创建服务器，达到与客户端通信的目的。

本发明的有益效果在于：

1.本发明降低船舶控制实验教学成本，解决高校无法开展高成本的实验教学问题，可完成对线下教学的替代。提供真实的沉浸式环境以及模型，能够让学员更好的理解实验内容，提高教学质量。

2.能够比较清晰的表现船舶控制的操作规程，贴近真实体验实际操作的感受。熟悉传播控制的实验流程，掌握操作要点，加强学生对理论知识的理解，能够有效的帮助船舶控制工程等相关专业学员在短时间内了解船舶控制的特性，提升理论知识水平，培养适合社会需要的复合型人才。

3.在系统后台实现相关算法的调用，使系统具备机理仿真能力，学生可对实验参数进行定量分析。利用蓝图通信实现实验参数对虚拟模型的驱动，使实验现象能够根据实验参数的变化实时更新，进一步提高虚拟演示的真实性。

4.Web服务器技术通常和Web前端、Android、iOS技术进行结合，从而形成完整的软件应用系统。本发明则将Web服务端技术与3D虚幻引擎进行结合，不仅提高了虚拟实验场景的还原效果，还丰富了系统交互功能，最终形成了可发布于网络的在线虚拟实验系统。

附图说明

图1为本发明系统结构示意图；

图2为本发明软件结构示意图；

图3为本发明VR硬件设备图；

图4为本发明客户端与web服务端通信示意图；

图5为本发明操作方法流程图；

图6为本发明实际操作示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

如附图1所示，本发明提供了一种基于虚拟现实技术的船舶控制教学系统，其中硬件部分以及软件部分，软件部分又包括3D建模技术，3D交互技术，其中3D交互技术是基于虚幻引擎来实现的，虚幻引擎是一款可用来开发3D交互的软件，已被应用到各个领域。硬件部分包括输入输出设备，输入设备不仅有传统的鼠标键盘，还有虚拟现实设备，包括VR头戴式显示器，手柄设备和激光定位器，输出设备有头戴式显示器，VR液晶显示屏。然后虚幻引擎利用VaRest插件与Web服务器通信,达到数据传输的目的。

如附图2所示，本发明的软件结构示意流程图，分为下面四个步骤：

步骤1：在3D建模软件建模，包括整个船舶和重要部件，并调整模型的贴图材质以及光亮，建设成与真实世界完全一样的缩比模型。

步骤2：将建模文件和相关资源从Blender导出到虚幻引擎。本文利用Datasmith工具将船舶模型导入虚幻引擎。首先需要在Blender软件中将模型文件格式转换为UDATASMITH格式，然后在虚幻引擎中启用DatasmithFBXImporter插件和DatasmithImporter插件即可将UDATASMITH格式文件导入至虚幻引擎。

步骤3：在虚幻中通过蓝图实现演示部分，包括材质、光照和相机。基于虚幻引擎材质系统为模型制作材质。虚幻材质系统底层是由着色器实现，着色器通常包括顶点着色器、片段着色器和几何着色器，是用于三维图形渲染的技术。利用HLSL语言进行着色器代码的编写，不同的着色器负责图形渲染管线的不同部分。在虚幻中通过不同的蓝图脚本节点形成的网络来进行材质的制作，每一个节点都封装了HLSL代码。

步骤4：在虚幻引擎中通过蓝图实现交互部分，包括3DUI交互设计，机器模型上的虚拟实践操作蓝图程序设计。用户根据语音提示手持设备控制虚拟用户完成船舶控制操作步骤，后续虚拟场景会根据计算结果将实验现象以三维形式反馈用户。实验过程中用户还可与三维场景中的物体进行交互，通过鼠标点击不同设备即可展示出对应设备的详情介绍UI。

如附图3所示，本发明系统的硬件部分设备图，包括VR液晶显示器1、VR头戴式显示器2、手柄设备3和激光定位器4；VR液晶显示器1用于显示三维全景的船舶模型和虚拟海洋场景，并同步显示虚拟用户模型的移动画面以及执行动作画面；VR头戴显示器2用于让用户完全沉浸在三维全景的船舶的船舱内场景；手柄设备3用于让用户控制虚拟用户的移动与动作执行；激光定位器4用于用户的定位与动作捕捉。

其中，VR液晶显示器1可为屏幕投影电视，启用于显示，头戴式显示器2提供虚拟世界的模拟环境，手柄设备3提供虚拟世界中进行移动及交互的功能，激光定位器4发射激光，将头戴式显示器2和手柄设备3的位置信息传输到虚幻引擎中，从而进行定位。手柄设备3中，手柄通过激光定位器将三维数据发送至虚幻引擎中，当用户扣动扳机式，手柄中的传感器将按键信息传送给虚幻引擎。

如附图4所示，本发明客户端与web服务端通信示意图，当用户进入系统后，客户端程序运行的起始为登录场景关卡，用户根据UI界面提示填写用户名和密码,若用户名和密码数据和后台数据库中的数据完成匹配则跳转至系统主关卡。进入主关卡后，用户还可在实验完成后，写下实验心得以及实验反馈，心得与反馈可通过与服务器通信将数据上传至浏览器，以上便是虚拟现实交互实验系统客户端完整运行流程。

在虚幻引擎中需要利用UMG系统控件蓝图实现UI设计和交互逻辑编写，虚幻引擎客户端与服务器的HTTP交互是基于VaRest插件实现的，VaRest插件能够实现客户端与服务端之间的数据请求响应，提供Get、Post、Put、Delect四种请求方式，VaRest封装了很多数据通信的底层功能能够在蓝图里进行调用，能够实现客户端请求以及json数据创建与解析。在虚幻引擎的程序中可实现指令下发，事件参数为路由和Json数据，设定请求方式为POST，并以Json格式进行数据传输。

如附图5所示，本发明操作方法流程图，操作步骤如下：

步骤1：打开虚幻引擎构建的三维虚拟场景图；

步骤2：佩戴手柄设备和头戴式显示器进入船舶控制的三维环境船舱内部；

步骤3：根据语音提示手持设备控制虚拟用户完成船舶控制操作步骤；

步骤4：点击手柄设备系统按钮，通过UI实现参数输入以及船舶控制；

步骤5：完成船舶参数输入可在船舱内部观看实验曲线；

步骤6：退出三维船舶控制船舱。

如附图6所示，学生在实际操作。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于虚拟现实的船舶控制教学系统，其特征在于：基于C/S架构进行开发，C为client客户端，S为Server服务端；所述客户端包括虚幻引擎和3D建模；所述虚幻引擎为实时3D创作平台，建立虚拟模型以及虚拟海洋环境，虚幻引擎包括粒子系统和摄像机系统；所述3D建模为3D建模软件，对模型进行材质贴图；

所述3D建模软件建立船舶以及鳍、舵、螺旋浆各个重要部位的3D模型，并贴上材质贴图；所述3D模型导入虚幻引擎后，进行虚拟实验演示功能设计及系统交互功能设计。

2.根据权利要求1所述的一种基于虚拟现实的船舶控制教学系统，其特征在于：所述虚幻引擎的粒子系统模拟船舶运动的效果，利用动态材质技术模拟海浪效果；所述虚幻引擎对客户端开发以及虚拟仿真环境，实现虚拟场景和三维场景下的交互逻辑编写和虚拟船舶模型以及海洋环境模型的构建，使虚拟场景优化。

3.根据权利要求1所述的一种基于虚拟现实的船舶控制教学系统，其特征在于：所述虚拟实验演示功能，首先对实验过程和原理进行分析，由此构建虚拟实验场景并建立数学模型，利用Matlab和C++进行算法实现，作为系统后台仿真程序，使系统具备机理仿真能力，从而让用户能够利用该系统对实验参数进行定量分析；通过蓝图通信技术建立实验参数与三维模型之间的联系，由实验参数驱动三维模型，让虚拟实验现象能够根据实验参数的变化而更新。

4.根据权利要求4所述的一种基于虚拟现实的船舶控制教学系统，其特征在于：所述蓝图通信技术让实验参数与船舶模型、粒子系统和材质系统建立联系，使船舶运动幅度，以及运动过程中海面波浪效果能够根据实验参数的变化而更新。

5.根据权利要求1所述的一种基于虚拟现实的船舶控制教学系统，其特征在于：所述系统交互功能为系统开发虚拟三维场景下的基础交互功能和与Web服务器相结合的在线交互功能。

6.根据权利要求1所述的一种基于虚拟现实的船舶控制教学系统，其特征在于：所述虚幻引擎是的摄像机系统先分析摄像机工作原理，进行场景漫游功能的开发，用户通过鼠标、键盘控制虚拟场景中的视角；基于射线碰撞检测算法实现用户与虚拟设备间的交互；对3DUI技术原理进行分析，由此构建虚拟屏幕进行信息展示；通过与Web服务端技术的结合开发登录验证功能、在线实验反馈功能，拓展系统的交互性。

7.根据权利要求1所述的一种基于虚拟现实的船舶控制教学系统，其特征在于：借助虚幻引擎中的VaRest插件通过Http协议实现与Web服务端之间的数据通信；Web服务端基于前端VUE以及Express框架进行开发，实现数学模型脚本的调用和与数据库的交互；

所述VaRest，是一种能够实现客户端与服务端之间的数据请求响应的虚幻引擎插件，提供Get、Post、Put、Delect四种请求方式；

所述VUE，是一个用于创建用户界面的开源JavaScript框架，也是一个创建单页应用的Web应用框架；实验完成后的数据，以及实验反馈和更新通过浏览器显示，方便查阅；

所述Express，是一个快速、开放、极简的Web开发框架；用来创建服务器，达到与客户端通信的目的。