CN107168531B - 基于头戴显示器的船舶辅机拆装系统及拆装方法 - Google Patents

Abstract

本发明公开了一种基于头戴显示器的船舶辅机拆装系统及拆装方法，该系统本包括头戴显示器、控制器、三维设备模型库、UI控制模块、实操训练模块、逻辑控制模块、设备数据文档、拆装演示模块、结构说明模块。本发明根据船舶辅机设备操作手册和现场操作规程进行设备之间的逻辑脚本的编写，使真实的操作过程在场景中重现。同时通过虚拟现实硬件设备——头戴显示器及手持控制器提供的接口进行通讯并得到反馈，使操作者通过头戴式显示器全景体验拆装场景，拆装的交互过程将由操作者通过手持控制器来实现，控制器上多种类型按键能给操作者提供丰富的交互体验，操作者的肢体动作会被头戴显示器的定位系统实时捕捉，获得沉浸体验感。

Description

基于头戴显示器的船舶辅机拆装系统及拆装方法

技术领域

本发明涉及虚拟现实应用技术领域，具体地指一种基于头戴显示器的船舶辅机拆装系统及拆装方法。

背景技术

船舶辅机拆装，是作为《中华人民共和国海船船员适任考试和发证规则》中的海船船员必考科目，也是轮机工程专业学生的必修课程。船舶辅机拆装需要专门的设备进行教学，这些设备结构复杂，造价昂贵，在学员数量较大的情况下，单台设备在同一时间只能由极少部分学员进行操作，教学效率低。

虚拟现实是利用计算机模拟一个三维空间的虚拟环境，并通过输出设备提供包括听觉，视觉，触觉等多感官信号，让操作者获得“身临其境”的体验感。现有的利用虚拟现实技术开发的船舶辅机拆装系统的运行终端为平面显示器，操作者通过鼠标与键盘进行交互操作，无法提供给操作者一个沉浸式的交互场景，真实感不强，教学效果差。

发明内容

本发明的目的是针对基于平面显示器的船舶辅机拆装系统真实感不强，教学效果差的问题，提出一种基于头戴显示器的船舶辅机拆装系统及拆装方法，将虚拟现实技术(Virtual Reality，简称VR)用于船舶辅机拆装培训教学中，以期提升学员的动手能力，改善教学效果。

为实现上述目的，本发明所设计的基于头戴显示器的船舶辅机拆装系统，其特殊之处在于，所述船舶辅机拆装系统包括：

头戴显示器：用于显示船舶辅机中设备、工具的三维模型，采集操作者的位置信息；

控制器：用于采集操作者的控制指令；

三维设备模型库：用于存储船舶辅机中每一个设备的三维模型、每一种工具的三维模型、每一个设备中零件与零件之间的装配关系、每一个设备的拆装动画演示；

UI控制模块：用于根据所述控制器采集的控制指令加载对应的设备、工具与功能模块；

实操训练模块：为功能模块，用于根据所述UI控制模块加载的设备按照船舶辅机拆装逻辑调用逻辑控制脚本)中的拆装逻辑函数，并根据头戴显示器采集的操作者位置信息、控制器采集的控制指令，对所述调用的拆装逻辑函数进行逻辑判断；

逻辑控制模块：用于存储每一个设备的拆装逻辑函数；

设备数据文档：用于设备说明的存储文本信息。

进一步地，所述船舶辅机拆装系统的功能模块还包括拆装演示模块，用于根据所述UI控制模块加载的设备调用所述三维设备模型库中存储的设备模型拆装动画演示。

更进一步地，所述船舶辅机拆装系统的功能模块还包括结构说明模块，用于根据所述UI控制模块加载的设备调用所述设备数据文档中存储的设备说明的文本信息。

更进一步地，所述逻辑控制模块中拆装逻辑函数包括控制器输入检测函数、拆装范围检测函数、拆装工具检测函数、当前零件约束函数、拆装动作函数、更新零件约束状态函数。

一种利用上述基于头戴显示器的船舶辅机拆装系统的拆装方法，其特殊之处在于，包括如下步骤：

1)操作者通过头戴显示器和控制器发出控制指令，UI控制模块加载对应的设备、工具与功能模块，三维设备模型库向头戴显示器发送对应设备、工具的三维模型，所述功能模块包括实操训练模块、拆装演示模块和结构说明模块；

2)所述实操训练模块调用逻辑控制模块中的控制器输入检测函数，并根据控制器采集的控制指令判断操作者是否已选择工具，是则执行步骤3)，否则循环本步骤；

3)所述实操训练模块调用逻辑控制模块中的拆装范围检测函数，并根据头戴显示器采集的位置信息和控制器采集的控制指令判断零件是否在拆装范围内，是则执行步骤4)，否则循环本步骤；

4)所述实操训练模块调用逻辑控制模块中的拆装工具检测函数，并根据头戴显示器采集的位置信息和控制器采集的控制指令判断拆装工具是否正确，是则执行步骤5)，否则循环本步骤；

5)所述实操训练模块调用逻辑控制模块中的当前零件约束函数，并根据头戴显示器(1)采集的位置信息和控制器(2)采集的控制指令判断是否满足当前零件约束状态，是则执行步骤6)，否则循环本步骤；

6)所述实操训练模块调用逻辑控制模块中的拆装动作函数，并根据头戴显示器采集的位置信息和控制器采集的控制指令判断操作者是否执行零件对应动作，是则执行步骤7)，否则循环本步骤；

7)所述实操训练模块调用逻辑控制模块中的更新零件约束状态，并更新零件当前状态为解除约束，设备一个零件拆装完成；

8)重复步骤4)～7)，直至所述对应设备的所有零件拆装完成。

优选地，所述步骤1)与步骤2)之间还包括结构说明步骤：所述结构说明模块根据所述UI控制模块加载的设备调用所述设备数据文档中存储的设备说明的文本信息，并发送至头戴显示器显示。

优选地，所述步骤1)与步骤2)之间还包括拆装演示步骤：所述拆装演示模块根据所述UI控制模块加载的设备调用所述三维设备模型库中存储的设备模型拆装动画演示，并发送至头戴显示器显示。

本发明通过主流的建模软件按照对应比例的尺寸进行设备三维模型建立，并在主流的虚拟现实引擎中通过管线渲染技术，光照特效技术进行虚拟场景的搭建，力求表现效果接近真实环境。

本发明根据《中华人民共和国海船船员适任考试和发证规则》和船舶辅机设备规程手册作需求分析，确定需要呈现的场景和具体的设备模型。

在场景搭建完成后，根据相应的设备操作手册和现场操作规程进行设备之间的逻辑脚本的编写，使真实的操作过程在场景中重现。同时通过虚拟现实硬件设备——头戴显示器及附属设备(手持控制器)提供的接口进行通讯并得到反馈，完成系统的交互设计阶段，最后将系统发布到相应的平台进行测试，完善整个系统。

本发明具有如下优点：

(1)使操作者通过头戴式显示器可以全景体验拆装场景，获得沉浸体验感。

(2)拆装的交互过程将由操作者通过手持控制器来实现，控制器上多种类型按键能给操作者提供丰富的交互体验，操作者的肢体动作会被头戴显示器的定位系统实时捕捉。

3)在拆装过程中，操作者将区别于鼠标键盘的操作方式，而是全身动作都能与该拆装系统进行交互，这种交互体验感与真实环境中操作过程更为接近。在船员培训及相关训练教学中起到更好的效果。

附图说明

图1为本发明系统的结构框图。

图2为本发明方法的流程图。

其中：头戴显示器1，控制器2，三维设备模型库3，UI控制模块4，实操训练模块5，逻辑控制模块6，设备数据文档7，拆装演示模块8，结构说明模块9。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述。

如图1所示，本发明提出一种基于头戴显示器的船舶辅机拆装系统，包括头戴显示器1、控制器2、三维设备模型库3、UI控制模块4、实操训练模块5、逻辑控制模块6、设备数据文档7、拆装演示模块8、结构说明模块9。

头戴显示器1：用于显示船舶辅机中设备、工具的三维模型，采集操作者的位置信息。

控制器2：用于采集操作者的控制指令。

根据目前的虚拟现实设备提供的头戴显示器1和手柄控制器2的的配置，主要为三种交互方式：头部跟踪，触感交互和声音交互。虚拟现实设备的头戴显示器1都内置了头部运动追踪功能，即6轴追踪，可以实现X、Y、Z轴及前后侧面追踪，通过对头部跟踪能模拟出人类自然的视角转换效果。触觉交互主要是控制器2的按钮和震动反馈，大多通过虚拟现实手柄实现，这样高度特化的交互设备的优势能够非常自如地在实践操作场景中使用。操作者在虚拟现实的世界中不会理会视觉中心的指示文字，而是环顾四周不断发现和探索。一些图形上的指示会干扰到他们在虚拟现实世界中的沉浸感，所以使用语音进行交互的方案更优，和他们正在观察的周遭世界互不干扰。操作者和虚拟现实世界进行语音交互，会更加自然，而且它是无处不在无时不有的，操作者不需要移动头部和寻找它们，在任何方位任何角落都能和他们交流。根据虚拟现实设备提供的交互方式和设备操作过程中的操作人员感官体验在系统操作过程的不同事件下触发不同的交互方式，如在头部凝视设备状态下显示设备的详细信息，在设备的展示过程中使用语音进行交互，而在实际拆装时，进行震动反馈交互模拟力反馈过程。

三维设备模型库3：用于存储船舶辅机中每一个设备的三维模型、每一种工具的三维模型、每一个设备中零件与零件之间的装配关系、每一个设备的拆装动画演示。

三维设备模型库3中包括船舶辅机设备、工具的虚拟场景搭建，具体包括：船用泵、船舶管路与附件、分油机、船舶造水装置、空气压缩机、船舶辅助锅炉、船舶制冷与空气调节、锚机、起货机、船舶舵机及船舶轴系等。设备数据来源为某海运集团总公司所属的5668TEU集装箱船“某某号”内的辅机设备数据。

将得到的数据在三维建模软件中按照真实尺寸进行设备三维建模，并对每个设备零件的节点根据零件的特点进行统一规则命名。对设备赋予材质贴图，营造场景的真实感。设备三维模型在导入虚拟现实开发引擎后得到船舶辅机拆装系统的设备库，供操作者在运行本系统时对设备进行不同操作。

UI控制模块4：用于根据控制器2采集的控制指令加载对应的设备、工具与功能模块。实操训练模块5：为功能模块，用于根据UI控制模块4加载的设备按照船舶辅机拆装逻辑调用逻辑控制脚本6中的拆装逻辑函数，并根据头戴显示器1采集的操作者位置信息、控制器2采集的控制指令，对调用的拆装逻辑函数进行逻辑判断。

逻辑控制模块6：用于存储每一个设备的拆装逻辑函数。拆装逻辑函数包括控制器输入检测函数、拆装范围检测函数、拆装工具检测函数、当前零件约束函数、拆装动作函数、更新零件约束状态函数。拆装逻辑的交互设计上，操作脚本数据根据《中华人民共和国海船船员适任考试和发证规则》和船舶辅机设备规程手册针对船用泵、船舶管路与附件、分油机、船舶造水装置、空气压缩机、船舶辅助锅炉、船舶制冷与空气调节、锚机、起货机、船舶舵机及船舶轴系等船舶辅机设备的各个零件做特性归纳整理，分别建立不同的零件类型操作类，得到零件拆装的对象库。拆装过程中使用的拆装工具根据船舶辅机设备规程手册标准，每个拆装工具根据工具特性建立拆装工具类，得到拆装工具对象库。

以分油机的顶部端盖螺母零件为例，分油机顶部端盖螺母零件类继承自回转连接件零件类，回转连接件零件类继承自零件基类。顶部端盖螺母零件根据自身特性重写父类的属性和方法，对应零件编号属性为P1003，零件名属性为“分油机顶部端盖螺母”，零件开始位置为该零件在场景三维空间中未拆装位置，结束位置为拆装过程结束时的对应三维空间位置，拆装工具属性为扳手，约束零件初始状态下为空值，约束状态在初始状态下为false,表示当前状态下可以对该零件进行拆卸，尺寸属性为S17。并根据自身位置的约束关系，重写父类的拆装范围检测方法、拆装工具检测方法、获得当前零件约束状态方法、拆装动作方法和更新当前约束状态的方法。

工具库中以扳手工具为例，扳手类继承自工具基类。扳手工具根据自身特性重写父类属性。零件编号属性为T1001，零件名为“扳手”，拆装工具属性为扳手，根据自身特性添加操作直径范围属性为S10-S24。

公共方法类重定义了名为拆装工具的枚举类型的变量，零件库中的零件类和工具库中的工具类可以通过这个枚举类型的变量定义自身的拆装工具属性。公共方法类还提供得到当前拆装工具的方法，当操作者使用控制器2选择工具触发控制器按钮事件后，将当前选择的工具信息传递到公共方法类中储存起来，零件类中的拆装工具检测方法通过访问公共方法类来获得当前选择的工具，并做出检测。

设备数据文档7：用于设备说明的存储文本信息。

拆装演示模块8：为功能模块，用于根据UI控制模块4加载的设备调用三维设备模型库3中存储的设备模型拆装动画演示。

结构说明模块9：为功能模块，用于根据UI控制模块4加载的设备调用设备数据文档7中存储的设备说明的文本信息。

本发明系统的功能包括：

(1)操作说明。操作者在操作模块下选择该功能后，系统会根据操作者选择的设备模型加载与之对应的设备操作说明书和拆装规程，并显示该设备的3D透视图，操作者可以通过控制器旋转模型360°观察该设备的组成结构。

(2)拆装演示。在该功能下，系统会根据操作者之前选择的设备模型动态演示该设备的拆装规范操作，并对各个步骤所选用的拆装工具和使用技巧进行详细的说明。操作者也能在该功能下选择具体的某一步骤进行单独演示。

(3)实操训练。该功能供操作者对已选择的设备进行自主拆装训练。操作者可以根据每个拆装步骤的具体要求选择相应的工具进行操作。实操训练下，若操作者选择错误的工具进行拆装，默认下会有提示，提醒操作者选择正确的工具进行操作。

本发明提出的一种利用上述装置的基于头戴显示器的船舶辅机拆装方法，如图2所述，其具体步骤包括：

1)对头戴显示器1及控制器2设备进行正确配置，保证设备运行状态正常，接入运行主机正常，然后进入到本发明系统。

2)操作者通过控制器2观察头戴显示器1中显示的三维图像，并向控制器2发出控制指令进行设备选择，由UI控制模块4对控制器2的按键信息进行采集，并根据采集到的信息加载对应的设备、工具与功能模块，三维设备模型库3向头戴显示器1发送对应设备、工具的三维模型。本实施例通过以分油机设备为例说明拆装过程。选择指定设备后可以选择进入指定的功能模块，即可以选择进入结构说明模块9，执行步骤3)；可以选择进入拆装演示模块8，执行步骤4)；可以选择进入实操训练模块5，执行步骤5)。

3)操作者通过头戴显示器1观察已选择的设备三维模型，显示的设备数据文档。结构说明模块9根据UI控制模块4加载的设备调用设备数据文档7中存储的设备说明的文本信息，并发送至头戴显示器1显示。

4)操作者通过头戴显示器观察已选择设备三维模型，播放拆装动画演示。拆装演示模块8根据UI控制模块4加载的设备调用三维设备模型库3中存储的设备模型拆装动画演示，并发送至头戴显示器1显示

5)操作者进入指定设备的实操训练模块5，初始化实操训练场景，三维模型，对控制器2的输入进行检测。

6)控制器2检测用户输入指令，实操训练模块5调用逻辑控制模块6挂载到分油机设备每个零件上的逻辑控制脚本中的控制器输入检测函数，并根据控制器2采集的控制指令判断操作者是否已选择工具，如果使用控制器2选择了工具，则执行步骤7)，否则循环本步骤，重新检测用户输入指令。

7)UI控制模块4根据用户输入指令触发零件检测事件，实操训练模块5调用逻辑控制模块6挂载到分油机设备每个零件上的逻辑控制脚本中的控制器输入检测函数。

8)实操训练模块5根据UI控制模块4传输的头戴显示器1采集的位置信息和控制器2采集的控制指令判断零件是否在拆装范围内，若在拆装范围内，执行步骤9)，否则回到步骤7)。

9)实操训练模块5调用逻辑控制模块6中挂载到分油机设备每个零件上的逻辑控制脚本中的拆装工具检测函数，拆装工具检测函数会查看自身拆装工具属性(该属性由公共方法的拆装工具枚举类型定义)和调用共公共方法类中的得到拆装工具方法查看拆装工具自身的属性(该属性由公共方法的拆装工具枚举类型定义)，并根据头戴显示器1采集的位置信息和控制器2采集的控制指令判断拆装工具是否正确，是则执行步骤10)，否则回到步骤7)。

10)实操训练模块5调用逻辑控制模块6中挂载到分油机设备每个零件上的逻辑控制脚本中的当前零件约束函数，并根据头戴显示器1采集的位置信息和控制器2采集的控制指令判断当前零件的约束状态，若满足当前零件的约束状态，执行步骤11)，否则回到步骤7)。

11)实操训练模块5调用逻辑控制模块6中挂载到分油机设备每个零件上的逻辑控制脚本中的拆装动作函数，并根据头戴显示器1采集的位置信息和控制器2采集的控制指令，执行零件的拆装动作。

12)实操训练模块5调用逻辑控制模块6挂载到分油机设备每个零件上的逻辑控制脚本中的更新零件约束状态，并更新零件当前状态为解除约束，分油机设备一个零件拆装完成。

13)返回步骤6)，进行下一个零件的拆装过程。

14)重复步骤6)～13)，直至分油机设备中所有零件拆装完成。

系统测试与完善部分：

在完成系统开发后，邀请船员适任考试的监考人员和参考受训人员对该系统进行体验和评估，并记录反馈数据，并对系统进行细节上的完善，力求该系统更加接近真实操作环境。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于头戴显示器的船舶辅机拆装系统的拆装方法，所述船舶辅机拆装系统包括

头戴显示器(1)：用于显示船舶辅机中设备、工具的三维模型，采集操作者的位置信息；

控制器(2)：用于采集操作者的控制指令；

三维设备模型库(3)：用于存储船舶辅机中每一个设备的三维模型、每一种工具的三维模型、每一个设备中零件与零件之间的装配关系、每一个设备的拆装动画演示；

UI控制模块(4)：用于根据所述控制器(2)采集的控制指令加载对应的设备、工具与功能模块；

实操训练模块(5)：为功能模块，用于根据所述UI控制模块(4)加载的设备按照船舶辅机拆装逻辑调用逻辑控制模块(6)中的拆装逻辑函数，并根据头戴显示器(1)采集的操作者位置信息、控制器(2)采集的控制指令，对所述调用的拆装逻辑函数进行逻辑判断；

逻辑控制模块(6)：用于存储每一个设备的拆装逻辑函数；

设备数据文档(7)：用于设备说明的存储文本信息；

其特征在于：所述方法包括如下步骤：

1)操作者通过头戴显示器(1)和控制器(2)发出控制指令，UI控制模块(4)加载对应的设备、工具与功能模块，三维设备模型库(3)向头戴显示器(1)发送对应设备、工具的三维模型，所述功能模块包括实操训练模块(5)、拆装演示模块(8)和结构说明模块(9)；

2)所述实操训练模块(5)调用逻辑控制模块(6)中的控制器输入检测函数，并根据控制器(2)采集的控制指令判断操作者是否已选择工具，是则执行步骤3)，否则循环本步骤；

3)所述实操训练模块(5)调用逻辑控制模块(6)中的拆装范围检测函数，并根据头戴显示器(1)采集的位置信息和控制器(2)采集的控制指令判断零件是否在拆装范围内，是则执行步骤4)，否则循环本步骤；

4)所述实操训练模块(5)调用逻辑控制模块(6)中的拆装工具检测函数，并根据头戴显示器(1)采集的位置信息和控制器(2)采集的控制指令判断拆装工具是否正确，是则执行步骤5)，否则循环本步骤；

5)所述实操训练模块(5)调用逻辑控制模块(6)中的当前零件约束函数，并根据头戴显示器(1)采集的位置信息和控制器(2)采集的控制指令判断是否满足当前零件约束状态，是则执行步骤6)，否则循环本步骤；

6)所述实操训练模块(5)调用逻辑控制模块(6)中的拆装动作函数，并根据头戴显示器(1)采集的位置信息和控制器(2)采集的控制指令判断操作者是否执行零件对应动作，是则执行步骤7)，否则循环本步骤；

7)所述实操训练模块(5)调用逻辑控制模块(6)中的更新零件约束状态函数，并更新零件当前状态为解除约束，设备一个零件拆装完成；

8)重复步骤4)～7)，直至所述对应设备的所有零件拆装完成。

2.根据权利要求1所述的基于头戴显示器的船舶辅机拆装系统的拆装方法，其特征在于：所述步骤1)与步骤2)之间还包括结构说明步骤：所述结构说明模块(9)根据所述UI控制模块(4)加载的设备调用所述设备数据文档(7)中存储的设备说明的文本信息，并发送至头戴显示器(1)显示。

3.根据权利要求1所述的基于头戴显示器的船舶辅机拆装系统的拆装方法，其特征在于：所述步骤1)与步骤2)之间还包括拆装演示步骤：所述拆装演示模块(8)根据所述UI控制模块(4)加载的设备调用所述三维设备模型库(3)中存储的设备模型拆装动画演示，并发送至头戴显示器(1)显示。

4.根据权利要求1所述的基于头戴显示器的船舶辅机拆装系统的拆装方法，其特征在于：所述船舶辅机拆装系统的功能模块中的拆装演示模块(8)，用于根据所述UI控制模块(4)加载的设备调用所述三维设备模型库(3)中存储的设备模型拆装动画演示。

5.根据权利要求1所述的基于头戴显示器的船舶辅机拆装系统的拆装方法，其特征在于：所述船舶辅机拆装系统的功能模块中的结构说明模块(9)，用于根据所述UI控制模块(4)加载的设备调用所述设备数据文档(7)中存储的设备说明的文本信息。