CN108399276A - 基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装方法 - Google Patents

Abstract

本发明涉及一种基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装方法，系统包括HoloLens眼镜、命令识别模块、三维设备模型库、UI控制模块、功能模块、逻辑控制模块和增强显示模块，功能模块包含实操训练模块，拆装时，主机模型加载在当前真实环境中合适位置，操作者通过HoloLens眼镜显示虚实结合的主机拆装操作。本发明可随时随地训练，不受时间、空间限制，节省了更换设备的成本。

Description

基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装 方法

技术领域

本发明属于增强现实应用技术领域，具体涉及一种基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装方法。

背景技术

随着国际航运业的发展，船舶科技水平的提高，各个国家都十分关注海上安全问题，国际海事组织(IMO)通过调研和分析，大约80％的海难事故都是人为因素引起的。IMO通过了STCW公约，即海员培训、发证和值班标准国际公约(International Convention onStandards of Training，Certification and Watchkeeping for Seafarers)，明确规定轮机员必须通过轮机员适任证书考试，其中船舶主机拆装是轮机员适任证书考试评估中非常重要的一个科目。船舶主机庞大且复杂，很多学员由于缺少足够的练习而导致这一科目不及格。在真实的船舶主机拆装练习中，船舶主机体积庞大，实验室空间有限，只能摆放一定数目的主机设备。这样，由于空间和时间的局限性，学员只能在课堂上参与拆装练习，课下基本没有拆装练习的机会。

现有的虚拟船舶主机拆装系统的运行终端有PC版，操作者通过鼠标与键盘进行交互操作，真实感不强，与现实世界的交互很少，而且需要复杂的操作设备，冗杂的数据线，长时间佩戴还会有眩晕感，也不能随时随地进行拆装练习，教学效果不佳。

增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

发明内容

本发明的目的是提供一种基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装方法，本发明可随时随地训练，不受时间、空间限制，节省了更换设备的成本。

本发明所采用的技术方案是：

一种基于HoloLens虚实结合技术的船舶主机拆装系统，包括，

HoloLens眼镜：用于显示船舶主机中设备和工具的三维模型、识别场景信息、采集操作者的位置信息；

命令识别模块：用于采集并识别操作者的指令，进行虚拟操作；

三维设备模型库：用于存储船舶主机中所有设备和工具的三维模型、所有设备中零件与零件之间的装配关系；

UI控制模块：用于根据命令识别模块采集的指令加载对应的设备、工具与功能模块；

功能模块：包含实操训练模块，实操训练模块用于根据UI控制模块加载不同场景的设备，然后按照船舶主机拆装逻辑调用逻辑控制脚本中的拆装逻辑函数，并根据HoloLens采集的场景信息以及操作者的位置信息、命令识别模块采集的指令，对调用的拆装逻辑函数进行逻辑判断；

逻辑控制模块：用于存储主机的拆装逻辑函数；

增强显示模块：用于虚拟模型在真实物理环境中的显示。

作为上述方案进一步地改进，三维设备模型库还存储有船舶主机中所有设备的拆装动画演示，功能模块还包含拆装演示模块，拆装演示模块用于根据UI控制模块加载的设备调用三维设备模型库中存储的对应设备的拆装动画演示。

作为上述方案进一步地改进，基于HoloLens虚实结合技术的船舶主机拆装系统还包括设备数据文档，设备数据文档用于存储主机各部件说明的文本信息，功能模块还包含结构说明模块，结构说明模块用于根据UI控制模块加载的设备调用设备数据文档中存储的部件说明的文本信息。

作为上述方案进一步地改进，逻辑控制模块中拆装逻辑函数包括命令识别模块输入检测函数、拆装范围检测函数、拆装工具检测函数、当前零件约束函数、拆装动作函数、更新零件约束状态函数。

更进一步地，拆装逻辑的交互设计上，操作脚本数据根据《中华人民共和国海船船员适任考试和发证规则》和船舶主机设备规程手册针对船舶主机设备的各个零件做特性归纳整理，分别建立不同的零件类型操作类，得到零件拆装的对象库，工具根据船舶主机设备规程手册标准，每个拆装工具根据工具特性建立拆装工具类，得到拆装工具对象库。

作为上述方案进一步地改进，HoloLens眼镜有眼镜凝视交互、手势交互和声音交互三种交互方式，眼镜凝视交互是在眼睛凝视设备状态下显示设备的详细信息，手势交互是命令识别模块采集并识别操作者的手势命令，声音交互是命令识别模块采集并识别操作者的语音命令。

一种基于HoloLens虚实结合技术的船舶主机拆装系统的拆装方法，包括步骤：

S1、操作者佩戴HoloLens，通过命令识别模块采集并识别操作者的指令，进行虚拟操作，UI控制模块加载船舶主机设备、工具与功能模块，三维设备模型库向增强显示模块发送对应主机、工具的三维模型，功能模块包含实操训练模块；

S2、实操训练模块调用逻辑控制模块中的命令识别模块输入检测函数，并根据命令识别模块采集的指令判断操作者是否已选择工具，是则执行步骤S3，否则循环本步骤；

S3、实操训练模块调用逻辑控制模块中的拆装范围检测函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断零件是否在拆装范围内，是则执行S4，否则循环本步骤；

S4、实操训练模块调用逻辑控制模块中的拆装工具检测函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断拆装工具是否正确，是则执行S5，否则循环本步骤；

S5、实操训练模块调用逻辑控制模块中的当前零件约束函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断是否满足当前零件约束状态，是则执行S6，否则循环本步骤；

S6、实操训练模块调用逻辑控制模块中的拆装动作函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断操作者是否执行零件对应动作，是则执行S7，否则循环本步骤；

S7、实操训练模块调用逻辑控制模块中的更新零件约束状态，并更新零件当前状态为解除约束，设备一个零件拆装完成；

S8、重复S4-S7，直至对应主机的所有零件拆装完成。

作为上述方案进一步地改进，功能模块还包含结构说明模块，S1和S2之间还包括结构说明步骤：结构说明模块根据UI控制模块加载的主机部件调用所述部件数据文档中存储的设备说明的文本信息，并发送至HoloLens增强显示模块显示。

作为上述方案进一步地改进，功能模块还包含拆装演示模块，S1和S2之间还包括拆装演示步骤：拆装演示模块根据UI控制模块加载的设备调用三维设备模型库中存储的设备模型拆装动画演示，并发送至HoloLens增强显示模块显示。

本发明的有益效果是：

操作者佩戴HoloLens眼镜然后发出指令就可以实现对船舶主机的虚拟拆装，可随时随地训练，不受时间、空间限制，还大大节省了更换设备的成本；增强现实的优势就是在真实环境的基础上添加虚拟模型，用户可以看到真实环境又可以同时对虚拟船舶主机进行拆装操作，真正做到“虚实结合”；在拆装过程中，操作者将区别于鼠标、键盘和手柄等，依靠外界输入设备进行指令输入的操作方式，而是通过眼镜凝视、手势和声音就可以实现拆装系统所有的交互，这种交互体验感与真实环境中操作过程更为接近，而且不需要过多的设备和连接线，更简便。

附图说明

图1是本发明实施例中基于HoloLens虚实结合技术的船舶主机拆装系统的结构框架图。

图2是本发明实施例中基于HoloLens虚实结合技术的船舶主机拆装系统的功能框架图。

图3是本发明实施例中拆装逻辑关系流程图。

图4是本发明实施例中本发明方法操作的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，一种基于HoloLens虚实结合技术的船舶主机拆装系统，包括HoloLens眼镜、命令识别模块、三维设备模型库、UI控制模块、实操训练模块、逻辑控制模块、设备数据文档、增强显示模块、结构说明模块和拆装演示模块，其中，实操训练模块、结构说明模块和拆装演示模块均是功能模块。

HoloLens眼镜：用于显示船舶主机中设备、工具的三维模型，识别场景信息，采集操作者的位置信息。HoloLens眼镜都内置了动态定位模块，即6轴追踪，可以实现X、Y、Z轴及前后侧面追踪，通过对头部跟踪能模拟出人类自然的视角转换效果。

命令识别模块：用于采集并识别操作者的指令，进行虚拟交互操作。

目前提供的HoloLens眼镜主要有眼镜凝视交互、手势交互和声音交互三种交互方式，根据增强现实设备提供的交互方式和设备操作过程中的操作人员感官体验在系统操作过程的不同事件下触发不同的交互方式——手势交互主要是命令识别模块的采集用户的手势操作命令，这样高度特化的手势操作的优势是能够非常自如地在实践操作场景中操作；眼镜凝视交互是在眼睛凝视设备状态下显示设备的详细信息；语音交互是在设备展示过程中使用，操作者在增强现实的世界中不会理会视觉中心的指示文字，而是环顾在现实世界加载的虚拟主机模型四周，一些图形上的指示会干扰到他们在观看虚拟模型的视角，所以使用语音进行交互的方案更优，和他们正在观察的周遭世界互不干扰，操作者和增强现实世界进行语音交互，会更加自然，而且它是无处不在无时不有的，操作者不需要移动头部去寻找它们，在任何方位任何角落都能和他们交流。

三维设备模型库：用于存储船舶主机中每一个设备的三维模型、每一种工具的三维模型、每一个设备中零件与零件之间的装配关系、每一个设备的拆装动画演示。

三维设备模型库中包括船舶主机设备、虚拟工具搭建。设备数据来源为某海运集团总公司所属的8000TUE集装箱船“某某号”内的主机设备数据。

将得到的数据在三维建模软件中按照真实尺寸进行设备三维建模，并对每个设备零件的节点根据零件的特点进行统一规则命名。对设备赋予材质贴图，营造真实感尽可能高的主机模型。主机三维模型在导入虚拟现实开发引擎后得到船舶主机拆装系统的设备库，供操作者在运行本系统时对设备进行不同操作。

UI控制模块：用于根据命令识别模块采集的控制指令加载对应的模型、工具与功能模块。

实操训练模块：为功能模块，用于根据UI控制模块加载的设备按照船舶主机拆装逻辑调用逻辑控制脚本中的拆装逻辑函数，并根据HoloLens眼镜采集的操作者位置信息、命令识别模块采集的手势控制指令，对调用的拆装逻辑函数进行逻辑判断。

逻辑控制模块：用于存储每一个设备的拆装逻辑函数。

拆装逻辑函数包括命令识别模块输入检测函数、拆装范围检测函数、拆装工具检测函数、当前零件约束函数、拆装动作函数、更新零件约束状态函数。拆装逻辑的交互设计上，操作脚本数据根据《中华人民共和国海船船员适任考试和发证规则》和船舶主机设备规程手册针对船舶主机设备的各个零件做特性归纳整理，分别建立不同的零件类型操作类，得到零件拆装的对象库。拆装过程中使用的拆装工具根据船舶主机设备规程手册标准，每个拆装工具根据工具特性建立拆装工具类，得到拆装工具对象库，拆装逻辑流程图如图2所示。

以喷油器顶部调紧螺杆零件为例，喷油器顶部调紧螺杆零件类继承自回转连接件零件类，回转连接件零件类继承自零件基类。顶部调紧螺杆零件根据自身特性重写父类的属性和方法，零件名属性为“喷油器顶部调紧螺杆”，零件开始位置为该零件在场景三维空间中未拆装位置，结束位置为拆装过程结束时的对应三维空间位置，拆装工具属性为扳手，约束零件初始状态下为空值，约束状态在初始状态下为false，表示当前状态下可以对该零件进行拆卸。并根据自身位置的约束关系，重写父类的拆装范围检测方法、拆装工具检测方法、获得当前零件约束状态方法、拆装动作方法和更新当前约束状态的方法。

工具库中以扳手工具为例，扳手类继承自工具基类。扳手工具根据自身特性重写父类属性。零件名为“扳手”，拆装工具属性为扳手，根据自身特性添加操作直径范围属性为S10-S24。

公共方法类重定义了名为拆装工具的枚举类型的变量，零件库中的零件类和工具库中的工具类可以通过这个枚举类型的变量定义自身的拆装工具属性。公共方法类还提供得到当前拆装工具的方法，当操作者使用命令识别模块选择工具触发事件后，将当前选择的工具信息传递到公共方法类中储存起来，零件类中的拆装工具检测方法通过访问公共方法类来获得当前选择的工具，并做出检测。

设备数据文档：用于设备说明的存储文本信息。

拆装演示模块：为功能模块，用于根据UI控制模块加载的设备调用三维设备模型库中存储的主机设备模型拆装动画演示。

结构说明模块：为功能模块，用于根据UI控制模块加载的设备调用设备数据文档中存储的设备说明的文本信息。

本发明系统的功能包括：

(1)操作说明——操作者选择该功能后，系统会根据操作者选择的主机各设备模型加载与之对应的设备操作说明书和拆装规程，将模型摆放在空间合适位置，操作者可以通过走动360°观察该设备的组成结构。

(2)拆装演示——操作者选择该功能后，系统会根据操作者之前选择的设备模型动态演示该设备的拆装规范操作，并对各个步骤所选用的拆装工具和使用技巧进行详细的说明，操作者也能在该功能下选择具体的某一步骤进行单独演示。

(3)实操训练——操作者选择该功能后，操作者对已选择的设备进行自主拆装训练，操作者可以根据每个拆装步骤的具体要求选择相应的工具进行操作。实操训练下，若操作者选择错误的工具进行拆装，默认下会有提示，提醒操作者选择正确的工具进行操作。

一种基于HoloLens虚实结合技术的船舶主机拆装系统的拆装方法，其具体流程包括(如图4所示)：

1)对HoloLens眼镜及命令识别模块设备进行正确配置，保证设备运行状态正常，接入运行主机正常，然后进入到本发明系统。

2)操作者通过命令识别模块操作HoloLens眼镜中显示的主机三维模型，由UI控制模块对命令识别模块的信息进行采集，并根据采集到的信息加载对应的主机设备、工具与功能模块，三维设备模型库向HoloLens眼镜发送设备、工具的三维模型。本实例通过以主机喷油器设备为例说明拆装过程。选择指定设备后可以选择进入指定的功能模块，即可以选择进入结构说明模块，执行步骤3)；可以选择进入增强显示模块，执行步骤4)；可以选择进入实操训练模块，执行步骤5)。

3)操作者通过HoloLens眼镜观察已选择的设备三维模型，显示的设备数据文档。结构说明模块根据UI控制模块加载的设备调用设备数据文档中存储的设备说明的文本信息，并发送至HoloLens眼镜显示。

4)操作者通过HoloLens眼镜观察已选择设备三维模型，播放拆装动画演示。增强显示模块据UI控制模块加载的设备调用三维设备模型库中存储的设备模型拆装动画演示，并发送至HoloLens眼镜显示

5)操作者进入指定设备的实操训练模块，在真实环境添加三维模型，命令识别模块的输入进行检测。

6)命令识别模块检测用户输入指令，实操训练模块调用逻辑控制模块挂载到喷油器设备每个零件上的逻辑控制脚本中的命令识别模块输入检测函数，并根据命令识别模块采集的控制指令判断操作者是否已选择工具，如果使用命令识别模块选择了工具，则执行步骤7)，否则循环本步骤，重新检测用户输入指令。

7)UI控制模块根据用户输入指令触发零件检测事件，实操训练模块调用逻辑控制模块挂载到喷油器设备每个零件上的逻辑控制脚本中的命令识别模块输入检测函数。

8)实操训练模块根据UI控制模块传输的HoloLens眼镜采集的位置信息和命令识别模块采集的指令判断零件是否在拆装范围内，若在拆装范围内，执行步骤9)，否则回到步骤7)。

9)实操训练模块调用逻辑控制模块中挂载到喷油器设备每个零件上的逻辑控制脚本中的拆装工具检测函数，并根据HoloLens眼镜采集的位置信息和命令识别模块采集的指令判断拆装工具是否正确，是则执行步骤10)，否则回到步骤7)。

10)实操训练模块调用逻辑控制模块中挂载到喷油器设备每个零件上的逻辑控制脚本中的当前零件约束函数，并根据HoloLens眼镜采集的位置信息和命令识别模块采集的指令判断当前零件的约束状态，若满足当前零件的约束状态，执行步骤11)，否则回到步骤7)。

11)实操训练模块调用逻辑控制模块中挂载到喷油器设备每个零件上的逻辑控制脚本中的拆装动作函数，并根据HoloLens眼镜采集的位置信息和命令识别模块采集的指令，执行零件的拆装动作。

12)实操训练模块调用逻辑控制模块挂载到喷油器设备每个零件上的逻辑控制脚本中的更新零件约束状态，并更新零件当前状态为解除约束，喷油器设备一个零件拆装完成。

13)返回步骤6)，进行下一个零件的拆装过程。

14)重复步骤6)～13)，直至喷油器设备中所有零件拆装完成。

系统测试与完善部分：

在完成系统开发后，邀请船员适任考试的监考人员和参考受训人员对该系统进行体验和评估，并记录反馈数据，并对系统进行细节上的完善，力求该系统更加接近真实操作环境。

操作者佩戴HoloLens眼镜然后发出指令就可以实现对船舶主机的虚拟拆装，可随时随地训练，不受时间、空间限制，还大大节省了更换设备的成本；增强现实的优势就是在真实环境的基础上添加虚拟模型，用户可以看到真实环境又可以同时对虚拟船舶主机进行拆装操作，真正做到“虚实结合”；在拆装过程中，操作者将区别于鼠标、键盘和手柄等，依靠外界输入设备进行指令输入的操作方式，而是通过眼镜凝视、手势和声音就可以实现拆装系统所有的交互，这种交互体验感与真实环境中操作过程更为接近，而且不需要过多的设备和连接线，更简便。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于HoloLens虚实结合技术的船舶主机拆装系统，其特征在于：包括，

HoloLens眼镜：用于显示船舶主机中设备和工具的三维模型、识别场景信息、采集操作者的位置信息；

命令识别模块：用于采集并识别操作者的指令，进行虚拟操作；

三维设备模型库：用于存储船舶主机中所有设备和工具的三维模型、所有设备中零件与零件之间的装配关系；

UI控制模块：用于根据命令识别模块采集的指令加载对应的设备、工具与功能模块；

功能模块：包含实操训练模块，实操训练模块用于根据UI控制模块加载不同场景的设备，然后按照船舶主机拆装逻辑调用逻辑控制脚本中的拆装逻辑函数，并根据HoloLens采集的场景信息以及操作者的位置信息、命令识别模块采集的指令，对调用的拆装逻辑函数进行逻辑判断；

逻辑控制模块：用于存储主机的拆装逻辑函数；

增强显示模块：用于虚拟模型在真实物理环境中的显示。

2.如权利要求1所述的基于HoloLens虚实结合技术的船舶主机拆装系统，其特征在于：三维设备模型库还存储有船舶主机中所有设备的拆装动画演示，功能模块还包含拆装演示模块，拆装演示模块用于根据UI控制模块加载的设备调用三维设备模型库中存储的对应设备的拆装动画演示。

3.如权利要求1所述的基于HoloLens虚实结合技术的船舶主机拆装系统，其特征在于：基于HoloLens虚实结合技术的船舶主机拆装系统还包括设备数据文档，设备数据文档用于存储主机各部件说明的文本信息，功能模块还包含结构说明模块，结构说明模块用于根据UI控制模块加载的设备调用设备数据文档中存储的部件说明的文本信息。

4.如权利要求1所述的基于HoloLens虚实结合技术的船舶主机拆装系统，其特征在于：逻辑控制模块中拆装逻辑函数包括命令识别模块输入检测函数、拆装范围检测函数、拆装工具检测函数、当前零件约束函数、拆装动作函数、更新零件约束状态函数。

5.如权利要求4所述的基于HoloLens虚实结合技术的船舶主机拆装系统，其特征在于：拆装逻辑的交互设计上，操作脚本数据根据《中华人民共和国海船船员适任考试和发证规则》和船舶主机设备规程手册针对船舶主机设备的各个零件做特性归纳整理，分别建立不同的零件类型操作类，得到零件拆装的对象库，工具根据船舶主机设备规程手册标准，每个拆装工具根据工具特性建立拆装工具类，得到拆装工具对象库。

6.如权利要求1所述的基于HoloLens虚实结合技术的船舶主机拆装系统，其特征在于：HoloLens眼镜有眼镜凝视交互、手势交互和声音交互三种交互方式，眼镜凝视交互是在眼睛凝视设备状态下显示设备的详细信息，手势交互是命令识别模块采集并识别操作者的手势命令，声音交互是命令识别模块采集并识别操作者的语音命令。

7.一种基于HoloLens虚实结合技术的船舶主机拆装系统的拆装方法，其特征在于：包括步骤，

S1、操作者佩戴HoloLens，通过命令识别模块采集并识别操作者的指令，进行虚拟操作，UI控制模块加载船舶主机设备、工具与功能模块，三维设备模型库向增强显示模块发送对应主机、工具的三维模型，功能模块包含实操训练模块；

S2、实操训练模块调用逻辑控制模块中的命令识别模块输入检测函数，并根据命令识别模块采集的指令判断操作者是否已选择工具，是则执行步骤S3，否则循环本步骤；

S3、实操训练模块调用逻辑控制模块中的拆装范围检测函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断零件是否在拆装范围内，是则执行S4，否则循环本步骤；

S4、实操训练模块调用逻辑控制模块中的拆装工具检测函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断拆装工具是否正确，是则执行S5，否则循环本步骤；

S5、实操训练模块调用逻辑控制模块中的当前零件约束函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断是否满足当前零件约束状态，是则执行S6，否则循环本步骤；

S6、实操训练模块调用逻辑控制模块中的拆装动作函数，并根据HoloLens定位的位置信息和命令识别模块采集的指令判断操作者是否执行零件对应动作，是则执行S7，否则循环本步骤；

S7、实操训练模块调用逻辑控制模块中的更新零件约束状态，并更新零件当前状态为解除约束，设备一个零件拆装完成；

S8、重复S4-S7，直至对应主机的所有零件拆装完成。

8.如权利要求7所述的基于HoloLens虚实结合技术的船舶主机拆装系统的拆装方法，其特征在于：功能模块还包含结构说明模块，S1和S2之间还包括结构说明步骤：结构说明模块根据UI控制模块加载的主机部件调用所述部件数据文档中存储的设备说明的文本信息，并发送至HoloLens增强显示模块显示。

9.如权利要求7所述的基于HoloLens虚实结合技术的船舶主机拆装系统的拆装方法，其特征在于：功能模块还包含拆装演示模块，S1和S2之间还包括拆装演示步骤：拆装演示模块根据UI控制模块加载的设备调用三维设备模型库中存储的设备模型拆装动画演示，并发送至HoloLens增强显示模块显示。