CN114550525B - 一种基于混合现实技术的机车部件检修实训系统 - Google Patents

Abstract

本发明涉及一种基于混合现实技术的机车部件检修实训系统，属于机车模拟实训技术领域。该系统包括机车部件和头戴式的MR终端，MR终端通过设置的通信模块与机车部件连接，通信模块用于获取机车部件的器件状态信息，将机车部件的器件状态信息发送至MR终端；MR终端根据机车部件的器件状态信息，生成三维虚拟模型；识别机车部件的位置，定位用户与机车部件的运动和空间姿态；利用混合现实技术将机车部件与虚拟场景叠加，得到虚实叠加画面；根据用户的交互信息和机车部件的器件状态信息的变化情况，更新虚实叠加画面，实现对用户的机车部件操控及检修培训。本发明实现了虚拟信息和真实环境的实时匹配，具有很好的用户体验和更强的沉浸感，教学效果好。

Description

一种基于混合现实技术的机车部件检修实训系统

技术领域

本发明属于机车检修模拟实训技术领域，具体涉及一种基于混合现实技术的机车部件检修实训系统。

背景技术

目前，机车部件的检修教学方式主要以理论学习和实车演练为主，其中，理论学习过于抽象，无法提供学员的检修动手能力；而实车演练实训仅能使学员掌握基本部件认知和作业方法，对电路和控制系统缺乏可视化理解。通过开发一种基于混合现实技术的机车部件检修实训系统，解决当前存在的理论讲解难、实车演练操作难度大、风险高、实践考核评价难等教学难点，达到情景化课程教学的目的。

发明内容

本发明的目的是提供一种基于混合现实技术的机车部件检修实训系统，用于解决现有技术的机车部件实训系统的教学效果差、教学难的问题。

基于上述目的，一种基于混合现实技术的机车部件检修实训系统的技术方案如下：

包括机车部件和头戴式的MR终端，其中，MR终端设置有通信接收模块，机车部件设置有通信发送模块，通信接收模块与通信发送模块连接，用于获取机车部件上手动操作器件的状态信息，并将手动操作器件的状态信息发送至所述的MR终端，使MR终端中机车部件的手动操作器件状态信息与现实中机车部件的手动操作器件状态信息同步；所述MR终端用于根据所述机车部件的器件状态信息，生成三维虚拟模型；识别机车部件的位置，定位用户与机车部件的运动和空间姿态；利用混合现实技术，将真实的机车部件与三维虚拟模型叠加，得到虚实叠加画面；并根据用户的交互信息和机车部件的器件状态信息的变化情况，更新虚实叠加画面，从而实现对用户的机车部件操控培训。

上述技术方案的有益效果是：

本发明的机车部件检修实训系统，利用现有的MR终端与真实的机车部件进行数据同步，采用虚实结合的画面展示方式，对学员进行机车部件操控培训，学员可以对真实的机车部件进行操作，操作后产生的相关器件状态信息的变化，能够在更新的虚拟叠加画面中进行体现，具有很好的用户体验和更强的沉浸感，更具教学和实践意义。相对现有技术中只通过对机车部件进行一系列操作的培训方式而言，本发明的实训系统实现了虚拟信息和真实环境的实时匹配，达到了提高教学效果的目的。

进一步的，所述三维虚拟模型显示的虚拟场景包括机车部件与相应三维虚拟模型之间的气路或电路流通画面，当机车部件的手动操作器件状态信息改变时，所述气路或电路流通画面中也相应联动变化。让实训学员能够清晰的看到自己手动操作后，对机车产生的变化，提高培训效果。

进一步的，所述的虚拟场景还包括机车部件上手动操作器件的虚拟标签，包括机车部件认知虚拟标签、机车部件模拟演练功能虚拟标签，其中，机车部件认知功能虚拟标签显示有相应器件的名称、用途以及注意事项，机车部件模拟演练功能虚拟标签显示有相应手动操作器件的操作步骤，包括操作顺序和操作指示。使学员能够根据虚拟标签的提示，进行实训操作。

进一步的，为了提高学员对机车部件的故障检修能力，所述机车部件包括有机车制动柜、牵引电动机、高压电器柜、低压电器柜、转向架等，各机车部件之间通信连接，联控实训，用于设置检修故障，实现故障检修教学。

作为其他实施方式，也可以不增设其他机车设备，采用所述的MR终端或者是机车部件中的处理器，用于设置检修故障，通过MR终端显示出发生故障部件的三维虚拟模型，当检测到正确的故障检修操作动作信号时，判定故障修复成功。

进一步的，为了提高培训效果，所述的虚拟标签包括两种显示状态：显示、不显示，根据用户的交互信息确定所述虚拟标签的显示状态。学员在操作熟练后，可取消虚拟标签显示，来验证是否操作真正操作熟练。

进一步的，所述MR终端中配置有交互操作模块，用于获取用户的交互信息，包括手势交互，和/或眼球凝视交互，和/或语音交互。

具体的，所述的手势交互为：通过环境感知和手部关节追踪算法，来识别出用户的手势姿态，对虚拟场景中的虚拟物体产生影响；

所述的眼球凝视交互为：通过MR终端安置的红外摄像机追踪眼球的转动，产生虚拟凝视光标，来代替手势来选择虚拟物体；

所述的语音交互为：通过麦克风，来接收用户语音，并通过识别关键字，来实现语音指令，实现对虚拟物体的操作；

进一步的，所述通信发送模块和通信接收模块均为无线通信模块，通过无线方式传输机车部件的器件状态信息，达到同步效果；作为其他实施方式，还可以采用有线通信方式，同步状态信息。

进一步的，为了实现机车部件的定位，所述识别机车部件的位置的方法为：

利用MR终端上设置的摄像头，获取机车部件的信息，并将该信息与设定的机车部件数据模型比对，当比对通过时，判断识别出机车部件的位置。

附图说明

图1是本发明的机车部件检修实训系统的硬件结构图；

图2是本发明的机车部件检修实训系统中MR终端生成的虚实叠加画面的流程图；

图3-1是本发明的机车部件实训系统在进行机车制动柜总风阀门操作合位时的虚实叠加画面图；

图3-2是本发明的机车部件实训系统在进行机车制动柜总风阀门操作分位时的虚实叠加画面图；

图4是本发明的机车部件实训系统在进行机车制动柜弹停隔离塞门操作时的虚拟画面变化效果图；

图5是本发明的机车部件实训系统在进行教学时展示出机车部件带有虚拟标签的画面图；

图6是本发明的增设故障检修功能的机车部件实训系统示意图；

图4中的标号说明：

1，轮对；2，夹钳。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明。

本发明提出一种基于混合现实技术的机车部件检修实训系统，如图1所示，该系统包括机车部件设备(简称机车部件)和一个MR终端，机车部件和MR终端中均设置有无线通信模块，MR终端设置有通信接收模块，机车部件设置有通信发送模块，通信接收模块与通信发送模块连接，使机车部件和MR终端之间进行无线通信。

本实施例中，MR终端与机车部件通过无线局域网相连，用于传输网络数据，即机车部件内各个器件状态(包括开关状态)均通过网络传输到MR终端，使MR终端中机车部件的器件状态数据始终与现实中机车部件的器件状态数据保持同步。

以同步开关状态为例，当现实中机车部件的A开关由闭合位到断开位，通过机车部件与MR终端之间的通信网络进行无线数据传输后，MR终端中获取机车部件的A开关信息也要由闭合位到断开位，这样来保持开关状态信息的实时同步。

MR终端用于根据机车部件的器件状态信息，生成三维虚拟模型和特效；识别机车部件的位置，定位用户与机车部件的运动和空间姿态；利用混合现实技术，将真实的机车部件与三维虚拟模型叠加，得到虚实叠加画面；并根据用户的交互信息和机车部件的器件状态信息的变化情况，更新虚实叠加画面，从而实现对用户的机车部件操控培训，整体流程如图2所示。

具体的，MR终端中配置有若干个功能模块，包括增强现实模块(即AR)、虚拟场景模块、交互操作模块和定位叠加模块。其中，增强现实模块利用MR终端上设置的彩色摄像头，识别机车部件的位置。在实际应用时，用户佩戴MR头戴设备(即MR终端)后，只需看向机车部件，设备上的彩色摄像头会不停的捕捉环境，获取机车部件的信息，并将该信息与提前设置好的机车部件数据模型相对比，当达到匹配标准时，即认为识别到机车部件的位置。

虚拟场景模块用于渲染三维虚拟模型的虚拟三维场景，包括机车部件与相应三维虚拟模型之间的气路或电路流通画面，以及机车部件上相关器件的虚拟标签。本实施例中，构建的虚拟场景与机车部件存在动态联动效果，即获取上述同步的机车部件的器件状态，根据器件状态的变化情况，动态改变虚拟场景。

例如，当机车部件的手动操作器件状态信息改变时，所述气路或电路流通画面中也相应联动变化。让实训学员能够清晰的看到自己手动操作后，对机车产生的变化，提高培训效果。

本实施例中所指的机车部件，包括机车制动柜、牵引电动机、高压电器柜、低压电器柜、转向架等部件中的任意一个。具体以其中一种机车制动柜部件检修为例：

以操作机车制动柜的总风阀门为例，如图3-1所示，当学员操作总风阀门在合位时，显示出虚拟的总风缸，及总风缸到该总风阀门之间的流通气路，通过箭头显示气路流向，并显示“气路通畅”字样的虚拟标签。如图3-2所示，当学员操作总风阀门在分位时，显示出虚拟的总风缸，及总风缸到该总风阀门之间的流通气路，不显示气路流向，显示“气路阻断”字样的虚拟标签。

以操作机车制动柜的图5中的弹停隔离塞门为例，如图4所示，当学员操作弹停隔离塞门为分位时，显示夹钳2没有夹紧轮对1，并显示“无制动力”字样的虚拟标签；当学员操作弹停隔离塞门为合位时，显示夹钳2夹紧轮对1，并显示“产生制动力”字样的虚拟标签。

机车制动柜上手动操作器件的虚拟标签中，包括机车制动柜部件认知功能虚拟标签、机车制动柜部件模拟演练功能虚拟标签，机车制动柜部件认知功能虚拟标签显示有相应手动操作器件的名称、用途、注意事项，比如机车制动柜上如图5所示的“总风缸阀门”、“主断风路阀门”、“注意：该阀门必须始终位于垂直位置，严禁打到其他位置”等字样的虚拟标签。机车制动柜部件模拟演练功能虚拟标签显示有相应手动操作器件的操作步骤，包括操作顺序和操作指示，比如机车制动柜上如图5所示的“控制升弓气路的总开关，开放时与管路平行，上车开放、下车关闭”等字样的虚拟标签。显示虚拟标签的好处是，学员可根据操作顺序的提示，以及具体操作内容提示，依次进行操作。

本实施例中，虚拟标签是提前预设好的，学员不可以进行设置；作为其他实施方式，还可以设置两种虚拟标签的显示状态，学员可以通过设定的交互信息进行设置，显示虚拟标签或不显示虚拟标签，学员在操作熟练后，可取消虚拟标签显示，来验证是否操作真正操作熟练。

识别出机车制动柜部件的位置后，MR终端的定位叠加模块，通过环境感知和环境追踪算法，来定位用户头部和虚拟物体的运动以及空间姿态，并利用混合现实技术，把虚拟物体、虚拟标签等与识别到的机车制动柜部件位置同步，通过光学透镜原理，混合叠加起来，使人眼看去，现实中的机车制动柜部件和构建的虚拟物体融合起来，看起来与在真实场景操作相同；不同的是，看到的机车制动柜部件上的相应设备增加了状态描述，用于进行教学引导和操作指南。

作为其他实施方式，若需进行多机车部件联控实训，则根据具体需求，可以设置多个不同的机车部件分别通信连接MR设备，各机车部件之间也通讯连接，用于设置检修故障，进行联控实训，例如，按照设定的检修操作规则，设置三个机车部件的联控实训，各机车部件进行通信之后，按照实训的先后顺序，设置相应的故障，供学员进行检修操作。

本实施例中，定位叠加模块用于进行运动及空间姿态定位的数据源，通过内置于MR终端的深度传感器、加速度计、陀螺仪和磁力计获得，其中，深度传感器用于检测用户与虚拟物体之间的距离信息；加速度计用于检测用户的加速度；陀螺仪用于检测用户的角速度。

本实施例中，MR终端中还配置有交互操作模块，用于根据交互内容，进行虚拟场景的更新，具体的交互内容分别如下：

1)手势交互：通过环境感知和手部关节追踪算法，来识别出用户的手势姿态，进而对虚拟物体产生影响，例如，选择、切换和删除虚拟物体等；

2)眼球凝视交互：通过MR终端安置的红外摄像机追踪眼球的转动，产生虚拟凝视光标，来代替手势来选择虚拟物体；

作为其他实施方式，在可以进行手势交互实现虚拟物体选择的情况下，也可以不设置眼球凝视交互功能。

3)语音交互：通过5声道麦克风，来接收用户语音，并通过识别关键字，来实现语音指令，实现对虚拟物体的操作。

本发明的机车部件检修实训系统，具有以下优点：

(1)通过MR眼镜(即头戴式的MR终端)的深度传感器和可见光摄像头，达到环境感知，物体追踪和定位的功能。当定位到机车部件时，在虚拟场景中会生成机车部件的详细标注和操作指南。通过对用户和机车部件的追踪和定位，使虚拟场景和现实机车部件的实时结合，实现了教学的连续性。

(2)利用MR终端，极大的方便了学员学习操控机车部件，并且提高了学习积极性和趣味性，学习效率提升显著。并且，学员使用MR终端时，也不容易产生眩晕感，而且其独特的光学全息成像原理也可以更好的保护用户的眼睛，可以长时间佩戴。

(3)系统中的机车部件，只需要模仿实际机车部件的外部结构和操作器件，使学员能够清楚认识到机车部件型号，能够操作机车部件中的操作器件即可，就能通过MR终端给学员反馈操作结果，并不需要模仿实际机车部件的内部结构(包括内部的连接关系)，相对节省了成本。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。例如，本实施例中的无线通信模块，可以采用有线通信模块代替。

又如，本实施例中交互模块实现的交互信息，既可以采用三种方式中的任何一种来实现，也可以采用其中的两种或三种结合的方式来实现。

又如，为了提高学员对机车部件的故障检修能力，可以对实训系统进行改进，如图6所示，增设机车模拟驾驶台，该机车模拟驾驶台与机车部件(例如为制动柜)通信连接，用于设置检修故障，实现故障检修教学。

当故障出现时，学员逐一排查故障，进行部件的拆解修理或者直接进行零部件更换，操作完成后设备恢复正常。系统自动设置故障，机车模拟驾驶台将设置的检修故障发送给机车部件，由机车部件执行检修故障的指令。以机车制动柜为例，假设当前的检修故障为机车制动失效故障，学员通过观察驾驶台上的显示模块(即制动缸风压表)，发现制动缸的压力异常，学员排查确认阀门打开，模拟机车部件至制动缸之间的管路完好无泄漏，判定模拟机车部件的制动缸控制模块故障，在三维场景中有虚拟器件库模型，可虚拟操作更换制动缸控制模块。若系统设置的该故障的处理方法在更换制动缸控制模块，则在操作更换后，系统判断操作是否正确完成检修，若和系统预设故障一致，则故障检修完成，然后再进行显示，恢复正常制动功能，故障修复成功。

作为实现故障检修教学的其他实现方式，为了节省设备成本，还可以不增设机车模拟驾驶台，采用MR终端或者是机车部件中的处理器设置检修故障，通过MR终端显示出发生故障部件的三维虚拟模型，当检测到正确的故障检修操作动作信号时，判定故障修复成功。

例如预先设置某个转向架制动夹钳故障，当检修时可将该虚拟转向架模型拿出来进行拆解，查看零部件状态，若制动夹钳故障，可以直接在虚拟器件库选择制动夹钳进行替换。则在操作更换后，系统判断操作是否正确完成检修，若和系统预设故障一致，则故障检修完成，然后再进行显示，恢复正常制动功能，故障修复成功。

因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (2)

1.一种基于混合现实技术的机车部件检修实训系统，其特征在于，包括机车部件和头戴式的MR终端，其中，MR终端设置有通信接收模块，机车部件设置有通信发送模块，通信接收模块与通信发送模块连接，用于获取机车部件上手动操作器件的状态信息，并将手动操作器件的状态信息发送至所述的MR终端，使MR终端中机车部件的手动操作器件状态信息与现实中机车部件的手动操作器件状态信息同步；

所述MR终端用于根据所述机车部件的器件状态信息，生成三维虚拟模型；识别机车部件的位置，定位用户与机车部件的运动和空间姿态；利用混合现实技术，将真实的机车部件与三维虚拟模型叠加，得到虚实叠加画面；并根据用户的交互信息和部件的器件状态信息的变化情况，更新虚实叠加画面，从而实现对用户的机车部件操控培训；

所述三维虚拟模型显示的虚拟场景包括机车部件与相应三维虚拟模型之间的气路或电路流通画面，当机车部件的手动操作器件状态信息改变时，所述气路或电路流通画面中也相应联动变化；

所述的虚拟场景还包括机车部件上手动操作器件的虚拟标签，包括机车部件认知功能虚拟标签、机车部件模拟演练功能虚拟标签，其中，机车部件认知功能虚拟标签显示有相应器件的名称、用途以及注意事项；机车部件模拟演练功能虚拟标签显示有相应手动操作器件的操作步骤，包括操作顺序和操作指示；

所述机车部件包括机车制动柜、牵引变压器、牵引电机、主变流柜、辅助滤波柜、高压电气柜、控制电器柜和转向架，各机车部件之间通信连接，进行联控实训，用于设置检修故障，实现故障检修教学；

所述的MR终端或者是机车部件中的处理器用于设置检修故障，通过MR终端显示出发生故障部件的三维虚拟模型，当检测到正确的故障检修操作动作信号时，判定故障修复成功；

所述的虚拟标签包括两种显示状态：显示、不显示，根据用户的交互信息确定所述虚拟标签的显示状态；

所述MR终端中配置有交互操作模块，用于获取用户的交互信息，包括手势交互，和/或眼球凝视交互，和/或语音交互；

所述的手势交互为：通过环境感知和手部关节追踪算法，来识别出用户的手势姿态，对虚拟场景中的虚拟物体产生影响；

所述的眼球凝视交互为：通过MR终端安置的红外摄像机追踪眼球的转动，产生虚拟凝视光标，来代替手势来选择虚拟物体；

所述的语音交互为：通过麦克风，来接收用户语音，并通过识别关键字，来实现语音指令，实现对虚拟物体的操作；

所述识别机车部件的位置的方法为：利用MR终端上设置的摄像头，获取机车部件的信息，并将该信息与设定的机车部件数据模型比对，当比对通过时，判断识别出机车部件的位置。

2.根据权利要求1所述的基于混合现实技术的机车部件检修实训系统，其特征在于，所述通信发送模块和通信接收模块均为无线通信模块。