CN113470466A - 一种混合现实掘进机作业实训系统 - Google Patents

Abstract

本发明提供一种混合现实掘进机作业实训系统，包括：控制模块、主机模块、视听与体感模块；所述目标群体操控所述控制模块向主机模块发送控制信息；所述主机模块根据所述控制信息调用所述主机模块中预先存储的事件信息；其中，所述事件信息中包含用于掘进机操作模拟训练的图像、音频和体感动作；所述视听与体感模块与所述主机模块通讯连接，并对所述事件信息中的图像、音频进行同步播放，以及对所述事件信息中的体感动作进行同步模拟。目标群体通过控制模块进行模拟操作时，可通过视听与体感模块同步对图像、音频进行播放，且同步模拟体感动作，通过图像、音频和体感动作三者的配合，增强实训系统的沉浸式体验。

Description

一种混合现实掘进机作业实训系统

技术领域

本发明属于掘进机培训领域，具体涉及一种混合现实掘进机作业实训系统。

背景技术

掘进机是用于平直地面开凿巷道的机器。按作业对象分为普通机子与隧道掘进机，其中，隧道掘进机是用机械破碎岩石、出碴和支护实行连续作业的一种综合设备；按掘进机在工作面上的切削过程，分为全断面掘进机和部分断面掘进机，掘进机在进行工作时由驾驶员进行控制，但由于掘进机的体积较大且工作地点较为特殊，驾驶员需足够的经验才可进行实地驾驶操作，因此驾驶员需经过较长时间的实际训练，现有的实训系统在对驾驶员进行实训时，由驾驶员通过与计算机主机相连的操作面板进行控制，将画面通过单一的显示屏幕进行画面模拟，此类实训系统的沉浸式体验较差，且与实地驾驶操作存在较大差别，不利于驾驶员进行实际训练。因此，亟需提供一种针对上述现有技术不足的改进技术方案。

发明内容

本发明的目的在于提供一种混合现实掘进机作业实训系统，以至少解决目前实训系统实际操作时沉浸式体验较差的问题。

为了实现上述目的，本发明提供如下技术方案：一种混合现实掘进机作业实训系统，用于对目标群体进行掘进机操作模拟训练，包括：控制模块、主机模块、从机模块、视听与体感模块；

目标群体操控控制模块向主机模块发送控制信息；

主机模块根据控制信息调用主机模块中预先存储的事件信息；其中，事件信息中包含用于掘进机操作模拟训练的图像、音频和体感动作；

视听与体感模块与主机模块通讯连接，接收主机模块发送的事件信息，并对事件信息中的图像、音频进行同步播放，以及对事件信息中的体感动作进行同步模拟，以对目标群体进行模拟训练；其中，图像、音频和体感动作相适配；

从机模块设置有多个，多个从机模块与主机模块并联连接，每个从机模块均能够接收主机模块发送的事件信息，对目标群体的模拟训练进行同步展示，并对目标群体的模拟训练进行反馈。

优选的，视听与体感模块包括：

视觉模块，视听模块为视觉头盔或主动立体投影，视觉头盔或主动立体投影能够对事件信息中的图像进行播放；

听觉模块，听觉模块为无线耳机，无线耳机能够对事件信息中的音频进行播放；

体感模块，体感模块为电动三自由度动感座椅，电动三自由度动感座椅能够对事件信息中的体感动作进行模拟。

优选的，控制模块为体感控制器或模拟操控器，目标群体通过操控体感控制器或拨动模拟操控器向主机模块发送控制信息。

优选的，从机模块可对目标群体的模拟训练完成度进行评测，并可对目标群体的模拟训练进行调整。

优选的，主机模块与从机模块可通过局域网或广域网进行连接。

优选的，主机模块包括：

储存单元，用于储存事件信息；

调用单元，根据控制信息调用事件信息。

有益效果：目标群体通过控制模块进行模拟操作时，可通过视听与体感模块同步对图像、音频进行播放，且同步模拟体感动作，通过图像、音频和体感动作三者的配合，增强实训系统的沉浸式体验；本发明中操控控制模块后基于主机模块通过视听与体感模块反应出不同的操作体验，且通过两种配置方案来满足不同阶段用户的使用需求，提升了不同阶段用户的沉浸式体验，且通过主机模块连接多个从机模块，从机模块可实时反映出主机模块中的情况，即可满足一对多教学时的需求，且可满足多位评为进行评分时的考核需求。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。其中：

图1为本发明一种混合现实掘进机作业实训系统的结构示意图；

图2为本发明中部分实施例的流程示意图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不能理解为对本发明的限制。本发明中使用的术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是直接相连，也可以通过中间部件间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，根据本发明的实施例，提供了一种混合现实掘进机作业实训系统，包括：控制模块、主机模块、视听与体感模块；

控制模块，控制模块为体感控制器或模拟操控器，通过操控体感控制器或模拟操控器使其发出控制信息，体感控制器与主机模块之间用蓝牙通讯，模拟操控器与主机模块之间用RS232串口通讯；

主机模块，主机模块为高性能计算机主机，主机模块接收控制信息，并根据控制信息生成事件信息，其具体为调用单元根据控制信息调用储存单元中所储存的事件信息。

作为本发明的实施例：

控制信息包括模拟量输入和开关量输入，通过操控体感控制器或模拟操控器产生模拟量输入和开关量输入，模拟操控器包括操作手柄及面板，如某个操作手柄的前推会产生某方向上的模拟量(跟推动的幅度有关)，点击面板上的按钮会产生某个id的开关量变化(如喷雾按钮开关的开关量从0变为1)，此时主机模块中的调用模块根据操作手柄传来的控制信息的模拟量调用储存单元中与该控制信息相关联的预先编写的事件信息；当存在与该控制信息关联的事件信息时，则激发该事件，如某个操作手柄某方向上的模拟量与掘进机的前进速度变化的事件信息关联，则根据当前的模拟量大小(跟推动的幅度有关)改变掘进机的前进速度即改变不同的事件信息，当前进速度为0时掘进机停止，为停止事件信息，当前进速度为负时掘进机后退，为后退事件信息；如某个id的开关量变化与喷雾事件信息相关，则根据开关量当前是1还是0，确定是打开喷雾事件信息还是关闭喷雾事件信息，而事件信息中又包含用于掘进机操作模拟训练的图像、音频和体感动作，当某事件信息激发时，与其关联的图像、音频会播放，画面和声音就会变化，且体感动作发生变化。

视听与体感模块包括：视觉模块，视觉模块为主动立体投影或视觉头盔，视觉头盔或主动立体投影能够对事件信息中的图像进行播放，此类图像为掘进机在模拟场景中的各种动作与模拟场景中的各类物体，此类图像为预先采集的图像；听觉模块，听觉模块为无线耳机，无线耳机能够对事件信息中的音频进行播放，此类音频为掘进机在驾驶操作时的各类声音与进行挖掘时的各类声音，此类音频为预先采集的声音；体感模块，体感模块为电动三自由度动感座椅，电动三自由度动感座椅能够对事件信息中的体感动作进行模拟，例如进行振动、晃动、倾斜等体感动作。

作为本发明的实施例：

体感模块采用电动三自由度动作座椅取决于所需要的体感动作，动感座椅只模拟掘进机在进行运动时的各种简单且常见的体感动作，此体感动作中不包括掘进机翻滚、坠落、倾倒等复杂且具一定危险性的体感动作，因此动作座椅采用三自由度即可满足使用需求，不需采用更高自由度的动作座椅，且更高自由度的动作座椅需占用更大的空间位置，因此本发明中采用电动三自由度动作座椅。

从机模块，从机模块接收事件信息，主机模块至少连接有两个从机模块，主机模块与从机模块可通过局域网或广域网进行连接，从机模块可对目标群体的模拟训练完成度进行评测，并可对目标群体的模拟训练进行调整。

作为本发明的实施例：

从机模块与主机模块之间采用局域网或广域网的方式进行连接，从机模块中的计算机主机连接显示屏幕，通过显示屏幕来实时展示出主机模块中所显示出的图像，即主机模块用户以掘进机司机身份亲自操纵掘进机进行作业时，其他用户可通过从机模块远程实时观看主机模块中的当前操作，同步学习掘进机的作业规范和操作流程，同时还可在整个巷道中自由漫游，熟悉工作环境；

采用局域网或广域网的方式连接主机模块与从机模块，使得不同地域的用户可以同时登录系统，主机模块中虚拟环境的当前状态由网络传输同步到从机模块中，不论用户是以何种硬件方案登录系统的，都可以获得同步的参与体验，在实际应用中，既可以让有经验的掘进机司机作为主机模块用户操纵机器掘进，新学员作为从机模块用户同步学习；也可以让待考核的员工作为主机模块用户操纵机器掘进，评委作为从机模块用户进行评价和打分；

从机模块通过局域网或广域网可实时显示出主机模块中的实际情况，即便于提升用户在学习时的沉浸式体验，且便于教师进行授课与考核；

从机模块中连接有控制模块、视听与体感模块，通过从机模块中的控制模块改变所发生的事件信息，其目的在于当新学员通过主机模块进行模拟时，教师可通过从机模块中的控制模块及时对事件信息进行调整，从而对新学员的操作动作进行纠正，且当教师通过主机模块进行教学时，可要求使用从机模块的新学员重复教师的操作动作，便于教师进行教学；

从机模块中的视听与体感模块使学员可接受事件信息中的画面、声音和体感动作，使得学员在通过从机模块接受老师的教学时，可提前适应使用主机模块进行模拟操作，便于学员日后使用主机模块进行考核。

作为本发明的实施例：

本发明中提出的一种混合现实掘进机作业实训系统，其包括两种配置方案：

第一配置方案，基于虚拟现实头盔的沉浸式无缝交互方案，该方案中控制模块为体感控制器，主机模块为高性能计算机主机，视听模块中视觉模块为视觉头盔，视听模块中听觉模块为无线耳机，体感模块为电动三自由度动感座椅，从机模块为计算机主机；

第二配置方案，基于半实体机的主动立体投影方案，该方案中，控制模块为模拟操控器，主机模块为高性能计算机主机，视听模块中视觉模块为主动立体投影，视听模块中听觉模块为无线耳机，体感模块为电动三自由度动感座椅，从机模块为计算机主机；

在上述两种方案中，不同点在于控制模块和视觉模块，在采用第一配置方案时，用户可通过体感传感器在模拟场景中进行移动，可对掘进机的外部结构或模拟场景中的物体进行熟悉，也可通过体感控制器对掘进机进行模拟驾驶；在采用第二配置方案时，用户可通过模拟操控器对掘进机进行模拟驾驶，通过与实际操作台1:1复刻的模拟操控器使用户可体会到真实的操作体验，两种方案设置存在不同优点，第一配置方案适合初学者用户了解掘进机与模拟场景，第二配置方案适合具有一定经验的用户进行操作模拟，通过两种不同配置方案的配合，使用户在初学者阶段与积累一定经验的阶段均可有良好的沉浸式体验。

作为本发明的实施例：

本发明提供多种展示手段，其中包括：

主动立体投影展示方式：该方式可进一步扩展为CAVE(基于投影的沉浸式虚拟现实展示方式)或360°环幕展示方式；

现实头盔展示方式：该方式完全屏蔽了虚拟环境与真实环境，能带来最强烈的沉浸感；

面向一般电脑的单屏显示方式：适用于低配置的从机模块查看使用。

作为本发明的实施例：

本发明提供多种操作方案：

在第一配置方案中，即使用体感控制器进行操作时，体感控制器分为左右手柄，使得体感控制器可采用双手模式或单手模式进行操控；在采用双手模式时，体感控制器的左右手柄在虚拟场景中代替用户的左右手进行操作，适合进行虚拟拆装等复杂操作；在采用单手模式时，左手柄用于跟踪用户的空间位置，用户右手持右手柄在虚拟场景中进行操作，适合进行点击按钮、操作手柄等简单操作，优点是用户可以通过走动或蹲起来改变观察位置。

在第二配置方案中，即使用模拟操控器进行操作时，用户可通过操作面板直接点按来开关电源、开关喷雾设备、控制蟹爪和铲板等部件的运行；用户可通过操纵手柄来控制掘进机的前进后退、掘进机的转动、摇臂的上下俯仰、摇臂的左右摆动及切割头的伸缩。

即本发明中不同的配置方案中设置有不同操作方案，通过不同的操作方案来提升用户在不同配置方案中的沉浸式体验。

作为本发明的实施例：通过设置体感模块，体感模块为电动三自由度动感座椅，电动三自由度动感座椅提供了与当前情境相匹配的碰撞体验和加速度体验(如当掘进机启动、停止或转弯时，会有加速度体验；当掘进机进行掘进作业时，会有碰撞等体验)，提升用户在模拟驾驶时的沉浸式体验。

作为本发明的实施例：本系统在进行模拟操作时分为作业前的检查和开放式操作两部分，如图2所示为作业前检查的流程示意图，作业前的检查步骤依次为：

1、检测工作证件(以确保掘进机司机持证上岗)；

2、检查切割头(确保切割头的正常，保证工作的正常进行)；

3、确认内外喷雾设备(确认喷雾设备的正常，保证工作的正常进行)；

4、检查长板情况(确认喷雾设备的正常，保证工作的正常进行；当长板出现问题时，可通过模拟交互对长板进行维修)；

5、检查管路是否漏油(确认管路的正常，保证工作的正常进行)；

6、测试急停按钮(确认急停按钮的正常，确保安全作业的要求)；

7、检测小溜子和刮板情况(确认小溜子和刮板的正常，保证工作的正常进行)；

8、检查履带松紧情况(确认履带的正常，保证工作的正常进行)；

9、检查液压手把工作情况(确认液压手把的正常，保证工作的正常进行)；

10、检查机器周边的操作环境(确认操作环境周边无其他杂物或人员，保证作业安全)；

通过开放式操作前每次的作业前的检查，提升用户的安全作业意识，提升用户的作业安全性以及规范性。

用户在进行模拟操作时，必须经过作业前的检查，作业前的检查即为相对应的需检查事件信息，用户根据需检查事件信息通过体感控制器或模拟操控器选择合适的选项，若选择正确，则调出下一条需检查事件信息，若选择错误，则调出与该需检查事件信息相关联检查错误事件信息，对用户进行提醒，且需检查事件信息为随机调用若干个，且需检查事件信息无需按照图2中所示的流程依次调出。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种混合现实掘进机作业实训系统，用于对目标群体进行掘进机操作模拟训练，其特征在于，包括：控制模块、主机模块、从机模块、视听与体感模块；

所述目标群体操控所述控制模块向主机模块发送控制信息；

所述主机模块根据所述控制信息调用所述主机模块中预先存储的事件信息；其中，所述事件信息中包含用于掘进机操作模拟训练的图像、音频和体感动作；

所述视听与体感模块与所述主机模块通讯连接，接收所述主机模块发送的所述事件信息，并对所述事件信息中的图像、音频进行同步播放，以及对所述事件信息中的体感动作进行同步模拟，以对所述目标群体进行模拟训练；其中，所述图像、音频和所述体感动作相适配；

所述从机模块设置有多个，多个所述从机模块与所述主机模块并联连接，每个所述从机模块均能够接收所述主机模块发送的所述事件信息，对所述目标群体的模拟训练进行同步展示，并对所述目标群体的模拟训练进行反馈。

2.如权利要求1所述的混合现实掘进机作业实训系统，其特征在于，所述视听与体感模块包括：

视觉模块，所述视听模块为视觉头盔或主动立体投影，所述视觉头盔或所述主动立体投影能够对所述事件信息中的图像进行播放；

听觉模块，所述听觉模块为无线耳机，所述无线耳机能够对所述事件信息中的音频进行播放；

体感模块，所述体感模块为电动三自由度动感座椅，所述电动三自由度动感座椅能够对所述事件信息中的体感动作进行模拟。

3.如权利要求1所述的混合现实掘进机作业实训系统，其特征在于，所述控制模块为体感控制器或模拟操控器，所述目标群体通过操控所述体感控制器或拨动模拟操控器向所述主机模块发送所述控制信息。

4.如权利要求1所述的混合现实掘进机作业实训系统，其特征在于，所述从机模块可对所述目标群体的模拟训练完成度进行评测，并可对所述目标群体的模拟训练进行调整。

5.如权利要求1所述的混合现实掘进机作业实训系统，其特征在于，所述主机模块与所述从机模块可通过局域网或广域网进行连接。

6.如权利要求1所述的混合现实掘进机作业实训系统，其特征在于，所述主机模块包括：

储存单元，用于储存所述事件信息；

调用单元，根据所述控制信息调用所述事件信息。

Images