CN113774984A - 一种挖掘机沉浸式遥控系统及方法 - Google Patents

Abstract

本发明公开了一种挖掘机沉浸式遥控系统及方法，包括遥控端和受控端；所述受控端包括挖掘机及设置在挖掘机上的主控计算机、受控端无线通讯模块及麦克风，所述遥控端包括视景计算机、遥控端无线通讯模块、六自由度运动平台、设置在六自由度运动平台上的模拟驾驶舱、设置在六自由度运动平台周圈的球幕以及设置在球幕中心模拟驾驶舱上方的球幕投影装置；所述模拟驾驶舱内设置遥控操作设备；所述受控端还包括设置在挖掘机顶部的倾角传感器，所述倾角传感器采集的数据传送至主控计算机，本系统既可以有效提高操纵人员的沉浸感，还可以很好地感受到挖掘机的姿态，从而大幅提高遥控作业效率和安全性。

Description

一种挖掘机沉浸式遥控系统及方法

技术领域

本发明涉及挖掘机遥控领域，尤其涉及一种挖掘机沉浸式遥控系统及方法。

背景技术

在陡坡塌方、淤泥积水、核化污染等危险地域作业时，对挖掘机进行遥控操纵，可以避免施工人员遭受二次危害，极大提高施工的安全性。进行遥控作业时，操纵人员的沉浸感，对于提高作业效率有极大影响。当前主要有三种技术途径来感知施工现场的场景信息，一是操纵人员直接目视进行遥控操纵，沉浸感强但遥控距离近；二是利用挖掘机携带的摄像机拍摄作业场景，利用无线设备传输到显示器显示，操纵人员通过观看显示器获得场景信息，由于图像缺乏立体感，操纵人员需要花较长时间进行判断分析，沉浸感弱作业效率低下；三是利用安装在挖掘机上的全景摄像系统采集场景信息，然后传输到操纵人员佩戴的VR眼镜上显示，沉浸感强，但佩戴VR眼镜后，影响对遥控装置的操作，同时，VR眼镜会导致人员眩晕，不利于长时间作业。另外，采用以上三种技术途径时，操纵人员难以感受到挖掘机姿态，尤其是在复杂地域作业时，存在误判误操作导致安全事故等隐患。

中国专利CN207846527U公开了一种挖掘机仿真遥控系统，该专利实现了对挖掘机的远程协调操作，保证传输数据的正确，成本低廉，降低机手的操作难度，使遥控手柄行程与操作力关系及与实际手柄相近的功能。

中国专利CN214090044U公开了一种挖掘机和挖掘机远程显示系统，该专利通过动作图像采集模块采集挖斗动态视频，通过环境图像采集模块采集全景影像，实现了挖掘机作业视野的全部覆盖，从而提高遥控挖掘机作作业的可靠性和安全性。上述两个专利实现了挖掘机的远程遥控操作以及挖掘机施工现场图像采集及远程显示的问题，然而对于远程遥控的沉浸感较差、操纵人员难以感受到挖掘机姿态，尤其是在复杂地域作业时，存在误判误操作导致安全事故等隐患。

发明内容

本发明的目的是提供一种挖掘机沉浸式遥控系统及方法，既可以有效提高操纵人员的沉浸感，还可以很好地感受到挖掘机的姿态，从而大幅提高遥控作业效率和安全性。

为实现上述发明目的，本发明的技术方案是：

一种挖掘机沉浸式遥控系统，包括遥控端和受控端；所述受控端包括挖掘机及设置在挖掘机上的主控计算机、受控端无线通讯模块及麦克风，所述麦克风采集的现场声音传送至主控计算机；其特征在于：所述遥控端包括视景计算机、遥控端无线通讯模块、六自由度运动平台、设置在六自由度运动平台上的模拟驾驶舱、设置在六自由度运动平台周圈的球幕以及设置在球幕中心模拟驾驶舱上方的球幕投影装置；所述模拟驾驶舱内设置遥控操作设备；所述六自由度运动平台、遥控操作设备及球幕投影装置均与视景计算机连接；所述主控计算机与视景计算机之间由受控端无线通讯模块与遥控端无线通讯模块连接通讯，所述受控端还包括设置在挖掘机顶部的倾角传感器，所述倾角传感器采集的数据传送至主控计算机。

作为优选，所述模拟驾驶舱内的设备及门、窗设置与挖掘机驾驶舱设置保持一致。

作为优选，所述受控端还包括设置在挖掘机顶部的全景摄像机和激光雷达；所述全景摄像机和激光雷达采集的数据均传送至主控计算机。

作为优选，所述遥控端还包括音响设备，所述音响设备与视景计算机连接。

一种挖掘机沉浸式遥控方法，包括以下步骤：

（1）受控端通过麦克风、倾角传感器、全景摄相机、激光雷达采集施工现场的声音、挖掘机的倾角、施工现场的图像和地形信息，经过主控计算机调制处理后，通过受控端无线通讯模块发送给遥控端；

（2）遥控端通过遥控端无线通讯模块接收上述声音、倾角、图像和地形信息后，传输给视景计算机进行解算计算，分别形成声音信息、挖掘机的姿态信息和作业场景信息；

（3）视景计算机分别发送声音、姿态信息和作业场景信息给音响设备、六自由度运动平台、球幕投影装置，分别进行声音播放、模拟驾驶舱姿态控制、作业场景投影，使得操纵人员的听觉、位姿感受和视觉与施工现场挖掘机驾驶舱内保持一致；

（4）操纵人员根据施工现场的作业场景信息、挖掘机的位姿和现场的声音信息，结合自己的施工专业知识，做出决策判断，规划合理的施工方案，操作遥控操作设备，视景计算机实时采集操纵人员的操纵信息，通过遥控端无线通讯模块发送给受控端；

（5）受控端无线通讯模块实时将遥控端发送的控制命令发送给主控计算机，主控计算机解算分析控制命令后，控制挖掘机执行相应的作业动作；

（6）重复上述步骤，实现对挖掘机的沉浸式控制。

本发明的有益效果是：

（1）操纵人员沉浸感强，利于高效作业

利用全景摄像机、激光雷达采集作业地域的图像和地形信息，而后将地形信息在球幕上投影显示，提升操纵人员的沉浸感，可以高效地进行遥控作业；

（2）模拟驾驶舱与挖掘机的姿态同步，利于安全作业

利用倾角传感器采集挖掘机的姿态信息，通过控制六自由度运动平台的运动，使得模拟驾驶舱的位姿与挖掘机的位姿完全同步，有助于操纵人员对现场情况的分析，避免误判导致安全事故，提高遥控作业的安全性。

附图说明

图1为遥控端结构示意图。

图2为受控端结构示意图。

图3为本系统原理图。

图中：10是遥控端、11是遥控端无线通讯模块、12是视景计算机、13是六自由度运动平台、14是球幕、15是模拟驾驶舱、16是球幕投影装置、17是音响设备、20是受控端、21是挖掘机、22是主控计算机、23是受控端无线通讯模块、24是麦克风、25是倾角传感器、26是全景摄像机、27是激光雷达。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。

一种挖掘机沉浸式遥控系统，包括遥控端10和受控端20；所述受控端20包括挖掘机21及设置在挖掘机21上的主控计算机22、受控端无线通讯模块23及麦克风24，所述麦克风24采集的现场声音传送至主控计算机22；所述遥控端10包括视景计算机11、遥控端无线通讯模块12、六自由度运动平台13、设置在六自由度运动平台13上的模拟驾驶舱15、设置在六自由度运动平台13周圈的球幕14以及设置在球幕14中心模拟驾驶舱15上方的球幕投影装置16；所述模拟驾驶舱15内设置遥控操作设备（图中未画出）；所述六自由度运动平台13、遥控操作设备及球幕投影装置16均与视景计算机11连接；所述主控计算机22与视景计算机11之间由受控端无线通讯模块23与遥控端无线通讯模块12连接通讯，所述受控端20还包括设置在挖掘机21顶部的倾角传感器25，所述倾角传感器25安装于挖掘机21驾驶仓顶部，优选选用双轴倾角传感器，测量横向、纵向两个方向的倾角，用于采集挖掘机的倾斜、俯仰角度等，采集数据后发送至主控计算机22。

所述麦克风24安装于挖掘机21驾驶仓内，用于采集挖掘机21驾驶仓内的声音信息，采集数据后发送至主控计算机22。

作为优选，所述模拟驾驶舱15内的设备及门、窗设置与挖掘机21驾驶舱设置保持一致，如遥控操作设备、操纵人员座椅、等与挖掘机21驾驶舱一致，操纵人员通过模拟驾驶舱15上开设的门、窗，可以观察到投射在球幕14上的作业地域场景，并且与在挖掘机21驾驶舱观察到的场景一致；模拟驾驶舱15内还布置了音响设备17，播放作业地域的声音，进一步提高操纵人员的沉浸感。

作为优选，所述受控端20还包括设置在挖掘机21顶部的全景摄像机26和激光雷达27；所述全景摄像机26用于采集图像信息，所述激光雷达27用于采集地形信息，采集的数据均传送至主控计算机22；

作为优选，所述遥控端10还包括音响设备17，所述音响设备17与视景计算机12连接。

一种挖掘机沉浸式遥控方法，包括以下步骤：

（1）受控端20通过麦克风24、倾角传感器25、全景摄相机26、激光雷达27采集施工现场的声音、挖掘机21的倾角、施工现场的图像和地形信息，经过主控计算机22调制处理后，通过受控端无线通讯模块23发送给遥控端10；

（2）遥控端10通过遥控端无线通讯模块11接收上述声音、倾角、图像和地形信息后，传输给视景计算机12进行解算计算，分别形成声音信息、挖掘机的姿态信息和作业场景信息；

（3）视景计算机12分别发送声音、姿态信息和作业场景信息给音响设备17、六自由度运动平台13、球幕投影装置16，分别进行声音播放、模拟驾驶舱15姿态控制、作业场景投影，使得操纵人员的听觉、位姿感受和视觉与施工现场挖掘机21驾驶舱内保持一致；

（4）操纵人员根据施工现场的作业场景信息、挖掘机的位姿和现场的声音信息，结合自己的施工专业知识，做出决策判断，规划合理的施工方案，操作遥控操作设备，视景计算机12实时采集操纵人员的操纵信息，通过遥控端无线通讯模块11发送给受控端20；

（5）受控端无线通讯模块23实时将遥控端10发送的控制命令发送给主控计算机22，主控计算机22解算分析控制命令后，控制挖掘机21执行相应的作业动作；此为现有技术，此处不再赘述；

（6）重复上述步骤，实现对挖掘机21的沉浸式控制。

本系统模拟驾驶舱15与挖掘机21的姿态同步，利于安全作业，操纵人员沉浸感强，利于高效作业。

所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (5)

1.一种挖掘机沉浸式遥控系统，包括遥控端（10）和受控端（20）；所述受控端（20）包括挖掘机（21）及设置在挖掘机（21）上的主控计算机（22）、受控端无线通讯模块（23）及麦克风（24），所述麦克风（24）采集的现场声音传送至主控计算机（22）；其特征在于：所述遥控端（10）包括视景计算机（11）、遥控端无线通讯模块（12）、六自由度运动平台（13）、设置在六自由度运动平台（13）上的模拟驾驶舱（15）、设置在六自由度运动平台（13）周圈的球幕（14）以及设置在球幕（14）中心模拟驾驶舱（15）上方的球幕投影装置（16）；所述模拟驾驶舱（15）内设置遥控操作设备；所述六自由度运动平台（13）、遥控操作设备及球幕投影装置（16）均与视景计算机（11）连接；所述主控计算机（22）与视景计算机（11）之间由受控端无线通讯模块（23）与遥控端无线通讯模块（12）连接通讯，所述受控端（20）还包括设置在挖掘机（21）顶部的倾角传感器（25），所述倾角传感器（25）采集的数据传送至主控计算机（22）。

2.根据权利要求1所述的一种挖掘机沉浸式遥控系统，其特征在于：所述模拟驾驶舱（15）内的设备及门、窗设置与挖掘机（21）驾驶舱设置保持一致。

3.根据权利要求1所述的一种挖掘机沉浸式遥控系统，其特征在于：所述受控端（20）还包括设置在挖掘机（21）顶部的全景摄像机（26）和激光雷达（27）；所述全景摄像机（26）和激光雷达（27）采集的数据均传送至主控计算机（22）。

4.根据权利要求1所述的一种挖掘机沉浸式遥控系统，其特征在于：所述遥控端（10）还包括音响设备（17），所述音响设备（17）与视景计算机（12）连接。

5.一种挖掘机沉浸式遥控方法，其特征在于：包括以下步骤：

（1）受控端（20）通过麦克风（24）、倾角传感器（25）、全景摄相机（26）、激光雷达（27）采集施工现场的声音、挖掘机（21）的倾角、施工现场的图像和地形信息，经过主控计算机（22）调制处理后，通过受控端无线通讯模块（23）发送给遥控端（10）；

（2）遥控端（10）通过遥控端无线通讯模块（11）接收上述声音、倾角、图像和地形信息后，传输给视景计算机（12）进行解算计算，分别形成声音信息、挖掘机的姿态信息和作业场景信息；

（3）视景计算机（12）分别发送声音、姿态信息和作业场景信息给音响设备（17）、六自由度运动平台（13）、球幕投影装置（16），分别进行声音播放、模拟驾驶舱（15）姿态控制、作业场景投影，使得操纵人员的听觉、位姿感受和视觉与施工现场挖掘机（21）驾驶舱内保持一致；

（4）操纵人员根据施工现场的作业场景信息、挖掘机的位姿和现场的声音信息，结合自己的施工专业知识，做出决策判断，规划合理的施工方案，操作遥控操作设备，视景计算机（12）实时采集操纵人员的操纵信息，通过遥控端无线通讯模块（11）发送给受控端（20）；

（5）受控端无线通讯模块（23）实时将遥控端（10）发送的控制命令发送给主控计算机（22），主控计算机（22）解算分析控制命令后，控制挖掘机（21）执行相应的作业动作；

（6）重复上述步骤，实现对挖掘机（21）的沉浸式控制。

Images