CN115148063A - 一种基于unity3D的虚拟挖掘机系统 - Google Patents

Abstract

本发明实施例涉及虚拟现实技术领域，公开了一种基于unity3D的虚拟挖掘机系统，通过采集远端挖掘机的实时运动状态，并反馈给六自由度Stewart平台，作为控制信号控制Stewart平台的运动，可以提高虚拟挖掘机的临场感，实现远端挖掘机运动姿态的实时再现，有利于提高挖掘机远程操作的准确性，通过显示单元再现挖掘现场的作业工况，为挖掘机驾驶员提供操作指引，辅助挖掘机操作人员进行远程遥操作，如此既能保障驾驶员人身安全，同时又有身临其境的沉浸感，可以显著的提高工作效率。

Description

一种基于unity3D的虚拟挖掘机系统

技术领域

本发明实施例涉及虚拟现实技术领域，特别涉及一种基于unity3D的虚拟挖掘机系统。

背景技术

工程机械的驾驶员在危险的工况下作业如若发生事故，不仅拖延工期损失财产，更重要的是还会威胁驾驶员的人身安全。为了解决挖掘机在危险工作环境下驾驶员的人身安全问题，为挖掘机搭配远程操控技术，使挖掘机能够安全、有效地深入到更复杂、更危险的施工环境中进行挖掘作业，解放人力的同时也提高了作业的安全性。VR(VirtualReality，虚拟现实)是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机生成一种多源信息融合的、三维的、可交互的动态实景系统，注重于人的沉浸式体验，给人一种身临其境的真实感受。

挖掘机等工程车辆在公路、桥梁、隧道、港口等基础设施建设中发挥了关键的作用。而挖掘机在工作时难免会有诸如塌方、火灾、辐射等特殊情况的发生，不仅增加施工难度和工期成本，还会严重威胁驾驶员的人身安全。为了解决挖掘机在危险工作环境下驾驶员的人身安全问题，使挖掘机能够安全、有效地深入到更复杂、更危险的施工环境中进行挖掘作业，解放人力的同时提高挖掘作业的安全性。最好的办法就是实现人机分离，即驾驶员远程操控挖掘机完成工作。

目前，对于虚拟挖掘机系统主要运用在挖掘机作业人员的培训中，作为训练器使用，而且只有运动模拟或只有简单的摆动，代入感体验不强，因此训练效果与真机相差甚远。也有虚拟挖掘机软件系统，但没有相应的硬件作为支撑，因此缺少真实挖掘机操作过程中相应的临场感和沉浸感，无法还原挖掘机真实作业的体验。

现有技术主要有三个缺点，其一，虚拟挖掘机系统主要运用在挖掘机作业人员的培训中，作为训练器使用，不能实现挖掘机的远程遥操作。其二，现有的虚拟挖掘机系统只对软件系统进行了设计，没有配合相关的硬件平台，因此缺少相应的临场感和沉浸感，而且挖掘机的挖掘动作缺乏连续性，无法还原挖掘机真实作业的体验。其三，现有的挖掘机远程操控技术只能实现远程输入控制，属于静态控制，驾驶员无法获取现场的工作状况，毫无临场感体验，这无疑使得工作效率大大降低。

发明内容

本发明实施例的目的在于提供一种基于unity3D的虚拟挖掘机系统，以Stewart平台为基础搭建基于unity3D的虚拟挖掘机系统，先通过VR技术模拟挖掘机的作业环境和工作状态，再通过远程操控和其他辅助手段实现挖掘机在真实环境下的远程作业。如此既能保障驾驶员人身安全，同时又有身临其境的真实感，可以显著的提高工作效率。

为解决上述技术问题，本发明的实施例提供了一种基于unity3D的虚拟挖掘机系统，包括：

采集单元，设于远端作业的真实挖掘机上，用于实时采集所述真实挖掘机的运动姿态信息，并采集所述真实挖掘机所处挖掘现场的环境信息和作业信息；

六自由度Stewart平台，用于根据所述采集单元传输的所述运动姿态信息，复现所述真实挖掘机的运动状态；

显示单元，用于展现所述环境信息和所述作业信息。

作为优选的，所述采集单元包括惯性测量单元IMU和摄像机，所述IMU用于实时采集所述真实挖掘机的运动姿态信息，并反馈至所述六自由度Stewart平台；所述摄像机用于采集所述真实挖掘机所处挖掘现场的环境信息和作业信息，并传输至所述显示单元。

作为优选的，还包括数据处理平台，所述数据处理平台用于基于所述运动姿态信息确定，所述真实挖掘机在空间内的三个平移加速度和三个角加速度，基于真实挖掘机在空间内的三个平移加速度和三个角加速度确定所述真实挖掘机在X、Y、Z三个轴的位移变化和角度变化，并反馈至所述六自由度Stewart平台。

作为优选的，所述六自由度Stewart平台包括运动控制器、伺服驱动器和伺服电缸；

所述运动控制器用于根据所述真实挖掘机在当前位姿下的位移变化和角度变化，确定六自由度Stewart平台的对应的伺服电缸的伸长量；并发送至所述伺服驱动器；

所述伺服驱动器用于根据所述运动控制器发送的伸长量，控制所述伺服电缸伸缩，以复现所述真实挖掘机在远端挖掘作业时的状态。

作为优选的，还包括操作主手；所述操作主手包括第一三自由度操作手柄和第二三自由度操作手柄，通过所述第一三自由度操作手柄和所述第二三自由度操作手柄，控制行走和挖掘作业。

作为优选的，所述显示单元包括VR设备和显示屏，所述VR设备用于显示所述真实挖掘机驾驶位的第一视角画面；并基于UI设计显示真实挖掘机工作时的环境位置、速度、姿态和工作状况；

所述显示屏用于辅助显示所述真实挖掘机驾驶位的第一视角画面，以及真实挖掘机工作时的环境位置、速度、姿态和工作状况。

作为优选的，所述运动控制器用于根据洗出算法和反解程序确定六自由度Stewart平台的对应的伺服电缸的伸长量。

作为优选的，还包括图像传输模块，所述图像传输模块连接所述摄像机和所述显示单元，所述图像传输模块用于对摄像头采集的所述环境信息和作业信息进行拼接，得到适用于所述VR设备和显示屏显示的图像内容，提高单幅画面所包含的信息量，为驾驶员提供足够的工况信息，并将所述图像内容传输至所述VR设备和所述显示屏。

本发明实施例提供了一种基于unity3D的虚拟挖掘机系统，通过采集远端挖掘机的实时运动状态，并反馈给六自由度Stewart平台，作为控制信号控制Stewart平台的运动，可以提高虚拟挖掘机的临场感，实现远端挖掘机运动姿态的实时再现，有利于提高挖掘机远程操作的准确性，通过显示单元再现挖掘现场的作业工况，为挖掘机驾驶员提供操作指引，辅助挖掘机操作人员进行远程遥操作，如此既能保障驾驶员人身安全，同时又有身临其境的沉浸感，可以显著的提高工作效率。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明实施例的虚拟挖掘机系统结构框图；

图2是根据本发明实施例的六自由度Stewart平台控制原理图；

图3是根据本发明实施例的洗出算法框图。

具体实施例

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

现有虚拟挖掘机系统主要有三个缺点，其一，虚拟挖掘机系统主要运用在挖掘机作业人员的培训中，作为训练器使用，不能实现挖掘机的远程遥操作。其二，现有的虚拟挖掘机系统只对软件系统进行了设计，没有配合相关的硬件平台，因此缺少相应的临场感和沉浸感，而且挖掘机的挖掘动作缺乏连续性，无法还原挖掘机真实作业的体验。其三，现有的挖掘机远程操控技术只能实现远程输入控制，属于静态控制，驾驶员无法获取现场的工作状况，毫无临场感体验，这无疑使得工作效率大大降低。

因此，本发明实施例提供一种基于unity3D的虚拟挖掘机系统，以Stewart平台为基础搭建虚拟挖掘机系统硬件平台，通过远端真实作业环境中挖掘机上安装的IMU采集远端挖掘机的实时运动姿态信息，并反馈给六自由度Stewart平台，控制Stewart平台的运动，实现远端挖掘机运动姿态的实时再现；通过安装在远端挖掘机上的视频摄像头，采集挖掘现场的环境信息和作业信息，并利用视频拼接等图像处理技术对作业环境信息图像进行处理，然后显示在VR头盔中，为挖掘机驾驶员提供操作指引；结合VR设备，在Unity3D中编写脚本实现挖掘机在虚拟场景中的运动和挖掘作业；通过远程操控技术和由VR技术模拟的挖掘机作业环境和工作状态等辅助手段实现挖掘机在真实环境下的远程作业。

下面对本实施例的一种基于unity3D的虚拟挖掘机系统的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本发明的第一实施例涉及一种基于unity3D的虚拟挖掘机系统。如图1至图3中所示，包括：

采集单元，设于远端作业的真实挖掘机上，用于实时采集所述真实挖掘机的运动姿态信息，并采集所述真实挖掘机所处挖掘现场的环境信息和作业信息；

六自由度Stewart平台10，用于根据所述采集单元传输的所述运动姿态信息，复现所述真实挖掘机的运动状态；

显示单元30，用于展现所述环境信息和所述作业信息。

具体的，在本实施例中，以六自由度Stewart平台为基础搭建基于unity3D的虚拟挖掘机系统，模拟挖掘机的作业环境和工作状态，再通过远程操控和其他辅助手段实现挖掘机在真实环境下的远程作业。如此既能保障驾驶员人身安全，同时又有身临其境的真实感，可以显著的提高工作效率。

以六自由度Stewart平台10为基础搭建虚拟挖掘机系统硬件平台，通过远端真实作业环境中挖掘机上安装的IMU采集远端挖掘机的实时运动姿态信息，并反馈给六自由度Stewart平台10，控制六自由度Stewart平台10的运动，实现远端挖掘机运动姿态的实时再现。

通过安装在远端挖掘机上的采集单元，采集挖掘现场的环境信息和作业信息，并利用视频拼接等图像处理技术对作业环境信息图像进行处理，然后显示在显示单元30中，为挖掘机驾驶员提供操作指引。

通过远程操控技术和模拟挖掘机作业环境和工作状态等辅助手段实现挖掘机在真实环境下的远程作业。

在上述实施例的基础上，作为一种优选的实施方式，所述显示单元30包括VR设备和显示屏，所述VR设备用于显示所述真实挖掘机驾驶位的第一视角画面；并基于UI设计显示真实挖掘机工作时的环境位置、速度、姿态和工作状况；

所述显示屏用于辅助显示所述真实挖掘机驾驶位的第一视角画面，以及真实挖掘机工作时的环境位置、速度、姿态和工作状况。

具体的，利用unity3D引擎开发虚拟挖掘机系统，再结合VR设备，然后编写脚本，开发专门的软件系统，实现挖掘机在虚拟场景中的运动和挖掘作业，完成虚拟挖掘机的运动。通过远端挖掘机上提取挖掘机进行挖掘作业时挖掘机的姿态信息，并反馈给六自由度Stewart平台10，通过控制六自由度Stewart平台10实现虚拟挖掘机对远端真实挖掘机实际挖掘作业工况的复现。传输到虚拟挖掘机系统的VR眼镜，为挖掘机驾驶员提供操作指引，辅助挖掘机驾驶员进行远程遥操作，如此既能保障驾驶员人身安全，同时又有身临其境的真实感，可以显著的提高工作效率。

显示单元30包括VR眼镜和显示屏。借助VR技术开发的虚拟工作环境，通过3D全景图像和头部追踪技术可以真实再现远程挖掘机驾驶位的第一视角画面，并通过UI设计显示挖掘机驾驶时的环境位置、速度、姿态、工作状况等信息。因此虚拟现实技术可以很好地在视觉上还原挖掘机工作的真实情景，但由于VR设备的使用者唯一，显示屏可以作为辅助设备方便多人观察挖掘机的工作状况。二者的结合也可以满足不同人群对观感的需求。

在上述实施例的基础上，作为一种优选的实施方式，所述采集单元包括惯性测量单元IMU和摄像机，所述IMU用于实时采集所述真实挖掘机的运动姿态信息，并反馈至所述六自由度Stewart平台10；所述摄像机用于采集所述真实挖掘机所处挖掘现场的环境信息和作业信息，并传输至所述显示单元30。

具体的，通过IMU采集远端真实挖掘机的实时运动状态，并反馈给六自由度Stewart平台10，作为控制信号控制Stewart平台的运动，可以提高虚拟挖掘机的临场感，实现远端挖掘机运动姿态的实时再现，有利于提高挖掘机远程操作的准确性。通过VR设备(VR眼镜或VR头盔)再现挖掘现场的作业工况，为挖掘机驾驶员提供操作指引，辅助挖掘机操作人员进行远程遥操作，如此既能保障驾驶员人身安全，同时又有身临其境的沉浸感，可以显著的提高工作效率。

在上述实施例的基础上，作为一种优选的实施方式，还包括数据处理平台40(PC机)，所述数据处理平台40用于基于所述运动姿态信息确定所述真实挖掘机在空间内的三个平移加速度和三个角加速度，基于在空间内的三个平移加速度和三个角加速度确定所述真实挖掘机在X、Y、Z三个轴的位移变化和角度变化，并反馈至所述六自由度Stewart平台10。

数据处理平台40即是一台高性能PC，作为整个系统的核心来连接并控制上述各个组件，负责接收处理和传递数据信息，并且搭载了基于Unity3D引擎开发的虚拟挖掘机的软件系统，使用UDP/IP协议与下位机通讯，通过2个三自由度手柄的组合来操纵虚拟挖掘机行走或挖掘作业，并使六自由度Stewart平台10模拟挖掘机相应的运动状态或挖掘姿态。软件系统的虚拟场景包括挖掘机模型、地理模型、工作环境模型以及自然环境。其中地形、工作环境以及自然环境通过unity3D进行设计并搭建，再导入挖掘机模型，编写C#脚本来实现手柄控制挖掘机行走或挖掘工作，以及与运动平台的交互。为了让运动模拟平台在有限的工作空间内使驾驶员有持续的动感体验，还需要搭载体感算法模块。体感算法又称洗出算法，是为了让运动模拟平台在有限的空间范围内模拟一次突变运动后，能迅速复位，且复位过程中不能超过人体前庭器官的感知阈值，以便有足够的空间进行下一次运动。洗出算法框如图3所示。

在上述实施例的基础上，作为一种优选的实施方式，所述六自由度Stewart平台10包括运动控制器130、伺服驱动器110和伺服电缸120；

所述运动控制器130用于根据所述真实挖掘机在当前位姿下的位移变化和角度变化，确定六自由度Stewart平台10对应的伺服电缸120的伸长量；并发送至所述伺服驱动器110；

所述伺服驱动器110用于根据所述运动控制器130发送的伸长量，控制所述伺服电缸120伸缩，以复现所述真实挖掘机在远端挖掘作业时的状态。

具体的，通过虚拟现实技术和六自由度Stewart并联机器人技术来模拟真实挖掘机的操作控制、运动状态、工作环境以及作业工况，虚拟现实的感官仿真和六自由度Stewart平台10的体感模拟能够带来身临其境的沉浸感，可以提高虚操作拟挖掘机的临场感，实现远端挖掘机运动姿态和挖掘工况的实时再现，有利于提高挖掘机远程操作的准确性和远程挖掘机驾驶员的工作效率。利用unity3D引擎将搭载在远程真实挖掘机上的视频摄像机拍摄的作业现场环境和虚拟挖掘机模型进行融合，开发出虚拟挖掘机系统，再结合VR设备和显示屏对作业现场的环境信息进行显示，然后编写脚本，开发专门的软件系统，完成挖掘机在场景中的运动和挖掘姿态搭建，实现虚拟挖掘机的运动和挖掘作业。通过远端挖掘机上布置的IMU采集远程挖掘机在空间内3个平移加速度和3个旋转的角加速度，通过积分和滤波得到挖掘机进行挖掘作业时的真实姿态信息，并转换为六自由度Stewart平台10的位姿增量，运动控制器130通过反解程序求解六自由度Stewart平台10的6个伺服电缸120的伸长量并分别发送至平台的6个伺服驱动器110，然后反馈给六自由度Stewart平台10，通过控制六自由度Stewart平台10实现虚拟挖掘机对远端挖掘机(真实挖掘机)挖掘作业的真实状态的复现。图像传输模块通过安装在远端挖掘机上的摄像机采集挖掘现场环境信息和作业信息，利用视频拼接等图像处理技术对其进行处理，并传输到虚拟挖掘机系统的VR头盔，为挖掘机驾驶员提供操作指引，辅助挖掘机驾驶员进行远程遥操作，如此既能保障驾驶员人身安全，同时又有身临其境的真实感，可以显著的提高工作效率。

六自由度Stewart平台10包括运动控制器130、伺服驱动器110和伺服电缸120，其控制原理如图2所示。通过远端挖掘机(真实挖掘机)上布置的IMU采集远端机器人在空间内3个平移加速度和3个旋转的角加速度，传输给数据处理平台40的PC机处理得到远端挖掘机在X、Y、Z三个轴的位移变化和角度变化，并反馈给六自由度Stewart平台10，运动控制模块通过反解程序求解六自由度Stewart平台10的6个伺服电缸120的伸长量并分别发送至平台的6个伺服驱动器110，从而实现虚拟真实挖掘机对远端挖掘作业的真实状态的复现。

在上述实施例的基础上，作为一种优选的实施方式，还包括操作主手20；所述操作主手20包括第一三自由度操作手柄和第二三自由度操作手柄，通过所述第一三自由度操作手柄和所述第二三自由度操作手柄，控制行走和挖掘作业。

操作主手20采用两个具有三自由度的操作手柄，通过左右手柄不同自由度的组合，分别控制挖掘机的行走和挖掘作业，而与真机类似的双手协同控制可以在一定程度上还原真机的驾驶环境。根据对左右手柄不同功能的定义，可以控制虚拟挖掘机和远端真实挖掘机的前进、转弯、车体旋转以及大臂、小臂、斗杆和铲斗的升降张合，从而实现在虚拟挖掘机上完成远程挖掘的作业任务。该方案简单明了，容易上手，同时在方案设计时充分考虑了驾驶员的操作习惯，可以达到良好的模拟效果。

在上述实施例的基础上，作为一种优选的实施方式，还包括图像传输模块，所述图像传输模块连接所述摄像机和所述显示单元30，所述图像传输模块用于对摄像头采集的所述环境信息和作业信息进行拼接，得到适用于所述VR设备和显示屏显示的图像内容，提高单幅画面所包含的信息量，为驾驶员提供足够的工况信息，并将所述图像内容传输至所述VR设备和所述显示屏。

上述各实施例中的六自由度Stewart平台10可由三自由度、四自由度并联平台等替代；电动缸可由液压缸等替代；IMU可由位移传感器、加速度传感器等传感器替代；显示单元30可以只有VR眼镜或者其他头戴式显示设备。

综上所述，本发明实施例提供了一种基于unity3D的虚拟挖掘机系统，通过采集远端挖掘机的实时运动状态，并反馈给六自由度Stewart平台，作为控制信号控制Stewart平台的运动，可以提高虚拟挖掘机的临场感，实现远端挖掘机运动姿态的实时再现，有利于提高挖掘机远程操作的准确性，通过显示单元30再现挖掘现场的作业工况，为挖掘机驾驶员提供操作指引，辅助挖掘机操作人员进行远程遥操作，如此既能保障驾驶员人身安全，同时又有身临其境的沉浸感，可以显著的提高工作效率。

本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种基于unity3D的虚拟挖掘机系统，其特征在于，包括：

采集单元，设于远端作业的真实挖掘机上，用于实时采集所述真实挖掘机的运动姿态信息，并采集所述真实挖掘机所处挖掘现场的环境信息和作业信息；

六自由度Stewart平台，用于根据所述采集单元传输的所述运动姿态信息，复现所述真实挖掘机的运动状态；

显示单元，用于展现所述环境信息和所述作业信息。

2.根据权利要求1所述的基于unity3D的虚拟挖掘机系统，其特征在于，所述采集单元包括惯性测量单元IMU和摄像机，所述IMU用于实时采集所述真实挖掘机的运动姿态信息，并反馈至所述六自由度Stewart平台；所述摄像机用于采集所述真实挖掘机所处挖掘现场的环境信息和作业信息，并传输至所述显示单元。

3.根据权利要求1所述的基于unity3D的虚拟挖掘机系统，其特征在于，还包括数据处理平台，所述数据处理平台用于基于所述运动姿态信息确定所述真实挖掘机在空间内的三个平移加速度和三个角加速度，基于真实挖掘机在空间内的三个平移加速度和三个角加速度确定所述真实挖掘机在X、Y、Z三个轴的位移变化和角度变化，并反馈至所述六自由度Stewart平台。

4.根据权利要求3所述的基于unity3D的虚拟挖掘机系统，其特征在于，所述六自由度Stewart平台包括运动控制器、伺服驱动器和伺服电缸；

所述运动控制器用于根据所述真实挖掘机在当前位姿下的位移变化和角度变化，确定六自由度Stewart平台的对应的伺服电缸的伸长量；并发送至所述伺服驱动器；

所述伺服驱动器用于根据所述运动控制器发送的伸长量，控制所述伺服电缸伸缩，以复现所述真实挖掘机在远端挖掘作业时的状态。

5.根据权利要求3所述的基于unity3D的虚拟挖掘机系统，其特征在于，还包括操作主手；所述操作主手包括第一三自由度操作手柄和第二三自由度操作手柄，通过所述第一三自由度操作手柄和所述第二三自由度操作手柄，控制行走和挖掘作业。

6.根据权利要求2所述的基于unity3D的虚拟挖掘机系统，其特征在于，所述显示单元包括VR设备和显示屏，所述VR设备用于显示所述真实挖掘机驾驶位的第一视角画面；并基于UI设计显示真实挖掘机工作时的环境位置、速度、姿态和工作状况；

所述显示屏用于辅助显示所述真实挖掘机驾驶位的第一视角画面，以及真实挖掘机工作时的环境位置、速度、姿态和工作状况。

7.根据权利要求4所述的基于unity3D的虚拟挖掘机系统，其特征在于，所述运动控制器用于根据洗出算法和反解程序确定六自由度Stewart平台的对应的伺服电缸的伸长量。

8.根据权利要求6所述的基于unity3D的虚拟挖掘机系统，其特征在于，还包括图像传输模块，所述图像传输模块连接所述摄像机和所述显示单元，所述图像传输模块用于对摄像头采集的所述环境信息和作业信息进行拼接，得到适用于所述VR设备和显示屏显示的图像内容，并将所述图像内容传输至所述VR设备和所述显示屏。

Images