CN115060518A - 一种基于数字孪生技术的挖掘机器人实验平台 - Google Patents

Abstract

本发明公开一种基于数字孪生的挖掘机器人实验平台，包括服务器、虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块、多自由度挖掘机器人、控制器以及实验平台；服务器用于执行虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块和控制器所需的计算；虚拟场景生成模块实时生成挖掘机器人孪生体所需要的虚拟作业环境，通过路径及轨迹规划模块实现挖掘机器人孪生体的运动控制；控制器控制多自由度挖掘机器人的运动，并采集多自由度挖掘机器人反馈的信息；通过网络与所述虚拟场景生成模块通信，实时交换虚拟和现实信息；实验平台包括沙盘以及设置在顶部的激光雷达，沙盘用于模拟施工现场的作业环境，多自由度挖掘机器人在沙盘上作业。

Description

一种基于数字孪生技术的挖掘机器人实验平台

技术领域

本发明涉及机器人技术领域，尤其涉及一种基于数字孪生技术的挖掘机器人实验平台。

背景技术

建筑工地是全世界最危险的工作环境之一，伤亡率很高。据统计，平均每年有五分之一的致命职业伤害归因于建筑行业。而涉及挖掘机等重型建筑设备的操作是大多数建筑项目的关键组成部分。由于空间限制和时间紧迫，重型建筑设备、车辆和工人通常需要在有限的工作空间内同时工作，这通常会导致安全性和生产力方面的性能欠佳。设备和工作区的盲点是碰撞事故发生的主要原因之一。工人长时间高度集中并暴露于噪声环境，使其经常处于疲劳状态，这就会大大影响工人和重型设备的操作人员鉴别危险的能力，从而增加发生安全事故的概率。

因此，挖掘机等重型建筑的遥操作就变得非常重要。国内外学者针对遥操作工程机器人展开了许多研究，研究人员利用工作环境中的多个视角的信息重建出完整的三维场景，为远程操作者提供了多个视角，从而让操作者更简单、安全的完成任务。但是，图片的传输数据量巨大，时延较大。于是有的研究人员利用双目立体视觉提示方法，在重型建筑设备的关键部位贴上定位标识，采用贴纸上的点作为特征点进行匹配，但实际效果会受到光照影响，鲁棒性不强。

发明内容

本发明提供了一种基于数字孪生技术的挖掘机器人实验平台。该平台以数字孪生为基础，能够生成基于增强现实的人机交互界面，摆脱操作人员的视野局限，全方位的掌握整个施工现场的变化信息。

为实现上述目的，本发明所采用的具体技术方案为：

本发明主要包括服务器、虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块、多自由度挖掘机器人、控制器以及实验平台。

所述服务器，用于执行虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块和控制器所需的计算。控制器安装在多自由度挖掘机器人上。

所述虚拟场景生成模块，由3D虚拟现实软件仿真生成，通过读取数据库中的激光点云数据和已建立的场景三维模型，实时生成挖掘机器人孪生体所需要的虚拟作业环境，并通过外接控制摇杆和体感控制器，通过路径及轨迹规划模块实现挖掘机器人的运动控制。外接的控制摇杆和体感控制器，通过路径及轨迹规划模块采集操作人员左手手指关节的弯曲变化，并根据虚拟作业环境的地形规划合理的运动路径和轨迹，用于控制挖掘机器人孪生体的机械臂姿态，并进一步控制多自由度挖掘机器人的机械臂姿态。

所述多自由度挖掘机器人，包括铲斗、斗杆、动臂、旋转工作台和行走装置、霍尔编码器以及角度传感器。角度传感器安装于铲斗、斗杆、动臂以及旋转工作台上，用于实时获取挖掘机器人的工作状态。霍尔编码器安装于行走装置的电机上，用于精确反馈挖掘机器人的行走速度和距离。多自由度挖掘机器人与虚拟场景中的挖掘机器人孪生体在外形和功能方面一一对应，挖掘机器人孪生体通过接收到的多自由度挖掘机器人传感器数据可以实现与多自由度挖掘机器人的一致性运动；挖掘机器人孪生体的运动轨迹和运动路径也可以在虚拟环境中进行规划，并实现对多自由度挖掘机器人的运动控制。

所述控制器，包括树莓派4B以及电机驱动板，树莓派4B通过GPIO口与电机驱动板相连，输出控制信号控制所述多自由度挖掘机器人的运动，并采集角度传感器和霍尔传感器反馈的信息；通过网络与所述虚拟场景生成模块通信，实时交换虚拟和现实信息，同时通过驱动板，根据生成的轨迹控制多自由度挖掘机器人执行各种动作，完成各种任务；所述实验平台，包括沙盘、立柱、电动滑轨以及激光雷达，沙盘用于模拟施工现场的作业环境，周围立有四根立柱，立柱与立柱之间通过电动滑轨相连，激光雷达安装于沙盘顶部的电动滑轨上，用于实时采集多自由度挖掘机器人的位置及姿态信息和沙盘内沙堆的变化，并将作业环境的变化数据同步到所述虚拟场景生成模块，更新虚拟作业场景。

优选的，所述虚拟场景生成模块，能够根据实验平台沙盘上方的激光雷达实时采集的3D激光点云和数据库中已建立的虚拟场景三维模型，通过三维网格动态可视化技术生成与所述实验平台一致的挖掘机器人虚拟作业场景，并能够实时更新虚拟作业场景；通过外接控制遥杆和体感控制器的联合控制，结合路径及轨迹规划模块，控制多自由度挖掘机器人的运动状态；通过网络与所述多自由度挖掘机器人的控制器通信，将摇杆和体感控制器的控制命令同步到所述多自由度挖掘机器人上，能够控制多自由度挖掘机器人在所述实验平台内作业。

优选的，所述实验平台的沙盘能够模拟施工现场的作业环境，反馈的激光点云数据传输至服务器内的数据库，用于在所述虚拟场景生成模块中进行多自由度挖掘机器人的同步定位和实时建图，同时实时更新虚拟作业场景。

本发明还提供一种基于数字孪生的挖掘机器人实验方法，具体通过以下步骤实现功能：

步骤1：操作人员将实验平台内的激光雷达与虚拟场景生成模块相连，然后运行虚拟场景生成模块和挖掘机器人孪生体，同时根据激光雷达反馈的沙盘数据，同步进行定位建图，初始化虚拟作业场景。

步骤2：接通多自由度挖掘机器人的电源，打开动力开关，使多自由度挖掘机器人处于监听状态。此时多自由度挖掘机器人将与虚拟场景生成模块建立通信，将各个关节角度信息同步到虚拟场景生成模块，初始化挖掘机器人孪生体的姿态。

步骤3：操作人员将控制摇杆以及体感控制器与虚拟场景生成模块相连。操作人员确认虚拟场景和多自由度挖掘机器人的孪生体与沙盘场景和多自由度挖掘机器人位置与姿态对应无误后，即可开始实验。

步骤4：操作人员选择摇杆按键：如果选择手动模式，则可以根据虚拟场景生成模块的人机交互界面上显示的虚拟作业场景，通过摇杆控制挖掘机器人孪生体到达设定的目标位置；如果选择自动模式，则利用路径规划和轨迹优化方法，根据设定的任务，自动生成挖掘轨迹。无论哪种模式，多自由度挖掘机器人和挖掘机器人孪生体都将通过传输的轨迹控制保持运动的一致性。

步骤 5：操作人员将左手置于体感控制器上方，右手操作控制摇杆。此时通过左手手指的弯曲变化，基于生成的轨迹可以控制挖掘机器人孪生体，并进一步控制多自由度挖掘机器人在作业场景内执行各种设定的挖掘任务。同时，位于沙盘顶部的激光雷达会实时反馈沙盘变化数据到虚拟场景生成模块，实时更新虚拟作业场景。

步骤6：操作人员通过摇杆按键选择自动模式，在该模式下可选择预先设置好的多种挖掘任务，进行自动作业。虚拟场景生成模块将根据选择的挖掘任务，依靠多自由度挖掘机器人的传感器以及沙盘电动滑轨上的激光雷达反馈的实时数据，实时规划路径，自主作业。

由于采用了上述技术方案，本发明取得的技术效果如下：

本申请的一种基于数字孪生的挖掘机器人实验平台以数字孪生技术为基础，通过读取多自由度挖掘机器人的关节数据，远程同步到挖掘机器人孪生体中，通过外接控制遥杆和体感控制器，配合基于增强现实技术的人机交互界面，操作人员可以全方位的观察整个施工现场，消除传统作业场景下的视野盲区，避免安全事故的发生。

本发明相对比其它方法，可以通过读取数据库中的激光点云数据和已建立的场景三维模型，实时生成挖掘机器人孪生体所需要的虚拟作业环境。孪生体位姿的更新只需要同步挖掘机器人的关节点数据，不需要传输完整的图像数据 ，大大减小了时延。外接的控制遥杆和体感控制器，使操作人员的体验感更真实。

本申请的方法解决了传统工程机械对操作人员上手难度要求高，无法全方位观察整个施工现场，存在视野盲区等问题，从而提高整个工程的作业效率。

附图说明

图1为实验平台整体结构框图；

图2为实验平台整体示意图；

图3为沙盘模拟挖掘场景图；

图4为多自由度挖掘机器人结构图；

图5为控制器和电机驱动板接线图；

图6为电机驱动板原理图；

其中，1、斗杆，2、铲斗，3、动臂，4、旋转机构，5、行走装置，6、激光雷达。

具体实施方式：

以下将参考附图详细说明本发明的具体实施方式。

如图1和图2所示，一种基于数字孪生技术的挖掘机器人实验平台，包括服务器、虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块、多自由度挖掘机器人、控制器以及实验平台；所述服务器，用于执行虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块和控制器所需的计算；所述虚拟场景生成模块实时生成挖掘机器人孪生体所需要的虚拟作业环境，通过路径及轨迹规划模块实现挖掘机器人孪生体的运动控制；多自由度挖掘机器人与虚拟场景中的挖掘机器人孪生体在外形和功能方面一一对应，挖掘机器人孪生体通过接收到的多自由度挖掘机器人传感器数据可以实现与多自由度挖掘机器人的一致性运动； 所述控制器控制多自由度挖掘机器人的运动，并采集多自由度挖掘机器人反馈的信息；通过网络与所述虚拟场景生成模块通信，实时交换虚拟和现实信息；所述实验平台，包括沙盘以及设置在顶部的激光雷达6，沙盘用于模拟施工现场的作业环境，多自由度挖掘机器人在沙盘上作业，激光雷达6用来采集沙盘内的变化数据。

虚拟场景生成模块由3D虚拟现实软件仿真生成，通过读取数据库中的激光点云数据和已建立的场景三维模型实时生成挖掘机器人孪生体所需要的虚拟作业环境，虚拟场景生成模块外接控制摇杆和体感控制器，服务器控制体感控制器的计算。

外接的体感控制器选用市面上相对成熟的Leap Motion模块，该模块搭载了高帧率双目摄像系统，通过双目立体视觉成像原理提取手部的三维位置，能够同时追踪人的十根手指，并输出各个关节的变化数据，精度高达1/100毫米。并且经过算法的优化，采集速度能够达到每秒200帧，手指的任何一点变化都能够及时的采集。本申请将其用于采集操作者食指关节的弯曲变化，从而控制挖掘机器人孪生体的机械臂姿态，结合控制摇杆的数据，并根据虚拟作业环境的地形，利用路径及轨迹规划模块规划合理的轨迹，并进一步控制多自由度挖掘机器人的姿态。

如图 3所示，沙盘能够模拟各种挖掘环境，并且可以人为增加各种障碍物，使实验的场景更加灵活多变，对多自由度挖掘机器人的控制精确性、及时性、稳定性要求更高。沙盘顶部的激光雷达6能够通过电动滑轨自由移动，实时采集沙盘内部的变化信息，虚拟场景生成模块可根据这些信息更新虚拟作业场景。

如图 4所示，多自由度挖掘机器人拥有和现实挖掘机相似的结构，同样拥有铲斗2、斗杆1、动臂3、旋转机构4以及行走装置5，行走装置5也采用履带式结构，能够应对各种复杂环境。霍尔编码器以及角度传感器安装于多自由度挖掘机器人上，收集多自由度挖掘机器人工作时的姿态和位置信息。

如图5所示，控制器包括树莓派4B以及电机驱动板，树莓派4B通过GPIO口与电机驱动板相连，采集角度传感器和霍尔传感器反馈的信息，进而得知多自由度挖掘机器人的角度信息和速度信息，并进一步控制多自由度挖掘机器人运动。

如图6所示，电机驱动板包括电源电路和电机驱动电路，电源电路将输入电压降低到3.3V和5V，满足电机驱动电路所需要的电压。电机驱动电路能够放大GPIO口的驱动电流，使得负载能力很弱的GPIO口有能力控制多自由度挖掘机器人的运动。

进行实验时，首先在沙盘内设置好挖掘环境，包括挖掘目标以及周围的障碍物。将多自由度挖掘机器人置于沙盘内，将激光雷达与虚拟场景生成模块相连。接着启动虚拟场景生成模块，观察人机交互界面，直到虚拟场景生成模块根据激光点云数据对挖掘机器人孪生体位置以及作业环境初始化完成。将虚拟场景生成模块外接控制摇杆和体感控制器，并接通多自由度挖掘机器人的电源，等待挖掘机器人孪生体与多自由度挖掘机器人姿态一致后，即可配合人机交互界面，通过控制摇杆和体感控制器操控挖掘机器人在沙盘内工作。

可以将基于数字孪生的挖掘机器人实验平台应用于实际，多自由度挖掘机器人对应实际挖掘机，实验平台对应实际施工现场，激光雷达可单独安装于另外的工程机械设备上，以适应复杂多变的施工环境。

也可以将多自由度挖掘机器人更换为其他的工程机械机器人，如推土机器人，装载机器人、自卸汽车机器人等，只需要事先在虚拟环境生成模块生成与之对应的机器人孪生体，再将角度传感器和霍尔编码器安装在对应位置。通过网络与孪生体建立联系，即可实现孪生体和真实体的一致性运动。

本说明书中在以本发明的控制方案为前提下，给出了详细的实施方式和具体的操作过程，但本发明不限于上述实现方式，故本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：包括服务器、虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块、多自由度挖掘机器人、控制器以及实验平台；

所述服务器，用于执行虚拟场景生成模块、挖掘机器人孪生体、路径及轨迹规划模块和控制器所需的计算；

所述虚拟场景生成模块实时生成挖掘机器人孪生体所需要的虚拟作业环境，通过路径及轨迹规划模块实现挖掘机器人孪生体的运动控制；

多自由度挖掘机器人与虚拟场景中的挖掘机器人孪生体在外形和功能方面一一对应，挖掘机器人孪生体通过接收到的多自由度挖掘机器人传感器数据可以实现与多自由度挖掘机器人的一致性运动；

所述控制器控制多自由度挖掘机器人的运动，并采集多自由度挖掘机器人反馈的信息；通过网络与所述虚拟场景生成模块通信，实时交换虚拟和现实信息；

所述实验平台，包括沙盘以及设置在顶部的激光雷达（6），沙盘用于模拟施工现场的作业环境，多自由度挖掘机器人在沙盘上作业，激光雷达（6）用来采集沙盘内的变化数据。

2.根据权利要求1所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：所述多自由度挖掘机器人包括铝合金铲斗、斗杆、动臂、旋转工作台、行走装置，多自由度挖掘机器人上安装有霍尔编码器、角度传感器以及控制器，霍尔编码器和角度传感器收集多自由度挖掘机器人工作时的姿态和位置信息。

3.根据权利要求2所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：虚拟场景生成模块由3D虚拟现实软件仿真生成，通过读取数据库中的激光点云数据和已建立的场景三维模型实时生成挖掘机器人孪生体所需要的虚拟作业环境，虚拟场景生成模块外接控制摇杆和体感控制器；所述控制器包括树莓派4B以及电机驱动板，树莓派4B通过GPIO口与电机驱动板相连，采集角度传感器和霍尔传感器反馈的信息。

4.根据权利要求2所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：角度传感器安装于多自由度挖掘机器人的铲斗、斗杆、动臂以及旋转工作台上，用于实时获取多自由度挖掘机器人的姿态，霍尔编码器安装于行走装置的电机上，用于精确反馈多自由度挖掘机器人的行走速度和距离。

5.根据权利要求1所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：外接的体感控制器通过采集操作者食指关节的弯曲变化，用于控制挖掘机器人孪生体的机械臂姿态，结合控制摇杆的数据，并根据虚拟作业环境的地形，利用路径及轨迹规划模块规划合理的轨迹，并进一步控制多自由度挖掘机器人的姿态。

6.根据权利要求1所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：所述实验平台，还包括立柱、电动滑轨，沙盘周围设置有四根立柱，立柱之间通过电动滑轨相连，激光雷达（6）安装于沙盘顶部的电动滑轨上。

7.根据权利要求6所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：激光雷达反馈的激光点云数据传输至服务器内的数据库，用于实时采集沙盘内沙堆的变化，在所述虚拟场景生成模块中进行多自由度挖掘机器人的同步定位和实时建图，并将作业环境的变化数据同步到所述虚拟场景生成模块，实时更新虚拟作业场景。

8.根据权利要求7所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：虚拟场景生成模块根据实验平台沙盘上方的激光雷达（6）实时采集的激光点云和数据库中已建立的虚拟场景三维模型，通过三维网格动态可视化技术生成与所述实验平台一致的挖掘机器人虚拟作业场景，并能够实时更新虚拟作业场景；通过外接控制遥杆和体感控制器的联合控制，结合路径及轨迹规划模块，控制多自由度挖掘机器人的工作状态；通过网络与多自由度挖掘机器人的控制器通信，将控制摇杆和体感控制器的控制命令同步到所述多自由度挖掘机器人上，能够控制多自由度挖掘机器人在所述实验平台内作业。

9.根据权利要求3所述的一种基于数字孪生技术的挖掘机器人实验平台，其特征在于：所述实验流程包括如下步骤：

步骤1，操作人员将实验平台内的激光雷达（6）与虚拟场景生成模块相连，然后运行虚拟场景生成模块，同时根据激光雷达（6）反馈的沙盘激光雷达数据，同步进行定位建图，初始化虚拟作业场景；

步骤2，接通多自由度挖掘机器人的电源，打开动力开关，使多自由度挖掘机器人处于监听状态，此时多自由度挖掘机器人将与虚拟场景生成模块建立通信，将各个关节角度信息同步到虚拟场景生成模块，初始化挖掘机器人孪生体的姿态；

步骤3，操作人员将控制摇杆以及体感控制器与虚拟场景生成模块相连，操作人员确认虚拟场景和挖掘机器人孪生体与沙盘场景和多自由度挖掘机器人位置与姿态对应无误后，即可开始实验；

步骤4，操作人员选择摇杆按键：如果选择手动模式，则可以根据虚拟场景生成模块的界面上显示的虚拟作业场景，通过摇杆控制挖掘机器人孪生体到达设定的目标位置；如果选择自动模式，则利用路径规划及轨迹规划方法，根据设定的任务，自动生成挖掘轨迹；

步骤 5，操作人员将左手置于体感控制器上方，右手操作控制摇杆，此时通过左手手指的弯曲变化，基于生成的轨迹可以控制挖掘机器人孪生体机械臂姿态，并进一步控制多自由度挖掘机器人在作业场景内执行各种设定的挖掘任务，同时，位于沙盘顶部的激光雷达（6）会实时反馈沙盘变化数据到虚拟场景生成模块，实时更新虚拟作业场景；

步骤6：操作人员通过摇杆按键选择自动模式，在该模式下可选择预先设置好的多种挖掘任务，进行自动作业，虚拟场景生成模块将根据选择的挖掘任务，依靠多自由度挖掘机器人的传感器以及沙盘电动滑轨上的激光雷达反馈的实时数据，实时规划路径，自主作业。

Images