CN108177149A - 基于mr和运动规划技术的可移动机械臂控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于MR和运动规划技术的可移动机械臂控制系统及方法，该系统由移动平台、机械臂组件、深度相机、电源管理系统、MR显示装置、位姿捕获装置、MR力反馈装置和后台工控机组成；该控制方法为将危险环境的3D信息通过虚拟技术实时呈现在作业员的眼前，作业员通过带有MR力反馈装置的模拟手臂，对现场机械臂进行控制，MR显示装置通过虚拟技术把现场处置情况实时重构，让作业员获得身临其境的真实感。本发明将传统遥控式机械臂控制变为交互式智能控制，具有使用更加灵活，真实模拟现场环境，远程控制体验极佳，操作精度和准确度高等特点，可用于危险环境中的探测和抓取任务，将作业员从危险环境中彻底解放出来。

Description

基于MR和运动规划技术的可移动机械臂控制系统及方法

技术领域

本发明属于可移动机械臂控制领域，具体涉及一种基于MR（混合现实技术）和运动规划技术的可移动机械臂控制系统及方法。

背景技术

小型关节型机械臂，因其能够胜任一定程度的探测和抓取任务，现如今已经被广泛应用于多种行业中。但目前现有的小型关节型机械臂存在以下缺点：

1.操作不灵活；

2.机械臂负载小；

3.后端控制人员与前端机械臂是单向控制，没有交互；

4.危险领域的远程控制体验很差，精度控制不理想；

5.移动性能差。

发明内容

为克服现有现有技术中的不足，本发明提供一种基于MR（混合现实技术）和运动规划技术的可移动机械臂控制系统及方法，可在后端操作人员面前将前端机械臂所处的环境进行实时重构，并提供力反馈，让工作人员获得身临其境的真实感。

为解决上述技术问题，实现上述技术效果，本发明通过以下技术方案实现：

一种基于MR和运动规划技术的可移动机械臂控制系统，包括移动平台、机械臂组件、深度相机、电源管理系统、MR显示装置、位姿捕获装置、MR力反馈装置和后台工控机；

所述移动平台由主控系统、动力系统、导航系统、通信系统和声光系统；

所述主控系统分别与所述动力系统、所述导航系统、所述通信系统和所述声光系统连接，用于收集数据，处理数据以及发送指令；

所述动力系统用于为所述移动平台提供载体和动力；

所述导航系统用于为所述移动平台提供精确定位和避障导航，用于检测所述移动平台的当前运动姿态，以及用于扫描所述移动平台所处的当前环境，并构建3D环境图；

所述通信系统用于所述移动平台与所述后台工控机之间数据和图像的传输，以及用于手动遥控所述移动平台的运行；

所述声光系统用于为所述移动平台所处的周围环境提供照明灯光、提示灯光和警报灯光，用于显示所述移动平台和所述机械臂组件的工作状态，以及用于与后台进行对讲；

所述机械臂组件安装在所述移动平台上，所述机械臂组件由机械臂控制板和机械臂本体结构组成；所述机械臂本体结构是指基于移动底盘受力分析，自主设计的一款关节型机械臂装置，该装置在保障所述移动平台不翻车的前提下通过大臂和小臂的长度设计最大限度的提高机械臂负载；

所述机械臂控制板与所述移动平台中的所述主控系统连接，所述机械臂控制板中包含IKfast逆运动学求解器算法，该算法是指基于所述机械臂本体结构的特定结构，通过IKfast逆运动学求解器算法来实现只需要提供空间坐标点和被抓取物体的姿态就可以自动抓取物体的功能；其中被抓取物体的位姿是通过所述移动平台上的所述激光雷达传感器和所述深度相机获取的；

所述机械臂本体结构上设置有六轴力传感器和陀螺仪，所述六轴力传感器用于采集所述机械臂本体结构的受力信息，并将受力信息传送给所述主控系统；

所述深度相机安装在所述机械臂组件上，且所述深度相机与所述移动平台中的所述主控系统连接，用于采集所述机械臂组件周围的3D信息，并将3D信息传送给所述主控系统；

所述电源管理系统安装在所述移动平台上，用于为所述移动平台、所述机械臂组件和所述深度相机提供电力；

所述后台工控机分别与所述移动平台、所述MR显示装置、所述位姿捕获装置、所述MR力反馈装置无线连接；所述后台工控机用于遥控所述移动平台的运行，用于向所述MR显示装置传输所述深度相机提供的3D信息、所述导航系统提供的3D环境图，用于向所述机械臂控制板传输所述位姿捕获装置提供的操作员手臂手腕的位姿消息格式，用于收集所述六轴力传感器提供的受力信息，再经过受力与施力算法处理后把施力数据输出给所述MR力反馈装置；

所述MR显示装置用于收集、融合所述深度相机提供的3D信息和所述导航系统提供的3D环境图，再经过视觉算法（光场扫描动、静态人物模型快速创造算法和深度扫描即时建模算法）处理后生成所述移动平台所处环境的3D虚拟场景；

所述位姿捕获装置中包含有陀螺仪，所述陀螺仪用于采集操作员手臂的前、后、左、右、上、下的位置信息和手腕俯仰、翻转、倾斜的姿态信息，所述位姿捕获装置则用于收集、融合所述陀螺仪提供的位置信息和姿态信息，再经过算法处理后生成标准的位姿消息格式，经所述后台工控机传输给所述机械臂控制板；

所述MR力反馈装置用于接收所述后台工控机提供的施力数据，并向作业人员体现真实的所述机械臂本体结构的受力情况。

进一步的，所述主控系统为工业计算机，其配置有intel i5处理器，120G固态硬盘，4G DDR4内存，并带有CAN接口、串口、RJ45网口和无线收发模块。

进一步的，所述电源管理系统包括BMS单元和锂电池组，所述BMS单元作为所述锂电池组的管理保护器，为所述锂电池组提供过压保护、过流保护、短路保护等功能，同时将所述锂电池组的输出电压稳定至合适电压后，给所述移动平台、所述机械臂组件和所述深度相机供电。

进一步的，所述动力系统包括伺服电机、电机驱动器和车轮机构，所述伺服电机的一端通过所述电机驱动器与所述主控系统连接，所述伺服电机的另一端与所述车轮机构连接；

其中，所述车轮机构为四轮机构或履带机构，作为所述移动平台的移动载体；

所述伺服电机用于为所述车轮机构提供动力，功率大于500W，其内部还集成减速机构，具有电磁刹车功能；

所述电机驱动器具有网络通信口、CAN总线接口和232串口，驱动功率大于500W，具有电压反馈、电流反馈、过载保护功能，作为所述伺服电机的控制器，用于调节所述伺服电机的转速，并对所述伺服电机进行保护。

进一步的，所述导航系统包括卫星导航模块、惯性导航模块和激光导航模块；所述卫星导航模块、所述惯性导航模块和所述激光导航模块分别与所述主控系统连接；

其中，所述卫星导航模块包含北斗导航接收机、GPS导航接收机、伽利略导航接收机和GLONASS导航接收机，分别支持中国北斗系统、美国GPS系统、欧洲伽利略系统和俄罗斯GLONASS系统，用于所述移动平台的定位；

所述惯性导航模块包含为六轴加速度传感器和电子罗盘，用于检测所述移动平台的当前运动姿态；

所述激光导航模块包含3D激光雷达传感器，其扫描距离大于30米，用于扫描所述移动平台所处的当前环境，构建3D环境图。

进一步的，所述通信系统包括数据传输模块、手持遥控器和图像传输模块，所述数据传输模块、所述手持遥控器和所述图像传输模块分别与所述主控系统连接；

其中，所述数据传输模块包含4G DTU模块和无线终端接入设备，所述4G DTU模块用于所述移动平台与所述后台工控机之间的4G通信，支持全网通，同时兼容GPRS/3G 无线通讯；所述无线终端接入设备用于所述移动平台与所述后台工控机之间的WIFI通信，在所述无线终端接入设备接入附近的WIFI网络后，所述移动平台即可与连接在WIFI网络中的所述后台工控机进行通信；

所述图像传输模块为无线图传设备，用于所述移动平台与所述后台工控机的点对点图像传输；

所述手持遥控器用于手动控制所述移动平台、所述机械臂组件和所述深度相机。

进一步的，所述声光系统包括照明灯、转向灯、尾灯、刹车灯、声光报警灯、移动平台及机械臂状态灯、拾音器和扬声器；其中，所述拾音器用于采集所述移动平台的现场声音信息，所述扬声器用于播放提醒声音与所述后台进行对讲。

一种基于MR和运动规划技术的可移动机械臂的控制方法，包括以下步骤：

步骤1）移动平台通过自身携带的卫星导航模块、惯性导航模块和激光导航模块，再结合SLAM算法（即时定位与地图构建算法），获取前进路线的导航，避开中途障碍，使其最终到达指定位置；或利用机械臂本体结构上安装的深度相机获取视频图像，再加上手持遥控器来遥控所述移动平台到达指定位置；

步骤2）到达指定位置后，所述移动平台中的主控系统一方面控制所述激光导航模块利用其3D激光雷达传感器扫描所述移动平台所处的当前环境，构建3D环境图，另一方面控制安装在机械臂本体结构上的深度相机采集所述机械臂本体结构周围的3D信息；然后，所述主控系统通过数据传输模块和图像传输模块分别将3D环境图数据和3D信息传输给后台工控机；

步骤3）所述后台工控机将所述激光导航模块提供的3D环境图和所述深度相机提供的3D信息通过无线传输转发给位于后端操作员处的MR显示装置，所述MR显示装置将收集到的3D信息和3D环境图进行融合，再经过视觉算法（光场扫描动/静态人物模型快速创造算法和深度扫描即时建模算法）处理后生成所述移动平台所处环境的3D虚拟场景，此时操作员眼前将一比一的虚拟出前端传输过来的现场三维信息；

步骤4）3D虚拟场景呈现后，操作员对位姿捕获装置上的遥感设备进行操作，所述位姿捕获装置中陀螺仪分别获取操作员手臂的前、后、左、右、上、下的位置信息和操作员手腕俯仰、翻转、倾斜的姿态信息；然后，所述位姿捕获装置将所述陀螺仪提供的位置信息和姿态信息进行融合，再经过算法处理后生成标准的位姿消息格式；

步骤5）所述位姿捕获装置通过所述后台工控机将位姿消息格式同步传输给所述机械臂控制板，所述机械臂控制板利用收到的位姿消息格式，结合IKfast逆运动学求解器算法，将所述机械臂本体结构的位置和姿势调整为作业人员当前的位置和姿势，并对现场环境中的物体进行自动抓取；如果操作员的手臂和手腕没有发生位置和姿势的变化，则无位姿消息格式被传输到所述机械臂控制板，所述机械臂本体结构的位姿保持不变；

步骤6）在抓取到物体之后，位于所述机械臂本体结构上的六轴力传感器开始采集所述机械臂本体结构的受力信息，并将受力信息传送给后台工控机，所述后台工控机通过受力与施力算法，将所述六轴力传感器提供的所述机械臂本体结构的受力信息处理成施力数据，再把所述施力数据输出给位于后端操作员处的MR力反馈装置，让操作员逼真的感受到前端机械臂的受力情况，以达到精确控制的目的；

步骤7）如果所述机械臂本体结构在运动过程中移动了现场的某个物体，或者改变了某个物体的状态，所述激光导航模块和所述深度相机则立即采集现场的3D环境图和3D信息，并同步传输给后端的所述MR显示装置，所述MR显示装置在获取更新后的3D环境图和3D信息后，就会同步更新虚拟出来的场景，从而做到前后端场景的虚实同步；

步骤8）当所述移动平台中的锂电池组的电量不足时，所述移动平台通过所述卫星导航模块、所述惯性导航模块和所述激光导航模块自动前往充电站进行充电。

与现有技术相比，本发明的有益效果是：

1、本发明采用了具有避障导航技术（SLAM）的移动平台作为机械臂的载具，并结合手持遥控器，提供了自动和遥控两种控制方式，使得本发明的移动机械臂的使用更加灵活，可以代替人类前往多种危险环境。

2、本发明的机械臂是一款自主设计的关节型机械臂装置，该装置在保障移动平台不翻车的前提下，通过大臂和小臂的长度设计，最大限度地提高了机械臂的负载，解决了现有小型关节型机械臂存在的负载较小的问题。

3、本发明通过MR（混合现实技术）技术，将前端机械臂所述的现场环境以及当场处置情况的3D信息实时地，一比一地呈现在作业员所佩戴的MR显示装置上，让作业员如同身临其境，尤其是当作业人员在操作机械臂处理危险物品时能够获取足够的真实感。

4、本发明通过力反馈的控制方式，将前端机械臂的受力情况真实地体现在后端模拟手臂的MR力反馈装置上，让作业员在控制机械臂抓取物体时能够逼真地感受到阻力，从而感受到前端机械臂的真实受力情况，大大提高了控制精度。

5、本发明结合移动机器人技术、MR技术以及机械臂控制技术，将传统遥控式机械臂控制变为交互式智能控制，具有使用更加灵活，真实模拟现场环境，远程控制体验极佳，操作精度和准确度高等特点，可用于危险环境中的探测和抓取任务，将作业员从危险环境中彻底解放出来。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的可移动机械臂控制系统的系统架构图。

图2为本发明的可移动机械臂控制系统的具体结构示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。此处所作说明用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

参见图1~2所示，一种基于MR和运动规划技术的可移动机械臂控制系统，包括移动平台1、机械臂组件2、深度相机3、电源管理系统4、MR显示装置5、位姿捕获装置6、MR力反馈装置7和后台工控机8。

所述移动平台1由主控系统11、动力系统12、导航系统13、通信系统14和声光系统15；

所述主控系统11为工业计算机，其配置有intel i5处理器，120G固态硬盘，4G DDR4内存，并带有CAN接口、串口、RJ45网口和无线收发模块；所述主控系统11分别与所述动力系统12、所述导航系统13、所述通信系统14和所述声光系统15连接，用于收集数据，处理数据以及发送指令。

所述动力系统12包括伺服电机121、电机驱动器122和车轮机构123，所述伺服电机121的一端通过所述电机驱动器122与所述主控系统11连接，所述伺服电机121的另一端与所述车轮机构123连接；

其中，所述车轮机构123为四轮机构或履带机构，作为所述移动平台1的移动载体；

所述伺服电机121用于为所述车轮机构123提供动力，功率大于500W，其内部还集成减速机构，具有电磁刹车功能；

所述电机驱动器122具有网络通信口、CAN总线接口和232串口，驱动功率大于500W，具有电压反馈、电流反馈、过载保护功能，作为所述伺服电机121的控制器，用于调节所述伺服电机121的转速，并对所述伺服电机121进行保护。

所述导航系统13包括卫星导航模块131、惯性导航模块132和激光导航模块133；所述卫星导航模块131、所述惯性导航模块132和所述激光导航模块133分别与所述主控系统11连接；

其中，所述卫星导航模块131包含北斗导航接收机、GPS导航接收机、伽利略导航接收机和GLONASS导航接收机，分别支持中国北斗系统、美国GPS系统、欧洲伽利略系统和俄罗斯GLONASS系统，用于所述移动平台1的定位；

所述惯性导航模块132包含为六轴加速度传感器和电子罗盘，用于检测所述移动平台1的当前运动姿态；

所述激光导航模块133包含3D激光雷达传感器，其扫描距离大于30米，用于扫描所述移动平台1所处的当前环境，构建3D环境图。

所述通信系统14包括数据传输模块141、手持遥控器143和图像传输模块142，所述数据传输模块141、所述手持遥控器143和所述图像传输模块142分别与所述主控系统11连接；

其中，所述数据传输模块141包含4G DTU模块和无线终端接入设备，所述4G DTU模块用于所述移动平台1与所述后台工控机8之间的4G通信，支持全网通，同时兼容GPRS/3G 无线通讯；所述无线终端接入设备用于所述移动平台1与所述后台工控机8之间的WIFI通信，在所述无线终端接入设备接入附近的WIFI网络后，所述移动平台1即可与连接在WIFI网络中的所述后台工控机8进行通信；

所述图像传输模块142为无线图传设备，用于所述移动平台1与所述后台工控机8的点对点图像传输；

所述手持遥控器143用于手动控制所述移动平台1、所述机械臂组件2和所述深度相机3。

所述声光系统15包括照明灯151、转向灯152、尾灯153、刹车灯154、声光报警灯155、移动平台及机械臂状态灯157、拾音器157和扬声器158；其中，所述拾音器157用于采集所述移动平台1的现场声音信息，所述扬声器158用于播放提醒声音与所述后台进行对讲。

所述机械臂组件2安装在所述移动平台1上，所述机械臂组件2由机械臂控制板21和机械臂本体结构22组成；所述机械臂本体结构22是指基于移动底盘受力分析，自主设计的一款关节型机械臂装置，该装置在保障所述移动平台1不翻车的前提下通过大臂和小臂的长度设计最大限度的提高机械臂负载；

所述机械臂控制板21与所述移动平台1中的所述主控系统11连接，所述机械臂控制板21中包含IKfast逆运动学求解器算法，该算法是指基于所述机械臂本体结构22的特定结构，通过IKfast逆运动学求解器算法来实现只需要提供空间坐标点和被抓取物体的姿态就可以自动抓取物体的功能；其中被抓取物体的位姿是通过所述移动平台1上的所述激光雷达传感器和所述深度相机3获取的；

所述机械臂本体结构22上设置有六轴力传感器23，所述六轴力传感器23用于采集所述机械臂本体结构22的受力信息，并将受力信息传送给所述主控系统11；

所述深度相机3安装在所述机械臂组件2上，且所述深度相机3与所述移动平台1中的所述主控系统11连接，用于采集所述机械臂组件2周围的3D信息，并将3D信息传送给所述主控系统11。

所述电源管理系统4安装在所述移动平台1上，包括BMS单元41和锂电池组42，所述BMS单元41作为所述锂电池组42的管理保护器，为所述锂电池组42提供过压保护、过流保护、短路保护等功能，同时将所述锂电池组42的输出电压稳定至合适电压后，给所述移动平台1、所述机械臂组件2和所述深度相机3供电。

所述后台工控机8分别与所述移动平台1、所述MR显示装置5、所述位姿捕获装置6、所述MR力反馈装置7无线连接；所述后台工控机8用于遥控所述移动平台1的运行，用于向所述MR显示装置5传输所述深度相机3提供的3D信息、所述导航系统13提供的3D环境图，用于向所述机械臂控制板21传输所述位姿捕获装置6提供的操作员手臂手腕的位姿消息格式，用于收集所述六轴力传感器23提供的受力信息，再经过受力与施力算法处理后把施力数据输出给所述MR力反馈装置7；

所述MR显示装置5用于收集、融合所述深度相机3提供的3D信息和所述导航系统13提供的3D环境图，再经过视觉算法（光场扫描动、静态人物模型快速创造算法和深度扫描即时建模算法）处理后生成所述移动平台1所处环境的3D虚拟场景；

所述位姿捕获装置6中包含有陀螺仪9，所述陀螺仪9用于采集操作员手臂的前、后、左、右、上、下的位置信息和手腕俯仰、翻转、倾斜的姿态信息，所述位姿捕获装置6则用于收集、融合所述陀螺仪9提供的位置信息和姿态信息，再经过算法处理后生成标准的位姿消息格式，经所述后台工控机8传输给所述机械臂控制板21；

所述MR力反馈装置7用于接收所述后台工控机8提供的施力数据，并向作业人员体现真实的所述机械臂本体结构22的受力情况。

参见图1~2所示，一种基于MR和运动规划技术的可移动机械臂的控制方法，包括以下步骤：

步骤1）移动平台1通过自身携带的卫星导航模块131、惯性导航模块132和激光导航模块133，再结合SLAM算法（即时定位与地图构建算法），获取前进路线的导航，避开中途障碍，使其最终到达指定位置；或利用机械臂本体结构22上安装的深度相机3获取视频图像，再加上手持遥控器143来遥控所述移动平台1到达指定位置；

步骤2）到达指定位置后，所述移动平台1中的主控系统11一方面控制所述激光导航模块133利用其3D激光雷达传感器扫描所述移动平台1所处的当前环境，构建3D环境图，另一方面控制安装在机械臂本体结构22上的深度相机3采集所述机械臂本体结构22周围的3D信息；然后，所述主控系统11通过数据传输模块141和图像传输模块142分别将3D环境图数据和3D信息传输给后台工控机8；

步骤3）所述后台工控机8将所述激光导航模块133提供的3D环境图和所述深度相机3提供的3D信息通过无线传输转发给位于后端操作员处的MR显示装置5，所述MR显示装置5将收集到的3D信息和3D环境图进行融合，再经过视觉算法（光场扫描动/静态人物模型快速创造算法和深度扫描即时建模算法）处理后生成所述移动平台1所处环境的3D虚拟场景，此时操作员眼前将一比一的虚拟出前端传输过来的现场三维信息；

步骤4）3D虚拟场景呈现后，操作员对位姿捕获装置6上的遥感设备进行操作，所述位姿捕获装置6中陀螺仪9分别获取操作员手臂的前、后、左、右、上、下的位置信息和操作员手腕俯仰、翻转、倾斜的姿态信息；然后，所述位姿捕获装置6将所述陀螺仪9提供的位置信息和姿态信息进行融合，再经过算法处理后生成标准的位姿消息格式；

步骤5）所述位姿捕获装置6通过所述后台工控机8将位姿消息格式同步传输给所述机械臂控制板21，所述机械臂控制板21利用收到的位姿消息格式，结合IKfast逆运动学求解器算法，将所述机械臂本体结构22的位置和姿势调整为作业人员当前的位置和姿势，并对现场环境中的物体进行自动抓取；如果操作员的手臂和手腕没有发生位置和姿势的变化，则无位姿消息格式被传输到所述机械臂控制板21，所述机械臂本体结构22的位姿保持不变；

步骤6）在抓取到物体之后，位于所述机械臂本体结构22上的六轴力传感器23开始采集所述机械臂本体结构22的受力信息，并将受力信息传送给后台工控机8，所述后台工控机8通过受力与施力算法，将所述六轴力传感器23提供的所述机械臂本体结构22的受力信息处理成施力数据，再把所述施力数据输出给位于后端操作员处的MR力反馈装置7，让操作员逼真的感受到前端机械臂的受力情况，以达到精确控制的目的；

步骤7）如果所述机械臂本体结构22在运动过程中移动了现场的某个物体，或者改变了某个物体的状态，所述激光导航模块133和所述深度相机3则立即采集现场的3D环境图和3D信息，并同步传输给后端的所述MR显示装置5，所述MR显示装置5在获取更新后的3D环境图和3D信息后，就会同步更新虚拟出来的场景，从而做到前后端场景的虚实同步；

步骤8）当所述移动平台1中的锂电池组42的电量不足时，所述移动平台1通过所述卫星导航模块131、所述惯性导航模块132和所述激光导航模块133自动前往充电站进行充电。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于MR和运动规划技术的可移动机械臂控制系统，其特征在于：包括移动平台（1）、机械臂组件（2）、深度相机（3）、电源管理系统（4）、MR显示装置（5）、位姿捕获装置（6）、MR力反馈装置（7）和后台工控机（8）；

所述移动平台（1）由主控系统（11）、动力系统（12）、导航系统（13）、通信系统（14）和声光系统（15）；

所述主控系统（11）分别与所述动力系统（12）、所述导航系统（13）、所述通信系统（14）和所述声光系统（15）连接，用于收集数据，处理数据以及发送指令；

所述动力系统（12）用于为所述移动平台（1）提供载体和动力；

所述导航系统（13）用于为所述移动平台（1）提供精确定位和避障导航，用于检测所述移动平台（1）的当前运动姿态，以及用于扫描所述移动平台（1）所处的当前环境，并构建3D环境图；

所述通信系统（14）用于所述移动平台（1）与所述后台工控机（8）之间数据和图像的传输，以及用于手动遥控所述移动平台（1）的运行；

所述声光系统（15）用于为所述移动平台（1）所处的周围环境提供照明灯光、提示灯光和警报灯光，用于显示所述移动平台（1）和所述机械臂组件（2）的工作状态，以及用于与后台进行对讲；

所述机械臂组件（2）安装在所述移动平台（1）上，所述机械臂组件（2）由机械臂控制板（21）和机械臂本体结构（22）组成，所述机械臂控制板（21）与所述移动平台（1）中的所述主控系统（11）连接，所述机械臂控制板（21）中包含IKfast逆运动学求解器算法，用于控制所述机械臂本体结构（22）对物品进行自动抓取；所述机械臂本体结构（22）上设置有六轴力传感器（23），所述六轴力传感器（23）用于采集所述机械臂本体结构（22）的受力信息，并将受力信息传送给所述主控系统（11）；

所述深度相机（3）安装在所述机械臂组件（2）上，且所述深度相机（3）与所述移动平台（1）中的所述主控系统（11）连接，用于采集所述机械臂组件（2）周围的3D信息，并将3D信息传送给所述主控系统（11）；

所述电源管理系统（4）安装在所述移动平台（1）上，用于为所述移动平台（1）、所述机械臂组件（2）和所述深度相机（3）提供电力；

所述后台工控机（8）分别与所述移动平台（1）、所述MR显示装置（5）、所述位姿捕获装置（6）、所述MR力反馈装置（7）无线连接；所述后台工控机（8）用于遥控所述移动平台（1）的运行，用于向所述MR显示装置（5）传输所述深度相机（3）提供的3D信息、所述导航系统（13）提供的3D环境图，用于向所述机械臂控制板（21）传输所述位姿捕获装置（6）提供的操作员手臂手腕的位姿消息格式，用于收集所述六轴力传感器（23）提供的受力信息，再经过受力与施力算法处理后把施力数据输出给所述MR力反馈装置（7）；

所述MR显示装置（5）用于收集、融合所述深度相机（3）提供的3D信息和所述导航系统（13）提供的3D环境图，再经过视觉算法处理后生成所述移动平台（1）所处环境的3D虚拟场景；

所述位姿捕获装置（6）中包含有陀螺仪（9），所述陀螺仪（9）用于采集操作员手臂的位置信息和手腕的姿态信息，所述位姿捕获装置（6）则用于收集、融合所述陀螺仪（9）提供的位置信息和姿态信息，再经过算法处理后生成标准的位姿消息格式，经所述后台工控机（8）传输给所述机械臂控制板（21）；

所述MR力反馈装置（7）用于接收所述后台工控机（8）提供的施力数据，并向作业人员体现真实的所述机械臂本体结构（22）的受力情况。

2.根据权利要求1所述的基于MR和运动规划技术的可移动机械臂控制系统，其特征在于：所述主控系统（11）为工业计算机，并带有CAN接口、串口、RJ45网口和无线收发模块。

3.根据权利要求1所述的基于MR和运动规划技术的可移动机械臂控制系统，其特征在于：所述电源管理系统（4）包括BMS单元（41）和锂电池组（42），所述BMS单元（41）作为所述锂电池组（42）的管理保护器，为所述锂电池组（42）提供过压保护、过流保护、短路保护，同时将所述锂电池组（42）的输出电压稳定至合适电压后，给所述移动平台（1）、所述机械臂组件（2）和所述深度相机（3）供电。

4.根据权利要求1所述的基于MR和运动规划技术的可移动机械臂控制系统，其特征在于：所述动力系统（12）包括伺服电机（121）、电机驱动器（122）和车轮机构（123），所述伺服电机（121）的一端通过所述电机驱动器（122）与所述主控系统（11）连接，所述伺服电机（121）的另一端与所述车轮机构（123）连接；

其中，所述车轮机构（123）为四轮机构或履带机构，作为所述移动平台（1）的移动载体；

所述伺服电机（121）用于为所述车轮机构（123）提供动力，其内部还集成减速机构，具有电磁刹车功能；

所述电机驱动器（122）具有网络通信口、CAN总线接口和232串口，具有电压反馈、电流反馈、过载保护功能，作为所述伺服电机（121）的控制器，用于调节所述伺服电机（121）的转速，并对所述伺服电机（121）进行保护。

5.根据权利要求1所述的基于MR和运动规划技术的可移动机械臂控制系统，其特征在于：所述导航系统（13）包括卫星导航模块（131）、惯性导航模块（132）和激光导航模块（133）；所述卫星导航模块（131）、所述惯性导航模块（132）和所述激光导航模块（133）分别与所述主控系统（11）连接；

其中，所述卫星导航模块（131）包含北斗导航接收机、GPS导航接收机、伽利略导航接收机和GLONASS导航接收机，用于所述移动平台（1）的定位；

所述惯性导航模块（132）包含为六轴加速度传感器和电子罗盘，用于检测所述移动平台（1）的当前运动姿态；

所述激光导航模块（133）包含3D激光雷达传感器，其扫描距离大于30米，用于扫描所述移动平台（1）所处的当前环境，构建3D环境图。

6.根据权利要求1所述的基于MR和运动规划技术的可移动机械臂控制系统，其特征在于：所述通信系统（14）包括数据传输模块（141）、手持遥控器（143）和图像传输模块（142），所述数据传输模块（141）、所述手持遥控器（143）和所述图像传输模块（142）分别与所述主控系统（11）连接；

其中，所述数据传输模块（141）包含4G DTU模块和无线终端接入设备，所述4G DTU模块用于所述移动平台（1）与所述后台工控机（8）之间的4G通信，支持全网通，同时兼容GPRS/3G无线通讯；所述无线终端接入设备用于所述移动平台（1）与所述后台工控机（8）之间的WIFI通信，在所述无线终端接入设备接入附近的WIFI网络后，所述移动平台（1）即可与连接在WIFI网络中的所述后台工控机（8）进行通信；

所述图像传输模块（142）为无线图传设备，用于所述移动平台（1）与所述后台工控机（8）的点对点图像传输；

所述手持遥控器（143）用于手动控制所述移动平台（1）、所述机械臂组件（2）和所述深度相机（3）。

7.根据权利要求1所述的基于MR和运动规划技术的可移动机械臂控制系统，其特征在于：所述声光系统（15）包括照明灯（151）、转向灯（152）、尾灯（153）、刹车灯（154）、声光报警灯（155）、移动平台及机械臂状态灯（157）、拾音器（157）和扬声器（158）；其中，所述拾音器（157）用于采集所述移动平台（1）的现场声音信息，所述扬声器（158）用于播放提醒声音与所述后台进行对讲。

8.一种基于MR和运动规划技术的可移动机械臂的控制方法，其特征在于，包括以下步骤：

步骤1）移动平台（1）通过自身携带的卫星导航模块（131）、惯性导航模块（132）和激光导航模块（133），再结合SLAM算法（即时定位与地图构建算法），获取前进路线的导航，避开中途障碍，使其最终到达指定位置；或利用机械臂本体结构（22）上安装的深度相机（3）获取视频图像，再加上手持遥控器（143）来遥控所述移动平台（1）到达指定位置；

步骤2）到达指定位置后，所述移动平台（1）中的主控系统（11）一方面控制所述激光导航模块（133）利用其3D激光雷达传感器扫描所述移动平台（1）所处的当前环境，构建3D环境图，另一方面控制安装在机械臂本体结构（22）上的深度相机（3）采集所述机械臂本体结构（22）周围的3D信息；然后，所述主控系统（11）通过数据传输模块（141）和图像传输模块（142）分别将3D环境图数据和3D信息传输给后台工控机（8）；

步骤3）所述后台工控机（8）将所述激光导航模块（133）提供的3D环境图和所述深度相机（3）提供的3D信息通过无线传输转发给位于后端操作员处的MR显示装置（5），所述MR显示装置（5）将收集到的3D信息和3D环境图进行融合，再经过光场扫描动/静态人物模型快速创造算法和深度扫描即时建模算法处理后生成所述移动平台（1）所处环境的3D虚拟场景，此时操作员眼前将一比一的虚拟出前端传输过来的现场三维信息；

步骤4）3D虚拟场景呈现后，操作员对位姿捕获装置（6）上的遥感设备进行操作，所述位姿捕获装置（6）中陀螺仪（9）分别获取操作员手臂的前、后、左、右、上、下的位置信息和操作员手腕俯仰、翻转、倾斜的姿态信息；然后，所述位姿捕获装置（6）将所述陀螺仪（9）提供的位置信息和姿态信息进行融合，再经过算法处理后生成标准的位姿消息格式；

步骤5）所述位姿捕获装置（6）通过所述后台工控机（8）将位姿消息格式同步传输给所述机械臂控制板（21），所述机械臂控制板（21）利用收到的位姿消息格式，结合IKfast逆运动学求解器算法，将所述机械臂本体结构（22）的位置和姿势调整为作业人员当前的位置和姿势，并对现场环境中的物体进行自动抓取；如果操作员的手臂和手腕没有发生位置和姿势的变化，则无位姿消息格式被传输到所述机械臂控制板（21），所述机械臂本体结构（22）的位姿保持不变；

步骤6）在抓取到物体之后，位于所述机械臂本体结构（22）上的六轴力传感器（23）开始采集所述机械臂本体结构（22）的受力信息，并将受力信息传送给后台工控机（8），所述后台工控机（8）通过受力与施力算法，将所述六轴力传感器（23）提供的所述机械臂本体结构（22）的受力信息处理成施力数据，再把所述施力数据输出给位于后端操作员处的MR力反馈装置（7），让操作员逼真的感受到前端机械臂的受力情况，以达到精确控制的目的；

步骤7）如果所述机械臂本体结构（22）在运动过程中移动了现场的某个物体，或者改变了某个物体的状态，所述激光导航模块（133）和所述深度相机（3）则立即采集现场的3D环境图和3D信息，并同步传输给后端的所述MR显示装置（5），所述MR显示装置（5）在获取更新后的3D环境图和3D信息后，就会同步更新虚拟出来的场景，从而做到前后端场景的虚实同步；

步骤8）当所述移动平台（1）中的锂电池组（42）的电量不足时，所述移动平台（1）通过所述卫星导航模块（131）、所述惯性导航模块（132）和所述激光导航模块（133）自动前往充电站进行充电。