CN111733920B - 一种智能上料控制系统及其控制方法 - Google Patents

Abstract

本发明公开了一种智能上料控制系统及其控制方法，其中，该智能上料控制系统，包括：工程机械、全景相机和智能控制中心；该工程机械可基于常用的液压驱动的工程机械基础上快速实现智能化，该技术移植成本低、应用推广快。该全景相机安装在作业环境中，抗外界干扰能力强；该智能控制中心与工程机械和全景相机通讯连接；通过数字相机、视觉控制、传感技术和无线通讯技术实现智能、无人上料。该智能上料控制系统可用于大型施工工程的上料工序，如土壤修复、建筑垃圾、矿山等行业，实现将特定物料运送进特定专用设备的进料口，完成喂料或上料工序。特别适用于有毒有害、有危险的施工环境，有效保护施工人员的人身安全，并提高生产效率和降低施工成本。

Description

一种智能上料控制系统及其控制方法

技术领域

本发明涉及机器人应用领域，特别适用于有毒有害、有危险的场合；具体涉及一种智能上料控制系统及其控制方法。

背景技术

目前，人类居住的环境面临着极大的环保压力，需治理修复的“毒土地——污染土壤”存量很大，随着人们对生活质量的要求提高和环保意识的日益增强，一方面迫切需求去除身边的这些“隐形弹药库——毒土地”，而另一方面大家也对这些污染土壤谈虎色变，更别说近乎肉搏上阵去治理。而对于土壤修复工程来说，绝大部分异位处置的土壤修复技术及装备已机械化和自动化，但这些装备在真正开始治理污染土壤之前均需有人将污染土壤搬运进它们的进料口，即喂料或上料这一工序。目前，上料一般由司机操控挖机或装载机完成，而在上料过程中很难避免司机与污染物的接触，如粉尘、污染气体等，特别当污染浓度高、异味重的情况下，司机有极大的健康风险。同时，司机也难以满足修复装备24小时连续生产的要求，特别是夜间操作存在安全隐患。且人工成本随着经济发展在不断上涨，人工成本在工程施工成本的占比加大，已成为工程是否盈利的不可忽略因素。综上，开发可人工智能实现上料的机器人具有迫切的现实需求。

(1)现有机器人技术在上料工序上的应用

现有机器人技术在上料上的应用，一般是指机加工或生产线分拣过程中，针对特有形状的待机加工零件，进行人工智能识别，再通过机器人手臂完成取件、上料、下料的过程。但该技术无法应用于有毒有害、有危险的场合，如污染土壤修复行业；主要问题有：

其一，现有机器人的上料技术，针对的对象是可数的、有一定外状(形状或颜色)特征的零部件。当针对的对象为污染土壤或建筑垃圾或矿山矿物等没有固定形状、不可数的堆积物时，从人工智能识别技术方面来讲，难以识别；

其二，现有机器人的上料应用范围，空间有限，上料能力有限，对外部环境要求较高。空间有限表现为其人工智能视觉识别高度依赖于高精度的工业相机，而目前这类高精度工业相机的一个共同缺点为“近视”，有效视觉范围一般不超过5米。上料能力有限表现为其执行者“机器人手臂”力量有限，一般在100kg以内，若硬要提升负载能力，机器人手臂的开发成本会急剧上升，而现有的机器人手臂本身造价已是很昂贵，因此现有机器人上料技术无法复制到土壤修复工程的上料场景中(土壤修复工程的上料一次动辄3～5吨的重量)。对外部环境要求较高表现在现有机器人的上料过程一般需要在室内封闭空间中进行且对室内的光线有特殊要求，这也是由高精度相机的抗外界干扰能力所决定的，即其抗干扰能力差。

(2)现有施工工程(土壤修复、矿山、建筑垃圾等行业)的上料工序

在土壤修复、矿山、建筑垃圾等行业中，其实现的上料工序一般采用由司机操控挖机或装载机等工程机械的方式来完成的。而这种方式的弊病在于：当面临有毒有害、危险环境时，司机具有极大的健康和人身安全风险，且效率低、人工成本高，无法24小时连续生产。

目前，国内外有些企业或研究所研制了可远程遥控工程机械的上料方式，它的弊病在于：仍需一名或多名操作人员时时刻刻在劳作，效率低、人工成本高，且24小时连续生产时存在操作人员夜间疲劳而造成操作失误的生产事故风险。

此外，国外有采用导航或雷达等技术，在矿山行业中实现无人运送物料的无人矿车，但该技术仅实现了运料和卸料的简单工序，且装料或上料过程仍需由司机操控工程机械来完成。

因此，在有毒有害、有危险的场合，如土壤修复、建筑垃圾、矿山等行业，如何实现智能化机器人的上料工序，有效保护施工人员的人身安全，亟待解决。

发明内容

鉴于上述问题，本发明提供一种至少解决上述部分技术问题的智能上料机器人及其控制方法，该工程机械可在有毒有害、有危险的场合进行上料作业，无需现场人工作业，避免对人身造成的伤害，并提高生产效率和降低施工成本。

第一方面，本发明实施例提供一种智能上料控制系统，包括：工程机械、全景相机和智能控制中心；

所述工程机械设有液压系统和电液比例控制器；所述电液比例控制器与所述液压系统通讯连接；

多个所述全景相机布设于作业环境内，视觉覆盖作业环境；

所述智能控制中心包括：车载通讯模块、传感设备和远程控制终端；所述车载通讯模块及传感设备安装在所述工程机械上；

所述车载通讯模块分别与所述电液比例控制器和传感设备连接；

多个所述全景相机将采集的图像实时发送给所述远程控制终端；

所述传感设备将采集的传感信息通过所述车载通讯模块发送给所述远程控制终端；

所述远程控制终端通过所述车载通讯模块与所述电液比例控制器控制连接；

所述远程控制终端根据采集的图像及传感信息，实时调整控制指令发送给所述电液比例控制器，实现实时控制所述液压系统的执行元件进行上料作业。

在一个实施例中，所述车载通讯模块，包括：信号接收器、信号发生器和数字微波传输单元；

其中，所述数字微波传输单元为2G、3G、4G或5G的移动通讯单元。

在一个实施例中，所述传感设备，包括：MEMS陀螺仪、位置传感器、激光雷达和模数转换器；

所述MEMS陀螺仪安装在所述工程机械的指示灯上，与所述全景相机一起用于实现精准定位和控制所述工程机械的行走路径；

所述位置传感器安装于所述工程机械的液压伸缩缸上，用于检测控制挖斗或铲斗的动作是否到位；

所述激光雷达安装于所述工程机械本体上，用于躲避障碍物以及调整所述工程机械在取料区的姿态；

所述模数转换器安装于所述工程机械的本体上，与车载信号发生器相连；并与所述MEMS陀螺仪、位置传感器相连接，用于将各传感器的模拟信号转化为数字信号，再由所述车载通讯模块发送给所述远程控制终端。

在一个实施例中，所述全景相机为无线传输数据的数字相机；

所述全景相机的安装数量与作业区域面积相关；其中，在堆积物存放处的顶部设置一个无线传输数据的数字相机；在进料斗顶部设置一个无线传输数据的数字相机；

当作业区域面积大于预设面积时，设置N个无线传输数据的数字相机；假设N＝[作业区域面积/预设面积]+2；当a<N<a+1时，a为正整数，N取值为a+1。

在一个实施例中，所述位置传感器安装于对应挖斗或铲斗的液压伸缩缸上；所述位置传感器的数量与所述挖斗或铲斗的上动作关联的液压缸数量相同。

第二方面，本发明实施例还提供一种智能上料控制方法，包括：

S10、智能控制中心获取全景相机实时发送的作业环境内的图像信息、以及获取工程机械的上装载的传感设备采集的传感信息；

S20、根据所述图像信息及传感信息，对工程机械的实时位姿进行计算，生成所述工程机械的规划路径，输出对所述工程机械的控制信号；

S30、将所述控制信号发送给所述工程机械的电液比例控制器；

S40、所述工程机械根据所述规划路径行走至目标区，所述电液比例控制器将所述控制信号转换为模拟信号，发送给液压系统；所述液压系统根据模拟信号执行上料或取料作业。

在一个实施例中，所述步骤S20，包括：

S201、对所述图像信息进行识别、编译；并根据预设的先验地图，对工程机械进行位姿解算和目标跟踪，生成规划路径；

S202、当所述工程机械的行走路线偏离规划路径时，将所述工程机械上MEMS陀螺仪的姿态信息与所述远程控制终端解算的位姿进行校对，当校对信息不相同时，则实时发送控制指令进行车体姿态调整；

S203、当所述工程机械上激光雷达检测到障碍物时，根据避障策略更新所述工程机械的当前位置至目标位置的轨迹规划，输出对所述工程机械的控制信号。

在一个实施例中，所述避障策略，包括：

障碍物运动状态判断策略：工程机械保存激光雷达连续预设数量时间周期的与障碍物的相对位置信息；同时完成工程机械自动行走的位姿计算；两者信息结合判断出是否为动态障碍物；如果是，则标记出运动方向；

子目标点更新策略：预测工程机械和障碍物在未来X个周期的位置信息，若预期障碍物会进入碰撞区域，则认为碰撞可能发生，隐藏终目标点，更新子目标点；到达子目标点后再将目标点更新为终目标点，最终工程机械的运动轨迹将会通过多个子目标点和最终目标点；

智能控制中心输出控制量：基于多个子目标点和最终目标点，经路径规划算法生成运动轨迹，并将与其对应的控制信号发送到电液比例控制器，以完成工程机械的自动行走。

在一个实施例中，所述步骤S40，包括：

S401、当所述挖斗或铲斗已有负载时，控制所述机械工程由当前位置行走到上料区后；

S402、所述智能控制中心，根据在所述预设的先验地图中上料区所述工程机械的解算位姿，对所述工程机械在规划轨迹的终点位姿进行调整，以方便卸料；

S403、根据所述挖斗或铲斗的液压伸缩缸上位置传感器，判别出所述挖斗或铲斗的动作是否到位，以确定是否上料完成。

在一个实施例中，所述步骤S40，还包括：

S404、当所述挖斗或铲斗没有负载时，控制所述机械工程由当前位置行走到取料区后；

S405、所述智能控制中心，根据在所述预设的先验地图中取料区和当前位置的所述工程机械目标跟踪和位姿解算，实现由当前位置到取料区的自动行走；

S406、到达取料位置后，根据激光雷达对所述工程机械在取料区的位姿进行调整，以方便取料；

S407、根据所述挖斗或铲斗的液压伸缩缸上位置传感器，判别出所述挖斗或铲斗的动作是否到位，以确定是否取料完成。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的一种智能上料控制系统，包括：工程机械、全景相机和智能控制中心；该工程机械可基于常用的液压驱动的工程机械基础上快速实现智能化，该技术移植成本低、应用推广快。全景相机安装在作业环境中，抗外界干扰能力更强；智能控制中心通过数字相机、视觉控制、传感技术和无线通讯技术实现智能、无人上料。

该智能上料控制系统可用于大型施工工程的上料工序，如土壤修复、建筑垃圾、矿山等行业，实现将特定物料运送进特定专用设备的进料口，完成喂料或上料工序。特别适用于有毒有害、有危险的施工环境，有效保护施工人员的人身安全，并提高生产效率和降低施工成本。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的智能上料控制系统的结构示意图；

图2为本发明实施例提供的智能上料控制系统的架构层示意图；

图3为本发明实施例提供的智能上料控制方法流程图；

图4为本发明实施例提供的步骤S20的流程图；

图5为本发明实施例提供的步骤S40的流程图；

图6为本发明实施例提供的智能上料控制方法的原理框图；

图7为本发明实施例提供的远程控制终端进行避障计算的流程图；

图中，1-简易上料车间；2-全景相机；3-MEMS陀螺仪；4-远程控制终端；5-固定通讯模块；6-堆积物；7-位置传感器；8-工程机械；9-电液比例控制器；10-车载通讯模块；11-专用设备的进料斗。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

第一方面，参照图1所示，本发明实施例提供的一种智能上料控制系统，包括：工程机械8、全景相机2和智能控制中心；

其中，该工程机械8可在市面上常用的工程机械(挖掘机或装载机等)基础上快速实现智能化，该常用工程机械需为液压驱动的，为了实现智能化，首先需要使其实现无线远程遥控，即将常用工程机械原有的液压控制器改造为电液比例控制器，这样可实现液压系统的模拟信号与智能控制系统的数字信号相互转换，从而为智能控制系统操控该工程机械打好基础。

即：该工程机械设有液压系统和电液比例控制器9；电液比例控制器9与液压系统通讯连接；和现有技术相比，本发明的工程机械改造易行，无需对原有工程机械大动干戈。该技术移植成本低、应用推广快。而且也无需关注原有工程机械的先导回路的操纵阀(踏板、手柄等)的控制，可直接通过电液比例控制器来实现对原有工程机械各执行器的操控。

上述的全景相机2为可无线传输数据的数字相机，相比专用的工业相机，经济性更好，视觉覆盖范围更广，抗外界干扰能力更强，可用于大尺度、半封闭的临时大棚车间内。将其布设于作业环境内，视觉覆盖作业环境即可。

上述的智能控制中心包括车载通讯模块10、传感设备和远程控制终端4。该车载通讯模块10包括信号接收器、信号发生器和数字微波传输单元。其中，数字微波传输单元可为2G/3G/4G/5G的移动通讯单元，其中5G移动通讯最佳。

传感设备包括MEMS陀螺仪3、位置传感器7、激光雷达和模数转换器。其中，MEMS陀螺仪3安置在工程机械8的指示灯上，与全景相机2一块实现精准定位和控制工程机械的行走路径；

具体地，该全景相机2以固定高度且垂直作业区域的方式安装，初始状态时，工程机械8未进入作业区域，全景相机2采集一张清晰的图片作为系统拟加载的先验地图。工作状态时，工程机械8进入作业区域，远程控制终端4基于带MEMS陀螺仪3的指示灯实现对工程机械8的运动跟踪，由上述的先验地图判定工程机械8所处位置。比如上述指示灯可分别位于工程机械8的两侧，在全景相机2的图像中显示成两条平行直线，行走路径的实现正是根据指示灯的图像特征完成基于图像的视觉伺服控制，MEMS陀螺仪3实现工程机械自动行走过程的姿态精确控制。

位置传感器7安置于工程机械8的液压伸缩缸上，通过将位置信号反馈给远程控制终端4，与给定值进行比较，用于精准控制挖斗或铲斗的动作；激光雷达安置于工程机械的本体上，用于躲避障碍物、防止机械碰撞以及调整工程机械在取料区的姿态；

模数转换器安装于工程机械的本体上，与车载信号发生器相连，并与MEMS陀螺仪、位置传感器相连接，用于将各传感器的模拟信号转化为数字信号，再由车载通讯模块10发送给远程控制终端，完成数据传输。

上述远程控制终端4作为上位机，可加载智能控制程序、图像识别处理程序、人机交互程序。其中，智能控制程序是实现智能上料的核心，比如可基于C++编程程序；图像识别处理程序是将从全景相机所获取的数字图像进行识别和编译，经滤波、调制等处理后，转化为智能控制程序所需的输入指令；人机交互程序主要用于开启或终止工程机械，同时也可用于应急或远程遥控工程机械；上位机作为智能控制程序、图像识别处理程序和人机交互程序的硬件载体。

本发明实施例中，通过数字相机、视觉控制、传感技术和无线通讯技术实现智能、无人上料。可用于大型施工工程的上料工序，如土壤修复、建筑垃圾、矿山等行业，实现将特定物料运送进特定专用设备的进料口，完成喂料或上料工序。特别适用于有毒有害、有危险的施工环境，可有效保护施工人员的人身安全，并提高生产效率和降低施工成本。

参照图2所示，下面从系统架构层来详细阐述本发明的技术方案。

该智能上料控制系统包括五个层，分别如下：

(1)感知层：通过车间全景相机感知外界信息，并将数据传输到下一层。

(2)控制层：用于工程机械实时位姿计算，将获得位姿数据进行处理，负责轨迹的规划，结合工程机械位姿数据实现控制算法，并将输出的控制信号传给下一层，同时监听信号的读取状态，与下一层数据交互。

具体地，比如根据作业要求，操作员通过人机交互在先验地图上进行轨迹规划和生成。智能控制程序采用基于图像的视觉伺服控制算法完成工程机械的自动行走过程，亦即在2D图像空间形成闭环控制，利用固定高度且铅垂安装的全景相机的视觉信息获得指示灯在图像空间的线特征，与期望的图像特征(在先验地图上生成的轨迹)相比较形成误差，根据该误差设计控制工程机械的运动。

已知全景相机的内参和先验地图上各像素点的一致实际深度(理想情况下，成像平面平行作业区域)，可以还原出先验地图各像素点对应在作业区域的实际坐标。故智能控制程序通过全景相机跟踪工程机械指示灯得到的其图像空间的线特征被拿来与先验地图比对后，可以确定其实际位姿；MEMS陀螺仪用来更精确的姿态校验和控制。

(3)通信层：比如采用数字微波传输单元，选用5G移动通讯最佳。把上一层得到的信号数据传输给下一层，同时可将工程机械的车载传感设备的传感信息返回给上一层。

(4)驱动层：由电液比例控制器等单元组成，对上一层的信号进行执行，输出给工程机械本体。

(5)工程机械：主要包括液压执行元件(包括左右行走马达)、带陀螺仪指示灯、位置传感器、激光雷达等。

整个智能上料控制系统架构分为以上五层，层与层之间相互交互，既有处理信息的能力，也有反馈信息的能力，通过对每一层进行开发和改造，达到智能上料控制系统自主化和智能化的目的。控制层是工程机械自主行走的大脑，通过感知的图像数据和车载传感信息进行任务的决策。

以图1为例，比如将工作环境设在一个简易上料车间1内，在简易上料车间1的顶部设有若干全景相机2，采用全景无线数字相机；全景相机2的数量由简易上料车间1的尺度确定，比如一般每100㎡(预设面积)需设置一个全景相机2，此外，在堆积物6的存放处顶部需额外设置一个全景相机2，在专用设备的进料斗顶部需额外设置一个全景相机2，这样全景相机2的数量一般为N＝[作业区域面积/预设面积]+2；当a<N<a+1时，a为正整数，N取值为a+1；

工程机械8一般为挖掘机或装载机，将工程机械8的原有液压控制器改造为电液比例控制器9，同时，在工程机械8上能对挖斗或铲斗的动作产生影响的液压缸上设有位置传感器7，位置传感器7的数量＝挖斗或铲斗动作关联的液压缸数量，在工程机械8的本体上设有带MEMS陀螺仪3的指示灯和车载通讯模块10。

该智能上料控制系统的工作原理如下：远程控制终端4得到开始工作指令后，该开始工作指令必须由操控人员发出，首先通过固定通讯模块5获取各全景相机2的视觉图像，这些视觉图像经远程控制终端4处理后，判别出工程机械8的初始状态，该初始状态包括其所处的位置、是否负载等状态。

若负载的话，说明铲斗内已有堆积物6，远程控制终端4就会通过固定通讯模块5向车载通讯模块10发送“让机器人将堆积物6运送至进料斗11处，并完成上料”的控制指令，车载通讯模块10接收到该上料控制指令后，即会将控制指令传输给电液比例控制器9，再由电液比例控制器9控制工程机械8的各执行机构完成相应动作，如行走执行机构最先得到指令，远程控制终端4会根据视觉图像判断出工程机械8的逻辑位置，从而使其行走机构前进或后退或原地旋转，然后按远程控制终端4规划的自动运行路径行走，行走过程中远程控制终端4可通过全景相机2实时追踪工程机械，并通过带MEMS陀螺仪3的指示灯精准判别工程机械8实际行走路线是否与远程控制终端4的规划路线吻合，并通过通讯模块5、10发出相应指令作出动态调整。当到达进料斗11附近的指定位置时，远程控制终端4再向工程机械8的电液比例控制器9发送指令控制挖斗或铲斗关联的液压缸执行动作，并通过位置传感器7的反馈信号形成闭环控制，从而完成上料。

若没有负载的话，说明工程机械8没有装载堆积物6，此时远程控制终端4向车载通讯模块10发送“让机器人将堆积物6进行装载，即取料”的控制指令，如上所述，远程控制终端4控制工程机械8按自动规划的路径行走，达到堆积物6存放处附近，然后远程控制终端4再向工程机械的电液比例控制器9发送指令控制挖斗或铲斗关联的液压缸执行动作，并通过位置传感器7的反馈信号形成闭环控制，从而完成取料。取料完成后，智能控制系统4就会通过固定通讯模块5向车载通讯模块10发送“让机器人将堆积物6运送至进料斗11处，并完成上料”的控制指令，进而完成上料过程。

与现有技术相比，本发明实施例提供的智能上料控制系统具有如下优势：

(1)所投入的设备成本低，可快速复制，实现快速应用。

(2)适用于有毒、有害和危险环境，解决了安全生产问题。

(3)不受人工影响，不受昼夜影响，不受假期影响，安全可控，可远程操控，效率高，风险低，不存在人身安全事故。

第二方面，本发明实施例还提供智能上料控制方法，该方法基于上述实施例的智能上料控制系统。

参照图3所示，包括：

S10、智能控制中心获取全景相机实时发送的作业环境内的图像信息、以及获取工程机械的上装载的传感设备采集的传感信息；

S20、根据所述图像信息及传感信息，对工程机械的实时位姿进行计算，生成所述工程机械的规划路径，输出对所述工程机械的控制信号；

S30、将所述控制信号发送给所述工程机械的电液比例控制器；

S40、所述工程机械根据所述规划路径行走至目标区，所述电液比例控制器将所述控制信号转换为模拟信号，发送给液压系统；所述液压系统根据模拟信号执行上料或取料作业。

在一个实施例中，参照图4所示，所述步骤S20，包括：

S201、对所述图像信息进行识别、编译；并根据预设的先验地图，对工程机械进行位姿解算和目标跟踪，生成规划路径；

S202、当所述工程机械的行走路线偏离规划路径时，将所述工程机械上MEMS陀螺仪的姿态信息与所述远程控制终端解算的位姿进行校对，当校对信息不相同时，则实时发送控制指令进行车体姿态调整；

S203、当所述工程机械上激光雷达检测到障碍物时，根据避障策略更新所述工程机械的当前位置至目标位置的轨迹规划，输出对所述工程机械的控制信号。

在一个实施例中，参照图5所示，所述步骤S40，包括：

S401、当所述挖斗或铲斗已有负载时，控制所述机械工程由当前位置行走到上料区后；

S402、所述智能控制中心，根据在所述预设的先验地图中上料区所述工程机械的解算位姿，对所述工程机械在规划轨迹的终点位姿进行调整，以方便卸料；

S403、根据所述挖斗或铲斗的液压伸缩缸上位置传感器，判别出所述挖斗或铲斗的动作是否到位，以确定是否上料完成。

在一个实施例中，参照图5所示，所述步骤S40，还包括：

S404、当所述挖斗或铲斗没有负载时，控制所述机械工程由当前位置行走到取料区后；

S405、所述智能控制中心，根据在所述预设的先验地图中取料区和当前位置的所述工程机械目标跟踪和位姿解算，实现由当前位置到取料区的自动行走；

S406、到达取料位置后，根据激光雷达对所述工程机械在取料区的位姿进行调整，以方便取料；

S407、根据所述挖斗或铲斗的液压伸缩缸上位置传感器，判别出所述挖斗或铲斗的动作是否到位，以确定是否取料完成。

本实施例中，以土壤污染物上料为例，参照图6所示，图中上料机器人表示工程机械，下面将其称为上料机器人进行描述。当上料机器人启动后，操作员通过上位机(远程控制终端)运行智能控制程序。程序运行时，先对系统的各传感器进行初始化使之进入正常的工作状态。实时读入全景相机图像，利用视觉算法进行图像处理，以完成上料机器人的目标跟踪，程序加载出先验地图，经由先验地图同步完成上料机器人的位姿解算。

若铲斗已有负载，则程序进行当前位置至上料区的轨迹规划，并发送控制指令完成上料机器人的自动行走。行走时，安装在上料机器人，即：工程机械车体指示灯上的MEMS陀螺仪的姿态信息时刻与图像识别处理程序解算的车体姿态校对以判别上料机器人实际行走路线是否与规划路线一致，若两者姿态信息不同，则发送控制指令进行车体姿态调整。

当车体上加装的激光雷达检测到障碍物时，程序根据机器人避障策略更新当前位置至上料位置的轨迹规划，并重复“发送控制指令——上料机器人自动行走——车体姿态的监测与调整——障碍物识别并避障”这一过程。到达上料区后，程序根据上料机器人在规划轨迹的终点位姿和先验地图中的上料区设备位置进行车体姿态调整以方便卸料，再经由挖斗或铲斗的液压缸上位置传感器判别出挖斗或铲斗的动作到位后完成所有土壤污染物在该处的上料。

若铲斗没有负载，处理程序相较铲斗已有负载而言，则增加了上料机器人至取料区域进行取料的过程。基于先验地图中的取料区和当前位置的上料机器人目标跟踪和位姿解算，程序实现上料机器人由当前位置到取料区的自动行走。到达取料位置后，上料机器人在雷达数据的基础上调整车体姿态调整以方便取料，再经由铲斗的位置传感器判别出铲斗的动作到位后完成所有土壤污染物在该处的取料。之后的过程和铲斗已有负载的处理程序一致。

比如，当在大尺度、半封闭的临时大棚车间，上料机器人具备感知环境的能力以避开障碍物，自动行走完成上料任务。通过加装激光雷达的方式对环境进行感知，以避开可能遇到的障碍物。当遇到障碍物时，若上料机器人不能正确判断障碍物运动状态，可能会产生冗余路径，甚至与障碍物发生碰撞。为适应可能的动态障碍物和静态障碍物，上料机器人可执行如下的障碍物避障策略，分为3个部分。

(1)障碍物运动状态判断策略：比如工程机械保存激光雷达连续2个时间(预设数量)周期的障碍物与工程机械相对位置信息，同期，远程控制终端完成工程机械自动行走的位姿计算，两者信息结合判断出是否动态障碍物，如果是，则标记出运动方向。

(2)子目标点更新策略：可以预测工程机械和障碍物在下几个(未来X个)周期的位置信息，若预期障碍物会进入碰撞区域，则认为碰撞可能发生，隐藏终目标点，更新子目标点，到达子目标点后再将目标点更新为终目标点，最终的工程机械的运动轨迹将会通过多个子目标点和最终目标点。

(3)智能控制中心输出控制量：基于多个子目标点和最终目标点，经合理的路径规划算法生成运动轨迹，并将与之对应的控制信号输出到车载电液比例控制器以完成上料机器人的自动行走。

本发明提供的智能上料控制方法，可同时用于指挥多台工程机械协同工作，利于效率和产能提高，而所需增加的设备成本较少，控制过程便捷、高效；降低了生产的投入成本低。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种智能上料控制系统，其特征在于，包括：工程机械、全景相机和智能控制中心；

所述工程机械设有液压系统和电液比例控制器；所述电液比例控制器与所述液压系统通讯连接；

多个所述全景相机布设于作业环境内，视觉覆盖作业环境；

所述智能控制中心包括：车载通讯模块、传感设备和远程控制终端；所述车载通讯模块及传感设备安装在所述工程机械上；

所述车载通讯模块分别与所述电液比例控制器和传感设备连接；

多个所述全景相机将采集的图像实时发送给所述远程控制终端；

所述传感设备将采集的传感信息通过所述车载通讯模块发送给所述远程控制终端；

所述远程控制终端通过所述车载通讯模块与所述电液比例控制器控制连接；

所述远程控制终端根据采集的图像及传感信息，实时调整控制指令发送给所述电液比例控制器，实现实时控制所述液压系统的执行元件进行上料作业。

2.如权利要求1所述的一种智能上料控制系统，其特征在于，所述车载通讯模块，包括：信号接收器、信号发生器和数字微波传输单元；

其中，所述数字微波传输单元为2G、3G、4G或5G的移动通讯单元。

3.如权利要求1所述的一种智能上料控制系统，其特征在于，所述传感设备，包括：MEMS陀螺仪、位置传感器、激光雷达和模数转换器；

所述MEMS陀螺仪安装在所述工程机械的指示灯上，与所述全景相机一起用于实现精准定位和控制所述工程机械的行走路径；

所述位置传感器安装于所述工程机械的液压伸缩缸上，用于检测控制挖斗或铲斗的动作是否到位；

所述激光雷达安装于所述工程机械的本体上，用于躲避障碍物以及调整所述工程机械在取料区的姿态；

所述模数转换器安装于所述工程机械的本体上，与车载信号发生器相连；并与所述MEMS陀螺仪、位置传感器相连接，用于将各传感器的模拟信号转化为数字信号，再由所述车载通讯模块发送给所述远程控制终端。

4.如权利要求1所述的一种智能上料控制系统，其特征在于，所述全景相机为无线传输数据的数字相机；

所述全景相机的安装数量与作业区域面积相关；其中，在堆积物存放处的顶部设置一个无线传输数据的数字相机；在进料斗顶部设置一个无线传输数据的数字相机；

当作业区域面积大于预设面积时，设置N个无线传输数据的数字相机；假设N=[作业区域面积/预设面积]+2；当a<N<a+1时，a为正整数，N取值为a+1。

5.如权利要求3所述的一种智能上料控制系统，其特征在于，所述位置传感器安装于对应挖斗或铲斗的液压伸缩缸上；所述位置传感器的数量与所述挖斗或铲斗的上动作关联的液压缸数量相同。

6.一种智能上料控制方法，其特征在于，使用如权利要求1-5任一项所述的智能上料控制系统，该方法包括：

S10、智能控制中心获取全景相机实时发送的作业环境内的图像信息、以及获取工程机械上装载的传感设备采集的传感信息；

S20、根据所述图像信息及传感信息，对工程机械的实时位姿进行计算，生成所述工程机械的规划路径，输出对所述工程机械的控制信号；

S30、将所述控制信号发送给所述工程机械的电液比例控制器；

S40、所述工程机械根据所述规划路径行走至目标区，所述电液比例控制器将所述控制信号转换为模拟信号，发送给液压系统；所述液压系统根据模拟信号执行上料或取料作业。

7.如权利要求6所述的一种智能上料控制方法，其特征在于，所述步骤S20，包括：

S201、对所述图像信息进行识别、编译；并根据预设的先验地图，对工程机械进行位姿解算和目标跟踪，生成规划路径；

S202、当所述工程机械的行走路线偏离规划路径时，将所述工程机械上MEMS陀螺仪的姿态信息与远程控制终端解算的位姿进行校对，当校对信息不相同时，则实时发送控制指令进行车体姿态调整；

S203、当所述工程机械上激光雷达检测到障碍物时，根据避障策略更新所述工程机械的当前位置至目标位置的轨迹规划，输出对所述工程机械的控制信号。

8.如权利要求7所述的一种智能上料控制方法，其特征在于，所述避障策略，包括：

障碍物运动状态判断策略：工程机械保存激光雷达连续预设数量个时间周期内的所述工程机械与障碍物的相对位置信息；同时完成工程机械自动行走的位姿计算；两者信息结合判断出是否为动态障碍物；如果是，则标记出运动方向；

子目标点更新策略：预测工程机械和障碍物在未来X个周期的位置信息，若预期障碍物会进入碰撞区域，则认为碰撞可能发生，隐藏终目标点，更新子目标点；到达子目标点后再将目标点更新为终目标点，最终工程机械的运动轨迹将会通过多个子目标点和最终目标点；

智能控制中心输出控制量：基于多个子目标点和最终目标点，经路径规划算法生成运动轨迹，并将与其对应的控制信号发送到电液比例控制器，以完成工程机械的自动行走。

9.如权利要求7所述的一种智能上料控制方法，其特征在于，所述步骤S40，包括：

S401、当挖斗或铲斗已有负载时，控制所述工程机械由当前位置行走到上料区后；

S402、所述智能控制中心，根据在所述预设的先验地图中上料区所述工程机械的解算位姿，对所述工程机械在规划轨迹的终点位姿进行调整，以方便卸料；

S403、根据所述挖斗或铲斗的液压伸缩缸上位置传感器，判别出所述挖斗或铲斗的动作是否到位，以确定是否上料完成。

10.如权利要求9所述的一种智能上料控制方法，其特征在于，所述步骤S40，还包括：

S404、当所述挖斗或铲斗没有负载时，控制所述工程机械由当前位置行走到取料区后；

S405、所述智能控制中心，根据在所述预设的先验地图中取料区和当前位置的所述工程机械目标跟踪和位姿解算，实现由当前位置到取料区的自动行走；

S406、到达取料位置后，根据激光雷达对所述工程机械在取料区的位姿进行调整，以方便取料；

S407、根据所述挖斗或铲斗的液压伸缩缸上位置传感器，判别出所述挖斗或铲斗的动作是否到位，以确定是否取料完成。

Images