CN109902857B - 一种运输车辆装载点自动规划方法及系统 - Google Patents
一种运输车辆装载点自动规划方法及系统 Download PDFInfo
- Publication number
- CN109902857B CN109902857B CN201910057180.XA CN201910057180A CN109902857B CN 109902857 B CN109902857 B CN 109902857B CN 201910057180 A CN201910057180 A CN 201910057180A CN 109902857 B CN109902857 B CN 109902857B
- Authority
- CN
- China
- Prior art keywords
- bucket
- loading
- point cloud
- dimensional
- carriage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000000463 material Substances 0.000 claims abstract description 95
- 238000009826 distribution Methods 0.000 claims abstract description 13
- 230000005484 gravity Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 23
- 238000009412 basement excavation Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000005065 mining Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种运输车辆装载点自动规划方法及系统，使用一个激光雷达在挖掘机作业的过程中对装载物料的铲斗和运输车辆的车厢进行扫描，对挖掘机铲斗挖掘的物料和装载车辆车厢的物料的体积和凹凸性进行三维建模，反馈挖掘情况和车厢的装载情况；减少挖掘机装载过程中的物料抛洒，增加挖掘机的装载效率；在最大化装载量的前提下，实现运输车辆装载物料的理想载荷分布，以提高运输车辆的工作效率和安全性；可以在挖掘机回转装载的过程中规划出合理的装载点，降低对操作员的经验依赖，减少失误，提高作业效率和质量。
Description
技术领域
本发明属于工程机械技术领域，具体涉及一种运输车辆装载点自动规划方法及系统。
背景技术
随着人工智能的发展，人工控制机械的场景更多会由机械本身自动控制代替。在土石方工程领域里挖掘机向运输车辆装载物料是一种非常普遍的作业场景，装载过程中装载点的选取通常是由操作手根据经验来判断，装载效果往往依赖于个人习惯、经验、熟练程度等，从智能化的角度分析解决挖掘机选取装载的最优点的问题具有重要意义。合理的装载点能保证运输车辆车厢装载量最大化，载荷分布合理化，还能避免挖掘机装载时的物料抛洒。
现有技术存在以下缺陷：(1)根据操作手的经验预估，完全依赖操作手的个人习惯、经验和熟练程度，无法保证装载的载荷量最大化和载荷重心位置最优化。(2)现有技术中没有进行挖掘机装载点规划，无法实现装载车辆的最大载荷和最优载荷分布，无法避免挖掘机装载过程中的物料抛洒。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种运输车辆装载点自动规划方法及系统。
一种运输车辆装载点自动规划方法，其特征在于，包括：
获取挖掘机铲斗、运输车辆车厢的三维点云数据；
基于获取的挖掘机铲斗的三维点云数据，结合预设的铲斗参数，对铲斗物料进行三维体素建模得到铲斗的三维立体图，计算得到铲斗中物料体积信息；
基于获取的运输车辆车厢的三维点云数据，结合预设车厢参数，对运输车辆车厢进行表面凹凸性三维立体建模得到车厢内的三维立体深度直方图，计算得到车厢中物料信息，包括车厢中物料体积信息及车厢中物料载荷分布信息；
根据预设的车厢参数以及车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点。
进一步的，所述的运输车辆装载点自动规划方法，其特征在于，还包括：
对挖掘机铲斗、运输车辆车厢的三维点云数据进行融合处理，得到融合后的点云数据，对融合后的点云数据进行过滤及去除噪声点、离群点处理，然后对处理后的点云数据进行长方形拟合，分割出挖掘机铲斗、运输车辆车厢的点云信息，得到挖掘机铲斗、运输车辆车厢的点云信息；
对挖掘机铲斗、运输车辆车厢的点云信息进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。
进一步的，所述的运输车辆装载点自动规划方法，其特征在于，
将挖掘机铲斗、运输车辆车厢的三维点云数据进行三维体素网格化，设置网格的大小与车厢内的三维立体深度直方图的栅格大小相同，根据单位体素网格的体积得到当前挖掘机铲斗物料和运输车辆车厢内所占有的体素网格的数量；
根据每一铲斗物料体积所形成的网格化单位立方体的个数来对应在车厢中体素网格化的立方体数，通过深度直方图寻找合适的卸载点；
采用点云深度直方图的方法来对三维的点云凹凸性进行分析建模，更新车辆车厢的三维立体深度直方图。
进一步的，所述的运输车辆装载点自动规划方法，其特征在于，根据预设车厢参数、车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点，具体包括：
根据预设的车厢参数、车厢内的三维立体深度直方图、车厢中物料信息，根据设定的运输车辆车厢额定载荷的百分比作为阈值，对车厢中物料载荷与阈值进行比较，选取装载优先原则；
在铲斗的安全卸载范围内，根据铲斗中物料体积信息和选取的装载优先原则，对装载点进行规划。
进一步的，所述的运输车辆装载点自动规划方法，其特征在于，所述装载优先原则包括装满优先原则和重心优先原则，所述装满优先原则是指装载目标为物料平铺整个车厢，保证装载量最大化；所述重心优先原则是指装载目标为使得装载后的物料重心位置为理想重心位置；
根据设定的运输车辆车厢额定载荷的百分比作为阈值划分阶段对装载点进行规划：
第一阶段，车厢中物料载荷不超过所述阈值，装载点选取为装满优先原则；
第二阶段，车厢中物料载荷大于所述阈值，装载点选取为重心优先原则。
进一步的，所述的运输车辆装载点自动规划方法，其特征在于，在铲斗的安全卸载范围内，根据铲斗中物料体积信息和选取的装载优先原则，对装载点进行规划：
在车厢内的三维立体深度直方图的较深较大的凹区域或是重心偏移相对原点的对称区域的三维体素网格中，计算满足铲斗中物料体积的体素网格数量是否大于此时铲斗的体素网格数量，并且仍保持安全的装载范围，从而生成规划的装载点。
进一步的，所述的运输车辆装载点自动规划方法，其特征在于，还包括：获取激光雷达三维点云数据，并获取当前挖掘机的回转角度值，
基于当前挖掘机的回转角度值，判断挖掘机处于挖掘工位还是装载工位，进而判断获取的激光雷达三维点云数据为挖掘机铲斗三维点云数据或为运输车辆车厢三维点云数据。
另一方面，本发明还提供一种运输车辆装载点自动规划系统，包括：
数据获取模块，用于获取挖掘机铲斗、运输车辆车厢的三维点云数据；
计算规划模块，用于基于获取的挖掘机铲斗的三维点云数据，结合预设的铲斗参数，对铲斗物料进行三维体素建模得到铲斗的三维立体图，计算得到铲斗中物料体积信息；
基于获取的运输车辆车厢的三维点云数据，结合预设车厢参数，对运输车辆车厢进行表面凹凸性三维立体建模得到车厢内的三维立体深度直方图，计算得到车厢中物料信息，包括车厢中物料体积信息及车厢中物料载荷分布信息；
根据预设的车厢参数以及车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点。
进一步的，所述的运输车辆装载点自动规划系统，其特征在于，还包括数据处理模块，用于：
对挖掘机铲斗、运输车辆车厢的三维点云数据进行融合处理，得到融合后的点云数据，对融合后的点云数据进行过滤及去除噪声点、离群点处理，然后对处理后的点云数据进行长方形拟合，分割出挖掘机铲斗、运输车辆车厢的点云信息，得到挖掘机铲斗、运输车辆车厢的点云信息；
对挖掘机铲斗、运输车辆车厢的点云信息进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。
进一步的，所述的运输车辆装载点自动规划系统，还包括：
参数设定模块，用于设定输入挖掘机铲斗参数和运输车辆车厢参数。
数据采集模块，用于采集激光雷达扫描得到三维点云数据；
判断模块，基于当前挖掘机的回转角度值，判断挖掘机处于挖掘工位还是装载工位，进而判断获取的激光雷达三维点云数据为挖掘机铲斗三维点云数据或为运输车辆车厢三维点云数据；
显示模块，用于显示铲斗中物料体积信息和车厢中物料信息，并将铲斗的三维立体图、车厢内的三维立体深度直方图以及规划的装载点进行显示，以引导操作者装置进行合理装载。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
有益效果：本发明提供的运输车辆装载点自动规划方法及系统，使用一个激光雷达在挖掘机作业的过程中对装载物料的铲斗和运输车辆的车厢进行扫描，对进行装载车辆的装载点规划。具有以下优点：
(1)减少挖掘机装载过程中的物料抛洒，增加挖掘机的装载效率。
(2)在最大化装载量的前提下，实现运输车辆装载物料的理想载荷分布，以提高运输车辆的工作效率和安全性。
(3)可以在挖掘机回转装载的过程中规划出合理的装载点，降低对操作员的经验依赖，减少失误，提高作业效率和质量。
附图说明
图1为实施例的控制系统框图；
图2为实施例激光雷达传感器在挖掘机上的安装示意图；
图3为实施例矿用卡车与挖掘机的位置关系图；
图4为实施例装载点自动规划方法的原理流程图。
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
本发明公开了一种运输车辆装载点自动规划方法及系统，使用一个激光雷达在挖掘机作业的过程中对装载物料的铲斗和运输车辆的车厢进行扫描，对挖掘机铲斗挖掘的物料和装载车辆车厢的物料的体积和凹凸性进行三维建模，反馈挖掘情况和车厢的装载情况；减少挖掘机装载过程中的物料抛洒，增加挖掘机的装载效率；在最大化装载量的前提下，实现运输车辆装载物料的理想载荷分布，以提高运输车辆的工作效率和安全性；可以在挖掘机回转装载的过程中规划出合理的装载点，降低对操作员的经验依赖，减少失误，提高作业效率和质量。
实施例1
本发明提供一种运输车辆装载点自动规划方法的基本步骤如下：
(1)通过显示器装置输入挖掘机的铲斗参数和运输车辆的车厢参数，并初始化车辆车厢的三维立体深度直方图；
(2)由挖掘机当前的回转角度判断，若此时是挖掘动作，依据挖掘机铲斗的参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；
(3)对点云数据进行长方形拟合，分割出挖掘机铲斗内的部分点云信息；
(4)依据处理后的挖掘机铲斗点云数据和铲斗参数，将挖掘机铲斗的点云数据进行三维体素网格化，得到当前铲斗内物料的体素网格数量以标定铲斗内物料的体积；
(5)依据上一循环更新的运输车辆车厢内的三维立体深度直方图，自动判断当前的装载点选取是装满优先原则还是重心优先原则；
(6)在铲斗的安全卸载范围内，根据已知的铲斗的体素网格数量和当前的装载优先原则，在点云的深度直方图的较深较大的凹区域或是重心偏移的区域的三维体素网格中计算可以满足铲斗体积的体素网格数量并且仍保持安全的装载范围，从而生成规划的装载点；
(7)由挖掘机当前的回转角度判断，若此时为装载动作，依据运输车辆的车厢参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；
(8)对点云数据进行长方形拟合，分割出运输车辆车厢内的部分点云信息；
(9)采用本发明提出的点云深度直方图的方法来对三维的点云凹凸性进行分析建模，更新车辆车厢的三维立体深度直方图；
(10)进入(2)开始下一循环。
装载点选取的计算中考虑了两种优先原则：装满优先和重心优先。既满足了运输车辆的装载量最大化，又满足了装载重心最优化。
在装载点选取的计算中考虑了铲斗卸载的安全范围限制，保证了在规划的装载点能满足挖掘机物料装载时减少抛洒，提高工作效率。
装载点规划方法根据目前车厢的容量、载荷分布以及挖掘机铲斗的当前挖掘量综合计算，保证每次规划都是当前作业情况的最优化。
构建深度直方图的方法可以对点云的深度信息以及相邻点的深度信息进行形象的表示，可以对物料的表面凹凸性进行有效的分析。解决物料表面的凹性区域的判断问题。
将矿用卡车的车厢进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。根据每一铲斗物料体积所形成的网格化单位立方体的个数来对应在车厢中体素网格化的立方体数。通过深度直方图寻找合适的卸载点。
挖掘机在挖掘回转过程中最佳装载点的自动规划，降低了对操作手经验和熟练程度的依赖。
实施例2
如图1所示，一种运输车辆装载点自动规划系统，包括：
包括至少一台多线激光雷达、一套回转编码器、一台计算规划模块和一台显示模块；
所述多线激光雷达用于对装有物料的铲斗和车厢进行三维点云扫描，并将扫描得到的原始三维点云数据通过网络通信的方式发送给计算规划模块。
所述回转编码器用于测量当前挖掘机上车的回转角度，并通过can通信方式或其他方式传输给计算规划模块。
所述计算规划模块通过can通信或其他通信方式获取当前挖掘机的回转角度值，判断该处理挖掘机铲斗还是处理运输车辆车厢的点云数据。通过网络通信的方式获取激光雷达扫描得到的三维点云数据，通过一系列算法对原始数据进行过滤，去除噪声点以及离群点，剔除铲斗和车厢以外的背景点，结合预先设置好的铲斗和车厢参数，对铲斗物料进行三维体素建模，对运输车辆车厢进行表面凹凸性三维立体建模，对铲斗在车厢中的位置进行二维平面建模，再依据制定的规划原则，计算出合理的装载点，发送给显示模块和其他控制装置。
所述显示模块通过VGA视频传输连接线与计算规划模块连接，用于显示挖掘机铲斗和车厢的物料分布情况，并将计算规划模块处理的三维立体图形、规划的装载点显示给操作者，引导操作者或其他控制装置进行合理装载。
所述激光雷达设计安装位置，结合挖掘机的具体结构尺寸和激光雷达参数，将激光雷达安装挖掘机动臂下方，使得激光雷达的垂直扫描覆盖运输车装载作业区间。
为了获取铲斗和车厢的点云数据，需要将激光雷达安装在一个合理的扫描位置。本发明结合挖掘机、运输车辆的结构尺寸和激光雷达参数，激光雷达安装在挖掘机动臂下方，使得激光雷达的扫描范围能够同时覆盖回转过程中的挖掘机铲斗和运输车辆车厢作业区间。
为了实现挖掘机对运输车辆装载的装载点自动规划，本发明的计算过程如下：
首先，将挖掘机的铲斗体积参数和运输车辆的车厢参数输入计算规划模块，计算规划模块通过can通信或其他通信方式获取当前挖掘机的回转角度值，计算规划模块通过以太网通信方式或其他方式获取激光雷达扫描得到的点云数据。依据规定的回转角度阈值和预设参数判断此时的激光雷达点云数据是挖掘机铲斗点云数据还是运输车辆车厢点云数据。为得到完整的车厢信息采用点云融合的方式，将多次采集的信息进行拼接。在挖掘机装载的回转的过程中对运输车辆的车厢进行激光扫描，在挖掘机挖掘回转的过程中对铲斗进行激光扫描，计算规划模块对点云数据过滤，去除噪声点以及离群点。处理后的点云数据不仅包含挖掘机铲斗和车辆车厢的物料信息，也包含地面等信息。由此，为获得仅含有物料的点云，需要使车厢的物料点云与背景分开，结合输入的挖掘机铲斗参数和运输车辆车厢参数，本发明采用的算法是进行长方形拟合，将长方形拟合之外的点云部分都进行过滤处理。
其次，分析运输车辆车厢范围内和挖掘机铲斗范围内的三维点云的凹凸性。本申请发明了一种点云深度直方图的方法来表征三维点云的凹凸信息。将三维信息投影到二维栅格图上，将点云的深度信息作为权重赋给每一个栅格。生成的栅格图中，权值越大表示深度值越小，权值较大的栅格连在一起则是凸面的表示。为了形象的分析点云的凹凸性，计算栅格权与周围相邻栅格的权值之差，差值的正负代表凹凸的趋势，在区域的边缘栅格处迭代差值正负相同的栅格。最终，形成点云深度直方图，横坐标表示区域面积，纵坐标表示点云深度的差值。
进一步的，将挖掘机铲斗和运输车辆车厢的点云数据三维体素网格化，设置网格的大小与之前点云深度图的栅格大小相同，根据单位体素网格的体积得到当前挖掘机铲斗和运输车辆车厢内所占有的体素网格的数量。
根据生成的深度直方图和运输车辆车厢参数，采用装满优先和重心优先原则，分两个阶段对装载点进行规划：装满优先原则是指装载目标为物料平铺整个车厢，保证装载量最大化。重心优先原则是指装载目标为使得装载后的物料重心位置为理想重心位置(根据车辆性能参数确定，对应同一种型号的运输车辆，为固定值)。一般根据设定的运输车辆车厢额定载荷的百分比划分阶段，第一阶段装载点选取为装满优先原则，第二阶段装载点选取为重心优先原则。
最后，为避免装料的时候物料溢出或者倾洒到运输车辆车厢之外，设置安全装载区域，设置装载点与车沿的相对距离限制。由于挖掘机装载的时候，铲斗的动作会相对挖掘机位置外摆，因此设置距离挖掘机位置远的一侧车沿的距离限制参数较大(一般设置为挖掘机铲斗宽度的0.5倍)，距离挖掘机位置近的一侧车沿的距离限制参数较小(一般设置为挖掘机铲斗宽度的0.2倍)，确保挖掘机在卸料的过程中铲斗处于运输车辆车厢的范围内。
在一些实施例中，如图2所示，本系统具体实施利用矿用卡车作为装载物料的车，但不仅限用于矿用卡车作为运输车辆。在挖掘机作业过程中需要移动到指定点进行铲斗卸料，装载点选取直接影响装料过程时稳定性以及安全性。在装载之前需要对车厢进行有效的数据采集，在激光扫描时需要一个有利的固定位置，本申请研究对象为液压挖掘机，此挖掘机传感器的安装如图2，将激光扫描仪安装在挖掘机的大臂下方，这样在装载的过程中随着机械臂的移动激光扫描仪也可以得到车厢上方扫描的视角。这里选择的多线激光传感器ILRIS-36D激光雷达，其中AS1为110度，对矿用卡车的车厢和挖掘机的铲斗进行扫描。
结合图3，矿用卡车在装料的时候位置是固定的，由于最后得到的是最优的装载位置，所以该系统设置矿车车厢理想载荷分布的重心位置为车厢的原点，如图3所示。本发明针对履带式液压挖掘机以及矿用卡车进行实例化，公开一种挖掘机装载时在运输车辆车厢上方有效选择卸载点的系统。
由于激光雷达的扫描的范围限制，无法一次性的扫描整个车厢区域，需要移动挖掘机的机械臂使得激光雷达可以全面的扫描到车厢不同的区域，然后应用ICP算法进行点云的融合。ICP算法就是基于最小二乘法的最优匹配方法，通过迭代得到符合目标函数要求的平移参数和旋转参数。对于3D中的两点pi＝(xi,yi,zi)和qi＝(xi,yi,zi)利用旋转矩阵和平移矩阵R和T，求最优解公式如下：
在匹配的过程中，保证控制点的点对配准成功，通过迭代求目标函数的最小值。经过变换，两个点云集得到位姿的匹配使得两者完全的对齐。
将融合后的点云数据进行预处理。激光雷达在扫描的时候会产生不均匀的点云数据以及稀疏的离群点。为去除离散使用StatisticalOutlierRemoval过滤器，此离群点移除法基于输入数据点到临近点的距离分布的计算。到临近点的平均距离在全局平均距离的范围之外，则视为离群点，并从数据集中移除。
预处理之后的点云数据除了车厢的信息还含有地面背景，车身等信息。由于矿用卡车的车厢是长方形，所以利用几何特点，将车厢分割出来。将三维的点云投影到二维上，拟合出长方形，得到长方形边界的点云信息。在三维点云中，根据得到的长方形边界点云的X和Y二维坐标信息，保留长方形边界之内的点云从而分割出车厢的点云信息。
根据矿用卡车车厢的点云信息进行物料三维凹凸性分析，本申请提出了一种点云深度直方图的方法来表征三维物体凹凸性。首先，根据车厢内点云的Z值最大以及最小之差为深度差，均分为255等分。因此，0-255代表不同的深度值。将三维信息投影到二维栅格图上，将点云的0-255深度值作为权重赋给每一个栅格。生成的栅格图中，权值越大表示深度值越小，权值较大的栅格连在一起则是凸面的表示。为了形象的分析点云的凹凸性，从k个权值较大或者较小的栅格点开始，计算栅格权值与周围相邻栅格的权值之差(差值的正负代表凹凸的趋势)，将差值相同的栅格划为同一区域。区域边界的栅格再作为起始栅格点进行求权值之差的操作，不断迭代直到差值正负相同的栅格划为同一区域。最终，形成点云深度直方图，横坐标表示区域面积，纵坐标表示点云深度的差值。
实施例3
结合图4，卡车车厢装载点规划的流程详述如下：
(1)通过显示器装置输入挖掘机的铲斗参数和运输车辆的车厢参数，并初始化车辆车厢的三维立体深度直方图；
(2)由挖掘机当前的回转角度判断：在某一装载工艺下：0度-90度为挖掘作业区间，此时只处理挖掘机铲斗点云数据；140度-230度为装载作业区间，此时只处理矿用卡车车厢点云数据。若此时是挖掘动作，依据挖掘机铲斗的参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；
(3)对点云数据进行长方形拟合，分割出挖掘机铲斗内的部分点云信息；
(4)将处理后的点云进行三维体素网格化。通过输入的点云数据创建一个三维体素栅格(可把体素栅格想象为微小的空间三维立方体的集合)，设置三维体素化的网格单位长度与深度直方图二维的栅格化单位长度相同。在三维体素网格中，设置含有点云即为1，不含有点云即为0；
(5)依据上一循环更新的运输车辆车厢内的三维立体深度直方图，自动判断当前的装载点选取是装满优先原则还是重心优先原则，这里选择的阈值为提前输入计算规划模块的矿用卡车额定载荷参数的70％；
(6)在铲斗的安全卸载范围内，根据已知的铲斗的体积和当前的装载优先原则，在点云的深度直方图的较深较大的凹区域或是重心偏移相对原点的对称区域的三维体素网格中计算可以满足铲斗体积的体素网格数量是否大于此时铲斗的体素网格数量，并且仍保持安全的装载范围(本实例的安全范围设置为距离车边沿0.3米)，从而生成规划的装载点；
(7)由挖掘机当前的回转角度判断，140度-230度为装载作业区间,若此时为装载动作，依据运输车辆的车厢参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；
(8)对点云数据进行长方形拟合，分割出运输车辆车厢内的部分点云信息；
(9)采用本发明提出的点云深度直方图的方法来对三维的点云凹凸性进行分析建模；
(10)进入(2)开始下一循环，即可实现装载点的循环规划。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种运输车辆装载点自动规划方法，其特征在于，包括：
获取挖掘机铲斗、运输车辆车厢的三维点云数据；
基于获取的挖掘机铲斗的三维点云数据，结合预设的铲斗参数，对铲斗物料进行三维体素建模得到铲斗的三维立体图，计算得到铲斗中物料体积信息；
基于获取的运输车辆车厢的三维点云数据，结合预设车厢参数，对运输车辆车厢进行表面凹凸性三维立体建模得到车厢内的三维立体深度直方图，计算得到车厢中物料信息，包括车厢中物料体积信息及车厢中物料载荷分布信息；
根据预设的车厢参数以及车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点。
2.根据权利要求1所述的运输车辆装载点自动规划方法，其特征在于，还包括：对挖掘机铲斗、运输车辆车厢的三维点云数据进行融合处理，得到融合后的点云数据，对融合后的点云数据进行过滤及去除噪声点、离群点处理，然后对处理后的点云数据进行长方形拟合，分割出挖掘机铲斗、运输车辆车厢的点云信息，得到挖掘机铲斗、运输车辆车厢的点云信息；
对挖掘机铲斗、运输车辆车厢的点云信息进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。
3.根据权利要求1所述的运输车辆装载点自动规划方法，其特征在于，
将挖掘机铲斗、运输车辆车厢的三维点云数据进行三维体素网格化，设置网格的大小与车厢内的三维立体深度直方图的栅格大小相同，根据单位体素网格的体积得到当前挖掘机铲斗物料和运输车辆车厢内所占有的体素网格的数量；
根据每一铲斗物料体积所形成的网格化单位立方体的个数来对应在车厢中体素网格化的立方体数，通过深度直方图寻找合适的卸载点；
和/或，采用点云深度直方图的方法来对三维的点云凹凸性进行分析建模，更新车辆车厢的三维立体深度直方图。
4.根据权利要求2所述的运输车辆装载点自动规划方法，其特征在于，根据预设车厢参数、车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点，具体包括：
根据预设的车厢参数、车厢内的三维立体深度直方图、车厢中物料信息，根据设定的运输车辆车厢额定载荷的百分比作为阈值，对车厢中物料载荷与阈值进行比较，选取装载优先原则；
在铲斗的安全卸载范围内，根据铲斗中物料体积信息和选取的装载优先原则，对装载点进行规划。
5.根据权利要求4所述的运输车辆装载点自动规划方法，其特征在于， 所述装载优先原则包括装满优先原则和重心优先原则，所述装满优先原则是指装载目标为物料平铺整个车厢，保证装载量最大化；所述重心优先原则是指装载目标为使得装载后的物料重心位置为理想重心位置；
根据设定的运输车辆车厢额定载荷的百分比作为阈值划分阶段对装载点进行规划：
第一阶段，车厢中物料载荷不超过所述阈值，装载点选取为装满优先原则；
第二阶段，车厢中物料载荷大于所述阈值，装载点选取为重心优先原则。
6.根据权利要求5所述的运输车辆装载点自动规划方法，其特征在于，在铲斗的安全卸载范围内，根据铲斗中物料体积信息和选取的装载优先原则，对装载点进行规划：
在车厢内的三维立体深度直方图的较深较大的凹区域或是重心偏移相对原点的对称区域的三维体素网格中，计算满足铲斗中物料体积的体素网格数量是否大于此时铲斗的体素网格数量，并且仍保持安全的装载范围，从而生成规划的装载点。
7.根据权利要求1所述的运输车辆装载点自动规划方法，其特征在于，还包括：获取激光雷达三维点云数据，并获取当前挖掘机的回转角度值，
基于当前挖掘机的回转角度值，判断挖掘机处于挖掘工位还是装载工位，进而判断获取的激光雷达三维点云数据为挖掘机铲斗三维点云数据或为运输车辆车厢三维点云数据。
8.一种运输车辆装载点自动规划系统，其特征在于，包括：
数据获取模块，用于获取挖掘机铲斗、运输车辆车厢的三维点云数据；
计算规划模块，用于基于获取的挖掘机铲斗的三维点云数据，结合预设的铲斗参数，对铲斗物料进行三维体素建模得到铲斗的三维立体图，计算得到铲斗中物料体积信息；
基于获取的运输车辆车厢的三维点云数据，结合预设车厢参数，对运输车辆车厢进行表面凹凸性三维立体建模得到车厢内的三维立体深度直方图，计算得到车厢中物料信息，包括车厢中物料体积信息及车厢中物料载荷分布信息；
根据预设的车厢参数以及车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点。
9.根据权利要求8所述的运输车辆装载点自动规划系统，其特征在于，
还包括数据处理模块，用于：
对挖掘机铲斗、运输车辆车厢的三维点云数据进行融合处理，得到融合后的点云数据，对融合后的点云数据进行过滤及去除噪声点、离群点处理，然后对处理后的点云数据进行长方形拟合，分割出挖掘机铲斗、运输车辆车厢的点云信息，得到挖掘机铲斗、运输车辆车厢的点云信息；
对挖掘机铲斗、运输车辆车厢的点云信息进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。
10.根据权利要求8所述的运输车辆装载点自动规划系统，其特征在于，还包括：
参数设定模块，用于设定输入挖掘机铲斗参数和运输车辆车厢参数；
数据采集模块，用于采集激光雷达扫描得到三维点云数据；
判断模块，基于当前挖掘机的回转角度值，判断挖掘机处于挖掘工位还是装载工位，进而判断获取的激光雷达三维点云数据为挖掘机铲斗三维点云数据或为运输车辆车厢三维点云数据；
和/或，还包括显示模块，用于显示铲斗中物料体积信息和车厢中物料信息，并将铲斗的三维立体图、车厢内的三维立体深度直方图以及规划的装载点进行显示，以引导操作者装置进行合理装载。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910057180.XA CN109902857B (zh) | 2019-01-22 | 2019-01-22 | 一种运输车辆装载点自动规划方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910057180.XA CN109902857B (zh) | 2019-01-22 | 2019-01-22 | 一种运输车辆装载点自动规划方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109902857A CN109902857A (zh) | 2019-06-18 |
| CN109902857B true CN109902857B (zh) | 2020-11-10 |
Family
ID=66943952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910057180.XA Active CN109902857B (zh) | 2019-01-22 | 2019-01-22 | 一种运输车辆装载点自动规划方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109902857B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446402B (zh) * | 2019-09-03 | 2024-03-26 | 顺丰科技有限公司 | 装载率识别方法、装置、计算机设备和存储介质 |
| CN114174596B (zh) * | 2019-09-18 | 2024-03-08 | 住友重机械工业株式会社 | 挖土机 |
| CN111364549B (zh) * | 2020-02-28 | 2021-11-09 | 江苏徐工工程机械研究院有限公司 | 一种基于激光雷达的同步建图和自动作业方法及系统 |
| JP7423399B2 (ja) * | 2020-04-17 | 2024-01-31 | 株式会社小松製作所 | 作業システムおよび制御方法 |
| CN111626996B (zh) * | 2020-05-21 | 2021-10-19 | 金陵科技学院 | 基于dem三维特征分布的滑动窗口检测方法 |
| CN111832987B (zh) * | 2020-06-23 | 2021-04-02 | 江苏臻云技术有限公司 | 基于立体内容的大数据处理平台及方法 |
| CN112257624B (zh) * | 2020-10-28 | 2023-05-23 | 山东金软科技股份有限公司 | 一种基于边缘计算实现的矿井运输电机车自动计量系统 |
| CN112347664B (zh) * | 2021-01-11 | 2021-03-23 | 苏州澳昆智能机器人技术有限公司 | 一种非规整装车空间的建模方法及装置 |
| CN112499298B (zh) * | 2021-02-08 | 2021-05-11 | 苏州澳昆智能机器人技术有限公司 | 一种装车用运输机器人 |
| CN113443462B (zh) * | 2021-06-25 | 2022-04-01 | 国能黄骅港务有限责任公司 | 一种装船作业系统、控制方法、装置以及计算机设备 |
| CN113805581B (zh) * | 2021-07-28 | 2024-02-27 | 中科云谷科技有限公司 | 用于对接挖掘机和矿卡的方法及主控装置 |
| CN113743206B (zh) * | 2021-07-30 | 2024-04-23 | 洛伦兹(宁波)科技有限公司 | 矿车装料控制方法、装置、系统及计算机可读介质 |
| CN114164877B (zh) * | 2021-11-09 | 2023-04-14 | 中联重科土方机械有限公司 | 用于装载物料的方法、控制器及挖掘设备 |
| CN115328171B (zh) * | 2022-10-11 | 2023-02-10 | 青岛慧拓智能机器有限公司 | 装载点位置的生成方法、装置、芯片、终端、设备和介质 |
| CN117331093B (zh) * | 2023-11-30 | 2024-01-26 | 江苏智能无人装备产业创新中心有限公司 | 一种基于铲斗位置剔除的无人驾驶装载机障碍物感知方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107251093A (zh) * | 2015-03-30 | 2017-10-13 | 沃尔沃建筑设备公司 | 用于确定材料移动机械的铲斗的材料装载状况的系统和方法 |
| CN109072582A (zh) * | 2016-04-19 | 2018-12-21 | 沃尔沃建筑设备公司 | 用于材料的倾倒的控制单元 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8903689B2 (en) * | 2009-06-25 | 2014-12-02 | Commonwealth Scientific And Industrial Research Organisation | Autonomous loading |
| US20150085123A1 (en) * | 2013-09-23 | 2015-03-26 | Motion Metrics International Corp. | Method and apparatus for monitoring a condition of an operating implement in heavy loading equipment |
-
2019
- 2019-01-22 CN CN201910057180.XA patent/CN109902857B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107251093A (zh) * | 2015-03-30 | 2017-10-13 | 沃尔沃建筑设备公司 | 用于确定材料移动机械的铲斗的材料装载状况的系统和方法 |
| CN109072582A (zh) * | 2016-04-19 | 2018-12-21 | 沃尔沃建筑设备公司 | 用于材料的倾倒的控制单元 |
Non-Patent Citations (2)
| Title |
|---|
| Real-time volume estimation of a dragline payload;Alex Bewley;《2011 IEEE International Conference on Robotics and Automation》;20110815;全文 * |
| 基于激光点云的智能挖掘机目标识别;朱建新;《计算机工程》;20170131;第43卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109902857A (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902857B (zh) | 一种运输车辆装载点自动规划方法及系统 | |
| US8903689B2 (en) | Autonomous loading | |
| CN109948189B (zh) | 一种挖掘机铲斗物料体积与重量测量系统 | |
| US11378964B2 (en) | Systems and methods for autonomous movement of material | |
| AU2018211264B2 (en) | System and method for controlling earthmoving machines | |
| US8730233B2 (en) | Mesh estimation of terrain | |
| WO2020256771A1 (en) | Techniques for volumetric estimation | |
| DE102017218770A1 (de) | Schätzung eines inhaltsvolumens in einem behälter eines arbeitsfahrzeugs | |
| JP7365122B2 (ja) | 画像処理システムおよび画像処理方法 | |
| US10832435B1 (en) | Determining payload carrier volume using a neural network | |
| DE102019211710A1 (de) | Behälterwinkelerfassung unter verwendung eines bildsensors zur feedbackschleifensteuerung | |
| US20160299116A1 (en) | Automated material tagging system | |
| CN112513563B (zh) | 作业机械的搬运物确定装置、作业机械、作业机械的搬运物确定方法、补全模型的生产方法以及学习用数据集 | |
| AU2018203324A1 (en) | System and method for dumping material | |
| Halbach et al. | Job planning and supervisory control for automated earthmoving using 3D graphical tools | |
| CN113985873A (zh) | 一种装载机自主铲掘作业铲掘点规划方法 | |
| US11001991B2 (en) | Optimizing loading of a payload carrier of a machine | |
| CN115142513B (zh) | 用于挖掘机的控制方法及装置、处理器及存储介质 | |
| AU2022442100A1 (en) | Method and apparatus for generating dumping positions, electronic device and storage medium | |
| Finkbeiner et al. | Shape recognition of material heaps in outdoor environments and optimal excavation planning | |
| Kwak et al. | Vision-based Payload Volume Estimation for Automatic Loading | |
| CN111733904A (zh) | 一种装载机自动铲装系统、铲装方法及装载机 | |
| JP2024070849A (ja) | 土工機械の動作のための方法、装置及び土工機械 | |
| CN117419704A (zh) | 一种用于露天矿山装载区的地图区域更新方法及系统 | |
| Chae et al. | 3D work environment modeling for the intelligent excavation system (IES) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |