CN111622296B - 挖掘机安全避障系统和方法 - Google Patents

Abstract

本发明公开了一种无人挖掘机避障系统和方法，适用于挖掘机在自主作业过程中对环境中的静止以及移动障碍的判别与避障。通过应用环境检测设备激光扫描仪对挖掘机周围环境进行实时扫描建模，通过惯性测量单元和角度测量单元监控自身位姿，采用预测的方式，通过计算机处理实时计算安全范围并采取不同层次的避障措施。本发明可以辅组无人挖掘机在挖掘作业过程中和运土作业过程中对各种障碍的回避，提高无人操作系统的安全性，以及大规模集群施工过程中的效率。

Description

挖掘机安全避障系统和方法

技术领域

本发明涉及智能挖掘机，尤其涉及智能挖掘机在无人化挖掘过程中采用的避障系统。

背景技术

挖掘机在移动土方作业期间，属于空间中大角度旋转过程，需要对工作装置扇形移动范围内的障碍物进行判断与规避，防止碰撞以及可能造成的人员受伤、物品损坏以及自机损伤等问题。对于挖掘机施工现场的安全设计，目前已经实现的方法为人工驾驶或者远程遥控条件下在挖掘机上安装摄像头，同时机身近距离范围内的全景影像，并在驾驶室内的显示屏上显示拍摄到的视频，作为一种参考，使驾驶员在进行风险动作操作时能够观测到视觉盲区的视频影像。如柳州柳工挖掘机有限公司在专利“回转作业机械行走后方视频监控系统”中提出了利用摄像头辅助监视系统，在驾驶员手动操作过程中监视挖掘机后方，防止危险发生的方法。

上述运行安全控制的技术方法存在着诸多问题：

施工现场挖掘机涉及回转、挖土作业中的防碰撞安全，很大程度依靠驾驶员的注意力集中和处置得当，而实际上驾驶员的注意力主要在挖掘机作业范围上，只有很小一部分注意力关注显示屏。

在不良天气等环境因素导致视野可见度情况不良情况下，将大大影响操作员的危险发现能力与应急处理能力。

对于操作员而言任何程度的障碍都基本上会做出停机操作，确认静态障碍后再重新选择动作避障的方式，或者等待移动障碍离开后启动的方式，在多机作业的现场工况下反复停机等待对作业效率也有很大的影响。

另外，三一重机有限公司在专利“雷达预警方法、系统、装置及挖掘机”中提出了利用超声波雷达采用固定安全距离进行回转过程中防止碰撞的方法。这类方法虽然可以利用超声波在障碍物靠近的同时发生报警警告，但是采用的是固定安全距离，对于移动障碍物缺乏报警的预见性，如果考虑移动障碍物而扩大危险距离，又会在多设备情况下照成频繁停机问题。另外无法对可避开障碍物实现自主避障，影响工作效率。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何让智能挖掘机在无人化自主挖掘模式的作业阶段和回转运土阶段工作过程中更为安全智能的避障。

为实现上述目的，本发明在第一方面提供了一种智能挖掘机安全避障系统，智能挖掘机安全避障系统，包括至少两个激光扫描装置，激光扫描装置被分别布置在挖掘机上回转车身对角点处，使得扫描范围可覆盖挖掘机周边360°的区域；激光扫描装置被设置为以周期T进行循环扫描并将扫描数据发送至控制装置；控制装置，控制装置被设置为接收激光扫描装置发送的扫描数据的机载处理器，以及输出控制信号的机载控制器，机载处理器还包括：目标采集处理模块，目标采集处理模块读取扫描数据并建立三维点云地图，进而对障碍物的本体进行定义，建立其规则形状模型；根据激光扫描仪自身的物理安装位置相对于挖掘机机体的坐标系位姿，计算得到障碍物相对于挖掘机机体的位姿；位置预测模块，速度位置预测模块通过不同时刻下障碍物位置的扫描数据，对运动中的障碍物的位置、速度和运动方向进行预测；决策控制模块，决策控制模块首先确定挖掘机的碰撞半径和扫描到的障碍物的最大安全接触半径，当扫描到静止障碍物时，如可避开，则决策控制模块控制挖掘机修正其运动轨迹以避开静止障碍物，同时降低运动速度继续作业，如不可避开，则控制挖掘机停机并报警；当扫描到运动障碍物时，如预测运动障碍物将在不小于预定的时间T1内进入碰撞半径，则控制挖掘机修正运动轨迹以避开静止障碍物，同时降低运动速度继续作业，如速度位置预测模块预测运动障碍物将在小于预定的时间T1内进入碰撞半径，则控制挖掘机停机并报警直到预测运动障碍物将在不小于预定的时间T1内进入碰撞半径时再自动启动挖掘机。

进一步地，通过对三维点云地图中的障碍物进行分割以获取障碍物的体积中心坐标，而后通过设置相应的膨胀系数以获得其范围坐标，生成球形碰撞范围，确定最大安全接触半径。

进一步地，采用深度神经网络方式进行分割，采用聚类方法获得体积中心坐标。

进一步地，采用扩展卡尔曼滤波的方式实现对运动中的障碍物的位置、速度和运动方向进行预测。

进一步地，通过IMU传感器和安装在机身上的角度传感器获得挖掘机实时角度信息和速度信息，采集工作部件的尺寸信息并通过正向运动学的方法建立挖掘机机构物理尺寸模型，得到挖掘机在挖掘和回转过程中的碰撞半径。

本发明在另一方面提供了一种挖掘机安全避障方法，包括如下步骤

由分别布置在机身上各处的至少两个激光扫描装置对挖掘机周边360°的区域以周期T进行循环扫描并将扫描数据发送至控制装置；由控制装置中的机载处理器接收激光扫描装置发送的扫描数据，机载处理器还包括目标采集处理模块、位置预测模块和决策控制模块；其中目标采集处理模块读取扫描数据并建立三维点云地图，进而对障碍物的本体进行定义，获得其规则形状模型；根据激光扫描仪自身的物理安装位置相对于挖掘机机体的坐标系位姿，计算得到障碍物相对于挖掘机机体的位姿；速度位置预测模块通过不同时刻下障碍物位置的扫描数据，对运动中的障碍物的位置、速度和运动方向进行预测；决策控制模块首先确定挖掘机的碰撞半径和扫描到的障碍物的最大安全接触半径，当扫描到静止障碍物时，如可避开，则决策控制模块控制挖掘机修正其运动轨迹以避开静止障碍物，同时降低运动速度继续作业，如不可避开，则控制挖掘机停机并报警；当扫描到运动障碍物时，如预测运动障碍物将在不小于预定的时间T1内进入碰撞半径，则控制挖掘机修正运动轨迹以避开静止障碍物，同时降低运动速度继续作业，如速度位置预测模块预测运动障碍物将在小于预定的时间T1内进入碰撞半径，则控制挖掘机停机并报警直到预测运动障碍物将在不小于预定的时间T1内进入碰撞半径时再自动启动挖掘机。

进一步地，通过对三维点云地图中的障碍物进行分割以获取障碍物的体积中心坐标，而后通过设置相应的膨胀系数以获得其范围坐标，生成球形碰撞范围，确定最大安全接触半径。

进一步地，采用深度神经网络方式进行分割，采用聚类方法获得体积中心坐标。

进一步地，采用扩展卡尔曼滤波的方式实现对运动中的障碍物的位置、速度和运动方向进行预测。

进一步地，通过IMU传感器和安装在机身上的角度传感器获得挖掘机实时角度信息和速度信息，采集工作部件的尺寸信息并通过正向运动学的方法建立挖掘机机构物理尺寸模型，得到挖掘机在挖掘和回转过程中的碰撞半径。

本发明通过应用环境检测设备激光扫描仪对挖掘机周围环境进行实时扫描建模，通过计算机处理实时预测安全范围并采取不同层次的避障措施。针对挖掘机无人化自主挖掘模式，提出一种运行过程中的安全避障的方法，该方法在挖掘机自主工作过程中对静态目标和动态目标分辨进行判断，针对不同运动方式的目标拥有柔性和刚性不同种类的避障措施，保证复杂协同施工环境下的安全性与效率，这也是发展无人化作业所带来的优势。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例中的激光扫描仪的布置方式；

图2是本发明的一个较佳实施例中的安全避障系统的结构示意图；

图3是本发明的一个较佳实施例中的安全避障系统决策过程流程图；

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在挖掘过程中可能存在碰撞危险的环节包括工作装置外展挖土动作，以及完成挖掘后的回转移动土方动作。由于挖掘机机身近似可以看作一个长方体，因此考虑到全覆盖整个扇形环绕空间，至少需要两个激光扫描仪，因此如图1所示，根据本发明的一个具体实施例中，在挖掘机3的右前方和左后方平台上，分别设置了激光扫描仪1和2，以保证广角范围内不会被遮挡。在其他实施例中，激光扫描仪的数量可以更多。

激光扫描仪1和2与挖掘机驾驶室机载处理器通过总线形式连接，通过机载处理器读取三维信息并建立三维点云地图。

当设备开机时，激光扫描仪以周期T对半径范围内的障碍物进行循环扫描，通过总线将周期性数据发送给机载控制器建图，所述信息主要包括障碍物表面的距离、检测角、时间。发送给目标机后根据自身物理安装位置相对于机体远点位姿，可以换算出障碍物相对于机体空间下位姿。进一步可以通过机器学习技术对点云中物体进行分割并获取其体积中心坐标，通过设置合适膨胀系数方式获取其范围坐标，定义为障碍物本体。机器学习方法可采用深度神经网络方式对图像进行分割，采用聚类方法获得图像三维坐标中心，并生成球形碰撞范围，碰撞半径为R。以此对工作过程中障碍目标进行检测与模型化处理。

由于挖掘机工作过程一般在高振动与噪声的环境中，采集到的激光扫描仪数据中存在部分干扰点，因此仅根据扫描仪信息不能很好的对运动目标做出准确判断，采用扩展卡尔曼滤波的方式通过不同时刻下对物体位置的观测，提高障碍识别的准确性，实现估计运动目标的位置与速度、加速度等信息。更进一步的，需要对运动物体下一步的运动速度和方向做出预测，所述预测方法假设在下一个采样时间点到来之前，运动物体将保持前一个状态下采样计算获得的位置和速度方向，静止物体将保持静止。在现场工作环境中这种运动的物体可能有很多，包括检测人员、辅助作业人员、其他类型作业设备如装载机、卡车等。除此之外静止的物体则包括堆砌物料、土堆。室内作业时还需要考虑墙体支架等结构的障碍类型。

机载处理器完成障碍物速度和位置预测之后对于判断工作空间中存在障碍物的情况下将进入避障决策控制流程。

首先是对障碍物进行分类，现场作业环境中的障碍物主要分为两大类，静止的障碍和移动的障碍，对于障碍物具体类型不需要像汽车的无人驾驶那样具体去划分，以此减小计算机运算的开销，针对静止目标，观测并估计其最大安全接触半径即可。针对运动目标，需要对其速度和位置的估计与预测。以此可以将挖掘机的避障分为两个层次，挖掘过程中避障与运土移方过程中的避障问题。

第一挖掘过程中主要面向静止障碍物，当在机械臂外展回收过程之前首先用所述方法进行环境障碍物探测，工作空间存在障碍则在避障求解成功情况下采取第一处理方法，用避障规划的方式同时降低运行速度，继续挖掘作业，避免了在一些可回避情况下的停机待工，提高了机械的智能化程度。

第二挖掘过程指运土移方，主要采用回转操作，面对静止的遮挡与移动的设备、现场辅助人员情况较多。对于检测静止物体采取第二处理方法，降低速度并做出警告，同时采取避开措施。对于检测运动并且速度方向靠经运行轨迹的物体，在预测小于设定T1时刻后将要进入碰撞半径R的需要采取第三处理方法，停机并发出警告。另一方面，对于检测运动并且速度方向远离运行轨迹的物体，在预测大于设定T1时刻后才会进入碰撞半径R的仍然采取第二处理方法。

第一第二种处理方法中，对于无法避开的障碍，转为第三种处理方法执行。停机并发出警告。此过程中仍然维持检测循环功能。

停机对象在障碍排除，并在对运动对象预测大于设定T1时刻后才有可能进入碰撞半径R时，再自动启动。

本智能挖掘机安全避障方法需要特别说明的是：

第一，碰撞半径R判断方法为：通过从外设传感器获得工作部件包括动臂、斗杆和铲斗的尺寸信息、实时角度信息和速度信息。传感器包括角度传感器、位移传感器、视觉测量等方法。通过利用获得的信息通过正向运动学的方法建立挖掘机机构物理尺寸模型，得到机构在挖掘和回转过程中的实际实体区域。在与静止障碍物的判别区域或者是运动障碍物T1时间后的预测判别区域对比，当发生干涉后判断发生碰撞风险并进入行为决策环节。具体判别公式如下所示：

其中T1是循环判别周期,

是预测障碍物速度矢量，

为规划回转运动速度矢 量，ε为临界判别距离。

第二，如图2所示，对于判断为第三处理方法的情况，通过计算机关闭图2中挖掘机对应运行的先导电磁阀，从而阻断液压管路的运行，同时广播和警示灯设备启动并做出警告；对于判断为第二处理方法的情况从轨迹上降低设定运行速度，并修正运动轨迹，如采用人工势场方法，但不限于此方法。结合物体碰撞半径R可重新规划出运行轨迹。进一步通过图2中机载控制器反馈到图2中先导阀上，按调节比例降低各阀控开度，从而降低液压机构执行速度，同时广播和警示灯设备启动并做出警告；对于判断为第一处理方法的情况从轨迹上降低设定运行速度，并修正运动轨迹，如采用人工势场方法，但不限于此方法。结合物体碰撞半径R可重新规划出运行轨迹。进一步通过图2中机载控制器反馈到图2中先导阀上，按调节比例降低各阀控开度，从而降低液压机构执行速度。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (2)

1.一种挖掘机安全避障系统，其特征在于，包括

至少两个激光扫描装置，所述激光扫描装置被分别布置在机身上各处，使得扫描范围可覆盖挖掘机周边360°的区域；所述激光扫描装置被设置为以周期T进行循环扫描并将扫描数据发送至控制装置；

所述控制装置，所述控制装置被设置为接收所述激光扫描装置发送的扫描数据，还包括：

目标采集处理模块，所述目标采集处理模块读取所述扫描数据并建立三维点云地图，进而对障碍物的本体进行定义，获得其规则形状模型；根据所述激光扫描装置自身的物理安装位置相对于挖掘机机体的坐标系位姿，计算得到障碍物相对于挖掘机机体的位姿；

位置预测模块，所述位置预测模块通过不同时刻下障碍物位置的扫描数据，对运动中的障碍物的位置、速度和运动方向进行预测；

决策控制模块，所述决策控制模块首先确定挖掘机的碰撞半径和扫描到的障碍物的最大安全接触半径，当扫描到静止障碍物时，如可避开，则所述决策控制模块控制挖掘机修正其运动轨迹以避开所述静止障碍物，同时降低运动速度继续作业，如不可避开，则控制挖掘机停机并报警；当扫描到运动障碍物时，如预测所述运动障碍物将在不小于预定的时间T1内进入所述碰撞半径，则控制挖掘机修正运动轨迹以避开所述运动障碍物，同时降低运动速度继续作业，如所述位置预测模块预测所述运动障碍物将在小于预定的时间T1内进入所述碰撞半径，则控制挖掘机停机并报警直到预测所述运动障碍物将在不小于预定的时间T1内进入所述碰撞半径时再自动启动挖掘机；

通过对所述三维点云地图中的障碍物进行分割以获取障碍物的体积中心坐标，而后通过设置相应的膨胀系数以获得其范围坐标，生成球形碰撞范围，确定所述最大安全接触半径；

采用深度神经网络方式进行所述分割，采用聚类方法获得所述体积中心坐标；

采用扩展卡尔曼滤波的方式实现对运动中的障碍物的位置、速度和运动方向进行预测；

通过传感器获得挖掘机工作部件的尺寸信息、实时角度信息和速度信息，通过正向运动学的方法建立挖掘机机构物理尺寸模型，得到挖掘机在挖掘和回转过程中的实时变换的碰撞范围。

2.一种挖掘机安全避障方法，其特征在于，包括如下步骤

由分别布置在机身上各处的至少两个激光扫描装置对挖掘机周边360°的区域以周期T进行循环扫描并将扫描数据发送至控制装置；

由所述控制装置接收所述激光扫描装置发送的扫描数据，所述控制装置还包括目标采集处理模块、位置预测模块和决策控制模块；其中

所述目标采集处理模块读取所述扫描数据并建立三维点云地图，进而对障碍物的本体进行定义，获得其规则形状模型；根据所述激光扫描装置自身的物理安装位置相对于挖掘机机体的坐标系位姿，计算得到障碍物相对于挖掘机机体的位姿；

所述位置预测模块通过不同时刻下障碍物位置的扫描数据，对运动中的障碍物的位置、速度和运动方向进行预测；

所述决策控制模块首先确定挖掘机的碰撞半径和扫描到的障碍物的最大安全接触半径，当扫描到静止障碍物时，如可避开，则所述决策控制模块控制挖掘机修正其运动轨迹以避开所述静止障碍物，同时降低运动速度继续作业，如不可避开，则控制挖掘机停机并报警；当扫描到运动障碍物时，如预测所述运动障碍物将在不小于预定的时间T1内进入所述碰撞半径，则控制挖掘机修正运动轨迹以避开所述运动障碍物，同时降低运动速度继续作业，如所述位置预测模块预测所述运动障碍物将在小于预定的时间T1内进入所述碰撞半径，则控制挖掘机停机并报警直到预测所述运动障碍物将在不小于预定的时间T1内进入所述碰撞半径时再自动启动挖掘机；

通过对所述三维点云地图中的障碍物进行分割以获取障碍物的体积中心坐标，而后通过设置相应的膨胀系数以获得其范围坐标，生成球形碰撞范围，确定所述最大安全接触半径；

采用深度神经网络方式进行所述分割，采用聚类方法获得所述体积中心坐标；

采用扩展卡尔曼滤波的方式实现对运动中的障碍物的位置、速度和运动方向进行预测；

通过传感器获得挖掘机工作部件的尺寸信息、实时角度信息和速度信息，通过正向运动学的方法建立挖掘机机构物理尺寸模型，得到实时变换的碰撞范围。

Images