CN111506069A - 一种全天候全地面起重机障碍识别系统及方法 - Google Patents

Abstract

本发明公开了一种全天候全地面起重机障碍识别系统及方法，属于全地面起重机智能化技术领域，包括：卫星定位传感器、双目视觉传感器、激光雷达传感器、毫米波雷达传感器、下位机和上位机，所述卫星定位传感器、双目视觉传感器、激光雷达传感器、毫米波雷达传感器、下位机和上位机均通过电性连接在一起。本发明提出采用了多传感器数据融合的方式对所获信息进行了有效处理，与神经网络模型进行分析比较并融合，进而取得所需数据的更准确值，对于障碍的分析也更加可靠，从而能够为全地面起重机行进中避障策略的制定提供更加可靠的数据支持。

Description

一种全天候全地面起重机障碍识别系统及方法

技术领域

本发明公开了一种全天候全地面起重机障碍识别系统及方法，属于全地面起重机智能化技术领域。

背景技术

随着科技的进步，机械的无人化智能化日益成为当今科技发展的主流议题，对于全地面起重机而言，特别是无人驾驶全地面起重机，很多时候会工作在非铺装路面，在这样的路面上，当进行较远距离的机动时，难免会遇见各种障碍。而目前的无人驾驶技术多应用在铺装路面车辆上，铺装路面有着固定的路线，车辆行进方式较为单一，障碍的种类较为单一，无人驾驶实施起来也较为简单，同时现今已实用的路面车辆自动避障多应用的方式是，双目或单目摄像机与激光雷达或毫米波雷达组合的方式，准确率较低，并且只能实现遇障碍自动刹车。而应用在工程机械上的无人驾驶技术仍较为少见。非铺装路面车辆的行驶环境较为复杂，障碍更为多样化，障碍的识别也更为复杂，所以，非铺装路面工程车辆的远距离行驶路径规划一直以来是一个难点，需要科研工作者去解决。

发明内容

本发明的目的在于解决现有的工程车辆自动避障准确率较低、误差较大以及探测能力较弱，提出一种数据准确率较高、障碍分析更加可靠及探测能力较强的全天候全地面起重机障碍识别系统及方法。

本发明所要解决的问题是由以下技术方案实现的：

一种全天候全地面起重机障碍识别系统，包括：卫星定位传感器、双目视觉传感器、激光雷达传感器、毫米波雷达传感器、下位机和上位机，所述卫星定位传感器、双目视觉传感器、激光雷达传感器、毫米波雷达传感器、下位机和上位机均通过电性连接在一起，所述卫星定位传感器设置在起重机的驾驶室顶部，所述双目视觉传感器设置在所述驾驶室内的一侧中部，所述激光雷达传感器设置在所述驾驶室的前方，所述毫米波雷达传感器设置在所述驾驶室上并与所述激光雷达传感器相邻，所述下位机设置在所述驾驶室底部，所述上位机设置在所述驾驶室内并与所述双目视觉传感器相邻。

优选的是，还包括：惯性测量单元系统，所述惯性测量单元系统设置在所述起重机的质心处，所述惯性测量单元系统分别与所述激光雷达传感器和下位机电性连接。

优选的是，所述毫米波雷达传感器包括三个所述毫米波雷达传感器，两个所述毫米波雷达传感器和一个所述毫米波雷达传感器分别布置在所述激光雷达传感器的两侧。

一种全天候全地面起重机障碍识别方法，具体步骤如下：

步骤S10，根据起重机位置确定待分析区域，获取神经网络所需数据；

步骤S20，通过所述卫星定位传感器、双目视觉传感器、雷达传感器分别得到的位置数据、前方深度图像数据、周边环境数据；

步骤S30，根据所述位置数据、前方深度图像数据、周边环境数据和神经网络所需数据确定车辆位置和障碍详尽数据。

优选的是，所述神经网络所需数据包括：地形数据、特殊天气数据、常见障碍物形式数据等。

优选的是，所述雷达传感器包括：激光雷达传感器，通过卫星定位传感器、双目视觉传感器和分别获取位置数据、前方深度图像数据和周边环境点云数据，所述惯性测量单元系统根据所述周边环境点云数据确定处理后周边环境点云数据，所述周边环境数据与雷达传感器相对应也包括所述处理后周边环境点云数据。

优选的是，所述雷达传感器包括：毫米波雷达传感器，根据卫星定位传感器、双目视觉传感器和毫米波雷达传感器分别获取位置数据、前方深度图像数据和周边环境障碍与车辆数据，所述周边环境数据与雷达传感器相对应也包括所述周边环境障碍与车辆数据。

优选的是，所述步骤S30包括：

步骤S301，根据所述前方深度图像数据确定尺度空间，根据所述尺度空间确定高斯尺度金字塔；

步骤S302，根据所述前方深度图像数据确定候选的特征点，根据所述候选的特征点和高斯尺度金字塔确定精确的特征点，

步骤S303，根据所述精确的特征点、位置数据、周边环境数据和神经网络所需数据确定所述车辆位置和障碍详尽数据。

本发明相对于现有而言具有的有益效果：

1、本发明提出采用了多传感器数据融合的方式对所获信息进行了有效处理，避免了因环境变化导致的传感器误差。

2、本发明通过大量的实验进行训练，建立合理的神经网络模型，多传感器数据与神经网络模型进行分析比较并融合，进而取得所需数据的更准确值，对于障碍的分析也更加可靠，从而能够为全地面起重机行进中避障策略的制定提供更加可靠的数据支持。

3、由于视觉系统较容易受到亮度、能见度的干扰，而全地面起重机的室外工作环境很可能因为大量的粉尘造成能见度较低，进而影响双目摄像头工作。激光雷达的工作精度又较容易受到外界雨雪等天气因素的影响。所以在本发明中，又补充了毫米波雷达传感器用来作为在极端天气条件下或粉尘量较大的工作环境下采集数据方式的补充，通过信息采集模式一和信息采集模式二的在不同天气条件下选择运用，足够满足全地面起重机多数情况下的使用。

附图说明

图1为本发明的结构示意图；

图2为本发明的待测区域示意图；

图3为本发明的待测区域在三维空间坐标系下的示意图；

图4为本发明的特征点提取流程图；

图5为本发明的信息采集模式一流程图；

图6为本发明的信息采集模式二流程图；

其中，1-卫星定位传感器，2-双目视觉传感器，3-激光雷达传感器，4-毫米波雷达传感器，5-下位机，6-上位机，7-惯性测量单元系统。

具体实施方式

以下根据附图1-6对本发明做进一步说明：

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明第一实施例在现有技术的基础上提供了一种全天候全地面起重机障碍识别系统，包括：卫星定位传感器1、双目视觉传感器2、激光雷达传感器3、毫米波雷达传感器4、下位机5和上位机6，接下来详细介绍一下以上各传感器。

首先，卫星定位传感器1由一个RTK构成，用来实时确定车辆在野外的位置，因此安装在车辆驾驶室顶部，有利于卫星信号的接收。然后是双目视觉传感器2，它是由一个ZED双目立体像机构成，它是用来识别障碍，获取车辆前方深度图像并用来作为计算机获取特征点的支撑，进而提取出障碍各特征点与传感器之间的距离、距水平地面的高度、与驾驶室中部的方向角，因此安装在车辆驾驶室内仪表台上方中间部位，镜头朝向驾驶窗窗外，这个位置较高视野较好，更有利于双目视觉摄像机采集图像数据。激光雷达传感器3，它是由一个32线激光雷达构成，它是用来向周围环境发射激光束，形成周围环境的三维模型信息，对周边环境进行识别获取点云数据。因此，安装在驾驶室前方车标部位，其拥有垂直30度视角，在这一位置足以实现对前方障碍信息的采集。毫米波雷达传感器4由三个毫米波雷达传感器构成，三个毫米波雷达，测量范围一致，但测量高度不同，最大范围的满足了测量所需。该系统用来识别周边环境内障碍与车辆的距离、方向角和速度。因此，安装在激光雷达传感器3上部一个下部两个，其拥有60度视角，这一位置易于安装，同时三个毫米波雷达采集范围相同区别是高度不同，有利于在雨雾雪等条件下对较大体积障碍物的识别，为车辆全天候的使用提供充足的保障。

前面介绍完卫星定位传感器1、双目视觉传感器2、激光雷达传感器3和毫米波雷达传感器4的安装位置，接下里介绍控制它们的下位机5和上位机6。首先，下位机5为一个PLC(内含一个STM32单片机)，用来获取前方各个感知单元传回的数据，并传递给上位机6。因此，安装在车辆驾驶室内下部，节省了驾驶室内有限的空间。上位机6为一台独立计算机，用于对各感知单元所获数据进行处理。因此安装在车辆驾驶室内中间部位，有利于人员观察和维护。

为了可以消除激光雷达传感器3因为车辆颠簸而导致的数据失真，本发明还包括惯性测量单元系统7，该系统由一台IMU构成，安装在车辆质心位置。卫星定位传感器1、双目视觉传感器2、激光雷达传感器3、毫米波雷达传感器4、下位机5、上位机6和惯性测量单元系统7分别通过电性连接在一起。

上面介绍的是全天候全地面起重机障碍识别系统的各部分安装位置和连接关系，接下来详细介绍一下该系统的控制方法，具体步骤如下：

步骤S10，起重机位置确定待分析区域，获取神经网络所需数据。

如图2、3所示，以车辆质心为原点建立三维空间坐标系。从原点出发指向车辆正前方的是x1轴，指向车辆正上方的是y1轴，指向车辆右侧的是z1轴。

待分析区域定为车辆保险杠前方15～20m范围内，投影至y1oz1平面为4m*5m，沿y1方向4m，沿z1方向5m。待分析区域为一个立方体。在车辆静止在铺装路面时设置该区域，底面与地面重合。

由于需要利用神经网络模型进行数据融合部分，因此需要提前进行大量的实验进行训练，建立合理的模型。在车辆专用试验场地，针对不同地形，不同常见障碍物形式，对神经网络进行训练，通过大量的数据积累，根据晴天或者雨雾雪等特殊天气的情况下分别获取可靠的第一神经网络模型和第二神经网络模型。

步骤S20，通过卫星定位传感器1、双目视觉传感器2、雷达传感器分别获取的位置数据、前方深度图像数据和周边环境数据，并将这些数据传递给下位机5。

对于不同的外界环境，本发明确定了两种模式，分别为第一信息采集模式和第二信息采集模式，两种模式下分别采用不同的雷达传感器，接下来对这两种模式逐一详细介绍：

第一信息采集模式，针对的是晴天的情况包括了白天和夜晚，雷达传感器将采用激光雷达传感器3，在这一模式下工作的信息采集模块有卫星定位传感器1、双目视觉传感器2、激光雷达传感器3、下位机5、上位机6、惯性测量单元7。首先通过卫星定位传感器1、双目视觉传感器2和激光雷达传感器3获取信号处理数据。通过卫星定位传感器1实时确定车辆在野外的位置，再通过双目视觉传感器002采集前方图像位置数据，识别障碍，以及各特征点与传感器之间的距离、距水平地面的高度、与驾驶室中部的方向角。激光雷达传感器003向周围环境发射激光束，形成周围环境的三维模型信息，进而可以对周边环境进行量程范围内环境识别获取点云数据，对前方障碍信息的采集，点云数据包括：各特征点与传感器之间的距离、距水平地面的高度、与驾驶室中部的方向角。将获取的点云数据传递给惯性测量单元7，通过惯性测量单元7消除激光雷达因为车辆颠簸而导致的数据失真得到处理后点云数据。然后，将前方图像位置数据和处理后点云数据一同传递给下位机5。

上面介绍的是第一信息采集模式，负责非特殊天气障碍的识别采集，接下里详细介绍第二信息采集模式。针对雨雾雪等特殊天气，由于视觉系统较容易受到亮度、能见度的干扰，而全地面起重机的室外工作环境很可能因为大量的粉尘造成能见度较低，进而影响双目摄像头工作。激光雷达传感器的工作精度又较容易受到外界雨雪等天气因素的影响。所以在本发明中，雷达传感器将采用毫米波雷达传感器4用来作为在极端天气条件下或粉尘量较大的工作环境下采集数据方式的补充，采用双目视觉传感器2和毫米波雷达传感器4组合进行信息的采集。

首先还是通过卫星定位传感器1实时确定车辆在野外的位置，再通过双目视觉传感器2采用和第一信息采集模式相同的工作方式和流程，毫米波雷达传感器4为三个毫米波雷达，测量范围一致，但测量高度不同，足够对前方较大体积的障碍如车辆或巨石等进行探测，最大范围的满足了测量所需。双目视觉传感器2用来识别障碍，提取特征点信息，是针对前方可视全局的探测，毫米波雷达传感器4作为补充，避免因能见度较低，双目视觉传感器2可视距离较小的影响，二者结合保证了在雨雪雾天气下车辆对前方障碍的探测。然后，下位机5和第一信息采集模式相同，将前方图像位置数据和障碍与车辆的数据一同传递给下位机5。

信息采集模式一和信息采集模式二的选取，采用后台人为设置的方式。根据工作地点实时的天气信息进行设定和转换。同时，预留自动选取模式，根据实际预算决定是否选装。自动选取模式下，为车辆补充温度传感器、湿度传感器、照度计，同时结合双目视觉系统最远特征点距车辆距离，综合分析并研判是否进行模式切换。

步骤S30，下位机5将获取的信号处理数据传递给上位机6，上位机6根据获取信号处理数据和神经网络所需数据确定车辆位置和障碍详尽数据。

下位机5将不同信息采集模式所获取的信号处理数据通过CAN通讯的方式进行数据的传输给上位机6中储存。上位机6先通过中值滤波对下位机5传递过来的数据进行滤除噪声处理，以获得更准确的传感器数据，然后进行坐标变换，将测量原点由传感器所在位置调整为车辆质心，之后将所有数据存储，等待后续处理。

其中，上位机6对双目视觉传感器2获取的数据除进行储存之外，还要对图像进行灰度处理，通过改进SIFT算法确定选取哪些特征点作为数据采集量，从已有数据库中将特征点信息提取出来，准备进行后续的处理。在两种模式中，上位机6提取的确定的特征点信息均来自于双目视觉传感器2。对于进行过灰度处理的图像，对特征点进行提取的具体步骤如下：

1)建立尺度空间

建立图像的尺度空间就是对一幅图像进行尺度变换，得到该图像在不同尺度下的图像序列，从这些序列上提取特征信息，达到提取特征点的目的。对于待匹配图像I(x,y)，尺度空间表示为L(x,y,σ)：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

由式(1)可见，尺度空间是由待匹配图像与高斯函数G(x,y,σ)卷积得到的，其中：

其中σ为尺度因子。

为了达到提高特征点稳定性的目的，提出并构建高斯尺度金字塔：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (3)

其中k(常数)为两个相邻尺度空间的倍数。

2)局部极值检测

极值点检测的过程是在每一组的相邻DoG图像之间进行的。待检测点通过与同一尺度中的相邻8个点以及相邻两尺度中的9×2个点(共26个点)进行比较，如果待检测点像素为最大值，则将该点视为候选特征点。

3)特征点定位

运用上述的极值点检测方法可以获取许多候选的特征点，但是由于搜索过程是在离散的空间中完成的，搜索到的极值点位置可能是不精确的，因此需要对极值点位置进行精确的定位。

在候选极值点处的二阶泰勒展开式表示为：

其中表示相对特征点的偏移量，要精确的定位特征点的位置，可对式(4)求一阶偏导，并令其一阶偏导的值为0。对式(4)等号两边求对x的偏导，即可得精确的特征点位置：

若特征点的偏移量大于某一阈值，则该特征点是错的，剔除掉，并且若

表明该极值点响应值过小，对噪声鲁棒性差，也应剔除。其次，边缘上的特征点对噪声的鲁棒性差，SIFT特征检测去除边缘点是通过特征点的Hessian矩阵来完成的。Hessian矩阵定义如下：

H的特征值α代表x方向上的梯度；β代表y方向上的梯度。

Tr(H)＝D_xx+D_yy＝α+β (7)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ (8)

其中Tr(H)表示Hessian矩阵的迹，Det(H)表示Hessian矩阵的模值，如果提取到的特征点不满足不等式(9)，则该点是边缘点，应予剔除。

其中r为经验值，Lowe给出的参考值为r＝10。

因此，特征点的提取是通过精确定位和边缘点的判定来实现的。对特征点进行提取后，下一步就是对其进行描述，对于特征点的描述采用传感器采集的距离、高度、方向角三个参量。当上位机6对双目视觉传感器2特征点进行提取完成后，在信息采集模式一中，将双目视觉传感器2提供的所需特征点信息和激光雷达传感器3获取的点云信息作为输入，通过第一神经网络模型的进行数据的融合处理，从而输出障碍的类型，轮廓，各特征点的距离高度方向角等信息。信息采集模式二中，将双目视觉传感器2提供的所需特征点信息和毫米波雷达传感器4获取的障碍与车辆的数据作为输入，通过第二神经网络模型的进行融合处理，输出障碍的类型，轮廓，各特征点的距离高度方向角等信息。

本发明针对的是全地面起重机在非铺装路面的工况下，结合实际试验数据，车辆行驶速度在非铺装路面一般小于20km/h，所以提供给神经网络的数据的范围设置为距离车辆前保险杠水平面前方15～20m范围内，这一距离足够车辆针对前方障碍做出合理的决策。

具体实施过程：

车辆在非特殊天气行驶过程中，采用第一信息采集模式：双目相机系统2和激光雷达传感器3采集的信息一同传递给下位机5，再传给上位机6，在上位机6中，将双目视觉传感器2提供的特征点信息和激光雷达传感器3获取的点云信息作为输入，通过神经网络模型的处理，输出障碍的类型，轮廓，各特征点的距离高度方向角等信息，为车辆的进一步避障提供数据支持。

车辆在特殊天气行驶过程中，采用第二信息采集模式：双目相机系统2和毫米波雷达传感器4采集的信息一同传递给下位机5，再传给上位机6，在上位机6中，将双目视觉传感器2提供的特征点信息和毫米波雷达传感器获取的障碍与车辆的数据作为输入，通过神经网络模型的处理，输出障碍的类型，轮廓，各特征点的距离高度方向角等信息，为车辆的进一步避障提供数据支持。

通过以上两种采集模式的组合运用，足够满足全地面起重机多数情况下的使用。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种全天候全地面起重机障碍识别系统，其特征在于，包括：卫星定位传感器、双目视觉传感器、激光雷达传感器、毫米波雷达传感器、下位机和上位机，所述卫星定位传感器、双目视觉传感器、激光雷达传感器、毫米波雷达传感器、下位机和上位机均通过电性连接在一起，所述卫星定位传感器设置在起重机的驾驶室顶部，所述双目视觉传感器设置在所述驾驶室内的一侧中部，所述激光雷达传感器设置在所述驾驶室外的前方，所述毫米波雷达传感器设置在所述驾驶室外并与所述激光雷达传感器相邻，所述下位机设置在所述驾驶室底部，所述上位机设置在所述驾驶室内并与所述双目视觉传感器相邻。

2.根据权利要求1所述的一种全天候全地面起重机障碍识别系统，其特征在于，还包括：惯性测量单元系统，所述惯性测量单元系统设置在所述起重机的质心处，所述惯性测量单元系统分别与所述激光雷达传感器和下位机电性连接。

3.根据权利要求1或2所述的一种全天候全地面起重机障碍识别系统，其特征在于，所述毫米波雷达传感器包括三个所述毫米波雷达传感器，两个所述毫米波雷达传感器和一个所述毫米波雷达传感器分别布置在所述激光雷达传感器的两侧。

4.一种全天候全地面起重机障碍识别方法，其特征在于，具体步骤如下：

步骤S10，根据起重机位置确定待分析区域，获取神经网络所需数据；

步骤S20，通过所述卫星定位传感器、双目视觉传感器、雷达传感器分别得到的位置数据、前方深度图像数据、周边环境数据；

步骤S30，根据所述位置数据、前方深度图像数据、周边环境数据和神经网络所需数据确定车辆位置和障碍详尽数据。

5.根据权利要求4所述的一种全天候全地面起重机障碍识别方法，其特征在于，所述神经网络所需数据包括：地形数据、特殊天气数据、常见障碍物形式数据等。

6.根据权利要求4所述的一种全天候全地面起重机障碍识别方法，其特征在于，所述雷达传感器包括：激光雷达传感器，通过卫星定位传感器、双目视觉传感器和分别获取位置数据、前方深度图像数据和周边环境点云数据，所述惯性测量单元系统根据所述周边环境点云数据确定处理后周边环境点云数据，所述周边环境数据与雷达传感器相对应也包括所述处理后周边环境点云数据。

7.根据权利要求4所述的一种全天候全地面起重机障碍识别方法，其特征在于，所述雷达传感器包括：毫米波雷达传感器，根据卫星定位传感器、双目视觉传感器和毫米波雷达传感器分别获取位置数据、前方深度图像数据和周边环境障碍与车辆数据，所述周边环境数据与雷达传感器相对应也包括所述周边环境障碍与车辆数据。

8.根据权利要求4所述的一种全天候全地面起重机障碍识别方法，其特征在于，所述步骤S30包括：

步骤S301，根据所述前方深度图像数据确定尺度空间，根据所述尺度空间确定高斯尺度金字塔；

步骤S302，根据所述前方深度图像数据确定候选的特征点，根据所述候选的特征点和高斯尺度金字塔确定精确的特征点，

步骤S303，根据所述精确的特征点、位置数据、周边环境数据和神经网络所需数据确定所述车辆位置和障碍详尽数据。

Images