CN111752273A - 一种电动履带式挖掘机无人驾驶行走系统及方法 - Google Patents
一种电动履带式挖掘机无人驾驶行走系统及方法 Download PDFInfo
- Publication number
- CN111752273A CN111752273A CN202010543676.0A CN202010543676A CN111752273A CN 111752273 A CN111752273 A CN 111752273A CN 202010543676 A CN202010543676 A CN 202010543676A CN 111752273 A CN111752273 A CN 111752273A
- Authority
- CN
- China
- Prior art keywords
- information
- vehicle
- real
- platform
- computing platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000007613 environmental effect Effects 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 11
- 230000011218 segmentation Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种电动履带式挖掘机无人驾驶行走系统及方法，具体包括传感器平台采集车辆行驶的环境信息，包括图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，将信息发送到计算平台；计算平台中的训练单元接受传感器平台发送的所述环境信息，训练端对端混合网络模型，并将端对端混合网络模型载入到计算平台的实时处理单元；计算平台中的实时处理单元载入训练好的端对端混合网络模型，预测车辆在行驶过程中的控制信号，载入电子地图，获取行驶路线并标定航站，得出行驶路线的实时校正信号，并将控制信号和实时校正信号输出到整机控制单元；整机控制单元接收控制信号和实时校正信号，控制车辆进行行驶。本发明可使电动履带式挖掘机实现自动行走、躲避障碍、路径规划、紧急制动、示警等功能，车辆行驶平稳，安全性高。
Description
技术领域
本发明涉及智能机器人领域，具体是指一种电动履带式挖掘机的无人驾驶行走系统和方法。
背景技术
挖掘机在国家基础建设中起着至关重要的作用，多年来在建筑、水利、矿山等领域得到了广泛应用。履带式挖掘机越野性能较强，能够在泥泞、湿地、矿山等工况恶劣的场所地方高效作业。传统履带挖掘机以内燃机为驱动，普遍存在污染物排放高、噪声大和效率低等问题，电动式履带挖掘机具有零排放、低噪声和传动效率高等优点，在克服上述问题的基础上方便了履带挖掘机智能化的发展。由于挖掘机工作环境恶劣，经常伴有震动、高温、粉尘等工况，因此要求驾驶员在工作过程中注意力长期高度集中，对复杂的作业环境必须做出快速准确的判断及反应，否则将产生不可挽回的后果；在矿山开采，道路修建等作业任务中，挖掘机的部分工作单一，重复性高，聘用专业驾驶人员造成劳动力的浪费。无人驾驶系统可替代驾驶员对车辆进行控制，在作业时自主对环境进行感知并做出决策，极大的降低了操作人员的作业风险，减少了劳动力的浪费，提高了工作效率。
现有无人驾驶技术多应用于普通汽车，主要针对高速公路，城市街道等普通驾驶环境进行设计，道路特征明显，容易提取。而挖掘机的整车控制系统与汽车差异较大，其行驶场所主要为工地或山路等不规则道路，道路特征难以提取。
发明内容
本发明的目的在于补充无人驾驶在电动履带式挖掘机方面的缺失，提出了一种电动履带式挖掘机无人驾驶行走系统及方法，该系统可实现电动履带挖掘机的自动行走、紧急制动、障碍躲避、路径规划等功能，保证车辆在工地中的正常行驶作业。
为实现上述功能，本发明采用的技术方案是：
一种电动履带式挖掘机无人驾驶行走方法，包括如下步骤：
传感器平台采集车辆行驶的环境信息，包括图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，将信息发送到计算平台；
计算平台中的训练单元接受传感器平台发送的所述环境信息，训练端对端混合网络模型，并将端对端混合网络模型载入到计算平台的实时处理单元；
计算平台中的实时处理单元载入训练好的端对端混合网络模型，预测车辆在行驶过程中的控制信号，载入电子地图，获取行驶路线并标定航站，行驶路线的实时校正信号，并将控制信号和实时校正信号输出到整机控制单元；
整机控制单元接收控制信号和实时校正信号，控制车辆进行行驶。
优选的，传感器平台还对采集到的车辆行驶的环境信息进行预处理与数据融合。
优选的，所述预处理包括：
所述图像信息进行初步处理；
所述点云信息进行过滤裁剪转化为深度图像信息；
将初步处理的图像信息和深度图像信息进行坐标轴转换和信息匹配；
选择初步处理的图像信息和深度图像信息匹配交叉的最小区域作为行驶道路边界。
优选的，所述数据融合包括：
对所述图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，进行全局池化操作和均值池化操作，以分别获取图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息的全局向量和均值向量，拼接图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息全局向量和均值向量的至少之一，以获得融合信息。
优选的，所述端对端混合网络模型包括：输入层，卷积层，第一级网络结构，第二级网络结构，第三级网络结构，上采样层，输出层，所述第一级网络结构、第二级网络结构和第三级网络结构均包括：池化层和基础网络结构。
优选的，所述基础网络结构包括输入层、多个卷积处理模块和全局特征处理模块，所述卷积处理模块包括膨胀卷积层和卷积层并联结构和膨胀卷积层和卷积层串联结构，所述全局特征处理模块包括全局池化层、全连接层和逐点相乘操作。
优选的，所述获取行驶路线并标定航站，得出行驶路线的实时校正信号，包括：在行驶路线实时校正过程中，进行路线分段确认，通过在时间阈值范围内检测是否到达标定航站。
本发明的另一方面还提供一种电动履带式挖掘机无人驾驶行走系统，包括传感器平台、计算平台和控制平台和整机控制单元，所述传感器平台采集车辆行驶的环境信息，包括摄像头、激光雷达、毫米波雷达和GPS定位系统；所述计算平台分为训练单元和实时处理单元，分别在训练过程与车辆行驶过程中对图像数据、点云数据、位置信息进行计算处理，获得相应的控制指令；所述控制平台接收相应控制指令并将所述控制指令发送至整车控制单元，整车控制单元包括控制模块、比例减压阀、多路阀和左右行走马达，控制车辆进行行走、避障、车灯和喇叭。
本发明具有如下有益效果：
1、本发明一种电动履带式挖掘机无人驾驶行走系统及方法，可实现动、静态障碍躲避、路径规划等功能，车辆在行驶过程中完全由系统控制，具有较高的可靠性和安全性。
2、本发明采用端到端混合网络模型，建立了由路况信息到车辆控制信号的直接映射，简化了系统结构，提高了场景遍历效率，降低了车辆改装难度及系统操作难度。
3、本发明传感器平台对采集到的车辆行驶的环境信息进行预处理与数据融合，包括采用图像预处理、点云数据过滤剪裁、点云数据深度图像化进行了道路信息预处理，减少了计算平台的数据处理量，降低了系统实时运行的压力。
4、本发明利用激光雷达、毫米波雷达进行远距离、近距离障碍物检测，提出的端到端混合网络模型能够对检测的图像信息实现语义分割，该模型分割效果较好，有效识别道路上的静止、移动障碍，符合电动式履带挖掘机的行驶要求。
5、在行驶路线实时校正过程中，进行路线分段确认，通过在时间阈值范围内检测是否到达标定航站，降低了行驶路线错误成本。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种电动履带式挖掘机无人驾驶行走系统及方法不局限于实施例。
附图说明
图1是本发明所述一种电动履带式挖掘机无人驾驶行走系统整体结构示意图；
图2是本发明所述一种电动履带式挖掘机无人驾驶行走系统控制策略流程图；
图3是本发明所述一种语义分割网络整体结构图；
图4是本发明所述一种语义分割网络基础网络模块结构图；
图5是本发明所述一种语义分割网络对城市道路图像进行分割的效果图。
附图标识说明：
1、车体 2、摄像头
3、激光雷达 4、毫米波雷达
5、GPS定位 6、整车控制单元
7、计算平台 8、前后车灯
9、比例减压阀 10、多路阀
11、左右行走马达 12、喇叭
13、控制平台
具体实施方式
本发明提供了一种电动履带式挖掘机无人驾驶行走系统，请参照附图1所示，其显示出了本发明之较佳实施例的具体结构，一种电动履带式挖掘机无人驾驶行走系统，其包括传感器平台、计算平台(7)和控制平台(13)，其特征在于：所述传感器平台包括摄像头(2)、激光雷达(3)、毫米波雷达(4)、GPS定位(5)；所述计算平台(7)分为训练单元和实时处理单元；所述控制平台(13)为电动履带挖掘机整车控制系统，包括整车控制单元(6)、比例减压阀(9)、多路阀(10)、左右行走马达(11)等。
本发明还提供一种电动履带式挖掘机无人驾驶行走方法，包括如下步骤：
步骤S10：传感器平台采集车辆行驶的环境信息，包括图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，将信息发送到计算平台；
传感器平台还对采集到的车辆行驶的环境信息进行预处理与数据融合。
预处理包括：所述图像信息进行初步处理；所述点云信息进行过滤裁剪转化为深度图像信息；将初步处理的图像信息和深度图像信息进行坐标轴转换和信息匹配；选择初步处理的图像信息和深度图像信息匹配交叉的最小区域作为行驶道路边界。
所述数据融合包括：对所述图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，进行全局池化操作和均值池化操作，以分别获取图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息的全局向量和均值向量，拼接图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息全局向量和均值向量的至少之一，以获得融合信息。
实施例中，所述传感器平台在接受到系统开始工作的信号后启动各个传感器器件，摄像头2获取行驶道路的图像信息，通过图像预处理操作对所获得的原始视频进行初步处理；激光雷达3获取行驶道路的点云信息，通过过滤剪裁、深度图像化对点云数据进行原始数据处理；经过初步处理的图像信息和深度图像信息需进行坐标轴转换和信息匹配，选择两者交叉的最小区域作为行驶道路边界，将预处理完毕的图像信息、深度图像信息和行驶道路边界信息输入计算平台7进行下一步操作；毫米波雷达4获取设定范围内的目标位置信息，以CAN信号的形式输入到计算平台7中去；GPS定位系统5获取车辆位置信息传入到计算平台7；在所述系统训练过程中，需通过控制平台13采集车辆的控制信号，输入计算平台7进行神经网络模型训练。
步骤S20：计算平台中的训练单元接受传感器平台发送的所述环境信息，训练端对端混合网络模型，并将端对端混合网络模型载入到计算平台的实时处理单元；
步骤S30：计算平台中的实时处理单元载入训练好的端对端混合网络模型，预测车辆在行驶过程中的控制信号，载入电子地图，获取行驶路线并标定航站，行驶路线的实时校正信号，并将控制信号和实时校正信号输出到整机控制单元。
所述计算平台7分为训练单元与实时处理单元两部分，训练单元需载入图像信息、深度图像信息和车辆控制信号，通过端到端网络模型训练建立图像信息、深度图像信息与车辆控制信号之间的直接映射，获得训练好的网络模型。
端对端混合网络模型包括：输入层，卷积层，第一级网络结构，第二级网络结构，第三级网络结构，上采样层，输出层，所述第一级网络结构、第二级网络结构和第三级网络结构均包括：池化层和基础网络结构。
基础网络结构包括输入层、多个卷积处理模块和全局特征处理模块，所述卷积处理模块包括膨胀卷积层和卷积层并联结构和膨胀卷积层和卷积层串联结构，所述全局特征处理模块包括全局池化层、全连接层和逐点相乘操作。
所述端到端混合网络模型主体为自主设计的语义分割网络，整体网络模型由基础网络模块、普通卷积层和池化层构成，网络结构前端实现了快速缩小分辨率，主要功能为特征提取，由于深度图像数据多了距离信息，故处理深度图像数据的网络相较处理图像数据的网络多一个计算通道。整个网络的核心为特征的堆叠增加，故结构的第三部分包含了整个网络中一半以上的卷积层。语义分割网络的整体结构如附图3所示，采集到的图像数据与深度图像数据通过输入层进入神经网络，以进行距离方面的特征提取，首先由小卷积层进行特征初步提取，再采用最大池化层进行下采样，将获取的数据输入自主设计的基础网络模块中进行进一步计算，在经过3次下采样与基础网络模块的运算后，采用上采样层获得预测值。最终网络输出左右履带电信号值，电信号值转为CAN信号后发送给整机控制单元6。
所述基础网络模块由普通卷积层、膨胀卷积层、池化层、全连接层构成，为扩大模型的感受野采用并行结构进行卷积计算，膨胀卷积层的加入可扩大特征图感受野，提高计算精度，卷积层之后的全局特征处理部分由全局池化层、全连接层、逐点相乘操作完成，池化层可抽取图像关键特征并剔除冗余信息、加速计算过程；全连接层将提取的特征值映射到对应的通道上去；逐点相乘操作即逐像素与输入特征图相乘，利用全局信息对不同通道加权，以达到提取特征的目的。整个全局特征处理部分保证了特征的充分融合。基础网络模块结构如附图4所示。
以下通过对城市道路图像进行语义分割处理为例对该网络进行说明。
所处理的图像为经过预处理的分辨率为480×360的RGB三通道图像。图像在输入网络后首先由3×3小卷积层进行特征初步提取，整个卷积层设置有16个计算通道；提取的数据再经过3次池化与基础网络模块运算，其中池化层为步长为2的最大池化层，下采样过程采用双线性插值算法恢复图像。
获取的数据输入自主设计的基础网络模块中进行进一步计算，3个基础网络模块的k值分别为2、2、15，卷积层仍采用3×3小卷积核；膨胀卷积层的膨胀率为3，卷积核大小为7*7；全局池化层采用2×2最大池化卷积核，步长为2，再利用全连接层进行特征值映射，池化层和全连接层的通道数均保持不变；最后将卷积层输出与全连接层输出逐点相乘需要注意的是，在基础网络模块计算前，需通过拼接分别将通道数增加至48、80，320。
经过3次下采样与基础网络模块的运算后，网络采用双线性插值进行上采样获得预测值，最后通过输出层输出语义分割结果。由于本文为多分类问题，在模型训练过程中使用对数多分类交叉熵损失函数为代价函数，Adam为优化器；学习率设定为0.001；循环次数为300；训练批次设定为4。图5为本语义分割网络处理效果图。
所述端到端网络模型在去掉语义分割网络后加入1个全局池化层和2个全连接层，通道数依次设定为320、128、32，最后输出层采用全连接层，通道数为2，对应电动履带挖掘机的左右履带电信号值，电信号值转为CAN信号后发送给整机控制单元6。
S40：整机控制单元接收控制信号和实时校正信号，控制车辆进行行驶。
电信号值转为CAN信号后发送给整机控制单元6，整机控制单元6向比例减压阀9输出PWM脉冲信号，接收到脉冲信号的比例减压阀9向多路阀输10出先导压力，从而控制左右行走马达11实现车辆行走，转向、躲避障碍、等动作。
实施例中控制车辆动作的具体过程：
(一)车道行驶
车道行驶需向计算平台7载入训练好的网络模型，其功能分为车体1行走、躲避障碍两部分，工作流程如下：
1、行走功能：
(1)获取电动履带挖掘机状态。
(2)判断车辆状态是否正常，若是则执行(3)，若否则进行紧急制动。
(3)载入经过预处理的实时图像、深度图像。
(4)判断是否到达目的地，若是则发出驾驶任务完成标识，若否则执行(5)。
(5)将图像信息、深度信息输入网络模型中进行计算，根据获得的CAN信号控制车体1进行行走。
2、躲避障碍功能：
在系统发出启动指令后实时载入目标位置信息并判断目标是否进入阈值范围，若是则启动车灯8、喇叭12示意并进行紧急制动；若否则继续载入目标位置信息。
(二)行驶路线实时校正
在载入电子地图过程中，系统预先标定多个航站并对行驶方向做出标记，行驶路线实时校正功能的工作流程如下：
(1)获取车辆行驶方向。
(2)判断当前行驶方向是否为目标方向，若是则执行(3)，若否则进行车辆行驶方向校正。
(3)获取街景信息，进行路线分段确认，判断在时间阈值范围内是否到达标定航站，若是则返回执行(1)，若否则意味车辆行驶路线错误，进行紧急制动。
本发明的有益效果在于：
1、本发明一种电动履带式挖掘机无人驾驶行走系统及方法，可实现动、静态障碍躲避、路径规划等功能，车辆在行驶过程中完全由系统控制，具有较高的可靠性和安全性。
2、本发明采用端到端混合网络模型，建立了由路况信息到车辆控制信号的直接映射，简化了系统结构，提高了场景遍历效率，降低了车辆改装难度及系统操作难度。
3、本发明传感器平台对采集到的车辆行驶的环境信息进行预处理与数据融合，包括采用图像预处理、点云数据过滤剪裁、点云数据深度图像化进行了道路信息预处理，减少了计算平台的数据处理量，降低了系统实时运行的压力。
4、本发明利用激光雷达、毫米波雷达进行远距离、近距离障碍物检测，提出的端到端混合网络模型能够对检测的图像信息实现语义分割，该模型分割效果较好，有效识别道路上的静止、移动障碍，符合电动式履带挖掘机的行驶要求。
5、在行驶路线实时校正过程中，进行路线分段确认，通过在时间阈值范围内检测是否到达标定航站，降低行驶路线错误成本。
以上所述，仅是本发明的较佳实施例，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。本发明要求保护范围由所附权利要求书及其等效物界定。
Claims (8)
1.一种电动履带式挖掘机无人驾驶行走方法，其特征在于，包括如下步骤：
传感器平台采集车辆行驶的环境信息，包括图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，将信息发送到计算平台；
计算平台中的训练单元接受传感器平台发送的所述环境信息，训练端对端混合网络模型，并将端对端混合网络模型载入到计算平台的实时处理单元；
计算平台中的实时处理单元载入训练好的端对端混合网络模型，预测车辆在行驶过程中的控制信号，载入电子地图，获取行驶路线并标定航站，得出行驶路线的实时校正信号，并将控制信号和实时校正信号输出到整机控制单元；
整机控制单元接收控制信号和实时校正信号，控制车辆进行行驶。
2.根据权利要求1所述的一种电动履带式挖掘机无人驾驶行走方法，其特征在于，传感器平台还对采集到的车辆行驶的环境信息进行预处理与数据融合。
3.根据权利要求2所述的一种电动履带式挖掘机无人驾驶行走方法，其特征在于，所述预处理包括：
所述图像信息进行初步处理；
所述点云信息进行过滤裁剪转化为深度图像信息；
将初步处理的图像信息和深度图像信息进行坐标轴转换和信息匹配；
选择初步处理的图像信息和深度图像信息匹配交叉的最小区域作为行驶道路边界。
4.根据权利要求2所述的一种电动履带式挖掘机无人驾驶行走方法，其特征在于，所述数据融合包括：
对所述图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息，进行全局池化操作和均值池化操作，以分别获取图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息的全局向量和均值向量，拼接图像信息、点云信息、目标位置信息、车辆位置信息和车辆控制信息全局向量和均值向量的至少之一，以获得融合信息。
5.根据权利要求1所述的一种电动履带式挖掘机无人驾驶行走方法，其特征在于，所述端对端混合网络模型包括：输入层，卷积层，第一级网络结构，第二级网络结构，第三级网络结构，上采样层，输出层，所述第一级网络结构、第二级网络结构和第三级网络结构均包括：池化层和基础网络结构。
6.根据权利要求5所述的一种电动履带式挖掘机无人驾驶行走方法，其特征在于，所述基础网络结构包括输入层、多个卷积处理模块和全局特征处理模块，所述卷积处理模块包括膨胀卷积层和卷积层并联结构、膨胀卷积层和卷积层串联结构，所述全局特征处理模块包括全局池化层、全连接层和逐点相乘操作。
7.根据权利要求1所述的一种电动履带式挖掘机无人驾驶行走方法，其特征在于，所述获取行驶路线并标定航站，得出行驶路线的实时校正信号，包括：在行驶路线实时校正过程中，进行路线分段确认，通过在时间阈值范围内检测是否到达标定航站。
8.一种电动履带式挖掘机无人驾驶行走系统，其特征在于，包括传感器平台、计算平台和控制平台和整机控制单元，所述传感器平台采集车辆行驶的环境信息，包括摄像头、激光雷达、毫米波雷达和GPS定位系统；所述计算平台分为训练单元和实时处理单元，分别在训练过程与车辆行驶过程中对图像数据、点云数据、位置信息进行计算处理，获得相应的控制指令；所述控制平台接收相应控制指令并将所述控制指令发送至整车控制单元，整车控制单元包括控制模块、比例减压阀、多路阀和左右行走马达，控制车辆进行行走、避障、车灯和喇叭。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010543676.0A CN111752273A (zh) | 2020-06-15 | 2020-06-15 | 一种电动履带式挖掘机无人驾驶行走系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010543676.0A CN111752273A (zh) | 2020-06-15 | 2020-06-15 | 一种电动履带式挖掘机无人驾驶行走系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111752273A true CN111752273A (zh) | 2020-10-09 |
Family
ID=72675220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010543676.0A Pending CN111752273A (zh) | 2020-06-15 | 2020-06-15 | 一种电动履带式挖掘机无人驾驶行走系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111752273A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112627277A (zh) * | 2021-01-15 | 2021-04-09 | 南通皋标建筑劳务有限公司 | 一种挖掘机自动行走方法 |
| CN112627276A (zh) * | 2021-01-15 | 2021-04-09 | 南通皋标建筑劳务有限公司 | 一种挖掘机 |
| CN116382308A (zh) * | 2023-06-05 | 2023-07-04 | 华侨大学 | 智能化移动机械自主寻径与避障方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170061796A1 (en) * | 2015-08-31 | 2017-03-02 | Komatsu Ltd. | Mine management system |
| US10633007B1 (en) * | 2019-01-31 | 2020-04-28 | StradVision, Inc. | Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network |
| US20200142421A1 (en) * | 2018-11-05 | 2020-05-07 | GM Global Technology Operations LLC | Method and system for end-to-end learning of control commands for autonomous vehicle |
-
2020
- 2020-06-15 CN CN202010543676.0A patent/CN111752273A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170061796A1 (en) * | 2015-08-31 | 2017-03-02 | Komatsu Ltd. | Mine management system |
| US20200142421A1 (en) * | 2018-11-05 | 2020-05-07 | GM Global Technology Operations LLC | Method and system for end-to-end learning of control commands for autonomous vehicle |
| US10633007B1 (en) * | 2019-01-31 | 2020-04-28 | StradVision, Inc. | Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network |
Non-Patent Citations (2)
| Title |
|---|
| 裴嘉欣 等: "基于改进YOLOv3网络的无人车夜间环境感知", 《应用光学》 * |
| 郑磊 等: "轮式挖掘机智能控制系统设计", 《建筑机械化》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112627277A (zh) * | 2021-01-15 | 2021-04-09 | 南通皋标建筑劳务有限公司 | 一种挖掘机自动行走方法 |
| CN112627276A (zh) * | 2021-01-15 | 2021-04-09 | 南通皋标建筑劳务有限公司 | 一种挖掘机 |
| CN116382308A (zh) * | 2023-06-05 | 2023-07-04 | 华侨大学 | 智能化移动机械自主寻径与避障方法、装置、设备及介质 |
| CN116382308B (zh) * | 2023-06-05 | 2023-09-05 | 华侨大学 | 智能化移动机械自主寻径与避障方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109117709B (zh) | 用于自动驾驶车辆的碰撞避免系统 | |
| CN111752273A (zh) | 一种电动履带式挖掘机无人驾驶行走系统及方法 | |
| US10073456B2 (en) | Automated co-pilot control for autonomous vehicles | |
| US11501525B2 (en) | Systems and methods for panoptic image segmentation | |
| CN111506058B (zh) | 通过信息融合来计划自动驾驶的短期路径的方法及装置 | |
| JP6970807B2 (ja) | 移動体制御装置 | |
| CN110356412B (zh) | 用于自主驾驶的自动规则学习的方法和设备 | |
| JP2017211193A (ja) | 車両位置特定装置、車両制御システム、車両位置特定方法、および車両位置特定プログラム | |
| US20210269040A1 (en) | Driving assist method and driving assist device | |
| JP2020154568A (ja) | データ通信に基づいて意思決定を行うシステム | |
| US20220172396A1 (en) | Vehicle position estimation apparatus | |
| JP2019137185A (ja) | 車両制御システム、車両制御方法、およびプログラム | |
| CN113785252A (zh) | 停放自主驾驶车辆用于自主充电的方法 | |
| JP2019185112A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
| US20220066460A1 (en) | Causing a mobile robot to move according to a planned trajectory determined from a prediction of agent states of agents in an environment of the mobile robot | |
| EP4307251A1 (en) | Mapping method, vehicle, computer readable storage medium, and chip | |
| CN114383598B (zh) | 一种隧道施工作业车及其自动驾驶系统 | |
| CN115042821A (zh) | 车辆控制方法、装置、车辆及存储介质 | |
| EP4134769A1 (en) | Method and apparatus for vehicle to pass through boom barrier | |
| US11347235B2 (en) | Methods and systems for generating radar maps | |
| CN117002530A (zh) | 车辆未来运动轨迹预测方法、装置及无人驾驶设备 | |
| CN113895455B (zh) | 控制装置、控制方法及存储介质 | |
| US20220300851A1 (en) | System and method for training a multi-task model | |
| JP7141421B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
| US11801838B2 (en) | Vehicle control device, vehicle control method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201009 |
|
| RJ01 | Rejection of invention patent application after publication |