CN113848884A - 一种基于特征融合和时空约束的无人驾驶工程机械决策方法 - Google Patents
一种基于特征融合和时空约束的无人驾驶工程机械决策方法 Download PDFInfo
- Publication number
- CN113848884A CN113848884A CN202111043186.5A CN202111043186A CN113848884A CN 113848884 A CN113848884 A CN 113848884A CN 202111043186 A CN202111043186 A CN 202111043186A CN 113848884 A CN113848884 A CN 113848884A
- Authority
- CN
- China
- Prior art keywords
- network
- decision
- space
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 102100026278 Cysteine sulfinic acid decarboxylase Human genes 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 108010064775 protein C activator peptide Proteins 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于特征融合和时空约束的无人驾驶工程机械决策方法，包括：采集工程机械行驶图像、三维点云数据和决策所需的数据，建立基于卷积模块和多头自注意力模块相融合的时空决策网络，多头自注意力模块提取图像全局特征，卷积模块提取局部特征，LSTM网络提取时间特征，与PointNet特征提取网络获得的点云特征和全局规划算法生成的规划指令进行融合，构建时空约束网络的框架。根据采集的双目图像和点云数据，全局路径规划算法的规划指令，时空决策网络直接输出左右履带电信号值传输到工程机械控制系统，从而实现行驶。本发明根据双目图像提取时空特征，考虑了图像前后帧之间的关系，再与点云特征进行特征融合，弥补了单一传感器获取信息失效和不足的情况，可以保证工程机械安全而可靠的行驶。
Description
技术领域
本发明涉及智能机器人领域，具体涉及一种基于特征融合和时空约束的无人驾驶工程机械决策方法。
背景技术
工程机械应用非常广泛，有的可能运用于山区里比较平坦的区域，有的运用于矿山、高原、南北极等环境比较恶劣的地形，以及地震、泥石流以及辐射等救灾抢险的恶劣工况中。传统工程机械以内燃机为驱动，普遍存在污染物排放高、噪声大和效率低等问题，电动工程机械具有零排放、低噪声和传动效率高等优点，在克服上述问题的基础上方便了工程机械智能化的发展。由于工程机械工作环境恶劣，对驾驶员的身体各方面的素质要求非常高，随时可能给驾驶员的生命造成危险，通过无人驾驶技术对车辆进行控制，在作业时自主对环境进行感知并做出决策，极大的降低了操作人员的作业风险，减少了劳动力的浪费，提高了作业效率。
目前无人驾驶决策技术主要应用在汽车领域，主要可以分为两大类：基于规则的决策和基于学习算法的端到端决策，基于学习算法的端到端决策主要是基于深度学习和深度强化学习的方法。基于规则的决策非常简单，只需根据驾驶场景制定一系列的规则，但是规则的制定无法穷尽，且无法适用于复杂的场景；基于深度强化学习的无人驾驶决策方法通过和环境不断的交互，来获得数据进行训练，无需制作数据集和标注，但是深度强化学习算法存在收敛慢，难以设计合适的奖励函数等问题。
同时，现在的端到端方法一般使用单一传感器，直接输入原始数据，通过卷积神经网络输出车辆的方向盘转角或者其他连续控制信号。但单一传感器出现难免失效或者获取的周围环境信息不足的情况，从而使得车辆的决策输出并不安全可靠。
发明内容
本发明针对上述问题，提出了一种基于特征融合和时空约束的无人驾驶工程机械决策方法，使用多传感器提取特征，基于卷积模块和自注意力模块相融合，考虑时间约束和空间约束，能够弥补现有端到端决策方法使用单一传感器获取信息不足和失效以及传统的基于规则的决策方法不可能充分覆盖所有场景的缺陷；同时补充无人驾驶决策技术在履带式工程机械方面的缺失。
本发明为解决上述技术问题采取的技术方案是：一种基于特征融合和时空约束的无人驾驶工程机械决策方法，该方法包括以下步骤：
一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，包括以下步骤：
步骤1、利用设置在履带式工程机械上的多线激光雷达和双目摄像头采集数据，同时记录同一时刻的行驶决策数据；采集数据的数据集内包括在tn时刻摄像头采集的双目图像和在tn时刻多线激光雷达采集的点云数据，n＝1，2，…M，M代表时刻总数；
步骤2、将采集的双目图像输入到预训练好的YOLOv5网络，利用预训练好的YOLOv5网络输出双目图像中目标的位置信息，将预测的位置信息分别绘制到对应图像上，获得新图像；将采集的点云数据输入到预训练好的PointNet网络进行点云特征提取，得到点云数据的特征；。
步骤3、根据行驶任务，全局路径规划算法规划到达目的地的合理路径，生成规划指令；
步骤4、构建时空决策网络，所述时空决策网络包括空间约束网络和时间约束网络，所述空间约束网络采用卷积模块和多头自注意模块相融合提取双目图像中的空间位置关系，所述时间约束网络采用长短时记忆网络LSTM获取双目图像前后帧之间的关系；
步骤5、使用所述预训练好的YOLOv5网络获得的新图像和所述PointNet网络得到的点云数据特征以及生成的规划指令作为输入，将所述双目图像和点云数据对应的行驶决策数据为标签对构建的时空决策网络进行训练，得到用于决策的网络参数，所述网络参数为各网络层的权重。
具体地，所述步骤1中，双目摄像头采集的图像大小为1280*480像素，图像格式为RGB格式；多线激光雷达采集的点云数据格式为PCAP格式；决策数据为与采集图像和点云数据同时刻的can信号。
具体地，所述步骤2中，利用预训练好的YOLOv5网络输出双目图像中目标的位置信息，其具体为：
targetn＝(xn(l1),yn(l1),x’n(l1),y’n(l1),xn(r1),yn(r1),x’n(r1),y’n(r1),…xn(li),yn(li),x’n(li),y’n(li),xn(ri),yn(ri),x’n(ri),y’n(ri)…xn(lN),yn(lN),x’n(lN),y’n(lN),xn(rN),yn(rN),x’n(rN),y’n(rN))；
式中，(xn(li),yn(li),x’n(li),y’n(li),xn(ri),yn(ri),x’n(ri),y’n(ri))代表tn时刻双目图像中第i对目标预测框左目图像和右目图像的左上角顶点坐标和右下角顶点坐标，i＝1，2，…，N代表tn时刻双目图像中目标总对数，targetn代表tn时刻双目图像中所有目标预测框左目图像和右目图像的左上角顶点坐标和右下角顶点坐标组成的集合。
具体地，所述步骤2中，所述PointNet网络包括位置变换网络T-Net、2个MLP模块和最大池化操作。
具体地，所述步骤3中，所述全局路径规划算法为A*算法，所述规划指令b包括到达目的地、左转、右转和直行指令。
具体地，所述步骤4中，所述时空决策网络包括卷积模块、多头自注意力模块、全连接层、归一化层、激活层、Dropout层、Embedding层、Flatten层、Concat层、Softmax层和LSTM网络层。
具体地，所述Embedding层包括一个卷积层和一个Flatten层，所述卷积层用来得到Patches，所述Patches为卷积所得到的特征图，所述Flatten层用来进行展平处理得到序列Ⅰ＝{x1，x2，...xj}，j表示序列的长度。
具体地，所述步骤4中，所述卷积模块包括3个卷积层，所述卷积层分别为卷积核大小为1*1的卷积、3*3的卷积、1*1的卷积，所述卷积核大小为1*1的卷积进行升维操作，3*3卷积提取局部特征，再用1*1卷积进行降维操作；所述多头自注意力模块包括4个卷积层、2个Dropout层、Softmax层和Concat层，提取输入的连续序列Ⅰ＝{x1，x2，...xi}得到全局特征序列G＝{g1，g2，...gn}。
具体地，所述LSTM网络层结构包括输入门、遗忘门、输出门和内部记忆单元，所述LSTM网络层计算公式为
ft＝σ(Wf·xt+Uf·ht-1+bf)
it＝σ(Wi·xt+Ui·ht-1+bi)
C`t＝Tanh(Wc·xt+Uc·ht-1)
Ct＝ft·Ct-1+it·C`t
ot＝σ(Wo·xt+Uo·ht-1+bo)
ht＝ot*Tanh(Ct)
σ为Sigmoid激活函数，Wf，Uf，bf为遗忘门的网络参数，Wi，Ui，bi均为输入门的网络参数，ft为遗忘门，it为输入门，ot为输出门，xt为当前序列数据，ht-1是上一时刻隐藏层的状态，ht是当前时刻隐藏层的状态，Ct为当前序列位置下的细胞状态，Ct’为通过遗忘门和输入门的输出更新的细胞状态，Wo、Uo，bo为输出门的参数，Tanh也为激活函数。
具体地，所述步骤5还可包括以下具体步骤：
步骤51，将预训练好的YOLOv5网络生成的新图像分批次送入时空决策网络中提取时空特征；
步骤52，PointNet网络提取的点云特征以及A*算法生成的规划指令进行特征融合；
步骤53，将网络输出的决策数据的值与采集双目图像和点云数据对应的行驶决策数据的值根据损失函数进行误差处理，获得误差值并进行反向传播，更新网络参数，直至时空决策网络收敛。
本发明提供的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其有益效果是：
1、本发明的时空决策网络考虑到双目图像考虑到难以包含工程机械周围的复杂的环境信息，因此引入包含丰富特征的点云数据作为时空决策网络的另一输入，使用PointNet网络直接处理三维点云数据，尽可能保证到了数据的完整性，将PointNet网络提取的特征直接并入时空决策网络的深层特征之中，以达到丰富特征的目的。
2、本发明在决策网络中将多头自注意力模块和卷积模块进行了有效融合，相对于普通的自注意力模块多头自注意力模型添加了head，能够获得更为有效的全局特征，并通过卷积模块提取图像的局部特征，将二者进行融合。
3、除了考虑图像的空间位置信息之外，本发明还串联了长短时记忆网络，充分考虑图像前后帧之间的关系，使得最终提取的图像特征更为丰富。
附图说明
图1为本发明基于特征融合和时空约束的无人驾驶工程机械决策方法的流程图；
图2为本发明多头自注意力模块的整体结构图；
图3为本发明卷积模块和多头自注意力模块与长短时记忆网络的串行示意图；
图4为本发明时空决策网络结构图。
具体实施方式
具体实施方式一：本实施方式所述的一种基于和时空约束的履带式工程机械决策方法，流程图如图1所示，该方法具体包括以下步骤：
步骤1、将多线激光雷达和双目摄像头安装在履带式工程机械上后，利用多线激光雷达和双目摄像头共同采集数据，同时记录同一时刻的决策数据。
其中：数据集内包括在tn时刻摄像头采集的双目图像和在tn时刻多线激光雷达采集的点云数据，n＝1，2，…，M，M代表时刻总数；
在该步骤中，将多线激光雷达和双目摄像头安装在指定位置，采集数据时尽量让工程机械保持恒定速度进行数据采集工作，同时通过can总线记录同一时刻的决策数据。由于工程机械行驶图像的采集频率通常不等于驾驶决策数据的采集速率，因此，对获取的熟练驾驶员的行驶决策数据使用等间距采样的方式获取。而雷达采样频率为20HZ，双目摄像头采样频率为30HZ，因此在数据流中每间隔2帧采样一次雷达数据，间隔3帧采样一次图片数据。采集的图片和激光雷达采集的点云数据采集回来的双目图像大小为1280*480，RGB格式；多线激光雷达采集的点云格式为PCAP格式；决策数据为与采集图像和点云数据同时刻的can信号。
步骤2、将步骤一中双目摄像头采集的图像输入到预训练好的YOLOv5网络，获得的点云数据输入到预训练好的PointNet网络进行点云特征提取，得到点云数据的特征。利用训练好的YOLOv5网络输出双目图像中目标的位置信息，将预测的位置信息分别绘制到对应图像上，获得新图像。其具体为：
targetn＝(xn(l1),yn(l1),x’n(l1),y’n(l1),xn(r1),yn(r1),x’n(r1),y’n(r1),…xn(li),yn(li),x’n(li),y’n(li),xn(ri),yn(ri),x’n(ri),y’n(ri)…xn(lN),yn(lN),x’n(lN),y’n(lN),xn(rN),yn(rN),x’n(rN),y’n(rN))；
式中，(xn(li),yn(li),x’n(li),y’n(li),xn(ri),yn(ri),x’n(ri),y’n(ri))代表tn时刻双目图像中第i对目标预测框左目图像和右目图像的左上角顶点坐标和右下角顶点坐标，i＝1，2，…，N代表tn时刻双目图像中目标总对数，targetn代表双目图像中所有目标预测框左目图像和右目图像的左上角顶点坐标和右下角顶点坐标组成的集合。将预测的位置信息分别绘制到对应图像上，获得新图像，图像尺寸为448*448。
采集的点云数据进行点云滤波、点云匹配等处理，得到可用的点云数据；而图像数据无需单独进行处理，YOLOv5网络自带较多的预处理操作。根据YOLOv5网络所需的图像数据集格式和PointNet特征提取网络所需的点云数据格式分别制作图像数据集和点云数据集；YOLOv5网络用图像数据集进行训练，PointNet特征提取网络用点云数据集进行训练，分别获取最优的网络参数，同时YOLOv5网络输出双目图像中目标的位置预测信息；再将目标的位置预测信息绘制到对应图像上获得添加目标位置信息的新图像。
所述PointNet特征提取网络包括位置变换网络T-Net、2个MLP模块以及最大池化操作，本发明实施例中，点云数据先通过T-Net网络将其在空间上对齐(旋转到正面)，再通过MLP模块将其映射到64维的空间上，再进行对齐，最后映射到1024维的空间上，得到一个1024维的向量表征，再引入最大池化操作，得到N个点云的特征。
步骤3、根据行驶任务，全局路径规划算法规划到达目的地的合理路径，生成规划指令。
根据需要的要求，指定从A地到达B地的任务，全局路径规划采用A*算法，根据制定的驾驶任务，A*算法规划出一条到达目的地的合理路径，并生成规划指令，本实施例中共生成到达目的地、左转、右转、直行4个指令，归一化之后直接并入时空决策网络之中。
步骤4、构建基于卷积模块和多头自注意力模块相融合的时空决策网络，所述时空决策网络包括空间约束网络和时间约束网络，所述空间约束网络采用卷积模块和多头自注意力模块相融合提取图像中的空间位置关系，所述时间约束网络采用长短时记忆网络LSTM获取图像前后帧之间的关系；
本发明构建的基于卷积模块和多头自注意力模块相融合时空决策网络主要考虑到以下几个因素：一是我们需要时刻获取工程机械周围的动态环境信息，我们的决策不仅要考虑图像中目标的空间位置关系，也要考虑图像前后帧之间的关系；二是为了得到更为丰富的特征，卷积模块可以提取大量的局部特征，多头自注意力模块可以得到大量的全局特征，二者相融合，提取的图像特征更为丰富。
所述时空决策网络包括卷积模块、多头自注意力模块、全连接层、归一化层、激活层、Dropout层、Embedding层、Flatten层、Concat层、Softmax层、LSTM网络层。所述卷积模块提取YOLOv5网络生成新双目图像的局部特征，多头自注意力模块提取YOLOv5网络生成新双目图像的全局特征，全局特征与局部特征通过Concat层进行拼接，传入到长短时记忆网络LSTM中获得双目图像前后帧之间的关系。
所述Embedding层包括一个32*32卷积层和一个Flatten层，所述卷积层用来得到一堆Patches，所述Patches为卷积所得到的特征图，所述Flatten层用来对Patches进行展平处理得到一个序列Ⅰ＝{x1，x2，...xj}，j表示序列的长度，作为所述卷积模块和多头自注意力模块的输入。本发明实施例中Embedding层的输入即为YOLOv5生成的新图像，尺寸为448*448。
所述卷积模块包括3个卷积层，所述卷积层分别为卷积核大小为1*1的卷积、3*3的卷积、1*1的卷积，所述卷积核大小为1*1的卷积进行升维操作，3*3卷积提取局部特征，再用1*1进行降维操作。输入序列Ⅰ＝{x1，x2，...xi}经过该卷积模块后得到图像的局部特征，表示为Aconv＝Conv(Conv(Conv(I)))。
如图2，为本发明实施例多头自注意力模块的整体结构图，所述多头自注意力模块是在自注意力模块的基础上改进而成，包括4个卷积层、2个Dropout层、Softmax层和Concat层，提取输入的连续序列Ⅰ＝{x1，x2，...xi}得到全局特征序列G＝{g1，g2，...gn}，计算公式为：
Q＝Wq*I
K＝Wk*I
V＝Wv*I
其中I是输入序列{x1，x2，...xi}，Q代表query，后续会去和每一个K进行匹配，K代表key，后续会被每个Q匹配，V代表提取得到的信息，Wq，Wk，Wv为变换矩阵参数，通过网络训练得到，并且参数共享。根据以上参数进行一系列矩阵运算可得自注意力特征Attention，计算公式如下：
其中，T表示矩阵转置，dk是K的维度。
本发明在自注意力模块基础上首先由3个3*3的卷积层提取分别得到Q、K、V，再将Q，K，V均分为3份，3为head的数目，每一个head都进行一次上述公式的计算，即每一个head都有一个自注意力模块，接着将每个head得到的结果进行Concat拼接，将拼接后的结果通过WO进行融合，再经过Dropout层得到多头自注意力模块，所述WO变换矩阵在本发明中由一个1*1卷积实现，如图3所示。多头自注意力模块可以联合各个自注意力模块的信息，使得到的信息更为完整和丰富。具体计算公式如下：
MultiHead(Q,K,V)＝Concat(head1,…,headh)WO
headi＝Attention(QWi Q,KWi K,VWi V)
其中，Wi Q，Wi K，Wi V参数通过映射得到，也可直接进行均分得到，head表示进行自注意力模块的数目；
以上的多头自注意力模块并没有考虑位置信息，为了得到任意两图像像素之间的位置关系，引入位置编码(positional encoding)Pe。位置编码直接加入到多头自注意力模块的输入序列Ⅰ＝{x1，x2，...xi}中，所述位置编码Pe＝{pe1，pe2，...，pen}和Ⅰ＝{x1，x2，...xi}有相同的维度大小。
将由多头自注意力模块得到的全局特征G和由卷积网络得到的局部特征Aconv沿着通道的维度进行合并，得到更为丰富的图像空间特征序列S＝Concat[G，Aconv]。
所述LSTM网络层结构主要包括输入门、遗忘门、输出门、内部记忆单元四部分。设置长短时记忆网络LSTM隐藏层数目为2，输出通道数为256，在本实施例中，如图3所示，构建两个如步骤4所述的卷积模块和多头自注意力模块进行串行堆叠，设多头自注意力模块head＝3，根据输入序列Ⅰ＝{x1，x2，...xi}先得到图像空间特征序列S＝Concat[G，Aconv]，再将空间特征序列S输入到长短时记忆网络LSTM中得到图像的时间特征ot。具体实现步骤如下:
所述遗忘门：控制输入序列x和上一层隐藏层输出ht-1被遗忘程度的大小；通过输入上一序列的隐藏状态ht-1和当前序列数据xt，经过激活函数σ之后，得到遗忘门的输出ft，具体计算公式如下:
ft＝σ(Wf·xt+Uf·ht-1+bf)
其中，σ为Sigmoid激活函数，Wf，Uf，bf为遗忘门的网络参数。
所述输入门：控制输入序列x和当前计算的状态更新到记忆单元的程度大小，本发明将卷积模块和多头自注意力模块的输出序列空间特征S＝Concat[G，Aconv]作为LSTM网络的输入，LSTM网络中，输入门的数据利用σ激活函数得到输出it；具体实现方式如下:
it＝σ(Wi·xi+Ui·ht-1+bi)
其中，Wi，Ui，bi均为输入门的网络参数。
所述内部记忆单元：更新当前序列位置下的细胞状态Ct，通过遗忘门和输入门的输出更新细胞状态，具体计算公式如下:
C`t＝Tanh(Wc·xt+Uc·ht-1)
Ct＝ft·Ct-1+it·C`t
所述输出门：控制输入序列x和当前输出取决于当前记忆单元的程度大小，输入序列S经过LSTM网络的内部计算后，最终通过输出门输出包含两个部分：一部分是得到当前时刻t的隐藏状态ht，用于作为上一序列的隐藏状态进行下一次的序列计算；另一部分是经过激活函数σ后得到最终的输出结果ot，ot即为本发明中双目图像提取的时间特征，具体计算公式如下:
ot＝σ(Wo·xt+Uo·ht-1+bo)
ht＝ot*Tanh(Ct)
其中Wo，Uo，bo为输出门的参数。
步骤5、使用所述训练好的YOLOv5网络生成的新图像和所述PointNet网络提取的点云特征以及A*算法生成的规划指令作为输入，将所述双目图像和点云数据对应的行驶决策数据为标签对所构建的时空决策网络进行训练，得到用于决策的网络参数，所述网络参数为各网络层的权重。
该步骤可具体包括：
步骤51，将训练好的YOLOv5网络生成的新图像分批次送入时空决策网络中提取时空特征；
步骤52，PointNet网络提取的点云特征以及A*算法生成的规划指令进行特征融合；
步骤53，将网络输出的决策数据的值与采集双目图像和点云数据对应的行驶决策数据的值根据损失函数进行误差处理，获得误差值并进行反向传播，更新网络参数，直至时空决策网络收敛。
具体地，如图4所示为时空决策网络结构图，该步骤中，使用步骤2中训练好的YOLOv5网络生成的448*448尺寸大小的新图像作为时空决策网络的输入提取双目图像的时空特征，使用步骤2中PointNet网络提取的点云特征以及步骤3中A*算法生成的规划指令作为时空决策网络的另一输入，与所述的双目图像的时空特征通过Concat层进行拼接，再通过一个全连接层和Sigmoid层进行输出，对应履带式工程机械的左右履带电信号值；使用采集的双目图像和点云数据对应的行驶决策数据为标签对构建的时空决策网络进行训练。所述训练每一批输入样本为B个，每个输入样本为工程机械采集的多帧双目图像和多帧点云数据，且每个输入样本包含帧数都为T；将这些样本及所述规划指令送入时空决策网络中。每个样本对应的标签为样本中第T帧图像所对应的熟练驾驶员行驶决策数据，将网络输出的决策数据的值与对应的熟练驾驶员决策的值进行误差计算，通过误差进行梯度反向传播，更新网络参数，直到网络收敛，所述网络收敛即损失函数达到某一特定的值，本实施例中为0.45。本发明实施例使用的反向传播优化方法使用Adam方法，学习率设定为0.001；循环次数为500；训练批次设定为8；误差函数为交叉熵损失函数H：
其中q为网络输出的决策值，p为对应的熟练驾驶员采用的决策值。
以上所述，仅是本发明的较佳实施例，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。本发明要求保护范围由所附权利要求书及其等效物界定。
Claims (10)
1.一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，包括以下步骤：
步骤1、利用设置在履带式工程机械上的多线激光雷达和双目摄像头采集数据，同时记录同一时刻的行驶决策数据；采集数据的数据集内包括在tn时刻摄像头采集的双目图像和在tn时刻多线激光雷达采集的点云数据，n＝1，2，…M，M代表时刻总数；
步骤2、将采集的双目图像输入到预训练好的YOLOv5网络，利用预训练好的YOLOv5网络输出双目图像中目标的位置信息，将预测的位置信息分别绘制到对应图像上，获得新图像；将采集的点云数据输入到预训练好的PointNet网络进行点云特征提取，得到点云数据的特征；
步骤3、根据行驶任务，全局路径规划算法规划到达目的地的合理路径，生成规划指令；
步骤4、构建时空决策网络，所述时空决策网络包括空间约束网络和时间约束网络，所述空间约束网络采用卷积模块和多头自注意模块相融合提取双目图像中的空间位置关系，所述时间约束网络采用长短时记忆网络LSTM获取双目图像前后帧之间的关系；
步骤5、使用所述预训练好的YOLOv5网络获得的新图像和所述PointNet网络得到的点云数据特征以及生成的规划指令作为输入，将所述双目图像和点云数据对应的行驶决策数据为标签对构建的时空决策网络进行训练，得到用于决策的网络参数，所述网络参数为各网络层的权重。
2.根据权利要求1所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述步骤1中，双目摄像头采集的图像大小为1280*480像素，图像格式为RGB格式；多线激光雷达采集的点云数据格式为PCAP格式；决策数据为与采集图像和点云数据同时刻的can信号。
3.根据权利要求1所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述步骤2中，利用预训练好的YOLOv5网络输出双目图像中目标的位置信息，其具体为：
targetn＝(xn(l1),yn(l1),x’n(l1),y’n(l1),xn(r1),yn(r1),x’n(r1),y’n(r1),…xn(li),yn(li),x’n(li),y’n(li),xn(ri),yn(ri),x’n(ri),y’n(ri)…xn(lN),yn(lN),x’n(lN),y’n(lN),xn(rN),yn(rN),x’n(rN),y’n(rN))；
式中，(xn(li),yn(li),x’n(li),y’n(li),xn(ri),yn(ri),x’n(ri),y’n(ri))代表tn时刻双目图像中第i对目标预测框左目图像和右目图像的左上角顶点坐标和右下角顶点坐标，i＝1，2，…，N代表tn时刻双目图像中目标总对数，targetn代表tn时刻双目图像中所有目标预测框左目图像和右目图像的左上角顶点坐标和右下角顶点坐标组成的集合。
4.根据权利要求1所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述步骤2中，所述PointNet网络包括位置变换网络T-Net、2个MLP模块和最大池化操作。
5.根据权利要求1所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述步骤3中，所述全局路径规划算法为A*算法，所述规划指令b包括到达目的地、左转、右转和直行指令。
6.根据权利要求1所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述步骤4中，所述时空决策网络包括卷积模块、多头自注意力模块、全连接层、归一化层、激活层、Dropout层、Embedding层、Flatten层、Concat层、Softmax层和LSTM网络层。
7.根据权利要求6所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述Embedding层包括一个卷积层和一个Flatten层，所述卷积层用来得到Patches，所述Patches为卷积所得到的特征图，所述Flatten层用来进行展平处理得到序列Ⅰ＝{x1，x2，...xj}，j表示序列的长度。
8.根据权利要求6所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述步骤4中，所述卷积模块包括3个卷积层，所述卷积层分别为卷积核大小为1*1的卷积、3*3的卷积、1*1的卷积，所述卷积核大小为1*1的卷积进行升维操作，3*3卷积提取局部特征，再用1*1卷积进行降维操作；所述多头自注意力模块包括4个卷积层、2个Dropout层、Softmax层和Concat层，提取输入的连续序列Ⅰ＝{x1，x2，...xi}得到全局特征序列G＝{g1，g2，...gn}。
9.根据权利要6所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述LSTM网络层结构包括输入门、遗忘门、输出门和内部记忆单元，所述LSTM网络层计算公式为
ft＝σ(Wf·xt+Uf·ht-1+bf)
it＝σ(Wi·xt+Ui·ht-1+bi)
C`t＝Tanh(Wc·xt+Uc·ht-1)
Ct＝ft·Ct-1+it·Ct
ot＝σ(Wo·xt+Uo·ht-1+bo)
ht＝ot*Tanh(Ct)
σ为Sigmoid激活函数，Wf，Uf，bf为遗忘门的网络参数，Wi，Ui，bi均为输入门的网络参数，ft为遗忘门，it为输入门，ot为输出门，xt为当前序列数据，ht-1是上一时刻隐藏层的状态，ht是当前时刻隐藏层的状态，Ct为当前序列位置下的细胞状态，Ct’为通过遗忘门和输入门的输出更新的细胞状态，Wo、Uo，bo为输出门的参数，Tanh也为激活函数。
10.根据权利要1所述的一种基于特征融合和时空约束的无人驾驶工程机械决策方法，其特征在于，所述步骤5还可包括以下具体步骤：
步骤51，将预训练好的YOLOv5网络生成的新图像分批次送入时空决策网络中提取时空特征；
步骤52，PointNet网络提取的点云特征以及A*算法生成的规划指令进行特征融合；
步骤53，将网络输出的决策数据的值与采集双目图像和点云数据对应的行驶决策数据的值根据损失函数进行误差处理，获得误差值并进行反向传播，更新网络参数，直至时空决策网络收敛。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111043186.5A CN113848884B (zh) | 2021-09-07 | 2021-09-07 | 一种基于特征融合和时空约束的无人驾驶工程机械决策方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111043186.5A CN113848884B (zh) | 2021-09-07 | 2021-09-07 | 一种基于特征融合和时空约束的无人驾驶工程机械决策方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113848884A true CN113848884A (zh) | 2021-12-28 |
| CN113848884B CN113848884B (zh) | 2023-05-05 |
Family
ID=78973138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111043186.5A Active CN113848884B (zh) | 2021-09-07 | 2021-09-07 | 一种基于特征融合和时空约束的无人驾驶工程机械决策方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113848884B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150347A (zh) * | 2023-10-25 | 2023-12-01 | 无锡迪富智能电子股份有限公司 | 用于卫浴遥控器的自决策方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800670A (zh) * | 2018-12-28 | 2019-05-24 | 中国第一汽车股份有限公司 | 一种端到端的无人驾驶决策方法及系统 |
| CN110378246A (zh) * | 2019-06-26 | 2019-10-25 | 深圳前海达闼云端智能科技有限公司 | 地面检测方法、装置、计算机可读存储介质及电子设备 |
| CN111833358A (zh) * | 2020-06-26 | 2020-10-27 | 中国人民解放军32802部队 | 基于3d-yolo的语义分割方法及系统 |
| US20200367800A1 (en) * | 2019-01-23 | 2020-11-26 | Wuyi University | Method for identifying driving fatigue based on cnn-lstm deep learning model |
| US20200410671A1 (en) * | 2019-06-28 | 2020-12-31 | Shandong University Of Science And Technology | Ct lymph node detection system based on spatial-temporal recurrent attention mechanism |
| WO2021073528A1 (zh) * | 2019-10-18 | 2021-04-22 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 一种无人艇智能决策方法及系统 |
| WO2021120407A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
-
2021
- 2021-09-07 CN CN202111043186.5A patent/CN113848884B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800670A (zh) * | 2018-12-28 | 2019-05-24 | 中国第一汽车股份有限公司 | 一种端到端的无人驾驶决策方法及系统 |
| US20200367800A1 (en) * | 2019-01-23 | 2020-11-26 | Wuyi University | Method for identifying driving fatigue based on cnn-lstm deep learning model |
| CN110378246A (zh) * | 2019-06-26 | 2019-10-25 | 深圳前海达闼云端智能科技有限公司 | 地面检测方法、装置、计算机可读存储介质及电子设备 |
| US20200410671A1 (en) * | 2019-06-28 | 2020-12-31 | Shandong University Of Science And Technology | Ct lymph node detection system based on spatial-temporal recurrent attention mechanism |
| WO2021073528A1 (zh) * | 2019-10-18 | 2021-04-22 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 一种无人艇智能决策方法及系统 |
| WO2021120407A1 (zh) * | 2019-12-17 | 2021-06-24 | 大连理工大学 | 一种基于多对双目相机的视差图像拼接与可视化方法 |
| CN111833358A (zh) * | 2020-06-26 | 2020-10-27 | 中国人民解放军32802部队 | 基于3d-yolo的语义分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 景亮;王瑞;刘慧;沈跃;: "基于双目相机与改进YOLOv3算法的果园行人检测与定位" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117150347A (zh) * | 2023-10-25 | 2023-12-01 | 无锡迪富智能电子股份有限公司 | 用于卫浴遥控器的自决策方法及系统 |
| CN117150347B (zh) * | 2023-10-25 | 2024-01-26 | 无锡迪富智能电子股份有限公司 | 用于卫浴遥控器的自决策方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113848884B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112965499B (zh) | 基于注意力模型和深度强化学习的无人车行驶决策方法 | |
| US11562490B2 (en) | Systems and methods for video object segmentation | |
| EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
| CN108520238B (zh) | 一种基于深度预测编码网络的夜视图像的场景预测方法 | |
| CN112232490A (zh) | 一种基于视觉的深度模仿强化学习驾驶策略训练方法 | |
| CN113538520B (zh) | 行人轨迹预测方法、装置、电子设备及存储介质 | |
| CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
| US11970175B2 (en) | System for obtaining a prediction of an action of a vehicle and corresponding method | |
| CN111580526A (zh) | 面向固定车辆编队场景的协同驾驶方法 | |
| CN113848884A (zh) | 一种基于特征融合和时空约束的无人驾驶工程机械决策方法 | |
| Dong et al. | A vision-based method for improving the safety of self-driving | |
| CN115285143A (zh) | 一种基于场景分类的自动驾驶车辆导航方法 | |
| CN114596335A (zh) | 一种无人艇目标检测追踪方法及系统 | |
| CN113284042B (zh) | 一种多路并行图像内容特征优化风格迁移方法及系统 | |
| CN113191944B (zh) | 一种多通道图像内容特征融合风格迁移方法及系统 | |
| CN114326821B (zh) | 基于深度强化学习的无人机自主避障系统及方法 | |
| CN111273676B (zh) | 一种端到端自动驾驶的方法及系统 | |
| Fang et al. | Multi-modal experts network for autonomous driving | |
| Shi et al. | Path Planning of Unmanned Aerial Vehicle Based on Supervised Learning | |
| Liu et al. | End-to-end control of autonomous vehicles based on deep learning with visual attention | |
| CN115049130B (zh) | 一种基于时空金字塔的自动驾驶轨迹预测方法 | |
| CN113191943B (zh) | 一种多路并行图像内容特征分离风格迁移方法及系统 | |
| CN116863430B (zh) | 一种面向自动驾驶的点云融合方法 | |
| Zhang et al. | Channel-Aware Distillation Transformer for Depth Estimation on Nano Drones | |
| Lee et al. | Path tracking control using imitation learning with variational auto-encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230822 Address after: Unit 1301-2, No. 15 Longhe Erli, Jimei District, Xiamen City, Fujian Province, 361000 Patentee after: Xiamen guoxineng Construction Machinery Co.,Ltd. Address before: 362000 North China Road, Dongcheng, Fengze District, Quanzhou City, Fujian Province, 269 Patentee before: HUAQIAO University |