CN112212872B - 基于激光雷达和导航地图的端到端自动驾驶方法及系统 - Google Patents

基于激光雷达和导航地图的端到端自动驾驶方法及系统 Download PDF

Info

Publication number
CN112212872B
CN112212872B CN202011118233.3A CN202011118233A CN112212872B CN 112212872 B CN112212872 B CN 112212872B CN 202011118233 A CN202011118233 A CN 202011118233A CN 112212872 B CN112212872 B CN 112212872B
Authority
CN
China
Prior art keywords
vehicle
navigation map
information
laser radar
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011118233.3A
Other languages
English (en)
Other versions
CN112212872A (zh
Inventor
朱波
张纪伟
谈东奎
许凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202011118233.3A priority Critical patent/CN112212872B/zh
Publication of CN112212872A publication Critical patent/CN112212872A/zh
Application granted granted Critical
Publication of CN112212872B publication Critical patent/CN112212872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/393—Trajectory determination or predictive tracking, e.g. Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G01S19/41—Differential correction, e.g. DGPS [differential GPS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于激光雷达和导航地图的端到端自动驾驶方法，包括：获取车辆周围道路环境的多线激光雷达俯视图图像、局部导航地图、车辆历史运动信息；构建包括卷积层、全连接层、展开层以及长短期记忆网络层LSTM的端到端神经网络模型；将车辆方向盘的预测转向角和预测车速作为车辆控制信息，通过CAN总线输入到整车控制网络，实现对车辆的控制。本发明通过多线激光雷达点云数据投影处理后的俯视图，指出车辆可行驶区域及不可行驶区域，避免车辆发生局部碰撞；通过已训练的端到端神经网络模型，本发明根据俯视图、局部导航地图以及过去时刻的转向角与车速信息，预测下一时刻汽车方向盘的期望转向角及期望车速，实现以目标为导向的端到端自动驾驶。

Description

基于激光雷达和导航地图的端到端自动驾驶方法及系统
技术领域
本发明涉及自动驾驶技术领域，尤其是一种基于激光雷达和导航地图的端到端自动驾驶方法及系统。
背景技术
传统的基于规则的自动驾驶汽车通常将自动驾驶解决方案划分为感知、决策、控制三个部分。系统根据提前定义的逻辑规则，综合考虑感知系统的所有信息做出决策，控制车辆实现自动驾驶。这种方法的特点在于各模块之间分工明确，系统有明确的规则设定，可解释性强。但该方法也存在着系统复杂、硬件要求高、过渡依赖规则的缺点，同时在遇到设定之外的情形时，系统难以有效建模并快速做出决策。而基于深度神经网络的端到端自动驾驶系统，通过采用监督学习的方法学习人类驾驶动作，建立传感器输入与车辆控制之间的直接映射关系。经过训练后，系统能够直接获取摄像头、激光雷达、差分GPS等传感器信息，然后输出自动驾驶汽车控制所需要的方向盘转向角等决策信息。
目前，现有的端到端自动驾驶方法多以摄像头为主，受光照、雨水等天气影响较大，且由于RGB图像信息量较大，特征不易提取，导致神经网络层数较多，模型训练速度较慢，且占用较多的计算资源。此外，现有方法较多忽略了车辆历史运动信息对车辆自动驾驶的影响，转向角及车速的预测性能有限。更重要的是，现有方法仅解决了避免局部碰撞的问题，但没有解决目标导向的全球导航问题，只能沿着固定的路线行驶，无法达到任意目标，一旦遇到交叉口就会陷入混乱状态。
发明内容
本发明的首要目的在于提供一种在准确地提供车辆可行驶区域的同时，减少图像内的冗余信息，降低计算资源的占用，提高训练速度和响应时间，实现以目的地为导向的端到端自动驾驶的基于激光雷达和导航地图的端到端自动驾驶方法。
为实现上述目的，本发明采用了以下技术方案：一种基于激光雷达和导航地图的端到端自动驾驶方法，该方法包括下列顺序的步骤：
(1)获取车辆周围道路环境的多线激光雷达俯视图图像、局部导航地图、车辆历史运动信息，构成数据集；
(2)构建包括卷积层、全连接层、展开层以及长短期记忆网络层LSTM的端到端神经网络模型，并以最小化均方根误差RMSE为目标通过数据集进行训练，形成一个从激光雷达俯视图图像、局部导航地图、车辆历史运动信息到下一时刻车辆预期方向盘转向角与车速的映射，完成端到端神经网络模型的训练；
(3)端到端神经网络在经过数据训练后，根据设定目标将所涉及的卷积层、全连接层、展开层以及长短期记忆网络层固定，用于提取输入数据中的有用特征，然后将其导入端到端自动驾驶控制器中，所述多线激光雷达俯视图图像通过已确定的2个卷积核为5×5的卷积层、2个卷积核为3×3的卷积层以及1个展开层进行图像特征提取，获取可行驶区域特征，输出一个一维度向量，即向量1；
(4)对所述局部导航地图通过已确定的2个卷积核为5×5的卷积层、2个卷积核为3×3的卷积层以及1个展开层进行图像特征提取，获取局部路径规划特征，输出向量2；
(5)对所得到的车辆历史运动信息通过已确定的2个全连接层、1个长短期记忆网络层LSTM进行数据特征提取，获取隐含的时间序列特征，输出向量3；
(6)将向量1、向量2以及向量3通过向量拼接层实现信息拼接，得到含有两个维度的向量，即向量4；
(7)将向量4输入由2个全连接层组成的第一分支进行方向盘转向角预测，得到车辆方向盘的预测转向角；
(8)将向量4输入由2个全连接层组成的第二分支进行车速预测，得到车辆的预测车速信息；
(9)将车辆方向盘的预测转向角和预测车速作为车辆控制信息，通过CAN总线输入到整车控制网络，实现对车辆的控制。
所述步骤(1)中的车辆历史运动信息是指过去及当前时刻的方向盘转向角与车速信息。
所述步骤(1)中多线激光雷达俯视图图像的获取方法如下：
(3a)通过多线激光雷达获取车辆周围环境的点云数据；
(3b)根据点云数据中的高度信息，识别出障碍物点和地面点，并剔除其中的地面点，将其余点云数据投影到指定图像中，实现地面分割；
(3c)通过区域生成方法，将障碍物点所在区域生成为不可行驶区域，标注为交叉网格，非障碍物区域生成为可行驶区域，标注为白色，此时即可将车辆周围环境划分为可行驶区域和不可行驶区域，并使其以10帧/s的速率送至端到端神经网络，作为端到端自动驾驶的一个输入信息。
所述步骤(1)中局部导航地图的获取方法如下：
(4a)用户预先给出起点与终点，指定一条驾驶路径，地图中以灰色线条代表其规划路径，在端到端自动驾驶控制器内部形成一个全局导航地图；
(4b)差分GPS与惯性测量单元IMU通过卡尔曼滤波算法进行信息融合，实现车辆的精准定位，获取车辆即时定位信息；
(4c)将车辆即时定位信息与全局导航地图匹配，获取车辆在导航地图中的所在位置，地图中以白色圆点代表所在位置，并以所在位置为中心截取像素大小为50*50的局部导航地图，获取局部路径规划地图，将其送入端到端神经网络，指导车辆沿规划路径行驶。
在步骤(2)中，所述映射具体是指：用I表示俯视图图像，M表示局部导航地图，S和V分别表示车辆的转向角与车速，以下标p表示预测值，以下标t表示当前时刻t的真实值，以N表示长短期记忆网络层LSTM所选的帧数；
预测下一时刻车辆驾驶行为的映射f，其定义如下：
Figure GDA0003481774030000031
其中，
Figure GDA0003481774030000032
和
Figure GDA0003481774030000033
分别代表由时刻t-N+1,t-N+2,……,t-1,t的转向角和车速所组成的集合；
RMSE的定义如下：
Figure GDA0003481774030000034
当用于计算车辆车速时，ytp代表时刻t时车辆车速的预测值，yt代表时刻t时车辆车速的真实值；
当用于计算方向盘转向角时，ytp代表时刻t时方向盘转向角的预测值，yt代表时刻t时方向盘转向角的真实值。
本发明的另一目的在于提供一种基于激光雷达和导航地图的端到端自动驾驶方法的系统，包括：
多线激光雷达，用于获取车辆周围环境的点云数据，经投影处理后，形成将附近区域划分为可行驶区域和不可行驶区域的俯视图；
差分GPS，用于获取车辆的即时定位信息；
惯性测量单元IMU，用于获取车辆加速度、姿态信息，并通过卡尔曼滤波算法与差分GPS数据融合，减少定位误差，提高定位精准度；
车辆CAN总线，用于双向传递车辆的方向盘转向角信息、车速信息；
端到端自动驾驶控制器，用于对收集信息的分析与处理，并对车辆的方向盘和车速进行控制。
所述多线激光雷达安装于车辆顶部正中间的上方位置，所述差分GPS的接收器的个数为两个，分别安装于车辆顶部的前方和后方位置，所述惯性测量单元IMU安装于车内中央扶手箱的水平位置，所述端到端自动驾驶控制器安装于手套箱内部。
由上述技术方案可知，本发明的有益效果为：第一，通过多线激光雷达点云数据投影处理后的俯视图，能在准确地提供车辆可行驶区域的同时，减少图像内的冗余信息，降低计算资源的占用；第二，由于多线激光雷达俯视图及局部导航地图层次分明，特征易于提取，故神经网络设计精简，降低了计算资源的占用，提高了训练速度和响应时间；第三，根据设定的起点和终点，能够自行依据投影的俯视图、截取的局部导航地图及车辆历史运动信息，导航至目标地点，实现以目的地为导向的端到端自动驾驶。
附图说明
图1为本系统的组成结构图；
图2为本发明中的局部导航地图示意图；
图3为本发明中的多线激光雷达俯视图示意图；
图4为本发明的端到端神经网络模型示意图。
具体实施方式
如图2、3、4所示，一种基于激光雷达和导航地图的端到端自动驾驶方法，该方法包括下列顺序的步骤：
(1)获取车辆周围道路环境的多线激光雷达俯视图图像、局部导航地图、车辆历史运动信息，构成数据集；
(2)构建包括卷积层、全连接层、展开层以及长短期记忆网络层LSTM的端到端神经网络模型，并以最小化均方根误差RMSE为目标通过数据集进行训练，形成一个从激光雷达俯视图图像、局部导航地图、车辆历史运动信息到下一时刻车辆预期方向盘转向角与车速的映射，完成端到端神经网络模型的训练；
(3)端到端神经网络在经过数据训练后，根据设定目标将所涉及的卷积层、全连接层、展开层以及长短期记忆网络层固定，用于提取输入数据中的有用特征，然后将其导入端到端自动驾驶控制器中，所述多线激光雷达俯视图图像通过已确定的2个卷积核为5×5的卷积层、2个卷积核为3×3的卷积层以及1个展开层进行图像特征提取，获取可行驶区域特征，输出一个一维度向量，即向量1；
(4)对所述局部导航地图通过已确定的2个卷积核为5×5的卷积层、2个卷积核为3×3的卷积层以及1个展开层进行图像特征提取，获取局部路径规划特征，输出向量2；
(5)对所得到的车辆历史运动信息通过已确定的2个全连接层、1个长短期记忆网络层LSTM进行数据特征提取，获取隐含的时间序列特征，输出向量3；
(6)将向量1、向量2以及向量3通过向量拼接层实现信息拼接，得到含有两个维度的向量，即向量4；
(7)将向量4输入由2个全连接层组成的第一分支进行方向盘转向角预测，得到车辆方向盘的预测转向角；
(8)将向量4输入由2个全连接层组成的第二分支进行车速预测，得到车辆的预测车速信息；
(9)将车辆方向盘的预测转向角和预测车速作为车辆控制信息，通过CAN总线输入到整车控制网络，实现对车辆的控制。
所述步骤(1)中的车辆历史运动信息是指过去及当前时刻的方向盘转向角与车速信息。
如图3所示，所述步骤(1)中多线激光雷达俯视图图像的获取方法如下：
(3a)通过多线激光雷达获取车辆周围环境的点云数据；
(3b)根据点云数据中的高度信息，识别出障碍物点和地面点，并剔除其中的地面点，将其余点云数据投影到指定图像中，实现地面分割；
(3c)通过区域生成方法，将障碍物点所在区域生成为不可行驶区域，标注为交叉网格，非障碍物区域生成为可行驶区域，标注为白色，此时即可将车辆周围环境划分为可行驶区域和不可行驶区域，并使其以10帧/s的速率送至端到端神经网络，作为端到端自动驾驶的一个输入信息。
如图2所示，所述步骤(1)中局部导航地图的获取方法如下：
(4a)用户预先给出起点与终点，指定一条驾驶路径，地图中以灰色线条代表其规划路径，在端到端自动驾驶控制器内部形成一个全局导航地图；
(4b)差分GPS与惯性测量单元IMU通过卡尔曼滤波算法进行信息融合，实现车辆的精准定位，获取车辆即时定位信息；
(4c)将车辆即时定位信息与全局导航地图匹配，获取车辆在导航地图中的所在位置，地图中以白色圆点代表所在位置，并以所在位置为中心截取像素大小为50*50的局部导航地图，获取局部路径规划地图，将其送入端到端神经网络，指导车辆沿规划路径行驶。
在步骤(2)中，所述映射具体是指：用I表示俯视图图像，M表示局部导航地图，S和V分别表示车辆的转向角与车速，以下标p表示预测值，以下标t表示当前时刻t的真实值，以N表示长短期记忆网络层LSTM所选的帧数；
预测下一时刻车辆驾驶行为的映射f，其定义如下：
Figure GDA0003481774030000061
其中，
Figure GDA0003481774030000062
和
Figure GDA0003481774030000063
分别代表由时刻t-N+1,t-N+2,……,t-1,t的转向角和车速所组成的集合；
RMSE的定义如下：
Figure GDA0003481774030000071
当用于计算车辆车速时，ytp代表时刻t时车辆车速的预测值，yt代表时刻t时车辆车速的真实值；
当用于计算方向盘转向角时，ytp代表时刻t时方向盘转向角的预测值，yt代表时刻t时方向盘转向角的真实值。
如图1所示，本系统包括：
多线激光雷达，用于获取车辆周围环境的点云数据，经投影处理后，形成将附近区域划分为可行驶区域和不可行驶区域的俯视图；
差分GPS，用于获取车辆的即时定位信息；
惯性测量单元IMU，用于获取车辆加速度、姿态信息，并通过卡尔曼滤波算法与差分GPS数据融合，减少定位误差，提高定位精准度；
车辆CAN总线，用于双向传递车辆的方向盘转向角信息、车速信息；
端到端自动驾驶控制器，用于对收集信息的分析与处理，并对车辆的方向盘和车速进行控制。
所述多线激光雷达安装于车辆顶部正中间的上方位置，所述差分GPS的接收器的个数为两个，分别安装于车辆顶部的前方和后方位置，所述惯性测量单元IMU安装于车内中央扶手箱的水平位置，所述端到端自动驾驶控制器安装于手套箱内部。
所述端到端神经网络模型：使用tensorflow2.0深度学习平台进行神经网络的前期训练，选用Adam优化算法进行优化，学习率为0.001，批次大小为8，数据集采用8:2划分，即80％作为训练集，20％作为验证集；为了防止出现过拟合现象，采用L2正则化方法，正则化系数λ＝0.005。
综上所述，本发明通过多线激光雷达点云数据投影处理后的俯视图，指出车辆可行驶区域及不可行驶区域，避免车辆发生局部碰撞；通过差分GPS与惯性测量单元IMU信息拼接，准确定位车辆位置，并结合由起点和终点生成的全局导航地图，获取车辆局部导航地图；通过CAN总线，获取车辆方向盘转向角和车速信息；将所有信息输入到端到端神经网络，完成模型的训练；通过已训练的端到端神经网络模型，本发明能根据俯视图、局部导航地图以及过去时刻的转向角与车速信息，预测下一时刻汽车方向盘的期望转向角及期望车速，作为控制信息通过CAN总线控制车辆行驶，即可实现以目标为导向的端到端自动驾驶。

Claims (6)

1.一种基于激光雷达和导航地图的端到端自动驾驶方法，其特征在于：该方法包括下列顺序的步骤：
(1)获取车辆周围道路环境的多线激光雷达俯视图图像、局部导航地图、车辆历史运动信息，构成数据集；
(2)构建包括卷积层、全连接层、展开层以及长短期记忆网络层LSTM的端到端神经网络模型，并以最小化均方根误差RMSE为目标通过数据集进行训练，形成一个从激光雷达俯视图图像、局部导航地图、车辆历史运动信息到下一时刻车辆预期方向盘转向角与车速的映射，完成端到端神经网络模型的训练；
(3)端到端神经网络在经过数据训练后，根据设定目标将所涉及的卷积层、全连接层、展开层以及长短期记忆网络层LSTM固定，用于提取输入数据中的有用特征，然后将其导入端到端自动驾驶控制器中，所述多线激光雷达俯视图图像通过已确定的2个卷积核为5×5的卷积层、2个卷积核为3×3的卷积层以及1个展开层进行图像特征提取，获取可行驶区域特征，输出一个一维度向量，即向量1；
(4)对所述局部导航地图通过已确定的2个卷积核为5×5的卷积层、2个卷积核为3×3的卷积层以及1个展开层进行图像特征提取，获取局部路径规划特征，输出向量2；
(5)对所得到的车辆历史运动信息通过已确定的2个全连接层、1个长短期记忆网络层LSTM进行数据特征提取，获取隐含的时间序列特征，输出向量3；
(6)将向量1、向量2以及向量3通过向量拼接层实现信息拼接，得到含有两个维度的向量，即向量4；
(7)将向量4输入由2个全连接层组成的第一分支进行方向盘转向角预测，得到车辆方向盘的预测转向角；
(8)将向量4输入由2个全连接层组成的第二分支进行车速预测，得到车辆的预测车速信息；
(9)将车辆方向盘的预测转向角和预测车速作为车辆控制信息，通过CAN总线输入到整车控制网络，实现对车辆的控制；
在步骤(2)中，所述映射具体是指：用I表示俯视图图像，M表示局部导航地图，S和V分别表示车辆的转向角与车速，以下标p表示预测值，以下标t表示当前时刻t的真实值，以N表示长短期记忆网络层LSTM所选的帧数；
预测下一时刻车辆驾驶行为的映射f，其定义如下：
Figure FDA0003481774020000021
其中，
Figure FDA0003481774020000022
和
Figure FDA0003481774020000023
分别代表由时刻t-N+1,t-N+2,……,t-1,t的转向角和车速所组成的集合；
RMSE的定义如下：
Figure FDA0003481774020000024
当用于计算车辆车速时，ytp代表时刻t时车辆车速的预测值，yt代表时刻t时车辆车速的真实值；
当用于计算方向盘转向角时，ytp代表时刻t时方向盘转向角的预测值，yt代表时刻t时方向盘转向角的真实值。
2.根据权利要求1所述的基于激光雷达和导航地图的端到端自动驾驶方法，其特征在于：所述步骤(1)中的车辆历史运动信息是指过去及当前时刻的方向盘转向角与车速信息。
3.根据权利要求1所述的基于激光雷达和导航地图的端到端自动驾驶方法，其特征在于：所述步骤(1)中多线激光雷达俯视图图像的获取方法如下：
(3a)通过多线激光雷达获取车辆周围环境的点云数据；
(3b)根据点云数据中的高度信息，识别出障碍物点和地面点，并剔除其中的地面点，将其余点云数据投影到指定图像中，实现地面分割；
(3c)通过区域生成方法，将障碍物点所在区域生成为不可行驶区域，标注为交叉网格，非障碍物区域生成为可行驶区域，标注为白色，此时即可将车辆周围环境划分为可行驶区域和不可行驶区域，并使其以10帧/s的速率送至端到端神经网络，作为端到端自动驾驶的一个输入信息。
4.根据权利要求1所述的基于激光雷达和导航地图的端到端自动驾驶方法，其特征在于：所述步骤(1)中局部导航地图的获取方法如下：
(4a)用户预先给出起点与终点，指定一条驾驶路径，地图中以灰色线条代表其规划路径，在端到端自动驾驶控制器内部形成一个全局导航地图；
(4b)差分GPS与惯性测量单元IMU通过卡尔曼滤波算法进行信息融合，实现车辆的精准定位，获取车辆即时定位信息；
(4c)将车辆即时定位信息与全局导航地图匹配，获取车辆在导航地图中的所在位置，地图中以白色圆点代表所在位置，并以所在位置为中心截取像素大小为50*50的局部导航地图，获取局部路径规划地图，将其送入端到端神经网络，指导车辆沿规划路径行驶。
5.实施权利要求1至4中任一项所述基于激光雷达和导航地图的端到端自动驾驶方法的系统，其特征在于：包括：
多线激光雷达，用于获取车辆周围环境的点云数据，经投影处理后，形成将附近区域划分为可行驶区域和不可行驶区域的俯视图；
差分GPS，用于获取车辆的即时定位信息；
惯性测量单元IMU，用于获取车辆加速度、姿态信息，并通过卡尔曼滤波算法与差分GPS数据融合，减少定位误差，提高定位精准度；
车辆CAN总线，用于双向传递车辆的方向盘转向角信息、车速信息；
端到端自动驾驶控制器，用于对收集信息的分析与处理，并对车辆的方向盘和车速进行控制。
6.根据权利要求5所述的系统，其特征在于：所述多线激光雷达安装于车辆顶部正中间的上方位置，所述差分GPS的接收器的个数为两个，分别安装于车辆顶部的前方和后方位置，所述惯性测量单元IMU安装于车内中央扶手箱的水平位置，所述端到端自动驾驶控制器安装于手套箱内部。
CN202011118233.3A 2020-10-19 2020-10-19 基于激光雷达和导航地图的端到端自动驾驶方法及系统 Active CN112212872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011118233.3A CN112212872B (zh) 2020-10-19 2020-10-19 基于激光雷达和导航地图的端到端自动驾驶方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011118233.3A CN112212872B (zh) 2020-10-19 2020-10-19 基于激光雷达和导航地图的端到端自动驾驶方法及系统

Publications (2)

Publication Number Publication Date
CN112212872A CN112212872A (zh) 2021-01-12
CN112212872B true CN112212872B (zh) 2022-03-11

Family

ID=74055807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011118233.3A Active CN112212872B (zh) 2020-10-19 2020-10-19 基于激光雷达和导航地图的端到端自动驾驶方法及系统

Country Status (1)

Country Link
CN (1) CN112212872B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240133696A1 (en) * 2021-02-08 2024-04-25 Zhejiang Geely Holding Group Co., Ltd Path construction method and apparatus, terminal, and storage medium
CN113110415A (zh) * 2021-03-17 2021-07-13 北京汽车研究总院有限公司 无人驾驶车辆及其控制方法、系统以及云端、存储介质
CN112987754B (zh) * 2021-04-14 2021-09-24 北京三快在线科技有限公司 一种无人设备的控制方法、装置、存储介质及电子设备
CN113537602B (zh) * 2021-07-20 2022-12-02 中国第一汽车股份有限公司 车辆行为预测方法、装置、设备及介质
CN113867334B (zh) * 2021-09-07 2023-05-05 华侨大学 一种移动机械无人驾驶的路径规划方法和系统
CN113665591B (zh) * 2021-09-28 2023-07-11 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN114419572B (zh) * 2022-03-31 2022-06-17 国汽智控(北京)科技有限公司 多雷达目标检测方法、装置、电子设备及存储介质
CN115273027A (zh) * 2022-07-14 2022-11-01 安徽蔚来智驾科技有限公司 环境感知方法、域控制器、存储介质及车辆
CN116412814A (zh) * 2023-06-12 2023-07-11 旷智中科(北京)技术有限公司 一种基于激光雷达的图像构建导航辅助系统
CN116456048B (zh) * 2023-06-19 2023-08-18 中汽信息科技(天津)有限公司 一种基于场景适配的汽车影像记录方法及系统
CN117184105B (zh) * 2023-07-20 2024-03-26 清华大学 一种基于多模态数据融合的转向角速度预测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN110009765A (zh) * 2019-04-15 2019-07-12 合肥工业大学 一种自动驾驶车辆场景数据系统及场景格式转化方法
CN110794844A (zh) * 2019-11-18 2020-02-14 北京百度网讯科技有限公司 自动驾驶方法、装置、电子设备及可读存储介质
CN111061277A (zh) * 2019-12-31 2020-04-24 歌尔股份有限公司 一种无人车全局路径规划方法和装置
CN111553188A (zh) * 2020-03-24 2020-08-18 张印祺 基于深度学习的端到端自动驾驶车辆转向控制系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10018474B2 (en) * 2015-12-21 2018-07-10 Invensense, Inc. Method and system for using offline map information aided enhanced portable navigation
US11726208B2 (en) * 2018-06-15 2023-08-15 Uatc, Llc Autonomous vehicle localization using a Lidar intensity map
CN111208818B (zh) * 2020-01-07 2023-03-07 电子科技大学 基于视觉时空特征的智能车预测控制方法
CN111142091B (zh) * 2020-01-10 2021-12-24 清华大学 一种融合车载信息的自动驾驶系统激光雷达在线标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
CN109556615A (zh) * 2018-10-10 2019-04-02 吉林大学 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
CN110009765A (zh) * 2019-04-15 2019-07-12 合肥工业大学 一种自动驾驶车辆场景数据系统及场景格式转化方法
CN110794844A (zh) * 2019-11-18 2020-02-14 北京百度网讯科技有限公司 自动驾驶方法、装置、电子设备及可读存储介质
CN111061277A (zh) * 2019-12-31 2020-04-24 歌尔股份有限公司 一种无人车全局路径规划方法和装置
CN111553188A (zh) * 2020-03-24 2020-08-18 张印祺 基于深度学习的端到端自动驾驶车辆转向控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rânik Guidolini;Raphael V. Carneiro;Claudine Badue;etc..Removing Movable Objects from Grid Maps of Self-Driving Cars Using Deep Neural Networks.《2019 International Joint Conference on Neural Networks》.2019,全文. *
一种自动驾驶汽车系统架构开发与测试验证;龙 翔，高建博，隗寒冰;《重庆理工大学学报( 自然科学)》;20191231;第33卷(第12期);全文 *

Also Published As

Publication number Publication date
CN112212872A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112212872B (zh) 基于激光雷达和导航地图的端到端自动驾驶方法及系统
US11836623B2 (en) Object detection and property determination for autonomous vehicles
US11548533B2 (en) Perception and motion prediction for autonomous devices
CN110007675B (zh) 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
US11465633B2 (en) Method and system for generating predicted occupancy grid maps
CN108216229B (zh) 交通工具、道路线检测和驾驶控制方法及装置
US11694356B2 (en) Methods and systems for joint pose and shape estimation of objects from sensor data
US20210276587A1 (en) Systems and Methods for Autonomous Vehicle Systems Simulation
CN111874006B (zh) 路线规划处理方法和装置
US20220221866A1 (en) System and method for predictive path planning in autonomous vehicles
US11827214B2 (en) Machine-learning based system for path and/or motion planning and method of training the same
CN116710977B (zh) 用于构建远程机器学习模型的数据的智能车载选择的自主车辆系统
CN113255998B (zh) 基于多智能体强化学习的高速道路无人驾驶车辆编队方法
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN113743469A (zh) 一种融合多源数据及综合多维指标的自动驾驶决策方法
CN115916615A (zh) 对周围因素的行为预测
KR20220094416A (ko) 근미래 객체 위치 예측 시스템
WO2023017625A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
Seiya et al. Point grid map-based mid-to-mid driving without object detection
WO2020198121A1 (en) Perception and motion prediction for autonomous devices
Rosero et al. CNN-Planner: A neural path planner based on sensor fusion in the bird's eye view representation space for mapless autonomous driving
CN114217601B (zh) 自驾车的混合决策方法及其系统
CN116048096B (zh) 一种基于层次化深度感知的无人车运动规划方法
US20240025442A1 (en) Trajectory planning in autonomous driving vehicles for unforeseen scenarios
US20240119857A1 (en) Systems and methods for training a scene simulator using real and simulated agent data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant