CN108227707B - 基于激光雷达和端到端深度学习方法的自动驾驶方法 - Google Patents
基于激光雷达和端到端深度学习方法的自动驾驶方法 Download PDFInfo
- Publication number
- CN108227707B CN108227707B CN201711419304.1A CN201711419304A CN108227707B CN 108227707 B CN108227707 B CN 108227707B CN 201711419304 A CN201711419304 A CN 201711419304A CN 108227707 B CN108227707 B CN 108227707B
- Authority
- CN
- China
- Prior art keywords
- data
- laser radar
- neural network
- timestamp
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Abstract
本发明公开了一种基于激光雷达和端到端深度学习方法的自动驾驶方法，包括以下步骤：将激光雷达获取的行车环境信息实时转化为深度图；根据位于基准数据时间戳两侧的被匹配数据的时间戳与基准数据时间戳差值的大小确定具体匹配元素，将完成匹配的数据保存为数据‑标注对，作为训练数据；将训练数据输入构建的深度卷积神经网络模型进行训练，通过深度卷积神经网络模型得到驾驶数据。该方法计算快速，通过深度图可以快速得到距离信息，能够准确、高效的获取端到端深度学习神经网络所需要的数据和标签，有效完成端到端的驾驶控制。
Description
技术领域
本发明属于智能交通技术领域的自动驾驶方法，具体地涉及一种基于激光雷达和端到端深度学习方法的自动驾驶方法。
背景技术
现有的机动车自动驾驶技术，借助雷达系统、超声波系统和/或摄像头系统来检测机动车前方、后方和两侧的行车环境并计算出车道、道路类型和/或机动车、行人和/或障碍物等信息以及其它与驾驶相关的数据，例如机动车的车道和转向等数据，并将获取的所述与驾驶相关的数据作为机动车自动驾驶过程中的参考数据。
在自动驾驶领域，通常的方案是对车载摄像头采集的视频数据进行人工拆解，如拆解成车道标记与检测，线路规划，车辆控制等子任务。这种方案需要采集的数据量巨大，工作任务繁重，并且不可能包含行车环境的所有可能性。
中国专利文献CN 105652867公开了一种汽车自动驾驶方法，包括：利用超声波收发器，确定汽车的周围物体的距离信息；通过累积预设时间段内所述周围物体的距离信息，确定所述周围物体的运动速度；根据所述周围物体的距离信息和所述周围物体的运动速度，确定所述汽车当前的最佳驾驶方向和最佳驾驶速度，并控制汽车按照所述最佳驾驶方向和最佳驾驶速度进行行驶。首先其距离信息是通过发送信号与接收信息的时间差计算得到，需要实时计算大量的数据。其次，确定所述汽车当前的最佳驾驶方向和最佳驾驶速度需要人工拆解成繁琐的子任务，需要大量的计算，不能及时准确的得到驾驶数据。
发明内容
为了解决上述存在的技术问题，本发明提供了一种基于激光雷达和端到端深度学习方法的自动驾驶方法，计算快速，通过深度图可以快速得到距离信息，能够准确、高效的获取端到端深度学习神经网络所需要的数据和标签，有效完成端到端的驾驶控制。
本发明的技术方案是：
一种基于激光雷达和端到端深度学习方法的自动驾驶方法，包括以下步骤：
S01：将激光雷达获取的行车环境信息实时转化为深度图；
S02：根据位于基准数据时间戳两侧的被匹配数据的时间戳与基准数据时间戳差值的大小确定具体匹配元素，将完成匹配的数据保存为数据-标注对，作为训练数据；
S03：将训练数据输入构建的深度卷积神经网络模型进行训练，通过深度卷积神经网络模型得到驾驶数据。
优选的，所述步骤S01包括，将行车环境信息的每帧数据的数据点向行车前方左右分别一定夹角内投影，得到具有固定宽度和高度的深度图像；所述深度图像同一行像素的点对应于激光雷达数据中同一个俯仰角的点，同一列像素的点对应于激光雷达数据中同一偏转角的点。
优选的，所述步骤S02之前还包括，将各类型数据的时间戳转化为一定大小的整型时间戳。
优选的，所述深度卷积神经网络模型包括多级卷积神经网络和全连接神经网络。
与现有技术相比，本发明的优点是：
1、本发明中，自动驾驶汽车的环境感知，采取激光雷达传感器，相比现有技术中的摄像头，在绝大多数气象条件下均可使用，强光、雨雪等天气对激光雷达获取数据影响不大；并且激光雷达具有数据量大，无感知盲区等优势。
2、投影算法实施简单，计算快速，能实时得到表达行车环境的标准化和白化的深度图。
3、本发明所设计的基于不同数据时间戳的数据间匹配算法，输入简单，流程快速，能够准确、高效的获取端到端深度学习神经网络所需要的数据和标签。
4、本发明所构建的包含多级卷积神经网络和全连接神经网络的神经网络模型，相比现有技术，具有强大的表达能力，可以计算更多复杂的输入特征；并且不需要人工拆解成繁琐的子任务，实现简单、快速，能够有效完成端到端的驾驶控制。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于激光雷达和端到端深度学习方法的自动驾驶方法的流程图；
图2为本发明激光雷达数据转化为深度图算法流程图；
图3为本发明数据匹配算法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
下面结合附图，对本发明的较佳实施例作进一步说明。
如图1所示，一种基于激光雷达和端到端深度学习方法的自动驾驶方法，包括以下步骤：
S01：将激光雷达获取的行车环境信息实时转化为深度图，包括标准化和白化的深度图；
环境感知的传感器主要由激光雷达完成。激光雷达安装在汽车车顶，在汽车行驶过程中，激光雷达运动部件以固定频率360°旋转，实时获取行车环境信息。
如图2所示，将行车环境信息的每帧数据的数据点向行车前方左右分别一定夹角（例如60°）内投影，得到具有固定宽度和高度的深度图像；所述深度图像同一行像素的点对应于激光雷达数据中同一个俯仰角的点，同一列像素的点对应于激光雷达数据中同一偏转角的点，深度图像每个像素值均为数据点的距离值。
S02：将端到端深度学习训练的数据和标签进行匹配。
如图3所示，根据位于基准数据时间戳两侧的被匹配数据的时间戳与基准数据时间戳差值的大小确定具体匹配元素，将完成匹配的数据保存为数据-标注对，作为训练数据。
当然在此之前，还可以对不同类型数据各自的时间戳进行遍历，将格式化时间戳转化为可以方便判断大小的整型时间戳，这里的基准数据时间戳为激光雷达数据，被匹配数据可以为CAN数据时间戳。
S03：将训练数据输入构建的深度卷积神经网络模型进行训练，通过深度卷积神经网络模型得到驾驶数据。
深度卷积神经网络模型包括多级卷积神经网络和全连接神经网络，输入为激光雷达获取的数据生成的深度图，输出为驾驶数据，驾驶数据可以为车速、方向盘转角等数据，将复杂繁琐的行车环境不同特征物体的识别转换为激光雷达数据到驾驶输出的端到端。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (3)
1.一种基于激光雷达和端到端深度学习方法的自动驾驶方法，其特征在于，包括以下步骤：
S01：将激光雷达获取的行车环境信息实时转化为深度图，具体包括，将行车环境信息的每帧数据的数据点向行车前方左右分别一定夹角内投影，得到具有固定宽度和高度的深度图像；所述深度图像同一行像素的点对应于激光雷达数据中同一个俯仰角的点，同一列像素的点对应于激光雷达数据中同一偏转角的点；
S02：根据位于基准数据时间戳两侧的被匹配数据的时间戳与基准数据时间戳差值的大小确定具体匹配元素，将完成匹配的数据保存为数据-标注对，作为训练数据；
S03：将训练数据输入构建的深度卷积神经网络模型进行训练，通过深度卷积神经网络模型得到驾驶数据，所述驾驶数据包括车速数据和方向盘转角数据。
2.根据权利要求1所述的基于激光雷达和端到端深度学习方法的自动驾驶方法，其特征在于，所述步骤S02之前还包括，将各类型数据的时间戳转化为一定大小的整型时间戳。
3.根据权利要求1所述的基于激光雷达和端到端深度学习方法的自动驾驶方法，其特征在于，所述深度卷积神经网络模型包括多级卷积神经网络和全连接神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711419304.1A CN108227707B (zh) | 2017-12-25 | 2017-12-25 | 基于激光雷达和端到端深度学习方法的自动驾驶方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711419304.1A CN108227707B (zh) | 2017-12-25 | 2017-12-25 | 基于激光雷达和端到端深度学习方法的自动驾驶方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108227707A CN108227707A (zh) | 2018-06-29 |
| CN108227707B true CN108227707B (zh) | 2021-11-26 |
Family
ID=62647887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711419304.1A Active CN108227707B (zh) | 2017-12-25 | 2017-12-25 | 基于激光雷达和端到端深度学习方法的自动驾驶方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108227707B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299656B (zh) * | 2018-08-13 | 2021-10-22 | 浙江零跑科技股份有限公司 | 一种车载视觉系统场景视深确定方法 |
| EP3850539A2 (en) * | 2018-09-13 | 2021-07-21 | NVIDIA Corporation | Deep neural network processing for sensor blindness detection in autonomous machine applications |
| CN109656134A (zh) * | 2018-12-07 | 2019-04-19 | 电子科技大学 | 一种基于时空联合递归神经网络的智能车端到端决策方法 |
| CN109800670A (zh) * | 2018-12-28 | 2019-05-24 | 中国第一汽车股份有限公司 | 一种端到端的无人驾驶决策方法及系统 |
| US11016496B2 (en) | 2019-04-10 | 2021-05-25 | Argo AI, LLC | Transferring synthetic LiDAR system data to real world domain for autonomous vehicle training applications |
| CN112034829A (zh) * | 2019-05-15 | 2020-12-04 | 广州汽车集团股份有限公司 | 一种端到端自动驾驶方法及其系统、车辆 |
| CN111103577A (zh) * | 2020-01-07 | 2020-05-05 | 湖南大学 | 一种基于循环神经网络的端到端激光雷达标定方法 |
| CN111142091B (zh) * | 2020-01-10 | 2021-12-24 | 清华大学 | 一种融合车载信息的自动驾驶系统激光雷达在线标定方法 |
| CN111694019A (zh) * | 2020-05-13 | 2020-09-22 | 华南理工大学 | 一种基于激光雷达和端到端控制算法的智能行驶教育方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875435A (zh) * | 2016-12-14 | 2017-06-20 | 深圳奥比中光科技有限公司 | 获取深度图像的方法及系统 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
| CN106981080A (zh) * | 2017-02-24 | 2017-07-25 | 东华大学 | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 |
| CN107133974A (zh) * | 2017-06-02 | 2017-09-05 | 南京大学 | 高斯背景建模与循环神经网络相结合的车型分类方法 |
| CN107235044A (zh) * | 2017-05-31 | 2017-10-10 | 北京航空航天大学 | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 |
| CN107392092A (zh) * | 2017-06-13 | 2017-11-24 | 中国地质大学（武汉） | 一种基于v2v的智能车辆前方道路环境透视感知方法 |
| CN107491764A (zh) * | 2017-08-25 | 2017-12-19 | 电子科技大学 | 一种基于深度卷积神经网络的违规驾驶检测方法 |
-
2017
- 2017-12-25 CN CN201711419304.1A patent/CN108227707B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875435A (zh) * | 2016-12-14 | 2017-06-20 | 深圳奥比中光科技有限公司 | 获取深度图像的方法及系统 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
| CN106981080A (zh) * | 2017-02-24 | 2017-07-25 | 东华大学 | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 |
| CN107235044A (zh) * | 2017-05-31 | 2017-10-10 | 北京航空航天大学 | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 |
| CN107133974A (zh) * | 2017-06-02 | 2017-09-05 | 南京大学 | 高斯背景建模与循环神经网络相结合的车型分类方法 |
| CN107392092A (zh) * | 2017-06-13 | 2017-11-24 | 中国地质大学（武汉） | 一种基于v2v的智能车辆前方道路环境透视感知方法 |
| CN107491764A (zh) * | 2017-08-25 | 2017-12-19 | 电子科技大学 | 一种基于深度卷积神经网络的违规驾驶检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108227707A (zh) | 2018-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108227707B (zh) | 基于激光雷达和端到端深度学习方法的自动驾驶方法 | |
| US10817731B2 (en) | Image-based pedestrian detection | |
| CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
| CN108196535B (zh) | 基于增强学习和多传感器融合的自动驾驶系统 | |
| US10147002B2 (en) | Method and apparatus for determining a road condition | |
| Hoogendoorn et al. | Microscopic traffic data collection by remote sensing | |
| US20190236414A1 (en) | FPGA Device for Image Classification | |
| US11373532B2 (en) | Pothole detection system | |
| US11727799B2 (en) | Automatically perceiving travel signals | |
| CN113646772A (zh) | 预测用于自主驾驶的三维特征 | |
| EP3647734A1 (en) | Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle | |
| KR20210122802A (ko) | 시계열 요소들로부터 머신 러닝을 위한 그라운드 트루스 생성 | |
| CN105711597A (zh) | 前方局部行驶环境感知系统及方法 | |
| US10650256B2 (en) | Automatically perceiving travel signals | |
| US20210341303A1 (en) | Clustering event information for vehicle navigation | |
| EP3842751B1 (en) | System and method of generating high-definition map based on camera | |
| US20180299893A1 (en) | Automatically perceiving travel signals | |
| CN111461048B (zh) | 基于视觉的停车场可行驶区域检测与局部地图构建方法 | |
| WO2018195150A1 (en) | Automatically perceiving travel signals | |
| CN112654892A (zh) | 用于创建车辆的环境的地图的方法 | |
| US20180300566A1 (en) | Automatically perceiving travel signals | |
| Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
| CN114024997B (zh) | 基于自动驾驶的智能设备和aiot物联网平台方法 | |
| CN115938108A (zh) | 一种基于v2x的智能交通控制系统 | |
| US20230042450A1 (en) | Training a neural network using a data set with labels of multiple granularities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |