CN109003286A - 基于深度学习和激光雷达的道路分割方法 - Google Patents

基于深度学习和激光雷达的道路分割方法 Download PDF

Info

Publication number
CN109003286A
CN109003286A CN201810836073.2A CN201810836073A CN109003286A CN 109003286 A CN109003286 A CN 109003286A CN 201810836073 A CN201810836073 A CN 201810836073A CN 109003286 A CN109003286 A CN 109003286A
Authority
CN
China
Prior art keywords
segmentation
laser radar
deep learning
lane
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810836073.2A
Other languages
English (en)
Inventor
张翠翠
孙辉
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Automotive Research Institute of Tsinghua University filed Critical Suzhou Automotive Research Institute of Tsinghua University
Priority to CN201810836073.2A priority Critical patent/CN109003286A/zh
Publication of CN109003286A publication Critical patent/CN109003286A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于深度学习和激光雷达的道路分割方法，包括：对端到端的神经网络进行模型训练；利用训练完成的模型对输入端的图像数据进行处理得到道路分割结果；将激光雷达三维空间标定和图像采集模块采集的图像数据进行像素级匹配，将分割结果目标之间的边界部分采用激光雷达的点云图进行矫正。利用深度学习的像素级定义精度识别的深度学习网络，通过消失点回归定位，道路边界检测，目标分割来实现车道线的准确分割，并且分割出的路面目标包含车道线，行车指示标志内容，可实现精确道路分割的效果。

Description

基于深度学习和激光雷达的道路分割方法
技术领域
本发明属于人工智能和自动驾驶技术领域，具体地涉及一种基于深度学习和激光雷达的道路分割方法。
背景技术
无人驾驶和高级辅助驾驶的关键技术，社会价值很高，无人驾驶汽车可以改变目前大城市的交通拥堵和污染问题，同时节约道路资源、停车资源、物流资源。高级辅助驾驶技术可以大幅度减少人为造成的车祸事故。
道路分割是无人驾驶和高级辅助驾驶的必备技术。目前大部分的道路检测方法是基于计算机视觉的。在这些方法中，将道路区域像素点与其它区域像素点分开的过程称之为道路分割。道路分割是一个富有挑战性的问题：一方面，由于路面材质、天气条件、光照变化等因素的影响，路面具有各种各样的外观；另一方面，随着车辆的运动，路面和背景是在动态变化的，并且路面上一般存在着车辆和行人等干扰因素。上述因素容易对道路分割的准确性造成影响，为道路分割带来了极大困难，这将大大限制高级辅助驾驶和无人驾驶技术的适用范围。
发明内容
为了解决上述存在的技术问题，本发明提供了一种基于深度学习和激光雷达的道路分割方法，利用深度学习的像素级定义精度识别的深度学习网络，通过消失点回归定位，道路边界检测，目标分割来实现车道线的准确分割，并且分割出的路面目标包含车道线，行车指示标志内容，可实现精确道路分割的效果。
本发明的技术方案是：
一种基于深度学习和激光雷达的道路分割方法，包括以下步骤：
S01：对端到端的神经网络进行模型训练；
S02：利用训练完成的模型对输入端的图像数据进行处理得到道路分割结果；
S03：将激光雷达三维空间标定和图像采集模块采集的图像数据进行像素级匹配，将分割结果目标之间的边界部分采用激光雷达的点云图进行矫正。
优选的技术方案中，所述步骤S01的模型训练包括以下步骤：
1）采集多种条件下的道路图像数据并进行外轮廓标注；
2）共享卷积层、网络后端加入消失点回归层，进行消失点反馈学习；
3）采用线性卷积层进行道路边沿特征的学习；
4）对路面和路面标识进行分割。
优选的技术方案中，利用定位出的消失点对路面分割进行矫正。
优选的技术方案中，还包括，测试分割结果，对分割结果特征图谱进行归一化调整，调整为可辨的分割图，分割图中包含目标的轮廓、目标的类别和目标的位置。
与现有技术相比，本发明的优点是：
利用深度学习的像素级定义精度识别的深度学习网络，通过消失点回归定位，道路边界检测，目标分割来实现车道线的准确分割，并且分割出的路面目标包含车道线，行车指示标志内容，可实现精确道路分割的效果。
在条件恶略的环境下，通过开启激光雷达对景深和障碍物的精确反馈实现适应各种环境的道路分割方法，可以应用于任何高级辅助驾驶和无人驾驶环境，进行可行驶区域的判断和规划。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于深度学习和激光雷达的道路分割方法的流程图；
图2为训练网络示意图；
图3为测试网络示意图；
图4为线性卷积层卷积示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
下面结合附图，对本发明的较佳实施例作进一步说明。
如图1所示，一种基于深度学习和激光雷达的道路分割方法，主要由一种端到端的神经网络设计和以及深度学习分割识别结果与传感器的融合组成。本方法首先通过端到端的神经网络进行模型训练，然后利用训练好的模型对输入端的图片进行处理得到道路分割的结果。在环境恶劣的情况下，分割结果融合激光雷达的3D点云数据，激光雷达的点云数据具有不同目标之间边界清晰的特性，利用这一特性对分割结果进行纠正。
本发明具体包括以下步骤：
S01：对端到端的神经网络进行模型训练；
S02：利用训练完成的模型对输入端的图像数据进行处理得到道路分割结果；
S03：将激光雷达三维空间标定和图像采集模块采集的图像数据进行像素级匹配，将分割结果目标之间的边界部分采用激光雷达的点云图进行矫正。
步骤S02得到道路分割结果一般不同目标之间边界会互相有侵染，达不到一个特别准确的分割结果，而激光雷达得到的点云图在同一目标深度变化过于明显的时候容易出现对象的割裂，本发明通过将激光雷达三维空间标定，和相机采集数据进行像素级匹配，然后在分割结果目标之间的边界部分采用激光雷达的点云图进行矫正，互相弥补了双方的短板。
端到端的神经网络分为训练网络和测试网络两部分。各部分如下：
1.训练部分如图2所示：
1）数据采集和标注，采集各种条件下的道路图片然后对图片进行外轮廓标注；
2)消失点定位：共享卷积层，网络后端加入消失点回归层，采用Euclidean Loss进行消失点反馈学习；
3）道路边沿检测：除前部分共享卷积层，由于道路边沿是细长延伸状，增加一种基于线性学习的卷积方法，进行道路边沿特征的学习，采用Cross entropy loss损失函数进行道路边沿线的学习；
4）路面分割：包括车道线、行车指示标注，和路面的分割，区域分割的同时对着三中类型进行分类，共享卷积部分，然后增加decode部分得到分割结果，采用SoftmaxWithLoss损失函数进行学习。
2.测试部分如图3所示：
1) 摄像头实时传入的图片，或者是任意一张图片，resize到模型指定的尺寸，该方法使用的尺寸是1280*720；
2）测试网络端到端的计算输出分割结果；
3）分割结果特征图谱进行0到255的归一化调整，调整为到人眼可辨的分割图，分割图中包含目标的轮廓，目标的类别，目标的位置等信息。
优选的，利用定位出的消失点对路面分割进行矫正，防止路面侵染到天空等的情况。
道路边沿检测采用一种线性卷积层，这种卷积层对于目标不够清晰，但具有线性特征的结构有较好的效果，这种卷积不同于传统卷积为n*n*c的结构，而是采用线行结构n*1*c，同时对特征层卷积策略由面向w*h为平面做卷积变为w*c平面向着h方向做连续卷积，具体见图4。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种基于深度学习和激光雷达的道路分割方法，其特征在于，包括以下步骤：
S01：对端到端的神经网络进行模型训练；
S02：利用训练完成的模型对输入端的图像数据进行处理得到道路分割结果；
S03：将激光雷达三维空间标定和图像采集模块采集的图像数据进行像素级匹配，将分割结果目标之间的边界部分采用激光雷达的点云图进行矫正。
2.根据权利要求1所述的基于深度学习和激光雷达的道路分割方法，其特征在于，所述步骤S01的模型训练包括以下步骤：
1）采集多种条件下的道路图像数据并进行外轮廓标注；
2）共享卷积层、网络后端加入消失点回归层，进行消失点反馈学习；
3）采用线性卷积层进行道路边沿特征的学习；
4）对路面和路面标识进行分割。
3.根据权利要求2所述的基于深度学习和激光雷达的道路分割方法，其特征在于，利用定位出的消失点对路面分割进行矫正。
4.根据权利要求2所述的基于深度学习和激光雷达的道路分割方法，其特征在于，还包括，测试分割结果，对分割结果特征图谱进行归一化调整，调整为可辨的分割图，分割图中包含目标的轮廓、目标的类别和目标的位置。
CN201810836073.2A 2018-07-26 2018-07-26 基于深度学习和激光雷达的道路分割方法 Pending CN109003286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810836073.2A CN109003286A (zh) 2018-07-26 2018-07-26 基于深度学习和激光雷达的道路分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810836073.2A CN109003286A (zh) 2018-07-26 2018-07-26 基于深度学习和激光雷达的道路分割方法

Publications (1)

Publication Number Publication Date
CN109003286A true CN109003286A (zh) 2018-12-14

Family

ID=64596424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810836073.2A Pending CN109003286A (zh) 2018-07-26 2018-07-26 基于深度学习和激光雷达的道路分割方法

Country Status (1)

Country Link
CN (1) CN109003286A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备
CN111145203A (zh) * 2019-12-16 2020-05-12 苏州智加科技有限公司 车道线提取方法及装置
CN111323026A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于高精度点云地图的地面过滤方法
CN111369566A (zh) * 2018-12-25 2020-07-03 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
CN112561836A (zh) * 2019-09-25 2021-03-26 北京地平线机器人技术研发有限公司 一种获取目标物的点云集合的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN107886477A (zh) * 2017-09-20 2018-04-06 武汉环宇智行科技有限公司 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院（吴江） 基于深度学习和单目视觉的距离空间重建方法
CN108256455A (zh) * 2018-01-08 2018-07-06 哈尔滨工业大学 一种基于消失点的道路图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN107886477A (zh) * 2017-09-20 2018-04-06 武汉环宇智行科技有限公司 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN108108750A (zh) * 2017-12-12 2018-06-01 清华大学苏州汽车研究院（吴江） 基于深度学习和单目视觉的距离空间重建方法
CN108256455A (zh) * 2018-01-08 2018-07-06 哈尔滨工业大学 一种基于消失点的道路图像分割方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323026A (zh) * 2018-12-17 2020-06-23 兰州大学 一种基于高精度点云地图的地面过滤方法
CN111323026B (zh) * 2018-12-17 2023-07-07 兰州大学 一种基于高精度点云地图的地面过滤方法
CN111369566A (zh) * 2018-12-25 2020-07-03 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
CN111369566B (zh) * 2018-12-25 2023-12-05 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
CN109766878A (zh) * 2019-04-11 2019-05-17 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备
CN112561836A (zh) * 2019-09-25 2021-03-26 北京地平线机器人技术研发有限公司 一种获取目标物的点云集合的方法及装置
CN112561836B (zh) * 2019-09-25 2024-04-16 北京地平线机器人技术研发有限公司 一种获取目标物的点云集合的方法及装置
CN111145203A (zh) * 2019-12-16 2020-05-12 苏州智加科技有限公司 车道线提取方法及装置

Similar Documents

Publication Publication Date Title
CN109003286A (zh) 基于深度学习和激光雷达的道路分割方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN111666805B (zh) 用于自动驾驶的类别标记系统
Cheng et al. Lane detection with moving vehicles in the traffic scenes
CN104899554A (zh) 一种基于单目视觉的车辆测距方法
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
US8294794B2 (en) Shadow removal in an image captured by a vehicle-based camera for clear path detection
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN101334836B (zh) 一种融合色彩、尺寸和纹理特征的车牌定位方法
CN105005778A (zh) 一种基于视觉背景提取的高速公路车辆检测方法
EP1403615B1 (en) Apparatus and method for processing stereoscopic images
CN107667378A (zh) 用于识别和评估路面反射的方法和装置
US20180114089A1 (en) Attachable matter detection apparatus and attachable matter detection method
CN105989334A (zh) 基于单目视觉的道路检测方法
KR101134857B1 (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
US20240078815A1 (en) Device and method for recognizing obstacles for a vehicle
KR102204051B1 (ko) 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템
US10417518B2 (en) Vehicle camera system
Zarbakht et al. Lane detection under adverse conditions based on dual color space
Ho et al. Localization on freeways using the horizon line signature
Tahir et al. Object Detection in Autonomous Vehicles under Adverse Weather: A Review of Traditional and Deep Learning Approaches
Shi et al. A novel path segmentation method for autonomous road following
CN111611942B (zh) 一种透视自适应车道骨架提取建库的方法
Dong-Si et al. Robust extraction of shady roads for vision-based ugv navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214

RJ01 Rejection of invention patent application after publication