CN111563457A - 一种无人驾驶汽车的道路场景分割方法 - Google Patents

一种无人驾驶汽车的道路场景分割方法 Download PDF

Info

Publication number
CN111563457A
CN111563457A CN202010385052.0A CN202010385052A CN111563457A CN 111563457 A CN111563457 A CN 111563457A CN 202010385052 A CN202010385052 A CN 202010385052A CN 111563457 A CN111563457 A CN 111563457A
Authority
CN
China
Prior art keywords
road
algorithm
segmentation
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010385052.0A
Other languages
English (en)
Inventor
吴媛媛
叶铖铖
郑忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Publication of CN111563457A publication Critical patent/CN111563457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人驾驶汽车领域，是指一种无人驾驶汽车的道路场景分割方法，解决了现有技术中实时性差、受外界环境因素影响大的问题。本发明依次进行图像分割和道路提取，本发明将无人驾驶中的激光3D点云数据融入图像分割的过程，利用MASAC算法从三维激光点云数据中快速提取出地面区域，然后，采用meanshift聚类算法对视频图像进行块分割处理，最后拟合出道路边缘，从而分割出整个行车区域。本算法的优点在于既能够很好地保证系统的实时性要求，又能够在受外界环境因素影响较小的情况下精准地提取出完整的道路区域，为后续行车道路上的障碍物检测处理等研究提供了良好的基础。

Description

一种无人驾驶汽车的道路场景分割方法
技术领域
本发明涉及无人驾驶汽车领域，特别是指一种无人驾驶汽车的道路场景分割方法。
背景技术
目前用于行车道路分割的算法大致可分为三类：一是利用道路颜色特征与纹理特征，该类算法实现起来较为简单，但同时受天气、光照等环境因素的影响较大；二是利用视差原理对车道线进行拟合，根据车道线划分，缺点在于对车道线过于依赖，如果车道线不清晰或被遮挡，就无法实现分割的目的；三是利用神经网络训练分割模型，该类算法分割的准确性最好，但实现起来较为复杂，而且分割的结果直接取决于所训练模型的好坏，实时性不高。
亟待出现一种可解决上述问题的新型的道路场景分割算法。
发明内容
本发明提出一种无人驾驶汽车的道路场景分割方法，解决了现有技术中实时性差、受外界环境因素影响大的问题。
本发明的技术方案是这样实现的：一种无人驾驶汽车的道路场景分割方法，包括，依次进行图像分割和道路提取。
进一步地，所述图像分割具体的是a利用MASAC算法从三维激光点云数据中提取出全部的路面区域;b对该区域进行下采样处理;c对该区域进行块分割处理。
进一步地，步骤C具体的是利用道路像素点的颜色与位置信息，采用Mean-shift算法采用均值漂移的迭代步骤进行块分割处理。
优选地，还包括步骤d，对步骤c中的结果图再进行上采样，恢复图像信息。
进一步地，所述道路提取是（1）采样过后的图像进行颜色掩模覆盖和canny滤波提取边缘；（2）对提取出的部分车道线信息和道路边缘信息进行hough拟合以得到完整的边缘；（3）利用道路边缘线和车道线对行车区域进行提取。
本发明公开的一种无人驾驶汽车的道路场景分割方法，将无人驾驶中的激光3D点云数据融入图像分割的过程，首先利用MASAC算法从三维激光点云数据中快速提取出地面区域，然后利用道路区域像素点的颜色与位置信息，采用meanshift聚类算法对视频图像进行块分割处理，最后采用canny算子提取道路的部分车道线信息，并利用二次曲线拟合的方法拟合出道路边缘，从而分割出整个行车区域。本算法的优点在于既能够很好地保证系统的实时性要求，又能够在受外界环境因素影响较小的情况下精准地提取出完整的道路区域，为后续行车道路上的障碍物检测处理等研究提供了良好的基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1：本发明的算法流程图；
图2：本发明的实验效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1本发明的算法流程图所示，本发明公开的一种无人驾驶汽车的道路场景分割方法，包括，依次进行图像分割和道路提取。
进一步地，所述图像分割具体的是a利用MASAC算法从三维激光点云数据中提取出全部的路面区域; MSAC相较于RANSAC算法采用一种更准确的界限损失函数，缓解了RANSAC算法阈值选取过于敏感的问题。b对该区域进行下采样处理; c对该区域进行块分割处理。进一步地，步骤C具体的是利用道路像素点的颜色与位置信息，采用Mean-shift算法采用均值漂移的迭代步骤进行块分割处理。利用 Mean-shift算法采用均值漂移的迭代步骤，不断地将像素点的值漂移到它邻域的均值位置，最终将收敛于点最稠密的区域，应用于图像聚类时，则将点的“概率密度”定义为与漂移中心颜色的差异和位置的远近，颜色越相似，距离越近，则概率密度越大，经过不断迭代计算，最终将所有颜色相似位置相近的像素点标记为同一类，实现区域的块分割处理。
优选地，还包括步骤d，对步骤c中的结果图再进行上采样，恢复图像信息；上采样的参数不能过大，要求尽可能保留区域中的车道线和道路边缘线信息。
进一步地，所述道路提取是（1）采样过后的图像进行颜色掩模覆盖和canny滤波提取；颜色掩模覆盖需要根据车道线的颜色信息来确定一组颜色区间，保留该颜色区间内的图像信息，即保留车道线信息，排除场景中其他信息可能对检测造成的干扰；然后用Canny算子对图像进行边缘检测提取，Canny算子通过计算边缘的梯度幅度和方向来提取图像的边缘信息，得到车道线和道路边缘用于Hough拟合。（2）对提取出的部分车道线信息和道路边缘信息进行hough拟合以得到完整的边缘；Hough拟合是将直角坐标系与参数空间进行对应：直角坐标系下的直线和点分别对应于参数空间中的点和直线，即直角坐标系中的多点共线反映在参数空间中即为多条直线交于同一点，Hough变换通过检测参数空间中各个点的相交次数来提取直线，相交次数越多，它是直线的可能性就越大，提取相交次数最多的几个点，由于上一步的颜色掩模覆盖已经排除了部分可能对检测结果造成干扰的因素，因而此时检测到的直线即为图像中的车道线；（3）利用道路边缘线和车道线对行车区域进行提取；到车道线以后，利用直线上点的坐标求得直线方程并将其延长相交，由此界定完整的道路范围，实现道路区域的完整检测与提取。
本发明公开的一种无人驾驶汽车的道路场景分割方法，将无人驾驶中的激光3D点云数据融入图像分割的过程，首先利用MASAC算法从三维激光点云数据中快速提取出地面区域，然后利用道路区域像素点的颜色与位置信息，采用meanshift聚类算法对视频图像进行块分割处理，最后采用canny算子提取道路的部分车道线信息，并利用二次曲线拟合的方法拟合出道路边缘，从而分割出整个行车区域。本算法的优点在于既能够很好地保证系统的实时性要求，又能够在受外界环境因素影响较小的情况下精准地提取出完整的道路区域，为后续行车道路上的障碍物检测处理等研究提供了良好的基础。
本发明中的算法主要分为图像分割和道路提取两个部分，首先利用MASAC算法从三维激光点云数据中提取出全部的路面区域，对该区域进行下采样处理以便节省后续算法的处理时间，然后利用道路像素点的颜色与位置信息，采用meanshift算法对该区域进行块分割处理，对结果图再进行上采样以尽可能恢复图像信息，其中，颜色相似并且位置相近的像素点会被标记为同一类，因此道路区域与非道路区域得以区分开来，在道路条件较好并且没有阴影、天气等因素影响的情况下，经过聚类后的图像已经能很好地分割出完整的行车道路区域，但考虑到多数情况下的道路条件，依然需要后续的处理。接着对上采样过后的图像进行颜色掩模覆盖和canny滤波提取，主要是为了减少图像中其他部分对车道线和道路边缘检测的干扰，提高准确性。对提取出的部分车道线信息和道路边缘信息进行hough拟合以得到完整的边缘，最后利用道路边缘线和车道线对行车区域进行提取。
如图2本发明的实验效果图所示，本发明在kitty数据集上的结果表明，该算法能够将道路区域与非道路区域做出有效分割，排除了非道路区域对检测可能产生的干扰，最后分割提取出的道路是一块完整的区域，避免了光照条件不一致、路面状况不一致、阴影遮挡、天气变化等因素造成的分割提取不完整的情况，同时，算法尽可能满足了车载系统对实时性的要求，并具有较好地鲁棒性，能够很好地适用于结构化道路中的分割，为后续行车道路上的障碍物检测处理等研究提供了基础。
当然，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员应该可以根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种无人驾驶汽车的道路场景分割方法，其特征在于：依次进行图像分割和道路提取。
2.根据权利要求1所述的一种无人驾驶汽车的道路场景分割方法，其特征在于：所述图像分割具体的是
a利用MASAC算法从三维激光点云数据中提取出全部的路面区域;
b对该区域进行下采样处理;
c对该区域进行块分割处理。
3.根据权利要求2所述的一种无人驾驶汽车的道路场景分割方法，其特征在于：步骤C具体的是利用道路像素点的颜色与位置信息，采用Mean-shift算法采用均值漂移的迭代步骤进行块分割处理。
4.根据权利要求2或3的一种无人驾驶汽车的道路场景分割方法，其特征在于：还包括步骤d，对步骤c中的结果图再进行上采样，恢复图像信息。
5.根据权利要求4述的一种无人驾驶汽车的道路场景分割方法，其特征在于：所述道路提取是
采样过后的图像进行颜色掩模覆盖和canny滤波提取边缘；
对提取出的部分车道线信息和道路边缘信息进行hough拟合以得到完整的边缘；
利用道路边缘线和车道线对行车区域进行提取。
CN202010385052.0A 2019-12-31 2020-05-09 一种无人驾驶汽车的道路场景分割方法 Pending CN111563457A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911404316 2019-12-31
CN2019114043166 2019-12-31

Publications (1)

Publication Number Publication Date
CN111563457A true CN111563457A (zh) 2020-08-21

Family

ID=72071870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010385052.0A Pending CN111563457A (zh) 2019-12-31 2020-05-09 一种无人驾驶汽车的道路场景分割方法

Country Status (1)

Country Link
CN (1) CN111563457A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340334A (zh) * 2021-07-29 2021-09-03 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113420810A (zh) * 2021-06-22 2021-09-21 中国民航大学 一种基于红外和可见光的电缆沟智能巡检系统及巡检方法
CN115314904A (zh) * 2022-06-14 2022-11-08 北京邮电大学 基于多智能体最大熵强化学习的通信覆盖方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100286A1 (en) * 2011-10-21 2013-04-25 Mesa Engineering, Inc. System and method for predicting vehicle location
CN103247045A (zh) * 2013-04-18 2013-08-14 上海交通大学 一种从多视图中得到人造场景主方向及图像边缘的方法
CN104036246A (zh) * 2014-06-10 2014-09-10 电子科技大学 一种基于多特征融合及多态均值的车道线定位方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN106780524A (zh) * 2016-11-11 2017-05-31 厦门大学 一种三维点云道路边界自动提取方法
CN109002800A (zh) * 2018-07-20 2018-12-14 苏州索亚机器人技术有限公司 基于多传感器融合的三维目标实时识别机构及识别方法
CN110060199A (zh) * 2019-03-12 2019-07-26 江苏大学 一种基于彩色和深度信息的植株图像快速拼接方法
CN110426046A (zh) * 2019-08-21 2019-11-08 西京学院 一种无人机自主着陆跑道区域障碍物判断与跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130100286A1 (en) * 2011-10-21 2013-04-25 Mesa Engineering, Inc. System and method for predicting vehicle location
CN103247045A (zh) * 2013-04-18 2013-08-14 上海交通大学 一种从多视图中得到人造场景主方向及图像边缘的方法
CN104036246A (zh) * 2014-06-10 2014-09-10 电子科技大学 一种基于多特征融合及多态均值的车道线定位方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN106780524A (zh) * 2016-11-11 2017-05-31 厦门大学 一种三维点云道路边界自动提取方法
CN109002800A (zh) * 2018-07-20 2018-12-14 苏州索亚机器人技术有限公司 基于多传感器融合的三维目标实时识别机构及识别方法
CN110060199A (zh) * 2019-03-12 2019-07-26 江苏大学 一种基于彩色和深度信息的植株图像快速拼接方法
CN110426046A (zh) * 2019-08-21 2019-11-08 西京学院 一种无人机自主着陆跑道区域障碍物判断与跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID E. HERNANDEZ 等: "Vision-Based Road Boundary Tracking System for Unstructured roads", 《2017 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS》 *
赵海鹏 等: "基于车载激光扫描数据的城区道路自动提取", 《中国科学院大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420810A (zh) * 2021-06-22 2021-09-21 中国民航大学 一种基于红外和可见光的电缆沟智能巡检系统及巡检方法
CN113340334A (zh) * 2021-07-29 2021-09-03 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN115314904A (zh) * 2022-06-14 2022-11-08 北京邮电大学 基于多智能体最大熵强化学习的通信覆盖方法及相关设备
CN115314904B (zh) * 2022-06-14 2024-03-29 北京邮电大学 基于多智能体最大熵强化学习的通信覆盖方法及相关设备

Similar Documents

Publication Publication Date Title
CN107330376B (zh) 一种车道线识别方法及系统
CN108280450B (zh) 一种基于车道线的高速公路路面检测方法
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN110298216B (zh) 基于车道线梯度图像自适应阈值分割的车辆偏离报警方法
CN108038416B (zh) 车道线检测方法及系统
CN109784344A (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN105678285B (zh) 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN111563457A (zh) 一种无人驾驶汽车的道路场景分割方法
Daigavane et al. Road lane detection with improved canny edges using ant colony optimization
WO2018023916A1 (zh) 一种彩色图像去阴影方法和应用
CN107895375B (zh) 基于视觉多特征的复杂道路线提取方法
CN110287884B (zh) 一种辅助驾驶中压线检测方法
CN108921813B (zh) 一种基于机器视觉的无人机检测桥梁结构裂缝识别方法
CN110414385B (zh) 一种基于单应性变换和特征窗口的车道线检测方法及系统
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN108171695A (zh) 一种基于图像处理的高速公路路面检测方法
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN111353446A (zh) 一种车道线检测方法及系统
CN111652033A (zh) 基于OpenCV的车道线检测方法
CN111353371A (zh) 基于星载sar影像的海岸线提取方法
Sun Vision based lane detection for self-driving car
CN112861654A (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200821

WD01 Invention patent application deemed withdrawn after publication