CN102201054A - 一种基于鲁棒统计的行道线检测方法 - Google Patents

一种基于鲁棒统计的行道线检测方法 Download PDF

Info

Publication number
CN102201054A
CN102201054A CN 201110002613 CN201110002613A CN102201054A CN 102201054 A CN102201054 A CN 102201054A CN 201110002613 CN201110002613 CN 201110002613 CN 201110002613 A CN201110002613 A CN 201110002613A CN 102201054 A CN102201054 A CN 102201054A
Authority
CN
China
Prior art keywords
image
line
trade
gray
robust
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201110002613
Other languages
English (en)
Inventor
王欢
任明武
唐振明
赵春霞
陆建峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN 201110002613 priority Critical patent/CN102201054A/zh
Publication of CN102201054A publication Critical patent/CN102201054A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于鲁棒统计的行道线检测方法，从原图上提取出包含行道线的道路区域图像，使用局部阈值穷举法分割兴趣区域图像，并筛选出特定长度的RL线段，对RL线段进行累积，在累积图像上利用鲁棒统计方法估计行道线模型参数，最后根据道路几何约束去除虚假道路边。本发明可以准确的检测结构化、半结构化道路上的行道线，对于一些标记退化的道路和干扰较重的道路也有很好的适应性，具有高实时性、高鲁棒性的优点，易于推广到机器人导航、车辆主动安全等应用领域。

Description

一种基于鲁棒统计的行道线检测方法
技术领域
本发明属于车辆自主导航与主动安全领域，特别是一种基于鲁棒统计的行道线检测方法。
背景技术
行道线是高速公路、省级公路、城市道路中最普遍的交通引导标志。在智能车辆导航中，行道线是最主要的视觉感知对象，鲁棒的检测跟踪道路行道线，就能给智能车辆正确的导引，为高层次的知识融合、行为规划提供可靠的依据。如机器人导航系统通过前视摄像机拍摄正前方道路图像，利用图像分析软件从图像中检测行道线，并通过视觉标定将检测的行道线由二维图像坐标系投射到三维空间坐标系中，构建真实道路边界线，再将车辆位置与行道线位置作比较，判断车辆行驶状态是居中、靠左还是靠右，以及结合雷达等传感器判断各车道是否有其它机动车辆，使车辆能智能的直行、避障、超车和跟随等（[1] Young Uk Yim, Se-Young Oh. Three-Feature based automatic lane detection algorithm (TFALDA) for Autonomous Driving.  IEEE Transaction on intelligent  transportation systems. Vol.4,No.4 2003.）。
行道线检测也是车辆主动安全中的一个重要环节，对行道线的准确检测是让车辆在一个安全区域行驶的基础。智能车辆一旦有了自主导航的能力，遇到突发情况，就可以根据情况做出决策，改变自身的相对位置，保证车辆行驶的安全性。基于行道线检测技术的驾驶员辅助驾驶系统或预警系统，可以提高行驶的安全性，减少交通事故的发生（[2] Mohamed Aly. Real time Detection of Lane Markers in Urban Streets. IEEE intelligent vehicles Symoposium, 2008.）。
行道线检测技术还可以和其它技术相结合，提高系统性能。如车辆遥控驾驶、工厂、仓库的巡逻、星球探险、危险区域采样、军事用途等。
发明内容
本发明的目的在于提供一种基于鲁棒统计的行道线检测方法，实现行道线的准确检测，能做到实时处理，具有较强的抗干扰能力。
本发明的技术方案为：一种基于鲁棒统计的行道线检测方法，步骤为：
步骤1：图像预处理，依据指定的参数设置兴趣处理区域；
步骤2：行道线分割，依据灰度、线宽特性从兴趣处理区域中分割行道线；
步骤3：依据鲁棒统计方法，对行道线几何形状进行描述；
步骤4：使用行道线的消失点、行道线与兴趣区域上下底边围成区域的面积大小约束剔除不可靠、置信度低的行道线，提高检测结果的鲁棒性。
本发明与现有技术相比，其显著优点为：（1）直接对单幅图像进行处理；（2）无需根据不同的环境改变算法参数；（3）受光照不均、阴影、路面非行道线标记干扰等影响较小；（4）时间复杂度低，能实时处理；（5）系统配置简单、硬件成本低、易于大规模推广。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明基于鲁棒统计的行道线检测方法的流程图。
图2是本发明的兴趣处理区域设置示意图。
图3是本发明的不同阈值下的二值化图像与找到的特定RL线段示意图：(a) 分割前图像；(b) 阈值                                                
Figure 387153DEST_PATH_IMAGE001
下的分割结果；(c) 行和列方向RL线段选择结果；(d) 阈值
Figure 250723DEST_PATH_IMAGE002
下的分割结果；(e) 行和列方向RL线段选择结果；(f) 阈值下的分割结果；(g) 行和列方向RL线段选择结果。
图4是本发明的在
Figure 568888DEST_PATH_IMAGE004
范围内穷举分割并选择合适的RL线段累积得到的RL累积图。
图5是本发明的在RL累积图寻找行道线示意图：(a) 检测左行道线； (b) 将检测出的左行道线区域置0；(c) 检测右行道线；(d) 将检测出的右行道线区域置0。
图6是本发明的典型行道线检测结果：(a) 路段1；(b) 路段2；(c) 路段3；(d) 路段4；(e) 路段5；(f) 路段6。
具体实施方式
本发明基于鲁棒统计的行道线检测方法，步骤如下：
第一步，图像预处理，依据指定的参数设置兴趣处理区域。
手工指定图像上一个矩形区域，矩形区域上边的图像行坐标Y1根据行道线检测的最远距离要求设定，下边的图像行坐标Y2设为车头最前端在图像上的行坐标，左右边的图像列坐标分别设为X和 Width-X(Width为图像宽度)，图像的左右最外边的X列像素不作处理，该矩形区域即为兴趣区域，X为摄像机采集到图像的无效区宽度。如X为8时，图2给出了兴趣处理区域设置示意图，白色矩形框即为感兴趣区域。
第二步，行道线分割，依据灰度、线宽特性从兴趣处理区域中分割行道线。
(1) 将兴趣处理区域图像灰度化，对于RGB空间中的一点
Figure 559978DEST_PATH_IMAGE005
，计算原点至该点向量在对角线上的投影即可得到该颜色的灰度值
Figure 337441DEST_PATH_IMAGE006
；考虑到视觉效果的不同，可以调整R、G、B各分量在灰度化时对灰度值的贡献，设它们的贡献分别为
Figure 818101DEST_PATH_IMAGE007
，这样就可以得，其中系数
Figure 48225DEST_PATH_IMAGE008
且满足
Figure 905323DEST_PATH_IMAGE009
；对于光照充足的白天道路图像其灰度化系数
Figure 537293DEST_PATH_IMAGE007
的任意选择对后续的检测算法没有实质性的影响，但是对于光照恶劣的天气下，RGB彩色图像的R分量和B分量信噪比很低，因此，本发明取G分量作为灰度化图像，即
Figure 188854DEST_PATH_IMAGE010
。
(2) 统计兴趣处理区域内的灰度直方图，利用灰度直方图形状特性找到两个灰度级T1、T2(T1<T2)，作为分割阈值，即利用灰度直方图计算均值和均方差
Figure 567063DEST_PATH_IMAGE012
，取
Figure 50609DEST_PATH_IMAGE013
，作为最小最大分割阈值，分别用[T1,T2]之间每一个灰度值
Figure 343367DEST_PATH_IMAGE015
作为分割阈值二值化兴趣处理区域图像，即兴趣处理区域图像内灰度值大于
Figure 479950DEST_PATH_IMAGE015
的像素灰度值变为255(白点)，反之变为0(黑点), 在二值化后的黑白图像中，每行、每列分别找特定长度（长度大于10）的连续为白点的线段，称为RL线段。图3表示了部分分割结果。其中(a)表示分割前图像，由灰度直方图获得参数
Figure 883250DEST_PATH_IMAGE016
，
Figure 79876DEST_PATH_IMAGE017
，
Figure 834205DEST_PATH_IMAGE018
；(b)、(d)、(f)分别表示对(a)进行不同阈值分割的结果，(c)、(e)、(g)表示对(b)、(d)、(f)经过行和列方向RL线段选择的结果。
建立与兴趣处理区域图像等宽高的累积图像，初始像素值设为0，对于每个用
Figure 508900DEST_PATH_IMAGE015
阈值分割得到的二值图像中的每个满足要求的RL线段所包含的像素点，使累积图像对应位置的像素点灰度值递增1。图4表示在
Figure 32286DEST_PATH_IMAGE004
范围内穷举分割并选择合适的RL线段累积得到的RL累积图。
本发明的行道线分割方法，在小范围内穷举阈值分割行道线，考虑了线的结构特征，能有效避免光照不均、阴影以及无效标记干扰的影响。
第三步，采用鲁棒统计方法，对行道线几何形状进行描述。
累积图像上灰度值越大的象素点越可能是行道线上的点。利用Hough变换在累积图像上按直线显著性顺次寻找可能的直线，即先寻找显著性最强的直线，将找到的直线包含的像素点从累积图像上去除(灰度值赋0)，再寻找次强的，依次类推。直线显著性是指该直线极坐标方程的参数在Hough变换的参数空间上对应的累积值。
在累积图像上寻找直线，直线方程采用极坐标参照系，极坐标方程表示为
Figure 462130DEST_PATH_IMAGE019
，其中包含
Figure 375859DEST_PATH_IMAGE020
两个未知参数，需要依靠鲁棒统计方法进行预测，鲁棒统计方法主要目的是在含有特定的内点（符合模型参数的样本）和外点（噪声样本）比例下，可靠的利用内点估计出模型参数。常用的鲁棒统计方法有基于参数空间变换的Hough方法，基于残差空间的RANSAC方法等。由于累积图像上灰度值越大的象素点越可能是行道线上的点，因此使用灰度加权Hough变换方法，即将像素的灰度值作为像素权重代入到Hough变换的累加器中。为了避免多个小灰度值的累积得到较大的累加值情况，对于像素值低于一定门限时不参与累积，门限取最大值的五分之一。图5为在RL累积图寻找行道线示意图，其中(a)表示左行道线检测，黄线表示左行道线检测结果；(b)表示将(a)中检测出的左行道线区域的灰度值置0；(c)表示右行道线检测，黄线表示右行道线检测结果；(d)表示将(c)中检测出的右行道线区域的灰度值置0。
第四步，虚假行道线剔除，即使用行道线的消失点、行道线与兴趣区域上下底边围成区域的面积大小约束剔除不可靠、置信度低的行道线，提高检测结果的鲁棒性。
利用行道线的直线方程求出所有行道线的交点，使用行道线的消失点、行道线与兴趣区域上下底边围成区域的面积大小等约束剔除不可靠、置信度低的行道线。如果满足下面约束中的任意一条，则置信度低的行道线将被删除：
（1）所有行道线的交点的行坐标Y低于roiHeight/3; roiHeight为兴趣区域图像高度；
（2）任意两条行道线与兴趣区域上下底边围成的区域面积应低于兴趣区域面积的1/4。
图6中(a)、(b)、(c)、(d)、(e)、(f)分别给出了不同道路的行道线检测结果，其中白色矩形框表示感兴趣区域，所绘直线表示行道线检测结果。

Claims (4)

1.一种基于鲁棒统计的行道线检测方法，其特征在于步骤为：
步骤1：图像预处理，依据指定的参数设置兴趣处理区域；
步骤2：行道线分割，依据灰度、线宽特性从兴趣处理区域中分割行道线；
步骤3：依据鲁棒统计方法，对行道线几何形状进行描述；
步骤4：使用行道线的消失点、行道线与兴趣区域上下底边围成区域的面积大小约束剔除不可靠、置信度低的行道线，提高检测结果的鲁棒性。
2.根据权利要求1所述的基于鲁棒统计的行道线检测方法，其特征在于在步骤1中，即在图像预处理中采用的步骤如下：手工指定图像上一个矩形区域，矩形区域上边的图像行坐标Y1根据行道线检测的最远距离要求设定，下边的图像行坐标Y2设为车头最前端在图像上的行坐标，左右边的图像列坐标分别设为X和 Width-X，图像的左右最外边的X列像素不作处理，该矩形区域即为兴趣区域，X为摄像机采集到图像的无效区宽度。
3.根据权利要求1所述的基于鲁棒统计的行道线检测方法，其特征在于在步骤2中，即在行道线分割中采用的步骤如下：
步骤21：统计兴趣处理区域内的灰度直方图，利用灰度直方图形状特性找到两个灰度级T1、T2(T1<T2)，作为分割阈值；
步骤22：分别用[T1,T2]之间每一个灰度值                                                
Figure 2011100026135100001DEST_PATH_IMAGE001
作为阈值二值化兴趣处理区域图像，即兴趣处理区域图像内灰度值大于的像素灰度值变为255，反之变为0, 在二值化后的二值图像中，每行、每列分别找特定长度的连续为白点的线段；
步骤23：建立与兴趣处理区域图像等宽高的累积图像，初始像素值全设为0，对于每个用
Figure 529393DEST_PATH_IMAGE001
阈值分割得到的二值图像中的每个满足要求的白点线段所包含的像素点，使累积图像相应像素点灰度值递增1。
4.根据权利要求1所述的基于鲁棒统计的行道线检测方法，其特征在于在步骤3中，即在依据鲁棒统计方法，对行道线几何形状进行描述中采用的步骤如下：利用Hough变换在累积图像上按直线显著性顺次寻找可能的直线，即先寻找最强的，将找到的直线包含的像素点从累积图像上去除，再寻找次强的，依次类推。
CN 201110002613 2011-01-07 2011-01-07 一种基于鲁棒统计的行道线检测方法 Pending CN102201054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110002613 CN102201054A (zh) 2011-01-07 2011-01-07 一种基于鲁棒统计的行道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110002613 CN102201054A (zh) 2011-01-07 2011-01-07 一种基于鲁棒统计的行道线检测方法

Publications (1)

Publication Number Publication Date
CN102201054A true CN102201054A (zh) 2011-09-28

Family

ID=44661719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110002613 Pending CN102201054A (zh) 2011-01-07 2011-01-07 一种基于鲁棒统计的行道线检测方法

Country Status (1)

Country Link
CN (1) CN102201054A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102529976A (zh) * 2011-12-15 2012-07-04 东南大学 一种基于滑模观测器的车辆运行状态非线性鲁棒估计方法
CN102592114A (zh) * 2011-12-26 2012-07-18 河南工业大学 复杂路况的车道线特征提取、识别方法
CN102662402A (zh) * 2012-06-05 2012-09-12 北京理工大学 一种用于赛道的摄像头智能循迹车模
CN103116743A (zh) * 2013-02-01 2013-05-22 浙江捷尚视觉科技有限公司 一种基于在线学习的铁路障碍物检测方法
CN103971521A (zh) * 2014-05-19 2014-08-06 清华大学 道路交通异常事件实时检测方法及装置
CN105893949A (zh) * 2016-03-29 2016-08-24 西南交通大学 一种复杂路况场景下的车道线检测方法
CN107516078A (zh) * 2017-08-18 2017-12-26 电子科技大学 一种车道线检测稳固方法
CN108009522A (zh) * 2017-12-21 2018-05-08 海信集团有限公司 一种道路检测方法、装置及终端
CN109785291A (zh) * 2018-12-20 2019-05-21 南京莱斯电子设备有限公司 一种车道线自适应检测方法
CN112171675A (zh) * 2020-09-28 2021-01-05 深圳市丹芽科技有限公司 一种移动机器人的避障方法、装置、机器人及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN101567086A (zh) * 2009-06-03 2009-10-28 北京中星微电子有限公司 一种车道线检测方法及其设备
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102529976B (zh) * 2011-12-15 2014-04-16 东南大学 一种基于滑模观测器的车辆运行状态非线性鲁棒估计方法
CN102529976A (zh) * 2011-12-15 2012-07-04 东南大学 一种基于滑模观测器的车辆运行状态非线性鲁棒估计方法
CN102592114A (zh) * 2011-12-26 2012-07-18 河南工业大学 复杂路况的车道线特征提取、识别方法
CN102662402A (zh) * 2012-06-05 2012-09-12 北京理工大学 一种用于赛道的摄像头智能循迹车模
CN102662402B (zh) * 2012-06-05 2014-04-09 北京理工大学 一种用于赛道的摄像头智能循迹车模
CN103116743B (zh) * 2013-02-01 2016-08-10 浙江捷尚视觉科技股份有限公司 一种基于在线学习的铁路障碍物检测方法
CN103116743A (zh) * 2013-02-01 2013-05-22 浙江捷尚视觉科技有限公司 一种基于在线学习的铁路障碍物检测方法
CN103971521A (zh) * 2014-05-19 2014-08-06 清华大学 道路交通异常事件实时检测方法及装置
CN103971521B (zh) * 2014-05-19 2016-06-29 清华大学 道路交通异常事件实时检测方法及装置
CN105893949A (zh) * 2016-03-29 2016-08-24 西南交通大学 一种复杂路况场景下的车道线检测方法
CN105893949B (zh) * 2016-03-29 2019-07-12 西南交通大学 一种复杂路况场景下的车道线检测方法
CN107516078A (zh) * 2017-08-18 2017-12-26 电子科技大学 一种车道线检测稳固方法
CN108009522A (zh) * 2017-12-21 2018-05-08 海信集团有限公司 一种道路检测方法、装置及终端
CN108009522B (zh) * 2017-12-21 2020-11-03 海信集团有限公司 一种道路检测方法、装置及终端
CN109785291A (zh) * 2018-12-20 2019-05-21 南京莱斯电子设备有限公司 一种车道线自适应检测方法
CN109785291B (zh) * 2018-12-20 2020-10-09 南京莱斯电子设备有限公司 一种车道线自适应检测方法
CN112171675A (zh) * 2020-09-28 2021-01-05 深圳市丹芽科技有限公司 一种移动机器人的避障方法、装置、机器人及存储介质
CN112171675B (zh) * 2020-09-28 2022-06-10 深圳市丹芽科技有限公司 一种移动机器人的避障方法、装置、机器人及存储介质

Similar Documents

Publication Publication Date Title
CN102201054A (zh) 一种基于鲁棒统计的行道线检测方法
US11200433B2 (en) Detection and classification systems and methods for autonomous vehicle navigation
CN106908775B (zh) 一种基于激光反射强度的无人车实时定位方法
Jeong et al. Road-SLAM: Road marking based SLAM with lane-level accuracy
Chen et al. Gaussian-process-based real-time ground segmentation for autonomous land vehicles
US20220027642A1 (en) Full image detection
GB2620695A (en) Systems and methods for vehicle navigation
CN101608924B (zh) 一种基于灰度估计和级联霍夫变换的车道线检测方法
Daigavane et al. Road lane detection with improved canny edges using ant colony optimization
Han et al. Road boundary detection and tracking for structured and unstructured roads using a 2D lidar sensor
CN109945858A (zh) 用于低速泊车驾驶场景的多传感融合定位方法
Peterson et al. Fast feature detection and stochastic parameter estimation of road shape using multiple LIDAR
CN102682292A (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN103714538A (zh) 道路边缘检测方法、装置及车辆
Hervieu et al. Road side detection and reconstruction using LIDAR sensor
US20230206608A1 (en) Systems and methods for analyzing and resolving image blockages
WO2021262976A1 (en) Systems and methods for detecting an open door
Fries et al. Autonomous convoy driving by night: The vehicle tracking system
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
Wang et al. Road edge detection in all weather and illumination via driving video mining
Li et al. Real-time 3D-Lidar, MMW Radar and GPS/IMU fusion based vehicle detection and tracking in unstructured environment
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
CN112666573A (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
Gupta et al. Concurrent visual multiple lane detection for autonomous vehicles
CN110865394A (zh) 一种基于激光雷达数据的目标分类系统及其数据处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Wang Huan

Inventor after: Ren Mingwu

Inventor after: Tang Zhenmin

Inventor after: Zhao Chunxia

Inventor after: Lu Jianfeng

Inventor before: Wang Huan

Inventor before: Ren Mingwu

Inventor before: Tang Zhenming

Inventor before: Zhao Chunxia

Inventor before: Lu Jianfeng

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: WANG HUAN REN MINGWU TANG ZHENMING ZHAO CHUNXIA LU JIANFENG TO: WANG HUAN REN MINGWU TANG ZHENMIN ZHAO CHUNXIA LU JIANFENG

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110928