CN101469991B - 全天时结构化道路多行道线检测方法 - Google Patents
全天时结构化道路多行道线检测方法 Download PDFInfo
- Publication number
- CN101469991B CN101469991B CN2007101923841A CN200710192384A CN101469991B CN 101469991 B CN101469991 B CN 101469991B CN 2007101923841 A CN2007101923841 A CN 2007101923841A CN 200710192384 A CN200710192384 A CN 200710192384A CN 101469991 B CN101469991 B CN 101469991B
- Authority
- CN
- China
- Prior art keywords
- line
- point
- trade
- end point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本发明公开了一种全天时结构化道路多行道线检测方法。将摄像头安装在驾驶员的前上方、车内后视镜附近，摄像头方向前视并与水平轴保持一定的角度；从摄像头中获取前方路面的彩色图像；对彩色图像进行预处理；行道线检测；根据检测出来的行道线，对车辆进行自主导航或者对车辆是否偏离正常行使轨迹进行报警。本发明首先对图像进行灰度化，然后通过启发式的方法提取图像中的明显边缘特征，这使得白天图像和夜间都具有比较好的二值输出。本发明在实时性上能够满足高速公路车辆导航的需要，在鲁棒性上也可以同时完成白天光照环境下和夜间光照环境下的检测任务，对于一些标记退化的道路和干扰较重的道路也有很好的适应性。
Description
技术领域
本发明属于汽车主动安全驾驶领域，特别是一种全天时结构化道路多行道线检测方法。
背景技术
由于汽车数量的急剧增长，汽车安全驾驶成为了世界性的问题，把公路和车辆作为系统来综合考虑并运用各种技术解决汽车安全驾驶问题的智能交通系统ITS就应运而生了。装备了辅助驾驶系统的车辆被称为智能车辆，是一个集环境感知、规划决策、自动驾驶等多种功能于一体的综合系统，是ITS的重要组成部分。智能车辆要实现在城市繁忙道路上完全无人驾驶，行道线检测技术是道路环境理解的基础，也是智能车辆实现的关键。首先，基于行道线检测技术的驾驶员辅助驾驶系统或预警系统，可以提高行驶的安全性，减少交通事故的发生。其次，视觉导航中的行道线检测技术可以用来提高智能巡航控制中跟踪引导车辆的精度，使车辆的队列自动驾驶系统更加可靠。再者，可以将行道线检测技术和其它技术相结合，提高系统性能。
目前行道线检测在视觉导航中面临着两个难点：一个是图像处理的数据量较大，如：一幅512×512的灰度图像的数据量是256K，同样分辨率的彩色图像的数据量则为768K。巨大的数据量不但要占用大量的存储空间，而且也要花费大量的处理时间(这会影响系统的实时性)；另一个是车辆所行驶道路环境的多变性与复杂性。图像的背景、亮度、目标和背景的色差都在发生变化，在对实时图像进行处理的时候，如果过于精细的话，行道线检测的准确性会很高但对检测的实时性会带来影响；过于粗略的处理能够提高实时性却牺牲了准确性。因此，实时性和准确性是行道线检测中相互矛盾相互制约的问题，也是视觉导航发展过程中必须解决的一个首要问题。而且，现有的行道线检测方法研究，大多侧重在单行车道的检测上，而且对于光线的条件有着很大的限制，如要求在白天阳光充足的环境下才能工作。但是，很多情况下上述约束条件并不满足，这就对行道线检测方法的应用造成了极大的限制。
发明内容
本发明的目的在于提供一种能够满足高速公路车辆导航的需要、帮助智能车辆实现自主导航，并保证车辆行驶的安全性，可以用于白天光照环境和夜间光照环境下的检测任务，对于一些标记退化的道路和干扰较重的道路也有很好的适应性的全天时结构化道路多行道线检测方法。
实现本发明目的的技术解决方案为：
(1)将摄像头安装在驾驶员的前上方、车内后视镜附近，摄像头方向前视并与水平轴保持一定的角度；
(2)从摄像头中获取前方路面的彩色图像；
(3)对彩色图像进行预处理；
(4)行道线检测及其步骤：
第一步，Hough空间构造，直线可以用极坐标方程来表示，即ρ＝xcosθ+ysinθ，这样原图像空间中的点对应ρθ空间中的一条正弦曲线，要检测图像空间中的直线需要在参数空间ρθ中检测正弦曲线的交点；
第二步，消失点检测，假设CCD安装位置距地面高度为H，焦距为f，光轴与行驶方向在垂直方向的夹角为 在水平方向的夹角为θ，CCD靶面以光轴为中心旋转过的角度为φ，图像平面上的理论消失点为 
第三步，消失点约束下的Hough空间构造，作为主要边缘的行道线，标记线以及路外的边缘在参数空间中具有较大的强度，可利用Hough变换检测具有较大强度的直线，并以此检测消失点；
第四步，备选直线检测及其步骤：
(1)行道线透视投影后在图像平面通过消失点VP(x0，y0)，且任意一条行道线L与其直径ρ垂直于点m；
(2)行道线通过原点O和消失点VP(x0，y0)，且交点分别为消失点VP(x0，y0)和垂 足点m；
(3)现在假设行道线L在Hough空间中的参数点为(ρL，θL)，则消失点VP(x0，y0)为方程组
第五步，动态聚类；
第六步，行道线拟合；
(5)根据检测出来的行道线，对车辆进行自主导航或者对车辆是否偏离正常行使轨迹进行报警。
本发明的原理是利用Hough变换和消失点检测技术来检测行道线，并采用合适的道路约束假设有效提高行道线检测算法的鲁棒性和实时性。本发明采用的道路约束假设如下：
1.道路形状假设：道路形状假设，基本可分为回旋曲线、抛物线、直线和其它特殊的形状。由道路形状的假设前提，可以避免道路几何复杂重构的问题，简化车体控制，提高系统对阴影和遮挡的鲁棒性。
2.道路宽度和道路平坦假设：在行道线检测过程中可认为道路的两个边缘是平行的，并且可认为道路宽度固定或者变化比较缓慢。视觉检测系统获得图像的特征(行道线、障碍物)后，为了精确地控制车辆，需要将坐标从图像平面坐标系转换到车辆行驶的世界坐标系，假设车辆前方的道路是平坦的，就可以利用已知的摄像机标定信息进行逆透视变换，一般这两个假设条件是同时出现的。
3.道路特征一致假设：通常，图像中路面区域具有一致的特征，如灰度特征、颜色特征、纹理特征等，而非道路区域没有这样的特征，因此可以采用分割的方法对道路区域进行检测。假设路面的一直性特征能够增强系统检测复杂道路的能力。
4.感兴趣区域假设：道路跟踪实时处理的运算量非常大，但根据物理约束和连续性约束，可以通过相邻帧之间的时间相关性加以简化，也可以通过道路区域的先验知识 加以简化，只需要在感兴趣的区域进行分析和寻找期望特征，而不需要对整幅图像进行分析。
附图说明
图1是本发明的全天时结构化道路多行道线检测方法的流程图。
图2是本发明全天时结构化道路多行道线检测方法的行道线检测流程图。
图3是本发明的全天时结构化道路多行道线检测方法的光轴与行驶方向的夹角侧面图。
图4是本发明全天时结构化道路多行道线检测方法的光轴与行驶方向的夹角俯视图。
图5是本发明全天时结构化道路多行道线检测方法的消失点几何约束的示意图。
具体实施方式
结合图1至图5，本发明全天时结构化道路多行道线检测方法，主要包括图像灰度化、道路边缘检测、图像二值化、消失点检测、行道线拟合等步骤。首先是对图像进行灰度化，然后通过启发式的方法提取图像中的明显边缘特征，这使得白天图像和夜间都具有比较好的二值输出，同一个算法能够适合全天时的行道线检测。之后的算法是建立在二值图像基础上的，先检测图像中的消失点，然后在消失点的辅助下通过聚类的方法拟合道路图像中的行道线。具体步骤如下：
1、将摄像头安装在驾驶员的前上方、车内后视镜附近，摄像头方向前视并与水平轴保持一定的角度。
2、从摄像头中获取前方路面的彩色图像。
3、对彩色图像进行预处理，即第一步，绿色分量的灰度化；第二步，边缘检测；第三步，二值分割。
4、行道线检测，如图2所示，即第一步，Hough空间构造，直线可以用极坐标方程来表示，即ρ＝xcosθ+ysinθ，这样原图像空间中的点对应ρθ空间中的一条正弦曲线，要检测图像空间中的直线需要在参数空间ρθ中检测正弦曲线的交点；
第二步，消失点检测，假设CCD安装位置距地面高度为H，焦距为f，光轴与行驶方向在垂直方向的夹角为 ，在水平方向的夹角为θ，CCD靶面以光轴为中心旋转过的角度为φ，如图3和图4所示，图像平面上的理论消失点为
第三步，消失点约束下的Hough空间构造，作为主要边缘的行道线，标记线以及路外的边缘在参数空间中具有较大的强度，可利用Hough变换检测具有较大强度的直线，并以此检测消失点；
第四步，备选直线检测，即一，行道线透视投影后在图像平面通过消失点VP(x0，y0)，且任意一条行道线L与其直径ρ垂直于点m，如图5所示；二，行道线通过原点O和消失点VP(x0，y0)，且交点分别为消失点VP(x0，y0)和垂足点m；三，现在假设行道线L在Hough空间中的参数点为(ρL，θL)，则消失点VP(x0，y0)为方程组 
的一个解；
第五步，动态聚类；
第六步，行道线拟合。
5、根据检测出来的行道线，对车辆进行自主导航或者对车辆是否偏离正常行使轨迹进行报警。
Claims (2)
1.一种全天时结构化道路多行道线检测方法，步骤如下：
(1)将摄像头安装在驾驶员的前上方、车内后视镜附近，摄像头方向前视并与水平轴保持一定的角度；
(2)从摄像头中获取前方路面的彩色图像；
(3)对彩色图像进行预处理；
(4)行道线检测及其步骤：
第一步，Hough空间构造，直线可以用极坐标方程来表示，即ρ＝xcosθ+ysinθ，这样原图像空间中的点对应ρθ空间中的一条正弦曲线，要检测图像空间中的直线需要在参数空间ρθ中检测正弦曲线的交点；
第二步，消失点检测，假设CCD安装位置距地面高度为H，焦距为f，光轴与行驶方向在垂直方向的夹角为 
在水平方向的夹角为θ，CCD靶面以光轴为中心旋转过的角度为φ，图像平面上的理论消失点为 
第三步，消失点约束下的Hough空间构造，作为主要边缘的行道线，标记线以及路外的边缘在参数空间中具有较大的强度，可利用Hough变换检测具有较大强度的直线，并以此检测消失点；
第四步，备选直线检测及其步骤：
(1)行道线透视投影后在图像平面通过消失点VP(x0，y0)，且任意一条行道线L与其直径ρ垂直于点m；
(2)行道线通过原点O和消失点VP(x0，y0)，且交点分别为消失点VP(x0，y0)和垂足点m；
(3)现在假设行道线L在Hough空间中的参数点为(ρL，θL)，则消失点VP(x0，y0)为方程组 
的一个解；
第五步，动态聚类；
第六步，行道线拟合；
(5)根据检测出来的行道线，对车辆进行自主导航或者对车辆是否偏离正常行使轨迹进行报警。
2.根据权利要求1所述的全天时结构化道路多行道线检测方法，其特征在于彩色图像预处理的步骤为：
第一步，绿色分量的灰度化；
第二步，边缘检测；
第三步，二值分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101923841A CN101469991B (zh) | 2007-12-26 | 2007-12-26 | 全天时结构化道路多行道线检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2007101923841A CN101469991B (zh) | 2007-12-26 | 2007-12-26 | 全天时结构化道路多行道线检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101469991A CN101469991A (zh) | 2009-07-01 |
| CN101469991B true CN101469991B (zh) | 2011-08-10 |
Family
ID=40827688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007101923841A Expired - Fee Related CN101469991B (zh) | 2007-12-26 | 2007-12-26 | 全天时结构化道路多行道线检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101469991B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102032911B (zh) * | 2009-09-29 | 2014-05-28 | 宏达国际电子股份有限公司 | 车辆导航方法及系统 |
| CN102103747B (zh) * | 2009-12-16 | 2012-09-05 | 中国科学院电子学研究所 | 采用参照物高度的监控摄像机外部参数标定方法 |
| CN101941399B (zh) * | 2010-09-17 | 2012-05-30 | 长安大学 | 一种车辆车道变换辅助装置及其辅助判断方法 |
| CN102288121B (zh) * | 2011-05-12 | 2012-11-07 | 电子科技大学 | 一种基于单目视觉的车道偏离距离测量及预警方法 |
| CN103514427B (zh) * | 2012-06-15 | 2016-12-21 | 株式会社理光 | 车辆检测方法和系统 |
| CN103714343B (zh) * | 2013-12-31 | 2016-08-17 | 南京理工大学 | 线激光器照明条件下双线阵相机采集的路面图像拼接及匀化方法 |
| CN104483966B (zh) * | 2014-11-17 | 2018-04-06 | 范良志 | 一种用于潜伏式agv的双目视觉导航控制方法 |
| CN105740805B (zh) * | 2016-01-27 | 2019-06-07 | 大连楼兰科技股份有限公司 | 一种基于多区域联合车道线检测方法 |
| CN105759820A (zh) * | 2016-04-08 | 2016-07-13 | 济宁中科先进技术研究院有限公司 | 基于激光和视觉的道路自主清扫控制系统及控制方法 |
| US20170300763A1 (en) * | 2016-04-19 | 2017-10-19 | GM Global Technology Operations LLC | Road feature detection using a vehicle camera system |
| IT201600094414A1 (it) * | 2016-09-20 | 2018-03-20 | St Microelectronics Srl | Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo |
| CN107169438A (zh) * | 2017-05-11 | 2017-09-15 | 南宁市正祥科技有限公司 | 一种道路图像检测方法 |
| CN108230254B (zh) * | 2017-08-31 | 2021-07-27 | 北京同方软件有限公司 | 一种自适应场景切换的高速交通全车道线自动检测方法 |
| US10860018B2 (en) * | 2017-11-30 | 2020-12-08 | Tusimple, Inc. | System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners |
| CN109059947A (zh) * | 2018-07-04 | 2018-12-21 | 深圳明创自控技术有限公司 | 一种高性能的车载导航系统 |
| CN110555409A (zh) * | 2019-09-03 | 2019-12-10 | 成都市勘察测绘研究院 | 一种城市道路网中多行道的识别与合并方法 |
| CN113332110B (zh) * | 2021-06-02 | 2023-06-27 | 西京学院 | 一种基于景物听觉感知的导盲手电及导盲方法 |
| CN113442856B (zh) * | 2021-08-31 | 2021-12-10 | 国汽智控(北京)科技有限公司 | 基于自适应平台和ros2的控制方法、装置及存储介质 |
| CN114863385B (zh) * | 2022-03-23 | 2023-04-07 | 禾多科技（北京）有限公司 | 道路曲面信息生成方法、装置、设备和计算机可读介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1873656A (zh) * | 2005-06-03 | 2006-12-06 | 中国科学院自动化研究所 | 机器人视觉导航中的自然目标检测方法 |
| CN101067557A (zh) * | 2007-07-03 | 2007-11-07 | 北京控制工程研究所 | 适用于自主移动车辆的环境感知的单目视觉导航方法 |
-
2007
- 2007-12-26 CN CN2007101923841A patent/CN101469991B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1873656A (zh) * | 2005-06-03 | 2006-12-06 | 中国科学院自动化研究所 | 机器人视觉导航中的自然目标检测方法 |
| CN101067557A (zh) * | 2007-07-03 | 2007-11-07 | 北京控制工程研究所 | 适用于自主移动车辆的环境感知的单目视觉导航方法 |
Non-Patent Citations (4)
| Title |
|---|
| 刘富强等.智能汽车中基于视觉的道路检测与跟踪算法.《同济大学学报（自然科学版）》.2007,第35卷(第11期),1536－1539. * |
| 卢卫娜等.基于单目视觉的车道线和道路边界同步检测.《传感技术学报》.2007,第20卷(第5期),1171-1175. * |
| 胡明昊等.一种基于视觉的道路检测算法.《计算机工程与设计》.2005,第26卷(第7期),1704－1706. * |
| 邓剑文等.基于道路结构特征的自主车视觉导航.《吉林大学学报(信息科学版)》.2004,第22卷(第4期),415-418. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101469991A (zh) | 2009-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101469991B (zh) | 全天时结构化道路多行道线检测方法 | |
| USRE48106E1 (en) | Detection of obstacles at night by analysis of shadows | |
| US11720116B1 (en) | Collision mitigation static occupancy grid | |
| JP5320331B2 (ja) | 車載用環境認識装置及び車載用環境認識システム | |
| CN107389084B (zh) | 行车路径规划方法及存储介质 | |
| KR102613839B1 (ko) | 긴급 차량들의 검출 | |
| CN109017780A (zh) | 一种车辆智能驾驶控制方法 | |
| KR102124384B1 (ko) | 자율주행을 위한 차로 인식 차선 및 이를 이용한 차로 유지 지원 시스템 | |
| CN105922991A (zh) | 基于生成虚拟车道线的车道偏离预警方法及系统 | |
| US20120253596A1 (en) | Driver assistance system and method | |
| US20190130736A1 (en) | Detecting and responding to traffic redirection for autonomous vehicles | |
| GB2613692A (en) | Systems and methods for vehicle navigation | |
| TWI493513B (zh) | 車道偏離警示系統與車道辨識裝置以及相關方法 | |
| CN102685516A (zh) | 立体视觉主动安全辅助驾驶方法 | |
| US20100045449A1 (en) | Method for detecting a traffic space | |
| EP4339648A1 (en) | Determining objects of interest for active cruise control | |
| CN102201054A (zh) | 一种基于鲁棒统计的行道线检测方法 | |
| KR20180075985A (ko) | 주행환경 감응형 자율 조향 예측 장치 및 그 방법 | |
| CN110435646A (zh) | 一种车辆的盲区目标追踪方法 | |
| US20220176987A1 (en) | Trajectory limiting for autonomous vehicles | |
| US20140249715A1 (en) | Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle | |
| US20220121216A1 (en) | Railroad Light Detection | |
| WO2022050006A1 (ja) | 画像処理装置 | |
| AU2021201402B2 (en) | Detecting and responding to traffic redirection for autonomous vehicles | |
| KR20220067929A (ko) | 자율주행 도로 위험도 평가 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Assignee: Jiangsu Daway Technologies Co., Ltd. Assignor: Nanjing University of Science and Technology Contract record no.: 2012320000343 Denomination of invention: All-day structured road multi-lane line detection method Granted publication date: 20110810 License type: Exclusive License Open date: 20090701 Record date: 20120329 |
|
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Jiangsu Daway Technologies Co., Ltd. Assignor: Nanjing University of Science and Technology Contract record no.: 2012320000343 Date of cancellation: 20121022 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110810 Termination date: 20201226 |