CN105698812B - 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法 - Google Patents

一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法 Download PDF

Info

Publication number
CN105698812B
CN105698812B CN201610027578.5A CN201610027578A CN105698812B CN 105698812 B CN105698812 B CN 105698812B CN 201610027578 A CN201610027578 A CN 201610027578A CN 105698812 B CN105698812 B CN 105698812B
Authority
CN
China
Prior art keywords
line
lane
grouping
image
safe driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610027578.5A
Other languages
English (en)
Other versions
CN105698812A (zh
Inventor
苏晓聪
周建
朱敦尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN KOTEI TECHNOLOGY Corp
Original Assignee
WUHAN KOTEI TECHNOLOGY Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN KOTEI TECHNOLOGY Corp filed Critical WUHAN KOTEI TECHNOLOGY Corp
Priority to CN201610027578.5A priority Critical patent/CN105698812B/zh
Publication of CN105698812A publication Critical patent/CN105698812A/zh
Application granted granted Critical
Publication of CN105698812B publication Critical patent/CN105698812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法,基于车辆前方和两侧摄像头采集的车辆两侧车道线图像信息分析处理得到实时的车道线检测结果，并将其与安全驾驶地图中车辆两侧车道线信息相融合，以弥补前视摄像头进行车道线检测应用中的不足，使用本发明后，智能驾驶中可以获得获取更精确、详细的道路信息等有益效果。

Description

一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检 测系统及其方法
技术领域
本发明涉及视觉图像处理领域，尤其涉及一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法。
背景技术
汽车在保持横向安全距离和变道、超车等过程中，需要对当前及两侧车道的车道线进行判定，稍有不慎则可能造成交通事故。智能驾驶中对车道权的竞争、占有和放弃等决策过程，其前提是需要对车道线进行检测。常用的检测方法有利用GPS和地图进行车道线检测、利用前视摄像机进行车道线检测等。
现有技术方案存在的问题和缺点：利用GPS和地图进行车道线检测，存在易受地形、天气干扰和精度欠精确的问题；利用车辆前视摄像机进行车道线检测，无法有效获取车辆两侧车道线的图像信息，同时存在计算量大和对道路环境要求高等问题。
发明内容
为了克服现有技术的不足，本发明提供一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法，并将基于图像的车道线检测与安全驾驶地图中车辆两侧车道线信息相融合，以弥补前视摄像头进行车道线检测应用中的不足。
本发明所采用的技术方案是：
一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统，包括：
定位模块，用于初步确定车辆当前的位置信息；
图像采集模块，包括设置在汽车前方及两侧的摄像头，用于采集车道前方及两侧的同步视觉图像；
安全驾驶地图提供模块，用于提供包含车道级道路道路信息的安全驾驶地图；
图像处理模块，用于处理图像采集模块采集到的同步视觉图像，并与安全驾驶地图进行信息匹配；
驾驶决策与车辆控制模块，用于根据安全驾驶地图提供模块及图像处理模块的输出结果进行驾驶决策处理及车辆控制。
一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测方法，包括以下步骤：
Step1：获取车辆前方与两侧的同步视觉图像；
Step2：采用逆透视变换将车辆前方与两侧的同步视觉图像转换成俯视图，以保证在实际环境中相互平行的车道线在图像中依然保持平行；
Step3：采用Hough变换对图像进行直线检测以获取其中的线段信息，根据车道线虚线的共线性质，对检测到的结果进行分组、连续并确定各分组的虚实线性质；
Step4：根据车道线平行和间距大致相等的约束关系，计算相邻直线间距出现次数最多的距离作为车道宽度，去除同邻近直线的距离与该宽度差异明显的直线分组，并确定各分组直线的相对位置关系；
Step5：对剩余各分组线段的长度信息进行二分聚类处理，以去除方向箭头等对实际车道线检测的影响，剩余直线作为车道线检测结果输出；
Step6：根据车辆当前位置信息，获取安全驾驶地图中对应的车道先验知识，并将车道线检测结果与车道先验知识匹配，并输出最终的车道线检测结果。
作为优选，Step2之前还包括对图像进行白平衡处理，以使得图像达到颜色平衡。采用颜色直方图均衡化方法对图像进行白平衡处理
作为优选，所述Step2与Step3之间还包括对得到的俯视图进行灰度化、滤波和二值化处理，以便于图像后续处理和去除图像中的噪音。俯视图的灰度化采用RGB线性组合的视觉灰度化方法，滤波采用中值滤波去除噪音，并采用MSER算法以得到二值图像。
作为优选，所述step3具体包括以下步骤：
步骤301：建立一个用于表征不同车道线分组的集合，选取任意一条线段作为一条车道线的分组进入集合；
步骤302：对剩余线段执行如下操作：依次与集合中的分组进行比较，若该线段与某个分组共线或者近似共线，则将该线段加入该分组；若其与所有分组均不共线，则将其作为一个新的分组加入到集合当中；
步骤303：分居车道线平行的性质，提取出各分组中出现次数最多的直线角度，若不存在则提取与车身夹角最小的角度，去除与该角度差异显著的分组；
步骤304：对剩余各分组中的线段进行连接处理，计算各分组所表征车道线的总长度，并根据虚线的分段性质和分段大致等长的性质，确定各分组的虚实线性质。
作为优选，step3和step4之间还包括步骤：根据各直线分组与车身间距由大到小的次序，对分组进行重新排序。
作为优选，step5中对剩余分组线段的长度信息进行二分聚类处理后，若聚类结果在考虑实现相对位置和透视角度因素的情况下差异显著，则将长度较短的直线认为是噪音并去除。
与现有技术相比，本发明具有以下优点：
使用本发明后，智能驾驶中可以获得获取更精确、详细的道路信息等有益效果，包括：
1、结合车辆前方和两侧图像获取的偏移距离和偏向角的精度和鲁棒性更高
2、可以获取车道数量、虚实线性质和车辆所处车道信息
3、多摄像头信息相互匹配印证，提高了检测精度和鲁棒性
4、像检测结果与安全驾驶地图相互匹配，大大提高了检测的鲁棒性
附图说明
图1是本发明实施例提供的系统结构示意图；
图2是本发明实施例提供的方法流程图。
具体实施方式
为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
图1是本发明中一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统的结构示意图，该系统包括：定位模块，用于初步确定车辆当前的位置信息；图像采集模块，包括设置在汽车前方及两侧的摄像头，用于采集车道前方及两侧的同步视觉图像；安全驾驶地图提供模块，用于提供包含车道级道路道路信息的安全驾驶地图；图像处理模块，用于处理图像采集模块采集到的同步视觉图像，并与安全驾驶地图进行信息匹配；驾驶决策与车辆控制模块，用于根据安全驾驶地图提供模块及图像处理模块的输出结果进行驾驶决策处理及车辆控制。
图2是本发明中一种自动驾驶中基于安全驾驶地图和前方及两侧摄像头的车道线检测方法流程图，其具体步骤如下：
(1)获取车辆前方与两侧摄像头的同步视觉图像，相应的摄像头在使用前已标定完毕；
(2)对图像进行白平衡处理，以使得图像达到颜色平衡的结果，此处可采用颜色直方图均衡化方法进行处理
(3)采用逆透视变换将图像转换成俯视图，以保证在实际环境中相互平行的车道线在图像中依然保持平行
(4)对得到的俯视图进行灰度化、滤波和二值化处理，以便于图像后续处理和去除图像中的噪音，其中：灰度化采用常见的RGB线性组合的视觉灰度化方法，滤波采用中值滤波去除噪音，并采用MSER算法以得到二值图像；
(5)采用Hough变换对图像进行直线检测以获取其中的线段信息，根据车道线虚线的共线性质，对检测到的结果进行分组、连接并确定各分组的虚实线性质，具体地，维护一个用于表征不同车道线分组的集合，选取任意一条线段作为一条车道线的分组进入集合，对剩余线段执行如下操作：依次与集合中的分组进行比较，若该线段与某个分组共线(包括夹角很小的情况，如小于2°，采用线段中点连线与原线段夹角进行两两比较的方式)则将该线段加入该分组，若其与所有分组均不共线则将其作为一个新的分组加入到集合当中，直到线段全部进入集合为止；然后根据车道线平行的性质，提取出各分组中出现次数最多的直线角度(若不存在则取与车身夹角最小的直线的角度)，去除与该角度差异明显(如差异超过5°)的分组；对剩余各分组中的线段进行连接处理，计算该分组所表征车道线的总长度，并根据虚线的分段性质和分段大致等长的性质，确定各分组的虚实线性质；；
(6)根据各直线分组与车身间距(在车辆两侧图像中，该距离可选取为直线与图像下方中点的距离)由小达大的次序，对分组进行重新排列；然后根据车道线平行和间距大致相等的约束关系以及实际车道线间距的限制范围(2.5m～4m)，计算相邻直线分组间距的平均值作为车道宽度的过滤值，去除同邻近分组的间距与该值差异明显(如差异超过30％)的分组，以确定各直线分组的相对位置关系和车道数量信息；
(7)对剩余各分组线段的长度信息进行二分聚类处理，若聚类结果在考虑直线相对位置和透视角度因素的情况下差异依然明显(如差异超过30％)，则将长度较短的直线认为是噪声并去除，反之则保留全部结果，剩余直线作为车道线检测结果输出。
(8)根据车辆当前位置信息，获取安全驾驶地图中对应的车道先验知识，并将车道线检测结果与车道先验知识匹配，并输出最终的车道线检测结果。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (4)

1.一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测方法，其特征在于：该方法包括以下步骤：
Step1：获取车辆前方与两侧的同步视觉图像；
Step2：采用逆透视变换将车辆前方与两侧的同步视觉图像转换成俯视图，以保证在实际环境中相互平行的车道线在图像中依然保持平行；
所述Step2之前还包括对图像进行白平衡处理，以使得图像达到颜色平衡,采用颜色直方图均衡化方法对图像进行白平衡处理；
Step3：采用Hough变换对图像进行直线检测以获取其中的线段信息，并根据车道线虚线的共线性质，对检测到的结果进行分组、连接并确定各分组的虚实线性质；
所述Step3具体包括以下步骤：
步骤301：建立一个用于表征不同车道线分组的集合，选取任意一条线段作为一条车道线的分组进入集合；
步骤302：对剩余线段执行如下操作：依次与集合中的分组进行比较，若该线段与某个分组共线，则将该线段加入该分组；若其与所有分组均不共线，则将其作为一个新的分组加入到集合当中；
步骤303：根据车道线平行的性质，提取出各分组中出现次数最多的直线角度；
步骤304：对剩余各分组中的线段进行连接处理，计算各分组所表征车道线的总长度，并根据虚线的分段性质和分段大致等长的性质，确定各分组的虚实线性质；
Step4：根据车道线平行和间距大致相等的约束关系，计算相邻直线间距出现次数最多的距离作为车道宽度，去除同邻近直线的距离与该宽度差异显著的直线分组，并确定各分组直线的相对位置关系；
Step5：对剩余各分组线段的长度信息进行二分聚类处理，以去除方向箭头、路面限速标记对实际车道线检测结果的影响；
对剩余各分组线段的长度信息进行二分聚类处理，若聚类结果在考虑直线相对位置和透视角度因素的情况下，差异依然明显超过比例阈值，则将长度较短的直线认为是噪声并去除，反之则保留全部结果，剩余直线作为车道线检测结果输出；
Step6：根据车辆当前位置信息，获取安全驾驶地图中对应的车道先验知识，并将车道线检测结果与车道先验知识匹配，输出最终的车道线检测结果。
2.根据权利要求1所述的一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测方法，其特征在于：所述Step2与Step3之间还包括对得到的俯视图进行灰度化、滤波和二值化处理，以便于图像后续处理和去除图像中的噪音。
3.根据权利要求2所述的一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测方法，其特征在于：俯视图的灰度化采用RGB线性组合的视觉灰度化方法，滤波采用中值滤波去除噪音，并采用MSER算法以得到二值图像。
4.根据权利要求1所述的一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测方法，其特征在于：Step3和Step4之间还包括步骤：根据各直线分组与车身间距由大到小的次序，对分组进行重新排序。
CN201610027578.5A 2016-01-15 2016-01-15 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法 Active CN105698812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610027578.5A CN105698812B (zh) 2016-01-15 2016-01-15 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610027578.5A CN105698812B (zh) 2016-01-15 2016-01-15 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法

Publications (2)

Publication Number Publication Date
CN105698812A CN105698812A (zh) 2016-06-22
CN105698812B true CN105698812B (zh) 2019-04-30

Family

ID=56227385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610027578.5A Active CN105698812B (zh) 2016-01-15 2016-01-15 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法

Country Status (1)

Country Link
CN (1) CN105698812B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4125061A1 (en) * 2021-07-30 2023-02-01 Nio Technology (Anhui) Co., Ltd Road model generation method and device

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成系统
CN107193278B (zh) * 2017-05-08 2021-06-18 江苏大学 基于定位的图像和地图匹配的可行驶区域识别方法
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
CN107499310A (zh) * 2017-08-17 2017-12-22 广州大学 基于车联网和车载道路识别的车道保持辅助方法及系统
CN110120081B (zh) * 2018-02-07 2023-04-25 北京四维图新科技股份有限公司 一种生成电子地图车道标线的方法、装置及存储设备
CN110348273B (zh) * 2018-04-04 2022-05-24 北京四维图新科技股份有限公司 神经网络模型训练方法、系统及车道线识别方法、系统
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
WO2020004817A1 (ko) * 2018-06-26 2020-01-02 에스케이텔레콤 주식회사 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN110969059A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线识别方法及系统
CN109849922B (zh) * 2018-12-25 2020-08-04 青岛中汽特种汽车有限公司 一种用于智能车辆的基于视觉信息与gis信息融合的方法
CN111316328A (zh) * 2019-04-24 2020-06-19 深圳市大疆创新科技有限公司 车道线地图的维护方法、电子设备与存储介质
CN110991215B (zh) * 2019-07-17 2023-08-18 万物镜像(北京)计算机系统有限公司 车道线检测方法、装置、存储介质及电子设备
CN110411450B (zh) * 2019-07-29 2021-04-16 北京航空航天大学 一种用于压缩轨迹的地图匹配方法
CN112461257A (zh) * 2019-09-09 2021-03-09 华为技术有限公司 一种车道线信息的确定方法及装置
CN110781816A (zh) * 2019-10-25 2020-02-11 北京行易道科技有限公司 车辆在车道中的横向定位方法、装置、设备及存储介质
CN111516673B (zh) * 2020-04-30 2022-08-09 重庆长安汽车股份有限公司 基于智能摄像头和高精地图定位的车道线融合系统及方法
TWI760758B (zh) * 2020-06-02 2022-04-11 荷蘭商荷蘭移動驅動器公司 停車位置提醒方法及車載裝置
CN113378735B (zh) * 2021-06-18 2023-04-07 北京东土科技股份有限公司 一种道路标识线识别方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1452831A1 (en) * 2003-02-26 2004-09-01 Director General of National Institute for Land and Infrastructure Management, Ministry of Land, Infrastructure and Transport Security method for vehicle safe driving support system
CN100429101C (zh) * 2005-09-09 2008-10-29 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
FR2906362B1 (fr) * 2006-09-26 2009-01-02 Valeo Vision Sa Procede de determination anticipee d'un virage sur une portion de route et systeme associe.
CN202130447U (zh) * 2011-05-31 2012-02-01 德尔福电子(苏州)有限公司 一种新型的车道线偏离检测装置
CN103954275B (zh) * 2014-04-01 2017-02-08 西安交通大学 基于车道线检测和gis地图信息开发的视觉导航方法
CN104899858A (zh) * 2015-02-15 2015-09-09 北京联合大学 基于双摄像机图像融合的车道线识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4125061A1 (en) * 2021-07-30 2023-02-01 Nio Technology (Anhui) Co., Ltd Road model generation method and device

Also Published As

Publication number Publication date
CN105698812A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105698812B (zh) 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法
CN109657632B (zh) 一种车道线检测识别方法
CN107463918A (zh) 基于激光点云与影像数据融合的车道线提取方法
CN103077384B (zh) 一种车标定位识别的方法与系统
CN103123722B (zh) 道路对象检测方法和系统
CN109325935B (zh) 一种基于无人机图像的输电线路检测方法
CN111079611B (zh) 一种道路面及其标志线的自动提取方法
CN110647850A (zh) 一种基于逆透视原理的车道偏移自动测量方法
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN106960207A (zh) 一种基于模板匹配的汽车驾驶位仪表区多指针式仪表自动识别系统及方法
CN108052904B (zh) 车道线的获取方法及装置
CN109409205A (zh) 基于线间距特征点聚类的航拍视频公路车道线检测方法
CN102663357A (zh) 基于颜色特征的停车场车位检测算法
CN106407924A (zh) 基于路面特征的双目道路识别检测方法
CN103400379A (zh) 一种基于图像的覆冰检测和厚度估计方法
CN103679146A (zh) 基于高通滤波器和Hough变换的安全带智能检测方法
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
CN102831420A (zh) 基于颜色信息和随机圆检测的圆形交通标志定位方法
CN111539303B (zh) 基于单目视觉的车辆驾驶偏移预警方法
CN110502971B (zh) 基于单目视觉的道路车辆识别方法及系统
CN108647664A (zh) 一种基于环视图像的车道线检测方法
US11373417B2 (en) Section line recognition device
Satzoda et al. Robust extraction of lane markings using gradient angle histograms and directional signed edges
CN108520252B (zh) 基于广义霍夫变换和小波变换的路标识别方法
CN109472826A (zh) 基于双目视觉的定位方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant