CN104899858A - 基于双摄像机图像融合的车道线识别方法 - Google Patents

基于双摄像机图像融合的车道线识别方法 Download PDF

Info

Publication number
CN104899858A
CN104899858A CN201510081153.8A CN201510081153A CN104899858A CN 104899858 A CN104899858 A CN 104899858A CN 201510081153 A CN201510081153 A CN 201510081153A CN 104899858 A CN104899858 A CN 104899858A
Authority
CN
China
Prior art keywords
image
lane line
width
vehicle
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510081153.8A
Other languages
English (en)
Inventor
刘宏哲
袁家政
刘佳
郑永荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN201510081153.8A priority Critical patent/CN104899858A/zh
Publication of CN104899858A publication Critical patent/CN104899858A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于双摄像机图像融合的车道线识别系统属于计算机视觉领域和安全智能交通领域。首先通过安装在车辆外左右倒车镜处的单目摄像机采集视频图像,分别对左右图像进行逆透视变换等到鸟瞰图像,然后进行左右车道线候选,最后对左右车道线候选结果融合进行车道线识别。基于双摄像机图像融合的车道线识别系统可以解决城市拥堵道路中的车道线识别等问题,适用于智能车视觉导航和车道偏离预警。

Description

基于双摄像机图像融合的车道线识别方法
技术领域:
基于双摄像机图像融合的车道线识别系统,属于计算机视觉领域和安全智能交通领域。
背景技术:
随着社会经济和科学技术的不断发展,汽车作为交通工具成为了人们生活中的一部分,安全驾驶和智能驾驶已经成为人们追求的方向。无论是车道偏离预警系统还是无人驾驶智能汽车视觉导航,都需要进行车道线识别,然而在大城市里交通拥堵现象有增无减,如何在城市拥堵道路中进行车道线识别也越来越重要。
公布号为CN102288121A的中国发明专利公开了一种基于单目视觉的车道偏离距离测量及预警方法,公布号为CN102806913A的中国发明专利公开了一种新型的车道线偏离检测方法及装置,这两个发明专利都公开了车道线识别的方法,但都是针对一般情况下的车道线识别,解决不了城市拥堵道路中的车道线识别问题。
发明内容:
本发明的目的在于克服现有车道线识别方法存在识别视野范围受限以及不能够解决城市拥堵道路中的车道线识别问题等缺点,提出了基于双摄像机图像融合的车道线识别系统。
为了实现上述目的,本发明采取了如下的技术方案:
步骤1:在车辆左右的倒车镜下方安装单目摄像机,摄像机的镜头冲向前下方;
步骤2:摄像机标定;所述的摄像机标定是指对左右摄像机进行逆透视变换标定;
步骤2-1:对左摄像机进行标定,要求逆透视变换后的鸟瞰图的视野横轴宽度的范围是150cm--250cm,纵轴宽度的范围是500cm--1000cm;所述的视野横轴宽度的范围是指车辆左侧前后车轮外侧连线以左的视野范围;所述的视野纵轴宽度的范围是指车辆前方的视野范围;
步骤2-2:对右摄像机进行标定,要求逆透视变换后的鸟瞰图的视野横轴宽度的范围是150cm--250cm,纵轴宽度的范围是500cm--1000cm;所述的视野横轴宽度的范围是指车辆右侧前后车轮外侧连线以右的视野范围;所述的视野纵轴宽度的范围是指车辆前方的视野范围;
步骤2-1与步骤2-2的顺序能调换;要求步骤2-1与步骤2-2中的视野范围一致;
步骤3:车道线识别;
步骤3-1:从左摄像机获取车辆左侧路面图像L_image,先对图像L_image进行灰度化处理得到灰度图像L_gray,然后对图像L_gray进行自适应二值化处理得到二值化图像L_binary,再对图像L_binary进行逆透视变换得到鸟瞰图像L_bird-view,最后对图像L_bird-view进行霍夫直线变换,检测图像L_bird-view中的所有直线,并根据鸟瞰图像的距离呈现线性相关的规律计算直线与水平的夹角L_rho和直线的宽度L_width,当满足30°≤L_rho≤150°,12cm≤L_width≤30cm时则认为该直线是车辆左侧车道线的候选直线;
步骤3-2:从右摄像机获取车辆右侧路面图像R_image,先对图像R_image进行灰度化处理得到灰度图像R_gray,然后对图像R_gray进行自适应二值化处理得到二值化图像R_binary,再对图像R_binary进行逆透视变换得到鸟瞰图像R_bird-view,最后对图像R_bird-view进行霍夫直线变换,检测图像R_bird-view中的所有直线,并根据鸟瞰图像的距离呈现线性相关的规律计算直线与水平的夹角R_rho和直线的宽度R_width,当满足30°≤R_rho≤150°,12cm≤R_width≤30cm时则认为该直线是车辆右侧车道线的候选直线;
步骤3-1与步骤3-2的顺序能调换;
步骤3-3:对步骤3-1和步骤3-2的结果进行融合;根据车辆左右车道线平行的原理,可知左侧车道线的夹角L_rho与右侧车道线的夹角R_rho相等,允许误差的存在,当满足|L_rho-R_rho|≤5°时则认为可能是左右车道线,进一步判断;根据车道等宽的原理,左右车道线的距离是固定的或者在某一个范围内,城市道路的车道宽度范围在300cm--375cm,当左右候选车道线的间距满足车道宽度时,则认为是左右车道线;
上述方案需要特别说明是的:
1.步骤1中要求在车辆左右的倒车镜下方安装单目摄像机并且摄像机的镜头冲向前下方,目的是为了保证车辆两侧的车道线在识别的视野范围内,由于在城市拥堵道路中的车辆前后左右都有其他车辆遮挡,依靠一个摄像机进行车道线识别会非常困难,如图2所示,前方的车辆将会遮挡住摄像机的视野,导致无法进行车道线识别;
2.步骤2中要求左右摄像机标定后逆透视变换得到的鸟瞰图的视野横轴宽度的范围是150cm--250cm,其目的是保证车辆两侧的车道线在其视野范围内,由于普通小轿车的宽度一般是160cm--180cm,城市道路的车道宽度一般是300cm--375cm,所以当车辆在车道正中间时,如图3所示,车辆两侧最近的车道线距离车辆外侧是60cm--108cm,当车辆接近其中一条车道线时,如图4所示,则另一车道线距离车辆外侧是120cm--215cm,鸟瞰图的视野横轴宽度的范围是150cm--250cm则能够保证任意情况下车道线都在识别视野范围内;
本发明的有益效果是:
本发明通过可行的技术方案,有以下几点有益效果:
1.可以很好的解决城市拥堵道路中的车道线识别问题;使用左右两个摄像机分别识别车辆左右的车道线,克服了单个摄像机视野受限的缺点;
2.图像融合的识别方法提高了车道线识别的准确性;由于左右摄像机的视野对称性以及车道线的平行性,左右车道线在左右摄像机的鸟瞰图中的位置是一致的,如图4和图5所示,这一特征有助于车道线的识别;
附图说明:
图1本发明的流程示意图
图2单个摄像机识别车道线时视野受限的鸟瞰图
图3本发明中左右摄像机的车道线识别视野鸟瞰图
图4本发明中车辆接近车道线时的鸟瞰图
图5本发明中车辆与车道线不平行时的鸟瞰图
图6实例中的摄像机安装
具体实施方式:
采用本发明的方法,给出一个非限定性的实例,结合图1进一步对本发明的具体实施过程进行说明。本发明在智能车辆平台、智能车测试场地进行实现,为了保证无人驾驶智能汽车以及人员安全,所用平台和场地均为无人驾驶技术专业实验平台和测试场地。所使用的一些通用技术如图像采集、图像变换等不在详细叙述。
本发明的实施方式如下:
1.按照步骤1要求在车辆左右倒车镜处安装单目摄像机,如图6所示,本实例所用平台已安装所需装置,只需要稍作调整便可以进行实验。
2.按照步骤2、3的详细步骤进行实现,其中所涉及到的参数为:测试车道宽度为300cm;车道线的宽度为15cm,车辆宽度170cm;左右摄像机标定后逆透视变换得到的鸟瞰图的视野横轴宽度是150cm,纵轴宽度是1000cm;
3.车道线识别正确率为100%。

Claims (1)

1.基于双摄像机图像融合的车道线识别系统,其特征在于包含下述步骤:
步骤1:在车辆左右的倒车镜下方安装单目摄像机,摄像机的镜头冲向前下方;
步骤2-1:对左摄像机进行标定,要求逆透视变换后的鸟瞰图的视野横轴宽度的范围是150cm--250cm,纵轴宽度的范围是500cm--1000cm;所述的视野横轴宽度的范围是指车辆左侧前后车轮外侧连线以左的视野范围;所述的视野纵轴宽度的范围是指车辆前方的视野范围;
步骤2-2:对右摄像机进行标定,要求逆透视变换后的鸟瞰图的视野横轴宽度的范围是150cm--250cm,纵轴宽度的范围是500cm--1000cm;所述的视野横轴宽度的范围是指车辆右侧前后车轮外侧连线以右的视野范围;所述的视野纵轴宽度的范围是指车辆前方的视野范围;
步骤2-1与步骤2-2中的视野范围一致;步骤2-1与步骤2-2的顺序能调换;
步骤3-1:从左摄像机获取车辆左侧路面图像L_image,先对图像L_image进行灰度化处理得到灰度图像L_gray,然后对图像L_gray进行自适应二值化处理得到二值化图像L_binary,再对图像L_binary进行逆透视变换得到鸟瞰图像L_bird-view,最后对图像L_bird-view进行霍夫直线变换,检测图像L_bird-view中的所有直线,并根据鸟瞰图像的距离呈现线性相关的规律计算直线与水平的夹角L_rho和直线的宽度L_width,当满足30°≤L_rho≤150°,12cm≤L_width≤30cm时则认为该直线是车辆左侧车道线的候选直线;
步骤3-2:从右摄像机获取车辆右侧路面图像R_image,先对图像R_image进行灰度化处理得到灰度图像R_gray,然后对图像R_gray进行自适应二值化处理得到二值化图像R_binary,再对图像R_binary进行逆透视变换得到鸟瞰图像R_bird-view,最后对图像R_bird-view进行霍夫直线变换,检测图像R_bird-view中的所有直线,并根据鸟瞰图像的距离呈现线性相关的规律计算直线与水平的夹角R_rho和直线的宽度R_width,当满足30°≤R_rho≤150°,12cm≤R_width≤30cm时则认为该直线是车辆右侧车道线的候选直线;
3-1与步骤3-2的顺序能调换;
步骤3-3:对步骤3-1和步骤3-2的结果进行融合;根据车辆左右车道线平行的原理,可知左侧车道线的夹角L_rho与右侧车道线的夹角R_rho相等,允许误差的存在,当满足|L_rho-R_rho|≤5°时则认为可能是左右车道线,进一步判断;根据车道等宽的原理,左右车道线的距离是固定的或者在某一个范围内,城市道路的车道宽度范围在300cm--375cm,当左右候选车道线的间距满足车道宽度时,则认为是左右车道线。
CN201510081153.8A 2015-02-15 2015-02-15 基于双摄像机图像融合的车道线识别方法 Pending CN104899858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510081153.8A CN104899858A (zh) 2015-02-15 2015-02-15 基于双摄像机图像融合的车道线识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510081153.8A CN104899858A (zh) 2015-02-15 2015-02-15 基于双摄像机图像融合的车道线识别方法

Publications (1)

Publication Number Publication Date
CN104899858A true CN104899858A (zh) 2015-09-09

Family

ID=54032505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510081153.8A Pending CN104899858A (zh) 2015-02-15 2015-02-15 基于双摄像机图像融合的车道线识别方法

Country Status (1)

Country Link
CN (1) CN104899858A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN105698812A (zh) * 2016-01-15 2016-06-22 武汉光庭科技有限公司 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法
CN105719284A (zh) * 2016-01-18 2016-06-29 腾讯科技(深圳)有限公司 一种数据处理方法、装置及终端
CN105966314A (zh) * 2016-06-15 2016-09-28 北京联合大学 基于双低成本摄像头的车道偏离预警方法
CN111738071A (zh) * 2020-05-15 2020-10-02 南京航空航天大学 一种基于单目摄像机的运动变化的逆透视变换方法
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
US11275956B2 (en) * 2017-09-29 2022-03-15 Clarion Co., Ltd. Demarcation line recognition device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288121A (zh) * 2011-05-12 2011-12-21 电子科技大学 一种基于单目视觉的车道偏离距离测量及预警方法
US20120062747A1 (en) * 2010-07-20 2012-03-15 Gm Global Technology Operations, Inc. Lane fusion system using forward-view and rear-view cameras
CN103593671A (zh) * 2013-11-25 2014-02-19 中国航天科工集团第三研究院第八三五七研究所 基于三摄像机协同的大范围车道线视觉检测方法
CN103991449A (zh) * 2014-06-12 2014-08-20 北京联合大学 一种车辆行进控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062747A1 (en) * 2010-07-20 2012-03-15 Gm Global Technology Operations, Inc. Lane fusion system using forward-view and rear-view cameras
CN102288121A (zh) * 2011-05-12 2011-12-21 电子科技大学 一种基于单目视觉的车道偏离距离测量及预警方法
CN103593671A (zh) * 2013-11-25 2014-02-19 中国航天科工集团第三研究院第八三五七研究所 基于三摄像机协同的大范围车道线视觉检测方法
CN103991449A (zh) * 2014-06-12 2014-08-20 北京联合大学 一种车辆行进控制方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐威: "无人驾驶车基于双视觉系统的城市道路检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
辛煜: "无人驾驶车辆运动障碍物检测、预测和避撞方法研究", 《中国博士学位论文全文数据库 工程科技II辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105698812A (zh) * 2016-01-15 2016-06-22 武汉光庭科技有限公司 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法
US11320833B2 (en) 2016-01-18 2022-05-03 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus and terminal
CN105719284A (zh) * 2016-01-18 2016-06-29 腾讯科技(深圳)有限公司 一种数据处理方法、装置及终端
WO2017124901A1 (zh) * 2016-01-18 2017-07-27 腾讯科技(深圳)有限公司 一种数据处理方法、装置及终端
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技(深圳)有限公司 一种数据处理方法、装置及终端
US10712747B2 (en) 2016-01-18 2020-07-14 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus and terminal
CN105678285A (zh) * 2016-02-18 2016-06-15 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN105678285B (zh) * 2016-02-18 2018-10-19 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN105966314A (zh) * 2016-06-15 2016-09-28 北京联合大学 基于双低成本摄像头的车道偏离预警方法
US11275956B2 (en) * 2017-09-29 2022-03-15 Clarion Co., Ltd. Demarcation line recognition device
CN111783502A (zh) * 2019-04-03 2020-10-16 长沙智能驾驶研究院有限公司 基于车路协同的视觉信息融合处理方法、装置及存储介质
CN111738071A (zh) * 2020-05-15 2020-10-02 南京航空航天大学 一种基于单目摄像机的运动变化的逆透视变换方法
CN111738071B (zh) * 2020-05-15 2024-04-16 南京航空航天大学 一种基于单目摄像机的运动变化的逆透视变换方法

Similar Documents

Publication Publication Date Title
CN104899858A (zh) 基于双摄像机图像融合的车道线识别方法
US10742907B2 (en) Camera device and method for detecting a surrounding area of a driver's own vehicle
RU2659670C1 (ru) Устройство и способ управления движением для транспортного средства
RU2657656C1 (ru) Устройство управления движением и способ управления движением
US10798319B2 (en) Camera device and method for capturing a surrounding region of a vehicle in a situation-adapted manner
CN102610125B (zh) 输出超车建议的机动车驾驶员辅助系统运行方法和机动车
CN203134149U (zh) 基于不同波段成像融合图像处理的车辆辅助驾驶系统
CN102685516A (zh) 立体视觉主动安全辅助驾驶方法
DE102017105661A1 (de) Fahrzeug-fahrspurgrenzposition
CN104951790B (zh) 基于多源逆透视图像无缝拼接的车道线识别方法
DE112020002592T5 (de) Systeme und verfahren zur fahrzeugnavigation basierend auf bildanalyse
CN109313021A (zh) 成像控制装置和方法、以及车辆
DE112015001534T5 (de) Fahrzeugerkennungsbenachrichtigungsvorrichtung und Fahrzeugerkennungsbenachrichtigungssystem
EP2756489A2 (de) Erkennung eines befahrens eines fahrzeuges in eine nicht zulässige fahrtrichtung
CN114556249A (zh) 用于预测车辆轨迹的系统和方法
KR102397156B1 (ko) 자기 차량의 주변 구역을 촬영하기 위한 카메라 시스템 및 운전자 지원 기능 제공 방법
KR20110048798A (ko) 랜드마크를 이용한 조향 제어 장치 및 방법
WO2020022021A1 (ja) 距離算出装置
US20210114611A1 (en) System for performing effective identification of vehicle line pressing and giving early prompt
DE102013212010A1 (de) Verfahren und Vorrichtung zum Unterstützen einer Engstellendurchfahrung für ein Fahrzeug, Verfahren zum Unterstützen einer Engstellendurchfahrung für ein Nachfolgefahrzeug und Verfahren zum Verwalten von Vermessungsinformationen zum Unterstützen von Engstellendurchfahrungen von Fahrzeugen
CN112562061A (zh) 一种基于激光雷达图像的驾驶视觉增强的系统及方法
DE102016213377B4 (de) Verfahren zur Durchfahrtshöhenerkennung
DE102013204843A1 (de) Einparkassistent mit kooperativer Halteverbotserkennung
CN109878445A (zh) 一种双目视觉辅助驾驶系统
CN208360051U (zh) 一种七路集成式视觉感知系统及车辆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150909