CN111738102B - 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 - Google Patents
一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 Download PDFInfo
- Publication number
- CN111738102B CN111738102B CN202010499330.5A CN202010499330A CN111738102B CN 111738102 B CN111738102 B CN 111738102B CN 202010499330 A CN202010499330 A CN 202010499330A CN 111738102 B CN111738102 B CN 111738102B
- Authority
- CN
- China
- Prior art keywords
- view camera
- camera
- lane line
- frame image
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其通过AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，有效解决了现有技术中存在的车道线漏识别问题，提高行车安全性。
Description
技术领域
本发明涉及汽车行车安全技术领域，具体涉及一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法。
背景技术
随着汽车的普及率越来越高，人们对行车安全也是越来越重视。360度全景影像系统(AVM)实现无盲区行驶，车道偏移预警系统(LDWS)提供智能的车道偏离预警，两者结合在一起应时而出。
目前，LDWS与AVM结合再一起时，LDWS一般仅利用AVM系统的前视摄像头。通过观察发现，目前的LDWS再使用过程中存在以下问题：
1、前视摄像头能有效识别车道线的距离仅有7~8米，故在白色虚线9米间隔处，看不到前方的车道线。
2、前视摄像头左右方向能有效识别车道线距离仅有2.5~3米，所以当车辆跨越车道线时，无法识别另一侧的车道线。
也就是说，目前基于AVM的LDWS会存在漏识别导致漏报警的问题，既有可能引发安全事故。
有鉴于此，本发明人针对上述LDWS存在的问题而深入构思，遂有本案产生。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其能避免车道线漏识别问题，提高行车的安全性。
为实现上述目的，本发明采用的技术方案：
一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其利用AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，具体如下：
（1）当车辆在一车道内正常行驶时，若前视摄像头拍摄的当前帧图像中识别不到车道线，判断左视摄像头和右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能，则调取前视摄像头的上一帧图像，并将前摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用左视摄像头、右视摄像头以该延伸区域作为感兴趣区域识别车道线；
若左摄像头和右视摄像头拍摄的当前帧图像中也识别不到车道线，则调取左视摄像头、右视摄像头的上一帧图像，并将该左视摄像头、右视摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用后视摄像头以延伸区域作为感兴趣区域识别车道线；
（2）若左视摄像头、右视摄像头和后视摄像头均无法识别车道线，且前视摄像头拍摄的当前帧图像中无车道线，结合前视摄像头上一帧图像中的车道线及车辆运动信息进行车道线跟踪；
（3）当车辆跨越车道线时，判断左视摄像头、右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能识别到，利用左右摄像头在默认的感兴趣区域识别车道线；
若左视摄像头、右视摄像头拍摄的当前帧图像中识别不到车道线，则结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪。
所述（2）中，结合前视摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取前视摄像头的上一帧图像，并在上一帧图像中的左右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
所述（3）中，结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取左右视摄像头的上一帧图像，并在上一帧图像中的左或右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
采用上述方案后，本发明通过AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，有效解决了现有技术中存在的车道线漏识别问题，提高行车安全性。
附图说明
图1为前视摄像头无法识别车道线而左视右视摄像头能够识别车道线的场景示意图；
图2为前视摄像头、左视右视摄像头无法识别车道线而后视摄像头能够识别车道线的场景示意图；
图3为前视摄像头无法识别车道线而左视右视后视摄像头始终无法识别车道线的场景示意图；
图4为车辆跨越车道线而左视右视摄像头能够识别车道线的场景示意图一；
图5为车辆跨越车道线而左视右视摄像头能够识别车道线的场景示意图二；
图6为车辆跨越车道线而左视右视摄像头无法识别车道线的场景示意。
具体实施方式
本发明揭示了一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其利用AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，其具体如下：
（1）当车辆在一车道内正常行驶时，若前视摄像头拍摄的当前帧图像中识别不到车道线，判断左视摄像头和右视摄像头拍摄的当前帧图像中是否能够识别到车道线。
若左视摄像头、右视摄像头拍摄到的当前帧图像中能够识别到车道线（如图1所示的场景），先调取前视摄像头的上一帧图像，并将前摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用左视摄像头、右视摄像头以该延伸区域作为感兴趣区域识别车道线；为了快速识别左右视摄像头视野内的车道线,需要减少检测的视野区域,即缩小感兴趣区域,可以通过建立前视摄像头和左右视摄像头统一的空间坐标,从而可以定位前摄像头上一帧图像中的车道线,在左右摄像头当前帧图像中的大致位置,然后在该位置附近区域检测识别车道线。
若左右摄像头和右视摄像头拍摄的当前帧图像中也识别不到车道线（如图2所示的场景，车辆位于白色虚线间隔处），则调取左视摄像头、右视摄像头的上一帧图像，并将该左视摄像头、右视摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用后视摄像头以延伸区域作为感兴趣区域识别车道线。
（2）如图3所示，当车辆处于无路灯的低照度环境下，只有前视摄像头通过自车车灯的照明才能识别车道线，左视摄像头、右视摄像头和后视摄像头均无法识别车道线。此时，若前视摄像头拍摄的当前帧图像中无车道线，可以结合前视摄像头上一帧图像中的车道线及车辆运动信息进行车道线跟踪。该车道线跟踪具体如下：
调取前视摄像头的上一帧图像，并在上一帧图像中的左右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
（3）当车辆跨越车道线时，前视摄像头识别不到车道线，判断左视摄像头、右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能识别到（如图4和图5所示的场景），利用左右摄像头在默认的感兴趣区域识别车道线。
若左视摄像头、右视摄像头拍摄的当前帧图像中识别不到车道线（如图6所示的场景，该场景中车辆于白色虚线间隔处跨越车道线），则结合左右视摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪。
具体如下：调取左右视摄像头的上一帧图像，并在上一帧图像中的左或右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
本发明的关键在于，本发明通过AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，有效解决了现有技术中存在的车道线漏识别问题，提高行车安全性。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (1)
1.一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其特征在于：所述方法利用AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，具体如下：
（1）当车辆在一车道内正常行驶时，若前视摄像头拍摄的当前帧图像中识别不到车道线，判断左视摄像头和右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能，则调取前视摄像头的上一帧图像，并将前摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用左视摄像头、右视摄像头以该延伸区域作为感兴趣区域识别车道线；
若左摄像头和右视摄像头拍摄的当前帧图像中也识别不到车道线，则调取左视摄像头、右视摄像头的上一帧图像，并将该左视摄像头、右视摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用后视摄像头以延伸区域作为感兴趣区域识别车道线；
（2）若左视摄像头、右视摄像头和后视摄像头均无法识别车道线，且前视摄像头拍摄的当前帧图像中无车道线，结合前视摄像头上一帧图像中的车道线及车辆运动信息进行车道线跟踪；
（3）当车辆跨越车道线时，判断左视摄像头、右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能识别到，利用左右摄像头在默认的感兴趣区域识别车道线；
若左视摄像头、右视摄像头拍摄的当前帧图像中识别不到车道线，则结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪；
所述（2）中，结合前视摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取前视摄像头的上一帧图像，并在上一帧图像中的左右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置；
所述（3）中，结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取左右视摄像头的上一帧图像，并在上一帧图像中的左或右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010499330.5A CN111738102B (zh) | 2020-06-04 | 2020-06-04 | 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010499330.5A CN111738102B (zh) | 2020-06-04 | 2020-06-04 | 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738102A CN111738102A (zh) | 2020-10-02 |
| CN111738102B true CN111738102B (zh) | 2023-07-18 |
Family
ID=72648710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010499330.5A Active CN111738102B (zh) | 2020-06-04 | 2020-06-04 | 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738102B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344979B (zh) * | 2021-06-29 | 2024-04-16 | 北京搜狗科技发展有限公司 | 一种车道线跟踪方法、装置和用于车道线跟踪的装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408460A (zh) * | 2014-09-17 | 2015-03-11 | 电子科技大学 | 一种车道线检测及跟踪检测方法 |
| CN107895375A (zh) * | 2017-11-23 | 2018-04-10 | 中国电子科技集团公司第二十八研究所 | 基于视觉多特征的复杂道路线提取方法 |
| CN110443225A (zh) * | 2019-08-15 | 2019-11-12 | 安徽半问科技有限公司 | 一种基于特征像素统计的虚实车道线识别方法及其装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015117535A1 (de) * | 2014-10-17 | 2016-04-21 | Hyundai Mobis Co., Ltd. | Vorrichtung und Verfahren zur Fahrerassistenz |
| US20200120311A1 (en) * | 2017-09-18 | 2020-04-16 | Chris Pritchard | Integrated multi-view surveillance camera system for vehicles |
-
2020
- 2020-06-04 CN CN202010499330.5A patent/CN111738102B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408460A (zh) * | 2014-09-17 | 2015-03-11 | 电子科技大学 | 一种车道线检测及跟踪检测方法 |
| CN107895375A (zh) * | 2017-11-23 | 2018-04-10 | 中国电子科技集团公司第二十八研究所 | 基于视觉多特征的复杂道路线提取方法 |
| CN110443225A (zh) * | 2019-08-15 | 2019-11-12 | 安徽半问科技有限公司 | 一种基于特征像素统计的虚实车道线识别方法及其装置 |
Non-Patent Citations (4)
| Title |
|---|
| Thanda Aung等.Video Based Lane Departure Warning System using Hough Transform.《ICAET2014》.2014,全文. * |
| 余厚云 ; 张为公 ; .基于动态感兴趣区域的车道线识别与跟踪.工业仪表与自动化装置.2009,(05),全文. * |
| 余厚云 ; 张为公 ; .直线模型下的车道线跟踪与车道偏离检测.自动化仪表.2009,(11),全文. * |
| 高琪 ; 冯燕 ; 梁瑞波 ; .基于结构化道路的车道偏离实时预警算法.计算机仿真.2018,(09),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738102A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109435852B (zh) | 一种针对大型卡车的全景式辅助驾驶系统及方法 | |
| US10255509B2 (en) | Adaptive lane marker detection for a vehicular vision system | |
| Liu et al. | Rear vehicle detection and tracking for lane change assist | |
| JP5774770B2 (ja) | 車両周辺監視装置 | |
| CN104875681A (zh) | 一种基于应用场景进行车载摄像头动态控制的方法 | |
| US11912199B2 (en) | Trailer hitching assist system with trailer coupler detection | |
| WO2020037604A1 (zh) | 一种汽车盲区的监测报警方法、装置、设备及存储介质 | |
| JP2013186848A (ja) | 車両周辺監視装置 | |
| CN103942852A (zh) | 基于手机终端实现行车记录的方法及系统 | |
| US9227563B2 (en) | Backward movement indicator apparatus for a vehicle | |
| CN105355083A (zh) | 一种基于视觉的360度泊车辅助智能引导系统 | |
| US20160311443A1 (en) | Stereo camera, vehicle driving auxiliary device having same, and vehicle | |
| US20210034903A1 (en) | Trailer hitching assist system with trailer coupler detection | |
| CN111351474B (zh) | 车辆移动目标检测方法、装置和系统 | |
| CN103832380A (zh) | 一种基于机器视觉的盲区车辆检测及警告系统及方法 | |
| CN103253194A (zh) | 一种行车辅助系统 | |
| US6549124B1 (en) | Environment monitoring system for a vehicle with an image pickup device | |
| CN101408423B (zh) | 影像撷取装置角度侦测方法及其车辆碰撞警示系统 | |
| CN111738102B (zh) | 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 | |
| CN104380341A (zh) | 车辆周边对象物检测装置 | |
| JP2014146267A (ja) | 歩行者検出装置、運転支援装置 | |
| JP5166933B2 (ja) | 車両認識装置、及び車両 | |
| CN113581194A (zh) | 基于车载视觉检测的自动预警交互系统及方法 | |
| US10572967B2 (en) | Image data processing circuit and imaging circuit | |
| CN211628409U (zh) | 一种基于鱼眼镜头的大场景识别相机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |