CN111738102A - 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 - Google Patents

一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 Download PDF

Info

Publication number
CN111738102A
CN111738102A CN202010499330.5A CN202010499330A CN111738102A CN 111738102 A CN111738102 A CN 111738102A CN 202010499330 A CN202010499330 A CN 202010499330A CN 111738102 A CN111738102 A CN 111738102A
Authority
CN
China
Prior art keywords
lane line
view camera
camera
current frame
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010499330.5A
Other languages
English (en)
Other versions
CN111738102B (zh
Inventor
刘永红
周帝
陈有炼
杨文钦
蔡俊锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tung Thih Electron Xiamen Co Ltd
Original Assignee
Tung Thih Electron Xiamen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tung Thih Electron Xiamen Co Ltd filed Critical Tung Thih Electron Xiamen Co Ltd
Priority to CN202010499330.5A priority Critical patent/CN111738102B/zh
Publication of CN111738102A publication Critical patent/CN111738102A/zh
Application granted granted Critical
Publication of CN111738102B publication Critical patent/CN111738102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其通过AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，有效解决了现有技术中存在的车道线漏识别问题，提高行车安全性。

Description

一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法
技术领域
本发明涉及汽车行车安全技术领域，具体涉及一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法。
背景技术
随着汽车的普及率越来越高，人们对行车安全也是越来越重视。360度全景影像系统(AVM)实现无盲区行驶，车道偏移预警系统(LDWS)提供智能的车道偏离预警，两者结合在一起应时而出。
目前，LDWS与AVM结合再一起时，LDWS一般仅利用AVM系统的前视摄像头。通过观察发现，目前的LDWS再使用过程中存在以下问题：
1、前视摄像头能有效识别车道线的距离仅有7~8米，故在白色虚线9米间隔处，看不到前方的车道线。
2、前视摄像头左右方向能有效识别车道线距离仅有2.5~3米，所以当车辆跨越车道线时，无法识别另一侧的车道线。
也就是说，目前基于AVM的LDWS会存在漏识别导致漏报警的问题，既有可能引发安全事故。
有鉴于此，本发明人针对上述LDWS存在的问题而深入构思，遂有本案产生。
发明内容
针对现有技术存在的问题，本发明的目的在于提供一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其能避免车道线漏识别问题，提高行车的安全性。
为实现上述目的，本发明采用的技术方案：
一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其利用AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，具体如下：
（1）当车辆在一车道内正常行驶时，若前视摄像头拍摄的当前帧图像中识别不到车道线，判断左视摄像头和右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能，则调取前视摄像头的上一帧图像，并将前摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用左视摄像头、右视摄像头以该延伸区域作为感兴趣区域识别车道线；
若左摄像头和右视摄像头拍摄的当前帧图像中也识别不到车道线，则调取左视摄像头、右视摄像头的上一帧图像，并将该左视摄像头、右视摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用后视摄像头以延伸区域作为感兴趣区域识别车道线；
（2）若左视摄像头、右视摄像头和后视摄像头均无法识别车道线，且前视摄像头拍摄的当前帧图像中无车道线，结合前视摄像头上一帧图像中的车道线及车辆运动信息进行车道线跟踪；
（3）当车辆跨越车道线时，判断左视摄像头、右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能识别到，利用左右摄像头在默认的感兴趣区域识别车道线；
若左视摄像头、右视摄像头拍摄的当前帧图像中识别不到车道线，则结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪。
所述（2）中，结合前视摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取前视摄像头的上一帧图像，并在上一帧图像中的左右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
所述（3）中，结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取左右视摄像头的上一帧图像，并在上一帧图像中的左或右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
采用上述方案后，本发明通过AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，有效解决了现有技术中存在的车道线漏识别问题，提高行车安全性。
附图说明
图1为前视摄像头无法识别车道线而左视右视摄像头能够识别车道线的场景示意图；
图2为前视摄像头、左视右视摄像头无法识别车道线而后视摄像头能够识别车道线的场景示意图；
图3为前视摄像头无法识别车道线而左视右视后视摄像头始终无法识别车道线的场景示意图；
图4为车辆跨越车道线而左视右视摄像头能够识别车道线的场景示意图一；
图5为车辆跨越车道线而左视右视摄像头能够识别车道线的场景示意图二；
图6为车辆跨越车道线而左视右视摄像头无法识别车道线的场景示意。
具体实施方式
本发明揭示了一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其利用AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，其具体如下：
（1）当车辆在一车道内正常行驶时，若前视摄像头拍摄的当前帧图像中识别不到车道线，判断左视摄像头和右视摄像头拍摄的当前帧图像中是否能够识别到车道线。
若左视摄像头、右视摄像头拍摄到的当前帧图像中能够识别到车道线（如图1所示的场景），先调取前视摄像头的上一帧图像，并将前摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用左视摄像头、右视摄像头以该延伸区域作为感兴趣区域识别车道线；为了快速识别左右视摄像头视野内的车道线,需要减少检测的视野区域,即缩小感兴趣区域,可以通过建立前视摄像头和左右视摄像头统一的空间坐标,从而可以定位前摄像头上一帧图像中的车道线,在左右摄像头当前帧图像中的大致位置,然后在该位置附近区域检测识别车道线。
若左右摄像头和右视摄像头拍摄的当前帧图像中也识别不到车道线（如图2所示的场景，车辆位于白色虚线间隔处），则调取左视摄像头、右视摄像头的上一帧图像，并将该左视摄像头、右视摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用后视摄像头以延伸区域作为感兴趣区域识别车道线。
（2）如图3所示，当车辆处于无路灯的低照度环境下，只有前视摄像头通过自车车灯的照明才能识别车道线，左视摄像头、右视摄像头和后视摄像头均无法识别车道线。此时，若前视摄像头拍摄的当前帧图像中无车道线，可以结合前视摄像头上一帧图像中的车道线及车辆运动信息进行车道线跟踪。该车道线跟踪具体如下：
调取前视摄像头的上一帧图像，并在上一帧图像中的左右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
（3）当车辆跨越车道线时，前视摄像头识别不到车道线，判断左视摄像头、右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能识别到（如图4和图5所示的场景），利用左右摄像头在默认的感兴趣区域识别车道线。
若左视摄像头、右视摄像头拍摄的当前帧图像中识别不到车道线（如图6所示的场景，该场景中车辆于白色虚线间隔处跨越车道线），则结合左右视摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪。
具体如下：调取左右视摄像头的上一帧图像，并在上一帧图像中的左或右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
本发明的关键在于，本发明通过AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，有效解决了现有技术中存在的车道线漏识别问题，提高行车安全性。
以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (3)

1.一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其特征在于：所述方法利用AVM的前视摄像头、左视摄像头、右视摄像头和后视摄像头并结合相邻帧图像进行车道线识别及跟踪，具体如下：
（1）当车辆在一车道内正常行驶时，若前视摄像头拍摄的当前帧图像中识别不到车道线，判断左视摄像头和右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能，则调取前视摄像头的上一帧图像，并将前摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用左视摄像头、右视摄像头以该延伸区域作为感兴趣区域识别车道线；
若左摄像头和右视摄像头拍摄的当前帧图像中也识别不到车道线，则调取左视摄像头、右视摄像头的上一帧图像，并将该左视摄像头、右视摄像头上一帧图像中的车道线往后延伸，形成延伸区域；再利用后视摄像头以延伸区域作为感兴趣区域识别车道线；
（2）若左视摄像头、右视摄像头和后视摄像头均无法识别车道线，且前视摄像头拍摄的当前帧图像中无车道线，结合前视摄像头上一帧图像中的车道线及车辆运动信息进行车道线跟踪；
（3）当车辆跨越车道线时，判断左视摄像头、右视摄像头拍摄的当前帧图像中是否能够识别到车道线，若能识别到，利用左右摄像头在默认的感兴趣区域识别车道线；
若左视摄像头、右视摄像头拍摄的当前帧图像中识别不到车道线，则结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪。
2.根据权利要求1所述的一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其特征在于：所述（2）中，结合前视摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取前视摄像头的上一帧图像，并在上一帧图像中的左右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
3.根据权利要求1所述的一种基于AVM摄像头的LDWS车道线识别及跟踪的实现方法，其特征在于：所述（3）中，结合左右摄像头上一帧图像识别到的车道线及车辆运动信息进行车道线跟踪的方法如下：
调取左右视摄像头的上一帧图像，并在上一帧图像中的左或右车道线上各取两个像素点作为跟踪点；并将该跟踪点的像素坐标转换为世界坐标；获取车身数据及车辆运动信息，并根据该车身数据及车辆运动信息，计算车辆从上一帧图像到当前帧图像的时间内的位移，从而得到跟踪点在当前帧中的世界坐标；最后将当前帧中的跟踪点的世界坐标转换为像素坐标，根据该跟踪点在当前帧中的像素坐标即可确定当前帧的车道线位置。
CN202010499330.5A 2020-06-04 2020-06-04 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法 Active CN111738102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010499330.5A CN111738102B (zh) 2020-06-04 2020-06-04 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010499330.5A CN111738102B (zh) 2020-06-04 2020-06-04 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法

Publications (2)

Publication Number Publication Date
CN111738102A true CN111738102A (zh) 2020-10-02
CN111738102B CN111738102B (zh) 2023-07-18

Family

ID=72648710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010499330.5A Active CN111738102B (zh) 2020-06-04 2020-06-04 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法

Country Status (1)

Country Link
CN (1) CN111738102B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344979A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408460A (zh) * 2014-09-17 2015-03-11 电子科技大学 一种车道线检测及跟踪检测方法
US20160107689A1 (en) * 2014-10-17 2016-04-21 Hyundai Mobis Co., Ltd. Apparatus and method for driver assistance
CN107895375A (zh) * 2017-11-23 2018-04-10 中国电子科技集团公司第二十八研究所 基于视觉多特征的复杂道路线提取方法
CN110443225A (zh) * 2019-08-15 2019-11-12 安徽半问科技有限公司 一种基于特征像素统计的虚实车道线识别方法及其装置
US20200120311A1 (en) * 2017-09-18 2020-04-16 Chris Pritchard Integrated multi-view surveillance camera system for vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408460A (zh) * 2014-09-17 2015-03-11 电子科技大学 一种车道线检测及跟踪检测方法
US20160107689A1 (en) * 2014-10-17 2016-04-21 Hyundai Mobis Co., Ltd. Apparatus and method for driver assistance
US20200120311A1 (en) * 2017-09-18 2020-04-16 Chris Pritchard Integrated multi-view surveillance camera system for vehicles
CN107895375A (zh) * 2017-11-23 2018-04-10 中国电子科技集团公司第二十八研究所 基于视觉多特征的复杂道路线提取方法
CN110443225A (zh) * 2019-08-15 2019-11-12 安徽半问科技有限公司 一种基于特征像素统计的虚实车道线识别方法及其装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
THANDA AUNG等: "Video Based Lane Departure Warning System using Hough Transform" *
余厚云;张为公;: "基于动态感兴趣区域的车道线识别与跟踪" *
余厚云;张为公;: "直线模型下的车道线跟踪与车道偏离检测" *
高琪;冯燕;梁瑞波;: "基于结构化道路的车道偏离实时预警算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344979A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113344979B (zh) * 2021-06-29 2024-04-16 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置

Also Published As

Publication number Publication date
CN111738102B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
US11634136B2 (en) Vehicular trailer hitching assist system
US10255509B2 (en) Adaptive lane marker detection for a vehicular vision system
KR100414708B1 (ko) 화상합성장치 및 방법
US10956757B2 (en) Image processing device, outside recognition device
JP4707109B2 (ja) 複数カメラ撮影画像処理方法及び装置
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
EP1035455A1 (en) Rear monitoring system
US10783382B2 (en) Systems and methods for buffer-free lane detection
US20130300872A1 (en) Apparatus and method for displaying a blind spot
JP5546321B2 (ja) 複数カメラ画像使用車外表示装置
US10583779B2 (en) Parking assist system using backup camera
JP4980970B2 (ja) 撮像手段の調整装置および物体検出装置
US6549124B1 (en) Environment monitoring system for a vehicle with an image pickup device
CN112937445B (zh) 360°车辆安全辅助方法及车载系统
CN102303563A (zh) 前车碰撞预警系统及方法
CN101408423B (zh) 影像撷取装置角度侦测方法及其车辆碰撞警示系统
CN111738102B (zh) 一种基于avm摄像头的ldws车道线识别及跟踪的实现方法
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
JP4798576B2 (ja) 付着物検出装置
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
EP3081433A1 (en) An improved camera module for vehicle
CN115482684A (zh) 一种安全行车操控方法及系统
CN114582146A (zh) 红绿灯剩余时长智能提醒方法、系统、存储介质及汽车
CN110414487B (zh) 一种识别车道线的方法及装置
TWM293184U (en) Wide-angle movement detection system on the sides of cars

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant