CN103121448A - 利用车辆前方和侧方图像的车道识别率提升系统及方法 - Google Patents

利用车辆前方和侧方图像的车道识别率提升系统及方法 Download PDF

Info

Publication number
CN103121448A
CN103121448A CN2012104628932A CN201210462893A CN103121448A CN 103121448 A CN103121448 A CN 103121448A CN 2012104628932 A CN2012104628932 A CN 2012104628932A CN 201210462893 A CN201210462893 A CN 201210462893A CN 103121448 A CN103121448 A CN 103121448A
Authority
CN
China
Prior art keywords
track
place ahead
detects
vehicle
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104628932A
Other languages
English (en)
Other versions
CN103121448B (zh
Inventor
河性昱
朴赞洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN103121448A publication Critical patent/CN103121448A/zh
Application granted granted Critical
Publication of CN103121448B publication Critical patent/CN103121448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种利用车辆前方和侧方图像的车道识别率提升系统及方法。该系统及方法具体为，比较车辆前方图像中检测的前方车道与侧方图像中检测的侧方车道数量是否相同，比较结果，检测的前方车道数量少于检测的侧方车道数量时，以检测的前方车道为准生成未被检测的前方车道的虚拟车道，然后判断车辆是否偏离该检测的前方车道和虚拟车道，从而提升车道识别率。

Description

利用车辆前方和侧方图像的车道识别率提升系统及方法
技术领域
本发明涉及车用系统，尤其涉及检测车道通知驾驶者车辆是否偏离该检测车道的车道偏离预警系统（Lane Departure Warning System,LDWS）。
背景技术
车道偏离预警系统是通过车辆上安装的摄像头获取前方道路图像，从该图像检测出车道，若车辆拟偏离该检测车道则发出警报音，为帮助驾驶员恢复注意力的系统。关于车道偏离预警系统的车道偏离预警方法作为一个发明，已通过韩国专利公开公报第10-2011-0062651号得以公开。该车道偏离预警方法，其实施步骤包括：通过车内安装的摄像头输入图像；捕获该输入图像之后储存；识别车道；识别驾驶员状态和车辆周边状态；以及通过该识别的驾驶员状态和车辆周边状态判断警报条件。所述传统技术可以控制不必要的警报，而且驾驶员不注意时进行预警，使驾驶员从瞬间嗜睡或不注意的状况下也可以迅速应对处理。但如果识别车道失败，则无法判断车辆是否偏离车道。
发明内容
针对现有技术中存在的问题，本发明提供一种利用车辆前方和侧方图像的车道识别率提升系统及方法。
本发明一方面涉及的利用车辆前方图像和侧方图像的车道识别率提升系统，包括：前方拍摄部，用于拍摄车辆的前方；侧方拍摄部，用于拍摄所述车辆的左右侧方；控制部，从所述前方拍摄部的拍摄图像中检测出前方车道，从所述侧方拍摄部的拍摄图像中检测出侧方车道，所述检测的前方车道数量少于所述检测的侧方车道数量时，生成未被检测的前方车道的虚拟车道，然后判断所述车辆是否偏离所述检测的前方车道和所述生成的虚拟车道。
进一步，所述控制部是所述检测到的前方车道数量多于所述检测到的侧方车道数量时计算错误，错误值到达临界值时输出错误提示信息，并从所述前方拍摄部的前一个拍摄图像求出车道宽度，生成从所述检测到的前方车道相离所述求出的车道宽度程度的所述虚拟车道。
另一方面，本发明涉及一种利用车辆前方图像和侧方图像的车道识别率提升方法，其实施步骤包括：从车辆前方拍摄图像中检测出前方车道，从所述车辆左右拍摄图像中检测出侧方车道；对所述检测到的前方车道数量和所述检测到的侧方车道数量实施比较；比较结果，所述检测到的前方车道数量少于所述检测到的侧方车道数量时生成所述前方拍摄图像中未被检测的车道的虚拟车道；判断所述车辆是否偏离所述检测到的前方车道和所述生成的虚拟车道。
进一步，所述比较结果，所述检测到的前方车道数量多于所述检测到的侧方车道数量时计算错误，计算错误值到达临界值时输出错误提示信息。
本发明的优点在于：
本发明是以从AVM（around view monitoring）用侧方摄像头图像中检测到的车道，判断前方摄像头图像中的车道检测是否发生错误，发生错误时，以生成从前方摄像头图像未被检测的车道的虚拟车道的方法，提升车道识别率，从而提高LDWS系统的性能。
附图说明
图1是本发明一个实施例的利用车辆前方和侧方图像的车道识别率提升系统的结构图。
图2是本发明一个实施例的利用车辆前方和侧方图像的车道识别率提升方法的流程图。
图3是直道上前方拍摄区域和侧方拍摄区域的例示图。
图4是弯道上前方拍摄区域和侧方拍摄区域的例示图。
图中：
100 : 前方拍摄部； 200 : 侧方拍摄部；
300 : 储存部；     400 : 用户界面；
500 : 控制部。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一个实施例的利用车辆前方和侧方图像的车道识别改进系统的结构图。如图所示，车道识别率提升系统包括前方拍摄部100、侧方拍摄部200、储存部300、用户界面400及控制部500。前方拍摄部100是安装于适当位置用于拍摄车辆前方的前方摄像头。前方摄像头如公知的是LDWS(Lane Departure Warning System)用前方摄像头。侧方拍摄部200是安装于适当位置用于拍摄车辆左侧和右侧的左侧摄像头和右侧摄像头。该左侧摄像头和右侧摄像头可以使用环绕监测系统（Around View Monitoring，AVM）用摄像头。储存部300用于储存数据的存储器，储存本发明的车道偏离预警系统程序数据。用户界面400为用于用户输入输出的结构，可以使用触摸屏。控制部500是用于控制整个系统的控制器，运行储存部300上储存的程序数据，为车道偏离预警实施一系列进程。
下面结合图2，对车道偏离识别改进系统的总体运行进程进行说明。前方拍摄部100和侧方拍摄部200将拍摄的图像数据分别传递给控制部500。控制部500从前方拍摄部100接收车辆前方图像数据，从侧方拍摄部200接收左侧图像数据和右侧图像数据。控制部500从传递的前方图像中检测出车道（S100）。车道的检测模式上，控制部500从拍摄头的图像中，利用滤波算法提取道路上形成较亮部分的车道。为此，控制部500可以使用边缘滤波器或突出车道滤波器。边缘滤波器从图像坐标中利用X方向和Y方向的各像素之间亮度差异，从图像中找出边界。车道突出滤波器是利用明暗的平均值，与周边明暗对比，使较亮车道更加突出显示而找出车道。该车道检测模式已被广泛公开。
控制部500比较判断检测的前方车道数量和侧方车道数量是否一致（S200）。如果前方车道数量小于侧方车道数量，则表示前方车道未被准确检测。为帮助理解，下面结合图3和图4详细进行说明。如图3所示，直道上前方摄像头的拍摄区域（LDWS图像区域）610上包括左侧车道和右侧车道，侧方拍摄区域（AVM图像区域）620、630也包括左侧车道和右侧车道。因此前方车道数量与侧方车道数量相同。但如图4所示，在弯道上，前方摄像头的拍摄区域（LDWS图像区域）640只包含左侧车道，而侧方拍摄区域（AVM图像区域）（650、660则将左道车道和右侧车道全部包含。就是说，在弯道上前方车道没有被准确地检测出。
S200中判断前方车道的数量小于侧方车道的数量，则控制部500生成以检测到的前方车道为基准未被检测的前方车道的虚拟车道（S300）。检测的前方车道为左侧车道，则控制部500生成从该左侧车道向右侧相离限定宽度的前方右侧虚拟车道。与此相反，检测的前方车道为右侧车道，则控制部500生成从该右侧车道向左侧相离限定宽度的前方左侧虚拟车道。限定宽度是指车道宽度，车道宽度值可以从前方摄像头的前一个拍摄图像中求出。就是说，前方左侧车道和前方右侧车道全部被检测的前一个前方摄像头图像中，控制部500是对该车道之间的宽度进行运算而求出车道宽度值。生成虚拟车道之后，控制部500判断是否偏离检测的前方车道和虚拟车道（S400）。若判断偏离，则控制部500提示驾驶员车道偏离车道（S500）。例如，控制部500通过用户界面400上的显示画面以及/或者扬声器提示驾驶员车辆偏离车道。
另一方面，S200中判断前方车道数量不少于侧方车道的数量，控制部500会判断前方车道数量是否比侧方车道数量多（S600）。S600中如果判断前方车道数量比侧方车道数量多，则控制部500会增加错误数（S700）。计算的单位有可能是‘1’。错误数增加，则控制部500比较判断其数值是否大于临界值（S800）。计算值比临界值大，则控制部500向用户界面400输出提示LDWS功能有异常的错误提示信息（S900）。由此驾驶员可以得知LDWS功能出现异常。另一方面，所述临界值是已储存于储存部300的值，根据车速该值会有不同。例如，车速在0～40km时3，在40～80km时5，80km以上时7，而且各车速区段的错误数会分别形成。
以上实施例和附图仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所述的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例所述技术方案的范围。本发明的保护范围应根据下述的权利要求范围进行解释，而且在其同等范围内的所有技术方案应都属于本发明的权利要求范围。

Claims (5)

1.一种利用车辆前方和侧方图像的车道识别率提升系统，其特征在于，
该系统包括：
前方拍摄部，用于拍摄车辆的前方；
侧方拍摄部，用于拍摄所述车辆的左右侧方；
控制部，从所述前方拍摄部的拍摄图像中检测出前方车道，从所述侧方拍摄部的拍摄图像中检测出侧方车道，所述检测的前方车道数量少于所述检测的侧方车道数量时，生成未被检测的前方车道的虚拟车道，然后判断所述车辆是否偏离所述检测的前方车道和所述生成的虚拟车道。
2.根据权利要求1所述的利用车辆前方和侧方图像的车道识别率提升系统，其特征在于，
所述控制部是所述检测到的前方车道数量多于所述检测到的侧方车道数量时计算错误，错误值到达临界值时输出错误提示信息。
3.根据权利要求1所述的利用车辆前方和侧方图像的车道识别率提升系统，其特征在于，
所述控制部是从所述前方拍摄部的前一个拍摄图像求出车道宽度，生成从所述检测到的前方车道相离所述求出的车道宽度程度的所述虚拟车道。
4.一种利用车辆前方和侧方图像的车道识别率提升方法，其特征在于，该方法的实施步骤包括：
从车辆前方拍摄图像中检测出前方车道，从所述车辆左右拍摄图像中检测出侧方车道；
对所述检测到的前方车道数量和所述检测到的侧方车道数量实施比较；
比较结果，所述检测到的前方车道数量少于所述检测到的侧方车道数量时生成所述前方拍摄图像中未被检测的车道的虚拟车道；
判断所述车辆是否偏离所述检测到的前方车道和所述生成的虚拟车道。
5.根据权利要求4所述的利用车辆前方和侧方图像的车道识别率提升方法，其特征在于，还包括：
比较结果，所述检测到的前方车道数量多于所述检测到的侧方车道数量时计算错误，计算错误值到达临界值时输出错误提示信息。
CN201210462893.2A 2011-11-17 2012-11-16 利用车辆前方和侧方图像的车道识别率提升系统及方法 Active CN103121448B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0120178 2011-11-17
KR1020110120178A KR101936862B1 (ko) 2011-11-17 2011-11-17 차량의 전방 영상 및 측방 영상을 이용한 차선 인식 향상 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
CN103121448A true CN103121448A (zh) 2013-05-29
CN103121448B CN103121448B (zh) 2017-03-01

Family

ID=48452661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210462893.2A Active CN103121448B (zh) 2011-11-17 2012-11-16 利用车辆前方和侧方图像的车道识别率提升系统及方法

Country Status (2)

Country Link
KR (1) KR101936862B1 (zh)
CN (1) CN103121448B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584578A (zh) * 2017-09-28 2019-04-05 三星电子株式会社 用于识别行驶车道的方法和装置
CN111133439A (zh) * 2017-10-31 2020-05-08 科恩托罗尼丝株式会社 全景监视系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519277B1 (ko) 2013-12-24 2015-05-11 현대자동차주식회사 차량의 주행도로 인지 장치 및 방법
KR101673716B1 (ko) * 2014-12-15 2016-11-07 현대자동차주식회사 차량의 주행차선인지 장치 및 방법
KR102568114B1 (ko) * 2016-11-30 2023-08-18 현대오토에버 주식회사 자율 주행 제어 장치 및 방법
KR102463722B1 (ko) * 2018-02-20 2022-11-07 현대자동차주식회사 차량의 속도 설정 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128061A1 (en) * 2003-12-10 2005-06-16 Nissan Motor Co., Ltd. Vehicular image display system and image display control method
CN101135558A (zh) * 2007-09-28 2008-03-05 深圳先进技术研究院 一种基于机器视觉的汽车防撞预警方法及装置
CN101318491A (zh) * 2008-05-14 2008-12-10 合肥工业大学 嵌入式集成视觉辅助行车安全系统
CN101837780A (zh) * 2009-03-18 2010-09-22 现代自动车株式会社 使用虚拟分车道线的车道偏离报警方法和系统
WO2010134680A1 (ko) * 2009-05-19 2010-11-25 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167636A (ja) * 1997-12-03 1999-06-22 Toyota Motor Corp 車両用ライン検出装置
JP2009116816A (ja) * 2007-11-09 2009-05-28 Fujitsu Ten Ltd 異常検出装置及び異常検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128061A1 (en) * 2003-12-10 2005-06-16 Nissan Motor Co., Ltd. Vehicular image display system and image display control method
CN101135558A (zh) * 2007-09-28 2008-03-05 深圳先进技术研究院 一种基于机器视觉的汽车防撞预警方法及装置
CN101318491A (zh) * 2008-05-14 2008-12-10 合肥工业大学 嵌入式集成视觉辅助行车安全系统
CN101837780A (zh) * 2009-03-18 2010-09-22 现代自动车株式会社 使用虚拟分车道线的车道偏离报警方法和系统
WO2010134680A1 (ko) * 2009-05-19 2010-11-25 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584578A (zh) * 2017-09-28 2019-04-05 三星电子株式会社 用于识别行驶车道的方法和装置
CN109584578B (zh) * 2017-09-28 2022-11-18 三星电子株式会社 用于识别行驶车道的方法和装置
CN111133439A (zh) * 2017-10-31 2020-05-08 科恩托罗尼丝株式会社 全景监视系统
CN111133439B (zh) * 2017-10-31 2023-03-28 科恩托罗尼丝株式会社 全景监视系统

Also Published As

Publication number Publication date
KR101936862B1 (ko) 2019-04-04
CN103121448B (zh) 2017-03-01
KR20130054660A (ko) 2013-05-27

Similar Documents

Publication Publication Date Title
CN103121448A (zh) 利用车辆前方和侧方图像的车道识别率提升系统及方法
JP5594246B2 (ja) 車線認識装置
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
US20140070934A1 (en) Methods and systems for monitoring driver object detection
US20150070159A1 (en) Low-level consciousness determination system
JP2009087316A (ja) 交通流計測システム
JP5768666B2 (ja) 車両走行支援装置及び境界線認識装置
KR102452546B1 (ko) 차량의 주행 경로 생성장치 및 그 방법
WO2018116841A1 (ja) 物体検出装置
CN105966398A (zh) 一种对车辆偏离车道进行预警的方法和装置
JP2020123339A (ja) 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置
KR101818542B1 (ko) 차선 인식 신뢰도 향상 시스템 및 그 방법
JP2017151694A (ja) 安全確認診断システム及び安全確認診断方法
JPWO2013161024A1 (ja) 蛇行判定装置
JP2017151963A (ja) ドライバを支援するための方法および装置
WO2019181429A1 (ja) 障害物認識支援装置、障害物認識支援方法、記憶媒体
CN111645674B (zh) 车辆控制装置
KR20120086892A (ko) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
CN114290990A (zh) 车辆a柱盲区的障碍物预警系统、方法和信号处理装置
CN110386088A (zh) 用于执行车辆差异分析的系统和方法
KR20130094558A (ko) 차량의 움직임을 검출하는 장치 및 방법
JP5559650B2 (ja) 車線推定装置
JP2008257635A (ja) 車両用警告装置
WO2023029468A1 (zh) 车辆行驶提示
KR101869084B1 (ko) 하이패스 차선 인식 가능한 차선 이탈 경보 시스템 및 하이패스 차선 인식 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant