JP2011180982A - 区画線検出装置 - Google Patents

区画線検出装置 Download PDF

Info

Publication number
JP2011180982A
JP2011180982A JP2010046664A JP2010046664A JP2011180982A JP 2011180982 A JP2011180982 A JP 2011180982A JP 2010046664 A JP2010046664 A JP 2010046664A JP 2010046664 A JP2010046664 A JP 2010046664A JP 2011180982 A JP2011180982 A JP 2011180982A
Authority
JP
Japan
Prior art keywords
lane marking
road surface
edge
lane
edge points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010046664A
Other languages
English (en)
Other versions
JP4962581B2 (ja
Inventor
Shunsuke Suzuki
俊輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010046664A priority Critical patent/JP4962581B2/ja
Priority to US12/932,607 priority patent/US8520954B2/en
Priority to DE102011004946A priority patent/DE102011004946A1/de
Publication of JP2011180982A publication Critical patent/JP2011180982A/ja
Application granted granted Critical
Publication of JP4962581B2 publication Critical patent/JP4962581B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】高い精度で区画線を検出する区画線検出装置を提供する。
【解決手段】画像処理ECUは、路面画像のデータを取得し(S10)、取得した路面画像に基づいてエッジ点を抽出する(S12)。次に、動作モードを判断し(S14)、破線モード,フレーム加算モードのいずれかであれば(S14:YES)、フレーム加算処理を行う(S18、S20)。続いて、エッジ線の抽出を行う(S22)。ここでは、エッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。なお、このS22にて抽出されたエッジ線が区画線となる。次に、警報処理を行い(S24)、車両が車線から逸脱する危険ありと判定すれば、ブザーに対してブザー要求の制御信号を出力する。
【選択図】図2

Description

本発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。
従来、車両前方の路面を撮影した路面画像を画像処理して区画線を検出する区画線検出装置が提案されている。区画線とは、車両の走行車線などを区切る線であって、走行車線に沿って配置される実線や破線からなる白線等のペイント、または走行車線に沿って間欠的に配置される道路鋲などによって構成される。
区画線検出装置は、白線等のペイントや道路鋲などを示すエッジ点を抽出し、抽出された複数のエッジ点に基づいて区画線を検出する。区画線検出装置によって検出された区画線は、車両の進行方向や速度、操舵角などの挙動情報と組み合わせて、車両が区画線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。
ところで、上記区画線が、ペイント長さが短くギャップが長い破線や、点在する道路鋲などによって構成されている場合、路面画像における画像処理範囲内にそれら区画線の構成物が十分に入らず、区画線が正しく認識できない場合がある。
そこで、従来、過去の路面画像を最新のフレームに重ねて(フレームを加算して)、その重ねたフレームから区画線を検出する道路区画線検出装置が提案されている(特許文献1参照)。この装置は、区画線の構成物の数(エッジ点の数)を増やすことで、区画線の検出精度を上げることを目的としている。
特開2006−350571号公報
上記特許文献1に記載の装置では、カメラが撮影した画像からエッジ点を抽出し、そのエッジ点を適宜結ぶことで線状のエッジ線(区画線)を生成する。しかしながら、フレームの加算は、1つのフレームのエッジ点から線状のエッジ線を生成できないときに限り行うように構成されているため、エッジ点の抽出量が十分でない場合であっても、エッジ線が生成できればフレームの加算を行わず、少ないエッジ点に基づいてエッジ線が生成された場合にその検出精度が落ちてしまうという問題があった。
本発明は、上述した問題に鑑みてなされたものであり、その目的は、高い精度で区画線を検出する区画線検出装置を提供することである。
上述した問題を解決するためになされた請求項1に記載の発明は、車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置に関する。この区画線検出装置は、路面画像を繰り返し取得して、その取得された路面画像からエッジ点を抽出し、抽出されたエッジ点に基づいて、区画線を検出する。そして、1つのフレームの路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置するエッジ点の数が所定のしきい値以下である場合に、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出することを特徴とする。
このように構成された区画線検出装置では、1つのフレームの路面画像(以降、単にフレームという場合がある)に基づいて検出された区画線上に位置するエッジ点が所定のしきい値よりも少ない場合、即ち、少ないエッジ点によって区画線が検出されていて、区画線が正確に検出されていない可能性が高い場合には、複数のフレームに基づいて区画線を検出する。そのため、高い精度で区画線を検出することができる。
また、区画線上に所定のしきい値よりも多くのエッジ点が検出されており、区画線が正確に検出されていることが期待できる場合には、1つのフレームから区画線を検出するため、不必要な処理を行うことなく処理負荷を低減することができる。
上述した「区画線上に位置するエッジ点」とは、例えば、路面画像における複数のエッジ点に基づいて抽出されたエッジ線(区画線)から所定の距離以内に存在するエッジ点を上記エッジ点とすることが考えられる。また、ハフ変換を行う場合にはエッジ線に投票したエッジ点を上記エッジ点としてもよい。
なお、複数のフレームに基づいて区画線を検出することは、区画線上のエッジ点の数が少ない場合に限られない。例えば、請求項2に記載の区画線検出装置のように、1つのフレームの路面画像から抽出されたエッジ点に基づく区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合に、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出するように構成してもよい。
このように構成された区画線検出装置であれば、1つのフレームに基づいて区画線が検出できない場合であっても、複数のフレームを用いることによって区画線を検出できるようになる。従って、区画線上のエッジ点の数が少ない場合のみでなく、広く必要な場面において複数のフレームに基づく区画線検出ができるようになる。
上記区画線上のエッジ点が少ない場合と、区画線が検出できない場合と、で同じ数のフレームを用いて区画線を検出してもよいが、フレームの数を変更してもよい。例えば、請求項3に記載の区画線検出装置のように、1つのフレームの路面画像から抽出されたエッジ点に基づく区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合においては、1つのフレームの路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置するエッジ点の数が所定のしきい値以下である場合よりも多くの路面画像から抽出されたエッジ点に基づいて区画線を検出するように構成してもよい。
このように構成された区画線検出装置であれば、1つのフレームに基づいて区画線を検出できないとき、即ちエッジ点の不足度合が大きい場合には比較的多数のフレームからエッジ点を抽出する一方、1つのフレームに基づいて区画線が検出できるとき、即ちエッジ点の不足度合が比較的小さい場合には比較的少数のフレームからエッジ点を抽出する。
従って、エッジ点の不足度合に応じて適切な数のフレームを加算することができるため、エッジ点が非常に不足している場合において少数のフレームしか加算せずにエッジが不足して区画線の検出精度が低くなってしまうことや、必要以上にフレームを加算してしまい処理付加が大きくなってしまうことを抑制できる。
ところで、フレームを加算するにあたって、車両が区画線に沿って走行している場合には、区画線と路面画像との位置関係が一定であるため、フレームを単純に重ねることで適当な位置にエッジ点を増加させることができるが、車両の進行方向と区画線とが交差している場合のように、車両が移動すると区画線と路面画像との位置関係が変化する場合には、フレームを単純に重ねると、加えられたフレームのエッジ点の位置が適切な位置とならない場合がある。
そこで、請求項4に記載の区画線検出装置のように構成してもよい。この区画線検出装置は、検出された区画線と、車両の進行方向と、がなす角度を検出する機能、および、1つのフレームの路面画像を取得したときからの走行距離を取得する機能を有している。そして、時系列的に連なる複数のフレームの路面画像から抽出されたエッジ点に基づいて区画線を検出するときには、上述した角度および走行距離に基づいて、車両の進行方向と交差する方向に対する、区画線の車両を基準とする移動量を算出し、算出された移動量に応じて、複数のフレームの路面画像それぞれから抽出されるエッジ点の位置を移動し、当該移動されたエッジ点に基づいて区画線を検出することを特徴とする。
このように構成された区画線検出装置であれば、車両の進行方向と区画線とが交差している場合であっても、加算したフレームのエッジ点の位置を適切な位置とすることができるため、高い精度で区画線を検出することができる。
車線逸脱警報システムの構成を示すブロック図である。 画像処理ECUによる逸脱警報処理の処理手順を示すフローチャートである。 路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。 路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。 路面画像のフレームを加算して区画線を検出する手法を説明する図であって、車両を上方から見た図である。
以下に本発明の実施形態を図面と共に説明する。ただし、以下に説明する実施形態は、あくまでも例示にすぎず、本発明が、下記の事例以外にも様々な形態で実施できるのはもちろんである。
[実施例]
(1)車線逸脱警報システム1の構成
車線逸脱警報システム1は、自動車等の車両に搭載されて用いられる装置であって、図1に示すように、CANによる車内ネットワーク10と、画像センサ12と、ブザー14と、を有している。
車内ネットワーク10は、車両の旋回方向への角速度(即ち、ヨーレート)を検出するヨーセンサ20と、車両の走行速度を検出する車速センサ22と、を有している。
画像センサ12は、カメラ30と、カメラ30が撮影した画像を処理し、ブザー14にブザー要求の制御信号を出力する画像処理ECU32と、からなる。なお、この画像処理ECU32が本発明における区画線検出装置に相当する。
カメラ30は、車両の例えば中央前方側に装着されて、車両前方の路面を含む風景を所定の時間間隔(本実施例では1/10s)で繰り返し撮影して、その路面画像のデータ(以降、当該データを路面画像という場合がある)を画像処理ECU32に出力するものである。カメラ30としては、例えば可視画像を取得することができるCCDカメラや撮像管を用いたカメラ、または赤外線画像を取得することができる赤外線カメラなどを用いることができる。
画像処理ECU32は、図示しないCPU,ROM,RAM,入出力インターフェース,およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されている。
画像処理ECU32は、ROMから読み込んだアプリケーションプログラムやRAMに格納された各種データに従って、後述する逸脱警報処理などを実行する
また画像処理ECU32は車内ネットワーク10と接続しており、ヨーセンサ20および車速センサ22と通信して各センサの出力値を取得する。
また画像処理ECU32はブザー14と接続しており、逸脱警報処理において警報を行うべきと判断された際に、ブザー要求の制御信号を出力する。
ブザー14は、画像処理ECU32より上記制御信号を受信すると、車両内部に警報音を発報させる。
(2)画像処理ECU32による処理
以下に、画像処理ECU32により実行される逸脱警報処理の処理手順を、図2に基づいて説明する。この逸脱警報処理は、車両のアクセサリスイッチがオンにされることで画像センサ12に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
この逸脱警報処理では、まず、路面画像のデータをカメラ30から取得する(S10)。
次に、S10にて取得した路面画像に基づいてエッジ点を抽出する(S12)。エッジ点を抽出する具体的な手法は特に限定されないが、路面画像から例えばキャニー法や微分エッジ検出法などを用いて抽出することができる。
次に、動作モードが破線モード,またはフレーム加算モードであるか否かを判断する(S14)。画像処理ECU32の動作モードは、通常モード,破線モード,フレーム加算モードのいずれかであって、以降の処理(S28、S34、S36)において設定される。動作モードによって路面画像から区画線を検出するための具体的な処理が変更されるが、詳細は後述する。なお、初期状態では通常モードとして設定される。
このS14においては、動作モードが破線モード,フレーム加算モードのいずれでもなければ(S14:NO)、即ち動作モードが通常モードに設定されていれば、処理がS22に移行する。一方、破線モード,フレーム加算モードのいずれかであれば(S14:YES)、処理がS16に移行する。
次に、前回のフレームにて検出したエッジ線が傾いているか否かを判定する(S16)。前回のフレームとは、路面画像の最新フレームを取得した直前のS10のさらに1回前のS10の処理にて取得された、最新フレームの1つ過去に撮影されたフレームである。
上記路面画像は、直前のS22(逸脱警報処理全体がループする前のS22)においてエッジ線が抽出されている。ここではまず、その既に抽出されたエッジ線と、車両の進行方向と、がなす角度を測定する。この角度は、路面画像におけるエッジ線の位置から求めることができる。そして、測定された角度が所定の角度(例えば5°)以上傾いていたときに、エッジ線が傾いていると判定する。
所定の角度以上エッジ線が傾いていなければ(S16:NO)、傾きを考慮しない通常のフレーム加算処理を行う(S18)。
図3に、本実施例の車線逸脱警報システム1においてカメラ30が撮影した、時系列的に連なる路面画像のフレームを加算して区画線を検出する手法を説明するための図を示す。図3(A)は路面画像が撮影されたタイミングにおける車両40の周囲の状況を示しており、図3(B)はその次のフレームが撮影されたタイミングの状況を示している。なお区画線42は説明のために記載した線であって、実際の道路上に存在する線ではない。
車両40が道路上の区画線に沿って走行している場合には、車両40と区画線42との位置関係は変化しない。よって、図3(A)における区画線42を構成する破線44は、図3(B)に示す破線44aのように、車両40の進行方向と反対向きに移動するものの、区画線42上に位置している。
ここで、2つのフレームを重ねて、図3(B)における図3(A)の破線44と同じ位置に破線44bを重ね合わせると、破線44aと破線44bとがいずれも区画線42上に正しく配置されることとなる。よって、破線44aおよび破線44bのエッジ点を用いてエッジ線を抽出することで、区画線42を高い精度で検出することができる。
上述した手法を用いるために、S18では、直前のS12にて抽出されたエッジ点と、過去のS12において抽出された過去のフレームのエッジ点と、を重ね合わせる(以降、この処理を、フレーム加算ともいう)。なお、動作モードが破線モードのときには、過去1フレームのエッジ点を最新のフレームのエッジ点と重ね合わせるが、動作モードがフレーム加算モードのときには、過去2フレーム分のエッジ点を重ね合わせる。その後、処理がS22に移行する。
また、上記S16において所定の角度以上エッジ線が傾いていれば(S16:YES)、傾きを考慮したフレーム加算処理を行う(S20)。
図4および図5に、車両40が道路上の区画線と交差する方向に走行する場合において、カメラ30が撮影した時系列的に連なる路面画像のフレームを加算して区画線を検出する手法を説明するための図を示す。図4(A)は路面画像が撮影されたタイミングにおける車両40の周囲の状況を示しており、図4(B)はその次のフレームが撮影されたときの状況を示している。
車両40が道路上の区画線と交差する方向に走行する場合、図4(A)における区画線42を構成する破線44は、車両40の進行方向と反対向きに移動して、図4(B)に示す破線44aの位置となる。
このとき、図4(B)において、図4(A)の破線44と同じ位置に破線44bを重ね合わせると、破線44aと破線44bと同一の区画線42上に存在しなくなる。
そこで、このS20では、図5(A)、(B)に示す手法により、破線44aと破線44bとのずれがなくなるように重ねるエッジ点の位置を修正する。本実施例では、破線44aを車両40の進行方向と直交する方向に移動量Bだけ移動させる。この移動量Bは、車両40が図5(A)のタイミングから図5(B)のタイミングまで走行する間に、車両40の進行方向と直交する方向に対する区画線42の車両40を基準とする移動量(距離)であって、車両40が上記期間に進んだ距離Dと、車両40の進行方向と区画線42とのなす傾きの角度Aと、から、以下の式にて算出することができる。
B=DtanA
上述した手法を用いるために、このS20では、直前のS12にて抽出された最新フレームのエッジ点と、過去のS12において抽出された過去のフレームのエッジ点を移動量B移動させたものと、を重ね合わせる。
具体的には、距離Dは、過去フレームを撮影してから最新フレームを撮影するまでの時間と、車速センサ22から取得した走行速度と、に基づいて算出できる。また、角度AはS16にて求めた角度である。
なお、動作モードが破線モードのときには、過去1フレームのエッジ点を最新のフレームのエッジ点と重ね合わせるが、動作モードがフレーム加算モードのときには、過去2フレームのエッジ点を重ね合わせる。その後、処理がS22に移行する。
続いて、エッジ線の抽出を行う(S22)。ここでは、エッジ点をハフ変換して、一番多くエッジ点を通るエッジ線を抽出する。通常モードの場合にはS12にて抽出したエッジ点を用い、破線モードおよびフレーム加算モードではS18またはS20にてフレーム加算したエッジ点を用いる。なお、このS22にて抽出されたエッジ線が区画線となる。
次に、警報処理を行う(S24)。ここでは、まず、算出した区画線の位置に基づき車両から区画線までの距離を算出する。
次に、ヨーセンサ20から取得したヨーレートおよび車速センサ22から取得した車両速度に基づいて、車両の走行軌跡を予測する。次に、算出した区画線の位置と、車両から区画線までの距離と、予測した走行軌跡と、に基づいて車両が区画線を逸脱するまでに要する時間を算出する。
そして、算出した区画線を逸脱するまでの時間が所定のしきい値(本実施例では1秒)以上であれば、逸脱しないと判定し、警報動作を行わず処理がS26に移行する。一方、しきい値未満であれば、逸脱の危険ありと判定し、ブザー14に対してブザー要求の制御信号を出力する。その後、処理がS26に移行する。
次に、S22のエッジ線を抽出する処理によって、エッジ線が存在するか否かを判断する(S26)。本実施例ではエッジ点をハフ変換することでエッジ線を抽出しているが、エッジ点が少ない場合など、エッジ線が抽出できない場合がある。
S26においてエッジ線が存在していなければ(S26:NO)、即ち直線を認識できるように適当にエッジ点が検出されておらず、S22にてエッジ線の抽出が不可能であれば、動作モードを「フレーム加算モード」に設定し(S28)、処理がS10に戻る。
また、エッジ線が存在していれば(S26:YES)、即ち直線を認識できるように適当にエッジ点が検出されており、S22にてエッジ線の抽出ができていれば、処理がS30に移行する。
次に、エッジ線上のエッジ点数が第1のしきい値(本実施例においては、3点)以上であるか否かを判断する(S30)。ここでは、S22にて抽出したエッジ線上に、直前のS10にて取得された路面画像に基づくエッジ点がいくつ存在するかをカウントする。S18,S20においてフレーム加算した過去フレームのエッジ点はカウントしない。
なお、エッジ点がエッジ線上にあるか否かの判断は、そのエッジ点がエッジ線から所定の距離以内に存在するか否かにより判断する。なお、S22にて抽出されたエッジ線に対してハフ変換時に投票したエッジ点を、上記エッジ線上にあるエッジ点と判断してもよい。
エッジ点の数が第1のしきい値以上でなければ(S30:NO)、動作モードを「フレーム加算モード」に設定し(S28)、処理がS10に戻る。一方、エッジ点の数が第1のしきい値以上であれば(S30:YES)、処理がS32に移行する。
なお、上記第1のしきい値は、動作モードを「フレーム加算モード」から「破線モード」または「通常モード」に再設定する際の判断基準となる値である。よって、その値は少なくともエッジ点が検出可能となる値に設定しておくことが好ましい。
次に、エッジ線上のエッジ点数が第2のしきい値(本発明における所定のしきい値に対応するしきい値であって、本実施例においては5点)以上であるか否かを判断する(S32)。ここでは、上記S30の処理と同様に、直前のS10にて取得された路面画像に基づくエッジ点のみをカウントする。
エッジ点の数が第2のしきい値以上であれば(S32:YES)、動作モードを「通常モード」に設定し(S34)、処理がS10に戻る。また、エッジ点の数が第2のしきい値以上でなければ(S32:NO)、動作モードを「破線モード」に設定し(S36)、処理がS10に戻る。
(3)発明の効果
このように構成された車線逸脱警報システム1では、逸脱警報処理のS10にて取得された1フレームの路面画像から抽出されたエッジ点が、エッジ線(区画線)上に第2のしきい値以上ある場合(S32においてYESとなる場合)を除く広い場合において、複数のフレームの路面画像に基づいて区画線を検出する。
従って、区画線が破線やボッツドッツなどの間欠的に配置されるものから構成されているなどの理由により、1フレームからはエッジ点が十分に検出されていない場合であっても、複数フレームに基づく多数のエッジ点から高い精度で区画線を検出することができる。
また、区画線上のエッジ点の数が第2のしきい値以上ある場合は、1フレームにて区画線を正確に検出することが期待できるためフレームを加算する処理を実行せず、処理負荷を低減することができる。
また、上記車線逸脱警報システム1では、破線モードの場合とフレーム加算モードの場合とで加算するフレーム数を変更している。エッジ点の不足度合が比較的小さい破線モードの場合には、加算するフレーム数が少ないため、必要以上にフレームを加算してしまい処理付加が大きくなってしまうことを抑制できる。また、エッジ点の不足度合が大きいフレーム加算モードの場合には、加算するフレーム数が多いため、フレーム数が不足して区画線の検出精度が低くなってしまうことを抑制できる。
また、上記車線逸脱警報システム1では、エッジ線が車両の進行方向から所定の角度以上傾いている場合には、その傾きを考慮したフレーム加算を行うため、加算したフレームのエッジ点の位置が適切な位置となり、高い精度で区画線を検出することができる。
(4)対応関係
画像処理ECU32により実行されるS10の処理が、本発明の画像取得手段による処理に相当し、S12の処理がエッジ抽出手段による処理に相当し、S18〜S22の処理が検出手段による処理に相当し、S16において区画線と車両の進行方向とがなす角度を検出する処理が角度検出手段による処理に相当し、S20において距離Dを算出する処理が走行距離取得手段による処理に相当する。
[変形例]
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば、上記実施例においては、逸脱警報処理のS18およびS20において、フレーム加算を行う際には、過去フレームのエッジ点のみを重ねる構成を例示したが、路面画像自体を重ねる構成であってもよい。S20においては、算出した移動量Bの分だけ路面画像をずらして重ねる構成とすることが考えられる。
また、上記実施例においては、エッジ線を抽出するための数学的手法としてハフ変換処理を行っているが、それ以外の処理や手法によってエッジ線を抽出する構成であってもよい。
また、上記実施例においては、加算するフレームの数を、破線モードの場合に1、フレーム加算モードの場合に2、と設定されている構成を例示したが、それ以外の数であってもよいし、破線モードの場合とフレーム加算モードの場合とが同じ数であってもよい。
また、上記実施例においては、S30における第1のしきい値として3を設定し、S32における第2のしきい値として5を設定しているが、第2のしきい値が第1のしきい値よりも大きく設定されていれば、当然これら以外の値を採用することもできる。
また、上記実施例においては、S20におけるフレーム加算時にエッジ点を移動させる方向は車両の進行方向と直交する方向である構成を例示したが、車両の進行方向と同一の方向ではなく交差する方向であれば、車両の進行方向の直交方向に限られない。例えば区画線と直交する方向にエッジ点を移動させる構成であってもよい。
また、上記実施例においては、図3から図5において、破線に基づいてエッジ線を抽出し、そのエッジ線から区画線を検出する構成を例示したが、破線以外に基づいて区画線を検出することも当然可能である。破線以外には、実線からなるペイント線や、ボッツドッツ,キャッツアイ,道路鋲などの区画線構成物から区画線を検出することができる。
1…車線逸脱警報システム、10…車内ネットワーク、12…画像センサ、14…ブザー、20…ヨーセンサ、22…車速センサ、30…カメラ、32…画像処理ECU、40…車両、42…区画線、44…破線、44a…破線、44b…破線

Claims (4)

  1. 車両前方の路面を撮影した路面画像に基づいて区画線を検出する区画線検出装置であって、
    前記路面画像を繰り返し取得する画像取得手段と、
    前記画像取得手段により取得された前記路面画像からエッジ点を抽出するエッジ抽出手段と、
    前記エッジ抽出手段により抽出されたエッジ点に基づいて、前記区画線を検出する検出手段と、を備え、
    前記検出手段は、1つのフレームの前記路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置する前記エッジ点の数が所定のしきい値以下である場合に、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
    ことを特徴とする区画線検出装置。
  2. 前記検出手段は、1つのフレームの前記路面画像から抽出されたエッジ点に基づく前記区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合に、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
    ことを特徴とする請求項1に記載の区画線検出装置。
  3. 前記検出手段は、1つのフレームの前記路面画像から抽出されたエッジ点に基づく前記区画線の検出が、所定の数学的手法を用いた処理によって不可能である場合においては、1つのフレームの前記路面画像から抽出されたエッジ点に基づいて検出された区画線上に位置する前記エッジ点の数が所定のしきい値以下である場合よりも多くの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出する
    ことを特徴とする請求項2に記載の区画線検出装置。
  4. 前記検出手段により検出された区画線と、前記車両の進行方向と、がなす角度を検出する角度検出手段と、
    1つのフレームの前記路面画像を取得したときからの走行距離を取得する走行距離取得手段と、を備え、
    前記検出手段は、時系列的に連なる複数のフレームの前記路面画像から抽出されたエッジ点に基づいて前記区画線を検出するときには、
    前記角度検出手段により検出された角度と、前記走行距離取得手段により取得された走行距離と、に基づいて、前記車両の進行方向と交差する方向に対する前記区画線の前記車両を基準とする移動量を算出し、
    前記算出された移動量に応じて、前記複数のフレームの路面画像それぞれから抽出されるエッジ点の位置を移動し、当該移動されたエッジ点に基づいて前記区画線を検出する
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の区画線検出装置。
JP2010046664A 2010-03-03 2010-03-03 区画線検出装置 Expired - Fee Related JP4962581B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010046664A JP4962581B2 (ja) 2010-03-03 2010-03-03 区画線検出装置
US12/932,607 US8520954B2 (en) 2010-03-03 2011-03-01 Apparatus for detecting lane-marking on road
DE102011004946A DE102011004946A1 (de) 2010-03-03 2011-03-02 Vorrichtung zum Erfassen einer Spurmarkierung auf einer Strasse

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010046664A JP4962581B2 (ja) 2010-03-03 2010-03-03 区画線検出装置

Publications (2)

Publication Number Publication Date
JP2011180982A true JP2011180982A (ja) 2011-09-15
JP4962581B2 JP4962581B2 (ja) 2012-06-27

Family

ID=44531379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010046664A Expired - Fee Related JP4962581B2 (ja) 2010-03-03 2010-03-03 区画線検出装置

Country Status (3)

Country Link
US (1) US8520954B2 (ja)
JP (1) JP4962581B2 (ja)
DE (1) DE102011004946A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831595A (zh) * 2012-06-20 2012-12-19 中国农业大学 用于自然环境下目标点图像识别的标识物检测方法
JP2014013451A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載用車線認識装置
JP2015012398A (ja) * 2013-06-27 2015-01-19 パナソニック株式会社 無線装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
KR101919366B1 (ko) * 2011-12-22 2019-02-11 한국전자통신연구원 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법
JP5966965B2 (ja) * 2013-02-19 2016-08-10 株式会社デンソー 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
CN104063877B (zh) * 2014-07-16 2017-05-24 中电海康集团有限公司 一种候选车道线混合判断识别方法
US9892296B2 (en) 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
JP6477888B2 (ja) * 2015-07-27 2019-03-13 日産自動車株式会社 経路誘導装置及び経路誘導方法
CN105447852A (zh) * 2015-11-12 2016-03-30 四川浩特通信有限公司 一种基于Hough变换检测汽车牌识别方法
CN105539293B (zh) * 2016-02-03 2018-01-09 北京中科慧眼科技有限公司 车道偏离预警方法和装置及汽车驾驶辅助系统
CN106097345B (zh) * 2016-06-14 2020-04-14 三亚深海科学与工程研究所 一种线状目标分割方法及分割系统
CN106529404A (zh) * 2016-09-30 2017-03-22 张家港长安大学汽车工程研究院 基于摄像原理的无人驾驶汽车对路面标志线的识别方法
IT201600132670A1 (it) * 2016-12-30 2018-06-30 St Microelectronics Srl Procedimento per generare un avvertimento di abbandono corsia in un veicolo, relativo sistema e prodotto informatico
CN108573196B (zh) * 2017-03-13 2020-06-02 山东省科学院自动化研究所 客运索道轿厢乘客信息自动识别方法与装置
CN108052880B (zh) * 2017-11-29 2021-09-28 南京大学 交通监控场景虚实车道线检测方法
CN108537197B (zh) * 2018-04-18 2021-04-16 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法
CN110843673B (zh) * 2019-11-20 2021-05-18 斑马网络技术有限公司 车载防眩晕视图形成方法、生成装置及防眩晕装置
US11644330B2 (en) * 2020-07-08 2023-05-09 Rivian Ip Holdings, Llc Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation
CN114167850B (zh) * 2020-08-21 2024-02-20 富联精密电子(天津)有限公司 自走三角警示架及其行进控制方法
KR20230071555A (ko) 2021-11-16 2023-05-23 현대자동차주식회사 가상의 차선 생성 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236506A (ja) * 2000-02-22 2001-08-31 Nec Corp 白線検出方法および白線検出装置
JP2002022439A (ja) * 2000-07-12 2002-01-23 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2006350571A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 道路区画線検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3214364B2 (ja) * 1996-08-14 2001-10-02 富士電機株式会社 車間距離測定装置
DE69736764T2 (de) * 1996-08-28 2007-01-25 Matsushita Electric Industrial Co., Ltd., Kadoma Lokales Positionierungsgerät und Verfahren dafür
JP3760426B2 (ja) 1997-09-10 2006-03-29 矢崎総業株式会社 走行車線検出方法及びその装置
JP3575346B2 (ja) * 1999-09-03 2004-10-13 日本電気株式会社 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体
JP3352655B2 (ja) * 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
EP1881450A1 (en) * 2005-05-10 2008-01-23 Olympus Corporation Image processing apparatus, image processing method, and image processing program
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
JP5221886B2 (ja) * 2007-03-07 2013-06-26 富士重工業株式会社 物体検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236506A (ja) * 2000-02-22 2001-08-31 Nec Corp 白線検出方法および白線検出装置
JP2002022439A (ja) * 2000-07-12 2002-01-23 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2006350571A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 道路区画線検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831595A (zh) * 2012-06-20 2012-12-19 中国农业大学 用于自然环境下目标点图像识别的标识物检测方法
JP2014013451A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載用車線認識装置
JP2015012398A (ja) * 2013-06-27 2015-01-19 パナソニック株式会社 無線装置

Also Published As

Publication number Publication date
DE102011004946A1 (de) 2011-12-15
JP4962581B2 (ja) 2012-06-27
US20110216938A1 (en) 2011-09-08
US8520954B2 (en) 2013-08-27

Similar Documents

Publication Publication Date Title
JP4962581B2 (ja) 区画線検出装置
JP5594246B2 (ja) 車線認識装置
US8687896B2 (en) Picture image processor, method for processing picture image and method for processing picture image
EP2963634B1 (en) Stereo camera device
WO2014129312A1 (ja) 車線境界線逸脱抑制装置
JP6045889B2 (ja) 車載用制御装置
JP6272204B2 (ja) 道路区画線情報取得装置
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
JP6459226B2 (ja) 車載画像処理装置
JP2011175468A (ja) 区画線検出装置
US8730325B2 (en) Traveling lane detector
JP2020067698A (ja) 区画線検出装置及び区画線検出方法
JP2007034989A (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP2016018371A (ja) 車載システム、情報処理装置、及びプログラム
JP2016018521A (ja) 走行区画線認識装置及び走行区画線認識プログラム
JP6115429B2 (ja) 自車位置認識装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP5903901B2 (ja) 車両位置算出装置
JP5950193B2 (ja) 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム
JP4225242B2 (ja) 走行路認識装置
JP2015121954A (ja) 輝度値算出装置及び車線検出システム
JP5760523B2 (ja) 走路推定装置及びプログラム
US20180005051A1 (en) Travel road shape recognition apparatus and travel road shape recognition method
JP4572826B2 (ja) 道路区画線検出装置
JP2005301892A (ja) 複数のカメラによるレーン認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120312

R151 Written notification of patent or utility model registration

Ref document number: 4962581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees