図1は、本発明の一実施例である車両用走路判定装置20のシステム構成図を示す。図1に示す如く、車両用走路判定装置20は、例えば車両後部のバンパ近傍に配設されたカメラ22を備えている。カメラ22は、該後部から車両後方に広がる路面を含む所定領域の視界を撮影し、その撮影した視界に応じた画像信号を出力する。
カメラ22には、画像処理装置24のA/D変換部26が接続されている。カメラ22から出力された画像信号は、A/D変換部26に供給され、ディジタル信号に変換される。A/D変換部26には、フレームメモリ28が接続されている。A/D変換部26からのディジタル信号は、フレームメモリ28に供給される。フレームメモリ28は、カメラ22のCCD撮像素子の各画素に対応する複数のRAMにより構成されており、A/D変換部26からのディジタル信号を格納する。フレームメモリ28には、画像処理部30が接続されている。画像処理部30は、ディジタル化され、フレームメモリ28に格納された画像信号から、後に詳述する如く、道路の路面上に描かれる標示線のうち各車線(すなわち、走行レーン)を区分する破線や実線により示された白線や黄線等(以下、これらの線をまとめて単に白線と称す)を抽出・判定する。
画像処理装置24には、バス32を介して、CPU34、所定の制御用プログラムが格納されたROM36、CPU34での演算結果を記憶するRAM38、及び、例えば警報ブザーや警告ランプ等の所定の制御機器の入出力を行うI/Oインタフェース40が接続されている。CPU34には、画像処理装置24において抽出された白線の情報が供給されている。CPU34は、画像処理装置24から供給された情報に基づいて白線に対する車両の横変位を検出し、白線により区切られた走行レーンから車両が逸脱しそうな状況にあるか否かを判別する。CPU34は、車両が走行レーンから逸脱しそうな状況にある場合に、I/Oインタフェース40を介して上記した所定の制御機器を制御する。これにより、車両の運転者に、車両が走行レーンから逸脱しそうな状況にあることについて注意が喚起される。以下、この制御を走路逸脱制御と称す。
画像処理装置24には、また、バス32を介して、地図データベース42が接続されている。地図データベース42には、全国に敷設された道路の情報と共に、該道路の走行レーンが片側何車線であるのかを示す車線情報、道路が暫定供用部であるのかを示す暫定供用部情報、及び、該道路の走行レーン内に後述する走行誘導線が描かれているか否か及び道路の走行レーンに他の走行レーンが合流しているか否かを示す誘導線情報が格納されている。地図データベース42に格納された道路情報は、ナビゲーション装置(図示せず)に供給されており、ナビゲーション装置が有する表示モニタにより運転者に提供される。画像処理装置24は、後に詳述する如く、地図データベース42に格納されている車線情報,暫定供用部情報に基づいて白線を抽出すると共に、誘導線情報に基づいて走行誘導線および車線合流の有無を判定する。
画像処理装置24には、更に、バス32を介して、車速センサ44が接続されている。車速センサ44は、車両の速度に応じた電気信号を出力する。CPU34は、車速センサ44の出力信号に基づいて車両速度SPDを検出すると共に、I/O40を介した上記の所定の制御機器の制御が停止されてから次に開始されるまでの区間について車両速度SPDを積分処理することによりその区間の走行距離を演算する。また、CPU34は、車速センサ44による車両速度SPDが例えば50km/h等の一定値を超える場合あるいは車室内に配設されたスイッチが車両運転者に操作された場合に上記した走路逸脱制御の実行を許可する。
次に、図2及び図3を参照して、本実施例においてカメラ22による撮像画像から路面上に描かれている白線を抽出するための手法について説明する。
図2は、本実施例の車両用走路判定装置20の画像処理部30において実行される制御ルーチンの一例のフローチャートを示す。また、図3は、本実施例においてカメラ22による撮像画像から白線を抽出するまでの過程での処理内容を説明するための図を示す。図2に示すルーチンは、その処理が終了するごとに起動されるルーチンである。図2に示すルーチンが起動されると、まずステップ100の処理が実行される。
ステップ100では、フレームメモリ28に格納されたカメラ22による撮像画像が入力される処理が実行される。例えば、車両50が道路52において白線54と56とに区切られた走行レーン58の略中央に位置する場合は、図3(A)に示す如き撮像画像が入力される。本ステップ100の処理が終了すると、入力された撮像画像に対して以下のステップ102〜106に示す前処理が実行される。
ステップ102では、カメラ22による撮像画像は歪みを生ずるので、入力された撮像画像の歪みを補正する処理が実行される。
車両に配設されたカメラ22の位置(高さ)およびそのカメラ22の指向方向(角度)は予め定められているため、カメラ22の撮影した画像から他の視点による画像に変換できる。そこで、ステップ104では、カメラ22による撮像画像を、カメラ22を視点にした撮像画像(以下、原撮像画像と称す)から路面の鉛直方向の点を視点にした撮像画像(以下、鉛直撮像画像と称す)に変換する処理が実行される。例えば、本ステップ104の処理が実行されると、図3(A)に示す如きカメラ22による撮像画像は、図3(B)に示す如き鉛直撮像画像に変換される。この際、鉛直撮像画像における白線54,56の位置および方向は、カメラ22による原撮像画像に従って決定される。
ステップ106では、上記ステップ104で変換された結果として得られた鉛直撮像画像に対して水平方向のエッジ処理を行うことにより、その鉛直撮像画像に垂直方向に現れている路面上に描かれた標示線を構成する各点を抽出する処理が実行される。
ステップ108では、上記ステップ106で抽出された各点からなる画像について投票型パターンマッチング処理が実行される。すなわち、各点についてそれぞれ、他の点と結んだ直線の鉛直撮像画像の最下点における位置と水平方向に対する角度とを示すパラメータが算出され、それら位置と角度とのパラメータのうちすべての点からの投票数が多いピーク値が標示線の候補として抽出される(図3(C)及び(D))。尚、この際、図3(D)に示す如く走行レーンの片側において複数の候補が現れる可能性はあるものとする。
カメラ22による撮像画像の入力が開始された後、車両の走行する走行レーンの標示線が未だ発見されていない場合は、上記ステップ108の処理後にステップ110の処理が実行される。ステップ110では、撮像画像に走行レーンを区切る白線が両側共に含まれている場合は、それらのピークが組み合わされることにより両白線の間隔、ヨー角、ピッチ角、及び投票総数が算出され、それらの組み合わせから最適なピークの組み合わせが走行レーンとしてモデル化される。
一方、走行レーンの標示線が既に発見されており、その走行レーンがモデル化されている場合は、上記ステップ108の処理後にステップ112の処理が実行される。ステップ112では、既に発見されている走行レーンを区切る白線の位置及び角度のピーク近傍の範囲において上記ステップ108で抽出されたピーク値が存在するかの検索が行われる。そして、検索結果として両側のピーク値が共に範囲内に存在すると、走行レーンのモデルが更新される。上記ステップ110又は112の処理が終了すると、次にステップ114の処理が実行される。
ステップ114では、上記ステップ110又は112で取得された走行レーンモデルの検出状況、すなわち、両側の白線に対する車両の横変位が判定される。そして、ステップ116では、上記ステップ114で判定された結果を出力する処理が実行される。本ステップ116の処理が実行されると、以後、画像処理装置24からの出力は、CPU34に供給される。本ステップ116の処理が終了すると、今回のルーチンは終了される。
上記図2に示すルーチンによれば、カメラ22により撮影された撮像画像から道路の路面上に描かれた白線を検出し、その検出した白線の位置に基づいて白線に対する車両の横変位を判定することができる。このように車両用走路判定装置20において走行レーンの白線に対する車両の横変位が判定されると、CPU34は、その横変位に基づいて両側の白線に対する車両の横変位をそれぞれ検出する。そして、その何れかの横変位が所定値以下である場合には、車両が走行レーンから逸脱しそうな状況にあると判断し、警報ブザーや警告ランプが作動するようにI/Oインタフェース40から指令を発する。従って、CPU34は、車両用走路判定装置20から供給される白線に対する車両の横変位により走路逸脱制御を実行することができる。
図4乃至図7は、車両50が走行する道路52の路面上に描かれる標示線のパターンを模式的に現した図を示す。尚、図4(A)乃至図7(A)には、車両50が搭載するカメラ22による撮像画像が示されており、また、図4(B)乃至図7(B)には、同図(A)に示す道路をその上方から見た際の状況が示されている。
図4に示す如く、道路52の路面上には、走行レーン58を区切る白線54,56以外に、両側の白線54,56の内側(すなわち、レーン中央側)にそれぞれ隣接して破線状の線(以下、この線を走行誘導線と称す)60,62が標示線として描かれることがある。この走行誘導線60,62は、トンネルの入口や出口付近,急カーブ等に設けられており、乗員に対して注意を促す役割を有している。また、片側2車線以上の道路52においては、図5に示す如く、自己の走行する走行レーン58に走行誘導線60,62が描かれると共に、隣接する走行レーン64にも走行誘導線66が標示線として描かれることがある。このように走行誘導線が走行レーンを区切る白線と共に路面上に描かれている道路においては、一対の白線のそれぞれにおいて互いに隣接する複数の標示線(多重線)が存在する。特に、片側3車線以上の道路においては、一対の白線のそれぞれにおいて互いに隣接する3つの標示線が存在する。
また、図6に示す如く、自己の走行レーン58に合流する走行レーン70が存在する車線合流部においては、走行レーン58を区切る白線54,56の一方に走行レーン70の白線72が接近することにより、互いに隣接する複数の標示線が存在する。更に、図7に示す如く、本来的には片側2車線の道路であるが暫定的に片側1車線ずつの道路となっている道路58(以下、かかる道路を暫定供用部と称す)においては、対向車線側に各走行レーン58,74の白線54,76が一定間隔ごとに設けられたポール78を挟むように描かれることにより、互いに隣接する複数の標示線が存在する。
このように走行レーンを区切る白線の少なくとも一方側に互いに隣接する複数の標示線が存在する場合、画像処理装置24の画像処理部30は、道路の路面上に描かれている自己の走行レーンの白線と共にそれ以外の標示線をも検出する。ところで、走路逸脱制御を適正に行うためには、画像処理部30は自己の走行レーンの白線を車両の横変位を判定するための基準とする必要があるが、上記の如く互いに隣接する複数の標示線のうち何れを車両の横変位を判定するための基準とするかに応じて、その判定結果は異なるものとなる。すなわち、自己の走行レーンの白線と異なる標示線を車両横変位の判定のために用いるものとすると、その判定結果が誤ったものとなる。このため、画像処理部30において自己の走行レーンの白線が車両横変位の基準線として抽出されないと、車両が走路を逸脱しているにもかかわらず警報や警告が行われない事態が生じ、走路逸脱制御が誤作動してしまう。
そこで、本実施例のシステムは、カメラ22による撮像画像から互いに隣接する複数の標示線が検出された場合に、自己の車両における適切な標示線を白線として抽出・設定することにより、走路逸脱制御の誤作動を防止することとしている。以下、本実施例における白線の抽出・設定手法について説明する。
走行誘導線が描かれている道路あるいは車線合流部の存在する道路を車両が走行している場合は、その走行誘導線や車線合流部の手前において道路の路面上に白線のみが走行レーンの両側にそれぞれ描かれているため、既に走路逸脱制御が実行されていれば、道路に描かれた白線は既に抽出・認識されている筈である。一般に、走行誘導線や車線合流部がある道路においても、走行レーンの幅、すなわち、両白線の間隔はほとんど変わらない。従って、走路逸脱制御の実行中、白線として抽出した標示線同士の間隔を常にモニタし、標示線として自己の車両の走行レーンを区切る白線と共に走行誘導線や車線合流部による白線が検出された際に、それら複数の標示線の各組み合わせによる間隔をそれぞれ、上記の如くモニタする白線の間隔と比較し、そして、その白線の間隔と最も近似する組み合わせを白線として抽出することとすれば、互いに隣接する複数の標示線が検出される場合でも、自己の車両において走路逸脱制御を行ううえで適切な白線を設定し、その白線に対する車両の横変位を正確に判定することが可能となる。
すなわち、走行誘導線は白線の内側に設けられるため、自己の車両が走行する走行レーンに走行誘導線が描かれている場合には、検出される標示線の、白線同士の組み合わせ以外の各組み合わせによる間隔はすべて、正規の一対の白線、すなわち、白線として検出されていた一対の標示線の間隔よりも短くなる。従って、走行誘導線が描かれている道路を車両が走行することにより互いに隣接する複数の標示線が検出された場合には、白線として検出していた一対の標示線の間隔よりも所定距離以上短くなる間隔の組み合わせの少なくとも一方を排除することとすれば、一対の白線となるべき標示線を抽出することが可能となる。例えば、図4に示す状況下においては、画像処理装置24の画像処理部30は、カメラ22による撮像画像から4つの標示線54,56,60,62を検出する。かかる4つの標示線の検出前に白線として白線54,56が検出されていた場合、標示線54と56との組み合わせ以外の各標示線54,56,60,62の組み合わせによる間隔はすべてその白線54,56の間隔よりも短くなる。従って、かかる状況下において4つの標示線54,56,60,62が検出された場合には、走行誘導線である標示線60,62を排除することにより、標示線54,56を継続して一対の白線として抽出することが可能となり、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
また、自己の車両が走行する走行レーンに隣接する走行レーンのみに走行誘導線が描かれている場合には、検出される標示線の、標示線54と56との組み合わせ以外の各組み合わせによる間隔は、白線として検出されていた一対の標示線の間隔よりも長く或いは短くなる。従って、走行誘導線が描かれている道路を車両が走行することにより互いに隣接する複数の標示線が検出された場合には、白線として検出していた一対の標示線の間隔よりも所定距離以上短くなる間隔の組み合わせの少なくとも一方を排除すると共に、所定距離以上短くなる間隔の組み合わせの一方を排除することとすれば、一対の白線となるべき標示線を抽出することが可能となる。
更に、車線合流部による白線は自己の車両の走行レーンを区切る白線の一方に接近するため、車線合流部において検出される標示線の、標示線54と56との組み合わせ以外の各組み合わせによる間隔は、白線として検出されていた一対の標示線の間隔よりも長く或いは短くなる。従って、車線合流部を車両が走行することにより互いに隣接する複数の標示線が検出された場合には、白線として検出していた一対の標示線の間隔よりも所定距離以上長くなる間隔の組み合わせの一方を排除すると共に、所定距離以上短くなる間隔の組み合わせの一方を排除することとすれば、正規の一対の白線となるべき標示線を抽出することが可能となる。例えば、図6に示す状況下においては、画像処理部30は、カメラ22による撮像画像から3つの標示線54,56,72を検出する。かかる3つの標示線の検出前に白線として白線54,56が検出されていた場合、標示線54と56との組み合わせ以外の各標示線54,56,72の組み合わせによる間隔は、標示線54と72との場合は白線54,56の間隔よりも長くなり、また、標示線56と72との場合は白線54,56の間隔よりも短くなる。従って、かかる状況下において3つの標示線54,56,72が検出された場合には、合流する走行レーンの白線である標示線72を排除することにより、標示線54,56を継続して一対の白線として抽出することが可能となる。
ここで、上記した走路逸脱制御は、所定の条件が成立する場合、具体的には、車両速度SPDが例えば50km/h等の一定値を超える場合あるいは車室内に配設されたスイッチが車両運転者に操作された場合に実行される。このため、例えば車両が走路逸脱制御を実行しつつ走行している自動車専用道路の本線からサービスエリアやパーキングエリアに進入すると、走路逸脱制御の実行が中止・禁止される。また、その後、車両が自動車専用道路の本線に復帰すると、再び走路逸脱制御の実行が許可される。この走路逸脱制御の実行が再開された際に、車両用走路判定装置20においてカメラ22による撮像画像から一対の白線となるべき標示線を抽出し直し、その白線として抽出した標示線同士の間隔をモニタし直すこととすると、車両の本線への復帰直後に道路の少なくとも一方側において互いに隣接する複数の標示線が検出された場合に、早期に適切な標示線を白線として抽出することができない事態が生じてしまう。
サービスエリアやパーキングエリアの利用前に車両が走行する自動車専用道路とその利用後に車両が走行する自動車専用道路とは通常一致するため、その道路の走行レーンを区切る両側の白線の間隔は、その利用前と利用後とで略一致する。従って、走路逸脱制御が停止された際にその時点でモニタしていた白線としての標示線同士の間隔を記憶すると共に、その後に走路逸脱制御が開始された際に道路が停止された時点における道路と一致するか否かを判別し、道路が一致する場合に記憶していた間隔をそのまま白線となるべき標示線同士の間隔として用いることとすれば、道路への復帰直後に道路の少なくとも一方側において互いに隣接する標示線が検出された場合にも、早期に適切な標示線を白線として抽出することが可能となる。
尚、本実施例において、画像処理装置24には、全国の道路情報が格納された地図データベース42が接続されている。従って、地図データベース42の道路情報を用いることにより、走路逸脱制御の停止時(すなわち、道路からの離脱時)における道路と次の走路逸脱制御の開始時(道路への進入時)における道路とが一致するか否かを判別することとすればよい。また、自動車専用道路において車両がサービスエリア等へ進入することにより道路から離脱し、その後再び道路へ戻ってくるまでの走行距離および経過時間は共にあまり長くない。従って、走路逸脱制御の停止時から次の走路逸脱制御の開始時までの車両の走行距離または経過時間を所定のしきい値と比較することにより、停止時における道路と開始時における道路との一致の有無を判別することとしてもよい。
また、図5に示す如く片側2車線以上の道路においては、自己の車両が走行する走行レーンに走行誘導線が描かれると共に、隣接する走行レーンにも走行誘導線が描かれることがある。すなわち、自己の車両が走行する走行レーンの少なくとも何れか一方側において3つの標示線が現れることがある。尚、片側3車線の場合は、自己の走行レーンの両側それぞれにおいて3つの標示線が現れることがある。かかる状況下において上記した一対の標示線の間隔による手法に基づいて白線を抽出するものとすると、図5に示す如く、自己の走行レーンを区切る白線54の内側の走行誘導線60と白線56の外側(すなわち、レーン中央とは反対側)の走行誘導線66との組み合わせによる間隔が、白線として検出されていた一対の標示線の間隔と略一致することにより、走行誘導線60,66が白線として誤って抽出されるおそれがある。
片側2車線以上の道路においては、通常、各走行レーンに描かれる走行誘導線が互いに略同一の範囲に存在する。すなわち、各走行誘導線の開始位置が同一の場所でありかつ終了位置が同一の場所である。このため、図5に示す如く自己の走行レーン58の少なくとも何れか一方側に3つの標示線62,56,66が現れる場合には、最も外側の標示線66は隣接走行レーン64に設けられた走行誘導線であり、最も内側の標示線62は自己の走行レーン58に設けられた走行誘導線であり、それらの真中の標示線56は両走行レーンの白線である。従って、自己の車両が片側2車線以上の道路上に位置しかかる道路を走行しているか否かを判別し、車両が片側2車線以上の道路を走行している状況下において自己の走行レーンの少なくとも何れか一方側において3つの標示線が検出された場合にそれらの真中の標示線を白線として抽出することとすれば、互いに隣接する3つの標示線が検出される場合でも、自己の車両において走路逸脱制御を行ううえで適切な白線を設定することができ、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
また、図7に示す如く暫定供用部を有する道路においては、片側1車線の区間が大部分を占めているため、路面上に描かれた走行レーンを区切る白線が2本のみであることは皆無である。このため、車両の走行開始当初からカメラ22による撮像画像に基づいて検出された標示線を白線として抽出することは困難であり、白線の間隔を検出することは困難である。従って、暫定供用部を有する道路では、上記した一対の標示線の間隔による手法に基づいて白線を抽出することは適切でない。
暫定供用部は片側1車線の道路である。また、暫定供用部においては、対向車線側に自己の走行レーンの白線と対向車の走行レーンの白線とが常に2つ隣接して存在する。従って、車両の走行する道路が暫定供用部であるか否かを判別し、車両がかかる暫定供用部を走行している状況下において自己の走行レーンの対向車線側に2つの標示線が検出された場合にその内側の標示線を自己の走行レーンの白線として抽出することとすれば、暫定供用部において互いに隣接する2つの標示線が検出される場合でも、暫定供用部上で走路逸脱制御を行ううえで適切な白線を設定することができ、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。例えば、図7に示す状況下においては、画像処理部30は、カメラ22による撮像画像から対向車線側に設けられた2つの標示線54,76を検出すると共に、反対側に設けられた1つの標示線56を検出する。従って、暫定供用部において対向車線側に2つの標示線54,76が検出された場合には、外側の標示線76を排除し、内側の標示線54を白線として抽出することとすれば、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
尚、上述の如く、画像処理装置24には、車線情報及び暫定供用部情報が格納された地図データベース42が接続されている。従って、地図データベース42の車線情報および暫定供用部情報を用いることにより、車両が片側2車線以上の道路を走行しているか否か、及び、車両が暫定供用部を走行しているか否かを判別することとすればよい。
また、道路が片側1車線の道路であるか否かおよび片側2車線以上の道路であるか否かは、自己の走行レーンに隣接する走行レーンを走行する車両(以下、隣接車両と称す)の進行方向に基づいて判定できる。すなわち、自己の車両と隣接車両との相対速度がある程度長期間ほとんど変化しない場合または隣接車両のテールランプが認識できる場合には、両者が併走していると判断でき、進行方向が一致していると判断できるので、道路が片側2車線以上の道路であると判断できる。一方、対向車線側の隣接車両との相対速度が自己の車両速度SPDよりも大きく或いは隣接車両のフロントランプが認識できる一方でテールランプが認識できず、かつ、反対側に隣接車両となる対象が存在しない場合には、自己の車両と隣接車両とがすれ違い走行している、すなわち、進行方向が一致していないと判断でき、車両が片側1車線の道路を走行していると判断できる。また、相対速度の検出やランプの認識は、車速センサやカメラ22による画像処理等により検出できる。従って、車速センサやカメラ22による画像処理等により隣接車両との相対速度やランプの有無を検出し、その結果に基づいて道路が片側1車線の道路であるか否か或いは片側2車線以上の道路であるか否かを判別することとしてもよい。
また、暫定供用部においては、常態で、対向車線側に2つの標示線が存在すると共に、反対側に1つの標示線が存在する。尚、この際、対向車線に走行誘導線が存在する場合には、対向車線側に3つの標示線が存在することとなる。また、片側1車線の道路において対向車線のみに走行誘導線が描かれている場合にも、常態で、対向車線側に2つの標示線が存在すると共に、反対側に1つの標示線が存在する。すなわち、対向車線側の最も内側の標示線は自己の走行レーンのための白線である。従って、自己の走行レーンの対向車線側において複数の標示線が検出され、かつ、反対側において単一の標示線が検出された場合に、その複数の標示線のうち最も内側の標示線を白線として抽出することとすれば、対向車線側において互いに隣接する複数の標示線が検出される場合でも、自己の車両において走路逸脱制御を行ううえで適切な白線を設定することができ、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
尚、暫定供用部等において走行レーンを区切る白線は実線で描かれる。従って、車両が暫定供用部等に位置する際、検出された対向車線側の複数の標示線のうち最も内側の標示線が実線で現されているか否かを判別し、実線の場合にその標示線を白線として抽出することとすれば、白線の抽出精度の向上を図ることが可能となる。以下、検出された標示線が実線で現されているか或いは破線で現されているか否かを判別する手法について説明する。
道路の路面上に描かれた標示線が車両に対して平行に位置する場合は、車両が搭載するカメラ22による原撮像画像から変換された鉛直撮像画像に対して水平方向のエッジ処理を行うことにより、鉛直撮像画像に垂直方向に現れている標示線を抽出できる。一方、標示線は例えば10〜20cm程度の幅を有するため、標示線が破線で路面上に描かれている場合は、その破線標示線が鉛直撮像画像において水平方向に延びる水平線を有する。従って、鉛直撮像画像に対して上記の水平方向のエッジ処理を行うことにより直線検出を行うと共に、鉛直方向のエッジ処理を行うことにより直線検出を行い、両エッジ処理による直線が略一致するか否かに基づいて、鉛直撮像画像に垂直方向に破線で現れている標示線(以下、破線標示線と称す)のみ、或いは、実線で現れている標示線(以下、実線標示線と称す)のみを抽出することができる。
ここで、走行誘導線は、道路の路面上に、白線の内側に破線で描かれている。このため、かかる路面のカメラ22による撮像画像には、走行レーンの内側に破線の標示線が、その外側に隣接して実線または破線の標示線が現れる。従って、互いに隣接する複数の標示線が検出された状況下においてその最も内側の標示線が破線により構成されている場合に、その標示線の外側の標示線を走行レーンを区切る白線として抽出することとすれば、自己の車両において走路逸脱制御を行ううえで適切な白線を設定することができ、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
また、走行レーンを区切る白線は、路面上に実線で描かれていることが多い。従って、互いに隣接する複数の標示線が検出された状況下においてそれらの標示線に実線のものと破線のものとが併存している場合に、実線標示線を走行レーンを区切る白線として抽出することとすれば、自己の車両において走路逸脱制御を行ううえで適切な白線を設定することができ、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
図8は、白線の内側に走行誘導線が描かれている状況を模式的に表した図を示す。上述の如く、走行誘導線は、道路の路面上に、白線の内側に破線で描かれている。図8に示す如く、白線54と56との間隔W1は予め例えば3〜4m程度に設定されており、また、その内側の走行誘導線60と62との間隔W2は例えば1.5〜3m程度に設定されている。従って、白線の間隔および走行誘導線の間隔を予め記憶させておき、走行レーンの少なくとも一方側において互いに隣接する複数の標示線が検出された場合に、走行レーンの両側において検出された複数の標示線の各組み合わせによる間隔のうち、記憶されている白線の間隔と最も近似する組み合わせを白線として抽出することとすれば、互いに隣接する複数の標示線が検出される場合でも、自己の車両において走路逸脱制御を行ううえで適切な白線を設定し、その白線に対する車両の横変位を正確に判定することが可能となる。
図9は、上記の機能を実現すべく、本実施例の画像処理装置24において実行される制御ルーチンの一例のフローチャートを示す。図9にルーチンは、その処理が終了するごとに起動されるルーチンである。図9に示すルーチンが起動されると、まずステップ140の処理が実行される。
ステップ140では、フレームメモリ28に格納されたカメラ22による撮像画像が入力される処理が実行される。ステップ142では、上記ステップ140で入力された撮像画像に対してエッジ処理が行われる。ステップ144では、上記ステップ142の処理により得られた情報から、撮像画像に映し出されている直線(標示線)を検出する処理が行われる。
ステップ146では、上記ステップ144で検出された標示線の中に間隔が1.5〜3m程度である標示線の組み合わせ(以下、第1直線ペアと称す)が存在するか否かが判別される。その結果、第1直線ペアが存在しないと判別された場合は、今回のルーチンは終了される。一方、第1直線ペアが存在する場合は、そのペアが走行誘導線である可能性が高いので、かかる判別がなされた場合は次にステップ148の処理が実行される。
ステップ148では、第1直線ペアの外側に間隔が3〜4m程度である標示線の組み合わせ(以下、第2直線ペアと称す)が存在するか否かが判別される。その結果、第2直線ペアが存在しないと判別された場合は、今回のルーチンは終了される。一方、第2直線ペアが存在した場合は、そのペアが走行誘導線の外側に描かれている白線である可能性が極めて高い。従って、本ステップ148において肯定判定がなされた場合は、次にステップ150において第1ペアが走行誘導線であり、かつ、第2ペアが白線であると判定される。ステップ150の処理が終了すると、今回のルーチンは終了される。
上記図9に示すルーチンによれば、互いに隣接する複数の標示線が検出された場合に、予め設定されている間隔に基づいて、それら複数の標示線について白線と走行誘導線とを区別することができる。このため、本実施例によれば、走路逸脱制御を行ううえで適切な白線を設定することができ、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
尚、自動車専用道路における白線の間隔は、一般道におけるものに比して大きい。また、一般に、車両は、自動車専用道路の場合は例えば60km/hを超える高速で走行し、一般道の場合は例えば50km/hに達しない速度で走行する。従って、白線及び走路誘導線の判別のための基準となる間隔を車両速度SPDに応じて変更することとすれば、具体的には、車両が所定値を上回る速度SPDで走行する場合は間隔を大きくし、車両が所定値以下の速度SPDで走行する場合に間隔を小さくすることとすれば、白線の設定の精度を向上させることが可能となる。
また、例えば3車線の道路においては、真中の自己の走行レーンの両側に隣接する走行レーンのそれぞれに走行誘導線が描かれない一方、自己の走行レーンにのみ走行誘導線が描かれる道路は存在しない。また、その逆に自己の走行レーンに走行誘導線が描かれない一方、他の走行レーンのそれぞれに走行誘導線が描かれる道路も存在しない。このため、図8に示す如く自己の走行レーンの両側それぞれに2つの標示線のみが現れる場合には、その内側の標示線は自己の走行レーンの走行誘導線であり、その外側の標示線は自己の走行レーンの白線である。従って、自己の走行レーンの両側それぞれにおいて2つの標示線が検出された場合に外側の標示線を白線として抽出することとすれば、走路逸脱制御を実行するうえで適切な白線を設定することができ、路面上に描かれた白線に対する車両の横変位を正確に判定することが可能となる。
ところで、通常走行中は車両が走行レーンに対して横方向に急速に移動することはないため、カメラ22による撮像画像に映し出される標示線の位置が前回処理時から今回処理時にかけてその画像内において著しく水平方向に変化することはなく、走路逸脱制御のための適切な白線が設定された後においても、その白線となるべき標示線の位置が著しく水平方向に変化することはない。一方、走行誘導線や車線合流部における白線は、道路上で特定の地域においてのみ自己の走行レーンの白線と互いに隣接するため、車両がかかる特定地域の手前からその特定地域へ進入する過程において、白線の内側または外側に突如現れる。すなわち、画像処理装置24において検出される標示線が、自己の走行レーンの白線のみから、かかる白線及び新たな走行誘導線等へ変化する。
この点、走行誘導線等が現れる直前と現れた直後とでは、カメラ22による撮像画像における走行レーンの白線の位置および角度が大きく変化することはほとんどない。また、走行誘導線等はその白線から所定の距離離間した位置に現れる。従って、走路逸脱制御のための適切な白線が設定されている状況下において走行レーンの少なくとも一方側において互いに隣接する複数の標示線が検出された場合に、その時点で白線として検出している標示線の位置に最も近接する標示線を白線として設定することとすれば、白線に隣接して描かれた走行誘導線等が検出された場合でも、白線から所定の距離離間する走行誘導線等が白線としての候補から漏れることで、走路逸脱制御のための適切な白線の設定を継続することが可能となる。
図10は、カメラ22による撮像画像に基づく白線の設定手法を説明するための図を示す。画像処理ごとに、カメラ22による撮像画像における走行レーンの白線の位置および角度が大きく変化することはほとんどない。すなわち、カメラ22による撮像画像に基づいて白線が設定された後の次の処理時には、その設定された白線の位置の近傍にその白線が現れ易い。従って、白線として設定された標示線の位置近傍の所定領域(図10に破線で示す領域)を白線検出のための領域として設定し、その所定領域において検出される標示線を白線として抽出することとすれば、カメラ22による撮像画像に基づいて白線設定を行ううえでの処理負担を軽減しつつ、走路逸脱制御を行ううえで適切な白線を設定することが可能となる。尚、所定領域とは、白線として設定された標示線の位置と角度との関係から一定範囲を占める領域のことである。
尚、この際、互いに隣接する複数の標示線が検出されている場合には、白線として設定された標示線の位置近傍の所定領域(以下、第1の領域と称す)と共に、走行誘導線等の他の標示線の位置近傍の所定領域(以下、第2の領域と称す)を設定し、第1の領域において検出される標示線を白線として抽出することとしてもよい。かかる構成において、走行誘導路等の他の標示線が検出されなくなった場合には、それらの領域設定を解除し、通常の状態、すなわち、全領域において検出される標示線から白線を抽出すればよい。
ところで、画像処理装置24には、誘導線情報が格納された地図データベース42が接続されている。従って、地図データベース42の誘導線情報を用いて、互いに隣接する複数の標示線が描かれている道路を車両が走行するか否かを判別し、その結果として車両がかかる道路を走行すると判別される状況下において互いに隣接する複数の標示線が検出された場合に、その時点で白線として検出している標示線の位置に最も近接する標示線を白線として設定することとすれば、カメラ22による撮像画像から標示線を検出する際のノイズ等に起因して白線が誤って設定されることが回避される。このため、白線に対する車両の横変位の判定精度が向上し、走路逸脱制御の誤作動が確実に防止される。
尚、この際、地図データベース42の誘導線情報を用いて互いに隣接する複数の標示線が描かれている道路を車両が走行するか否かを判別した結果として、車両がかかる道路を走行していないと判別された状況下にも、互いに隣接する複数の標示線が検出された場合には、その時点で白線として検出している標示線の位置に最も近接する標示線を白線として設定することとしてもよい。
ところで、上記の実施例においては、カメラ22による撮像画像に映し出された標示線(直線)の検出を、その撮像画像に対して水平方向のエッジ処理を行うことにより実現することとしている。しかしながら、路面上に描かれた標示線のかすれ或いは標示線の模様や光の当たり方に起因して水平方向のエッジ処理による標示線の検出が困難となることがある。このため、上記した構成のみでは、道路の路面上に描かれた標示線を検出するうえで十分とは言い難い。すなわち、水平方向のエッジ処理のみに基づいて路面上の標示線を検出するものとすると、互いに隣接する複数の標示線(すなわち、多重線)が路面上に描かれているにもかかわらず白線が検出されない事態が生ずることがあり、走路逸脱制御のための適切な白線を設定することができないおそれがある。
路面上には標示線が破線で描かれることがある。この破線標示線は、車両が平行に位置した際にカメラ22による原撮像画像から変換された鉛直撮像画像において水平方向に延びる水平線を有する。そこで、標示線の検出手法としては、上記した撮像画像に対して水平方向のエッジ処理を行うと共に、それ以外に垂直方向のエッジ処理を行うことが有効である。すなわち、鉛直撮像画像に対して垂直方向のエッジ処理を行うことによりその鉛直撮像画像に水平方向に現れている路面上に描かれた標示線を構成する各点を抽出し、そして、各点を用いてHough変換処理等を行うことにより直線検出を行う。
路面上に描かれた破線標示線について垂直方向のエッジ処理が行われると、規則的に一定間隔で水平エッジが検出される。一方、標示線のかすれ等について垂直方向のエッジ処理が行われると、規則性のない水平エッジが検出される。従って、水平方向のエッジ処理による結果にかかわらず、垂直方向のエッジ処理が行われた結果として規則的に一定間隔の水平エッジが現れた場合に、それらを構成する標示線が存在すると判断することとすれば、水平方向のエッジ処理によっては垂直方向に延びる直線が存在しないと判断された場合でも、確実に路面上に描かれた標示線を検出することができる。このため、路面上に描かれている多重線のすべてを精度よく検出することができ、走路逸脱制御のための適切な白線が設定されない事態を回避することが可能となる。
図11は、上記の機能を実現すべく、本実施例の画像処理装置24において実行される制御ルーチンの一例のフローチャートを示す。図11に示すルーチンは、その処理が終了するごとに起動されるルーチンである。図11に示すルーチンが起動されると、まずステップ160の処理が実行される。
ステップ160では、フレームメモリ28に格納されたカメラ22による撮像画像が入力される処理が実行される。ステップ162では、上記ステップ160で入力された撮像画像に対して水平方向のエッジ処理が行われる。ステップ164では、上記ステップ160で入力された撮像画像に対して垂直方向のエッジ処理が行われる。ステップ166では、上記ステップ162,164の処理により得られた情報から、撮像画像に映し出されている直線(標示線)を検出する処理が行われ、路面上に多重線が描かれている場合にはその多重線の判定が行われる。
ステップ168では、上述した手法に従って、上記ステップ166で検出された標示線の中から所定の標示線を白線として抽出する処理が実行される。ステップ170では、上記ステップ168で抽出された白線としての標示線の位置を基準にして車両の横変位が判定される。そして、ステップ172では、上記ステップ170で判定された白線に対する車両の横変位に基づいて走路逸脱制御が実行される。本ステップ172の処理が終了すると、今回のルーチンは終了される。
上記図11に示すルーチンによれば、カメラ22による撮像画像について水平方向のエッジ処理及び垂直方向のエッジ処理を行うことで、その撮像画像に映し出されている標示線を確実に検出することができる。このため、かかる構成によれば、路面上に描かれた標示線のすべてを精度よく検出することができ、走路逸脱制御のための適切な白線が設定されない事態を確実に回避することができる。
ところで、上記の実施例においては、車両用走路判定装置20の画像処理装置24が、カメラ22による撮像画像に基づいて道路の路面上に描かれた標示線を検出することにより特許請求の範囲に記載した「標示線検出手段」が、検出された標示線から車両の横変位の基準となる標示線を抽出することにより特許請求の範囲に記載した「基準線設定手段」が、それぞれ実現されている。
尚、上記の実施例においては、互いに隣接する複数の標示線が検出された場合、それらの中から何れか一の標示線を白線として抽出し、その抽出された標示線を基準として車両の横変位を判定し、そして、走路逸脱制御を行うこととしているが、かかる場合に白線の抽出を中止・禁止し、走路逸脱制御の実行を中止・禁止することとしてもよい。この場合には、標示線が誤って白線として抽出される事態を回避することができ、誤った標示線に起因する走路逸脱制御の誤作動を確実に防止することが可能となる。