JP2007052730A - 走行路認識装置 - Google Patents

Abstract

【課題】 走行路上の多重区分線の種類を正確に認識することができる走行路認識装置を提供する。
【解決手段】 走行路認識装置２は、車両の前方の多重区分線の撮像画像に基づいて、多重区分線中の車線境界（白線）を検出する白線検出ＥＣＵ６とを有している。白線検出ＥＣＵ６の記憶部１６には、多重区分線を構成する各標示線の組み合わせ（本数・太さ）の情報であるテンプレートと各標示線の線種（実線・破線）の情報である線種情報とを含む複数種類の照合用パターンが予め記憶されている。白線検出ＥＣＵ６は、多重区分線の撮像画像から多重区分線を抽出し、これに基づいて多重区分線を構成する各標示線の線種を判別すると共に多重区分線区間であるかどうかを判定し、それらの結果と照合用パターンとの照合を行うことにより、多重区分線の種類を識別する。
【選択図】 図２

Description

本発明は、自動車等の車両に搭載され、車両が走行する走行路上の多重区分線の種類を認識する走行路認識装置に関するものである。

従来の走行路認識装置としては、例えば特許文献１に記載されているように、左側の多重区分線と右側の多重区分線との撮像画像に基づいて、左側の多重区分線を構成する各標示線（白線や走行誘導線等）と右側の多重区分線を構成する各標示線との間隔を検出し、その間隔が時系列的に最も適切な左右１対の標示線を、車両の走行に用いる車線境界と設定したものが知られている。
特開２００３−１６８１９８号公報

しかしながら、上記従来技術においては、時系列的な推定に基づく左右の標示線の間隔だけで車線境界を判断しているので、例えば左右両側の多重区分線が２重線の場合には、左側では２重線の外側の線を車線境界とし、右側では２重線の内側の線を車線境界とする等といった誤認識が起こりやすくなる。そこで、正確な車線境界を得るためには、左右両側の多重区分線の種類を正しく認識する必要がある。

本発明の目的は、走行路上の多重区分線の種類を正確に認識することができる走行路認識装置を提供することである。

本発明は、車両が走行する走行路の撮像画像に基づいて、走行路上に設けられ複数の標示線からなる多重区分線を認識する走行路認識装置において、多重区分線を構成する各標示線の組み合わせの情報であるテンプレートと多重区分線を構成する各標示線の線種の情報である線種情報とからなる複数種類の照合用パターンを予め記憶しておく記憶手段と、撮像画像に基づいて多重区分線を抽出する多重区分線抽出手段と、抽出した多重区分線を構成する各標示線の線種を判別する判別手段と、抽出した多重区分線に対応するテンプレートの種類を判定する判定手段と、判別手段の判別結果と、判定手段の判定結果と、照合用パターンとの照合に基づいて、多重区分線の種類を識別する識別手段とを備えることを特徴とするものである。

このように多重区分線の種類を識別する際に、多重区分線を構成する各標示線の組み合わせに加えて、各標示線の線種（実線または破線）についても考慮して、照合用パターンとの照合を実施することにより、多重区分線の種類の認識率を向上させることができる。例えば多重区分線としての２重線の中には、太さの異なる２重線と太さの同じ２重線とがある。太さの異なる２重線では、一側の標示線が実線または破線であり、他側の標示線が破線である。太さの同じ２重線では、一側の標示線が実線及び破線のいずれか一方であり、他側の標示線が実線及び破線の他方である。ここで、多重区分線の認識では、撮像カメラの撮像精度等を考慮して、ある程度の抽出マージンをもたせている。このため、走行路上の２重線が撮像されたときに、太さの異なる２重線でもあり、太さの同じ２重線でもあると判定される可能性がある。しかし、太さの異なる２重線と太さの同じ２重線とでは、上述したように各標示線の線種の形態が異なるものがあるため、多重区分線を構成する各標示線が実線か破線かの判別を行うことにより、どちらの２重線であるかを正確に判別することが可能となる。

好ましくは、識別手段は、車両の進行方向に対して左右両側の領域における多重区分線の種類をそれぞれ独立に識別する。車両の進行方向に対して左側領域と右側領域とでは、多重区分線を構成する各標示線の組み合わせや線種が異なることもある。このため、判別手段の判別結果と判定手段の判定結果と照合用パターンとの照合を左右両側の領域で独立に行うことにより、走行路上の多重区分線の種類を左右両側において正確に認識することができる。

また、好ましくは、テンプレートは、多重区分線を構成する標示線の本数及び各標示線の太さの情報である。多重区分線としては、標示線が２本の２重線や、標示線が３本の３重線がある。また、２重線の中には、標示線の太さが異なるものや、標示線の太さが同じものがある。従って、これらの種類の多重区分線を認識することが可能となる。

このとき、好ましくは、記憶手段は、標示線の本数が３本であると共に、各標示線の線種が破線である３重線に対応する照合用パターンを記憶している。この場合には、走行路上の３重線を正確に認識することができる。

また、記憶手段は、標示線の本数が２本であると共に、一側の標示線の線種が実線または破線であり、他側の標示線の線種が破線であり且つその太さが一側の標示線よりも太い異幅２重線に対応する照合用パターンを記憶していても良い。この場合には、走行路上の右太２重線及び左太２重線を正確に認識することができる。

このとき、識別手段は、車両の進行方向に対して左右どちらの領域における多重区分線の種類の識別を行っているかに応じて、一側の標示線の線種が実線である照合用パターンの照合を行わないことが好ましい。右太２重線及び左太２重線といった異幅２重線では、車両の進行方向に対して左右両側のどちらに存在するかによって、細い方の標示線の線種が必ず破線となる場合がある。この場合には、一側の標示線の線種が実線である照合用パターンの照合を必要としないので、処理の簡略化を図ることができる。

さらに、記憶手段は、標示線の本数が２本であると共に、一側の標示線の線種が実線または破線の一方であり、他側の標示線の線種が破線の他方であり且つ一側の標示線と実質的に同じ太さを有する同幅２重線に対応する照合用パターンを記憶していても良い。この場合には、走行路上の両太２重線及び両細２重線を正確に認識することができる。

このとき、記憶手段は、各標示線の線種の情報である線種情報の代わりに、多重区分線の種類の情報を含む照合用パターンを予め記憶しており、識別手段は、識別した多重区分線の種類と記憶手段に記憶した多重区分線の種類との比較結果と、判定手段の判定結果と、照合用パターンとの照合に基づいて、多重区分線の種類を識別することが好ましい。両太２重線及び両細２重線といった同幅２重線では、車両の進行方向に対して左右両側のどちらに存在するかによって、標示線の実線判別を行わずに、過去の多重区分線の種類の識別結果を用いて現在の多重区分線の種類を識別しても良い場合がある。この場合には、標示線の線種が実線である照合用パターンの照合を必要としないので、処理の簡略化を図ることができる。

また、記憶手段は、標示線の本数が２本であると共に、各標示線の線種が共に実線である中抜け２重線に対応した照合用パターンを記憶しており、識別手段は、車両の進行方向に対して左側領域における多重区分線の識別において、中抜け２重線に対応した照合用パターンとの照合を行わないようにしても良い。多重区分線の中には、対面通行の２車線区間として、上り線及び下り線の何れか一方を暫定的に共用している暫定供用部と呼ばれるものがある。この暫定供用部は、車両の進行方向に対して右側領域にしか存在しないものであり、２本の標示線が共に実線である中抜け２重線構造となっている。従って、車両の進行方向に対して右側領域における多重区分線の種類の識別においては、中抜け２重線に対応した照合用パターンを用意しておくことで、３重線、異幅２重線及び同幅２重線といった基本的な多重区分線だけでなく、暫定供用部についても確実に認識することができる。また、車両の進行方向に対して左側領域における多重区分線の種類の識別においては、中抜け２重線である照合用パターンの照合が不要となる。

また、好ましくは、識別手段で識別した多重区分線の種類に基づいて、車両の走行に用いる車線境界を設定する手段を更に備える。これにより、例えば車両を多重区分線の車線境界に応じて走行させるように車両の操舵制御を行うことで、車両の走行位置をキープしたり、車両の車線逸脱を防止することができる。

本発明によれば、車両が走行する走行路上の多重区分線の種類を正確に認識することができる。これにより、例えば車両の操舵制御において、車両を左側に車線変更させることができるか否か等の判断を正しく行うことが可能となる。

以下、本発明に係わる走行路認識装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる走行路認識装置の一実施形態を備えた操舵制御システムを示す概略ブロック図である。同図において、操舵制御システム１は、自動車等の車両に搭載されるものである。操舵制御システム１は、走行路認識装置２と、操舵支援ＥＣＵ（Electronic Control Unit）３と、電動パワーステアリングＥＣＵ４とを備えている。

走行路認識装置２は、車両が走行する走行路上に描かれた多重区分線の種類を認識する装置である。走行路認識装置２は、車両の前方の多重区分線を撮像する前方カメラ５と、この前方カメラ５の撮像画像に基づいて、車両の走行に用いる多重区分線中の車線境界（白線）を検出する白線検出ＥＣＵ６とを有している。

操舵支援ＥＣＵ３は、白線検出ＥＣＵ６で検出された車線境界と、車速センサ７、ヨーレートセンサ８及びレインセンサ９の検出値とに基づいて、車両の操舵支援を行うように電動パワーステアリングＥＣＵ４を制御する。電動パワーステアリングＥＣＵ４は、操舵支援ＥＣＵ３からの制御信号に応じてステアリング装置１０を駆動する。

図２は、白線検出ＥＣＵ６の機能ブロック図である。同図において、白線検出ＥＣＵ６は、多重区分線抽出部１１と、実線破線判別部１２と、多重区分線区間判定部１３と、多重区分線種類識別部１４と、車線境界設定部１５と、記憶部１６とを有している。

多重区分線抽出部１１は、前方カメラ５の撮像画像を取得し、２値化処理やエッジ抽出
等の画像処理を行い、その画像データを図３に示すような鳥瞰画像データに射影変換し、その鳥瞰画像データに基づいて多重区分線を抽出する。なお、鳥瞰画像データにおいて破線で囲まれた部分が処理領域Ｐとなる。この処理領域Ｐは、図４に示すように遠方領域Ｐａと近傍領域Ｐｂとに分割される。前方カメラ５から撮像位置までの距離Ｉは、例えば７ｍである。そして、遠方領域Ｐａ及び近傍領域Ｐｂの距離Ｎは、何れも例えば１０ｍである。

具体的には、多重区分線抽出部１１は、まず図５に示すように、鳥瞰画像データの処理領域Ｐをライン毎にエッジ抽出し、遠方領域Ｐａ及び近傍領域Ｐｂで抽出されたエッジ点をそれぞれハフ変換して、直線近似を行うことにより、多重区分線Ｑを抽出する。この処理は、各領域Ｐａ，Ｐｂの左右両側で別々に行う。つまり、多重区分線Ｑの抽出は、鳥瞰画像データの左側遠方領域、左側近傍領域、右側遠方領域、右側近傍領域において行われることになる。

ここで、多重区分線としては、図６に示すように、３重線、右太２重線、左太２重線、両太２重線、両細２重線がある。右太２重線及び左太２重線は異幅２重線であり、両太２重線及び両細２重線は同幅２重線である。

図６（ａ）に示すように、３重線２０は標示線２１ａ〜２１ｃからなっている。標示線２１ａ〜２１ｃは、何れも破線である。両側の標示線２１ａ，２１ｃは、走行誘導線であり、真ん中の標示線２１ｂよりも太くなっている。

図６（ｂ）に示すように、右太２重線２２は標示線２３ａ，２３ｂからなり、左側の標示線２３ａよりも右側の標示線２３ｂが太くなっている。左側の細い標示線２３ａは破線であり、右側の太い標示線２３ｂは走行誘導線なので破線である。もう１つの右太２重線２４は標示線２５ａ，２５ｂからなり、左側の標示線２５ａよりも右側の標示線２５ｂが太くなっている。左側の細い標示線２５ａは実線であり、右側の太い標示線２５ｂは走行誘導線なので破線である。

図６（ｃ）に示すように、左太２重線２６は標示線２７ａ，２７ｂからなり、右側の標示線２７ｂよりも左側の標示線２７ａが太くなっている。右側の細い標示線２７ｂは破線であり、左側の太い標示線２７ａは走行誘導線なので破線である。もう１つの左太２重線２８は標示線２９ａ，２９ｂからなり、右側の標示線２９ｂよりも左側の標示線２９ａが太くなっている。右側の細い標示線２９ｂは実線であり、左側の太い標示線２９ａは走行誘導線なので破線である。

図６（ｄ）に示すように、両太２重線３０は標示線３１ａ，３１ｂからなり、標示線３１ａ，３１ｂの太さが実質的に同じである。左側の標示線３１ａは実線であり、右側の標示線３１ｂは走行誘導線なので破線である。もう１つの両太２重線３２は標示線３３ａ，３３ｂからなり、標示線３３ａ，３３ｂの太さが実質的に同じである。左側の標示線３３ａは走行誘導線なので破線であり、右側の標示線３３ｂは実線である。

図６（ｅ）に示すように、両細２重線３４は標示線３５ａ，３５ｂからなり、標示線３５ａ，３５ｂの太さが実質的に同じである。左側の標示線３５ａは実線であり、右側の標示線３５ｂは走行誘導線なので破線である。もう１つの両細２重線３６は標示線３７ａ，３７ｂからなり、標示線３７ａ，３７ｂの太さが実質的に同じである。左側の標示線３７ａは走行誘導線なので破線であり、右側の標示線３７ｂは実線である。

実線破線判別部１２は、多重区分線抽出部１１で抽出された多重区分線（以下、多重区分線の抽出データ）に基づいて、多重区分線を構成する各標示線の線種（実線または破線）を判別する。具体的には、各領域Ｐａ，Ｐｂの全てのライン上のエッジ点でハフ変換された直線の投票値を１００％とした場合、投票値が基準値（例えば８０％）より大きいときには、その直線が実線と判断され、そうでないときには、当該直線が破線と判断される。

多重区分線区間判定部１３は、多重区分線の抽出データに基づいて、走行路上の多重区分線が連続している区間（多重区分線区間）であるかどうかを判定する。この判定処理は、予め記憶部１６に記憶されている複数種類の照合用パターンを用いて行われる。照合用パターンは、多重区分線を構成する各標示線の組み合わせ（本数及び太さ）の情報である多重線テンプレートと、多重区分線を構成する各標示線の線種の情報である線種情報と、多重区分線の種類の情報とを含んでいる。そして、多重区分線区間判定部１３は、多重区分線の抽出データに対応する多重線テンプレートの種類を判定する。

具体的には、多重線テンプレートとしては、図７（ａ）〜図７（ｅ）に示すように、３重線テンプレート、右太２重線テンプレート、左太２重線テンプレート、両太２重線テンプレート、両細２重線テンプレートがある。３重線テンプレートは、図６（ａ）に示す３重線２０に対応したテンプレートである。右太２重線テンプレートは、図６（ｂ）に示す右太２重線２２，２４に対応したテンプレートであり、左太２重線テンプレートは、図６（ｃ）に示す左太２重線２６，２８に対応したテンプレートである。両太２重線テンプレートは、図６（ｄ）に示す両太２重線３０，３２に対応したテンプレートであり、両細２重線テンプレートは、図６（ｅ）に示す両細２重線３４，３６に対応したテンプレートである。

このような各種多重区分線に対応した多重線テンプレートを用いて、多重区分線の抽出データ（エッジ点をハフ変換して直線近似した結果のエッジ線の組み合わせ）と多重線テンプレートとの照合を、上記のように鳥瞰画像データの遠方領域及び近傍領域の左右それぞれで行う。このとき、例えば３重線テンプレートとの照合では、図８に示すように、左側の標示線の幅Ｗ_１、真ん中の標示線の幅Ｗ_２、右側の標示線の幅Ｗ_３、左側の標示線と真ん中の標示線との間隔Ｄ_１、真ん中の標示線と右側の標示線との間隔Ｄ_２、左側の標示線における両エッジ線の傾きの差、真ん中の標示線における両エッジ線の傾きの差、右側の標示線における両エッジ線の傾きの差などをパラメータとする。

また、多重区分線の中には、図９に示すように暫定供用部と称される２重線もある。暫定供用部は、例えば高速道路の上り線及び下り線をそれぞれ２車線建設予定の路線で、上り線及び下り線のいずれか一方のみが完成している場合に、対面通行の２車線区間として、上り線及び下り線のいずれか一方を暫定的に供用している区間である。図９（ａ）に示す暫定供用部３８は、ブロック等といった特殊な中央線３９の両側に白線４０を介してオレンジ線４１をそれぞれ設けたものである。図９（ｂ）に示す暫定供用部４２は、中央線３９の両側に間隔を隔ててオレンジ線４１をそれぞれ設けたものである。つまり、暫定供用部４２では、中央線３９とオレンジ線４１との間の領域はアスファルトとなっている。なお、白線４０及びオレンジ線４１は、いずれも実線である。

暫定供用部用のテンプレートとしては、例えば図１０に示すような中抜け２重線が用いられる。図１０（ａ）に示す中抜け２重線テンプレートは、図９（ａ）に示す暫定供用部３８に対応しており、各標示線Ｘの幅が白線４０の幅とオレンジ線４１の幅との合計に対応して太くなっている。図１０（ｂ）に示す中抜け２重線テンプレートは、図９（ｂ）に示す暫定供用部４２に対応しており、各標示線Ｘの幅がオレンジ線４１のみの幅に対応して細くなっている。

多重区分線区間判定部１３では、そのような多重区分線区間の判定を鳥瞰画像データの遠方領域及び近傍領域で左右独立に行い、左右の判定結果が揃ったところで、多重区分線区間とみなす。具体的には、鳥瞰画像データの近傍領域で、多重区分線の抽出データが所定回（例えば３回）連続して何れかの多重線テンプレートと一致した後、鳥瞰画像データの遠方領域で、多重区分線の抽出データが所定回（例えば３回）連続して同じ多重線テンプレートと一致すれば、多重区分線区間であると判断する。また、鳥瞰画像データの遠方領域で、多重区分線の抽出データが所定回連続して何れかの多重線テンプレートと一致した後、鳥瞰画像データの近傍領域で、多重区分線の抽出データが所定回連続して同じ多重線テンプレートと一致したときにも、多重区分線区間であると判断する。このとき、鳥瞰画像データの近傍領域及び遠方領域の両方で、多重区分線の抽出データが所定回連続して何れかの多重線テンプレートと一致した後、更に鳥瞰画像データの近傍領域及び遠方領域で、多重区分線の抽出データが所定回連続して同じ多重線テンプレートと一致することがあっても勿論良い。

このように多重区分線の連続性を判断することにより、ノイズ等により実際の多重区分線とは異なる種類の多重区分線が瞬間的に判定されても、その判定結果はカットされることになる。従って、実際には多重区分線区間でないにも拘わらず、誤って多重区分線区間と判定されることを防止できる。

ここで、多重区分線の抽出データが所定回連続して多重線テンプレートと一致した後に、多重区分線の抽出データと多重線テンプレートとの不一致が鳥瞰画像データの近傍領域及び遠方領域で所定回（例えば２回）続いた場合には、多重区分線区間が終了したと仮判定する。この仮判定は、鳥瞰画像データの遠方領域及び近傍領域で左右独立に行い、左右両側のうち多重区分線区間が終了したと仮判定された側のみ有効となる。

そして、多重区分線の抽出データと多重線テンプレートとの不一致が更にそのまま所定回数（例えば３回）続いた場合には、正式に多重区分線区間が終了したと判定する。この多重区分線区間の終了判定は、鳥瞰画像データの遠方領域及び近傍領域で左右独立に行い、左右両側のうち何れか一方において多重区分線区間が終了したと判定されると、左右両側で多重区分線区間が終了したものとみなされる。また、多重区分線の抽出データと多重線テンプレートとの不一致が当該回数に達するまでに、鳥瞰画像データの近傍領域または遠方領域で多重区分線の抽出データが多重線テンプレートに一致した場合には、多重区分線区間が終了したという仮判定が解除され、多重区分線区間がそのまま継続しているとみなされる。

多重区分線種類識別部１４は、実線破線判別部１２の判別結果と多重区分線区間判定部１３の判定結果とを用いて、鳥瞰画像データに基づいて抽出された多重区分線の種類（３重線、右太２重線、左太２重線、両太２重線、両細２重線、暫定供用部）を識別する。多重区分線種類識別部１４では、個別の多重線テンプレートとの一致の連続を基本とする識別を行う。ただし、多重区分線の抽出データと多重線テンプレートとの一致連続回数は、上述した多重区分線区間判定部１３による多重区分線区間の判定時よりも少なくて良く、鳥瞰画像データの遠方領域及び近傍領域の何れかで例えば４回連続して一致すれば良い。

多重区分線種類識別部１４による多重区分線の種類の識別は、上述した多重区分線区間判定部１３による多重区分線区間の判定とは独立で行われ、多重区分線区間の判定の成立と同時に有効となる。また、多重区分線の種類の識別は、鳥瞰画像データの遠方領域及び近傍領域で左右独立に行われる。以下、多重区分線の種類を識別する考え方について説明する。

ここで、３重線（図６（ａ）参照）の車線境界は、真ん中の標示線である。右太２重線（図６（ｂ）参照）の車線境界は、左側の標示線である。左太２重線（図６（ｃ）参照）の車線境界は、右側の標示線である。両太２重線（図６（ｄ）参照）の車線境界は、車両の進行方向に対して左側にあるときは左側の標示線であり、車両の進行方向に対して右側にあるときは右側の標示線である。両細２重線（図６（ｅ）参照）の車線境界は、両太２重線の車線境界と同様である。暫定供用部（図９参照）の車線境界は、左右両側の標示線（オレンジ線）である。なお、車線境界は、車両が走行するための車線（走行レーンとも言う）を区画する白線である。

３重線は、車線と車線との境界のみにあり、車線と路肩との境界には無い。このため、３重線の車線境界（真ん中の標示線）は、常に破線である。従って、３重線区間の判別の条件としては、
（遠方または近傍での３重線テンプレートとの一致が連続数回）ＡＮＤ（車線境界候補が破線判定）
となる。なお、車線境界候補としたのは、この時点では未だ正式に車線境界と確定していないからである。

右太２重線は、右側の路肩にあることは無い。このため、右太２重線が車両の進行方向に対して右側領域にある場合には、車線と車線との境界にあることになるため、右太２重線の車線境界（左側の細い標示線）は破線になる。従って、右太２重線区間の判別の条件としては、
左側領域：（遠方または近傍での右太２重線テンプレートとの一致が連続数回）
右側領域：（遠方または近傍での右太２重線テンプレートとの一致が連続数回）ＡＮＤ （車線境界候補が破線判定）
となる。

左太２重線は、左側の路肩にあることは無い。このため、左太２重線が車両の進行方向に対して左側領域にある場合には、車線と車線との境界にあることになるため、左太２重線の車線境界（右側の細い標示線）は破線になる。従って、左太２重線区間の判別の条件としては、
左側領域：（遠方または近傍での左太２重線テンプレートとの一致が連続数回）ＡＮＤ （車線境界候補が破線判定）
右側領域：（遠方または近傍での左太２重線テンプレートとの一致が連続数回）
となる。

両太２重線は、路肩と車線との境界にのみある。このため、両太２重線が車両の進行方向に対して左側領域にある場合には、車線境界（左側の標示線）が実線になり、両太２重線が車両の進行方向に対して右側領域にある場合には、車線境界（右側の標示線）が実線になる。また、車両の進行方向に対して左側領域において、車線境界（左側の標示線）が実線でなくても、左太２重線と判定されなければ、たとえ右太２重線と重なっても、車線境界の設定が可能となる。また、車両の進行方向に対して右側領域において、車線境界（右側の標示線）が実線でなくても、右太２重線と判定されなければ、たとえ左太２重線と重なっても、車線境界の設定が可能となる。従って、両太２重線区間の判別の条件としては、
左側領域：（遠方または近傍での両太２重線テンプレートとの一致が連続数回）ＡＮＤ ｛（車線境界候補が実線判定）ＯＲ（過去に左太２重線区間識別でないこと）｝
右側領域：（遠方または近傍での両太２重線テンプレートとの一致が連続数回）ＡＮＤ ｛（車線境界候補が実線判定）ＯＲ（過去に右太２重線区間識別でないこと）｝
となる。

両細２重線は、路肩と車線との境界にのみあるので、両太２重線と同様に考えられる。従って、両細２重線区間の判別の条件としては、
左側領域：（遠方または近傍での両細２重線テンプレートとの一致が連続数回）ＡＮＤ ｛（車線境界候補が実線判定）ＯＲ（過去に左太２重線区間判別でないこと）｝
右側領域：（遠方または近傍での両細２重線テンプレートとの一致が連続数回）ＡＮＤ ｛（車線境界候補が実線判定）ＯＲ（過去に右太２重線区間判別でないこと）｝
となる。

暫定供用部は、対面通行の区間なので、車両の進行方向に対して右側領域に限られる。また、対面通行の区間では、暫定供用部の車線境界（両外側の標示線）は実線である。従って、暫定供用部の判別の条件としては、
（右側領域における遠方または近傍での中抜け２重線テンプレートとの一致が連続数回）ＡＮＤ（車線境界候補が実線判定）
となる。

つまり、３重線、右太２重線、左太２重線及び暫定供用部の識別は、実線破線判別部１２の判別結果と、多重区分線区間判定部１３の判定結果と、照合用パターンとの照合に基づいて行われる。また、両太２重線及び両細２重線の識別は、実線破線判別部１２の判別結果と、多重区分線区間判定部１３の判定結果と、照合用パターンとの照合に基づいて行われるか、或いは過去（前回）に識別された多重区分線と予め記憶部１６に記憶された多重区分線の種類との比較結果と、多重区分線区間判定部１３の判定結果と、照合用パターンとの照合に基づいて行われる。

このような考え方を基にした多重区分線種類識別部１４の処理手順の詳細を図１１及び図１２に示す。図１１は、車両の進行方向に対して左側領域についての処理手順を示したものである。

図１１において、まず多重区分線の抽出データを３重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１０１）。このとき、多重区分線の抽出データと３重線テンプレートとの一致が所定回連続したときは、実線破線判別部１２の判別結果に基づいて、多重区分線の抽出データの車線境界候補（真ん中の標示線）が破線かどうかを判断し（手順１０２）、当該車線境界候補が破線のときは、３重線区間であると識別する（手順１０３）。手順１０１において多重区分線の抽出データと３重線テンプレートとの一致が所定回連続していないと判断されたとき、手順１０２において車線境界候補が破線でないと判断されたときは、３重線区間でないと識別する（手順１０４）。

また、手順１０１〜１０４の処理と並行して、多重区分線の抽出データを右太２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１０５）。このとき、抽出データと右太２重線テンプレートとの一致が所定回連続したときは、右太２重線区間であると識別し（手順１０６）、両者の一致が所定回連続していないときは、右太２重線区間でないと識別する（手順１０７）。

さらに、手順１０１〜１０４の処理と並行して、実線破線判別部１２の判別結果に基づいて、多重区分線の抽出データの車線境界候補（左側の標示線）が破線かどうかを判断する（手順１０８）。このとき、当該車線境界候補が破線のときは、多重区分線の抽出データを左太２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断し（手順１０９）、抽出データと左太２重線テンプレートとの一致が所定回連続したときは、左太２重線区間であると識別する（手順１１０）。

手順１０９において抽出データと左太２重線テンプレートとの一致が所定回連続していないと判断されたときは、多重区分線の抽出データを両細２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１１１）。そして、抽出データと両細２重線テンプレートとの一致が所定回連続したときは、両細２重線区間であると識別し（手順１１２）、両者の一致が所定回連続していないときは、両細２重線区間でないと識別する（手順１１３）。

また、手順１１１〜１１３の処理と並行して、多重区分線の抽出データを両太２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１１４）。そして、抽出データと両太２重線テンプレートとの一致が所定回連続したときは、両太２重線区間であると識別し（手順１１５）、両者の一致が所定回連続していないときは、両太２重線区間でないと識別する（手順１１６）。

手順１０８において多重区分線の抽出データの車線境界候補が破線でないと判断されたときは、多重区分線の抽出データを両細２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１１７）。そして、抽出データと両細２重線テンプレートとの一致が所定回連続したときは、両細２重線区間であると識別し（手順１１８）、両者の一致が所定回連続していないときは、両細２重線区間でないと識別する（手順１１９）。

また、手順１１７〜１１９の処理と並行して、多重区分線の抽出データを両太２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１２０）。そして、抽出データと両太２重線テンプレートとの一致が所定回連続したときは、両太２重線区間であると識別し（手順１２１）、両者の一致が所定回連続していないときは、両太２重線区間でないと識別する（手順１２２）。

図１２は、車両の進行方向に対して右側領域についての処理手順を示したものである。図１２において、まず多重区分線の抽出データを３重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１３１）。このとき、抽出データと３重線テンプレートとの一致が所定回連続したときは、実線破線判別部１２の判別結果に基づいて、多重区分線の抽出データの車線境界候補（真ん中の標示線）が破線かどうかを判断し（手順１３２）、当該車線境界候補が破線のときは、３重線区間であると識別する（手順１３３）。手順１３１において多重区分線の抽出データと３重線テンプレートとの一致が所定回連続していないと判断されたとき、手順１３２において車線境界候補が破線でないと判断されたときは、３重線区間でないと識別する（手順１３４）。

また、手順１３１〜１３４の処理と並行して、多重区分線の抽出データを左太２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１３５）。このとき、抽出データと左太２重線テンプレートとの一致が所定回連続したときは、左太２重線区間であると識別し（手順１３６）、両者の一致が所定回連続していないときは、左太２重線区間でないと識別する（手順１３７）。

さらに、手順１３１〜１３４の処理と並行して、実線破線判別部１２の判別結果に基づいて、多重区分線の抽出データの車線境界候補（右側の標示線）が破線かどうかを判断する（手順１３８）。このとき、当該車線境界候補が破線のときは、多重区分線の抽出データを右太２重線テンプレートと照合し、両者の一致が所定数連続したかどうかを判断し（手順１３９）、抽出データと右太２重線テンプレートとの一致が所定回連続したときは、右太２重線区間であると識別する（手順１４０）。

手順１３９において抽出データと右太２重線テンプレートとの一致が所定回連続していないと判断されたときは、多重区分線の抽出データを両細２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１４１）。そして、抽出データと両細２重線テンプレートとの一致が所定回連続したときは、両細２重線区間であると識別し（手順１４２）、両者の一致が所定回連続していないときは、両細２重線区間でないと識別する（手順１４３）。

また、手順１４１〜１４３の処理と並行して、多重区分線の抽出データを両太２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１４４）。そして、抽出データと両太２重線テンプレートとの一致が所定回連続したときは、両太２重線区間であると識別し（手順１４５）、両者の一致が所定回連続していないときは、両太２重線区間でないと識別する（手順１４６）。

手順１３８において多重区分線の抽出データの車線境界候補が破線でないと判断されたときは、多重区分線の抽出データを両細２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１４７）。そして、抽出データと両細２重線テンプレートとの一致が所定回連続したときは、両細２重線区間であると識別し（手順１４８）、両者の一致が所定回連続していないときは、両細２重線区間でないと識別する（手順１４９）。

また、手順１４７〜１４９の処理と並行して、多重区分線の抽出データを両太２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１５０）。そして、抽出データと両太２重線テンプレートとの一致が所定回連続したときは、両太２重線区間であると識別し（手順１５１）、両者の一致が所定回連続していないときは、両太２重線区間でないと識別する（手順１５２）。

さらに、手順１３１〜１３４の処理と並行して、多重区分線の抽出データを中抜け２重線テンプレートと照合し、両者の一致が所定回連続したかどうかを判断する（手順１５３）。そして、抽出データと中抜け２重線テンプレートとの一致が所定回連続したときは、暫定供用部であると識別し（手順１５４）、両者の一致が所定回連続していないときは、暫定供用部でないと識別する（手順１５５）。

なお、このような多重区分線種類識別部１４による多重区分線の種類の識別処理においても、上述した多重線区間の判定処理と同様に、各種多重線区間の終了に関する仮判定がある。

また、暫定供用部かどうかの判断は、車両の進行方向に対して右側領域についての処理だけにあるので、車両の進行方向に対して左側領域についての処理を簡略化することができる。

車線境界設定部１５は、多重区分線区間判定部１３の判定結果を用いて、多重区分線種類識別部１４で判別された多重区分線の車線境界を設定する。３重線、右太２重線、左太２重線、両細太２重線、両太２重線及び暫定供用部の車線境界は、上述した通りである。

ここで、３重線テンプレートは、２重線テンプレートを含んでいる形となっている。このため、３重線と２重線（右太２重線、左太２重線、両細２重線、両太２重線）とが重なり、車線境界の設定が不安定になることがある。従って、３重線区間と２重線区間とが重なって判別されたときは、３重線区間の車線境界候補を優先して、車線境界と決定する。また、３重線区間とそれ以外の多重線区間とが重なって判別されたときは、同様に３重線区間の車線境界候補を優先して、車線境界と決定する。

次に、以上のように構成した走行路認識装置２による多重区分線の種類の認識について一例を挙げて説明する。ここで、車両が走行している道路は、図１３に示すように、車両の進行方向に対して左側領域に右太２重線があり、車両の進行方向に対して右側領域に３重線があるものとする。

前方カメラ５の撮像画像から得られる多重区分線の抽出データと多重線テンプレートとの照合結果は、図１４中の表に示す通りである。この表から分かるように、道路の左側領域では、当然の事ながら多重区分線の抽出データと右太２重線テンプレートとの一致が多く見られる。また、道路の右側領域では、当然の事ながら多重区分線の抽出データと３重線テンプレートとの一致が多く見られる。ただし、３重線は右太２重線を含んだ形状を有しているので、道路の右側領域では、多重区分線の抽出データと右太２重線テンプレートとの一致も多少見られる。

白線検出ＥＣＵ６の多重区分線区間判定部１３による多重線区間の判定処理は、以下のようにして行われる。即ち、道路の左側領域では、遠方領域及び近傍領域で多重区分線の抽出データと右太２重線テンプレートとの一致が３回続いた後、近傍領域で多重区分線の抽出データと右太２重線テンプレートとの一致が３回続いたタイミングＴ_１において、左側の多重区分線が多重線区間であると判定される。道路の右側領域では、近傍領域で多重区分線の抽出データと３重線テンプレートとの一致が３回続いた後、遠方領域で多重区分線の抽出データと３重線テンプレートとの一致が３回続いたタイミングＴ_２において、右側の多重区分線が多重線区間であると判定される。多重区分線区間の判定処理では、上述したように左右両側の領域での判定が揃ったところで多重区分線区間と判定されるので、タイミングＴ_２において、車両が走行している道路の多重区分線が多重線区間であると判定される。

白線検出ＥＣＵ６の実線破線判別部１２による多重区分線の線種の判別処理は、以下のようにして行われる。即ち、上述したように、右太２重線の車線境界は左側の標示線であり、３重線の車線境界は真ん中の標示線である。このため、左側領域における多重区分線の車線境界候補となる細い線は実線であると判別され、右側領域における多重区分線の車線境界候補となる細い線は破線であると判別される。

白線検出ＥＣＵ６の多重区分線種類識別部１４による多重区分線区間の識別処理は、以下のようにして行われる。即ち、道路の左側領域では、遠方領域または近傍領域で多重区分線の抽出データと右太２重線テンプレートとの一致が４回続いたタイミングＴ_３において、左側の多重区分線が右太２重線区間であると判別される。

道路の右側領域では、タイミングＴ_４において遠方領域または近傍領域で多重区分線の抽出データと３重線テンプレートとの一致が４回続いている。これに加え、３重線の車線境界候補は、上記のように破線と判別されている。これにより、上記のタイミングＴ_４において、右側の多重区分線が３重線区間であると判別される。

また、道路の右側領域では、タイミングＴ_５において遠方領域または近傍領域で多重区分線の抽出データと右太２重線テンプレートとの一致が４回続いており、しかも右太２重線の車線境界候補は、上記のように破線と判別されている。これにより、上記のタイミングＴ_５において、右側の多重区分線が右太２重線であると判別される。つまり、当該タイミングＴ_５では、右側の多重区分線が３重線及び右太２重線と重ねて判別されることになる。

ただし、その後、タイミングＴ_６において遠方領域及び近傍領域で多重区分線の抽出データと右太２重線テンプレートとの不一致が２回続いているので、当該タイミングＴ_６において、右側の多重区分線が右太２重線区間でないと仮判定される。そして、タイミングＴ_７において遠方領域及び近傍領域で多重区分線の抽出データと右太２重線テンプレートとの不一致が更に引き続いて３回続いているので、当該タイミングＴ_７において、右側の多重区分線が明らかに右太２重線区間でないと判定される。

車線境界設定部１５による車線境界の設定処理は、以下のようにして行われる。即ち、多重区分線が多重線区間であると判定されるタイミングＴ_２までは、多重線区間でないと判定された時の車線境界の設定方法（詳細については省略）により車線境界が決定される。多重区分線が多重線区間であると判定されると、道路の左側領域の多重区分線では、右太２重線の車線境界が選択され、道路の右側領域の多重区分線では、３重線の車線境界が選択される。右側領域の多重区分線では、３重線と右太２重線とが重ねて判別される部分があるが、この場合には３重線を優先して車線境界が決定されるため、やはり３重線の車線境界が選択されることになる。

ところで、一般に白線認識では、画像データのエッジ抽出精度やカメラの撮像精度等から、白線のエッジは誤差をもって抽出されるので、エッジ抽出データである白線の太さは、ある程度の誤差をもつことになる。このため、白線を確実に認識するためには、本来の太さの白線のみを抽出するのではなく、本来の白線よりも多少太い白線や、本来の白線よりも多少細い白線も抽出する、いわば検出マージンを考慮する必要がある。従って、検出マージンのとり方によっては、太い白線と細い白線との中間の太さをもった白線が抽出されたときに、太い白線でもあり、細い白線でもあると判断されてしまう場合がある。これにより、例えば道路の左側の多重区分線が左太２重線及び両太２重線と重ねて判別されてしまうことがある。また、本来の多重区分線である２重線が、ノイズ等によって３重線と判別されてしまうこともある。

これに対し本実施形態では、多重区分線を構成する各標示線の組み合わせ（本数及び太さ）の情報である多重線テンプレートと各標示線の線種（実線及び破線）の情報である線種情報とを含んだ複数種類の照合用パターンを予め用意しておく。そして、前方カメラ５の撮像画像から得られる多重区分線の抽出データに基づいて、多重区分線を構成する各標示線の線種を判別すると共に多重区分線区間であるかどうかを判定し、それらの結果と照合用パターンとの照合を行うので、多重区分線の種類を正確に識別することができる。

例えば、道路の左側の多重区分線が左太２重線及び両太２重線と重ねて判別される可能性がある場合でも、車線境界が実線か破線かを判別することで、どちらの多重区分線であるかを正確に識別することができる。また、車線境界が実線か破線かを判別することにより、多重区分線が３重線であるか２重線であるか、更に多重区分線が２重線であるならば、どの種類の２重線であるかといったことを正確に識別することができる。

これにより、車線境界設定部１５によってレーンキープや車線逸脱防止の基準となる車線境界を正しく設定することが可能となる。また、例えば左側の車線に進路変更できるかどうかの判断が正しく行える。その結果、車両の操舵支援を有効に実施することが可能となる。

なお、上記実施形態では、多重区分線区間判定部１３及び多重区分線種類識別部１４において、多重区分線区間の判定及び多重区分線の種類識別の精度をより上げるために、多重線テンプレートとの一致が複数回連続しているかを判断するものとしたが、特にこの手法に限られず、多重線テンプレートとの一致が１回だけの結果から多重区分線区間の判定等を行っても良い。

また、上記実施形態の走行路認識装置２は、操舵制御システム１に適用したものであるが、本発明は、車両に搭載される他の走行支援システム等にも適用可能である。

本発明に係わる走行路認識装置の一実施形態を備えた操舵制御システムを示す概略ブロック図である。 図１に示す白線検出ＥＣＵの機能ブロック図である。 図２に示す画像処理部で実施される画像データの射影変換を示す図である。 図３に示す鳥瞰画像データの処理領域を示す概念図である。 図２に示す実線破線判別部により実線または破線の判別を行う概念を示す図である。 道路上に設けられた多重区分線の種類の具体例を示す図である。 図６に示す多重区分線の種類に対応する各種多重線テンプレートを示す図である。 図７に示す３重線テンプレートとの照合を行う際のパラメータを示す図である。 道路上に設けられた暫定供用部を示す図である。 図９に示す暫定供用部に対応する中抜け２重線テンプレートを示す概略図である。 図２に示す多重区分線種類判別部による判別処理手順（左側領域）の詳細を示すフローチャートである。 図２に示す多重区分線種類判別部による判別処理手順（右側領域）の詳細を示すフローチャートである。 道路上の左右両側に描かれた多重区分線の種類の一例を示す図である。 図２に示す走行路認識装置により多重区分線の種類を認識する動作の一例を示す表及びタイミングチャートである。

符号の説明

２…走行路認識装置、６…白線検出ＥＣＵ、１１…多重区分線抽出部（多重区分線抽出手段）、１２…実線破線判別部（判別手段）、１３…多重区分線区間判定部（判定手段）、１４…多重区分線種類識別部（識別手段）、１５…車線境界設定部（車線境界を設定する手段）、１６…記憶部（記憶手段）。

Claims (10)

1. 車両が走行する走行路の撮像画像に基づいて、前記走行路上に設けられ複数の標示線からなる多重区分線を認識する走行路認識装置において、
   前記多重区分線を構成する各標示線の組み合わせの情報であるテンプレートと前記多重区分線を構成する各標示線の線種の情報である線種情報とを含む複数種類の照合用パターンを予め記憶しておく記憶手段と、
   前記撮像画像に基づいて前記多重区分線を抽出する多重区分線抽出手段と、
   前記抽出した多重区分線を構成する各標示線の線種を判別する判別手段と、
   前記抽出した多重区分線に対応するテンプレートの種類を判定する判定手段と、
   前記判別手段の判別結果と、前記判定手段の判定結果と、前記照合用パターンとの照合に基づいて、前記多重区分線の種類を識別する識別手段とを備えることを特徴とする走行路認識装置。
2. 前記識別手段は、前記車両の進行方向に対して左右両側の領域における前記多重区分線の種類をそれぞれ独立に識別することを特徴とする請求項１記載の走行路認識装置。
3. 前記テンプレートは、前記多重区分線を構成する標示線の本数及び前記各標示線の太さの情報であることを特徴とする請求項１または２記載の走行路認識装置。
4. 前記記憶手段は、前記標示線の本数が３本であると共に、前記各標示線の線種が破線である３重線に対応する照合用パターンを記憶していることを特徴とする請求項３記載の走行路認識装置。
5. 前記記憶手段は、前記標示線の本数が２本であると共に、一側の標示線の線種が実線または破線であり、他側の標示線の線種が破線であり且つその太さが前記一側の標示線よりも太い異幅２重線に対応する照合用パターンを記憶していることを特徴とする請求項３記載の走行路認識装置。
6. 前記識別手段は、前記車両の進行方向に対して左右どちらの領域における前記多重区分線の種類の識別を行っているかに応じて、前記一側の標示線の線種が実線である前記照合用パターンの照合を行わないことを特徴とする請求項５記載の走行路認識装置。
7. 前記記憶手段は、前記標示線の本数が２本であると共に、一側の標示線の線種が実線または破線の一方であり、他側の標示線の線種が破線の他方であり且つ前記一側の標示線と実質的に同じ太さを有する同幅２重線に対応する照合用パターンを記憶していることを特徴とする請求項３記載の走行路認識装置。
8. 前記記憶手段は、前記各標示線の線種の情報である線種情報の代わりに、前記多重区分線の種類の情報を含む照合用パターンを予め記憶しており、
   前記識別手段は、識別した多重区分線の種類と前記記憶手段に記憶した多重区分線の種類との比較結果と、前記判定手段の判定結果と、前記照合用パターンとの照合に基づいて、前記多重区分線の種類を識別することを特徴とする請求項７記載の走行路認識装置。
9. 前記記憶手段は、前記標示線の本数が２本であると共に、前記各標示線の線種が共に実線である中抜け２重線に対応した照合用パターンを記憶しており、
   前記識別手段は、前記車両の進行方向に対して左側領域における前記多重区分線の識別において、前記中抜け２重線に対応した照合用パターンとの照合を行わないことを特徴とする請求項３記載の走行路認識装置。
10. 前記識別手段で識別した前記多重区分線の種類に基づいて、前記車両の走行に用いる車線境界を設定する手段を更に備えることを特徴とする請求項１〜９のいずれか一項記載の走行路認識装置。
    
    
    
    
    
    
    
    

Images