JP2007264955A - 車線位置検出装置 - Google Patents

Abstract

【課題】自車輌の前方風景の撮像画像中から自車輌の左右に標示されている車線や破線を的確に検出し、車線の位置を確実に検出することが可能な車線位置検出装置を提供する。
【解決手段】車線位置検出装置１は、前方風景を撮像して一対の画像を出力する撮像手段２と、一方の画像Ｔの設定領域ごとに実空間での距離Ｌijを算出する画像処理手段６と、画像Ｔ上を探索して輝度値ｐ１ijと距離Ｌijに基づいて、道路面上にある画素の中から輝度値と輝度微分値の閾値ｐth１、Ｅth１以上の画素を車線候補点として検出し、車線候補点に基づいて車線位置ＬＲ、ＬＬを検出する検出手段９とを備え、検出手段９は、所定距離内にある車線候補点をグループ化し、車線候補点のグループが所定個数以上検出され、各グループの実空間上における距離方向の長さ等がそれぞれ所定の数値範囲内にある場合には、それらのグループを道路面上に標示された破線ＢＬとして検出する。
【選択図】図１

Description

本発明は、車線位置検出装置に係り、特に、車線の内側や外側に破線が標示され、或いは車線自体が破線状に標示された破線である場合には破線位置を検出して車線位置を検出可能な車線位置検出装置に関する。

近年、自動車等の走行安全性の向上や車輌の自動制御等に向けて、車載のステレオカメラやビデオカメラ等で撮像した画像に画像処理を施して安全性向上や自動制御等の前提となる道路形状の認識を行う道路認識装置の開発が進められている。道路形状を的確に認識し、特に車輌のキープレーン制御等を精度よく行うためには、自車輌前方の道路を含む風景を撮像した画像中から自車輌の左右に標示されている車線の位置を確実に検出することが必要となる（例えば、特許文献１等参照）。

また、自車輌の右側または左側或いはその両方の車線が、近接して並列に標示された複数の車線で構成されていたり、車線の内側や外側に走行を誘導する等の目的で破線が標示されていたりする場合がある。このような場合に、車線の位置を安定して特定するための車線位置検出装置がいくつか提案されている。

なお、本発明では、追い越し禁止線等の道路中央線や車輌通行帯境界線、路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線といい、隣接する車線間の距離を道幅、車線自体の幅を車線幅という。また、車線の内側や外側に標示され、或いは後述する図３１に示すような例えば高速道路の合流点等に標示される通常の車線よりも幅広く長さが短い標示を破線という。

特許文献２に記載された車線位置検出装置では、撮像画像中からエッジ抽出によって自車輌の左右両側の車線や破線のエッジ点を抽出し、それらのエッジ点にハフ変換を施し、ハフ平面上で最も投票数が多い直線を最も連続線に近いと判定して車線位置として検出する。

特許文献３や特許文献４に記載された車線位置検出装置では、撮像画像中からエッジ抽出によって自車輌の左右両側の車線や破線のエッジ点を抽出し、得られたエッジ点群に対して曲線フィッティングを施したり、エッジ点を線セグメント化し線セグメントをグループ化したうえでグループ化された線セグメントに対して曲線フィッティングを施し、破線に対する曲線を除外していくことで車線位置を特定する。
特開２００１−９２９７０号公報 特開２００４−３１０５２２号公報 特開２００５−１０００００号公報 特開２００５−１００００１号公報

特許文献２に記載の車線位置検出装置では、図３７（Ａ）に示すような連続線である車線の内側に破線ＢＬが標示されている場合が想定されている。この場合、車線の内側に抽出されるエッジ点の数は破線ＢＬの内側に抽出されるエッジ点の数より多くなり、投票数が多い車線の方が正しく検出される確率が高い。

しかし、図３７（Ｂ）に示すように、車線も破線状に表示されている場合、車線の内側エッジ部分の長さの和は破線ＢＬの内側エッジ部分の長さの和に等しく、この場合には、車線に対応するエッジ点が破線ＢＬに対応するエッジ点より多いとは限らない。そのため、車線が検出されたり破線ＢＬが検出されたりして、車線として検出される検出位置が一定しない可能性が残る。

また、特許文献３や特許文献４に記載された車線位置検出装置では、図３８（Ａ）に示すような車線や破線のエッジ点群に対して直接曲線フィッティングを施しても、通常の場合、車線に対応する曲線と破線に対応する曲線とを明確に分離することは容易ではなく、必ずしも正しい曲線が得られるとは限らない。

さらに、これらの文献では、図３８（Ａ）に示した車線や破線のエッジ点を線セグメントＬＳにまとめてグループ化すると、線セグメントＬＳは図３８（Ｂ）に示すようにそれぞれグループＧ１、Ｇ２、Ｇ３にグループ化されるという。しかし、このようなマトリクス状に分散した対象に対してグループ化を行うと、通常は、図３８（Ｃ）に示すグループＧ４のように、破線に対応する線セグメントと車線に対する線セグメントとがグループ化されてしまうことが多く、必ずしも安定してグループ化を行うことができない。

また、特に車線の内側に破線が標示されている場合、車輌のタイヤに踏まれて破線の内側が薄くなっている場合も多い。そのような場合にも安定して的確に破線や車線を検出し、車線の位置を確実に検出することで、道路形状の認識やキープレーン等の自動制御等を的確に行うことが可能となる。

本発明は、このような事情に鑑みてなされたものであり、自車輌前方の道路を含む風景を撮像した画像中から自車輌の左右に標示されている車線や破線を安定して的確に検出し、車線の位置を確実に検出することが可能な車線位置検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
車線位置検出装置において、
自車輌前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域ごとに実空間における距離を算出する画像処理手段と、
前記一方の画像上を水平方向に延びるラインごとに探索して、前記輝度値および前記距離に基づいて道路面上の点に対応する画素の中から前記輝度値および輝度微分値についてそれぞれ設定された閾値以上である画素を車線候補点として検出し、前記探索により検出された複数の車線候補点に基づいて車線位置を検出する検出手段と
を備え、
前記検出手段は、互いに所定の距離内にある前記複数の車線候補点をグループ化し、グループ化された一群の車線候補点のグループが所定個数以上検出され、各グループの実空間上における距離方向の長さおよび左右方向の長さ、および各グループ間の距離がそれぞれ所定の数値範囲内にある場合には、それらのグループを道路面上に標示された破線として検出することを特徴とする。

第２の発明は、第１の発明の車線位置検出装置において、前記検出手段は、前回の検出で前記破線が検出された場合には、今回の検出において、前記輝度値および前記輝度微分値についてそれぞれ設定された閾値をそれぞれ下げることを特徴とする。

第３の発明は、第１または第２の発明の車線位置検出装置において、前記検出手段は、前記破線の検出において、破線が検出されない場合に前記車線位置から算出された道幅に基づいて、車線の内側に標示された破線と、車線の外側に標示された破線と、車線自体が破線状に標示された破線とを区別して検出することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の車線位置検出装置において、前記検出手段は、前回の検出で破線が検出されなかった場合には、今回の検出において、前記一方の画像上の前回検出された車線位置の周囲のみを探索領域として車線候補点の探索を行うことを特徴とする。

第５の発明は、第３の発明の車線位置検出装置において、前記検出手段は、前記破線の検出において、自車輌の左右に検出した破線位置同士の間隔または破線位置と車線位置との間隔が、破線が検出されない場合に前記車線位置から算出された道幅よりも所定量以上狭い場合には、車線の内側に標示された破線として検出することを特徴とする。

第６の発明は、第５の発明の車線位置検出装置において、前記検出手段は、前回の検出で車線の内側に標示された破線が検出された場合には、今回の検出において、前記一方の画像上の前回検出された破線位置の周囲のみを探索領域とし、その探索領域を、前回車線位置が検出された場合に設定される探索領域よりも狭めることを特徴とする。

第７の発明は、第５または第６の発明の車線位置検出装置において、前記検出手段は、車線の内側に標示された破線が検出された場合には、その破線位置から外側に所定距離離間した位置を車線位置として検出することを特徴とする。

第８の発明は、第３の発明の車線位置検出装置において、前記検出手段は、前回の検出で車線の外側に標示された破線が検出された場合または車線自体が破線状に標示された破線が検出された場合には、今回の検出において、前記一方の画像上の前回検出された破線位置の周囲のみを探索領域とすることを特徴とする。

第９の発明は、第８の発明の車線位置検出装置において、前記検出手段は、前回の検出で車線の外側に標示された破線が検出された場合には、今回の検出において、前記輝度値および輝度微分値についてそれぞれ設定された閾値以上である画素のうち、破線に対応する画素は車線候補点として検出しないことを特徴とする。

第１０の発明は、第８の発明の車線位置検出装置において、前記検出手段は、車線自体が破線状に標示された破線が検出された場合には、その破線位置を車線位置として検出することを特徴とする。

第１の発明によれば、撮像手段で撮像された基準画像の各画素の輝度と距離とに基づいて道路面上の点に対応する画素のみを対象として車線位置検出を行うため、道路面より上方にある先行車のピラーやバンパ等の車体部分やガードレール、電信柱等のエッジ部分が検出対象が除外され、的確に道路面上の表示のみを検出することが可能となる。

また、車線や破線の最も内側の端部を車線候補点として検出し、それに基づいて車線位置や破線位置を検出する。その際、前記特許文献３、４のように、画像から車線や破線のエッジ部分をすべて抽出して形成されたマトリクス状に分散した対象に対してグループ化して車線位置を検出するのではなく、前記のように検出された車線候補点を基準画像の下側から追跡し、車線ポジションとの関連性が薄い車線候補点が除外されながら車線位置や破線位置を特定していく。そのため、車線位置や破線位置を安定して検出することが可能となる。

さらに、前記特許文献２のように、画像から車線や破線のエッジ部分をすべて抽出し、それらの全エッジ部分に対してハフ変換を行うのではなく、自車輌に最も近い車線や破線の最も内側の端部を車線候補点として検出してハフ変換を行って車線直線を得る。そのため、自車輌に最も近い側に表示されているものが車線であっても破線であっても、その車線や破線を安定して的確に検出し、車線位置や破線位置を確実に検出することが可能となる。

そして、車線候補点のグループ化により形成されたグループの個数、各グループの実空間上における距離方向の長さ、左右方向の長さおよび各グループ間の距離に基づいて、検出されたものが車線であるか破線であるかを識別することが可能となる。そのため、検出したものが車線位置であるか破線位置であるかを明確に区別して検出することができる。

また、このようにして車線位置が確実に安定して検出できるため、道路形状の認識や車輌のキープレーン制御等を行う際の基準となる車線位置の情報を確実に安定して供給することが可能となる。

第２の発明によれば、車線の内側に標示された破線等ではその内側のエッジ部分が車輌のタイヤに踏まれて薄くなっている場合があるが、前回の検出で破線が検出された場合に今回の検出において画素の輝度値や輝度微分値について設定された閾値をそれぞれ下げることで車線や破線のエッジ部分を的確に安定して検出することが可能となり、前記発明に記載の効果をより的確に発揮させることができる。

第３の発明によれば、例えば、破線が検出されない場合に左右の車線位置の間隔として道幅を記録しておき、破線が検出された段階で左右の破線位置等の間隔を算出し、その間隔と前記道幅とを比較することで、破線が車線の内側に標示された破線であるか、車線の外側に標示された破線であるか、或いは車線自体が破線状に標示された破線であるかを区別して検出することが可能となる。

また、このように破線状態を区別して検出することで、破線位置から車線位置を特定して車線位置を検出することが可能となり、或いは破線や車線をより的確に検出できるように、各破線状態に応じて各種閾値の変更等を行うことができ、前記各発明に記載の効果をより的確に発揮させることが可能となる。

第４の発明によれば、前回の検出で車線のみが検出された場合には、今回の検出では前回検出された車線位置の近くに車線が検出される可能性が高い。そのため、今回の車線検出では前回検出された車線位置の近傍に車線候補点の探索領域を限定することができ、このように探索領域を限定することで、前記各発明の効果に加えて、誤検出の可能性を低くすることができると同時に、処理速度の向上を図ることが可能となる。

第５の発明によれば、前記各発明の効果に加え、例えば、破線が検出されない場合に左右の車線位置の間隔として道幅を記録しておき、破線が検出された段階で左右の破線位置等の間隔を算出し、その間隔と前記道幅とを比較することで検出されたものが車線の内側に標示された破線であることを容易かつ確実に検出することが可能となる。

第６の発明によれば、今回の検出において前回検出された車線の内側に標示された破線の破線位置の近傍に車線候補点の探索領域を限定することで、第４の発明と同様の効果を奏することが可能となる。それとともに、その探索領域を第４の発明の場合の探索領域よりもさらに狭めることで、破線の外側に標示された車線のエッジ部分を誤検出することなく破線の内側エッジ部分に車線候補点を安定して検出することが可能となる。そのため、破線位置を確実に安定して検出することが可能となり、前記各発明の効果をより効果的に発揮させることが可能となる。

第７の発明によれば、本発明では車線の内側に破線が標示されている場合、前述のように内側の破線位置を検出する。そのため、その外側の車線位置は直接には検出しないが、検出された破線位置から外側に所定距離離間した位置を車線位置として特定することができる。このように、本発明によれば、破線位置に基づいて車線位置を容易かつ正確に特定することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第８の発明によれば、前回の検出で、車線自体が破線状に標示された破線が検出された場合には、今回の検出においてもその近傍に破線位置が検出される可能性が高い。そのため、その近傍に探索領域を限定することができ、第４の発明と同様の効果を奏することが可能となる。

また、前回の検出で、車線の外側に標示された破線が検出された場合には、今回の検出においては、その破線位置の内側２０ｃｍ程度のところに破線の内側に標示されている車線が検出される可能性が高い。そのため、前回検出された破線位置の近傍に探索領域を限定することができ、第４の発明と同様の効果を奏することが可能となるとともに、探索領域の幅を適宜設定することで探索領域内に車線位置を検出することが可能となる。

第９の発明によれば、前回の検出で、車線の外側に標示された破線が検出された場合には、破線に対応する左右方向の長さを持つ画素を車線候補点として検出しないように探索条件を変更することで、破線の内側の車線のみを検出することが可能となる。そのため、このように条件を変更することで、車線の外側に標示された破線が検出された場合にも車線位置を的確に安定して検出することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第１０の発明によれば、車線自体が破線状に標示された破線が検出された場合には、その破線と反対車線との間隔は、通常、片側が車線自体が破線状に標示された破線でない場合の道幅と同じであり、破線の内側にも外側にも車線は標示されない。そのため、車線自体が破線状に標示された破線が検出された場合には検出された破線位置をそのまま車線位置として特定することができ、車線位置を容易かつ正確に特定して前記各発明の効果を的確に発揮させることが可能となる。

以下、本発明に係る車線位置検出装置の実施の形態について、図面を参照して説明する。

図１は、本実施形態に係る車線位置検出装置のブロック図である。車線位置検出装置１は、主に撮像手段２と、変換手段３と、画像処理手段６と、検出手段９とから構成されている。

撮像手段２は、車輌周辺を撮像するものであり、所定のサンプリング周期で車輌前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。

メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。

メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。そして、前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像として、また距離等を求めるために比較される画像から変換されたデジタル画像が比較画像として出力されるようになっている。

Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されている。画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。

なお、例えば、基準画像Ｔは図２に示されるような水平方向が５１２画素、垂直方向が２００画素分の輝度値からなる画像データとして、比較画像は図示を省略するが水平方向が６４０画素、垂直方向が２００画素分の輝度値からなる画像データとしてそれぞれ画像補正部４から出力されるように構成されている。また、それぞれの画像データは画像補正部４に接続された画像データメモリ５に格納され、同時に検出手段９に送信されるようになっている。

前述したように、本実施形態では、メインカメラ２ａ等にＣＣＤカメラが用いられている。メインカメラ２ａやサブカメラ２ｂは、自車輌前方の風景を下側から順に水平方向にライン状に走査して撮像し、各水平ラインごとに撮像されたデータを順次変換手段３に送信する。そして、変換手段３で送信させてきた水平ラインの各画素ごとに撮像データを所定の輝度階調の輝度値に変換され、画像補正部４で画像補正が行われた後、各水平ラインごとの画像データが画像データメモリ５に格納されると同時に検出手段９に順次送信されるようになっている。

画像補正部４には、画像処理手段６が接続されており、画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とから構成されている。

イメージプロセッサ７では、画像補正部４から出力されたステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄｐを算出するようになっている。この視差ｄｐの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。

イメージプロセッサ７は、５１２×２００画素を有する基準画像Ｔについて設定領域としての４×４画素の画素ブロックごとに１つの視差ｄｐを算出するようになっている。１つの画素ブロックを構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、その１６画素の輝度値ｐ１ijがその画素ブロック特有の輝度値特性を形成している。

なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素ブロックの左下隅の画素のｉ座標およびｊ座標を表す。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。

イメージプロセッサ７におけるステレオマッチング処理では、前記のように基準画像Ｔを４×４画素ごとに最大１２８×５０個の画素ブロックに分割し、比較画像を水平方向に延在する４画素幅の水平ラインに分割する。そして、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向、すなわちｉ方向にシフトさせながら下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックと似た輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）

なお、ｐ２ijは比較画像上の座標（ｉ，ｊ）の画素の輝度値を表す。また、本実施形態では、前述したように画像補正部４から水平ラインごとの画像データが出力されるため、イメージプロセッサ７では、水平ライン４本分の画像データが入力されるごとに前記４×４画素の画素ブロックに対するステレオマッチング処理を行うようになっている。

イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄｐとして基準画像Ｔ上の画素ブロックに割り付けるようになっている。

この視差ｄｐは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄｐとを三角測量の原理に基づいて対応付けることができる。

具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車輌の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、距離画像上の点（ｉ，ｊ，ｄｐ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離Ｌと視差ｄｐとは、前記（４）式のＺを距離Ｌとすることで一意に対応付けられる。ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車輌正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前記フィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。

したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｌ、すなわち基準画像Ｔの各画素ブロックについて実空間における距離を算出するための視差ｄｐは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。

イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの視差ｄｐは前記（４）式に基づいてＺすなわち距離Ｌに変換されて、画像処理手段６の距離データメモリ８に格納されるようになっている。なお、検出手段９における処理では、基準画像Ｔの１つの画素ブロックは４×４個の画素として扱われ、１画素ブロックに属する１６個の画素は同一の距離Ｌを有する独立した画素（ｉ，ｊ）として処理されるようになっている。以下、画素（ｉ，ｊ）の距離ＬをＬijと表す。なお、検出手段９における処理で、画素ブロックを１６個の独立した画素として扱わず、画素ブロックすなわち設定領域のまま扱うように構成することも可能である。

検出手段９は、本実施形態では、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。検出手段９は、基準画像Ｔの各画素（ｉ，ｊ）の輝度値ｐ１ijおよび距離Ｌijに基づいて基準画像Ｔ上における道路面上の左右の車線の検出が行われるようになっている。

具体的には、前述したように、検出手段９には、基準画像Ｔの各画素（ｉ，ｊ）の輝度値ｐ１ijのデータが基準画像Ｔの１画素幅分の水平ラインごとに画像補正部４から入力されるようになっている。そして、水平ラインが順次下側から上向きに１画素幅ずつオフセットされながら各画素の輝度値ｐ１ijが入力され、最終的に基準画像Ｔの全画素（ｉ，ｊ）の輝度値ｐ１ijのデータが検出手段９に入力されるようになっている。

なお、水平ライン上の各画素（ｉ，ｊ）のｊ座標は同一であることから、ライン上の各画素のｊ座標がｊである水平ラインを水平ラインｊと表す。

検出手段９は、図３に示す基本フローに従って、画像補正部４から入力されてきた水平ラインｊ上を探索して、後述する条件を満たす画素を車線を表している可能性がある画素、すなわち車線候補点として検出し、検出された車線候補点に基づいて自車輌の左右の車線位置を検出するようになっている。

なお、車線候補点の探索は、基準画像Ｔの画像全体に対して行うことができる。しかし、本実施形態では、車線候補点の誤検出の抑制や処理速度の向上等の観点から、図４に示すように前回のサンプリング周期における検出で自車輌の左右に右車線位置ＬＲlastおよび左車線位置ＬＬlastが検出された場合には、今回の探索では、基準画像Ｔ上の前回の右車線位置ＬＲlastおよび左車線位置ＬＬlastの周囲のみを探索領域Ｓｒ、Ｓｌとして設定し、それらの領域内でのみ車線候補点の探索を行うようになっている。

本実施形態では、探索領域Ｓｒ、Ｓｌは、前回の右車線位置ＬＲlastおよび左車線位置ＬＬlastから実空間上で左右方向にそれぞれ一定の距離だけ離間した位置までとされている。具体的には、図５に示すように、右車線位置ＬＲlastや左車線位置ＬＬlastに対して自車輌に近い側、すなわち右車線位置ＬＲlastの左側および左車線位置ＬＬlastの右側の探索領域の規定値として内側規定値Ｗth_in設定されており、右車線位置ＬＲlastや左車線位置ＬＬlastに対して自車輌から遠い側、すなわち右車線位置ＬＲlastの右側および左車線位置ＬＬlastの左側の探索領域の規定値として外側規定値Ｗth_outが設定されている。内側規定値Ｗth_inおよび外側規定値Ｗth_outは４０ｃｍ程度の値が適宜設定される。

また、車線候補点の探索は、探索を行う水平ラインｊと右車線側探索領域Ｓｒの左端および左車線側探索領域Ｓｌの右端と交点の画素をそれぞれの領域の探索開始点ｉｓとし、右車線側では水平ラインｊ上を右向きに、左車線側では水平ラインｊ上を左向きにそれぞれ１画素ずつオフセットしながら探索するようになっている。また、探索は、水平ラインｊと右車線側探索領域Ｓｒの右端および左車線側探索領域Ｓｌの左端と交点の画素をそれぞれの領域の探索終了点ｉｅとしてそれぞれの探索終了点ｉｅまで行われるようになっている。

検出手段９は、図３の基本フローの第１プロセスである車線候補点検出変換処理（ステップＳ１０）において、図６に示すフローチャートに従って車線候補点を検出するようになっている。なお、左右の探索領域Ｓｒ、Ｓｌについての車線候補点の検出は同様に行われるから、以下、代表して右車線側探索領域Ｓｒを探索する場合について述べる。また、左車線側探索領域Ｓｌの探索は同一水平ラインｊについて右車線側探索領域Ｓｒの探索と同時に行われるように構成されている。

検出手段９は、画像補正部４から基準画像Ｔの水平ラインｊ上の各画素（ｉ，ｊ）の輝度値ｐ１ijが送信されてくると、図４に示した要領で探索領域Ｓｒについての探索開始点ｉｓおよび探索終了点ｉｅを設定する（ステップＳ１０１）。検出手段９は、続いて、探索する画素を右方にオフセットさせながら（ステップＳ１０２）、探索画素が下記の第１開始点条件を満たすか否かを判断する（ステップＳ１０３）。

［第１開始点条件］
条件１：その探索画素の輝度値ｐ１ijが道路面輝度値ｐroadより第１開始点輝度閾値ｐth１以上大きく、かつ、輝度微分値で表されるエッジ強度Ｅijが第１開始点エッジ強度閾値Ｅth１以上であること。
条件２：その探索画素に対応する実空間上の点が道路面上にあること。
ここで、道路面輝度値ｐroadは、現在探索が行われている水平ラインｊの直下のすでに探索が行われた４行分の水平ラインｊ−１、ｊ−２、ｊ−３、ｊ−４上における画素の輝度値ヒストグラムの出現度数が最大となる輝度値として水平ラインｊごとに算出される。

前記条件１は、図７（Ａ）、（Ｂ）に示すように輝度値ｐ１ijが道路面輝度値ｐroadから閾値ｐth１以上に大きくなり輝度微分値であるエッジ強度Ｅijが閾値Ｅth１以上である探索画素を、車線候補点となり得る開始点を見出すための条件である。条件２は、道路面より上方にある先行車のピラーやバンパ等の車体部分やガードレール、電信柱等のエッジ部分である探索画素を開始点から除外するための条件である。

検出手段９は、条件１を満たす画素が現れると、その画素についての距離Ｌijを距離データメモリ８から読み出してその画素に対応する実空間上の点が道路面上にあるか否かを判断する。

ここで、条件２を満たすか否かの判断の手法について簡単に説明する。図８に示すように、まず、基準画像Ｔ上の探索画素Ｍが属する水平ラインｊに消失点Ｖｐから引いた垂線の足を画素ｍとすると、画素ｍに対応する実空間上の点ｍは自車輌の正面に位置する。点ｍが道路面上にあるとすると、自車輌に搭載されたメインカメラ２ａから点ｍまでの距離をＬ_m、メインカメラ２ａの焦点距離をｆ、メインカメラ２ａの取付高さをｈとすると、メインカメラ２ａの結像位置における点ｍの映像と消失点Ｖｐとのずれｙは、
ｙ＝ｈ×ｆ／Ｌ_m …（５）
で表される。

基準画像Ｔ上での画素ｍと消失点Ｖｐとの画素間隔をｙpixelとすると、ピクセル長をｐとしたときｙpixel＝ｙ／ｐの関係が成り立つから、画素ｍと消失点Ｖｐとの画素間隔ｙpixelとメインカメラ２ａから点ｍまでの距離Ｌ_mとは、
ｙpixel＝ｙ／ｐ＝ｈ×ｆ／（Ｌ_m×ｐ） …（６）
すなわち、
Ｌ_m＝ｈ×ｆ／（ｐ×ｙpixel） …（７）
の関係が成り立つ。消失点Ｖｐのｊ座標は予め分かっているから、水平ラインｊのｊ座標から（７）式に基づいて実空間上の自車輌から点ｍまでの距離Ｌ_mが算出される。

また、同様にして、基準画像Ｔの画素ｍと探索画素Ｍとの画素間隔ｘpixelから実空間上の点ｍと探索画素Ｍに対応する道路面上の点Ｍとの距離Ｌ_m-Mが算出でき、この距離Ｌ_m-Mと前記距離Ｌ_mとから自車輌と道路面上の点Ｍとの実空間上の距離Ｌ_Mが算出される。

そして、この実空間上の自車輌と道路面上の点Ｍとの距離Ｌ_Mと、距離データメモリ８から読み出された距離Ｌijとを比較して、一定の誤差範囲で一致すれば探索画素Ｍに対応する実空間上の点Ｍは道路面上にあると判断でき、距離Ｌijが前記距離Ｌ_Mより小さければ、探索画素Ｍに対応する実空間上の点Ｍは道路面より高い位置に存在する先行車のピラー等であると判断することができる。

検出手段９は、探索画素が前記第１開始点条件を満たすと判断すると（図６のステップＳ１０３：ＹＥＳ）、その探索画素を開始点ＰｓとしてＲＡＭ上にセットし、第１車線幅閾値Ｗth１をセットする（ステップＳ１０４）。第１車線幅閾値Ｗth１は、開始点Ｐｓが検出された場合に探索範囲を確保するための閾値であり、例えば実空間上の距離として１ｍに設定されている。

検出手段９は、開始点Ｐｓと第１車線幅閾値Ｗth１とをセットすると、さらに水平ラインｊ上を右方に探索を続け、探索画素が下記の第２開始点条件を満たすか否かを判断する（ステップＳ１０５）。これは、図９に示すように開始点Ｐｓとしてセットされた画素が実際には消えかかった古い車線Ｌoldの端部に対応する画素Ｐｓoldであり、その古い車線Ｌoldと一部重なるようにして新しく塗り直された車線Ｌnewが引かれている場合に、元の開始点Ｐｓ等のセットを取り消して、塗り直された車線Ｌnewの端部に対応する画素Ｐｓnewを開始点Ｐｓとして新たにセットするための判断基準である。

［第２開始点条件］
条件３：その探索画素の輝度値ｐ１ijが道路面輝度値ｐroadより第２開始点輝度値閾値ｐth２以上大きく、かつ、輝度微分値で表されるエッジ強度Ｅijが第２開始点エッジ強度閾値Ｅth２以上であること。ただし、ｐth２＞ｐth１。
条件４：開始点Ｐｓからその探索画素の左隣の画素までの平均輝度値と道路面輝度値ｐroadとの差が第１車線平均輝度値閾値Ａth１以下であること。
条件５：その探索画素に対応する実空間上の点が道路面上にあること。

そして、探索画素が前記第２開始点条件を満たす場合には（ステップＳ１０５：ＹＥＳ）、検出手段８は、元の開始点Ｐｓおよび第１車線幅閾値Ｗth１のセットを解除し、現在の探索画素を新たな開始点Ｐｓとして再セットし、第１車線幅閾値Ｗth１も再セットする（ステップＳ１０６）。

なお、図１０（Ａ）は第２開始点条件の第２開始点輝度閾値ｐth２を説明する図であり、図１０（Ｂ）は第２開始点エッジ強度閾値Ｅth２を説明する図である。また、条件４において、元の開始点から現在の探索画素の左隣の画素までの領域Ｋの平均輝度値と道路面輝度値ｐroadとの差が閾値Ａth１より大きければ、その領域Ｋに対応する車線は現在もいわば生きている車線として標示されていると考えられるから、開始点Ｐｓを再セットする必要はない。

また、通常の車線位置検出では、古い車線Ｌoldの上に塗り直された車線Ｌnewではなく、最初から通常の車線が検出される場合が多いが、その場合には、前記第１開始点条件を満たす探索画素は同時に第２開始点条件を満たす。そのため、第１開始点条件を満たした時点で開始点Ｐｓとしてセットされ、第１車線幅閾値Ｗth１がセットされ、即座に第２開始点条件を満たすと判断されて開始点Ｐｓ等が再セットされる。

検出手段９は、水平ラインｊ上を右方に探索を続け、探索画素が下記の終了点条件を満たすか否かを判断する（図６のステップＳ１０７）。
［終了点条件］
条件６：その探索画素の輝度微分値で表されるエッジ強度Ｅijが終了点エッジ強度閾値−Ｅth２以下であるか、またはその探索画素の輝度値が開始点Ｐｓにおける輝度値より小さいこと。

これは、図示を省略するが、終了点Ｐｅが車線に対応する高輝度の画素から道路面に対応する低輝度値の画素に移行する点であることを表す。なお、本実施形態では、終了点エッジ強度閾値−Ｅth２の絶対値は前記第２開始点エッジ強度閾値Ｅth２の絶対値と同一に設定されている。

検出手段９は、終了点条件を満たす点、すなわち終了点Ｐｅが検出されなければ（ステップＳ１０７：ＮＯ）、第１車線幅閾値Ｗth１に達するまで探索を行い、第１車線幅閾値Ｗth１に達しても終了点Ｐｅが検出されない場合は（ステップＳ１０８：ＹＥＳ）、開始点Ｐｓおよび第１車線幅閾値Ｗth１のセットを解除する。

そして、探索終了点ｉｅに達していなければ（ステップＳ１０２：ＮＯ）、引き続き水平ラインｊ上の探索を続行し、探索画素が第１開始点条件を満たすか否かの判断（ステップＳ１０３）からの前記処理を繰り返す。なお、このフローチャートから分かるように、開始点Ｐｓから右方に探索を続けて探索終了点ｉｅを超える場合でも第１車線幅閾値Ｗth１に達していなければ第１車線幅閾値Ｗth１に達するまで水平ラインｊ上の探索が続行される。

また、検出手段９は、終了点Ｐｅを検出すると（ステップＳ１０７：ＹＥＳ）、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値が下記の第１平均輝度値条件を満たすか否かを判断する（ステップＳ１０９）。
［第１平均輝度値条件］
条件７：開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値と道路面輝度値ｐroadとの差が前記第１車線平均輝度値閾値Ａth１以下であること。

本実施形態では、この条件７における第１車線平均輝度値閾値Ａth１は、前記第２開始点条件の条件４における第１車線平均輝度値閾値Ａth１と同一の値が用いられる。前述したように、第１車線平均輝度値閾値Ａth１は、消えかかった古い車線Ｌoldに対応する平均輝度値と新たに塗り直された車線Ｌnewに対応する平均輝度値とを分ける閾値である。

検出手段９は、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値が前記第１平均輝度値条件を満たす（ステップＳ１０９：ＹＥＳ）、すなわち、平均輝度値が低い車線に相当する平均輝度値であると判断すると、この車線の近くに新しく塗られた車線がある可能性があるため、既に車線候補点が図示しない記憶手段に保存されていなければ（ステップＳ１１０：ＹＥＳ）、この開始点Ｐｓの座標（ｉ，ｊ）をとりあえず車線候補点として保存し（ステップＳ１１１）、さらに水平ラインｊ上の探索を続ける。

一方、検出手段９は、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値が前記第１平均輝度値条件を満たさない（ステップＳ１０９：ＮＯ）、すなわち、平均輝度値が高い車線に相当する平均輝度値であると判断すると、同一の水平ラインｊ上の探索で既に保存されている平均輝度値が低い車線に対応する車線候補点があれば（ステップＳ１１２：ＹＥＳ）、その車線候補点を削除して（ステップＳ１１３）、平均輝度値が高い方の開始点Ｐｓを車線候補点として保存して（ステップＳ１１４）、同一水平ラインｊ上の探索を打ち切る。

本実施形態では、以上のように、水平ラインｊ上の探索が終了する場合は、平均輝度値が高い車線が見出されて探索が打ち切られた場合、平均輝度値が低い車線しか見出されず探索終了点ｉｅに達した場合、車線が見出されず探索終了点ｉｅに達した場合の３通りの場合である。そして、平均輝度値が高くいわば生きている車線が見出されればその車線を優先しながら、第１開始点条件または第２開始点条件を満たす画素のうち自車輌に最も近い画素を車線候補点として検出する。

水平ラインｊ上の探索が終了すると、検出手段９は、車線候補点が保存されているか否かを判断する（ステップＳ１１５）。車線候補点が保存されていなければ（ステップＳ１１５：ＮＯ）、水平ラインｊが２００行目に達したか否かを判断し（ステップＳ１１６）、２００行目に達していなければ（ステップＳ１１６：ＮＯ）、２００行目に達するまで、画像補正部４から送信されてきた１画素分上側の水平ラインｊ＋１について前記処理手順を繰り返す。

車線候補点が保存されていれば（ステップＳ１１５：ＹＥＳ）、検出手段９は、車線候補点から対応する終了点Ｐｅの左隣の画素までの平均輝度値が下記の第２平均輝度値条件を満たすか否かを判断する（ステップＳ１１７）。
［第２平均輝度値条件］
条件８：車線候補点から対応する終了点Ｐｅの左隣の画素までの平均輝度値と道路面輝度値ｐroadとの差が第２車線平均輝度値閾値Ａth２以上であること。

本実施形態では、前述したように第１車線平均輝度値閾値Ａth１は、消えかかった古い車線Ｌoldに対応する平均輝度値と新たに塗り直された車線Ｌnewに対応する平均輝度値とを画する閾値であったが、条件８における第２車線平均輝度値閾値Ａth２は、車線として最低限要求される平均輝度値と道路面輝度値ｐroadとの差を画するものであり、第１車線平均輝度値閾値Ａth１より小さい値が適宜設定される。

検出手段９は、車線候補点が第２平均輝度値条件を満たさないと判断すると（ステップＳ１１７：ＮＯ）、その車線候補点を削除する（ステップＳ１１８）。一方、車線候補点が第２平均輝度値条件を満たすと判断されると（ステップＳ１１７：ＮＯ）、その車線候補点は削除されずに生き残り、図１１に示すように、最終的にその水平ラインｊ上に車線候補点（Ｉ_j，Ｊ_j）が検出されたことになる。

検出手段９は、続いて、以上のようにして水平ラインｊ上に検出した車線候補点に対してハフ変換を実行するようになっている（ステップＳ１１９）。なお、ハフ変換は、基準画像Ｔ上の複数の車線候補点に基づいて車線位置検出の基準となる直線を検出することを目的とするものである。

本実施形態では、ハフ変換については公知の方法が用いられる。具体的には、例えば、検出された車線候補点が基準画像Ｔ上の直線
ｉ＝ａｊ＋ｂ …（８）
上に存在すると仮定すると、Ｉ_j、Ｊ_jは、
Ｉ_j＝ａＪ_j＋ｂ …（９）
を満たす。

前記（９）式は、
ｂ＝−Ｊ_j×ａ＋Ｉ_j …（１０）
と変形できる。（１０）式から分かるように、前記車線候補点検出処理で水平ラインｊ上に車線候補点（Ｉ_j，Ｊ_j）が検出されると、−Ｊ_j、Ｉ_jを傾きおよびｂ切片として図１２に示すようにハフ平面であるａ−ｂ平面上に１本の直線を引くことができる。

ａ−ｂ平面は、図１３に示すように所定の大きさに升目に区切られており、（１０）式で表される直線が引かれると、図１３の斜線を付した升目のような直線が通過する升目の計数値が１増加される。なお、ａ−ｂ平面の各升目には所定のａおよびｂの値が対応しているから、ａ−ｂ平面で升目を選択することは、対応するａ、ｂの値を選択すること、すなわち（８）式で表されるように基準画像Ｔ上に傾きａ、ｉ切片ｂの直線を選択することと同義である。

検出手段９は、基準画像Ｔ上を水平ラインを上向きに１画素分ずつずらしながら探索を行い、各水平ライン上に車線候補点が検出されるごとに前記ハフ変換を行ってａ−ｂ平面の升目の計数値を加算していくようになっている。そして、最終的に基準画像Ｔの最上段の２００行目の水平ラインまで探索が終了すると、図１４の領域Ａに示すように複数の車線候補点が得られ、ａ−ｂ平面の各升目にはそれぞれ計数値が加算された状態となる。

なお、図１４以下の図では、車線候補点が基準画像Ｔ上や実空間上でいわば疎らに検出されるように示されているが、実際には非常に細かく多数検出される。また、上記では右車線側探索領域Ｓｒを探索する場合について述べたが、左車線側探索領域Ｓｌを探索する場合についても同様に検出された車線候補点（Ｉ_j，Ｊ_j）についてハフ変換が行われ、右車線側探索領域Ｓｒの場合とは別個にａ−ｂ平面が作成され、ａ−ｂ平面の各升目にはそれぞれ計数値が加算される。

また、ハフ変換は、前記の方法に限らず、例えば、車線候補点（Ｉ_j，Ｊ_j）が直線
ρ＝ｉsinθ＋ｊcosθ …（１１）
上にある、すなわち、
ρ＝Ｉ_jsinθ＋Ｊ_jcosθ …（１２）
が成り立つとして、ρ−θ平面の各升目にそれぞれ計数値が加算された状態を形成するようにしてもよい。

水平ラインｊ上の右向きおよび左向きの探索で検出されたすべての車線候補点に対するハフ変換および２枚のａ−ｂ平面の各升目への計数値の加算を終え、２００行目の水平ラインｊの探索が終了すると（図６のステップＳ１１６：ＹＥＳ）、図３に示した基本フローの第１プロセスである車線候補点検出変換処理（ステップＳ１０）が終了する。

次に、検出手段９は、基本フローの第２プロセスである車線直線検出処理（ステップＳ２０）に移行する。

検出手段９は、前記ハフ変換で得られた右車線側探索領域Ｓｒおよび左車線側探索領域Ｓｌの各ａ−ｂ平面から計数値が大きな単数または複数の升目をそれぞれ抽出する。

すなわち、まず、升目ごとに計数値が算出されている右車線側探索領域Ｓｒのａ−ｂ平面を、ｂ値一定の各行ごとにａの値を変化させて計数値が最大となる升目およびその最大値を求め、その最大値をｂに対してプロットすると、図１５に示されるような分布が得られる。検出手段９は、このようにして得られた分布の平均値をピーク閾値Ｑとし、分布の最大値およびピーク閾値Ｑを超える極大値を抽出する。

図１５に示したような分布からは、最大値であるピーク１および極大値であるピーク２が抽出される。そして、前記（８）式にピーク１、２のａ、ｂをそれぞれ代入すると、図１６に示すピーク直線ｒ１、ｒ２がそれぞれ抽出される。左車線側探索領域Ｓｌのａ−ｂ平面についても同様の作業を行うと、図１６に示すピーク直線ｌ１、ｌ２がそれぞれ抽出される。また、それらを実空間上に表すと図１７のように表すことができる。

続いて、検出手段９は、抽出された複数のピーク直線のうち下記の選択条件に適合するものを棄却し、ピーク直線が１本に絞られるまで右向き探索および左向き探索の各場合についてそれぞれ選択を行う。

［選択条件］
条件１１：所定の前方距離におけるピーク直線の位置が、自車輌の中心から換算した車幅の位置より内側に存在すること。ただし、連続して車線位置が検出されている場合には前回検出された車線位置からの変化量を用いて所定の閾値以内であれば条件１１は適用しない。
条件１２：自車輌の前記推定軌跡Ｌestとの平行度が一定の閾値より大きいこと。
条件１３：図１６および図１７に一点破線Ｌｄで表される所定の前方距離における自車輌の中心からの左右差距離が規定値far_th以上に遠いピーク直線と規定値near_th以下のピーク直線がある場合の規定値far_th以上のピーク直線であること。ただし、far_th＞near_th。
条件１４：前回検出された車線位置や幅から推定した車線推定中心位置に最も近いピーク直線を残すこと。

図１６や図１７の例では、条件１１によりピーク直線ｒ２が棄却される。なお、条件１１のただし書きは、車線変更等の場合に前回検出された車線位置からの連続性を考慮したものであり、この場合、ピーク直線は棄却されない。

また、条件１２によってもピーク直線ｒ２が棄却される。なお、ピーク直線と自車輌の推定軌跡Ｌestとは、測定された自車輌の車速とステアリングホイールの舵角とから算出された自車輌のヨーレートから推定される自車輌の軌跡を表す。また、自車輌の推定軌跡Ｌestとピーク直線との平行度は、本実施形態では、図１８に示すように実空間上における自車輌の１０ｍおよび２０ｍ前方での自車輌の推定軌跡Ｌestとピーク直線との距離ｐ₁₀、ｐ₂₀の差の絶対値｜ｐ₁₀−ｐ₂₀｜を間隔１０ｍで除した値で表され、平行度の値が小さいほど平行の度合が高いことを表す。

また、条件１３は、例えば、隣の走行路の車線の位置に対応するピーク直線が抽出されているような場合にそのピーク直線を排除することを意味する。図１６や図１７の例では、このようなピーク直線は抽出されていない。さらに、条件１４によってピーク直線ｌ２が棄却される。

検出手段９は、このようにして右車線側探索領域Ｓｒおよび左車線側探索領域Ｓｌで抽出されたピーク直線から車線位置としてふさわしい直線を表す左右のピーク直線ｒ１、ｌ１をそれぞれ図１９に示すような車線直線ｒ１、ｌ１として１本ずつ選択して、図３の車線直線検出処理（ステップＳ２０）を終了するようになっている。

次に、検出手段９は、基本フローの第３プロセスである車線位置検出処理（ステップＳ３０）に移行する。車線位置検出処理は、図２０に示すフローチャートに従って行われるようになっている。

車線位置検出処理では、前述した処理で得られた車線直線を基準にして自車輌の左右に存在する直線状や曲線状の車線の車線位置を検出する。前述したように、前記各条件を満たす自車輌に最も近い画素を車線候補点として検出することから、このように車線候補点を追跡することで自車輌に最も近い車線位置が検出される。そのため、車線の内側や外側に破線が描かれている場合や車線自体が破線状に標示されている場合には、それらの破線が検出される。

検出手段９は、まず、図２１に示すように、基準画像Ｔの下側、すなわち自車輌に近い側の車線位置を車線直線ｒ１、ｌ１を基準にして確定する。右車線側探索領域Ｓｒと左車線側探索領域Ｓｌとでそれぞれ同時にかつ独立に処理が行われる。

具体的には、検出手段９は、基準画像Ｔにおける最下部に位置する水平ラインｊから順に水平ラインｊを上向きに１画素分ずつずらしながら基準画像Ｔの全域に対して処理を行う（ステップＳ３０１）。

そして、水平ラインｊごとに車線候補点が検出されているか否かを検索し、車線候補点が存在する場合には、前記車線直線検出処理で検出された右側の車線直線ｒ１或いは左側の車線直線ｌ１を基準として車線候補点と各直線とのｉ方向の差が閾値以内であるか否かを判断し（ステップＳ３０２）、閾値以内である車線候補点を車線ポジションとして記録する（ステップＳ３０３）。

この段階で、図２１に点線で囲まれて示される車線直線ｒ１、ｌ１とのｉ方向の差が閾値以内にない車線候補点は、車線位置を表す点とはみなされず誤検出として除外される。

検出手段９は、続いて、記録された車線ポジションが実空間上で自車輌から所定距離以内にあれば（ステップＳ３０４：ＹＥＳ）、その車線ポジションについて車線破線識別処理（ステップＳ３０５）およびグループ化処理（ステップＳ３０６）を行う。

車線破線識別処理やグループ化処理では後述するように車線ポジション間の距離や車線ポジションと終了点との距離が重要な意味を持つが、自車輌から遠方に離れた地点ではそれらの距離に対する信頼性が低下するため、遠方の地点に対応する車線ポジションは以下の２つの処理の対象としないように前記所定距離がＣＣＤカメラの性能等に応じて適宜設定される。

車線破線識別処理では、図２２に示すように、まず、記録された車線ポジションと同一水平ラインｊ上の当該車線ポジションに対応する終了点Ｐｅとの間の実空間上の距離を算出する（ステップＳ４０１）。車線ポジションと終了点Ｐｅとの距離は、車線や破線の左右方向の長さすなわち車線や破線の幅に相当する。

検出手段９は、続いて、算出された距離が第１範囲内にあるか否かを判断する（ステップＳ４０２）。この第１範囲とは、算出された車線ポジションと終了点Ｐｅとの距離が車線に対応するものかどうかを判断する基準となる範囲であり、例えば２０ｃｍ未満に設定されている。検出手段９は、算出された距離が第１範囲内にあると判断すると（ステップＳ４０２：ＹＥＳ）、車線に対応する車線ポジションであるとして車線カウント数を１増加させる（ステップＳ４０３）。

また、算出された距離が第１範囲内にないと判断すると（ステップＳ４０２：ＮＯ）、算出された距離が第２範囲内にあるか否かを判断する（ステップＳ４０４）。この第２範囲とは、算出された車線ポジションと終了点Ｐｅとの距離が車線の内側や外側等に標示された破線に対応するものかどうかを判断する基準となる範囲である。

例えば、図２３に示すような車線の内側に標示された破線ＢＬの幅すなわち左右方向の長さは通常３０ｃｍ程度であるから、本実施形態では、第２範囲は３０ｃｍを含む数値範囲が設定されている。また、車線ポジションが自車輌から遠い地点に対応する場合、破線と隣接する車線とが一体となっているように撮像される場合があるから、第２範囲として前記の数値範囲に加えて５０ｃｍ前後の数値を含む数値範囲を設定することも可能である。

検出手段９は、算出された距離が第２範囲内にあると判断すると（ステップＳ４０４：ＹＥＳ）、破線に対応する車線ポジションであるとして破線カウント数を１増加させる（ステップＳ４０５）。

続いて、検出手段９は、車線ポジションのグループ化の処理を行う（図２０のステップＳ３０６）。図２４に示すように、グループ化処理では、まず、現在の車線ポジションの検出の直前に検出された車線ポジションと現在の車線ポジションとの実空間上の距離が閾値以内であるか否かが判断される（ステップＳ５０１）。本実施形態では、この閾値は１ｍに設定されている。

なお、１つのグループは、図２３に示す破線を構成する１つのブロック状の標示に対応している。

また、現在の車線ポジションを直前の車線ポジションが含まれるグループに属させるか否かについては、本実施形態のようにそれらの距離の閾値のみで判断せず、より厳密に、例えば、実空間上や基準画像Ｔ上において、両車線ポジションを結ぶ線分を算出し、直前の車線ポジションが含まれるグループに属する各車線ポジションから所定の基準に基づいて算出される直線に対してその線分の傾きや方向性がどの程度変位しているかの基準を加味して判断するように構成することも可能である。

検出手段９は、検出された車線ポジションとその直前に検出された車線ポジションとの距離が閾値以内であると判断すると（ステップＳ５０１：ＹＥＳ）、現在の車線ポジションを直前の車線ポジションが属するグループに対応付けて記録する（ステップＳ５０２）。

また、検出された車線ポジションとその直前に検出された車線ポジションとの距離が閾値以内にはないと判断すると（ステップＳ５０１：ＮＯ）、現在検出された車線ポジションは新たなグループに属する車線ポジションであるとして、グループカウント数を１増加させる（ステップＳ５０３）。そして、前記判断の際に算出された現在の車線ポジションと直前の車線ポジションとの距離をグループ間の距離として記録する（ステップＳ５０４）。

例えば、図２１に例示した基準画像Ｔの右側の車線直線ｒ１に対応する車線ポジションでは、実際には非常に細かく密に検出される車線ポジション間の距離は通常前記閾値以内にあるため、ほぼ全体が１つのグループとして対応付けられる。それに対し、図２３に例示した基準画像Ｔの右側の車線直線ｒ１に対応する車線ポジションでは、車線ポジションａ１〜ａ５はそれぞれ前記閾値以内であるため同一グループとして対応付けられる。また、車線ポジションｂ１〜ｂ３も同一グループとして対応付けられる。

しかし、車線ポジションａ５と車線ポジションｂ１との距離は前記閾値より大きくなるため、車線ポジションａ１〜ａ５と車線ポジションｂ１〜ｂ３とはそれぞれ別のグループに属すると判断される。そして、この場合、車線ポジションａ５と車線ポジションｂ１との実空間上の距離がグループ間の距離として記録される。

続いて、検出手段９は、直前の車線ポジションが属するグループの末端の車線ポジション同士の実空間上の距離を算出し、直前の車線ポジションが属するグループの距離方向の長さとして記録する（ステップＳ５０５）。図２３の例でいえば、車線ポジションａ１〜ａ５が属するグループの距離方向の長さは、車線ポジションａ１と車線ポジションａ５との実空間上の距離として算出される。

検出手段９は、前記車線ポジションの検出（図２０のステップＳ３０２）、記録（ステップＳ３０３）、および前記所定距離以内であれば車線破線識別処理（ステップＳ３０５）、グループ化処理（ステップＳ３０６）を所定の個数の車線ポジションが検出されるまで行う（ステップＳ３０７）。所定個数に達しないうちに水平ラインｊが基準画像Ｔの最上部に達した場合（ステップＳ３０１：ＹＥＳ）には車線カウント数や破線カウント数、グループカウント数をリセットして（ステップＳ３１７）、第３プロセスを終了する。

また、所定の個数の車線ポジションが検出されるまでの間、検出手段９は、右側の車線直線ｒ１に対応する車線ポジションと左側の車線直線ｌ１に対応する車線ポジションとの間隔を記録していく。すなわち、具体的には、距離画像を用いて該当する車線ポジション間の画素数を距離データから実空間上の道幅に換算して記録していき、その最大値Ｌmaxth、最小値Ｌminthを算出して記録する。

次に、検出手段９は、図２１や図２３に示したように右側の車線直線ｒ１上や左側の車線直線ｌ１上或いはそれらの近傍に車線ポジションを前記所定の個数記録して基準画像Ｔの下側、すなわち自車輌に近い側の車線位置を車線直線ｒ１、ｌ１を基準にして確定すると、その上方の水平ラインｊでは、今度は左右の車線直線ｒ１、ｌ１には拘束されずに、車線ポジションを検出していく。すなわち、後述する基準に従って車線を追い、車線がカーブしている場合にもそのカーブに追随して車線ポジションを検出していく。

具体的には、検出手段９は、上方の水平ラインｊでは、さらに上方の水平ラインｊ上に車線候補点が検出されている場合には（ステップＳ３０８：ＮＯ）、その車線候補点が直前に検出された車線ポジションとの関係において所定の基準を満たすか否かを判断する（ステップＳ３０９）。そして、前記所定の基準を満たすと判断すると（ステップＳ３０９：ＹＥＳ）、その車線候補点ｂを車線ポジションｂとして記録する（ステップＳ３１０）。

本実施形態では、前記所定の基準の１つとして、図２５（Ａ）に示すように、車線候補点ｂと直前に検出された車線ポジションａとのｉ方向、ｊ方向の変位が規定値以内であれば車線候補点ｂを車線ポジションｂとして記録するようになっている。

また、もう１つの基準として、図２５（Ｂ）に示すように、車線候補点ｃと直前に検出された車線ポジションｂとのｉ方向、ｊ方向の変位が規定値以内でない場合でも、前回までに検出した車線ポジションを延長した直線、すなわち、図２５（Ｂ）では車線ポジションｂと車線ポジションａとを結ぶ直線からの車線候補点ｃのｉ方向の変位が規定値以内であれば、車線候補点ｃを車線ポジションｃとして記録するようになっている。車線候補点ｄと車線ポジションｃとの関係においても同様である。

検出手段９は、左右の車線ポジション間の実空間上の間隔すなわち道幅が記録された前記道幅の最大値Ｌmaxthと最小値Ｌminthの範囲にあることを確認しつつ水平ラインｊを基準画像Ｔの上方にずらしながら順次車線ポジションを検出して、図２６に示されるように直線状或いは曲線状の車線に追随しながら右車線位置ＬＲおよび左車線位置ＬＬを検出していく。また、図２６に点線で囲まれて示されるような前記基準に当てはまらず前回検出された車線ポジションとの関連性が薄い車線候補点は誤検出として除外される。

検出手段９は、このようにして車線ポジションを記録すると、記録された車線ポジションが実空間上で自車輌から所定距離以内にあれば（ステップＳ３１１：ＹＥＳ）、車線破線識別処理（ステップＳ３１２）およびグループ化処理（ステップＳ３１３）を行う。これらの処理は前述した車線破線識別処理（ステップＳ３０５）およびグループ化処理（ステップＳ３０６）と同様にして行われ、それぞれの判断に従って車線カウント数や破線カウント数、グループカウント数が１増加され、グループへの対応付け等が行われる。

このようにして、図２７に示すように、自車輌に対して右側および左側の車線位置ＬＲ、ＬＬが検出される。一方、図２３に示した車線の内側に破線が標示されている基準画像Ｔでは、図２８に示すように自車輌に対して右側および左側に右破線位置ＢＬＲおよび左破線位置ＢＬＬが検出される。

また、同様にして、図２９に示すように自車輌の右側の車線の外側に破線が標示されている場合には、図３０に示すように、自車輌の右側に破線位置ＢＬＲが検出され、自車輌の左側には車線位置ＬＬが検出される。図３１に示すように自車輌の左側の車線自体が破線状に標示された破線である場合には、図３２に示すように、自車輌の左側に破線位置ＢＬＬが検出され、自車輌の右側には車線位置ＬＲが検出される。

検出手段９は、以上のようにしてすべての車線候補点について検索を終了すると（図２０のステップＳ３０８：ＹＥＳ）、破線を検出したか否かを判断するようになっている。破線が検出されていれば破線位置や車線位置をより精度よく検出できるように各種閾値等の変更を行い、また、破線が検出されなくなれば各種閾値等の変更を解除して車線位置検出装置１を通常の車線位置検出の仕様に戻すようになっている。

検出手段９は、破線を検出したか否かの判断（ステップＳ３１４）においては、下記の破線条件を満たすか否かを基準に判断を行い、下記条件１５〜１８をすべて満たす場合に破線を検出したと判断するようになっている。

［破線条件］
条件１５：破線カウント数が所定数以上である。
条件１６：グループ数カウント数が所定数以上である。
条件１７：記録されたグループの距離方向の長さが所定長さ程度である。
条件１８：記録されたグループ間の距離が所定長さ程度である。

条件１５は、破線カウント数すなわち図２８等に示す破線ＢＬの１つのブロック状の標示の左右方向の長さが３０ｃｍ程度である車線ポジションの数が例えば１０個以上検出されることを要求するものである。条件１６は、グループカウント数、すなわち破線ＢＬの１つのブロック状の標示に対応するグループが例えば３個以上検出されることを要求するものである。

条件１７は、いくつか検出されたグループすなわち破線ＢＬの１つのブロック状の標示の距離方向の長さが破線にふさわしい長さであることを要求するものである。条件１８は、グループ間の間隔すなわち破線ＢＬのブロック状の標示同士の間隔が破線にふさわしい間隔であることを要求するものである。

検出手段９は、自車輌が図２のように通常の車線を走行している場合には破線が検出されないから、前記条件１５〜１８がすべて満たされず破線を検出していないと判断すると（ステップＳ３１４：ＮＯ）、状態（０）であるか否かを判断する（ステップＳ３１５）。

ここで、状態（０）とは、図２に示した基準画像Ｔのように破線が標示されていない通常の車線状態をいう。また、後述する状態（１）とは、図３１に示したように車線自体が破線状に標示されている状態、状態（２）とは、図２３に示したように車線の内側に破線ＢＬが標示されている状態、状態（３）とは、図２９に示したように車線の外側に破線ＢＬが標示されている状態をいう。

なお、本発明では、例えば図３１に示した高速道路の合流点等に標示される破線ＢＬのように、通常の車線よりも幅が広く距離方向の長さが短い標示を車線自体が破線状に標示された破線といい、前記のように状態（１）が割り当てられる。一方、図２の左車線のように車線自体が破線状に標示されていても、幅が１５ｃｍ程度で距離方向の長さが６ｍ程度の標示は通常の車線とされ、状態（０）が割り当てられる。

自車輌が図２のように通常の車線を走行している場合には、検出手段９は、状態（０）であると判断し（図２０のステップＳ３１５：ＹＥＳ）、図２７に示した自車輌の左右に検出した車線位置ＬＲ、ＬＬを出力する。これらの車線位置ＬＲ、ＬＬは、例えばキープレーン制御等の種々の制御の基準として用いられる。

検出手段９は、続いて、道幅算出処理を行う（ステップＳ３１６）。道幅算出処理では、検出手段９は、図２７に示したように今回の検出で基準画像Ｔ上に検出された右車線位置ＬＲと左車線位置ＬＬとの自車輌前方１０ｍの地点における実空間上の間隔すなわち道幅を算出し、ＲＡＭに保存する。このようにして、検出手段９は、状態（０）である場合には道幅をＲＡＭに蓄積していく。

一方、検出手段９は、破線を検出したか否かの判断において、破線を検出したと判断すると（ステップＳ３１４：ＹＥＳ）、状態（１）から状態（３）のいずれの状態にあるかを検出して、破線位置や車線位置をより精度よく検出できるように各種閾値等の変更処理（ステップＳ３１８）を行うようになっている。

この各種閾値等の変更処理では、今回の検出で自車輌の左右に検出された破線位置ＢＬＲ、ＢＬＬ同士の間隔または破線位置ＢＬＲ、ＢＬＬと車線位置ＬＲ、ＬＬとの間隔が、前記道幅算出処理で道幅よりも所定量以上狭いか否かが判断され、破線が車線の内側に標示されているか否かを判断する。

この道幅には、例えば、破線が検出されない場合に算出されＲＡＭに蓄積されている直近の道幅を用いることも可能である。しかし、本実施形態では、破線が車線の内側に標示されているか否かを精度よく検出するという観点から、道幅として下記の要領で算出された基準道幅が用いられるようになっている。

ＲＡＭに蓄積されている破線が検出されない場合に算出された道幅のデータを、直近のデータからさかのぼって５秒間隔に分けてそれぞれの平均値を求める。すなわち、直近のデータから５秒前までのデータ、５〜１０秒前までのデータ、…、２０〜２５秒前までのデータのそれぞれについて道幅の平均値を求める。そして、算出された５つの道幅の平均値の中央値を基準道幅とするようになっている。

検出手段９は、図３３に示すように、まず、次回の検出に向けて、図７に示した前記第１開始点条件の条件１における探索画素の輝度値についての閾値である第１開始点輝度閾値ｐth１とその探索画素における輝度微分値についての閾値である第１開始点エッジ強度閾値Ｅth１とをそれぞれ下げる（ステップＳ６０１）。

これは、図２３や図３１に示した破線ＢＬや図２９に示した破線ＢＬの内側の車線は、車輌のタイヤに踏まれて薄くなっている場合があるため、破線ＢＬや車線を的確に精度よく検出するために行われる。前回の検出で破線ＢＬが検出され、既に閾値が下げられている場合は、それらの閾値が維持される。

検出手段９は、続いて、基準道幅が算出されているか否かを判断し（ステップＳ６０２）、算出されていなければ（ステップＳ６０２：ＮＯ）、前記要領に従って基準道幅を算出する（ステップＳ６０３）。なお、今回の検出以降、例えば、車線の内側に標示された破線が検出され続ける場合には、今回算出された基準道幅が用いられ、基準道幅が改めて算出されることはない。

続いて、検出手段９は、前述したように今回の検出で自車輌の左右に検出された破線位置同士または破線位置と車線位置との自車輌前方１０ｍの地点における実空間上の間隔を算出し、その間隔が基準道幅よりも所定量以上狭いか否かが判断される（ステップＳ６０４）。所定量は例えば１０ｃｍ等に適宜設定される。

検出手段９は、前記間隔が基準道幅よりも所定量以上狭いと判断すると（ステップＳ６０４：ＹＥＳ）、検出された破線が車線の内側に標示されていると判断して、状態（２）にセットする（ステップＳ６０５）。

そして、検出手段９は、図３４に示すように、検出された破線位置ＢＬＲ、ＢＬＬからそれぞれ外側に所定距離離間した位置を車線位置ＬＲ、ＬＬとして検出して出力する（ステップＳ６０６）。この車線位置ＬＲ、ＬＬがキープレーン制御等の種々の制御の基準として用いられる。なお、自車輌の左右いずれか一方にのみ破線が標示されていて、他方では車線位置が検出されている場合には、一方の破線に対しては外側に所定距離離間した位置を車線位置とし、他方の車線位置が検出されている側ではその車線位置を車線位置として検出する。

検出手段９は、続いて、次回の検出に向けて、破線位置の周囲のみに設定された探索領域を狭める（ステップＳ６０７）。すなわち、前述したように、探索領域Ｓｒ、Ｓｌは、前回の検出で破線が検出されない場合には内側規定値Ｗth_inおよび外側規定値Ｗth_outは例えば実空間上の距離として４０ｃｍ程度の値が適宜設定されているが、その内側規定値Ｗth_inや外側規定値Ｗth_outを例えば２０ｃｍ程度の値に設定し直す。

これは、図２３に示した車線の内側に標示された破線ＢＬの最も内側の端部で開始点や車線候補点を安定して検出し、破線位置ＢＬＲ、ＢＬＬを安定して的確に検出できるようにするために行われる処置である。

一方、検出手段９は、今回の検出で検出された破線位置同士または破線位置と車線位置との間隔が基準道幅よりも所定量以上に狭くないと判断すると（ステップＳ６０４：ＮＯ）、続いて、検出された破線の内側に車線があるか否かを判断する（ステップＳ６０８）。そして、破線の内側に車線があると判断すると（ステップＳ６０８：ＹＥＳ）、検出された破線は車線の外側に標示された破線であると判断して、状態（３）にセットする（ステップＳ６０９）。

本実施形態では、検出された破線の内側に車線があるか否かの判断は、前述した車線カウント数に基づいて行われる。図３０に示したように、車線の外側に標示された破線の場合には、通常、一部車線の最も内側の端部も破線位置に含まれる。そして、それらの車線のエッジ部分に対応する車線ポジションとそれに対応する終了点Ｐｅとの距離は例えば２０ｃｍ未満に設定された前記第１範囲内にあるから、車線に対応する車線ポジションが検出されるごとに車線カウントが１ずつ増加する。

従って、車線カウント数に適当な閾値を設定すれば、車線の外側に標示された破線であるか車線自体が破線状に標示された破線であるかを識別することができる。本実施形態では、検出手段９は、車線カウント数が３以上であれば破線の内側に車線があると判断するようになっている。車線自体が破線状に標示された破線の場合すなわち状態（１）の場合には、破線の内側に車線が見出されることはない。

検出手段９は、状態（３）にセットすると（ステップＳ６０９）、続いて、次回の検出に向けて、第１車線幅閾値Ｗth２を設定する（ステップＳ６１０）。なお、本実施形態では、この場合、次回の検出では検出された破線位置の周囲のみを探索領域として車線候補点の探索が行われる。

第２車線幅閾値Ｗth２は、次回以降の検出で、前記終了点条件に下記の条件１９として追加させる条件の判断基準となるものである。
条件１９：条件６を満たす探索画素と開始点Ｐｓとの実空間上の距離が第２車線幅閾値Ｗth２の範囲内にないこと。

また、第２車線幅閾値Ｗth２は、図３０に示したように破線ＢＬの最も内側の端部を検出せずに、図３５に示すように破線ＢＬの内側の車線の最も内側の端部が車線位置ＬＲとして検出されるように設定される。具体的には、第２車線幅閾値Ｗth２は、もともとの第１車線幅閾値Ｗth１から破線ＢＬの幅に相当する数値範囲を除くため、例えば２５ｃｍ〜４５ｃｍの範囲に設定される。

つまり、図６に示した車線候補点検出変換処理における水平ラインｊ上の探索で、終了点条件の条件６を満たす探索画素が見出され、その探索画素と開始点Ｐｓとの実空間上の距離が第２車線幅閾値Ｗth２の範囲外すなわち２５ｃｍ以下か４５ｃｍ以上の範囲であれば、その探索画素は終了点Ｐｅとされ終了点条件を満たす（ステップＳ１０７：ＹＥＳ）。

しかし、その距離が破線を検出している可能性がある第２車線幅閾値Ｗth２の範囲内であれば、その探索画素は終了点条件を満たさないとされ（ステップＳ１０７：ＮＯ）、水平ラインｊ上の探索が続行され、第１車線幅閾値Ｗth１に達して（ステップＳ１０８：ＹＥＳ）、探索終了点ｉｅに達する（ステップＳ１０２：ＹＥＳ）。結局、見出された開始点Ｐｓは、対応する終了点Ｐｅが見出されないから車線候補点とはされない。このようにして、破線に対応する画素を車線候補点として検出することが回避される。

このように第２車線幅閾値Ｗth２が設定されれば、次回以降の検出で破線ＢＬの内側の車線の最も内側の端部が車線位置ＬＲとして検出され（図３３のステップＳ６１１）、その車線位置ＬＲを出力することができる。また、次々回以降の検出ではその車線位置ＬＲに基づいて探索領域が設定されるから、車線位置を的確に検出することができる。

そのため、前述したように、次回の検出では今回検出された破線位置ＢＬＲの周囲のみを探索領域として車線候補点の探索が行われるが、次回の検出で破線位置ＢＬＲの内側の車線位置ＬＲを確実に検出するように、状態（２）の場合とは異なり、次回の検出に向けての探索領域の変更は行わないことが好ましい。

さて、検出手段９は、今回の検出で検出された破線位置同士または破線位置と車線位置との間隔が基準道幅よりも所定量以上に狭くなく状態（２）ではないと判断し（ステップＳ６０４：ＮＯ）、検出された破線の内側に車線がなく状態（３）ではないと判断すると（ステップＳ６０８：ＮＯ）、車線自体が破線状に標示された破線であると判断して、状態（１）にセットする（ステップＳ６１２）。

検出手段９は、図３２に示した状態（１）の場合、自車輌の左側に検出した破線位置ＢＬＬを車線位置ＬＬとして検出してよいから、状態（１）にセットすると（ステップＳ６１２）、検出した破線位置を車線位置として検出して出力する（ステップＳ６１３）。

なお、高速道路の合流等で標示される車線自体が破線状に標示された破線は、通常、比較的幅広に標示されるから、この段階で、次回の検出に向けて、開始点Ｐｓが検出された場合に探索範囲を確保するための閾値である第１車線幅閾値Ｗth１を、破線が確実に検出できるように拡大する変更を行ってもよい。

さて、検出手段９は、破線を検出していないと判断したにもかかわらず（図２０のステップＳ３１４：ＮＯ）、状態（０）でなく状態（１）や状態（２）、状態（３）であるとされている場合には（ステップＳ３１５：ＮＯ）、各種閾値等について行った変更の解除等の処理を行う（ステップＳ３１９）。

各種閾値等の変更の解除等の処理では、図３６に示すように、検出手段９は、まず、状態（１）か否かを判断する（ステップＳ７０１）。状態（１）すなわち車線自体が破線状に標示された破線である場合（ステップＳ７０１：ＹＥＳ）、破線であることが検出できなくなれば現在検出しているのは車線であると判断できるから、状態（０）にセットする（ステップＳ７０２）。

そして、検出手段９は、前記第１開始点条件の条件１における輝度値についての第１開始点輝度閾値ｐth１と輝度微分値についての第１開始点エッジ強度閾値Ｅth１の変更を解除するとともに（ステップＳ７０３）、第１車線幅閾値Ｗth１の変更を行った場合はその変更を解除して初期設定に戻す。さらに、標準道幅をリセットして未算出の状態にする（ステップＳ７０４）。

また、検出手段９は、状態（１）でないと判断すると（ステップＳ７０１：ＮＯ）、状態（２）か否かを判断する（ステップＳ７０５）。そして、状態（２）であると判断すると（ステップＳ７０５：ＹＥＳ）、続いて、今回の検出で自車輌の左右に検出された破線位置同士または破線位置と車線位置との自車輌前方１０ｍの地点における実空間上の間隔を算出し、その間隔が基準道幅よりも所定量以上狭いか否かを判断する（ステップＳ７０６）。この判断は、前述した判断（図３３のステップＳ６０４）と同様にして行われる。

この判断（ステップＳ７０６）は、破線が検出されない場合でも、自車輌の左右に検出された破線位置や車線位置の間隔が狭ければ、依然として車線の内側に標示された破線を検出している可能性があるため、狭い場合は各種閾値等の変更を解除しないようにするための判断である。

検出手段９は、自車輌の左右に検出された破線位置や車線位置の間隔が基準道幅よりも所定量以上狭いと判断すると（ステップＳ７０６：ＹＥＳ）、各種閾値等の変更を解除せずに状態（２）のままこのサブルーチンから出る。なお、破線が検出されないにもかかわらず前記間隔が標準道幅よりも狭い状態が続く場合には、道幅自体が狭まったと判断して、状態（２）を状態（０）にセットし直し、各種閾値等の変更や探索領域の変更等を解除して初期の設定に戻すように構成することも可能である。

検出手段９は、前記間隔が基準道幅より所定量以上狭くないと判断すると（ステップＳ７０６：ＮＯ）、状態（０）にセットし（ステップＳ７０７）、前記第１開始点条件の条件１における輝度値についての第１開始点輝度閾値ｐth１と輝度微分値についての第１開始点エッジ強度閾値Ｅth１の変更を解除する（ステップＳ７０８）。

また、探索領域を狭める変更を解除して（ステップＳ７０９）、内側規定値Ｗth_inおよび外側規定値Ｗth_outを初期設定に戻す。さらに、標準道幅をリセットして未算出の状態にする（ステップＳ７１０）。

検出手段９は、状態（２）か否かの判断（ステップＳ７０５）で状態（２）ではないと判断すると（ステップＳ７０５：ＮＯ）、状態（３）であると判断して、検出された車線位置或いは破線位置の内側に車線があるか否かを判断する（ステップＳ７１１）。この判断は、前述した判断（図３３のステップＳ６０８）と同様にして行われる。

そして、破線の内側に車線があると判断すると（ステップＳ７１１：ＹＥＳ）、各種閾値等の変更を解除せずに状態（３）のままこのサブルーチンから出る。なお、破線が検出されないにもかかわらず内側に車線が検出される状態が続く場合には、近接して並列に標示された複数の車線を検出していると判断して、状態（３）を状態（０）にセットし直し、第２車線幅閾値Ｗth２の設定を解除して初期の設定に戻すように構成することも可能である。

検出手段９は、内側に車線がないと判断すると（ステップＳ７１１：ＮＯ）、状態（０）にセットし（ステップＳ７１２）、第２車線幅閾値Ｗth２の設定を解除して（ステップＳ７１３）、標準道幅をリセットして未算出の状態にする（ステップＳ７１４）。

検出手段９は、以上の各処理を終了すると、続いて、車線カウント数や破線カウント数、グループカウント数をリセットして（図２０のステップＳ３１７）、第３プロセスを終了する。

車線位置検出装置１が以上のようにして検出した車線位置等の情報を、図示しないキープレーン制御のための制御装置に送信するように構成することが可能である。また、車線位置検出装置１をキープレーン制御装置に組み込むことも可能である。さらに、車線位置や破線位置等の情報を、例えば、図示しない自動変速機（ＡＴ）制御部やエンジン制御部、ブレーキ制御部、トラクションコントロールシステム（ＴＣＳ）制御部、車輌挙動制御部等の各種制御部に出力するように構成することも可能である。また、それらの情報をモニタ等の表示手段に送信して表示し、あるいは警報装置に送信して運転者に必要な警告を発するように構成することも可能である。

以上のように、本実施形態に係る車線位置検出装置１によれば、撮像手段で撮像された基準画像の各画素の輝度と距離とに基づいて道路面上の点に対応する画素のみを対象として車線位置検出を行うため、道路面より上方にある先行車のピラーやバンパ等の車体部分やガードレール、電信柱等のエッジ部分が検出対象が除外され、的確に道路面上の表示のみを検出することが可能となる。

また、自車輌に最も近い車線や破線の最も内側の端部を車線候補点として検出し、それに基づいて車線位置や破線位置を検出する。その際、前記特許文献３、４のように、画像から車線や破線のエッジ部分をすべて抽出して形成されたマトリクス状に分散した対象に対してグループ化して車線位置を検出するのではなく、前記のように検出された車線候補点を基準画像の下側から追跡し、車線ポジションとの関連性が薄い車線候補点が除外されながら車線位置や破線位置を特定していく。そのため、車線位置や破線位置を安定して検出することが可能となる。

さらに、前記特許文献２のように、画像から車線や破線のエッジ部分をすべて抽出し、それらの全エッジ部分に対してハフ変換を行うのではなく、自車輌に最も近い車線や破線の最も内側の端部を車線候補点として検出してハフ変換を行って車線直線を得る。そのため、自車輌に最も近い側に表示されているものが車線であっても破線であっても、その車線や破線を安定して的確に検出し、車線位置や破線位置を確実に検出することが可能となる。

そして、車線候補点のグループ化により形成されたグループの個数、各グループの実空間上における距離方向の長さ、左右方向の長さおよび各グループ間の距離に基づいて、検出されたものが車線であるか破線であるかを識別することができる。また、検出された車線位置や破線位置の左右の間隔が標準道幅よりも狭ければ、検出されたものが車線の内側に標示された破線であることを識別することができる。

さらに、検出されたものが車線の内側に標示された破線であれば、検出された破線位置から所定量だけ外側に離れた位置を車線位置として検出することができる。また、探索領域を狭めることで、破線の外側の車線を誤検出することなく車線の内側に標示された破線のみを安定して的確に検出することが可能となり、それにより車線位置を確実に検出することが可能となる。

また、検出されたものが車線の外側に標示された破線であれば、次回からの検出では破線を検出しないようにすることで破線の内側の車線のみを安定して検出することが可能となり、車線位置を確実に検出することが可能となる。さらに、検出されたものが車線自体が破線状に標示された破線であれば、検出された破線位置を車線位置とすることで、車線位置を確実に検出することが可能となる。

このように、本発明では、車線の内側に標示された破線、車線の外側に標示された破線および車線自体が破線状に標示された破線を的確に区別して検出することができるため、それぞれに応じて的確に探索領域や検出の基準を変更することが可能となり、自車輌の左右に標示されている車線や破線を安定して的確に検出し、車線位置を確実に検出することが可能となる。

また、車線や破線の自車輌に近いエッジ部分は、車輌のタイヤに踏まれて薄くなっている場合がある。そのような場合でも、本発明に係る車線位置検出装置によれば、破線を検出した際に車線候補点の検出に係る画素の輝度値や輝度微分値の閾値を下げることで車線や破線のエッジ部分を的確に安定して検出することが可能となる。

このようにして、本発明では、車線位置が確実に安定して検出できるため、道路形状の認識や車輌のキープレーン制御等を行う際の基準となる車線位置の情報を確実に安定して供給することが可能となる。

なお、本実施形態では、各種閾値等の変更処理（図２０のステップＳ３１８）で、状態（３）と状態（１）との判別、すなわち車線の外側に標示された破線であるか車線自体が破線状に標示された破線であるかの判別を、破線の内側に車線があるか否か（図３３のステップＳ６０８）で判別する場合について述べた。

この他にも、例えば、状態（２）との判別と同様に、今回の検出で自車輌の左右に検出された破線位置同士または破線位置と車線位置との自車輌前方１０ｍの地点における実空間上の間隔を算出し、その間隔が基準道幅よりも所定量以上広いか否かで判別するように構成することも可能である。

本実施形態に係る車線位置検出装置のブロック図である。 基準画像の一例を示す図である。 検出手段で行われる処理の基本フローを示すフローチャートである。 前回検出された車線の周囲に限定された探索領域を説明する図である。 探索領域を画する内側規定値および外側規定値を説明する図である。 車線候補点検出変換処理の手順を示すフローチャートである。 （Ａ）第１開始点輝度閾値ｐth１および（Ｂ）第１開始点エッジ強度閾値Ｅth１を説明する図である。 基準画像上の画素に対応する道路面上の点までの距離の算出方法を説明する図である。 古い車線と一部重なった新しい車線を説明する図である。 （Ａ）第２開始点輝度閾値ｐth２および（Ｂ）第２開始点エッジ強度閾値Ｅth２を説明する図である。 水平ラインｊ上に検出された車線候補点を説明する図である。 ハフ平面であるａ−ｂ平面に引かれた直線を説明する図である。 直線が通過するａ−ｂ平面の升目を説明する図である。 水平ライン上の探索で検出された車線候補点を示す図である。 ａ−ｂ平面の各行ごとの計数値の最大値の分布を示すグラフである。 ピーク直線を基準画像上に表した図である。 図１６のピーク直線を実空間上に表した図である。 ピーク直線と自車輌の推定軌跡との平行度の計算方法を説明する図である。 検出された右車線直線および左車線直線を基準画像上に表した図である。 車線位置検出処理の手順を示すフローチャートである。 車線位置検出処理で最初に除外される車線候補点を示す図である。 車線破線識別処理の手順を示すフローチャートである。 車線の内側に標示された破線および検出された車線直線を説明する図である。 グループ化処理の手順を示すフローチャートである。 車線候補点を車線ポジションとして記録する条件を説明する図である。 図２５で示した条件に該当せず除外される車線候補点を示す図である。 最終的に検出された右車線位置および左車線位置を示す図である。 図２３の基準画像から最終的に検出された右破線位置および左破線位置を示す図である。 車線の外側に標示された破線を説明する図である。 図２９の場合に検出される破線位置と車線位置とを説明する図である。 車線自体が破線状に標示された破線を説明する図である。 図３１の場合に検出される破線位置と車線位置とを説明する図である。 各種閾値等の変更処理の手順を示すフローチャートである。 車線の内側に破線が標示されている場合に検出された破線位置から外側に離間した位置に車線位置を検出することを説明する図である。 第２車線幅閾値の設定により検出される車線位置を説明する図である。 各種閾値等の変更の解除等の処理の手順を示すフローチャートである。 車線の内側に標示されている破線を示す図であり、（Ａ）車線が連続線の場合、（Ｂ）は車線が破線状に標示されている場合を表す。 （Ａ）は車線や破線のエッジ点群を表し、（Ｂ）は正しくグループ化された線セグメントを表し、（Ｃ）は誤ってグループ化された線セグメントを表す。

符号の説明

１ 車線位置検出装置。
２ 撮像手段
６ 画像処理手段
９ 検出手段
Ｔ 基準画像
Ｓｒ、Ｓｌ 探索領域
ｊ 水平ライン
ｐ１ij 輝度値
Ｌij 距離
ｐth１ 第１開始点輝度閾値
Ｅth１ 第１開始点エッジ強度閾値
ＬＲ、ＬＬ 車線位置
ＢＬ 破線
ＢＬＲ、ＢＬＬ 破線位置

Claims (10)

1. 自車輌前方の道路を含む風景を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
   前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域ごとに実空間における距離を算出する画像処理手段と、
   前記一方の画像上を水平方向に延びるラインごとに探索して、前記輝度値および前記距離に基づいて道路面上の点に対応する画素の中から前記輝度値および輝度微分値についてそれぞれ設定された閾値以上である画素を車線候補点として検出し、前記探索により検出された複数の車線候補点に基づいて車線位置を検出する検出手段と
   を備え、
   前記検出手段は、互いに所定の距離内にある前記複数の車線候補点をグループ化し、グループ化された一群の車線候補点のグループが所定個数以上検出され、各グループの実空間上における距離方向の長さおよび左右方向の長さ、および各グループ間の距離がそれぞれ所定の数値範囲内にある場合には、それらのグループを道路面上に標示された破線として検出することを特徴とする車線位置検出装置。
2. 前記検出手段は、前回の検出で前記破線が検出された場合には、今回の検出において、前記輝度値および前記輝度微分値についてそれぞれ設定された閾値をそれぞれ下げることを特徴とする請求項１に記載の車線位置検出装置。
3. 前記検出手段は、前記破線の検出において、破線が検出されない場合に前記車線位置から算出された道幅に基づいて、車線の内側に標示された破線と、車線の外側に標示された破線と、車線自体が破線状に標示された破線とを区別して検出することを特徴とする請求項１または請求項２に記載の車線位置検出装置。
4. 前記検出手段は、前回の検出で破線が検出されなかった場合には、今回の検出において、前記一方の画像上の前回検出された車線位置の周囲のみを探索領域として車線候補点の探索を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の車線位置検出装置。
5. 前記検出手段は、前記破線の検出において、自車輌の左右に検出した破線位置同士の間隔または破線位置と車線位置との間隔が、破線が検出されない場合に前記車線位置から算出された道幅よりも所定量以上狭い場合には、車線の内側に標示された破線として検出することを特徴とする請求項３に記載の車線位置検出装置。
6. 前記検出手段は、前回の検出で車線の内側に標示された破線が検出された場合には、今回の検出において、前記一方の画像上の前回検出された破線位置の周囲のみを探索領域とし、その探索領域を、前回車線位置が検出された場合に設定される探索領域よりも狭めることを特徴とする請求項５に記載の車線位置検出装置。
7. 前記検出手段は、車線の内側に標示された破線が検出された場合には、その破線位置から外側に所定距離離間した位置を車線位置として検出することを特徴とする請求項５または請求項６に記載の車線位置検出装置。
8. 前記検出手段は、前回の検出で車線の外側に標示された破線が検出された場合または車線自体が破線状に標示された破線が検出された場合には、今回の検出において、前記一方の画像上の前回検出された破線位置の周囲のみを探索領域とすることを特徴とする請求項３に記載の車線位置検出装置。
9. 前記検出手段は、前回の検出で車線の外側に標示された破線が検出された場合には、今回の検出において、前記輝度値および輝度微分値についてそれぞれ設定された閾値以上である画素のうち、破線に対応する画素は車線候補点として検出しないことを特徴とする請求項８に記載の車線位置検出装置。
10. 前記検出手段は、車線自体が破線状に標示された破線が検出された場合には、その破線位置を車線位置として検出することを特徴とする請求項８に記載の車線位置検出装置。

Images