JP2010271966A - 車線認識装置 - Google Patents

Abstract

【課題】撮像された画像中から自車両の走行路に標示された車線を的確に検出して認識することが可能な車線認識装置を提供する。
【解決手段】画像Ｔから車線ＬＬ、ＬＲを検出する車線認識装置１において、画像Ｔの画素の輝度ｐに基づいて車線候補点ｃｌ、ｃｒを検出する車線候補点検出手段１０と、車線に対応する車線候補点を車線ポジションＣＬ、ＣＲとして選別し車線ＬＬ、ＬＲを検出する車線検出手段１１と、新たな車線ポジションＣＬ、ＣＲが検出された際に、新たに検出された車線ポジションと既検出の車線ポジションとを結ぶ第１探索ラインＳＬ１と、既検出の車線ポジション同士を結ぶ第２探索ラインＳＬ２とを設定する探索ライン設定手段１２とを備え、車線検出手段１１は、第１探索ラインＳＬ１や第２探索ラインＳＬ２から所定の範囲Ｓ内に存在する車線候補点ｃｌ、ｃｒを新たな車線ポジションＣＬ、ＣＲとして検出する。
【選択図】図１

Description

本発明は、車線認識装置に係り、特に、撮像された画像中から自車両の走行路の道路面上に標示された車線を検出して認識する車線認識装置に関する。

従来から、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを備えるカメラで車両前方を撮像し、撮像した画像中から自車両の走行路の道路面上に標示された車線を検出して認識する技術が種々開発されている。なお、本明細書では、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線といい、車線の間の自車両が走行する道路面を自車両の走行路という。

例えば、特許文献１に記載の車線認識装置では、撮像された画像の１画素幅の水平ライン上を左右方向に探索して隣接する画素との輝度の差（すなわちエッジ強度）が所定の閾値以上に大きい画素を車線候補点として検出し、この探索を各水平ラインについて行って複数の車線候補点を得る。

そして、実空間上で道路面より上方に存在する点に対応する車線候補点や道路面の標示や影等に対応する車線候補点、すなわち車線に対応しない車線候補点を排除しながら、自車両に近い側すなわち画像の下側の車線候補点に対してハフ変換を行って車線に対応する直線を検出する。

また、自車両からより遠方の車線候補点、すなわち画像のより上側の車線候補点については、画像の下側から上側に順々に探索していき、画像下側の車線候補点と整合性がある車線候補点をつないでいく。このようにして、例えば車線が直線的に標示されている場合には直線的に、また、車線が前方でカーブしている場合にはカーブに沿って車線候補点を検出しながらつないでいくことで自車両の走行路に標示された車線を検出して認識するように構成されている。

その際、図１６（Ａ）に示すように、画像上に車線候補点ａが検出され、その上方に車線候補点ｂが検出されると、図１６（Ｂ）に示すように、さらにその上方に向かって車線候補点ａ、ｂを結ぶ探索ラインを直線状に延ばし、その探索ラインの近傍にある車線候補点ｃを検出する。続いて、今度は、その上方に向かって車線候補点ｂ、ｃを結ぶ探索ラインを延ばし、その探索ラインの近傍にある車線候補点ｄを検出する。このようにして、車線候補点ａ、ｂ、ｃ、ｄ、…を検出しながらそれらをつないでいくことで、車線を検出するようになっている。

特開２００６−３３１３８９号公報

ところで、上記のように画像の水平ラインを左右方向に探索してエッジ強度に基づいて車線候補点を検出する場合、例えば図１７に示す画像Ｔ中の手前側すなわち画像Ｔの下側の車線ＬＲ部分では、左右方向のエッジ（すなわち左右方向に探索した場合に輝度が大きく変わる部分）が明確に現れる。

それに対し、車線がカーブしており、遠方側すなわち画像Ｔの上側で車線ＬＲが画像Ｔの縦方向（すなわちｊ軸方向）との角度差が大きくなり画像Ｔの横方向（すなわちｉ軸方向）に近い状態に大きく傾いて撮像されている部分では、図１８（Ａ）の拡大図に示すように、車線ＬＲの左右方向（ｉ軸方向）のエッジがぼやけるため、図１８（Ｂ）に黒丸で示すように、車線ＬＲのエッジ部分に検出される車線候補点ｃｒの車線ＬＲに対する左右方向の位置が水平ラインごとにばらつき易い。

そして、このように車線候補点ｃｒの車線ＬＲに対する位置がばらつく場合、上記のように画像Ｔ上に検出された２つの車線候補点ｃｒを結ぶ探索ラインを上方に延ばしてその上側の車線候補点ｃｒを探索すると、図１８（Ｃ）に示すように、車線候補点ｃｒ１〜ｃｒ５は順次検出されるが、車線候補点ｃｒ６は車線候補点ｃｒ４、ｃｒ５を結ぶ探索ラインの近傍にあるとは言い難い。そのため、車線候補点ｃｒ６、ｃｒ７等が車線ＬＲのエッジに対応する車線候補点であっても、それらを的確に車線候補点として検出することができなくなる虞があった。

この場合、画像の水平ライン上ではなく画像を縦方向（上下方向）に探索して車線ＬＲの縦方向のエッジを検出するように構成することも可能である。しかし、ＣＣＤ等からは、通常、各画素の輝度のデータが水平ラインごとに送信されてくるため、メモリには水平ラインごとに輝度のデータが保存される。そして、画像の縦方向に隣接する画素の輝度の差（すなわちいわゆる縦エッジ強度）を算出するためには、メモリ上で離れたアドレスに保存されているそれらの画素のデータを探し出し読み出して並べ替えなければならない。

また、縦方向に隣接する画素を何画素分読み出せばよいか等を一律に決めることができず、処理が煩雑になり、しかも、処理の実行時間が長時間になるといった問題が生じる。さらに、画像を縦方向に探索して車線の縦エッジを検出するように構成すると、停止線や横断歩道等の車線とは関係ない縦エッジが多数検出されてしまい、それらと車線の縦エッジとを判別するという新たな処理が必要となる。

一方、図１７に示した画像Ｔ中の自車両左側の破線状の車線ＬＬでは、画像の水平ラインを左右方向に探索して車線候補点ｃｌを検出した場合、図１９（Ａ）の拡大図に示すように、車線ＬＬのような破線状の車線の上端部分や下端部分では、車線候補点ｃｌ６のように車線の左右のエッジから外れた位置に車線候補点が検出される場合がある。

そして、この場合も、上記のように画像Ｔ上に検出された２つの車線候補点ｃｌを結ぶ探索ラインを上方に延ばしてその上側の車線候補点ｃｌを探索すると、図１９（Ｂ）に示すように、車線候補点ｃｌ１〜ｃｌ６は順次検出されるが、車線候補点ｃｌ７は車線候補点ｃｌ５、ｃｌ６を結ぶ探索ラインの近傍にあるとは言えない。そのため、車線候補点ｃｌ７等が車線ＬＬのエッジに対応する車線候補点であっても、それらを的確に車線候補点として検出することができなくなる虞があった。

本発明は、このような事情に鑑みてなされたものであり、撮像された画像中から自車両の走行路に標示された車線を的確に検出して認識することが可能な車線認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
撮像された画像を処理して自車両の走行路に標示された車線を検出して認識する車線認識装置において、
前記自車両の走行路を含む車外環境を撮像する撮像手段と、
前記撮像手段により撮像された画像の画素の輝度に基づいて、画像の水平方向で互いに隣接する画素同士の輝度差を算出し、前記差が閾値以上である場合に当該画素を車線候補点として検出する車線候補点検出手段と、
前記車線候補点検出手段により検出された前記車線候補点に基づいて、前記車線候補点の中から前記車線に対応する車線候補点を車線ポジションとして選別し前記車線を検出する車線検出手段と、
前記車線検出手段により新たな前記車線ポジションが検出された際、当該新たに検出された車線ポジションと既に検出されている車線ポジションとを結ぶ第１探索ラインと、既に検出されている車線ポジション同士を結ぶ第２探索ラインとを設定する探索ライン設定手段と、
を備え、
前記車線検出手段は、前記第１探索ラインまたは前記第２探索ラインから所定の範囲内に存在する前記車線候補点を前記新たな車線ポジションとして検出することを特徴とする。

第２の発明は、第１の発明の車線認識装置において、前記車線検出手段は、前記第１探索ラインからの所定の範囲内および前記第２探索ラインからの所定の範囲内にそれぞれ前記車線候補点を検出した場合には、検出した前記各車線候補点と既に検出した前記車線ポジションとの間隔が所定の間隔閾値未満であれば前記第１探索ラインからの所定の範囲内に存在する前記車線候補点を前記新たな車線ポジションとして検出し、前記間隔が前記所定の間隔閾値以上であれば前記第２探索ラインからの所定の範囲内に存在する前記車線候補点を前記新たな車線ポジションとして検出することを特徴とする。

第３の発明は、第１または第２の発明の車線認識装置において、前記車線検出手段は、前記第１探索ラインと前記画像の縦方向との角度差が大きいほど、前記第１探索ラインからの前記所定の範囲を拡大させ、前記第２探索ラインと前記画像の縦方向との角度差が大きいほど、前記第２探索ラインからの所定の範囲を拡大するように可変させることを特徴とする。

第４の発明は、第１から第３のいずれかの発明の車線認識装置において、前記所定の範囲は、前記第１探索ラインおよび前記第２探索ラインと前記画像の縦方向との角度差に対応して生じる車線のエッジ部分のぼやけの程度に応じて可変させることを特徴とする。

第５の発明は、第１から第４のいずれかの発明の車線認識装置において、前記車線候補点検出手段は、前記閾値を、前記車線と前記画像の縦方向との角度差に応じて可変に設定することを特徴とする。

第６の発明は、第５の発明の車線認識装置において、前記車線候補点検出手段は、前記隣接する画素との輝度の差が前記閾値以上である画素を検出すると、前記差が前記閾値以上であり、かつ、当該画素から連続して検出される各画素の前記水平ライン上の座標を、各画素についての前記差と前記閾値との差分で重み付け平均し、重み付け平均により算出された前記水平ライン上の座標を前記車線候補点の座標として前記車線候補点を検出することを特徴とする。

第１の発明によれば、カーブした車線の遠方側で車線と画像の縦方向との角度差が大きく撮像されていても（図１８参照）、また、破線状の車線の上端部分や下端部分で車線候補点が車線の左右のエッジから外れた位置に検出されていても（図１９参照）、或いは、自車両の走行路が例えばＳ字状にカーブしていても、第１探索ラインと第２探索ラインのいずれかの所定の範囲内に的確に車線候補点を検出することが可能となる。また、第１探索ラインと第２探索ラインのいずれの所定の範囲にも属さない車線候補点を、車線に対応しない車線候補点、すなわち誤検出された車線候補点として的確に棄却して排除される。

そのため、第１探索ラインと第２探索ラインのいずれかの所定の範囲内に検出された車線候補点を車線ポジションとして的確に選別し、それらの車線ポジションをつないでいくことで、画像中に自車両の走行路に標示された車線を的確に検出して認識することが可能となる。

第２の発明によれば、車線が破線状である場合には図１９に示した場合と同様に第１探索ラインＳＬ１（後述する図１５参照）からの所定の範囲内に検出された車線候補点は車線に対応しない画素である可能性があるが、車線が連続線状である場合には第１探索ラインＳＬ１からの所定の範囲内に検出された車線候補点を採用することができる。

そのため、第１探索ラインと第２探索ラインとの各所定の範囲内にそれぞれ車線候補点を検出した場合、検出した車線候補点と既に検出した車線ポジションとの間隔が狭く車線が連続線状であると判断できる場合に第１探索ラインについて検出された車線候補点を採用し、検出した車線候補点と既に検出した車線ポジションとの間隔が広く、車線が破線状であると判断できる場合に第２探索ラインについて検出された車線候補点を採用することで、車線に対応した車線候補点を車線ポジションとして的確に検出することが可能となる。そのため、前記発明の効果をより的確に発揮させることが可能となる。

第３の発明によれば、第１探索ラインや第２探索ラインと画像の縦方向との角度差が大きいほど、車線の横方向のエッジ部分のぼやけ方が大きくなるため、車線候補点が画像の左右方向にばらついて検出されるようになる。そのため、第１探索ライン等と画像の縦方向との角度差が大きいほど第１探索ライン等からの所定の範囲を拡大するように可変させることで、車線候補点を車線ポジションとして的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第４の発明によれば、第１探索ラインや第２探索ラインと画像の縦方向との角度差が大きいほど、車線の横方向のエッジ部分のぼやけ方が大きくなるため、車線候補点が画像の左右方向にばらついて検出されるようになる。そのため、第１探索ラインや第２探索ラインからの所定の範囲を車線のエッジ部分のぼやけの程度に応じて可変させることで、車線候補点を車線ポジションとして的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第５の発明によれば、車線候補点検出手段が、画像の水平ライン上で隣接する画素の輝度との差が閾値以上となる画素を車線候補点として検出する際に、閾値を車線と画像の縦方向との角度差に応じて可変に設定することで、車線の横方向のエッジ部分がぼやけ、輝度の差が全体的に小さくなるような場合でも的確に車線候補点を検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、車線と画像の縦方向との角度差が大きいと、車線の横方向のエッジ部分がぼやけて車線候補点の左右方向の位置がばらついて検出されるが、隣接する画素との輝度の差が閾値以上である各画素の座標を重み付け平均し、車線候補点をその重み付け平均された座標を有する画素として検出することで、車線候補点の画像上での左右方向のばらつきが抑制された状態で車線候補点を安定して検出することが可能となり、前記各発明の効果をより効果的に発揮させることが可能となる。また、そのため、画像中から自車両の走行路に標示された車線をより的確に検出して認識することが可能となる。

本実施形態に係る車線認識装置の構成を示すブロック図である。 撮像手段で撮像される基準画像の例を示す図である。 図２の基準画像中に検出された複数の車線候補点の例を示す図である。 水平ライン上に検出された車線候補点の位置を示す図である。 ハフ平面の例および升目を説明する図である。 ハフ変換により抽出された各直線を示す図である。 図６の各直線の中から選択された左右の各直線を示す図である。 基準画像の下側に確定された直線および車線に対応しない車線候補点を表す図である。 第１探索ラインと第２探索ラインの設定のしかたの例を示す図である。 車線と基準画像の縦方向との角度差が小さい場合の（Ａ）各画素の輝度および（Ｂ）各画素のエッジ強度を表すグラフである。 車線と基準画像の縦方向との角度差が大きい場合の（Ａ）各画素の輝度および（Ｂ）各画素のエッジ強度を表すグラフである。 探索ラインと基準画像の縦方向との角度差に応じて可変される所定の範囲を説明する図であり、（Ａ）は角度が小さい場合、（Ｂ）は角度が大きい場合を表す。 図２の基準画像上に検出された車線を示す図である。 図１８の場面で設定される第１探索ラインと第２探索ラインおよびそれらの所定の範囲を示す図である。 図１９の場面で設定される第１探索ラインと第２探索ラインおよびそれらの所定の範囲を示す図である。 （Ａ）画像上に検出された車線候補点、および（Ｂ）従来の手法における探索ラインの設定のしかたの例を示す図である。 撮像手段で撮像される画像の例を示す図である。 （Ａ）図１７の遠方側の車線の拡大図、（Ｂ）（Ａ）の車線のエッジ部分に検出される車線候補点、および（Ｃ）従来の探索ラインの設定のしかたでは検出されない車線候補点を表す図である。 （Ａ）図１７の左側の破線状の車線の拡大図、および（Ｂ）従来の探索ラインの設定のしかたでは検出されない車線候補点を表す図である。

以下、本発明に係る車線認識装置の実施の形態について、図面を参照して説明する。

なお、以下では、車線認識装置１が、ステレオカメラからなる撮像手段２を備え、一対の画像のステレオマッチングに基づいて一方の画像（基準画像Ｔ）の各画素に対する実空間上の距離Ｚ（或いは視差ｄｐ）を算出する場合について説明するが、画素の実空間上の距離を算出するように構成する必要はなく、また、例えば、単眼のカメラにより撮像された１枚の画像に対して処理を行うように構成することも可能である。

本実施形態に係る車線認識装置１は、図１に示すように、撮像手段２や、車線候補点検出手段１０、車線検出手段１１、探索ライン設定手段１２等を有する処理部９等を備えて構成されている。なお、距離検出手段６等を含む処理部９の上流側の構成については、前記特許文献１等に記載されており、構成の詳細な説明は同公報等に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた運転者側のメインカメラ２ａと助手席側のサブカメラ２ｂとからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

なお、以下では、メインカメラ２ａで撮像される図２に示すような画像を基準画像Ｔ、サブカメラ２ｂで撮像される図示しない画像を比較画像Ｔｃという。また、以下では、処理部９において基準画像Ｔを対象として処理を行う場合について説明するが、例えば、比較画像Ｔｃを対象として処理を行うように構成することも可能である。

また、本実施形態では、撮像手段２のカメラ２ａ、２ｂでは、それぞれモノクロの画像データが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

メインカメラ２ａ等では、撮像した基準画像Ｔ等の１画素幅の水平ラインの最も左側の画素から輝度の出力を開始し、その後、順次右方向に走査して各画素から輝度を出力する。また、走査する水平ラインを最も下側のラインから順に上方に切り替えながら出力するようにして、基準画像Ｔ等の各画素の輝度のデータがそれぞれ変換手段３に順次送信されるようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａやサブカメラ２ｂで撮像された基準画像Ｔ等の画素ごとの各画像データをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データに順次変換して画像補正部４に出力するようになっている。

また、画像補正部４では、各画像データに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、各画像データを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像Ｔｃの各画像データを距離検出手段６にも順次送信するようになっている。

前述したように、本実施形態では、距離検出手段６で基準画像Ｔの各画素に対する実空間上の距離Ｚ（或いは視差ｄｐ）が検出されるようになっており、距離検出手段６のイメージプロセッサ７では、基準画像Ｔと比較画像Ｔｃの各画素（正確には例えば４×４画素の画素ブロック）に対してステレオマッチング等を施して、基準画像Ｔの画素ごとに視差ｄｐを順次算出するようになっている。なお、画素の視差ｄｐおよび基準画像Ｔ上での座標と、当該画素に対応する実空間上の点の左右位置Ｘ、高さＹ、距離Ｚとは、三角測量の原理に基づく座標変換により一意に対応付けられる。

イメージプロセッサ７は、算出した視差ｄｐを距離データメモリ８に順次格納するとともに、処理部９に順次送信するようになっている。本実施形態のようにステレオカメラで撮像された一対の画像Ｔ、Ｔｃに対するステレオマッチングで画像Ｔの各画素の実空間上の距離Ｚ（視差ｄｐ）等を算出する代わりに、或いはそれと並行して、レーザレーダ装置等を用いて画像Ｔの各画素の実空間上の距離Ｚ（視差ｄｐ）等を検出するように構成することも可能である。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部９は、車線候補点検出手段１０、車線検出手段１１、探索ライン設定手段１２を備えている。

なお、処理部９において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部９には、必要に応じて自車両の車速やヨーレート、ステアリングホイールの舵角等のデータが入力されるようになっている。また、本実施形態の処理部９は、特許文献１に記載の車線認識装置をベースに構成されているため、ベースとなる構成の詳細については同公報を参照されたい。

車線候補点検出手段１０は、撮像手段２により撮像された基準画像Ｔの画素の輝度に基づいて、基準画像Ｔ中に車線候補点ｃｌ、ｃｒを検出するようになっている。なお、車線候補点ｃｌ、ｃｒとは、自車両の走行路に標示された車線に対応している可能性がある画素をいい、後述するように車線候補点ｃｌ、ｃｒが種々選別されて、車線候補点ｃｌ、ｃｒの中から車線に対応した画素である車線ポジションＣＬ、ＣＲが検出される。

車線候補点検出手段１０は、撮像手段２から基準画像Ｔの１ライン分の水平ライン上の各画素の輝度ｐのデータが入力されると、例えば、基準画像Ｔの中央の位置や、自車両の挙動から自車両が今度進行すると推定される軌跡の基準画像Ｔ上の位置等から左右方向に水平ライン上を探索し、ある画素の輝度ｐとそれに隣接する画素の輝度ｐとの差（すなわちエッジ強度）Δｐが予め設定された閾値Δｐth以上となり輝度ｐが大きく変化する画素を車線候補点ｃｌ、ｃｒとして検出する。

そして、車線候補点検出手段１０は、基準画像Ｔの各水平ラインの１ライン分のデータが入力されるごとに探索を繰り返して、水平ラインごとに車線候補点ｃｌ、ｃｒとして検出するようになっている。その際、前述したように、撮像手段２からは、撮像した基準画像Ｔの最も下側の水平ラインから順に上側の水平ラインのデータが入力されるため、車線候補点検出手段１０においても、基準画像Ｔの最も下側の水平ラインから順に上方に向けて車線候補点ｃｌ、ｃｒが検出されていく。

なお、水平ライン上で車線候補点ｃｌ、ｃｒを探索する領域を、例えば、前回のサンプリング周期で検出された車線の位置の周囲のみに設定したり、基準画像Ｔ中の先行車両等の立体物が撮像されている領域以外の領域のみを探索するように構成する等して、探索範囲を限定し狭めて設定するように構成することも可能である。

また、距離検出手段６で検出した基準画像Ｔの各画素の視差ｄｐ等に基づいて、検出した車線候補点ｃｌ等に対応する実空間上の点が、道路面上にない、すなわち道路面よりも上方に存在すると判断される場合には、当該車線候補点ｃｌ等は少なくとも道路面上に標示された車線に対応する画素ではないと判断されるため、そのような場合に当該車線候補点ｃｌ等を車線候補点から除外するように構成することも可能である。

図２に示した基準画像Ｔに対して探索を行うと、例えば図３に示すように、複数の車線候補点ｃｌ、ｃｒが検出される。なお、図３では、Ａの領域に示される各点が検出された車線候補点ｃｒを表し、Ｂの領域に示される各点が検出された車線候補点ｃｌを表している。車線候補点検出手段１０は、検出した車線候補点ｃｌ、ｃｒの基準画像Ｔ上の座標等を図示しない記憶手段に保存するようになっている。

車線検出手段１１は、上記のように車線候補点検出手段１０により検出された各車線候補点ｃｌ、ｃｒに基づいて、車線候補点ｃｌ、ｃｒの中から、自車両の走行路に標示された車線に対応する車線候補点である車線ポジションＣＬ、ＣＲを検出して、車線を認識するようになっている。

すなわち、車線検出手段１１は、基準画像Ｔ中に検出された車線候補点ｃｌ、ｃｒに基づいて、まず、自車両に近い側、すなわち基準画像Ｔ上では下側で車線に対応する直線を検出し、自車両から遠方では、整合性がとれる各車線候補点ｃｌ、ｃｒを車線ポジションＣＬ、ＣＲとして検出しながらつないでいくことで、自車両の走行路に標示された車線を検出して認識するように構成されている。

具体的には、車線検出手段１１は、上記の直線を検出するために、車線候補点検出手段１０が基準画像Ｔの水平ライン上を探索して車線候補点ｃｌ、ｃｒを検出するごとに、当該車線候補点ｃｌ、ｃｒに基づいてハフ変換を行う。

すなわち、車線候補点検出手段１０が、例えば図４に示すように水平ラインｊ上の（Ｉｊ，Ｊｊ）の位置に車線候補点ｃｒを検出すると、車線検出手段１１は、車線候補点ｃｒが、基準画像Ｔ上の
ρ＝ｉsinθ＋ｊcosθ …（１）
上に存在すると仮定し、（Ｉｊ，Ｊｊ）を代入する。
ρ＝Ｉｊsinθ＋Ｊｊcosθ …（２）

そして、上記（２）式をρ、θの関数として捉え、図５に示すように、上記（２）式で表される関数曲線が通過するハフ平面の各升目のカウント数を１増加させる。車線検出手段１１は、このようにして、車線候補点ｃｒが検出されるごとに当該車線候補点ｃｒに基づいてハフ変換を行い、関数曲線が通過するハフ平面の各升目のカウント数を１増加させていく。基準画像Ｔの左側の車線候補点ｃｌについても車線候補点ｃｒとは別にハフ平面を作成して同様に各升目ごとにカウントする。

カウント数が多い升目が多くの関数曲線が通過する升目であり、その升目に対応するρ、θを上記（１）式に代入して得られる直線が、多くの車線候補点ｃｌ、ｃｒを通る直線となる。そのため、車線検出手段１１は、車線候補点検出手段１０による車線候補点ｃｌ、ｃｒの検出が終了した時点で、ハフ平面の各升目のカウント数をチェックし、カウント数がピークとなる升目のρとθを検出する。

そして、それらのρ、θを上記（１）式に代入して直線を算出すると、例えば図６に示すように、各車線候補点ｃｌに関するハフ変換の結果から直線ｌ１、ｌ２が抽出され、各車線候補点ｃｒに関するハフ変換の結果から直線ｒ１、ｒ２が抽出される。車線検出手段１１は、それらの直線の中から、自車両の位置や挙動等や左右両側の直線の平行度等に基づいて、図７に示すように、車線としてふさわしい直線ｌ１、ｒ１を左右に１本ずつ選択する。

車線検出手段１１は、このようにして、車線としてふさわしい直線ｌ１、ｒ１を左右に１本ずつ選択して検出することで、まず、自車両に近い側すなわち基準画像Ｔの下側で車線に対応する直線を検出するようになっている。

車線検出手段１１は、続いて、検出した直線ｌ１、ｒ１を基準にして、基準画像Ｔの下側から上方に車線候補点ｃｌ、ｃｒをチェックしていき、車線候補点ｃｌ、ｃｒと直線ｌ１、ｒ１との距離や画素数等に基づいて車線候補点ｃｌ、ｃｒが自車両の走行路に標示された車線に対応する車線候補点であるか否かを判定し、車線に対応する車線候補点であると判定した車線候補点ｃｌ、ｃｒを車線ポジションＣＬ、ＣＲとして検出する。

例えば、図８に破線で包囲されて示される車線候補点ｃｌ、ｃｒは、直線ｌ１、ｒ１からの距離等が遠いため、車線に対応する車線候補点ではないと判定されて棄却される。そして、車線検出手段１１は、車線を直線ｌ１、ｒ１で表す範囲を各直線ｌ１、ｒ１ごとに所定個数の車線ポジションＣＬ、ＣＲが検出されるまでの範囲として、基準画像Ｔの下側に車線検出の基準となる直線ｌ１、ｒ１を確定させるようになっている。

車線検出手段１１は、検出した直線ｌ１、ｒ１の情報すなわち選択したρ、θの情報や、検出した車線ポジションＣＬ、ＣＲの基準画像Ｔ上の座標等を記憶手段に保存するようになっている。なお、ここまでの構成は、特許文献１に記載された車線検出と同様の構成である。

車線検出手段１１は、続いて、検出した車線ポジションＣＬ、ＣＲを基準とし、基準画像Ｔの上方に向かって自車両から遠方の車線候補点ｃｌ、ｃｒを車線ポジションＣＬ、ＣＲとして検出しながらつないでいくことで、自車両の走行路に標示された車線を検出して認識するようになっているが、これについては、探索ライン設定手段１２について説明した後で説明する。

探索ライン設定手段１２は、車線検出手段１１が検出した直線ｌ１、ｒ１の部分に検出した車線ポジションＣＬ、ＣＲや、基準画像Ｔ中のその上方に検出された車線ポジションＣＬ、ＣＲに基づいて、さらにその上方に新たな車線ポジションＣＬ、ＣＲを探索するための探索ラインを設定するようになっている。

前述したように、特許文献１に記載された車線検出では、図１６等に示した手法で探索ラインを設定して車線ポジション（車線候補点）の探索を行ったが、本発明では、探索ラインの設定のしかたや設定される探索ラインの本数が特許文献１に記載された車線検出の場合と異なる。以下、本発明における探索ラインの設定のしかた等を、右側の車線ポジションＣＲ等に基づいて説明する。

探索ライン設定手段１２は、図９に示すように、車線検出手段１１により新たな車線ポジションＣＲ_ｎが検出されると、当該新たに検出された車線ポジションＣＲ_ｎ（以下、最新の車線ポジションＣＲ_ｎという。）と既に検出されている車線ポジション（例えば車線ポジションＣＲ_ｎ−１）とを直線状に結ぶ第１探索ラインＳＬ１と、既に検出されている車線ポジション同士（例えば車線ポジションＣＲ_ｎ−１とＣＲ_ｎ−２）を直線状に結ぶ第２探索ラインＳＬ２とを、少なくとも１本ずつ設定するようになっている。

この場合、第１探索ラインＳＬ１を最新の車線ポジションＣＲ_ｎと１０個前に検出されている車線ポジションＣＲ_ｎ−１０とを直線状に結んで設定したり、第２探索ラインＳＬ２を例えば車線ポジションＣＲ_ｎ−１と１０個前に検出されている車線ポジションＣＲ_ｎ−１０とを直線状に結んで設定するように構成することも可能であり（図９中の各破線参照）、第１探索ラインＳＬ１および第２探索ラインＳＬ２をどの車線ポジション同士を結ぶように設定するかは予め適宜決められる。

探索ライン設定手段１２は、車線検出手段１１が新たな車線ポジションＣＲを検出するごとに上記のようにして第１探索ラインＳＬ１および第２探索ラインＳＬ２を少なくとも１本ずつ設定するようになっている。

なお、さらに多くの第１探索ラインＳＬ１や第２探索ラインＳＬ２を設定するように構成することも可能である。ただし、その際、各第１探索ラインＳＬ１には最新の車線ポジションＣＲ_ｎが必ず含まれるが、各第２探索ラインＳＬ２には最新の車線ポジションＣＲ_ｎが含まれないように設定される。以下、第１探索ラインＳＬ１および第２探索ラインＳＬ２が１本ずつ設定される場合について説明する。

車線検出手段１１は、探索ライン設定手段１２により上記のようにして第１探索ラインＳＬ１および第２探索ラインＳＬ２が設定されると、第１探索ラインＳＬ１や第２探索ラインＳ２から所定の範囲内を探索し、前記範囲内に車線候補点ｃｒが存在する場合には、その車線候補点ｃｒを新たに車線ポジションＣＲとして検出するようになっている。

ここで、上記の所定の範囲等について説明する前に、基準画像Ｔ中に撮像された車線の基準画像Ｔ中での傾きと車線のエッジのぼやけとの関係について説明する。

前述したように、基準画像Ｔの水平ラインｊ上を左右方向（すなわちｉ軸方向）に探索していくと、車線のエッジ部分で画素の輝度ｐが大きく変化し、車線候補点ｃｒが検出される。

その際、図８に示した右側の直線ｒ１で近似される車線のように車線の延在方向と基準画像Ｔの縦方向（すなわちｊ軸方向）との角度差が小さいと、図１０（Ａ）に示すように、水平ラインｊ上の画素ごとの輝度ｐは、道路面が撮像された画素から車線が撮像された画素に切り替わる点すなわち車線のエッジ部分で大きく立ち上がる。

そのため、隣接する画素同士の輝度ｐの差Δｐすなわちエッジ強度Δｐは、図１０（Ｂ）に示すように、車線のエッジ部分で大きな値として算出され、しかも、ｉ軸方向に狭い画素範囲に現れる。

一方、図１７に示したように、画像Ｔの上側すなわち自車両から遠方側で車線ＬＲが大きく傾いて基準画像Ｔの縦方向との角度差が大きくなると、図１８（Ａ）に示したように、車線の横方向のエッジ部分がぼやけ、水平ラインｊ上の画素ごとの輝度ｐは、図１１（Ａ）に示すように車線のエッジ部分でなだらかに立ち上がるようになる。

そのため、隣接する画素同士のエッジ強度Δｐは、図１１（Ｂ）に示すように、車線のエッジ部分で、比較的小さな値のエッジ強度Δｐがｉ軸方向に比較的広い画素範囲に現れる状態になる。

なお、このように、車線と基準画像Ｔの縦方向（ｊ軸方向）との角度差が大きいと、エッジ強度Δｐが小さい値になる傾向があるため、車線候補点検出手段１０で車線候補点ｃｌ、ｃｒを検出する際に、エッジ強度Δｐに関する閾値Δｐthが大きい値のままであると、車線と基準画像Ｔの縦方向との角度差が大きくなる位置の水平ラインｊ上で、車線候補点ｃｌ、ｃｒを検出しづらくなる場合がある。

そこで、本実施形態では、この閾値Δｐthを、車線候補点検出手段１０が車線候補点ｃｌ、ｃｒの探索を行っている水平ラインｊの位置における車線と基準画像Ｔの縦方向との角度差に応じて可変とするようになっている。

具体的には、角度差が大きいほど閾値Δｐthが小さくなるように可変して、車線候補点ｃｌ、ｃｒを検出し易くするように構成されている。なお、水平ラインｊの位置における車線と基準画像Ｔの縦方向との角度差は、例えば、過去のサンプリング周期で検出された車線の情報とその後の自車両の挙動から今回のサンプリング周期での角度差を推定し、その推定角度差が用いられる。また、閾値Δｐthと角度差との関係を予めテーブル等の形で設定される。

上記のように、車線と基準画像Ｔの縦方向との角度差が小さく車線のエッジが明確に現れる場合（図１０参照）には、エッジ強度Δｐがｉ軸方向の狭い画素範囲に大きく現れる。そのため、検出される車線候補点ｃｒや車線ポジションＣＲのｉ軸方向の位置はさほどずれない。

しかし、車線と基準画像Ｔの縦方向との角度差が大きいと（図１１参照）、車線のエッジがぼやけ、エッジ強度Δｐがｉ軸方向の比較的広い画素範囲に比較的小さく現れるため、車線候補点ｃｒや車線ポジションＣＲのｉ軸方向の位置がエッジ強度Δｐと閾値Δｐthとの関係次第でｉ軸方向にばらついて検出される傾向がある。

そのため、上記のように、車線検出手段１１において、第１探索ラインＳＬ１や第２探索ラインＳＬ２から所定の範囲内で車線候補点ｃｒを探索する場合においても、第１探索ラインＳＬ１や第２探索ラインＳＬ２の基準画像Ｔの縦方向との角度差が大きい場合には、角度差が小さい場合よりも上記の所定の範囲を広く設定することで、車線候補点ｃｒを車線ポジションＣＲとして的確に検出することが可能となる。

そこで、本実施形態では、図１２（Ａ）、（Ｂ）に示すように、車線検出手段１１は、第１探索ラインＳＬ１と基準画像Ｔの縦方向（ｊ軸方向）との角度差φ１や、第２探索ラインＳＬ２と基準画像Ｔの縦方向との角度差φ２が大きいほど、第１探索ラインＳＬ１からの所定の範囲Ｓや第２探索ラインＳＬ２からの所定の範囲Ｓをそれぞれ拡大するように可変させるようになっている。

また、本実施形態では、上記の所定の範囲Ｓは、第１探索ラインＳＬ１や第２探索ラインＳＬ２と水平ラインｊとの交点の画素からの基準画像Ｔの左右方向の画素数として設定されるようになっており、探索ラインＳＬと基準画像Ｔのｊ軸方向との角度差φが大きいほど交点の画素からの左右方向の画素数が大きくなるようになっている。

また、第１探索ラインＳＬ１の場合は最新の車線ポジションＣＲ_ｎから基準画像Ｔの上方向（ｊ軸方向）に離れるほど、また、第２探索ラインＳＬ２の場合は例えば１つ前に検出された車線ポジションＣＲ_ｎ−１から基準画像Ｔの上方向に離れるほど、上記の所定の範囲が広がるように設定されるようになっている。

この場合も、第１探索ラインＳＬ１や第２探索ラインＳＬ２と基準画像Ｔの縦方向との角度差φ１、φ２と、所定の範囲として水平ラインｊが基準画像Ｔ上で上向きに１画素分ごと移動するごとに増加される画素数とが予めテーブル等の形で設定される。例えば図１２（Ａ）のような場合には、水平ラインｊが基準画像Ｔ上で上向きに１画素分ごと移動するごとに探索ラインＳＬからの所定の範囲が左右方向に例えば２画素ずつ増加され、図１２（Ａ）のような場合には例えば５画素分ずつ増加される。

また、上記のように、車線と基準画像Ｔの縦方向との角度差φが大きくなるほど車線のエッジ部分のぼやけの程度が大きくなる傾向があるため（図１０、図１１、図１８等参照）、第１探索ラインＳＬ１や第２探索ラインＳＬ２からの上記の所定の範囲に検出されるべき車線ポジションＣＲ（車線候補点ｃｒ）が、上記のぼやけの分だけｉ軸方向にばらついて検出されている可能性がある。

そこで、本実施形態では、上記のように第１探索ラインＳＬ１や第２探索ラインＳＬ２に対して設定した上記の所定の範囲を、第１探索ラインＳＬ１や第２探索ラインＳＬ２と基準画像Ｔの縦方向との角度差φ１、φ２に対応して生じる車線のエッジ部分のぼやけの程度に応じてさらに拡張するように構成されている。

この探索ラインＳＬと基準画像Ｔの縦方向との角度差φに対応して、上記の所定の範囲をどの程度拡張するかを予め定めておき、テーブル等の形で設定しておくように構成することも可能である。

また、車線候補点検出手段１０では図１０（Ｂ）や図１１（Ｂ）に示したようにエッジ強度Δｐが最初に閾値Δｐth以上となった画素を車線候補点ｃｒとして検出するようになっているが、車線候補点ｃｒを検出した後もさらに探索を続けて閾値Δｐth以上となる画素の数をカウントし、その画素数を車線候補点ｃｒに対応付けて記憶させておき、それを上記の所定の範囲の拡張分として利用するように構成することも可能である。

さらに、例えば、車線候補点検出手段１０で車線候補点ｃｌ、ｃｒを検出する際などに、道路面に対応する画素の平均輝度や車線に対応する画素の平均輝度をそれぞれ求めておき、図１０（Ａ）や図１１（Ａ）に示したように車線候補点ｃｌ、ｃｒを検出する際に道路面に対応する暗い平均輝度から車線に対応する明るい平均輝度になるまで何画素を要したかを検出し、その画素数を車線候補点ｃｒに対応付けて記憶させておき、その画素数を上記の所定の範囲の拡張分として利用するように構成することも可能である。

車線検出手段１１は、探索ライン設定手段１２により第１探索ラインＳＬ１および第２探索ラインＳＬ２が設定されると、まず、上記のようにして最新の車線ポジションＣＲ_ｎ（図９参照。なお、図９では所定の範囲等の図示が省略されている。）の１画素分上側の水平ラインｊに第１探索ラインＳＬ１や第２探索ラインＳ２からの所定の範囲や拡張分を設定する。そして、その範囲内を探索して、車線候補点ｃｒが存在するか否かを判定する。

そして、いずれの範囲内にも車線候補点ｃｒが存在しなければ、水平ラインｊをさらに１画素分上側に移して所定の範囲を広げ、さらに拡張分だけ拡張して設定して、その範囲内を探索する。新たに車線候補点ｃｒ（車線ポジションＣＲ）が検出されるまで上記の処理を繰り返す。なお、水平ラインｊ上に車線候補点ｃｒが存在しても、第１探索ラインＳＬ１や第２探索ラインＳ２からの所定の範囲等の範囲内に存在しなければ、その車線候補点ｃｒは棄却される。また、以下では、拡張分を含めて所定の範囲という。

また、車線検出手段１１は、第１探索ラインＳＬ１からの所定の範囲、或いは第２探索ラインＳＬ２からの所定の範囲のいずれかに車線候補点ｃｒが存在する場合には、その車線候補点ｃｒを新たに車線ポジションＣＲ_ｎ＋１として検出するようになっている。

なお、その際、第２探索ラインＳＬ２からの所定の範囲内に車線候補点ｃｒが存在する場合には、その車線候補点ｃｒが検出される以前の車線ポジションＣＲ_ｎ（後述する図１４における車線ポジションＣＲ５参照）は車線を的確に反映した車線ポジションではないと判断される。

そのため、本実施形態では、車線検出手段１１は、第２探索ラインＳＬ２からの所定の範囲内に車線候補点ｃｒが存在する場合には、以前の車線ポジションＣＲ_ｎを棄却するようになっている。なお、第１探索ラインＳＬ１からの所定の範囲内に車線候補点ｃｒが存在する場合には以前の車線ポジションＣＲ_ｎは棄却されない。

また、第１探索ラインＳＬ１からの所定の範囲内と第２探索ラインＳＬ２からの所定の範囲内にそれぞれ車線候補点ｃｒが存在する場合もある。

そのような場合、検出された車線候補点ｃｒと既に検出されている最新の車線ポジションＣＲ_ｎとの間隔が大きいと、図１９（Ｂ）に示したケースから類推されるように、第１探索ラインＳＬ１からの所定の範囲内に存在する車線候補点ｃｒは、例えば自車両が走行している走行路の例えば左側に隣接する走行路に標示された数字や矢印等の標示等に対応する画素である可能性がある。そのような場合に第１探索ラインＳＬ１からの所定の範囲内に存在する車線候補点ｃｒを採用することはできない。

しかし、第１探索ラインＳＬ１からの所定の範囲内に検出された車線候補点ｃｒと既に検出されている車線ポジションＣＲ_ｎとの間隔が小さく、車線候補点ｃｒも車線ポジションＣＲ_ｎもともに連続線状の車線に対応する画素であると判断できる場合には、第１探索ラインＳＬ１からの所定の範囲内に車線候補点ｃｒが存在するのであればその車線候補点ｃｒを採用することができる。

そのため、本実施形態では、第１探索ラインＳＬ１からの所定の範囲内と第２探索ラインＳＬ２からの所定の範囲内にそれぞれ車線候補点ｃｒが存在する場合には、車線検出手段１１は、検出された車線候補点ｃｒと既に検出されている最新の車線ポジションＣＲ_ｎとの基準画像Ｔの縦方向（ｊ軸方向）の間隔すなわち画素数が、破線状の車線の非標示の部分の間隔に相当する所定の間隔閾値未満であれば、車線は連続線状であるとして第１探索ラインＳＬ１からの所定の範囲内に存在する車線候補点ｃｒを新たな車線ポジションＣＲ_ｎ＋１として検出するようになっている。

また、前記間隔が所定の間隔閾値以上であれば、車線は破線状であるとして第２探索ラインＳＬ２からの所定の範囲内に存在する方の車線候補点ｃｒを新たな車線ポジションＣＲ_ｎ＋１として検出するようになっている。

なお、上記の間隔を、車線候補点ｃｒや車線ポジションＣＲの視差ｄｐに基づいて算出される実空間上の距離Ｚに基づいて算出し、実空間上の間隔として設定された間隔閾値と比較するように構成することも可能である。その際、間隔閾値は、実空間上における破線状の車線の非標示の部分の通常の長さに設定される。

探索ライン設定手段１２は、車線検出手段１１が新たな車線ポジションＣＲ_ｎ＋１を検出すると、当該最新の車線ポジションＣＲ_ｎ＋１と既に検出されている車線ポジション（例えば車線ポジションＣＲ_ｎ等）とを直線状に結ぶ第１探索ラインＳＬ１と、既に検出されている車線ポジション同士（例えば車線ポジションＣＲ_ｎとＣＲ_ｎ−１等）を直線状に結ぶ第２探索ラインＳＬ２とを少なくとも１本ずつ設定する。

そして、車線検出手段１１は、第１探索ラインＳＬ１と第２探索ラインＳＬ２に基づいて水平ラインｊごとに車線候補点ｃｒが存在するか否かを判定して、存在する場合にはその車線候補点ｃｒを新たに車線ポジションＣＲとして検出する。

車線検出手段１１と探索ライン設定手段１２は、この処理を車線候補点検出手段１０が検出した全ての車線候補点ｃｒについて行うようになっている。

そして、車線検出手段１１は、上記のようにして検出した直線ｌ１（図８参照）と各車線ポジションＣＬ、および直線ｒ１と各車線ポジションＣＲとをそれぞれつないで、図１３に示すように、基準画像Ｔ中に自車両の走行路に標示された車線ＬＬ、ＬＲをそれぞれ検出して認識するようになっている。

次に、本実施形態に係る車線認識装置１の作用について説明する。

上記のように、車線検出手段１１は、探索ライン設定手段１２が設定した第１探索ラインＳＬ１と第２探索ラインＳＬ２について、それぞれ所定の範囲内を探索して車線候補点ｃｌ、ｃｒが存在するか否かをチェックする。

そして、例えば、図１８（Ｂ）に示したように、車線ＬＲの延在方向と基準画像Ｔの縦方向との角度差が大きく、車線ＬＲの左右方向のエッジがぼやけて各車線候補点ｃｒが左右方向にばらついて検出されるため、図１４に示すように、最新の車線ポジションＣＲ５と既検出の例えば車線ポジションＣＲ４とを結ぶ第１探索ラインＳＬ１からの所定の範囲内に車線候補点ｃｒ６が存在しない場合であっても、既検出の例えば車線ポジションＣＲ４、ＣＲ３を結ぶ第２探索ラインＳＬ２からの所定の範囲内に車線候補点ｃｒ６が存在する。

そのため、車線候補点ｃｒ６を車線ポジションＣＲ６として的確に検出することが可能となる。なお、この場合、車線ポジションＣＲ５は棄却される。

また、図１９（Ｂ）に示したように、破線状の車線ＬＬの上端部分や下端部分で車線候補点ｃｌ６が車線の左右のエッジから外れた位置に検出され、図１５に示すように、最新の車線ポジションＣＬ６と既検出の例えば車線ポジションＣＬ５とを結ぶ第１探索ラインＳＬ１からの所定の範囲内に車線候補点ｃｌ７が存在しない場合であっても、既検出の例えば車線ポジションＣＬ５、ＣＬ４を結ぶ第２探索ラインＳＬ２からの所定の範囲内に車線候補点ｃｌ７が存在する。

そのため、車線候補点ｃｌ７を車線ポジションＣＬ７として的確に検出することが可能となる。なお、この場合も、車線ポジションＣＬ６は棄却される。

しかし、例えば、自車両の走行路が、図１７に示したような単なるカーブでなくＳ字状になっているような場合には、図１４に示した第２探索ラインＳＬ２からの所定の範囲内には車線候補点ｃｒが存在せず、第１探索ラインＳＬ１からの所定の範囲内に車線候補点ｃｒが存在する状態となる。

従って、本実施形態のように、第１探索ラインＳＬ１と第２探索ラインＳＬ２の両方についてそれぞれ所定の範囲内の探索を行うように構成することで、例えば図１４や図１５に示したような場合には第２探索ラインＳＬ２からの所定の範囲内に車線候補点ｃｌ、ｃｒを的確に捉えることができ、また、例えば車線がＳ字状になっているような場合には第１探索ラインＳＬ１からの所定の範囲内に車線候補点ｃｌ、ｃｒを的確に捉えることが可能となる。

そして、このように第１探索ラインＳＬ１と第２探索ラインＳＬ２のいずれかで車線候補点ｃｌ、ｃｒを的確に検出して車線ポジションＣＬ、ＣＲとし、それらの車線ポジションＣＬ、ＣＲをつないでいくことで、基準画像Ｔ中に自車両の走行路に標示された車線ＬＬ、ＬＲをそれぞれ的確に検出して認識することが可能となる。

以上のように、本実施形態に係る車線認識装置１によれば、カーブした車線の遠方側で車線と画像Ｔ（基準画像Ｔ）の縦方向とのなす角度が大きく撮像されていても（図１４、図１８参照）、また、破線状の車線の上端部分や下端部分で車線候補点が車線の左右のエッジから外れた位置に検出されていても（図１５、図１９参照）、第１探索ラインＳＬ１と第２探索ラインＳＬ２のいずれかの所定の範囲内に的確に車線候補点ｃｌ、ｃｒを検出して車線ポジションＣＬ、ＣＲとして検出することが可能となる。

また、自車両の走行路が例えばＳ字状にカーブしているような場合でも、第１探索ラインＳＬ１と第２探索ラインＳＬ２のいずれかの所定の範囲内に的確に車線候補点ｃｌ、ｃｒを検出して車線ポジションＣＬ、ＣＲとして検出することが可能となる。さらに、第１探索ラインＳＬ１と第２探索ラインＳＬ２のいずれの所定の範囲にも属さない車線候補点は、車線に対応しない車線候補点、すなわち誤検出された車線候補点として的確に棄却され排除される。

そのため、第１探索ラインＳＬ１と第２探索ラインＳＬ２のいずれかの所定の範囲内に検出された車線候補点ｃｌ、ｃｒを車線ポジション車線ポジションＣＬ、ＣＲとして的確に検出し、それらの車線ポジションＣＬ、ＣＲをつないでいくことで、画像Ｔ中に自車両の走行路に標示された車線ＬＬ、ＬＲを的確に検出して認識することが可能となる。

なお、本実施形態では、画像Ｔの縦方向との角度差が大きい車線として、図１７の右側の車線のような連続線状の車線の場合について説明したが、破線状の車線についても同様の問題を生じ、本実施形態のように少なくとも２本の第１探索ラインＳＬ１および第２探索ラインＳＬ２を用いて探索を行うことでその問題を解消することができる。

また、上記のように、本実施形態に係る車線認識装置１によれば、画像Ｔの縦方向との角度差が大きい車線や、破線状の車線の上端部分や下端部分で、車線候補点が画像Ｔの左右方向にばらついて検出される場合でも、少なくとも２本の第１探索ラインＳＬ１および第２探索ラインＳＬ２を用いて車線ポジションを的確に検出することができる。

しかし、下記に示すように、予め左右方向のばらつきを抑えた状態で車線候補点を検出するように構成することも可能であり、そのように構成すれば、ばらつきが抑制された状態で検出された車線候補点に本発明の車線検出手法を適用して車線を検出することで、自車両の走行路に標示された車線ＬＬ、ＬＲをより的確に画像Ｔ中に検出して認識することが可能となる。

前述したように、本実施形態では、車線候補点検出手段１０は、基準画像Ｔの水平ラインｊ上を左右方向に探索し、図１０（Ｂ）や図１１（Ｂ）に示したように、エッジ強度Δｐすなわち隣接する画素の輝度ｐとの差Δｐが最初に閾値Δｐ以上となった画素を車線候補点ｃｒとして検出するように構成した。

しかし、このように構成する代わりに、例えば、エッジ強度Δｐが閾値Δｐth以上である画素を検出すると、その画素に連続して検出され、エッジ強度Δｐが閾値Δｐth以上である画素、すなわち、例えば図１０（Ｂ）や図１１（Ｂ）でエッジ強度Δｐが閾値Δｐth以上となっている画素のｉ座標を、各画素についてのエッジ強度Δｐと閾値Δｐthとの差分で重み付け平均し、重み付け平均により算出されたｉ座標を車線候補点ｃｒのｉ座標とするように構成することができる。

すなわち、エッジ強度Δｐが閾値Δｐth以上となっている各画素のｉ座標をｉ_ｍ（ｍは例えば最も左側の画素から順に各画素に付した番号で例えばｍ＝１〜Ｍとする。以下同じ。）、各画素のエッジ強度をΔｐ_ｍとした場合、重み付け平均されたｉ座標は、
ｉ＝｛Σｉ_ｍ・（Δｐ_ｍ−Δｐth）｝／Σ（Δｐ_ｍ−Δｐth） …（３）
で算出される。なお、総和はｍ＝１〜Ｍの範囲で行われる。

そして、このようにして重み付け平均されたｉ座標を車線候補点ｃｒのｉ座標ｉcrとして車線候補点ｃｒを検出するように構成することができる。なお、この場合の車線候補点ｃｒのｊ座標ｊcrは、探索している水平ラインｊのｊ座標とされる。

このように、エッジ強度Δｐが閾値Δｐth以上である全ての画素の情報を用いて車線候補点ｃｒを検出位置を定めることで、上記の本実施形態のようにエッジ強度Δｐが最初に閾値Δｐ以上となった画素を車線候補点ｃｒとして検出する場合に比べて、車線候補点ｃｒの基準画像Ｔ上での左右方向のばらつきを抑制した状態で車線候補点ｃｒを安定して検出することが可能となり、本発明に係る車線検出をより効果的に行うことが可能となる。また、そのため、自車両の走行路に標示された車線ＬＬ、ＬＲをより的確に画像Ｔ中に検出して認識することが可能となる。

１ 車線認識装置
２ 撮像手段
１０ 車線候補点検出手段
１１ 車線検出手段
１２ 探索ライン設定手段
ＣＬ、ＣＲ 車線ポジション
ｃｌ、ｃｒ 車線候補点
ＣＲ_ｎ 最新の車線ポジション（新たに検出された車線ポジション）
ＣＲ_ｎ−１、ＣＲ_ｎ−１０ 既に検出されている車線ポジション
ｉ 座標
ｉcr 車線候補点の座標
ｊ 水平ライン
ＬＬ、ＬＲ 車線
ｐ 輝度
Ｓ 所定の範囲
ＳＬ１ 第１探索ライン
ＳＬ２ 第２探索ライン
Ｔ 基準画像（画像）
Δｐ エッジ強度（隣接する画素との輝度差）
Δｐth 閾値
φ１ 第１探索ラインと画像の縦方向との角度差
φ２ 第２探索ラインと画像の縦方向との角度差

Claims (6)

1. 撮像された画像を処理して自車両の走行路に標示された車線を検出して認識する車線認識装置において、
   前記自車両の走行路を含む車外環境を撮像する撮像手段と、
   前記撮像手段により撮像された画像の画素の輝度に基づいて、画像の水平方向で互いに隣接する画素同士の輝度差を算出し、前記差が閾値以上である場合に当該画素を車線候補点として検出する車線候補点検出手段と、
   前記車線候補点検出手段により検出された前記車線候補点に基づいて、前記車線候補点の中から前記車線に対応する車線候補点を車線ポジションとして選別し前記車線を検出する車線検出手段と、
   前記車線検出手段により新たな前記車線ポジションが検出された際、当該新たに検出された車線ポジションと既に検出されている車線ポジションとを結ぶ第１探索ラインと、既に検出されている車線ポジション同士を結ぶ第２探索ラインとを設定する探索ライン設定手段と、
   を備え、
   前記車線検出手段は、前記第１探索ラインまたは前記第２探索ラインから所定の範囲内に存在する前記車線候補点を前記新たな車線ポジションとして検出することを特徴とする車線認識装置。
2. 前記車線検出手段は、前記第１探索ラインからの所定の範囲内および前記第２探索ラインからの所定の範囲内にそれぞれ前記車線候補点を検出した場合には、検出した前記各車線候補点と既に検出した前記車線ポジションとの間隔が所定の間隔閾値未満であれば前記第１探索ラインからの所定の範囲内に存在する前記車線候補点を前記新たな車線ポジションとして検出し、前記間隔が前記所定の間隔閾値以上であれば前記第２探索ラインからの所定の範囲内に存在する前記車線候補点を前記新たな車線ポジションとして検出することを特徴とする請求項１に記載の車線認識装置。
3. 前記車線検出手段は、前記第１探索ラインと前記画像の縦方向との角度差が大きいほど、前記第１探索ラインからの前記所定の範囲を拡大させ、前記第２探索ラインと前記画像の縦方向との角度差が大きいほど、前記第２探索ラインからの所定の範囲を拡大するように可変させることを特徴とする請求項１または請求項２に記載の車線認識装置。
4. 前記所定の範囲は、前記第１探索ラインおよび前記第２探索ラインと前記画像の縦方向との角度差に対応して生じる車線のエッジ部分のぼやけの程度に応じて可変させることを特徴とする請求項１から請求項３のいずれか一項に記載の車線認識装置。
5. 前記車線候補点検出手段は、前記閾値を、前記車線と前記画像の縦方向との角度差に応じて可変に設定することを特徴とする請求項１から請求項４のいずれか一項に記載の車線認識装置。
6. 前記車線候補点検出手段は、前記隣接する画素との輝度の差が前記閾値以上である画素を検出すると、前記差が前記閾値以上であり、かつ、当該画素から連続して検出される各画素の前記水平ライン上の座標を、各画素についての前記差と前記閾値との差分で重み付け平均し、重み付け平均により算出された前記水平ライン上の座標を前記車線候補点の座標として前記車線候補点を検出することを特徴とする請求項５に記載の車線認識装置。

Images