JP2006331389A - 車線認識装置 - Google Patents

Abstract

【課題】撮像された車輌前方の画像中から自車輌が走行する車線を的確に検出し、特に、急なカーブ等の複雑な道路形状や路面の汚れ、雨天等に影響され難く安定して車線を検出するとともに、車線分岐等をも的確に認識可能な車線認識装置を提供する。
【解決手段】車線認識装置１は、自車輌の進行路を撮像する撮像手段２と、撮像画像の設定領域における実空間上の距離Ｌを算出する画像処理手段６と、車線を検出する検出手段９とを備え、検出手段９は、輝度ｐｎijと距離Ｌに基づいて道路面上の画素を車線候補点として検出し、車線候補点に対してハフ変換を行い、ハフ変換により得られる直線の中から少なくとも自車輌の位置又は挙動に基づいて車線としてふさわしい直線ｒ１、ｌ１を自車輌の左右に１本ずつ検出し、直線ｒ１、ｌ１を基準として車線候補点の中から車線ポジションを記録していくことで直線状または曲線状の車線ＬＲ、ＬＬを検出する。
【選択図】 図１

Description

本発明は、車線認識装置に係り、特に直線状および曲線状の車線に追随して車線を認識し、車線が連続線か破線かを区別して認識し、車線分岐をも認識可能な車線認識装置に関する。

近年、自動車等の走行安全性の向上や車輌の自動制御等に向けて、車載のステレオカメラやビデオカメラで撮像した画像に画像処理を施して安全性向上や自動制御等の前提となる道路形状の認識を行う道路認識装置の開発が進められている（例えば、特許文献１〜３等参照）。

車輌が走行している道路の形状を認識するためには、自車輌前方の道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の車線の位置を認識することが重要となる。そこで、このような道路認識装置では、通常、撮像画像の画素の輝度に着目し、車道と車線とで画素の輝度が大きく異なることを利用して輝度が大きく変わる画素部分をエッジとして抽出することで車線を認識するように構成されている。

なお、本発明では、前記のように追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線といい、隣接する車線間の距離を道幅、車線自体の幅を車線幅という。
特開２００１−９２９７０号公報 特開平５−３４７０００号公報 特開２００４−３１０５２２号公報

しかしながら、前記のようなカメラ情報に基づいた道路認識装置では、車線と似た輝度情報をもつ横断歩道等の道路標示を車線と誤認識してしまう可能性がある。特に、特許文献１に記載の車線認識装置のように車線認識において高輝度部分の間隔が車線幅相当であることを条件としている場合には、横断歩道の白線部分の幅が車線幅より広い横断歩道を検出できないことがある。また、車線認識における高輝度部分の検出幅を広げると、細めに標示された横断歩道を車道と誤認識してしまう場合がある。

また、前記特許文献１に記載の車線認識装置では、例えば、図４３（Ａ）に示すように自車輌の走行路前方を横切るように車線を表す白線が標示されているような場合、図４３（Ｂ）に太線で示すように、それらの白線の標示を自車輌の走行路と誤認識してしまう場合がある。

道路認識、特に車線を確実に認識する技術は、衝突や追突防止等の安全性の向上や運転の快適性の向上、或いは道路を横断する歩行者の安全確保など種々の目的を実現するための車輌の自動制御や運転者への情報提供の基礎となる極めて重要な技術であり、その確立が強く望まれる技術分野である。

このような技術では、特に、急なカーブ等の複雑な道路形状や路面の汚れ、雨天等に影響されずに安定して的確に車線を検出できることが要求されるとともに、車線分岐等で車線の道幅が変化するような場合にも的確にそれを把握して認識できるようなものであることが望まれる。

本発明は、このような事情に鑑みてなされたものであり、撮像された車輌前方の画像中から自車輌が走行する車線を的確に検出可能な車線認識装置を提供することを目的とする。特に、急なカーブ等の複雑な道路形状や路面の汚れ、雨天等に影響され難く安定して車線を検出するとともに、車線分岐等で車線の道幅が変化するような場合にも的確に認識可能な車線認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
車線認識装置において、
道路を含む自車輌の進行路を撮像して一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域における実空間上の距離を算出する画像処理手段と、
車線を検出する検出手段とを備え、
前記検出手段は、
前記一方の画像について輝度および前記距離に基づいて道路面上にある画素を車線候補点として検出し、前記車線候補点に対してハフ変換を行う車線候補点検出変換処理部と、
前記ハフ変換により得られる直線の中から少なくとも自車輌の位置又は挙動に基づいて車線としてふさわしい直線を自車輌の右側および左側に１本ずつ検出する車線直線検出処理部と、
前記検出された直線を基準として前記車線候補点の中から車線を表す車線候補点である車線ポジションを記録していくことで直線状または曲線状の車線を検出する車線検出処理部と
を備えることを特徴とする。

第２の発明は、第１の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前回の検出で前記車線が検出されている場合または前記車線が検出されずに前記直線が検出されている場合には、今回の検出において、前記一方の画像上の前回検出された前記車線または前記直線の検出位置の周囲のみで車線候補点の探索を行うように前記一方の画像上に探索領域を設定することを特徴とする。

第３の発明は、第１の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、所定回数前記車線と前記直線がともに検出されなかった場合には、今回の検出において、前記一方の画像上に表される自車輌の挙動から推定される推定軌跡から所定距離離間した位置の周囲のみで車線候補点の探索を行うように前記一方の画像上に探索領域を設定することを特徴とする。

第４の発明は、第３の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、今回の検出の探索領域を前回の検出の際の探索領域より拡大して設定することを特徴とする。

第５の発明は、第２の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前回の検出で検出された前記車線または前記直線が今回の検出における自車輌の挙動から推定される推定軌跡から第１離間距離閾値以上離間している場合には、その推定軌跡から前記第１離間距離閾値以上離間している車線部分または直線部分については前記探索領域を前記推定軌跡から推定される自車輌の端部付近にまで拡大することを特徴とする。

第６の発明は、第２の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前回の検出で検出された前記車線または前記直線が今回の検出における自車輌の挙動から推定される推定軌跡に対して第２離間距離閾値以内に接近している場合には、その推定軌跡に対して前記第２離間距離閾値以内に接近している車線部分または直線部分については前記探索領域を自車輌から離れる方向に所定量だけ拡大することを特徴とする。

第７の発明は、第２の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、今回の検出において前回検出された前記車線または前記直線を基準として探索領域を設定する際に、前回検出されたその車線または直線の反対車線または反対側の直線から所定量だけその車線または直線の方向に離間した位置まで前記探索領域を拡大することを特徴とする。

第８の発明は、第２の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、今回の検出において前回検出された前記車線または前記直線を基準として探索領域を設定し、前記探索領域内で前記一方の画像の水平ラインを１画素分ずつ上向きにずらしながら車線候補点を探索する際に、現在の水平ライン上に検出された車線候補点とその直前に検出された車線候補点と結ぶ線分が前記探索領域を逸脱する場合には、前記線分方向に前記探索領域を拡大することを特徴とする。

第９の発明は、第１の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、車線候補点の探索において、自車輌の挙動から推定される推定軌跡を中心とする自車輌の車幅分の領域については探索を行わないことを特徴とする。

第１０の発明は、第９の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、車線候補点の探索において、自車輌の挙動から推定される推定軌跡を中心とする自車輌の車幅分の領域のうち、前回の検出で検出された前記車線または前記直線から所定距離離間した位置までは探索を行うことを特徴とする。

第１１の発明は、第１から第１０のいずれかの発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前記車線候補点の探索において、前記画像処理手段により算出された距離の情報に基づいて前記一方の画像上で抽出された立体物を表す画素部分以外の画素部分を探索領域とし、その探索領域内で車線候補点の探索を行うことを特徴とする。

第１２の発明は、第１の発明の車線認識装置において、前記検出手段の車線直線検出処理部は、前記画像検出手段により検出された距離データと、車線間の画素数とから算出した車線間の距離に基づき前記車線としてふさわしい直線を検出することを特徴とする。

第１３の発明は、第１の発明の車線認識装置において、前記検出手段の車線直線検出処理部は、前記ハフ変換により得られる直線の中から、前記画像検出手段により検出された距離データに基づいて計算される自車輌の推定軌跡との平行度、前回検出された車線との距離、および前回検出されている反対車線から推定される車線との距離に基づいて、前記車線としてふさわしい直線として自車輌の右側および左側にそれぞれ１本ずつ検出することを特徴とする。

第１４の発明は、第１３の発明の車線認識装置において、前記検出手段の車線直線検出処理部は、前記車線としてふさわしい直線として自車輌の右側および左側にそれぞれ１本ずつ検出した直線の実空間上の道幅が所定の距離範囲内になく、または両直線の平行度が設定した閾値より悪い場合には、各直線のハフ平面における各計数値、前記画像検出手段により検出された距離データに基づいて計算される自車輌の前記推定軌跡との平行度、および前回検出された車線位置からの変位量に基づいていずれか一方の直線のみを前記車線としてふさわしい直線として検出することを特徴とする。

第１５の発明は、第１の発明の車線認識装置において、前記検出手段の車線検出処理部は、前記自車輌の右側および左側にそれぞれ１本ずつ検出された直線を基準として前記車線候補点の中から車線を表す車線候補点である車線ポジションを記録する際に、左右両方の車線ポジションが検出されている場合には、左右の車線ポジション間の画素数を前記距離データに基づいて実空間上の道幅に換算し、換算された道幅に基づいて道幅の最大値と最小値を算出することを特徴とする。

第１６の発明は、第１の発明の車線認識装置において、前記検出手段の車線検出処理部は、前記一方の画像の水平ラインを１画素分ずつ上向きにずらしながら前記検出された直線を基準として水平ライン上に検出された前記車線ポジションが所定の個数に達した後、その上方の水平ラインで検出された前記車線候補点と最後に検出された車線ポジションとの上下方向および水平方向の変位がそれぞれ規定値以内であればその車線候補点を車線ポジションとして記録していくことを特徴とする。

第１７の発明は、第１５の発明の車線認識装置において、前記検出手段の車線検出処理部は、前記一方の画像の水平ラインを１画素分ずつ上向きにずらしながら前記検出された直線を基準として水平ライン上に検出された前記車線ポジションが所定の個数に達した後、その上方の水平ラインで検出された前記車線候補点と最後に検出された車線ポジションとの上下方向および水平方向の変位がそれぞれ規定値以内であればその車線候補点を車線ポジションとして記録していき、
前記左右の車線ポジション間の画素数から換算された実空間上の道幅が前記最小値から前記最大値までの範囲内から外れる場合には、自車輌の推定軌跡との平行度が高い方の車線ポジションが属する車線を基準とすべき車線として検出することを特徴とする。

第１８の発明は、第１７の発明の車線認識装置において、前記検出手段の車線検出処理部は、前記左右の車線ポジション間の画素数から換算された実空間上の道幅が前記最大値を超える場合には、自車輌の推定軌跡との平行度が低い方の車線ポジションが属する車線を車線分岐の車線として検出し、算出した道幅が前記最大値を最初に超えた車線ポジションの実空間上の位置を計算し、自車輌からその車線ポジションまでの距離を算出して車線分岐が開始される距離として検出することを特徴とする。

第１９の発明は、第１７の発明の車線認識装置において、前記検出手段の車線検出処理部は、前記左右の車線ポジション間の画素数から換算された実空間上の道幅が前記最小値を下回る場合には、自車輌の推定軌跡との平行度が低い方の車線ポジションが属する車線を車線合流の車線として検出し、算出した道幅が前記最小値を最初に下回った車線ポジションの実空間上の位置を計算し、自車輌からその車線ポジションまでの距離を算出して車線合流が開始される距離として検出することを特徴とする。

第２０の発明は、第１から第１９の発明のいずれかの発明の車線認識装置において、前記検出手段の車線検出処理部は、検出した車線に属する車線ポジション間の距離を算出して車線が連続線であるか破線であるかを検出し、検出した車線の情報または車線ポジションの情報を連続線または破線として特徴付けて出力することを特徴とする。

第２１の発明は、第１の発明の車線認識装置において、車線候補点検出変換処理部は、前記一方の画像についての画素ごとの前記輝度および前記距離に基づいて道路面上にあり輝度値および輝度微分値がそれぞれ所定の第１開始点輝度閾値および第１開始点エッジ強度閾値以上である前記一方の画像上の画素を車線候補点として検出し、前記車線候補点に対してハフ変換を行うことを特徴とする。

第２２の発明は、第２１の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前記一方の画像の水平ライン上を探索して、輝度値が前記第１開始点輝度閾値より大きい第２開始点輝度閾値以上であり、輝度微分値が第２開始点エッジ強度閾値以上であり、かつ、車線に対応する高輝度の画素部分の平均輝度が所定の第１車線平均輝度閾値以上である画素部分が見出された場合に、既に検出されている高輝度の画素部分の平均輝度が前記第１車線平均輝度閾値より小さい画素部分に対応する車線候補点を削除し、前記新たに見出された画素部分に対応する車線候補点を保存し、前記ハフ変換の対象とすることを特徴とする。

第２３の発明は、第２１の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前記車線候補点となり得る開始点から前記一方の画像の水平ライン上を探索して、輝度微分値が所定の終了点エッジ強度閾値以下であり、または輝度値が前記開始点における輝度値より小さい画素が、前記水平ラインの実空間上での自車輌からの距離および車線幅に応じて設定された車線幅閾値に対応する画素数分探索しても検出されない場合には、前記開始点を車線候補点とせずに前記ハフ変換の対象としないことを特徴とする。

第２４の発明は、第２１の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前記車線候補点となり得る開始点から前記一方の画像の水平ライン上を探索して、輝度微分値が所定の終了点エッジ強度閾値以下であり、または輝度値が前記開始点における輝度値より小さい画素を終了点として検出し、前記開始点から前記終了点までの画素の平均輝度と道路面輝度との差が所定の第２車線平均輝度閾値より小さい場合には、前記開始点を車線候補点とせずに前記ハフ変換の対象としないことを特徴とする。

第２５の発明は、第２４の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前記開始点における輝度微分値が前記第１開始点エッジ強度閾値より大きい値に設定された第３開始点エッジ強度閾値より小さく、かつ、前記開始点から前記終了点までの画素数が前記水平ラインの実空間上での自車輌からの距離および車線幅に基づいて通常の車線幅に対応して設定された第２車線幅閾値より大きい場合には、前記第２車線平均輝度閾値をより高い値に設定して前記開始点から前記終了点までの画素の平均輝度と道路面輝度との差と第２車線平均輝度閾値とを比較することを特徴とする。

第２６の発明は、第２４の発明の車線認識装置において、前記検出手段の車線候補点検出変換処理部は、前記開始点における輝度微分値が前記第１開始点エッジ強度閾値より大きい値に設定された第３開始点エッジ強度閾値以上であり、かつ、前記開始点から前記終了点までの画素数が前記水平ラインの実空間上での自車輌からの距離および車線幅に基づいて通常の車線幅に対応して設定された第２車線幅閾値以下である場合には、前記第２車線平均輝度閾値をより低い値に設定して前記開始点から前記終了点までの画素の平均輝度と道路面輝度との差と第２車線平均輝度閾値とを比較することを特徴とする。

第１の発明によれば、基準画像上に検出された車線候補点にハフ変換を施して得られた複数の直線の中から自車輌の位置や挙動等から判断して右車線および左車線としてふさわしい直線を検出し、それを基準として、基準画像の下側、すなわち自車輌に近い側の車線位置を確定してから適切な車線ポジションを追跡していく。そのため、雨天等で道路面に反射光等の高輝度部分があったり、或いは車線ではない標示、例えば道路中央に示される車線分岐を示す標示等があってもそれらを除外しながら安定して的確に車線を検出することができる。

また、自車輌に近い側の車線位置を確定した後に車線ポジションを追跡していくから、車線が直線状或いは曲線状であっても的確に追随して検出することができ、急なカーブ等の複雑な道路形状であっても的確に車線ポジションに追随して車線を検出することが可能となる。

一方、画像処理手段でのステレオマッチング処理により得られた距離データに基づいて常時基準画像上の画素に対応する実空間上の点が道路面上にあるかどうかを確認しながら車線を検出し、或いは予め道路面より高い位置にある立体物を排除しながら車線の検出を行うことができるから、立体物と車線とを混同することなく極めて正確に車線を検出することが可能となる。

第２の発明によれば、基準画像上では前回検出された位置の近くに車線が検出される可能性が高いため、今回の車線検出では前回検出された車線や直線の近傍に車線候補点の探索領域を限定することができる。このように探索領域を限定することで、前記発明の効果に加えて、誤検出の可能性を低くすることができると同時に、処理速度の向上を図ることが可能となる。

第３の発明によれば、車線は自車輌の挙動から推定される推定軌跡から一定の距離を隔てた位置に見出される可能性が高い。そのため、前記発明の効果に加えて、前回の検出で車線や直線が検出されなかった場合でも推定軌跡から所定距離離間した位置の周囲のみで車線候補点の探索を行うことで車線候補点が検出される可能性が高くなり、また、このように探索領域を限定することで、誤検出の可能性を低くすることができると同時に、処理速度の向上を図ることが可能となる。

第４の発明によれば、前回の検出で車線や直線が検出されなかった場合には、第２の発明の場合よりも探索領域を広げることで、車線候補点が検出される可能性がさらに高くなり、第３の発明の効果をより確実に発揮させることが可能となる。

第５の発明によれば、第２の発明では車線分岐等で道幅が拡大していく場合には拡大していく車線や直線を追跡してその周囲のみを探索してしまい、自車輌に近い側に新たに出現する車線を認識できない場合が生じる。そのため、車線が自車輌の推定軌跡から一定距離以上離れた場合に自車輌の近傍まで探索領域を広げることで、新たに出現する車線に対応する車線候補点を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第６の発明によれば、第２の発明では例えば道路上に標示された道路標示や雨天時等に先行車輌のタイヤが道路上に残す白い痕跡等を誤って車線や直線と認識してしまうと、以後その周囲のみを探索してしまうため、本来の車線を認識できない場合が生じる。そのため、車線が自車輌の推定軌跡に対して接近している場合に探索領域を自車輌から離れる方向に所定距離だけ拡大することで、本来の車線に対応する車線候補点を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第７の発明によれば、第２の発明では前回検出された左右の車線や直線の間隔が拡大していたり縮小している場合、車線分岐や車線合流を検出している場合もあるが、誤検出の可能性がある。そこで、今回の検出において、前回検出された左右の車線や直線の周囲だけでなく、反対車線や反対側の直線から道幅分隔てた位置まで探索領域を拡大すれば、誤検出の場合にも的確に車線候補点を検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第８の発明によれば、第２の発明において車線候補点の探索において基準画像上の水平ラインを下側から上向きに画素分ずつずらしながら探索する際に、探索領域から車線候補点が逸脱していく場合がある。そのような場合に、探索領域を車線候補点が逸脱する方向に拡大することで、車線候補点を的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第９の発明によれば、推定軌跡を中心とする自車輌の車幅分の領域を探索領域から除外することで、道路中央に標示された最高速度や進行方向を表す道路標示や雨天時等に前方車輌のタイヤが道路上に残す白い痕跡等を車線候補点として誤認識する可能性が低くなる。そのため、前記各発明の効果をより確実に発揮させることが可能となるとともに、処理の負荷をより軽減させることが可能となる。

第１０の発明によれば、第９の発明において、推定軌跡を中心とする自車輌の車幅分の領域であっても前回検出された車線や直線の周囲は探索するようにすれば、車線変更等で自車輌が車線を跨ぐ場合にも車線候補点を検出することが可能となり、第９の発明の効果をより的確に発揮させることが可能となる。

第１１の発明によれば、前記各発明の効果に加えて、道路面上のみを探索することが可能となるから、検出された車線候補点が実空間上で道路面上に存在するか否かを判断する処理を省略することができ、車線認識処理の処理時間を短縮することが可能となる。

第１２の発明によれば、ステレオカメラにより算出される距離データより、車線間の距離を算出して車線候補を算出するため、より正確に算出することが可能となり、前記各発明の効果をより的確に発揮させることができる。

第１３の発明によれば、ハフ変換により左右の車線を表す直線がそれぞれ複数得られる場合があるが、その中から自車輌の推定軌跡や前回検出された車線との整合性が高い適切な直線を検出することが可能となり、前記各発明の効果を的確に発揮させるとともに、装置の信頼性を向上させることが可能となる。

第１４の発明によれば、自車輌の左右に検出された直線間の道幅や平行度等が悪い場合には、車線としてふさわしい一方の直線のみを検出することで、前記第１３の発明の効果をより的確に発揮させ、装置の信頼性をより向上させることが可能となる。

第１５の発明によれば、自車輌の左右に１本ずつ検出された直線をそれぞれ基準として検出された車線候補点の中から車線ポジションを選択し、左右両側に車線ポジションが検出されている場合にはそれらの間隔を道幅に換算することで、今回検出している車道の道幅の最大値と最小値とを算出することができる。この道幅の最大値と最小値と種々の処理に利用することで、前記各発明の効果をより効果的に発揮させることが可能となる。

第１６の発明によれば、まず、自車輌に近い側である基準画像下側の領域で車線認識の基本となる車線を表すにふさわしい直線を自車輌の左右に１本ずつ検出し、その直線を基にして基準画像上側の自車輌より遠い側の車線を追跡していくことでカーブしたり車線分岐や車線合流する車線を的確に検出して認識することが可能となり、前記各発明の効果が的確に発揮される。

第１７の発明によれば、第１６の発明と同様にカーブしたり車線分岐や車線合流する車線を検出する。その際、カーブしたり車線分岐や車線合流する車線部分が自車輌に近い直線部分で把握された道幅の最大値から最小値までの範囲から外れる場合には、自車輌が追従すべき基準となる車線が左右いずれかの車線であるかを自車輌の推定軌跡との平行度から判断する。そのため、前記各発明の効果に加えて、推定軌跡との平行度が高い方の車線を基準とすべき車線とし、この基準とすべき車線の情報をキープレーン制御等の種々の処理に利用することが可能となる。

第１８の発明によれば、前記各発明の効果に加えて、車線分岐点を的確に把握することが可能となるとともに、例えば、その車線分岐として特徴付けられた車線や車線ポジションの信頼度を修正して、キープレーン制御等で左右の車線のうちどの車線を信頼して追従するかを的確に決定することができる。

すなわち、車線の信頼度は、通常、破線の車線よりも連続線の車線の方が信頼度が高くなるように修正されるが、例えば車線分岐して右折レーンに進入する側の車線が連続線であると、直進したいにもかかわらず連続線に沿って右折レーンに進入してしまう。しかし、前記のような車線分岐としての特徴付けに基づいて、車線分岐として特徴付けられた側の車線や車線ポジションの信頼度を反対側の車線等の信頼度より低くなるように修正すれば、車輌を車線分岐点で破線の車線に沿って進行させ、右折レーンに進入せずにそのまま直進するように自動制御することができ、キープレーン制御等の制御を正確に行うことが可能となる。

第１９の発明によれば、前記各発明の効果に加えて、車線合流点を的確に把握することが可能となるとともに、例えば、その車線合流として特徴付けられた車線や車線ポジションの信頼度を修正して、キープレーン制御等で左右の車線のうちどの車線を信頼して追従するかを的確に決定することができる。

第２０の発明によれば、前記各発明の効果に加えて、車線が例えば追い越し禁止線や路側帯と車道とを区画する区画線等を表す連続線であるか或いは追い越し可能な車線等であることを示す破線であるかを明確に区別して認識することが可能となるとともに、例えば、その連続線或いは破線の特徴に応じて車線や車線ポジションの信頼度を修正して、キープレーン制御等で左右の車線のうちどの車線を信頼して追従するかを的確に決定することができる。また、他の制御に利用する際にも車線が連続線か破線かを明確に区別された状態で車線認識装置からの出力情報を利用することが可能となる。

第２１の発明によれば、前記各発明の効果に加えて、撮像手段で撮像された基準画像の各画素の輝度およびそれから算出される輝度微分値に基づいて車線検出を行うことで、道路面と車線との輝度変化と道路面上の汚れによる輝度変化とを明確に区別して認識することができ、また雨天等で道路面の輝度が全体的に高くなるような場合でも車線を的確に検出することが可能となる。

第２２の発明によれば、前記各発明の効果に加えて、消えかけの車線と新たに塗り直された車線が道路面上に標示されている場合に、塗り直された新しい車線を的確に検出することができ、より正確な車線認識が可能となる。

第２３の発明によれば、基準画像の水平ライン上に車線候補点となり得る開始点が見出されても、高輝度部分が車線幅閾値を超えて長く続く場合には、その開始点は車線に対応する開始点でない可能性が高いから、その開始点を車線候補点としては記録せずハフ変換の対象としないことで誤検出の確率を低下させることが可能となり、前記各発明の効果をより確実に発揮させることが可能となる。

第２４の発明によれば、基準画像の水平ライン上に車線候補点となり得る開始点が見出され、車線幅閾値以内に終了点が見出されても、その開始点から終了点までの高輝度部分の平均輝度と道路面輝度との差が車線として最低限要求される平均輝度に満たない場合は、その開始点は車線に対応する開始点でない可能性が高いから、その開始点を車線候補点としては記録せずハフ変換の対象としないことで誤検出の確率を低下させることが可能となり、前記各発明の効果をより確実に発揮させることが可能となる。

第２５の発明によれば、第２４の発明では車線候補点が前記条件を満たしていても、例えば道路脇にかき集められた雪等を検出している可能性がある。そこで、開始点における輝度微分値が大きく立ち上がらずにだらだらと立ち上がり、高輝度部分が前記車線幅閾値以内であっても通常の車線幅よりも大きい場合には、雪等を検出している可能性が高いから、高輝度部分の平均輝度と道路面輝度との差が車線として最低限要求される平均輝度についての閾値をより高い値に設定し直して基準を厳しくすることで車線に対応する車線候補点のみが残る確率を高めることで、誤検出の確率を低下させることが可能となり、前記第２４の発明の効果をより的確に発揮させることが可能となる。

第２６の発明によれば、暗いトンネル内で検出される車線に対応する車線候補点のように、開始点における輝度微分値が大きく、かつ高輝度部分が通常の車線幅程度である場合には、車線に対応する車線候補点を検出している可能性が高いから、前記第２５の発明とは逆に、高輝度部分の平均輝度と道路面輝度との差が車線として最低限要求される平均輝度についての閾値をより低い値に設定し直して基準を緩和することで、このような暗い状況における車線に対応する車線候補点を的確に検出することが可能となり、前記第２４の発明の効果をより的確に発揮させることが可能となる。

以下、本発明に係る車線認識装置の実施の形態について、図面を参照して説明する。

図１は、本実施形態に係る車線認識装置のブロック図である。車線認識装置１は、主に撮像手段２と、変換手段３と、画像処理手段６と、検出手段９とから構成されている。

撮像手段２は、車輌周辺を撮像するものであり、所定のサンプリング周期で車輌進行方向の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。

メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられており、一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。

メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されており、Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに、例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像である基準画像と比較画像とに変換されるように構成されている。

Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されており、画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度の補正等の画像補正がアフィン変換等を用いて行われるようになっている。

なお、例えば、基準画像Ｔは図２に示されるような水平方向が５１２画素、垂直方向が２００画素分の輝度からなる画像データとして、比較画像は図示を省略するが水平方向が６４０画素、垂直方向が２００画素分の輝度からなる画像データとしてそれぞれ画像補正部４から出力されるように構成されている。また、それぞれの画像データは画像補正部４に接続された画像データメモリ５に格納され、同時に検出手段９に送信されるようになっている。

画像補正部４には、画像処理手段６が接続されており、画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とから構成されている。

イメージプロセッサ７では、画像補正部４から出力されたステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄｐを算出するようになっている。この視差ｄｐの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。

イメージプロセッサ７は、５１２×２００画素を有する基準画像Ｔについて４×４画素の画素ブロックごとに１つの視差ｄｐを算出するようになっている。１つの画素ブロックを構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度ｐ１ijが割り当てられており、その１６画素の輝度ｐ１ijがその画素ブロック特有の輝度特性を形成している。なお、輝度ｐ１ijの添字ｉおよびｊは、基準画像Ｔや比較画像の画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素ブロックの左下隅の画素のｉ座標およびｊ座標を表す。

イメージプロセッサ７におけるステレオマッチング処理では、前記のように基準画像Ｔを４×４画素ごとに最大１２８×５０個の画素ブロックに分割し、比較画像を水平方向に延在する４画素幅のエピポーララインに分割する。そして、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像のエピポーラライン上を１画素ずつ水平方向、すなわちｉ方向にシフトさせながら下記（１）式で求められるシティブロック距離ＣＢが最小となるエピポーラライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックと似た輝度特性を有する比較画像上の画素ブロックを探索するようになっている。

なお、ｐ２ijは比較画像上の座標（ｉ，ｊ）の画素の輝度を表す。

イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄｐとして基準画像Ｔ上の画素ブロックに割り付けるようになっている。

なお、この視差ｄｐは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄｐとは三角測量の原理に基づいて対応付けられる。

具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車輌の進行方向に向かって車幅方向にＸ軸、車高方向にＹ軸、車長方向、すなわち距離方向にＺ軸を取ると、距離画像上の点（ｉ，ｊ，ｄｐ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離Ｌと視差ｄｐとは、前記（４）式のＺを距離Ｌとすることで一意に対応付けられる。ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車輌正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像のエピポーラライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前記フィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。

したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離データ、すなわち基準画像Ｔの各画素ブロックについて実空間における距離を算出するための視差ｄｐは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。

イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの距離データは、画像処理手段６の距離データメモリ８に格納されるようになっている。なお、検出手段９における処理では、基準画像Ｔの１つの画素ブロックは４×４個の画素として扱われ、１画素ブロックに属する１６個の画素は同一の視差ｄｐを有する独立した画素として処理されるようになっている。

検出手段９は、本実施形態では、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。検出手段９では、画像補正部４から送信されてくる基準画像Ｔについての各画素の輝度情報および距離データメモリ８から読み出した距離データに基づいて基準画像Ｔ上における車線の検出が行われるようになっている。

検出手段９は、車線候補点検出変換処理部９１、車線直線検出処理部９２および車線検出処理部９３を備えている。

車線候補点検出変換処理部９１では、変換手段３で割り振られた基準画像Ｔの各画素についての輝度ｐ１ijおよびイメージプロセッサ７で算出された基準画像Ｔの各画素についての視差ｄｐに基づいて、基準画像Ｔからの車線を表している可能性がある画素、すなわち車線候補点の検出が行われるようになっている。また、車線候補点検出変換処理部９１は、検出された各車線候補点に対してハフ変換を行うように構成されている。

本発明では、車線候補点検出変換処理部９１は、通常のアスファルト上に明確に標示された新しい車線のみならず消えかけ等の輝度の薄い車線も検出するように構成されている。また、本実施形態では、輝度の薄い車線と新しい車線とが検出された場合や輝度の薄い車線の一部重なるように新しい車線が塗り直されている場合には、新しい車線のみを検出するようになっている。

車線候補点の探索は、図２に示したような基準画像Ｔにおけるｊ座標一定の１画素幅の水平ラインｊ上をｉ座標軸方向に１画素ずつオフセットしながら行われ、１つの水平ラインｊ上の探索が終了するごとに水平ラインｊを基準画像Ｔに対して上向きに１画素分ずつずらしながら探索が行われるようになっている。

本実施形態では、測定された自車輌の車速とステアリングホイールの舵角とから自車輌の挙動としてヨーレートを算出し、この算出されたヨーレートから図３に示すような自車輌の推定軌跡Ｌestが算出されるようになっており、車線候補点の探索は、この推定軌跡Ｌestと探索を行う水平ラインｊとの交点の画素を探索開始点ｉｓとし、この探索開始点ｉｓから出発して右向きおよび左向きにそれぞれオフセットしながら探索終了点ｉｅまで行われるようになっている。

なお、本実施形態では、基準画像Ｔが図３に示したように自車輌の進行方向における前方領域のみを撮像したものであるので、基準画像Ｔの全領域に対して探索が行われる。すなわち、探索を終了する画素である探索終了点ｉｅは基準画像Ｔの左右両端の画素とされている。しかし、探索領域をより限定して設定することも可能であり、また、例えば、自車輌の周囲３６０°を撮像可能な撮像装置により撮像された基準画像であれば、探索領域を前方領域のみに絞って行うことも可能である。

また、本実施形態の車線認識装置１が、例えば、特許第３３１５０５４号公報等に記載の車外監視装置の機能を有するように構成されていれば、図４に示すように、撮像装置２により撮像された基準画像Ｔと比較画像とを用いて前方風景中から立体物を枠で囲まれた状態で抽出することができる。そこで、予めこの処理を行った後、或いはこの処理と同時並行で、探索領域Ｓを図５に示すような抽出された立体物以外の部分に設定し、その探索領域Ｓ内で探索を行うように構成することも可能である。

車線候補点検出変換処理では、水平ラインｊ上の探索により検出された車線候補点ごとにハフ変換が行われるようになっている。本実施形態では、ハフ変換については公知の方法が用いられる。

検出手段９の車線直線検出処理部９２は、前記右向き探索および左向き探索により検出された車線候補点に前記ハフ変換を施して得られたハフ平面から自車輌の左右両側の車線候補としての直線を単数または複数抽出し、自車輌の位置や挙動等に基づいてその中から車線としてふさわしい直線を左右１本ずつ選択し、左右両側の直線の平行度等から車線としてふさわしくない直線を棄却することで、車線としてふさわしい直線、すなわち車線直線を検出するようになっている。

検出手段９の車線検出処理部９３は、車線直線検出処理部９２での処理で検出された車線直線を基準にして各車線候補点について右車線或いは左車線を表す画素であるか否かを判断して車線を表す画素であると判断された車線候補点を車線ポジションとして記録するようになっている。車線検出処理部９３は、検出された車線ポジションを基準にして関連性のある車線ポジションを基準画像Ｔの上方に向かって追跡して直線状或いは曲線状の車線に追随しながら車線を検出するように構成されている。

また、本実施形態の車線検出処理部９３は、得られた車線の情報から道幅の増大を伴う車線分岐を検出して車線分岐として車線ポジションの特徴付けを行うとともに、車線が追い越し禁止線や区画線等の連続線であるか、または、破線であるかを検出して、車線ポジションをさらに連続線または破線として特徴付けるようになっている。

検出手段９に、例えば基準画像Ｔ上で横断歩道を検出する等の他の機能を備えさせることも可能である。

また、本実施形態の車線認識装置１は、検出した車線の情報や連続線、破線、車線分岐として特徴付けられた車線ポジションの情報等を出力するように構成されている。車線ポジションの情報等は、車線認識装置１の検出手段９から、例えば、図示しない自動変速機（ＡＴ）制御部やエンジン制御部、ブレーキ制御部、トラクションコントロールシステム（ＴＣＳ）制御部、車輌挙動制御部等の各種制御部に出力するように構成されており、それらの情報は、各制御部において制御のための情報として用いるようになっている。また、車線等の情報をモニタ等の表示手段に送信して表示し、あるいは警報装置に送信して運転者に必要な警告を発するように構成することも可能である。

次に、本実施形態に係る車線認識装置１の作用について説明する。なお、撮像手段２、変換手段３、画像補正部４、画像処理手段６の作用については前記構成で述べたとおりである。

検出手段９では、図６に示す基本フローに基づいて基準画像Ｔ上の車線を認識する。

まず、検出手段９の車線候補点検出変換処理部９１では、基本フローの第１プロセスである車線候補点検出変換処理（ステップＳ１０）が行われる。車線候補点検出変換処理部９１で行われる具体的な処理について、図７に示すフローチャートに従って説明する。ここでは基準画像Ｔの全領域について探索を行う場合について述べる。なお、以下では基準画像Ｔを推定軌跡Ｌestから右向きに探索する場合について述べるが、推定軌跡Ｌestから左向きの探索を行う場合も同様であり、同時に別個に行われる。

探索を行う基準画像Ｔのｊ行目の水平ラインｊと前述した推定軌跡Ｌestとの交点の画素を探索開始点ｉｓとし、探索終了点ｉｅを設定する（ステップＳ１０１）。本実施形態の場合は、前述したように探索終了点ｉｅは水平ラインｊ上の基準画像Ｔ右端の画素である。

続いて、探索する画素を右方にオフセットさせながら（ステップＳ１０２）、探索画素が下記の第１開始点条件を満たすか否かを判断する（ステップＳ１０３）。

［第１開始点条件］
条件１：その探索画素の輝度ｐ１ijが道路面輝度ｐroadより第１開始点輝度閾値ｐth１以上大きく、かつ、輝度微分値で表されるエッジ強度Ｅijが第１開始点エッジ強度閾値Ｅth１以上であること。
条件２：その探索画素に対応する実空間上の点が道路面上にあること。

ここで、道路面輝度ｐroadは、現在探索が行われている水平ラインｊの直下のすでに探索が行われた４行分の水平ラインｊ−１、ｊ−２、ｊ−３、ｊ−４上における画素の輝度ヒストグラムの出現度数が最大となる輝度値として水平ラインｊごとに算出される。

前記条件１は、図８（Ａ）に示すようにその探索画素の輝度ｐ１ijが道路面輝度ｐroad付近から第１開始点輝度閾値ｐth１以上に大きくなり、また図８（Ｂ）に示すようにその画素における輝度微分値であるエッジ強度Ｅijが第１開始点エッジ強度閾値Ｅth１以上であることを要求している。このような条件を満たせば、その探索画素が水平ラインｊ上における車線のエッジ部分を表す点、すなわち開始点Ｐｓである可能性がある。

しかし、探索画素が前記条件１を満たしても、その画素が先行車のピラーやバンパ等の車体部分やガードレール、電信柱等のエッジ部分を表す画素である可能性もある。先行車のピラー等は道路面より高い位置に存在する。そこで、条件１を満たすエッジ部分の画素であっても道路面より高い位置に存在する物体を表す画素である場合にはそれを排除するために、前記条件２では、開始点Ｐｓである可能性がある画素に対応する実空間上の点が道路面上にあることを要求している。

車線候補点検出変換処理部９１は、探索画素が前記条件１を満たすと判断すると、距離データメモリ８からその探索画素の距離データ、すなわち視差ｄｐを読み出して前記条件２を満たすか否かを判断する。なお、前記図５に示したように、探索領域Ｓを立体物以外の部分に限定する場合には、探索領域Ｓは道路面上に限定されるので前記条件２は不要となる。

ここで、条件２を満たすか否かの判断の手法について簡単に説明する。図９に示すように、まず、基準画像Ｔ上の探索画素Ｍが属する水平ラインｊに消失点Ｖｐから引いた垂線の足を画素ｍとすると、画素ｍに対応する実空間上の点ｍは自車輌の正面に位置する。点ｍが道路面上にあるとすると、自車輌に搭載されたメインカメラ２ａから点ｍまでの距離をＬ_ｍ、メインカメラ２ａの焦点距離をｆ、メインカメラ２ａの取付高さをｈとすると、メインカメラ２ａの結像位置における点ｍの映像と消失点Ｖｐとのずれｙは、
ｙ＝ｈ×ｆ／Ｌ_ｍ …（５）
で表される。

基準画像Ｔ上での画素ｍと消失点Ｖｐとの画素間隔をｙpixelとすると、ピクセル長をｐとしたときｙpixel＝ｙ／ｐの関係が成り立つから、画素ｍと消失点Ｖｐとの画素間隔ｙpixelとメインカメラ２ａから点ｍまでの距離Ｌ_ｍとは、
ｙpixel＝ｙ／ｐ＝ｈ×ｆ／（Ｌ_ｍ×ｐ） …（６）
すなわち、
Ｌ_ｍ＝ｈ×ｆ／（ｐ×ｙpixel） …（７）
の関係が成り立つ。消失点Ｖｐのｊ座標は予め分かっているから、水平ラインｊのｊ座標から（７）式に基づいて実空間上の自車輌から点ｍまでの距離Ｌ_ｍが算出される。

また、同様にして、基準画像Ｔの画素ｍと探索画素Ｍとの画素間隔ｘpixelから実空間上の点ｍと探索画素Ｍに対応する道路面上の点Ｍとの距離Ｌ_m-Mが算出でき、この距離Ｌ_m-Mと前記距離Ｌ_mとから自車輌と道路面上の点Ｍとの実空間上の距離Ｌ_Mが算出される。

そして、この実空間上の自車輌と道路面上の点Ｍとの距離Ｌ_Mと、距離データメモリ８から読み出された画素Ｍの視差ｄｐから三角測量の原理に基づいて算出される距離とを比較して、一定の誤差範囲で一致すれば探索画素Ｍに対応する実空間上の点Ｍは道路面上にあると判断でき、視差ｄｐに基づいて算出される距離が前記距離Ｌ_Mより小さければ、探索画素Ｍに対応する実空間上の点Ｍは道路面より高い位置に存在する先行車のピラー等であると判断することができる。

なお、条件２を満たすか否かの判断において、前記のように計算を行って判断する代わりに、例えば、基準画像Ｔの各画素について道路面が平坦面であるとした場合の視差を割り振ったテーブルを予め用意し、そのテーブルと対照して判断を行うようにしてもよい。また、車輌のピッチング等の挙動や道路面の傾斜等により水平ラインｊと視差との対応がずれる場合にはその点も考慮して距離Ｌ_M等の算出が行われ、或いは前記テーブルの視差の値が修正される。

探索画素が前記第１開始点条件を満たすと判断すると（図７のステップＳ１０３：ＹＥＳ）、車線候補点検出変換処理部９１は、その探索画素を開始点ＰｓとしてＲＡＭ上にセットし、第１車線幅閾値Ｗth１をセットする（ステップＳ１０４）。

本実施形態では、第１車線幅閾値Ｗth１は、車線幅が実空間で１０〜１５ｃｍ程度であることから、自車輌から見た場合に実空間で左右方向に３０ｃｍ幅になるように設定されており、自車輌から水平ラインｊに対応する実空間上の領域までの距離Ｌ_mに応じた車線幅の閾値３０ｃｍに対応する画素数としての第１車線幅閾値Ｗth１が水平ラインｊごとにテーブルとして与えられている。そのため、車線候補点検出変換処理部９１は、探索が行われている水平ラインｊに対応する第１車線幅閾値Ｗth１をテーブルから読み出す。

車線候補点検出変換処理部９１は、開始点Ｐｓと第１車線幅閾値Ｗth１とをセットすると、さらに水平ラインｊ上を右方にオフセットさせながら探索を続け、探索画素が下記の第２開始点条件を満たすか否かを判断する（ステップＳ１０５）。

［第２開始点条件］
条件３：その探索画素の輝度ｐ１ijが道路面輝度ｐroadより第２開始点輝度閾値ｐth２以上大きく、かつ、輝度微分値で表されるエッジ強度Ｅijが第２開始点エッジ強度閾値Ｅth２以上であること。ただし、ｐth２＞ｐth１。
条件４：開始点Ｐｓからその探索画素の左隣の画素までの平均輝度と道路面輝度ｐroadとの差が第１車線平均輝度閾値Ａth１以下であること。
条件５：その探索画素に対応する実空間上の点が道路面上にあること。

そして、探索画素が前記第２開始点条件を満たす場合には（ステップＳ１０５：ＹＥＳ）、元の開始点Ｐｓおよび第１車線幅閾値Ｗth１のセットを解除し、現在の探索画素を新たな開始点Ｐｓとして再セットする。また、新たな開始点Ｐｓに対応付けて第１車線幅閾値Ｗth１も再セットする（ステップＳ１０６）。

この第２開始点条件判断は、図１０に示すように、前記第１開始点条件を満たして開始点Ｐｓとされていた画素Ｐｓoldが実際には消えかかった古い車線Ｌoldの端部に対応する画素であり、その古い車線Ｌoldと一部重なるようにして新しく塗り直された車線Ｌnewが引かれている場合に、元の開始点Ｐｓ等のセットを取り消して、塗り直された車線Ｌnewの端部に対応する画素Ｐｓnewを開始点Ｐｓとして新たにセットするものである。

そのため、塗り直された車線Ｌnewに対応する画素は古い車線Ｌoldに対応する画素より輝度が高いので、条件３では、第２開始点輝度閾値ｐth２が図１１に示すように第１開始点輝度閾値ｐth１より大きく設定される。また、古い車線Ｌoldと比較して塗り直された車線Ｌnewのエッジ部分では輝度微分値が大きくなることが予想されるため、本実施形態では第２開始点エッジ強度閾値Ｅth２を第１開始点エッジ強度閾値Ｅth１より大きく設定しているが、開始点エッジ強度閾値に関しては適宜設定される。

また、条件４は、元の開始点Ｐｓから現在の探索画素の左隣の画素まで、すなわち図１１（Ａ）に示す領域Ｋの平均輝度と道路面輝度ｐroadとの差が、第１車線平均輝度閾値Ａth１以下である場合にのみ開始点Ｐｓの再セットを行うことを意味する。すなわち、領域Ｋの平均輝度が道路面輝度ｐroadより大きくその差が第１車線平均輝度閾値Ａth１より大きければ、その領域Ｋに対応する車線は古い車線ではなく現在もいわば生きている車線として標示されていると考えられるから、開始点Ｐｓを再セットする必要はない。

逆に、領域Ｋの平均輝度が道路面輝度ｐroadより大きいが、その差が第１車線平均輝度閾値Ａth１以下であれば、すなわち、条件４を満たせば、その領域Ｋに対応する車線は古い車線Ｌoldであり、輝度が大きく変化した現在の探索画素は新たに塗り直された車線Ｌnewのエッジ部分であると考えられるから、開始点Ｐｓを再セットする。このように、第１車線平均輝度閾値Ａth１は生きている車線を表す指標であり、そのような車線Ｌnewを抽出するように設定される。

条件５は、前記第１開始点条件の条件２と同様であり、車線候補点検出変換処理部９１は、探索画素が条件３および条件４を満たすと判断すると、距離データメモリ８からその探索画素の距離データ、すなわち視差ｄｐを読み出して条件５を満たすか否かを判断する。

また、車線候補点検出変換処理部９１は、前述したように開始点Ｐｓの再セットと同時に第１車線幅閾値Ｗth１も再セットし、新たな開始点Ｐｓから第１車線幅閾値Ｗth１分の画素数が探索されたか否かを新たにカウントし始める。

なお、通常の車線検出では、古い車線Ｌoldの上に塗り直された車線Ｌnewではなく、最初から通常の車線が検出される場合が多いが、その場合には、前記第１開始点条件を満たす探索画素は同時に第２開始点条件を満たす。そのため、第１開始点条件を満たした時点で開始点Ｐｓとしてセットされ、第１車線幅閾値Ｗth１がセットされ、即座に第２開始点条件を満たすと判断されて開始点Ｐｓ等が再セットされる。この場合、再セットの処理を省略するように構成することも可能である。

車線候補点検出変換処理部９１は、さらに水平ラインｊ上を右方にオフセットさせながら探索を続け、探索画素が下記の終了点条件を満たすか否かを判断する（図７のステップＳ１０７）。

［終了点条件］
条件６：その探索画素の輝度微分値で表されるエッジ強度Ｅijが終了点エッジ強度閾値−Ｅth２以下であるか、またはその探索画素の輝度値が開始点Ｐｓにおける輝度値より小さいこと。これは、図示を省略するが、終了点Ｐｅが車線に対応する高輝度の画素から道路面に対応する低輝度の画素に移行する点であることを表す。

なお、本実施形態では、終了点エッジ強度閾値−Ｅth２の絶対値は前記第２開始点エッジ強度閾値Ｅth２の絶対値と同一に設定されるが、異なる値とすることも可能である。また、この条件６のほかに、例えば、その探索画素の輝度ｐ１ijが道路面輝度ｐroadより終了点輝度閾値ｐth３以上大きいことや、その探索画素に対応する実空間上の点が道路面上にあること等を条件として加えることも可能である。

車線候補点検出変換処理部９１は、終了点条件を満たす点、すなわち終了点Ｐｅが検出されなければ（ステップＳ１０７：ＮＯ）、第１車線幅閾値Ｗth１に達するまで探索を行い、第１車線幅閾値Ｗth１に達しても終了点Ｐｅが検出されない場合は（ステップＳ１０８：ＹＥＳ）、開始点Ｐｓおよび第１車線幅閾値Ｗth１のセットを解除して、引き続き水平ラインｊ上の探索を続行し、探索画素が第１開始点条件を満たすか否かの判断（ステップＳ１０３）からの前記処理を繰り返す。

また、前記第１開始点条件または第２開始点条件を満たす開始点Ｐｓに対応する終了点Ｐｅが検出されると（ステップＳ１０７：ＹＥＳ）、続いて、車線候補点検出変換処理部９１は、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度が下記の第１平均輝度条件を満たすか否かを判断し（ステップＳ１０９）、見出された車線の輝度の明暗によりその後の処理内容を変える。

［第１平均輝度条件］
条件７：開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度と道路面輝度ｐroadとの差が前記第１車線平均輝度閾値Ａth１以下であること。

本実施形態では、この条件７における第１車線平均輝度閾値Ａth１は、前記第２開始点条件の条件４における第１車線平均輝度閾値Ａth１と同一の値が用いられる。前述したように、第１車線平均輝度閾値Ａth１は、消えかかった古い車線Ｌoldに対応する平均輝度と新たに塗り直された車線Ｌnewに対応する平均輝度とを分ける閾値である。

車線候補点検出変換処理部９１は、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度が前記第１平均輝度条件を満たす（ステップＳ１０９：ＹＥＳ）、すなわち、平均輝度が低い車線であると判断すると、同一の水平ラインｊで車線候補点が図示しない記憶手段に保存されていなければ（ステップＳ１１０：ＹＥＳ）、開始点Ｐｓを車線候補点としてその基準画像Ｔの画像平面上の座標（ｉ，ｊ）を保存する（ステップＳ１１１）。

また、同一の水平ラインｊで既に車線候補点が保存されていれば（ステップＳ１１０：ＮＯ）今回見出された開始点Ｐｓを保存することなく、開始点Ｐｓおよび第１車線幅閾値Ｗth１のセットを解除して、引き続き同一水平ラインｊ上の探索を続行し、探索画素が第１開始点条件を満たすか否かの判断（ステップＳ１０３）からの前記処理を繰り返す。

このようにして、平均輝度が低い車線しか見出されない場合は、水平ラインｊ上の探索を続けて平均輝度が高い車線を探し、平均輝度が高い車線を見出すことができなかった場合には、最初に見出された平均輝度が低い車線の開始点Ｐｓがその水平ラインｊにおける車線候補点とされる。

一方、車線候補点検出変換処理部９１は、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度が前記第１平均輝度条件を満たさない（ステップＳ１０９：ＮＯ）、すなわち、平均輝度が高い車線であると判断すると、同一の水平ラインｊ上の探索で既に保存されている平均輝度が低い車線の車線候補点があれば（ステップＳ１１２：ＹＥＳ）、その車線候補点を削除して（ステップＳ１１３）、現在の開始点Ｐｓを車線候補点として保存する（ステップＳ１１４）。

このように、本実施形態では、平均輝度が高くいわば生きている車線が見出されると、平均輝度が低い車線に対する車線候補点を削除して、平均輝度が高い車線の開始点Ｐｓを車線候補点として保存し、水平ラインｊ上の探索を打ち切る。

なお、このほかにも、例えば、終了点条件を満たし、車線であると判断された画素部分の開始点Ｐｓをすべて車線候補点として保存したり、平均輝度が高い車線が見出された後も水平ラインｊ上の探索を続行するように構成することも可能である。

本実施形態では、以上のように、水平ラインｊ上の探索が終了する場合は、平均輝度が高い車線が見出されて探索が打ち切られた場合、平均輝度が低い車線しか見出されず探索終了点ｉｅに達した場合、車線が見出されず探索終了点ｉｅに達した場合の３通りの場合である。

水平ラインｊ上の探索が終了すると、車線候補点検出変換処理部９１は、車線候補点が保存されているか否かを判断する（ステップＳ１１５）。車線候補点が保存されていなければ（ステップＳ１１５：ＮＯ）、水平ラインｊが２００行目に達したか否かを判断し（ステップＳ１１６）、２００行目に達していなければ（ステップＳ１１６：ＮＯ）探索する水平ラインを基準画像Ｔに対して上向きに１画素分ずらして前記処理手順を繰り返す。

車線候補点が保存されていれば（ステップＳ１１５：ＹＥＳ）、車線候補点検出変換処理部９１は、車線候補点から対応する終了点Ｐｅの左隣の画素までの平均輝度が下記の第２平均輝度条件を満たすか否かを判断する（ステップＳ１１７）。

［第２平均輝度条件］
条件８：車線候補点から対応する終了点Ｐｅの左隣の画素までの平均輝度と道路面輝度ｐroadとの差が第２車線平均輝度閾値Ａth２以上であること。

本実施形態では、前述したように第１車線平均輝度閾値Ａth１は、消えかかった古い車線Ｌoldに対応する平均輝度と新たに塗り直された車線Ｌnewに対応する平均輝度とを分ける閾値であったが、条件８における第２車線平均輝度閾値Ａth２は、車線として最低限要求される平均輝度と道路面輝度ｐroadとの差を画するものであり、第１車線平均輝度閾値Ａth１より小さい値が適宜設定される。

車線候補点検出変換処理部９１は、車線候補点が第２平均輝度条件を満たさないと判断すると（ステップＳ１１７：ＮＯ）、その車線候補点を削除して（ステップＳ１１８）、水平ラインｊが２００行目に達したか否かを判断し（ステップＳ１１６）、２００行目に達していなければ（ステップＳ１１６：ＮＯ）探索する水平ラインを基準画像Ｔに対して上向きに１画素分ずらして前記処理手順を繰り返す。

車線候補点が第２平均輝度条件を満たすと車線候補点検出変換処理部９１が判断した段階で（ステップＳ１１７：ＹＥＳ）、最終的にその水平ラインｊ上に車線候補点が検出されたことになる。

続いて、車線候補点検出変換処理部９１は、以上のようにして水平ラインｊ上に検出された車線候補点に対してハフ変換を実行する（ステップＳ１１９）。なお、ハフ変換は、基準画像Ｔ上の複数の点から直線を検出することを目的とするものである。

本実施形態では、前述したように、ハフ変換については公知の方法が用いられる。具体的には、例えば、検出された車線候補点の基準画像Ｔ上の座標を（Ｉ_j，Ｊ_j）とし車線候補点が基準画像Ｔ上の直線
ｉ＝ａｊ＋ｂ …（８）
上に存在すると仮定すると、Ｉ_j、Ｊ_jは、
Ｉ_j＝ａＪ_j＋ｂ …（９）
を満たす。

前記（９）式は、
ｂ＝−Ｊ_j×ａ＋Ｉ_j …（１０）
と変形できる。（１０）式から分かるように、図１２に示すように前記車線候補点検出処理で水平ラインｊ上に車線候補点（Ｉ_j，Ｊ_j）が検出されると、そのＩ_j、−Ｊ_jをｂ切片および傾きとして図１３に示すようにハフ平面であるａ−ｂ平面上に１本の直線を引くことができる。

ａ−ｂ平面は、図１４に示すように所定の大きさに升目に区切られており、（１０）式で表される直線が引かれると、図１４の斜線を付した升目のような直線が通過する升目の計数値が１増加される。なお、ａ−ｂ平面の各升目には所定のａおよびｂの値が対応しているから、ａ−ｂ平面で升目を選択することは、対応するａ、ｂの値を選択すること、すなわち（８）式で表される基準画像Ｔ上の直線を選択することと同義である。

車線候補点検出変換処理部９１は、水平ラインｊを基準画像Ｔに対して上向きに１画素分ずつずらしながら探索を行い、車線候補点が検出されるごとに前記ハフ変換を行ってａ−ｂ平面の升目の計数値を加算していく。そして、最終的に基準画像Ｔの最上段の２００行目まで探索が終了すると、図１５の領域Ａに示すように複数の車線候補点が得られ、ａ−ｂ平面の各升目にはそれぞれ計数値が加算された状態となる。

なお、図１５以下の図では、車線候補点が基準画像Ｔ上や実空間上でいわば疎らに検出されるように示されているが、実際にはより細かく多数検出されることは言うまでもない。また、上記では基準画像Ｔ上の水平ラインｊ上を推定軌跡Ｌestから右向きに探索する場合について述べたが、推定軌跡Ｌestから左向きに探索を行う場合も同時に同様の処理が行われ、図１５の領域Ｂに示されるように複数の車線候補点が得られ、右向きの探索の場合とは別個にａ−ｂ平面が作成され、ａ−ｂ平面の各升目にはそれぞれ計数値が加算された状態となる。

また、ハフ変換は、前記の方法に限らず、例えば、車線候補点（Ｉ_j，Ｊ_j）が直線
ρ＝ｉsinθ＋ｊcosθ …（１１）
上にある、すなわち、
ρ＝Ｉ_jsinθ＋Ｊ_jcosθ …（１２）
が成り立つとして、ρ−θ平面の各升目にそれぞれ計数値が加算された状態を形成するようにしてもよい。

さらに、車線候補点（Ｉ_j，Ｊ_j）が直線ｉ＝ａｊ＋ｂ上に存在すると仮定する際の直線の原点はいずれに取ってもよく、基準画像Ｔの原点と同様に画像平面の左下隅の画素とすることが可能である。本実施形態では、基準画像Ｔの最下行の画素行の中間画素、すなわち座標（２５６，０）の画素を直線の原点としている。

水平ラインｊ上の右向きおよび左向きの探索で検出されたすべての車線候補点に対するハフ変換および２枚のａ−ｂ平面の各升目への計数値の加算を終え、２００行目の水平ラインｊの探索が終了すると（ステップＳ１１６：ＹＥＳ）、図６に示した基本フローの第１プロセスである車線候補点検出変換処理（ステップＳ１０）が終了する。

なお、上記車線候補点検出においては、例えば、道路上に降り積もった雪が道路脇にかき集められている場合には、雪と道路面とのエッジ部分の画素が上記処理フローによって車線候補点として誤検出されてしまう可能性がある。

つまり、基本画像Ｔ上の道路脇の部分に雪が撮像されている場合、水平ラインｊに沿って探索すると、図１６に示すように、開始点Ｐｓにおいて輝度ｐ１ijが道路面輝度ｐroadより第１開始点輝度閾値ｐth１以上大きくなって前記第１開始点条件を満たす場合がある。そしてさらに水平ラインｊ上を探索して、探索画素が前記終了点条件を満たす終了点Ｐｅが第１車線幅閾値Ｗth１以内に検出され、さらに前記第１平均輝度条件を満たさなければ、すなわち開始点Ｐｓから終了点Ｐｅまでの平均輝度と道路面輝度ｐroadとの差が第１車線平均輝度閾値Ａth１より大きければ、その開始点Ｐｓは車線候補点として保存され誤検出されてしまう。

そこで、雪に相当する画素部分の開始点を車線候補点から除外するように構成することが好ましい。具体的には、例えば、一般的に雪に相当する部分の画素の平均輝度が車線に相当する部分の画素の平均輝度より小さいことに着目して、車線候補点検出変換処理部９１で、第２平均輝度条件を満たすか否かの判断（図７、ステップＳ１１７）を行う前に、高輝度の画素部分が雪に相当する部分である可能性があるか否かを下記の雪等判断条件に基づいて判断するように構成する。

［雪等判断条件］
条件９：検出された車線候補点に対応する開始点Ｐｓにおける輝度微分値が第３開始点エッジ強度閾値Ｅth３より小さく、かつ、開始点Ｐｓから終了点Ｐｅまでの画素数が第２車線閾値Ｗth２より大きいこと。ただし、Ｅth３＞Ｅth１、Ｗth２＜Ｗth１。

ここで、雪に相当する開始点では車線に対応する開始点における輝度微分値が小さく、開始点では輝度値が明確に立ち上がらずにだらだらと増加することが多い。そのため、車線に対応する開始点における輝度微分値に相当する比較的大きな値の第３開始点エッジ強度閾値Ｅth３を設定し、開始点Ｐｓにおける輝度微分値がその閾値より大きいか小さいかでまず篩いにかける。

そして、雪に相当する画素部分の幅は、通常、車線に対応する画素部分の幅より大きく現れる。そのため、第２車線幅閾値Ｗth２を通常の車線の幅に対応して実空間上で２０ｃｍ程度になるように比較的狭く設定し、開始点Ｐｓから終了点Ｐｅまでの画素数が第２車線幅閾値Ｗth２より大きいか小さいかでさらに篩いにかける。

車線候補点検出変換処理部９１は、車線候補点に対応する開始点Ｐｓが前記雪等判断条件を満たし、高輝度の画素部分が雪に相当する部分である可能性があると判断すると、第２平均輝度条件の判断（ステップＳ１１７）の基となる、車線として最低限要求される平均輝度と道路面輝度ｐroadとの差を画する第２車線平均輝度閾値Ａth２を現状の値より高い値に設定し直す。

そして、その開始点Ｐｓから終了点Ｐｓまでの画素の平均輝度と道路面輝度ｐroadとの差が新たに高く設定し直された第２車線平均輝度閾値Ａth２以上であればその開始点Ｐｓに対応する車線候補点を前記ハフ変換の対象とし、差が第２車線平均輝度閾値Ａth２より小さい場合には雪等を誤検出した可能性が高いとしてその車線候補点を削除してハフ変換の対象としない。このようにして、雪等による車線候補点の誤検出を低減させることが可能となる。

一方、前記雪等の場合とは逆に、車線に対応すると思われる車線候補点が得られているにもかかわらず、開始点Ｐｓから終了点Ｐｅまでの平均輝度が車線として最低限要求される平均輝度と道路面輝度ｐroadとの差を画する第２車線平均輝度閾値Ａth２を満たさずに車線候補点から削除されてしまう場合がある。

例えば、トンネル内等ではトンネルの壁面に近い車線では、トンネル内の照明が十分に届かずに、図１７に示すように開始点Ｐｓが第１開始点条件を満たし終了点Ｐｅは終了点条件を満たすが、開始点Ｐｓから終了点Ｐｅまでの平均輝度が第２車線平均輝度閾値Ａth２を満たさない場合がある。

このように暗い状況下では、むしろこのような開始点Ｐｓに対応する車線候補点をそのまま残してハフ変換の対象とする方が好ましい。具体的には、例えば、車線候補点検出変換処理部９１は、前記雪等判断条件と同様に第２平均輝度条件を満たすか否かの判断（図７、ステップＳ１１７）を行う前に、下記のトンネル等判断条件を満たすか否かを判断する。そして、条件を満たす場合には高輝度の画素部分がトンネル内等で暗くなっている可能性があると判断して、第２車線平均輝度閾値Ａth２を現状の値より低い値に設定し直す。

［トンネル等判断条件］
条件１０：検出された車線候補点に対応する開始点Ｐｓにおける輝度微分値が第３開始点エッジ強度閾値Ｅth３以上であり、かつ、開始点Ｐｓから終了点Ｐｅまでの画素数が第２車線閾値Ｗth２以下であること。ただし、Ｅth３＞Ｅth１、Ｗth２＜Ｗth１。

すなわち、開始点Ｐｓにおける輝度微分値が前述した車線に対応する開始点における輝度微分値に相当する比較的大きな値の第３開始点エッジ強度閾値Ｅth３以上であり、開始点Ｐｓから終了点Ｐｅまでの画素数が前述した通常の車線の幅に対応して比較的狭く設定された第２車線閾値Ｗth２以下であれば車線候補点は車線に対応して得られた可能性が高いから、第２車線平均輝度閾値Ａth２を現状の値より低い値に設定し直して車線候補点として残され易くする。

このように構成すれば、トンネル内等で暗く撮像された車線に対応する車線候補点を的確に検出して、車線をより的確に検出することが可能となる。なお、前記新たに設定し直された第２車線平均輝度閾値Ａth２は、現在の水平ラインｊに続く水平ラインｊ＋１以降のラインの探索においてそのまま用いられるように構成されてもよいし、水平ラインｊ＋１以降のラインの探索においては元の値に戻されてもよい。

次に、基本フローの第２プロセスである車線直線検出処理（ステップＳ２０）に移行する。車線直線検出処理は、検出手段９の車線直線検出処理部９２で行われる。

車線直線検出処理部９２では、前記ハフ変換で得られた右向き探索および左向き探索の各ａ−ｂ平面から計数値が大きな単数または複数の升目をそれぞれ抽出し、すなわち、前記（８）式で表される基準画像Ｔ上の直線をそれぞれ単数または複数抽出して、自車輌の位置や挙動等から判断して左右それぞれ１本ずつ車線としてふさわしい直線を選択し、さらに選択された左右両側の直線の平行度等から車線としてふさわしくない直線を棄却して車線直線を検出する処理を行う。

具体的には、まず、升目ごとに計数値が算出されているａ−ｂ平面を、ｂ値一定の各行ごとにａの値を変化させて計数値が最大となる升目およびその最大値を求め、その最大値をｂに対してプロットすると、図１８に示されるような分布が得られる。

本実施形態では、車線直線検出処理部９２では、このようにして得られた分布の平均値をピーク閾値Ｑとし、分布の最大値およびピーク閾値Ｑを越える極大値を、車線を表す候補としての直線、すなわちピーク直線として抽出する。図１８に示したような分布では、最大値であるピーク直線ｒ１および極大値であるピーク直線ｒ２が抽出される。水平ラインｊ上の左向き探索で得られたａ−ｂ平面についても同様の作業を行い、ピーク直線ｌ１、ｌ２、…を抽出する。

このようにして抽出されたピーク直線を基準画像Ｔ上に表すと例えば図１９のように表すことができ、それを実空間上に表すと図２０のように表すことができる。

なお、ピーク直線抽出の方法は前記方法に限定されず、例えば、ピーク閾値Ｑを越える分布をすべてピーク直線とすることも可能である。また、本実施形態では、図１８に示したような分布において突出したピークが見出されない場合は、車線の検出に失敗したと判断し、ピーク直線の抽出を行わないようになっている。

続いて、車線直線検出処理部９２では、抽出された複数のピーク直線のうち下記の選択条件に適合するものを棄却し、ピーク直線が１本に絞られるまで右向き探索および左向き探索の各場合についてそれぞれ選択を行う。

［選択条件］
条件１１：所定の前方距離におけるピーク直線の位置が、自車輌の中心から換算した車幅の位置より内側に存在すること。ただし、連続して検出されている車線の場合は前回検出された車線位置からの変化量を用いて所定の閾値以内であれば条件１１は適用しない。
条件１２：自車輌の前記推定軌跡Ｌestとの平行度が一定の閾値より大きいこと。
条件１３：図１９および図２０に一点破線Ｌｄで表される所定の前方距離における自車輌の中心からの左右差距離が規定値far_th以上に遠いピーク直線と規定値near_th以下のピーク直線がある場合の規定値far_th以上のピーク直線であること。ただし、far_th＞near_th。

なお、前記条件１１〜条件１３に従って選択を行った後もピーク直線が複数存在する場合は、下記条件１４を適用する。
条件１４：前回検出された車線の位置や幅から推定した車線推定中心位置に最も近いピーク直線を残すこと。

なお、本発明において前回検出された車線や後述する前回検出された車線ポジション等とは、検出手段９で所定のサンプリング周期で連続して車線を検出している場合の現在行われている車線認識処理の直前、すなわち１サンプリング周期前の処理で検出された車線や車線ポジション等を表す。しかし前回とは必ずしも直前の処理には限定されず、どの程度以前の処理の結果を用いるかは適宜決定される。

条件１１は、自車輌に比較的近い位置では通常車線は自車中心からある程度離れた位置に撮像されること、および図１９に示されるようにピーク直線の位置が自車輌の中心から換算した車幅の位置より内側に存在する場合には道路中央に標示された道路標示や雨天時等に前方車輌のタイヤが道路上に残す白い痕跡等を誤って車線と認識している場合が多いことから、自車輌に比較的近い位置でのピーク直線が車幅より内側にある場合には棄却することを意味する。従って、図１９や図２０のピーク直線ｒ２、ｌ２はこの条件１１により棄却される。

なお、条件１１のただし書きは、車線変更等の場合に前回検出された車線からの連続性を考慮したものであり、この場合、ピーク直線は棄却されない。すなわち、ピーク直線が車幅より内側にある場合でも、前回検出された車線との変化量が小さければ自車輌が車線変更をして車線を跨いでいる場合である可能性が高いから、そのピーク直線は車線直線の候補としてのピーク直線から棄却せずに候補として残しておくことを意味する。

条件１２は、前述した自車輌の推定軌跡Ｌestとの平行度が小さいピーク直線を排除することを意味する。本実施形態では、ピーク直線と自車輌の推定軌跡Ｌestとの平行度は、例えば、図２１に示すように実空間上における自車輌の１０ｍおよび２０ｍ前方での自車輌の推定軌跡Ｌestとピーク直線との距離ｐ_１０、ｐ_２０の差の絶対値｜ｐ_１０−ｐ_２０｜を間隔１０ｍで除した値で表され、平行度の値が小さいほど平行の度合が高いことを表す。図２０のピーク直線ｒ２は、前記条件１１をクリアしたとしてもこの条件１２により棄却される。なお、平行度の算出は、自車輌の推定軌跡Ｌestとピーク直線との平行の度合を数値で表すことができる方法であれば他の計算方法で算出することも可能である。

また、条件１３は、例えば、図２０に示すように隣の走行路の車線に対応するピーク直線ｌ３が抽出されているような場合にそのピーク直線を排除することを意味する。

さらに、条件１４は、例えば、右向き探索で得られた複数のピーク直線の中から、後述する図２６に示されるような前回検出された右車線ＬＲとの距離が最も近いピーク直線を残し、或いは前回右車線ＬＲが検出されていない場合には図２６に示されるような前回検出された反対車線である左車線ＬＬに実空間上で平行で前回検出された道幅分だけ離れた位置に推定される右車線の車線推定中心位置との距離が最も近いピーク直線を残して他のピーク直線を除外することを意味する。左向き探索で得られた複数のピーク直線についても同様に処理する。

車線直線検出処理部９２は、このようにして右向き探索および左向き探索により得られた各ハフ平面からそれぞれピーク直線を求め、自車輌の中心位置や車輌挙動としてのヨーレートから求められる推定軌跡Ｌest等を基準にして車線としてふさわしい直線を表すピーク直線を左右それぞれ１本ずつ選択する。なお、前述したように、図１８に示したような分布において突出したピークが見出されない場合にはピーク直線が抽出されておらず、ピーク直線の選択は行われない。

続いて、車線直線検出処理部９２は、このようにして左右１本ずつのピーク直線が選択された場合に、２本のピーク直線が下記の整合性条件を満たすか否かを判断し、整合性条件を満たす場合、２本のピーク直線をそれぞれ車線直線として検出する。

［整合性条件］
条件１５：下記の（ｉ）〜（ｉｉｉ）の条件をいずれも満たさないこと。
（ｉ）左右のピーク直線の平行度が閾値以上である。
（ｉｉ）左右のピーク直線の道幅が最小幅閾値以下である。
（ｉｉｉ）左右のピーク直線の道幅が最大幅閾値以上である。

条件１５の（ｉ）は２本のピーク直線が自車輌から遠ざかるに従って一定程度の限度以上に広がったり狭まったりしてしまう場合、（ｉｉ）および（ｉｉｉ）は２本のピーク直線の平行度が良好でも道幅自体が狭すぎる場合或いは広すぎる場合には、それぞれ２本のピーク直線を車線直線として同時には検出しないということを意味する。

本実施形態では、車線直線検出処理部９２は、２本のピーク直線が整合性条件を満たさない場合には、各ピーク直線のハフ平面における計数値や、前回検出された車線位置からの変位量や、推定軌跡Ｌestとの平行度等を比較して、２本のピーク直線のうちの一方を棄却し、残ったもう一方のピーク直線を車線直線として検出する。

このようにして、例えば図１９で抽出された４本のピーク直線ｒ１、ｒ２、ｌ１、ｌ２の中からピーク直線ｒ１およびピーク直線ｌ１が選択され、図２２に示すようにピーク直線ｒ１およびピーク直線ｌ１がそれぞれ右車線を表す車線直線ｒ１および左車線を表す車線直線ｌ１として検出されると、図６に示した基本フローの第２プロセスである車線直線検出処理（ステップＳ２０）が終了する。また、前記のように左右いずれか一方の車線直線のみが検出された場合にも車線直線検出処理（ステップＳ２０）が終了する。

次に、基本フローの第３プロセスである車線検出処理（ステップＳ３０）に移行する。車線検出処理は、検出手段９の車線検出処理部９３で行われる。

車線検出処理部９３では、前述した車線候補点検出変換処理部９１および車線直線検出処理部９２での処理で得られた車線直線を基準にして自車輌の左右に存在する直線状または曲線状の車線を検出する。また、それと同時に、道幅の増大を伴う車線分岐を認識して検出するとともに、車線が追い越し禁止線や区画線等の連続線であるか、追い越し可能を示す破線であるかを認識して検出する。

この処理は、前記車線候補点検出変換処理と同様に、基準画像Ｔにおけるｊ座標一定の１画素幅の水平ラインｊ上を右向きおよび左向きにそれぞれ走査して既に抽出されている車線候補点を検出し、１つの水平ラインｊ上の検出が終了するごとに水平ラインｊを基準画像Ｔに対して上向きに１画素分ずつずらして基準画像Ｔの全域に対して処理を行う。

本実施形態の車線検出処理部９３では、まず、基準画像Ｔの下側、すなわち自車輌に近い側の車線位置を確定する。具体的には、ｊ＝０から水平ラインｊ上の探索を開始し、例えば図２２に示すような前記車線直線検出処理で検出された右車線を表す直線ｒ１或いは左車線を表す直線ｌ１を基準として各直線とのｉ方向の差が閾値以内の車線候補点を車線ポジションとして所定の個数に達するまで記録する。

この段階で、図２３に破線で囲まれて示される直線とのｉ方向の差が閾値以内にない車線候補点は、車線を表す点とはみなされず誤検出として除外される。また、この間、車線検出処理部９３は、右車線に属する車線ポジションと左車線に属する車線ポジションとの間隔を記録していく。すなわち、具体的には、距離画像を用いて該当する車線ポジション間の画素数を距離データから実空間上の道幅に換算して記録していき、記録した値に基づいて道幅の最大値Ｌmaxth、最小値Ｌminthを算出する。

なお、道幅の最大値Ｌmaxth、最小値Ｌminthは、後述するように右車線或いは左車線を表す直線ｒ１、ｌ１に拘束されることなく車線ポジションを追跡する際に、車線ポジションを正しく検出しているか否かの判断基準の１つとなるものである。そのため、例えば、換算された道幅のばらつきが非常に少ない場合には、たとえば道幅の平均値より所定値分大きい値を道幅の最大値、道幅の平均値より所定値分小さい値を道幅の最小値として算出するように構成することも可能である。

続いて、車線検出処理部９３は、右車線或いは左車線を表す直線ｒ１、ｌ１上或いはその近傍に車線ポジションを前記所定の個数記録すると、その上方の水平ラインｊでは、最後に検出された車線ポジションを基準に車線を追い、車線がカーブしている場合にもそのカーブに追随して車線ポジションを検出していく。

すなわち、車線検出処理部９３は、所定個数の車線ポジションが記録されると、その上方の水平ラインｊで次に検出された車線候補点と所定個数の最後に検出された車線ポジションとのｉ方向、ｊ方向の変位が規定値以内か否かを判断する。そして、規定値以内であると判断すると、その車線候補点を車線ポジションとして記録する。

つまり、車線検出処理部９３は、所定個数の車線ポジションが検出されるまでは水平ラインを１画素ずつ上方にずらしながら右車線或いは左車線を表す直線ｒ１、ｌ１を基準として車線ポジションを検出していき、所定個数の車線ポジションが検出されると、それより上方の水平ラインではもはや右車線或いは左車線を表す直線ｒ１、ｌ１に拘束されることなく前記処理により車線ポジションを検出していく。

以後同様にして、図２４（Ａ）に示されるように、水平ラインｊ上で車線候補点を検出すると、前回検出された車線ポジションａとのｉ方向、ｊ方向の変位が規定値以内か否かを判断し、規定値以内であると判断すると、今回検出した車線候補点を車線ポジションｂとして記録していく。

また、水平ラインｊ上に車線候補点が検出されて、前回検出された車線ポジションとのｉ方向、ｊ方向の変位が規定値以内でない場合も、前回までに検出した車線ポジションを延長した直線、すなわち、図２４（Ｂ）では車線ポジションｂと車線ポジションａとを結ぶ直線からのｉ方向の変位が規定値以内であれば、今回検出した車線候補点を車線ポジションｃ、ｄ、…として記録する。

車線検出処理部９３は、左右の車線間の実空間上の間隔すなわち道幅を確認しつつ水平ラインｊを基準画像Ｔの上方にずらしながら順次車線ポジションを検出して、図２５に示されるように直線状或いは曲線状の車線に追随しながら右車線ＬＲおよび左車線ＬＬを検出していく。また、図２５に破線で囲まれて示されるような前記基準に当てはまらず前回検出された車線ポジションとの関連性が薄い車線候補点は誤検出として除外される。

このようにして、図２６に示すように、自車輌に対して右側および左側の車線ＬＲ、ＬＬが検出される。

本実施形態の車線検出処理部９３は、車線が連続線であるか破線であるかの検出をも行う。

具体的には、図２５に示される右車線のように、車線ポジションが前回検出された車線ポジションと実空間上でどのくらい離れているのかを、実空間上での距離を距離画像を用いて計算し、規定値以上離れずに検出されその合計長さが規定値以上つながっている場合は、その区間の車線を連続線の車線として認識し、連続線としてラベリングしたりフラグを立てたりして車線ポジションを特徴付けながら記録して連続線の車線を検出する。

また、図２５に示される左車線ＬＬのように、車線として認識されるが、前回検出した車線ポジションとの距離が所定距離以上離れている場合は、その区間の車線は破線の車線として認識し、破線として特徴付けながら車線ポジションを記録して破線の車線を検出する。このようにして、本実施形態では、連続線の車線と破線の車線とが区別されて認識される。

一方、本実施形態の車線検出処理部９３は、左右の車線ＬＲ、ＬＬ間の距離を算出して道幅が増大しているか否かを判断し、増大している場合には車線分岐として認識し、いずれの車線が以後の車線検出や走行制御等の基準にすべきいわば正しい車線であり、いずれの車線が車線分岐の車線であるかを認識するようになっている。

具体的には、図２５の車線や車線ポジション等を実空間上に表した図２８のように道幅が広がる部分の車線や、図３０のように道幅が狭まる部分の車線、すなわち、距離データを用いて左右車線ポジション間の道幅を算出した際に算出した道幅が前記道幅の最小値Ｌminthから最大値Ｌmaxthまでの範囲内から外れる場合については、車線検出処理部９３は、左右いずれかの車線ポジションが誤検出であると判断する。

そして、実空間上で自車輌の推定軌跡Ｌestとの平行度が高い方の車線ポジションが属する車線を基準とすべき車線として検出する。

また、車線検出処理部９３は、算出した道幅が前記道幅の最大値Ｌmaxthを超える場合には、自車輌の推定軌跡Ｌestとの平行度が低い方の車線ポジションが属する車線、すなわち、図２８の例では右車線ＬＲ側の破線で囲まれた車線ポジションの部分Ｃを車線分岐と認識し、車線分岐として特徴付けながら車線ポジションを記録し、それらの車線ポジションが属する車線、すなわち図２８の例では右車線ＬＲを車線分岐の車線として検出する。また、同時に、算出した道幅が前記道幅の最大値Ｌmaxthを最初に超えた前記部分Ｃに属する自車輌に最も近接した車線ポジションの実空間上の位置を計算し、自車輌からその車線ポジションまでの距離を算出して車線分岐が開始される距離として記録する。

なお、図２８において、例えば、自車輌がさらに前進して右折レーンに進入しようとしている場合には、図２９に示すように今度は左車線ＬＬ側の車線ポジションの方が自車輌の推定軌跡Ｌestとの平行度が低くなるため、左車線ＬＬ側の破線に囲まれた車線ポジションの部分Ｅを車線分岐と認識し、車線分岐として特徴付けながら車線ポジションを記録し、この場合は左車線ＬＬを車線分岐の車線として検出する。

また、車線検出処理部９３は、算出した道幅が前記道幅の最小値Ｌminthを下回る場合には、自車輌の推定軌跡Ｌestとの平行度が低い方の車線ポジションが属する車線、すなわち、図３０の例では右車線ＬＲ側の破線で囲まれた車線ポジションの部分Ｄを車線合流と認識し、車線合流として特徴付けながら車線ポジションを記録し、それらの車線ポジションが属する車線、すなわち図３０の例では右車線ＬＲを車線合流の車線として検出する。また、同時に、算出した道幅が前記道幅の最小値Ｌminthを最初に下回った前記部分Ｄに属する自車輌に最も近接した車線ポジションの実空間上の位置を計算し、自車輌からその車線ポジションまでの距離を算出して車線合流が開始される距離として記録する。

また、前記車線検出、連続線・破線の検出および車線分岐の検出は、基準画像Ｔ上で水平ラインｊを１画素分ずつ上方にずらしながら行う車線ポジションの検出処理と同時並行で行われる。また、図２８の右車線ＬＲ側の破線で囲まれた車線ポジションの部分Ｃは前述したように車線分岐であると同時に連続線であるから、連続線・車線分岐として車線ポジションが特徴付けられる。図３０の右車線ＬＲ側の破線で囲まれた車線ポジションの部分Ｄは連続線・車線合流として車線ポジションが特徴付けられる。図２９の左車線ＬＬ側の破線で囲まれた車線ポジションの部分Ｅも同様に破線・車線分岐として特徴付けられる。

車線検出処理部９３では、さらに、今回の検出で右車線ＬＲおよび左車線ＬＬが検出された段階で、或いは左右の車線の検出に至らずに右側および左側の車線直線ｒ１、ｌ１だけしか検出されなかった場合も同様であるが、この段階で、検出された左右の車線ＬＲ、ＬＬ或いは左右の車線直線ｒ１、ｌ１から推定される道幅を算出する。なお、本明細書では、この推定される道幅を推定道幅ΔＬという。

車線検出処理部９３は、この推定道幅ΔＬの算出において、まず、図２７に示すように、検出された右車線ＬＲおよび左車線ＬＬを実空間上に変換し、自車輌の所定距離前方の数点、例えば自車輌前方１０ｍ、１４ｍ、１８ｍおよび２２ｍの各地点での両車線の間隔Ｌ（０）、Ｌ（１）、Ｌ（２）、Ｌ（３）を算出する。そして、下記（１３）式に従ってそれらの平均値として今回の推定道幅ΔＬpreを算出する。
ΔＬpre＝｛Ｌ（０）＋Ｌ（１）＋Ｌ（２）＋Ｌ（３）｝／４ …（１３）

続いて、車線検出処理部９３は、下記（１４）式に従って前回の検出で算出した推定道幅ΔＬt-1と今回の推定道幅ΔＬpreとの重み平均を算出して、今回の推定道幅ΔＬtを算出する。
ΔＬt＝（ΔＬpre＋３×ΔＬt-1）／４ …（１４）

なお、前回の検出で算出した推定道幅ΔＬt-1は、前回の検出で前々回の推定道幅を用いて前記（１４）式に従って算出した推定道幅のことであり、前回の検出で前記（１３）式に従って算出した推定道幅ΔＬpreではない。また、車線分岐や車線合流として特徴付けられた車線部分は推定道幅ΔＬの算出には用いられない。

前記推定道幅ΔＬの算出は、右側および左側の車線直線ｒ１、ｌ１だけしか検出されなかった場合も左右の車線直線ｒ１、ｌ１に基づいて同様に行われる。

上記のようにして図２６に示したように右車線ＬＲおよび左車線ＬＬが検出され、さらに各車線が基準とすべき車線、車線分岐の車線或いは車線合流の車線として特徴付けられ、各車線ポジションが連続線または破線、或いは車線分岐または車線合流として特徴付けられると、図６に示した基本フローの第３プロセスである車線検出処理（ステップＳ３０）が終了する。

このようにして基本フローが終了すると、検出手段９は、このフローで検出した車線ＬＲ、ＬＬの情報や車線を表す直線ｒ１、ｌ１の情報、連続線、破線、車線分岐、車線合流として特徴付けられた車線ポジションの情報、道幅の最大値Ｌmaxthや最小値Ｌminthの情報、推定道幅ΔＬ等を前述した各種制御部に出力し、或いはモニタ等に表示する。

なお、検出手段９が、例えば、前記特許文献１に記載の車線認識装置のように、自車輌前方の車線を複数の区間に分けて各区間で車線の直線近似を行う車線モデルを用いた認識処理機能を有する場合には、前記文献と同様の方法を用いて各区間の車線モデルの信頼度を算出することができる。

その際、各車線ポジションを特徴付ける連続線、破線、車線分岐のラベルやフラグ等に基づいて信頼度を修正することで、各区間の車線モデルの信頼度を向上させることができる。

車線の信頼度は、通常、破線の車線よりも連続線の車線の方が信頼度が高くなるように信頼度を修正する。しかし、そのままにしておくと、例えば、図２８のように進行している車輌に対してキープレーン制御を行う場合に、前方の車線分岐点で車輌を直進させるべきであるにもかかわらず連続線の車線である右車線に従って車輌が右折レーンに進入してしまう事態が生じ得る。

このような場合に、本実施形態のように、車線ポジションが連続線、破線、車線分岐として特徴付けられていれば、車線ポジションのラベル等に着目して連続線・破線のラベル等よりも車線分岐のラベル等を重視するように各区間の車線モデルの信頼度を修正して制御することで、車線分岐点でも車輌を直進させることができ、キープレーン制御を良好に行うことが可能となる。

以上のように、本実施形態に係る車線認識装置によれば、撮像手段で撮像された基準画像の各画素の輝度およびそれから算出される輝度微分値に基づいて車線検出を行うため、道路面と車線との輝度変化と道路面上の汚れによる輝度変化とを明確に区別して認識することができ、また雨天等で道路面の輝度が全体的に高くなるような場合でも車線を的確に検出することが可能となる。

また、基準画像上に検出された車線候補点にハフ変換を施して得られた複数の直線の中から自車輌の位置や挙動等から判断して右車線および左車線としてふさわしい直線すなわち車線直線を検出し、それを基準として、基準画像の下側、すなわち自車輌に近い側の車線位置を確定してから適切な車線ポジションを追跡していくから、雨天等で道路面に反射光等の高輝度部分があったり、或いは車線ではない標示、すなわち例えば図２３の中央に示される車線分岐を示す標示があってもそれらを除外しながら安定して的確に車線を検出することができる。

また、まず自車輌に近い側で車線直線を検出して車線位置を確定した後に車線ポジションを追跡していくから、車線が直線状或いは曲線状であっても的確に追随して検出することができ、急なカーブ等の複雑な道路形状であっても的確に車線ポジションに追随して車線を検出することが可能となる。

さらに、画像処理手段でのステレオマッチング処理により得られた距離データに基づいて常時基準画像上の画素に対応する実空間上の点が道路面上にあるかどうかを確認しながら車線を検出し、或いは予め道路面より高い位置にある立体物を排除した状態で車線の検出を行うことができるから、立体物と車線とを混同することなく極めて正確に車線を検出することが可能となる。

本実施形態のように、車線候補点検出変換処理において、輝度平均が低い車線に対応する車線候補点が検出されても同一の水平ライン上に輝度平均が高い車線に対応する車線候補点が見出された場合には前者を削除して後者のみを車線候補点とすることで、消えかけの車線と新たに塗り直された車線が道路面上に標示されている場合に新しい車線を的確に検出することができ、より正確な車線認識が可能となる。

また、本実施形態に係る車線認識装置によれば、前記のように的確に車線ポジションを追跡して車線を検出するから、同一車線に属する車線ポジション間の距離を算出することでその車線が追い越し禁止線や路側帯と車道とを区画する区画線等を表す連続線としての車線であるか或いは追い越し可能な車線を表す破線としての車線であるかを的確に認識することが可能となる。

また、左右の車線間の車線ポジション間の距離を算出することで道幅が増大しているか否かを判断することができ、それにより道幅が増大している場合は車線分岐として検出することが可能となる。

このように、車線が連続線または破線であり、車線分岐を表しているか否かを認識することができれば、例えば、それを検出された車線の信頼度に反映させて右車線或いは左車線のどちらを信頼し、追従する候補からどちらを削除するか等の判断に利用することが可能となる。

なお、本実施形態では、検出手段９の車線検出処理部９３における車線ポジションの追跡において、前回検出された車線ポジションとのｉ方向、ｊ方向の変位が規定値以内でない場合に、図２４（Ｂ）には前回検出された車線ポジションｂと前々回検出された車線ポジションａとを結ぶ直線を対象として今回検出された車線候補点を車線ポジションとするか否かの判断する場合を示したが、さらに以前に検出された車線ポジションをも参照して対象となる直線を決定するように構成することも可能である。

また、本実施形態では、車線ポジションの連続線、破線、車線分岐の特徴付けを車線や車線ポジションの信頼度に反映させる場合についてのみ例示したが、これらの特徴付けを他の種々の制御に利用するように構成することも可能であり、適宜行われる。

ところで、前記条件１１の説明で述べたように、道路中央に標示された最高速度や進行方向を表す道路標示や雨天時等に前方車輌のタイヤが道路上に残す白い痕跡等を誤って車線と認識してしまう場合がある。実際、本実施形態においても、図１９に示したように、道路中央の道路標示を車線と誤認識して車線候補点が誤検出され、ハフ変換によりピーク直線ｌ２が得られる。

このような車線候補点の誤検出を防止するために、図３１に示すように、車線候補点検出変換処理部９１を、同図に斜線を付して示される自車輌の推定軌跡Ｌestを中心とする自車輌の車幅分の領域Ｓａについては予め探索領域Ｓから除外して車線候補点の探索を行わないように構成することが可能である。この場合、探索開始点ｉｓは図３１に示すように車幅の左右端に設定される。

しかし、このように構成すると、前記条件１１ただし書きの場合と同様に、自車輌が車線変更等で車線を跨いでいる場合に車線を検出できなくなる。そのため、車線候補点検出変換処理部９１は、図３２に示すように、探索領域Ｓから除外された前記領域Ｓａ内においても、前回の検出で検出された左右の車線ＬＲLast、ＬＬLastまたは左右の車線直線ｒ１Last、ｌ１Lastから所定距離離間した位置までの領域Ｓｂについては探索を行うように構成することが好ましい。

例えば図３２のように車輌が左車線を跨いで車線変更しようとしている場合、前回の検出で検出された左車線ＬＬlastは画像上では左側から徐々に領域Ｓａに進入してくるが、上記のように構成することで、不検出領域Ｓａに進入してくる車線を確実に追跡して検出することが可能となる。

なお、車線変更する場合のように、左右の車線がある時点から反対側の車線として認識されるようになる。そのような場合には、例えば前回検出された左車線ＬＬlastの実空間上での延長線が自車輌の中心を右側に超えている場合には今回の検出ではその車線を右車線として取り扱うように車線変更処理を行うように構成することが可能である。

一方、検出手段９で所定のサンプリング周期で連続して車線を検出している場合には、検出手段９の車線候補点検出変換処理部９１で、前回検出された車線や車線直線の検出位置を活用して、それらの車線や車線直線を基準として探索領域Ｓをそれらの周囲のみに限定して設定することも可能である。このように探索領域Ｓを狭めることで処理速度を向上させることが可能となるとともに、車線候補点等の誤検出をより低減させることが可能となる。

具体的には、検出手段９の車線候補点検出変換処理部９１における車線候補点の探索において、前回の検出処理で車線が検出されている場合には、図３３に示すように、今回検出を行う基準画像Ｔ上に、前回検出された右車線ＬＲlastや左車線ＬＬlastの検出位置を基準としてその左右方向に実空間上でそれぞれ所定距離離れた範囲内のみをそれぞれ探索領域Ｓｒ、Ｓｌとして設定する。

そして、探索を行う水平ラインｊと右車線側探索領域Ｓｒの左端および左車線側探索領域Ｓｌの右端と交点の画素をそれぞれの領域の探索開始点ｉｓとし、右車線側では水平ラインｊ上を右向きに、左車線側では水平ラインｊ上を左向きにそれぞれ１画素ずつオフセットしながら探索し、それぞれ探索終了点ｉｅまで車線候補点の探索が行われる。

この場合、右車線ＬＲlastや左車線ＬＬlastの検出位置から実空間上でそれぞれ左右方向に所定距離離れた点が基準画像Ｔ上でどの画素に対応するかを計算により求めることも可能であるが、処理の負荷が大きくなるため、水平ラインｊごとにその所定距離に対応する画素数を与えるテーブルを予め用意しておくとよい。車線候補点検出変換処理部９１は、水平ラインｊに対応する所定距離をテーブルから読み出して探索領域Ｓｒ、Ｓｌを設定して車線候補点の探索を行うことも可能である。

また、前回の検出処理で車線は検出されなかったが図２３に示したような車線直線ｒ１、ｌ１が検出されている場合は、図示は省略するが、前記と同様にして、車線直線ｒ１、ｌ１を前回検出された車線直線ｒ１last、左車線ｌ１lastとし、今回検出を行う基準画像Ｔ上にそれらの検出位置を基準としてその左右方向に実空間上でそれぞれ所定距離離れた範囲内をそれぞれ探索領域Ｓｒ、Ｓｌとして設定して、車線候補点の探索を行う。

さらに、前回の検出処理で車線ＬＲ、ＬＬも車線直線ｒ１、ｌ１もともに検出されなかった場合には、図３４に示すように、基準画像Ｔ上に表される自車輌のヨーレートから推定される推定軌跡Ｌestから左右に実空間上で所定距離離間した位置Ｐｒ、Ｐｌを基準としてその左右方向に実空間上でそれぞれ所定距離離れた範囲内をそれぞれ探索領域Ｓｒ、Ｓｌとして設定する。そして、前記と同様に探索開始点ｉｓおよび探索終了点ｉｅを設定して水平ラインｊ上で車線候補点の探索が行われる。

ここで、推定軌跡Ｌestと左右の位置Ｐｒ、Ｐｌとの間の所定距離は、例えば、記録されている直近の道幅の最小値Ｌminthの半分とすることも可能であり、また、１．５ｍ等の値を予め設定しておくことも可能である。また、前回の検出処理では何らかのトラブルで偶然車線も車線直線も検出されなかったが、今回の基準画像Ｔ上で車線等の位置が前回の検出位置からさほどずれていない場合もあるので、所定のサンプリング周期で連続して車線も車線直線も検出されなかった場合に図３４に示した処理を行うように構成することも可能である。

なお、前回の検出処理では何らかの原因でたまたま車線ＬＲ、ＬＬも車線直線ｒ１、ｌ１も検出されなかったような場合、今回の検出処理では、前々回の検出処理で検出された車線や車線直線の付近で車線候補点が検出される可能性が高い。そこで、所定回数連続して車線も車線直線も検出されない場合に、図３４に示したような自車輌の推定軌跡Ｌestから左右に所定距離離間した位置Ｐｒ、Ｐｌを基準とした探索領域Ｓｒ、Ｓｌの設定を行うことが好ましい。

また、前回の検出処理で車線も車線直線もともに検出されなかった場合には、車線が前回の検出処理で検出された位置から大きくずれている場合もある。そのため、そのような場合には、今回の検出処理の探索領域Ｓｒ、Ｓｌを前回の検出処理の際の探索領域Ｓｒ、Ｓｌよりも拡大して設定するように構成することが可能である。

具体的には、前回の検出処理で車線も車線直線もともに検出されなかった場合には、例えば前回の検出処理で図３３に示したように車線ＬＲlast、ＬＬlastや車線直線ｒ１last、ｌ１lastが検出されている場合に今回設定される探索領域Ｓｒ、Ｓｌよりも、それぞれ左右方向に探索領域Ｓｒ、Ｓｌを所定幅ずつ広げてさらに広い探索領域Ｓｒ、Ｓｌを設定する。次回の検出処理で車線も車線直線も検出されなければさらに探索領域Ｓｒ、Ｓｌを拡大する。

このように構成すると、車線または車線直線が検出されるまで、推定軌跡Ｌestから左右に実空間上で所定距離離間した位置Ｐｒ、Ｐｌを基準とした探索領域Ｓｒ、Ｓｌがそれぞれ左右方向に各サンプリング周期ごとに拡大していく。そのため、車線や車線直線を確実に検出することが可能となる。

なお、この場合、探索領域が拡大し続けると探索処理の負担が大きくなるので、例えば、前記所定距離が推定軌跡Ｌestから実空間上で２車線分程度の距離に達した時点で探索領域Ｓｒ、Ｓｌの拡大を止めるように構成することも可能である。

ところで、図２８に示したように車線分岐等で道幅が広がっていく場合には、図３５に示すように、やがて前方に新たな車線ＮＬが現れることが多い。しかし、このような場合に図３３に示したように今回の検出処理の探索領域Ｓｒ、Ｓｌを前回検出された車線ＬＲlast、ＬＬlastや車線直線ｒ１last、ｌ１lastの周囲に限定して設定したままでは、図３５に示すように例えば前回検出された右車線ＬＲlastの検出位置を基準として狭い範囲の探索領域Ｓｒを設定して右車線ＬＲを追跡する。そのため、この新たに出現する車線ＮＬを検出して認識することができなくなる可能性が高い。

そこで、図３６に示すように、前回検出された右車線ＬＲlastの検出位置が推定軌跡Ｌestから設定された第１離間距離閾値ＬＷth１以上離間している車線部分Ｆについては今回の探索領域Ｓｒを内側に拡大するように構成することが好ましい。

ただし、探索領域Ｓｒを内側に拡大しすぎると、前述したように道路中央に標示された最高速度や進行方向を表す道路標示等を誤って検出する可能性が高くなるから、探索領域の内側への拡大は、推定軌跡Ｌestから推定される自車輌の右端部付近、すなわち推定軌跡Ｌestから自車輌の車幅の半分だけ右側に離間した位置までに留めることが好ましい。

また、この探索領域の内側への拡大は、前回の検出処理で車線直線しか検出されていない場合にも、その車線直線に対して同様に行うことができる。

また、図３３に示したように、今回の検出処理の探索領域Ｓｒ、Ｓｌを前回検出された車線ＬＲlast、ＬＬlastや車線直線ｒ１last、ｌ１lastの周囲に限定して設定すると、図３７に示すように、雨天時等に、前回何らかの原因で前方車輌Ｖahのタイヤが道路上に残す白い痕跡ＴＲを誤って例えば右車線ＬＲlastとして検出した場合、今回の探索領域Ｓｒがその痕跡ＴＲの周囲に限定されてしまい、右車線を正しく検出できなくなる。

そこで、図３８に示すように、前回検出された右車線ＬＲlastの検出位置が推定軌跡Ｌestから設定された第２離間距離閾値ＬＷth２以内に接近している車線部分Ｇについては今回の探索領域Ｓｒを設定された所定量Ｗ１だけ外側に拡大するように構成することが好ましい。なお、図３８では、前記車線部分Ｇは前回検出された右車線ＬＲlastの全域である。

ただし、探索領域Ｓｒを外側に拡大すると不要な車線を検出する可能性があるので、前記所定量Ｗ１を例えば２ｍに設定しておくとよい。

一方、検出した左右の車線や車線直線の道幅が拡大し或いは縮小する場合は、図２８、図２９に示したように片側の車線部分が車線分岐として特徴付けられ、或いは図３０に示したように片側の車線部分が車線合流として特徴付けられる。しかし、これらの車線分岐や車線合流とされた車線や車線直線は、実際には誤検出である可能性がある。

そこで、車線候補点検出変換処理部９１における今回の検出では、図３９や図４０に示すように、右車線の探索領域Ｓｒは、前回検出された右車線ＬＲlastの周囲に加えて、前回検出された左車線ＬＬlastから所定量だけ離れた位置まで探索領域を拡大し、左車線の探索領域Ｓｌも前回検出された右車線ＬＲlastから所定量だけ離れた位置まで探索領域を拡大して車線候補点の探索を行うように構成するのが好ましい。

なお、本実施形態では、所定量として、前回の検出において車線検出処理部９３で算出された推定道幅ΔＬt-1を用いているが、この他にも、例えば、道幅の最小値Ｌminthを用いてもよいし、２ｍ等の一定値を用いてもよい。また、図３９、図４０では、前回の検出で左右の車線ＬＲlast、ＬＬlastが検出されている場合について述べたが、左右の車線直線ｒ１last、ｌ１lastしか得られていない場合も同様に車線直線に基づいて左右の探索領域Ｓｒ、Ｓｌを拡大する。

また、逆に、実際には車線分岐や車線合流等により道幅が拡大したり縮小しているが、それが検出されずに車線や車線直線が誤検出されている場合もあり得る。例えば、前回検出された左車線ＬＬlastが実際には車線分岐等により左側に膨らんでいるにもかかわらず、それが検出されずに左車線ＬＬlastが誤検出されたとする。

その場合、今回の検出では、基準画像上に設定された前回検出された左車線ＬＬlastを基準とする探索領域Ｓｌ内で水平ラインを１画素分ずつ上向きにずらしながら車線候補点を探索していくと、図４１に示すように、車線候補点Ｐcandiが探索領域Ｓｌの境界から逸脱してしまい、検出されなくなる。

このような不都合を回避するため、車線候補点Ｐcandiが探索領域から逸脱する場合には探索領域を拡大することが好ましい。例えば、図４１のような場合には、図４２に示すように、車線候補点検出変換処理部９１は、水平ラインｊ上の探索を行って車線候補点Ｐcandi（０）が検出されるとその直前に検出された車線候補点Ｐcandi（−１）と現在検出された車線候補点Ｐcandi（０）とを結ぶ線分を算出し、その線分に平行で一定距離離れた位置まで探索領域を拡大する。

また、水平ラインｊをさらに上向きにずらしながら探索して、次の車線候補点Ｐcandi（１）が見つかれば、今度は車線候補点Ｐcandi（０）と車線候補点Ｐcandi（１）を結ぶ線分を算出してその線分に平行で一定距離離れた位置まで探索領域を拡大する。

なお、その際、車線候補点が異常な所に検出されているのは車線分岐や車線合流等のためではなく、単なるノイズや誤検出等である可能性がある。そのため、探索領域の境界のうち拡大された側とは反対側の境界、すなわち図４１においては右側の境界は、拡大された側の境界に追従するのではなく、それとは無関係に、元の前回検出された左車線ＬＬlastを基準とする探索領域における境界のままとする方が好ましい。

本実施形態に係る車線認識装置のブロック図である。 デジタルデータ化された基準画像を説明する図である。 推定軌跡、探索開始点および探索終了点を説明する図である。 前方風景から抽出された立体物を囲む枠を説明する図である。 図４で立体物以外の部分の探索領域を説明する図である。 検出手段で行われる処理の基本フローを示すフローチャートである。 車線候補点検出変換処理における処理を示すフローチャートである。 （Ａ）第１開始点輝度閾値ｐth１および（Ｂ）第１開始点エッジ強度閾値Ｅth１を説明する図である。 基準画像上の画素に対応する道路面上の点までの距離の算出方法を説明する図である。 古い車線と一部重なった新しい車線を説明する図である。 （Ａ）第２開始点輝度閾値ｐth２および（Ｂ）第２開始点エッジ強度閾値Ｅth２を説明する図である。 水平ラインｊ上に検出された車線候補点を説明する図である。 ハフ平面であるａ−ｂ平面に引かれた直線を説明する図である。 直線が通過するａ−ｂ平面の升目を説明する図である。 水平ライン上の探索で検出された車線候補点を示す図である。 道路脇の雪等を撮像した場合の輝度変化を表すグラフである。 トンネル内等の暗い状況下で撮像した場合の輝度変化を表すグラフである。 ａ−ｂ平面の各行ごとの計数値の最大値の分布を示すグラフである。 ピーク直線を基準画像上に表した図である。 図１９のピーク直線を実空間上に表した図である。 ピーク直線と自車輌の推定軌跡との平行度の計算方法を説明する図である。 検出された右車線および左車線を基準画像上に表した図である。 車線検出処理で最初に除外される車線候補点を示す図である。 車線候補点を車線ポジションとして記録する条件を説明する図である。 図２４で示した条件に該当せず除外される車線候補点を示す図である。 最終的に検出された右車線および左車線を示す図である。 推定道幅の算出方法を説明する図である。 車線分岐と特徴付けられる車線ポジションを実空間上に示した図である。 車線分岐と特徴付けられる車線ポジションを実空間上に示した図である。 車線合流と特徴付けられる車線ポジションを実空間上に示した図である。 探索領域から除外される自車輌の車幅分の領域を説明する図である。 自車輌の車幅分の領域内でも前回検出された車線周囲の領域については探索を行うことを説明する図である。 前回検出された車線の周囲に限定された探索領域を説明する図である。 自車輌の推定軌跡から所定距離離れた範囲とされた探索領域を説明する図である。 道幅が拡大する車線の周囲のみとされた探索領域を説明する図である。 図３５の場合に内側に拡大された探索領域を説明する図である。 前方車輌のタイヤ痕等の周囲のみとされた探索領域を説明する図である。 図３７の場合に外側に拡大された探索領域を説明する図である。 反対車線から所定距離まで拡大された探索領域を説明する図である。 反対車線から所定距離まで拡大された探索領域を説明する図である。 探索領域から逸脱する車線候補点を説明する図である。 車線候補点が逸脱する方向に拡大された探索領域を説明する図である。 （Ａ）は従来の車線認識装置で撮像した前方風景を示す図であり、（Ｂ）は撮像した前方風景の中から走行路を誤認識した結果を説明する図である。

符号の説明

１ 車線認識装置
２ 撮像手段
６ 画像処理手段
９ 検出手段
９１ 車線候補点検出変換処理部
９２ 車線直線検出処理部
９３ 車線検出処理部
Ｔ 基準画像
ｊ 水平ライン
Ｌ 距離
ｐｎij 輝度
Ｐcandi 車線候補点
ａ、ｂ、ｃ、ｄ 車線ポジション
ＬＲ、ＬＬ 車線
ｒ１、ｌ１ 車線直線
Ｓ、Ｓｒ、Ｓｌ、Ｓｂ 探索領域
Ｌest 推定軌跡
ｐth１ 第１開始点輝度閾値
ｐth２ 第２開始点輝度閾値
Ｅth１ 第１開始点エッジ強度閾値
Ｅth２ 第２開始点エッジ強度閾値
Ｅth３ 第３開始点エッジ強度閾値
Ａth１ 第１車線平均輝度閾値
Ａth２ 第２車線平均輝度閾値
ＬＷth１ 第１離間距離閾値
ＬＷth２ 第２離間距離閾値
−Ｅth２ 終了点エッジ強度閾値
Ｗth１ 第１車線幅閾値
Ｗth２ 第２車線幅閾値
Ｌmaxth、Ｌminth 道幅の最大値、最小値
ΔＬ 推定道幅

Claims (26)

1. 道路を含む自車輌の進行路を撮像して一対の画像を出力する撮像手段と、
   前記撮像された一対の画像に基づいて少なくとも一方の画像の設定領域における実空間上の距離を算出する画像処理手段と、
   車線を検出する検出手段とを備え、
   前記検出手段は、
   前記一方の画像について輝度および前記距離に基づいて道路面上にある画素を車線候補点として検出し、前記車線候補点に対してハフ変換を行う車線候補点検出変換処理部と、
   前記ハフ変換により得られる直線の中から少なくとも自車輌の位置又は挙動に基づいて車線としてふさわしい直線を自車輌の右側および左側に１本ずつ検出する車線直線検出処理部と、
   前記検出された直線を基準として前記車線候補点の中から車線を表す車線候補点である車線ポジションを記録していくことで直線状または曲線状の車線を検出する車線検出処理部と
   を備えることを特徴とする車線認識装置。
2. 前記検出手段の車線候補点検出変換処理部は、前回の検出で前記車線が検出されている場合または前記車線が検出されずに前記直線が検出されている場合には、今回の検出において、前記一方の画像上の前回検出された前記車線または前記直線の検出位置の周囲のみで車線候補点の探索を行うように前記一方の画像上に探索領域を設定することを特徴とする請求項１に記載の車線認識装置。
3. 前記検出手段の車線候補点検出変換処理部は、所定回数前記車線と前記直線がともに検出されなかった場合には、今回の検出において、前記一方の画像上に表される自車輌の挙動から推定される推定軌跡から所定距離離間した位置の周囲のみで車線候補点の探索を行うように前記一方の画像上に探索領域を設定することを特徴とする請求項１に記載の車線認識装置。
4. 前記検出手段の車線候補点検出変換処理部は、今回の検出の探索領域を前回の検出の際の探索領域より拡大して設定することを特徴とする請求項３に記載の車線認識装置。
5. 前記検出手段の車線候補点検出変換処理部は、前回の検出で検出された前記車線または前記直線が今回の検出における自車輌の挙動から推定される推定軌跡から第１離間距離閾値以上離間している場合には、その推定軌跡から前記第１離間距離閾値以上離間している車線部分または直線部分については前記探索領域を前記推定軌跡から推定される自車輌の端部付近にまで拡大することを特徴とする請求項２に記載の車線認識装置。
6. 前記検出手段の車線候補点検出変換処理部は、前回の検出で検出された前記車線または前記直線が今回の検出における自車輌の挙動から推定される推定軌跡に対して第２離間距離閾値以内に接近している場合には、その推定軌跡に対して前記第２離間距離閾値以内に接近している車線部分または直線部分については前記探索領域を自車輌から離れる方向に所定量だけ拡大することを特徴とする請求項２に記載の車線認識装置。
7. 前記検出手段の車線候補点検出変換処理部は、今回の検出において前回検出された前記車線または前記直線を基準として探索領域を設定する際に、前回検出されたその車線または直線の反対車線または反対側の直線から所定量だけその車線または直線の方向に離間した位置まで前記探索領域を拡大することを特徴とする請求項２に記載の車線認識装置。
8. 前記検出手段の車線候補点検出変換処理部は、今回の検出において前回検出された前記車線または前記直線を基準として探索領域を設定し、前記探索領域内で前記一方の画像の水平ラインを１画素分ずつ上向きにずらしながら車線候補点を探索する際に、現在の水平ライン上に検出された車線候補点とその直前に検出された車線候補点と結ぶ線分が前記探索領域を逸脱する場合には、前記線分方向に前記探索領域を拡大することを特徴とする請求項２に記載の車線認識装置。
9. 前記検出手段の車線候補点検出変換処理部は、車線候補点の探索において、自車輌の挙動から推定される推定軌跡を中心とする自車輌の車幅分の領域については探索を行わないことを特徴とする請求項１に記載の車線認識装置。
10. 前記検出手段の車線候補点検出変換処理部は、車線候補点の探索において、自車輌の挙動から推定される推定軌跡を中心とする自車輌の車幅分の領域のうち、前回の検出で検出された前記車線または前記直線から所定距離離間した位置までは探索を行うことを特徴とする請求項９に記載の車線認識装置。
11. 前記検出手段の車線候補点検出変換処理部は、前記車線候補点の探索において、前記画像処理手段により算出された距離の情報に基づいて前記一方の画像上で抽出された立体物を表す画素部分以外の画素部分を探索領域とし、その探索領域内で車線候補点の探索を行うことを特徴とする請求項１から請求項１０のいずれか一項に記載の車線認識装置。
12. 前記検出手段の車線直線検出処理部は、前記画像検出手段により検出された距離データと、車線間の画素数とから算出した車線間の距離に基づき前記車線としてふさわしい直線を検出することを特徴とする請求項１に記載の車線認識装置。
13. 前記検出手段の車線直線検出処理部は、前記ハフ変換により得られる直線の中から、前記画像検出手段により検出された距離データに基づいて計算される自車輌の推定軌跡との平行度、前回検出された車線との距離、および前回検出されている反対車線から推定される車線との距離に基づいて、前記車線としてふさわしい直線として自車輌の右側および左側にそれぞれ１本ずつ検出することを特徴とする請求項１に記載の車線認識装置。
14. 前記検出手段の車線直線検出処理部は、前記車線としてふさわしい直線として自車輌の右側および左側にそれぞれ１本ずつ検出した直線の実空間上の道幅が所定の距離範囲内になく、または両直線の平行度が設定した閾値より悪い場合には、各直線のハフ平面における各計数値、前記画像検出手段により検出された距離データに基づいて計算される自車輌の前記推定軌跡との平行度、および前回検出された車線位置からの変位量に基づいていずれか一方の直線のみを前記車線としてふさわしい直線として検出することを特徴とする請求項１３に記載の車線認識装置。
15. 前記検出手段の車線検出処理部は、前記自車輌の右側および左側にそれぞれ１本ずつ検出された直線を基準として前記車線候補点の中から車線を表す車線候補点である車線ポジションを記録する際に、左右両方の車線ポジションが検出されている場合には、左右の車線ポジション間の画素数を前記距離データに基づいて実空間上の道幅に換算し、換算された道幅に基づいて道幅の最大値と最小値を算出することを特徴とする請求項１に記載の車線認識装置。
16. 前記検出手段の車線検出処理部は、前記一方の画像の水平ラインを１画素分ずつ上向きにずらしながら前記検出された直線を基準として水平ライン上に検出された前記車線ポジションが所定の個数に達した後、その上方の水平ラインで検出された前記車線候補点と最後に検出された車線ポジションとの上下方向および水平方向の変位がそれぞれ規定値以内であればその車線候補点を車線ポジションとして記録していくことを特徴とする請求項１に記載の車線認識装置。
17. 前記検出手段の車線検出処理部は、前記一方の画像の水平ラインを１画素分ずつ上向きにずらしながら前記検出された直線を基準として水平ライン上に検出された前記車線ポジションが所定の個数に達した後、その上方の水平ラインで検出された前記車線候補点と最後に検出された車線ポジションとの上下方向および水平方向の変位がそれぞれ規定値以内であればその車線候補点を車線ポジションとして記録していき、
    前記左右の車線ポジション間の画素数から換算された実空間上の道幅が前記最小値から前記最大値までの範囲内から外れる場合には、自車輌の推定軌跡との平行度が高い方の車線ポジションが属する車線を基準とすべき車線として検出することを特徴とする請求項１５に記載の車線認識装置。
18. 前記検出手段の車線検出処理部は、前記左右の車線ポジション間の画素数から換算された実空間上の道幅が前記最大値を超える場合には、自車輌の推定軌跡との平行度が低い方の車線ポジションが属する車線を車線分岐の車線として検出し、算出した道幅が前記最大値を最初に超えた車線ポジションの実空間上の位置を計算し、自車輌からその車線ポジションまでの距離を算出して車線分岐が開始される距離として検出することを特徴とする請求項１７に記載の車線認識装置。
19. 前記検出手段の車線検出処理部は、前記左右の車線ポジション間の画素数から換算された実空間上の道幅が前記最小値を下回る場合には、自車輌の推定軌跡との平行度が低い方の車線ポジションが属する車線を車線合流の車線として検出し、算出した道幅が前記最小値を最初に下回った車線ポジションの実空間上の位置を計算し、自車輌からその車線ポジションまでの距離を算出して車線合流が開始される距離として検出することを特徴とする請求項１７に記載の車線認識装置。
20. 前記検出手段の車線検出処理部は、検出した車線に属する車線ポジション間の距離を算出して車線が連続線であるか破線であるかを検出し、検出した車線の情報または車線ポジションの情報を連続線または破線として特徴付けて出力することを特徴とする請求項１から請求項１９のいずれか一項に記載の車線認識装置。
21. 車線候補点検出変換処理部は、前記一方の画像についての画素ごとの前記輝度および前記距離に基づいて道路面上にあり輝度値および輝度微分値がそれぞれ所定の第１開始点輝度閾値および第１開始点エッジ強度閾値以上である前記一方の画像上の画素を車線候補点として検出し、前記車線候補点に対してハフ変換を行うことを特徴とする請求項１記載の車線認識装置。
22. 前記検出手段の車線候補点検出変換処理部は、前記一方の画像の水平ライン上を探索して、輝度値が前記第１開始点輝度閾値より大きい第２開始点輝度閾値以上であり、輝度微分値が第２開始点エッジ強度閾値以上であり、かつ、車線に対応する高輝度の画素部分の平均輝度が所定の第１車線平均輝度閾値以上である画素部分が見出された場合に、既に検出されている高輝度の画素部分の平均輝度が前記第１車線平均輝度閾値より小さい画素部分に対応する車線候補点を削除し、前記新たに見出された画素部分に対応する車線候補点を保存し、前記ハフ変換の対象とすることを特徴とする請求項２１に記載の車線認識装置。
23. 前記検出手段の車線候補点検出変換処理部は、前記車線候補点となり得る開始点から前記一方の画像の水平ライン上を探索して、輝度微分値が所定の終了点エッジ強度閾値以下であり、または輝度値が前記開始点における輝度値より小さい画素が、前記水平ラインの実空間上での自車輌からの距離および車線幅に応じて設定された車線幅閾値に対応する画素数分探索しても検出されない場合には、前記開始点を車線候補点とせずに前記ハフ変換の対象としないことを特徴とする請求項２１に記載の車線認識装置。
24. 前記検出手段の車線候補点検出変換処理部は、前記車線候補点となり得る開始点から前記一方の画像の水平ライン上を探索して、輝度微分値が所定の終了点エッジ強度閾値以下であり、または輝度値が前記開始点における輝度値より小さい画素を終了点として検出し、前記開始点から前記終了点までの画素の平均輝度と道路面輝度との差が所定の第２車線平均輝度閾値より小さい場合には、前記開始点を車線候補点とせずに前記ハフ変換の対象としないことを特徴とする請求項２１に記載の車線認識装置。
25. 前記検出手段の車線候補点検出変換処理部は、前記開始点における輝度微分値が前記第１開始点エッジ強度閾値より大きい値に設定された第３開始点エッジ強度閾値より小さく、かつ、前記開始点から前記終了点までの画素数が前記水平ラインの実空間上での自車輌からの距離および車線幅に基づいて通常の車線幅に対応して設定された第２車線幅閾値より大きい場合には、前記第２車線平均輝度閾値をより高い値に設定して前記開始点から前記終了点までの画素の平均輝度と道路面輝度との差と第２車線平均輝度閾値とを比較することを特徴とする請求項２４に記載の車線認識装置。
26. 前記検出手段の車線候補点検出変換処理部は、前記開始点における輝度微分値が前記第１開始点エッジ強度閾値より大きい値に設定された第３開始点エッジ強度閾値以上であり、かつ、前記開始点から前記終了点までの画素数が前記水平ラインの実空間上での自車輌からの距離および車線幅に基づいて通常の車線幅に対応して設定された第２車線幅閾値以下である場合には、前記第２車線平均輝度閾値をより低い値に設定して前記開始点から前記終了点までの画素の平均輝度と道路面輝度との差と第２車線平均輝度閾値とを比較することを特徴とする請求項２４に記載の車線認識装置。

Images