JP2011022995A - 消失点推定装置およびプログラム - Google Patents

Abstract

【課題】撮像画像から単一の直線しか検出されない場合であっても、計算量を増大させることなく、安定して消失点の位置を推定可能な消失点推定装置を提供する。
【解決手段】直進判定部４８にて自車両が直進していると判定されると、直線検出部４２は、画像処理部４１の特徴点抽出処理によって撮像画像から抽出された特徴点から画像中の直線を検出し、その直線を表すパラメータ（直線情報）を算出する。交点算出部４４は、現在の推定サイクルで直線検出部４２にて算出された直線情報から特定される今回直線同士の交点の位置、及び、直線情報記憶部４３に記憶されている前回の推定サイクルで算出された直線情報から特定される過去直線と今回直線との交点の位置を算出する。計数部４５は、交点算出部４４にて算出された交点の位置の出現頻度を、Ｘ軸方向，Ｙ軸方向のそれぞれについて計数し、計数結果である頻度分布から画像中の消失点の位置を推定する。
【選択図】図１

Description

本発明は、画像中の消失点の位置を推定する消失点推定装置に関する。

車載カメラ等による撮像画像に対して３次元的な画像処理（例えば、視点変換、道路に対する車両の姿勢推定等）を施す場合、画像中の消失点を検出することが重要である。
消失点は、画像内の直線が一点で交わる無限遠点であり、例えば、図５に示すように、画像から複数の直線Ｌを抽出することができれば、これらの交点Ｐから算出することが可能である。

ところで、車載カメラ等から得られる撮像画像では、車両の積載状態や走行状態によって車載カメラの取付高さや傾きが変化することによって消失点の位置も変化するため、精度の高い画像処理を行うためには、随時、消失点の検出を行う必要がある。

この消失点を検出する際に、具体的には以下のような手法が用いられている。
例えば、特許文献１には、撮像画像から抽出した複数の線分を使用し、線分の両端と消失点とで形成される三角形の面積を全ての線分について合計した評価値を算出し、その評価値が最小となる位置を消失点の位置として推定する手法が記載されている。

特許文献２には、画像中の点のうち、その点又はその近傍を通過する複数の直線の角度が相対的に広い範囲に疎に分布している点を消失点として検出する手法が記載されている。

特許文献３には、事前情報を用いて推定された消失点の存在範囲内に位置する画素から、放射線状に複数の直線を引き、画像から抽出した直線との一致度から消失点らしさを表す消失点確度を算出し、その消失点確度に基づいて消失点を抽出する手法が記載されている。

特許文献４には、消失点の候補となる複数の予測仮説点を設定し、撮像画像から検出された直線との距離に基づいて、消失点である確からしさを表す予測仮説点の重みを逐次更新すると共に、その時点で最大の重みを持った予測仮説点を消失点と推定する手法が記載されている。

特開２００５−２７５５００号公報 特開２００８−１２３０３６号公報 特開２００８−２２５７８４号公報 特開２００８−２９３１７２号公報

しかし、特許文献１〜３に記載の手法では、撮像画像から複数の直線が抽出されることを前提としているため、複数の直線を抽出することができない走行環境にある場合（例えば、カーブ路や片側にしか白線がない道路等）、安定して消失点を推定することができないという問題があった。

また、特許文献４に記載の手法では、単一の直線しか抽出されない場合であっても、予測仮説点の重みは更新されるため、安定して消失点を推定することが可能ではあるが、撮像画像が供給される処理周期毎に、撮像画像から抽出された各直線と多数存在する各予測仮説点との距離の算出、及びその算出された距離に基づく重みの更新が必要であり、計算量が膨大なものとなるという問題があった。

本発明は、上記問題点を解決するために、撮像画像から単一の直線しか検出されない場合であっても、計算量を増大させることなく、安定して消失点の位置を推定可能な消失点推定装置を提供することを目的とする。

上記目的を達成するためになされた本発明の消失点推定装置では、直線抽出手段が、移動体に取り付けられた撮像手段から撮像画像を繰り返し取得し、その取得した撮像画像に基づく直線を抽出する。すると、交点算出手段が、直線抽出手段にて抽出された直線である抽出直線同士の交点位置を算出し、第１推定手段が、交点算出手段にて算出された交点位置に基づき、撮像画像中の消失点の位置を推定する。

なお、交点算出手段では、記憶手段が、直線抽出手段にて抽出された抽出直線を順次記憶し、時差交点算出手段が、直線抽出手段にて最新の撮像画像から抽出された抽出直線である今回直線と、過去の撮像画像から抽出され記憶手段に記憶された抽出直線である過去直線との交点である時差交点の位置を交点位置として算出する。

つまり、例えば、移動体が車両であり、直線抽出手段が道路上の白線から直線を抽出することを考えた場合、直進中であっても、道路の幅方向における車両の位置を正確に一定に保つことは事実上不可能であるため、図６に示すように、撮像画像内における白線の位置は、撮像画像毎にばらついたものとなる。これに対して、無限遠点である消失点の位置は、車両の走行状態が有る程度安定していれば大きく変化することがないため、過去直線（ひいては時差交点）を利用しても、消失点を求めることができるのである。

このように構成された本発明の消失点推定装置では、直線抽出手段にて、今回直線が一本しか抽出されない場合でも、記憶手段に記憶された過去直線を利用した時差交点の交点位置が算出されるため、その算出された時差交点の交点位置に基づいて消失点の位置を推定することができる。

また、本発明の消失点推定装置によれば、特許文献４に記載された従来手法のように、消失点になりうる候補点を設定したり、候補点毎に候補点らしさを表す重みを算出したりする必要がないため、計算量を増大させることなく、消失点の位置を推定することができる。

ところで、実際の走行環境では、白線を全く検出できないシーンが存在するため、上述の手法だけでは、安定して消失点を推定することができない場合がある。
そこで、本発明の消失点推定装置は、更に、物体抽出手段が、撮像手段から取得した撮像画像に基づき、撮像された物体を抽出し、該物体が地表面に接する位置である下端位置を求め、第２推定手段が、物体抽出手段での抽出結果、撮像手段の内部パラメータおよび外部パラメータを用いて、撮像画像中の消失点の位置を推定し、出力決定手段が、第１推定手段での推定結果および第２推定手段での推定結果から、当該装置の出力となる最終的な消失点の位置を決定するように構成されていてもよい。

この場合、白線を検出できなくても、道路上に何等かの物体が存在していれば、消失点の位置の推定が可能であるため、推定結果を安定して得ることができる。
このように第１推定手段と第２推定手段とで消失点の推定結果が得られる場合、出力決定手段は、例えば、第１推定手段から推定結果を得ることができる場合は、第１推定手段での推定結果を、第１推定手段から推定結果を得ることができない場合は、第２推定手段での推定結果を、当該装置の出力とするように構成されていてもよい。

この場合、出力決定手段は、二つの推定手段のいずれか一方だけを動作させることで、動作させた一方の推定手段から推定結果を得てもよいし、二つの推定手段を同時に動作させて、状況に応じて、いずれかの推定結果を選択してもよい。

また、二つの推定手段を同時に動作させる場合、出力決定手段は、例えば、第１推定手段での推定結果および第２推定手段での推定結果を統計処理した結果を、当該装置の出力とするように構成されていてもよい。

ここでいう統計処理には、所定期間中に得られた推定結果の分布を利用することの他、両推定手段での推定結果を単純に平均することや、両推定手段の信頼度等に応じて推定結果を加重平均することも含む。

ところで、直線抽出手段は、撮像画像に撮像された物体のエッジ部分を抽出したエッジ画像から直線を抽出するように構成されていてもよい。
また、消失点は、移動体の進行方向の延長線上に存在することから、直線抽出手段が抽出する直線の一つとして、撮像画像上での移動体の進行方向を示す直線を加えてもよい。このような直線は、例えば、時系列的に得られる複数の撮像画像からオプティカルフローを検出することによって検出してもよいし、車両の挙動を表す各種情報から進行方向を推定してもよい。

特に、エッジ画像から直線を抽出する場合、直線抽出手段は、例えば、エッジ画像から、輝度が所定値以上変化するエッジ点を抽出し、そのエッジ点の位置を示す２次元座標を３次元座標に変換することで３次元エッジ点を求め、更に、その３次元エッジ点をハフ変換することで得られた３次元座標上の直線を、２次元座標上の直線に変換したものを、抽出直線とするように構成することが考えられる。

なお、２次元座標から３次元座標への座標変換、及び３次元座標から２次元座標への座標変換には、消失点が利用される。この座標変換に用いる消失点は、撮像手段の外部パラメータ（特に光軸の俯角）から決まる固定値を用いてもよいが、地表面と撮像手段との相対的な位置関係（撮像手段の取付高さや傾き）が随時変化する場合は、当該装置の出力（撮像画像の情報を利用して求めた消失点の位置）を用いることが望ましい。

つまり、当該装置の出力（推定された消失点の位置）には、地表面と撮像手段との相対的な位置関係の変化が反映されるため、その出力を用いて座標変換を行うことによって、座標変換の精度、ひいては消失点の位置の検出精度を向上させることができる。

なお、直線抽出手段は、第１推定手段による推定結果を得ることができない場合、座標変換に用いる消失点の位置を段階的に変化させるように構成されていてもよい。
つまり、第１推定手段にて推定結果を得られない原因の一つとして、直線抽出手段での処理（座標変換）に使用する消失点の位置が実際の位置から大きくずれていることにより、有効な直線を検出できていない場合が考えられる。従って、この座標変換に使用する消失点の位置を段階的に変化させた結果、実際の消失点の位置に接近すれば、第１推定手段の推定結果が得られるようになるわけである。

なお、消失点は、上述したように、移動体の進行方向の延長線上に存在することから、撮像手段が車両の進行方向に向けて設置されている場合、座標変換に使用する消失点の位置は、撮像画像の上下方向に延びる中心線に沿って変化させればよい。

ところで本発明の消失点推定装置が、物体抽出手段での抽出結果を順次記憶する下端位置記憶手段を備えている場合、直線抽出手段は、下端位置記憶手段に記憶内容によって示される下端位置の軌跡から直線を抽出するように構成されていてもよい。

この場合、道路上に白線がなくても、先行車両等の連続的に検出される物体が撮像画像中に存在すれば、直線を抽出することができ、第１推定手段を有効に動作させることができる。

また、本発明の消失点推定装置において、交点算出手段は、直線抽出手段にて前記今回直線が複数抽出された場合に、今回直線同士の交点である同時交点の位置を交点位置として算出する同時交点算出手段を備えていることが望ましい。即ち、前回の撮像画像を取得してから今回の取得画像を取得するまでの間に移動体の挙動が大きく変化した場合には、時差交点が消失点である可能性が大きく低下するため、時差交点だけでなく、同時交点も用いることによって、信頼性の低下を抑制することができる。

次に、本発明の消失点推定装置では、判定手段が、自車両の進行方向を判定し、この判定手段により直進中であると判定された場合に、消失点の位置の推定を行うように構成されていてもよい。

具体的には、直進中ではない場合には、直線抽出手段による直線の抽出や、推定手段による推定を禁止することによって実現することが考えられる。
このように構成された本発明の消失点推定装置によれば、消失点の推定精度を向上させることができる。

また、第１推定手段は、交点算出手段にて算出された交点位置の出現頻度を計数する計数手段を備え、この計数手段での計数結果を利用した推定を行うように構成されていてもよい。

但し、出現頻度の計数は、撮像画像を取得する毎に、その都度個別に行ってもよいし、複数の撮像画像に渡って継続的に行ってもよい。
なお、計数手段は、出現頻度の計数時に、交点位置のそれぞれに対して、該交点を形成する直線の信頼度に応じた重み付けをするように構成されていてもよい。

ここでいう直線の信頼度は、その延長線上に消失点がある可能性の高さのことである。
具体的には、移動体の進行方向を示す直線や、判定手段によって移動体が直進中であると判定されている時に検出された直線は、信頼度が高いものと考えられる。

そして、第１推定手段は、計数手段による計数値が最大となる交点位置を消失点の位置として推定したり、計数手段による計数値が予め設定された抽出基準を満たす交点位置を抽出位置とし、該抽出位置の加重平均により求めた位置を、消失点の位置として推定したりするように構成されていてもよい。

但し、抽出基準とは、例えば、計数値が予め設定された閾値より大きいか否かであってもよいし、係数値が上位から予め設定された規定番目以内であるか否かであってもよい。
更に、消失点の位置ずれは初期位置周辺に限られ、初期位置から大きく変位する可能性が低い場合、推定手段は、自車両への取り付け時に設定される消失点の初期位置に対する距離が近いほど、加重平均の算出に用いる加重値を大きくするように構成されていてもよい。

また、撮像手段から供給される撮像画像の各画素は、撮像物体の光学的特性に応じた画素値を有していてもよいし（即ち、撮像手段がカメラ等からなる）、撮像物体までの距離に応じた画素値を有していてもよい（即ち、撮像手段が距離センサ等からなる）。

ところで、上述の消失点推定装置を構成する各手段は、コンピュータを、これら各手段として機能させるためのプログラムとして構成してもよい。
この場合、そのプログラムは、コンピュータ読み取り可能な記録媒体に記憶され、その記録媒体に記憶されたプログラムを必要に応じてコンピュータにロードされるものであってもよいし、通信ネットワークを介してコンピュータにロードされるものであってもよい。また、プログラムを記憶させたコンピュータ読み取り可能な記録媒体は、コンピュータに組み込まれていてもよいし、コンピュータとは別体のものであってもよい。

画像表示システムの全体構成を示すブロック図。 頻度分布を例示する説明図。 頻度分布から消失点の位置を推定する方法を示す説明図。 進行方向直線に関する説明図。 従来の消失点の検出方法を示す説明図。 本発明により消失点の検出が可能であることを示す説明図。 第４実施形態の画像表示システムの全体構成を示すブロック図。 直線検出部での処理内容を示すフローチャート。 第５実施形態の画像表示システムの全体構成を示すブロック図。 消失点提供部での処理内容を示すフローチャート。 仮消失点の位置および変更の仕方を例示する説明図。 下端位置抽出部が抽出する下端位置、および消失点算出部での処理に使用するパラメータの一部を示す説明図。 消失点算出部での処理に使用するパラメータ間の関係を示す模式図。 消失点候補算出部での処理内容を示すフローチャート。 第６実施形態の画像表示システムの全体構成を示すブロック図。 第７実施形態の画像表示システムの全体構成を示すブロック図。 下端位置から直線を抽出する方法を示す説明図。

以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
図１は、本発明が適用された車載用の画像表示システムの全体構成を示すブロック図である。

＜全体構成＞
図１に示すように、画像表示システム１は、車両に固定され車両前方を撮像する撮像装置２と、車両の挙動を検出するセンサ群３と、撮像装置２から一定間隔の取得タイミング毎に撮像画像を取得し、その撮像画像及びセンサ群３からの検出結果に基づいて、取得した撮像画像の消失点の位置を推定する消失点推定装置４と、外部からの指令に従って撮像画像に対する画像処理（消失点の推定結果を利用）を実行すると共に、撮像画像や画像処理の結果等を表示画面に表示させる表示装置５とを備えている。

撮像装置２は、ＣＣＤ素子またはＣＭＯＳ素子からなる受光部を有し、広角レンズを介して受光部が受光することによって、受光量（撮像された物体の濃淡）に応じた画素値を有する撮像画像（デジタル画像）を生成する周知のデジタルカメラからなる。

センサ群３は、ステアリングセンサ、加速度センサ、ヨーレートセンサ等、車両の進行方向の特定に必要な周知のセンサからなる。
表示装置５は、消失点を利用した画像処理として、例えば、視点変換した画像の生成や、撮像された物体の３次元的な位置や大きさの算出などを行う。

＜消失点推定装置＞
消失点推定装置４は、撮像画像から画素値が急激に変化する特徴点を抽出する特等点抽出処理や、最新の取得タイミングで取得した撮像画像と前回の取得タイミングで取得した撮像画像とを比較して撮像された物体の動きをベクトルで表したオプティカルフローを抽出する動き抽出処理を実行する画像処理部４１と、センサ群３からの検出結果、動き抽出処理での処理結果から当該装置を搭載する自車両の進行方向を推定し、自車両が直進しているか否かを判定する直進判定部４８とを備えている。

以下では、取得タイミング間の期間を推定サイクルとよぶものとする。
また消失点推定装置４は、直進判定部４８にて自車両が直進していると判定された場合に、画像処理部４１の特徴点抽出処理によって抽出された特徴点の中から、直線上に並ぶ特徴点を検出（例えば、ハフ変換を使用）し、その特徴点が形成する直線を表すパラメータ（以下「直線情報」ともいう）を算出する直線検出部４２と、少なくとも前回の推定サイクルで直線検出部４２にて算出された直線情報を記憶する直線情報記憶部４３と、現在の推定サイクルで直線検出部４２にて算出された直線情報から特定される直線（以下「今回直線」ともいう）同士の交点（以下「同時交点」という）の位置、及び、直線情報記憶部４３に記憶されている前回の推定サイクルで算出された直線情報から特定される直線（以下「過去直線」ともいう）と今回直線との交点（以下「時差交点」という）の位置を算出する交点算出部４４とを備えている。

なお、直線情報は、撮像画像の横方向（左右方向）をＸ座標、縦方向（上下方向）をＹ座標として、ｙ＝ａｘ＋ｂで表される直線の傾きａ，切片ｂからなる。
また、交点算出部４４では、直線情報（ａ₁ ，ｂ₁ ）で表される直線と、直線情報（ａ₂ ，ａ₂ ）で表される直線との交点の位置（ｘ_p ，ｙ_p ）を、（１）（２）式によって算出する。

また、消失点推定装置４は、交点算出部４４にて算出された交点位置（同時交点，時差交点）の座標値の出現頻度を、Ｘ軸方向，Ｙ軸方向のそれぞれについて計数する計数部４５と、計数部４５にて計数された結果を記憶する頻度情報記憶部４６と、計数部４５での計数結果に基づいて画像中における消失点の位置を推定する推定部４７とを備えている。

つまり、計数部４５によって、図２に示すように、交点算出部４４で算出された交点についてのＸ座標の頻度分布、及びＹ座標の頻度分布が作成されることになる。
そして、推定部４７では、図３（ａ）に示すように、頻度分布でピーク（最大頻度）となるＸ座標、Ｙ座標を特定し、その特定した座標を消失点の位置座標として出力する。

なお、消失点推定装置４は、ＣＰＵ，ＲＯＭ，ＲＡＭを中心にして構成された周知のマイクロコンピュータからなり、消失点推定装置４を構成する各部４１〜４８は、ＣＰＵが実行する処理（ＣＰＵを消失点推定装置４の各部４１〜４８として機能させるためのプログラム）によって実現される（以下、他の実施形態でも同様である）。

なお、本実施形態において、撮像装置２が撮像手段、画像処理部４１および直線検出部４２が直線抽出手段、直線情報記憶部４３および交点算出部４４が交点算出手段、計数部４５，頻度情報記憶部４６，推定部４７が第１推定手段、直進判定部４８が判定手段に相当する。特に、計数部４５が計数手段、直線情報記憶部４３が記憶手段、交点算出部４４が時差交点算出手段および同時交点算出手段にも相当する。

＜効果＞
以上説明したように、消失点推定装置４によれば、消失点の推定に使用する交点を、現在の推定サイクルで検出された直線（今回直線）だけでなく、前回の推定サイクルで検出された直線（過去直線）も利用して求めているため、今回直線が１本しか検出されない場合であっても交点（時差交点）が算出されるため、その算出された交点に基づいて消失点の位置を推定することができる。

また、消失点推定装置４によれば、求めた交点（同時交点、時差交点）の位置を計数することにより座標軸（Ｘ座標，Ｙ座標）毎の頻度分布を求め、その頻度分布から消失点の位置を推定するようにされているため、車両の挙動や変化することによって消失点の位置が一時的に大きく変動したとしても、直ちに追従することなく、安定した推定結果を得ることができる。

更に、このような消失点推定装置４を備える画像表示システム１によれば、撮像画像に対する画像処理（但し、消失点を利用するもの）を、精度よく行うことができる。
＜変形例＞
本実施形態では、推定部４７において、頻度分布がピークとなる座標を消失点の座標としているが、図３（ｂ）に示すように、頻度値（計数値）が大きい方から所定個（ここでは３個）の座標を候補座標ｘ_i （ｉ＝１，２，３，…）として抽出し、その単純平均、又は加重平均を求めることによって得られた座標を、消失点の座標としてもよい。

また、消失点の座標を加重平均により求める場合は、頻度値を重みとして用いてもよいし、図３（ｃ）に示すように、車両が無積載かつ静止している状態で検出される消失点の位置を初期位置ｘ_d （例えば、当該装置４の車両への取り付け時に設定）として、候補座標ｘ_i と初期位置ｘ_d との距離｜ｘ_d −ｘ_i ｜が近いほど大きくなるような値を重みとして用いてもよい。

更に、候補座標は、頻度分布の頻度値を正規化した上で、頻度値が予め設定された閾値より大きいか否かにより選択してもよい。
また、消失点の位置を求める際に、頻度分布を用いる代わりに、推定サイクル毎に消失点の推定位置を求め、その推定位置を順次記憶しておき、今回の推定サイクル、及び過去複数回（全部でも可）の推定サイクルで得られた推定位置の加重平均を、算出されてからの経過時間が長いほど小さな値となる重みを使用して求めてもよい。

また、同様に、推定サイクル毎に消失点の推定位置を求め、その推定位置の頻度分布を生成し、その頻度分布から消失点の位置を求めてもよい。
本実施形態では、直線検出部４２を、自車の進行方向が直進であると判定された場合に直線を検出する（即ち、直進以外では動作しない）ように構成したが、直進の判定結果によって直線検出部４２の動作を制御する代わりに、交点算出部４４，計数部４５，推定部４７のいずれかの動作を制御するように構成してもよい。

［第２実施形態］
次に第２実施形態について説明する。
本実施形態では、直線検出部４２が実行する処理の一部が、第１実施形態とは異なるだけであるため、この相違点を中心に説明する。

＜直線検出部＞
本実施形態において、直線検出部４２は、車両が直進しているか否かに関わらず、撮像画像から直線情報を求める処理を実行する。

また、直線検出部４２は、撮像画像から抽出した特徴点に基づいて直線（今回直線）を検出する以外に、画像処理部４１の動き抽出処理により検出されたオプティカルフローから車両の進行方向を求め、図４に示すように、自車位置（ここでは、画面下端の中央）を基点として進行方向を示す直線（以下「進行方向直線」という）を算出する。

つまり、車両の進行方向の延長線上に消失点が存在するため、この進行方向直線も交点の算出に使用することができるのである。
＜効果＞
このように構成された消失点推定装置４によれば、延長線上に必ず消失点が存在する進行方向直線を利用して交点、ひいては消失点を推定するため、特徴点から抽出される直線（延長戦上に必ずしも消失点が存在するとは限らない）のみを用いる場合より、推定の信頼性を向上させることができる。

［第３実施形態］
次に第３実施形態について説明する。
本実施形態では、計数部４５が実行する処理の一部が、第２実施形態とは異なるだけであるため、この相違点を中心に説明する。

＜計数部＞
本実施形態において、計数部４５は、交点の生成に使用した直線の種類によって、計数時に使用する重みを異ならせている。

具体的には、通常は重みを通常値（例えば、１）とし、次の条件（ａ）（ｂ）に該当する直線（延長線上に消失点が存在する可能性が高い直線）に基づく交点については、重みを増大させた値（例えば、２）とする。

（ａ）直進判定部４８にて、自車が直進していると判定された推定サイクルで求められた直線。
（ｂ）進行方向直線。

また、これに加えて、今回直線同士の交点、即ち同時交点の重みを増大させてもよい。
＜効果＞
このように構成された消失点推定装置４によれば、交点を区別することなく頻度分布に反映させる場合と比較して、消失点の推定精度を向上させることができる。

なお、重みは２段階に限らず、３段階以上設定してもよい。また、重みとして「０」を用いてもよい。
［第４実施形態］
次に第４実施形態について説明する。

＜構成＞
図７は、本実施形態の車載用の画像表示システム１ａの全体構成を示すブロック図である。なお、本実施形態では、消失点推定装置４ａの構成が、第１実施形態における消失点推定装置４とは一部異なるだけであるため、この相違点を中心に説明する。

図７に示すように、消失点推定装置４ａでは、直線検出部４２ａは、推定部４７での推定結果（消失点の位置）やその推定結果から求めた撮像装置２の光軸の俯角（以下では、この俯角も含めて推定結果とよぶものとする）を用いて、処理を実行するように構成されている。

＜直線検出処理＞
ここで、直線検出部４２ａが実行する直線検出処理の詳細を、図８に示すフローチャートに沿って説明する。

なお、本処理は、画像処理部４１にて１画像分の特等点抽出処理が終了する毎に実行される。
図８に示すように、本処理では、まず、画像処理部４１にて抽出された特徴点（以下「２次元エッジ点」ともいう）について、その特徴点の撮像画像内での位置を示す２次元座標を、実空間内での位置を示す３次元座標に変換する（Ｓ１１０）。

ここでの座標変換は、具体的には、２次元エッジ点の座標を（Ｘ_i ，Ｙ_i ）、変換後の座標を（Ｘ_road，Ｙ_road）、撮像装置２の焦点距離をｆｏｃｕｓ、撮像装置２の設置高さをＨｃ、撮像装置２の光軸の俯角をφ、撮像装置２を構成する撮像素子の垂直方向（画像中上下方向）の画素数をｉｍｇＨ、撮像素子の垂直方向の単位長さをｒｅｓＶ、水平方向の単位長さをｒｅｓＨとして、次の（３）（４）式を用いて実行する周知の処理である。

次に、３次元座標に変換された特徴点（以下「３次元エッジ点」ともいう）を用いて、ハフ変換を実行し（Ｓ１２０）、ハフ変換での投票数が最大となる直線パラメータを抽出する（Ｓ１３０）。

その後、抽出された直線パラメータから特定される３次元座標（実空間）上の直線が、２次元座標（撮像画面）上の直線を示すものとなるように座標変換して（Ｓ１４０）、本処理を終了する。なお、ここでの座標変換は、（３）（４）の逆関数として表される周知の処理であるため、説明を省略する。

つまり、これらの座標変換は、推定部４７での推定結果を利用して実行されることになる。但し、最初は、推定部４７での推定結果が存在しないため、撮像装置２の取付状態を表す外部パラメータ（取付高さ、光軸の俯角等）や、撮像装置２の内部パラメータ（画素数、撮像素子の単位長さ、焦点距離等）から求められたものを初期値として用いる。

＜効果＞
以上説明したように画像表示システム１ａでは、消失点の推定に使用する直線を検出する際に、２次元エッジ点を３次元エッジ点に座標変換してからハフ変換を行っているため、立体物等、道路面上にない物体に基づくエッジ点の影響を効率よく排除することができる。

従って、画像表示システム１ａによれば、道路面にペイントされた白線等から精度よく直線を抽出することができ、ひいては消失点の推定精度を向上させることができる。
しかも、座標変換の際には、当該消失点推定装置４ａでの推定結果を用いるようにされているため、車両の状態によって地表面と撮像装置２との相対的な位置関係が変化した場合でも、これに追従して精度のよい推定結果を得ることができる。

［第５実施形態］
次に第５実施形態について説明する。
＜構成＞
図９は、本実施形態の車載用の画像表示システム１ｂの全体構成を示すブロック図である。なお、本実施形態では、車両挙動検出センサ群３が省略されていることと、消失点推定装置４ｂの構成が、第４実施形態における消失点推定装置４ａと一部異なるだけであるため、相違点を中心に説明する。

図９に示すように、画像表示システム１ｂは、撮像装置２から供給される撮像画像に基づき、消失点の位置を推定する処理をそれぞれ実行する第１処理部５１および第２処理部５２と、第１処理部５１および第２処理部５２のいずれかを択一的に動作させる動作切替部５３とを備えている。

そして、第１処理部５１および第２処理部５２のうち、動作切替部５３にて選択された側の処理部での推定結果（消失点の位置やその消失点の位置から算出される撮像装置２の光軸の俯角）を、表示装置５に供給するように構成されている。

＜第１処理部＞
第１処理部５１は、画像処理部４１，直線検出部４２ａ，直線情報記憶部４３，交点算出部４４，計数／推定部４９を備えている。なお、計数／推定部４９は、図面を見やすくするために、計数部４５，頻度情報記憶部４６，推定部４７をまとめて記載したものである。つまり、これらの部分は、直進判定部４８が省略されている以外は、第４実施形態における消失点推定装置４ａと同様に構成されている。

更に、第１処理部５１は、計数／推定部４９での推定結果、直線検出部４２ａでの検出結果に基づき、直線検出部４２ａに使用させる消失点を決定すると共に、動作切替部５３による選択を制御する処理である動作切替処理を実行する消失点提供部５０を備えている。

＜動作切替処理＞
ここで、消失点提供部５０が実行する動作切替処理を、図１０に示すフローチャートに沿って説明する。なお、本処理は、一枚の撮像画像に対する第１処理部５１または第２処理部５２での処理が終了し、消失点の推定結果が得られるタイミング毎、即ち、推定サイクル毎に実行される。

本処理では、図１０に示すように、まず、動作切替部５３が第１処理部５１を選択中であるか否かを判断し（Ｓ２１０）、第１処理部５１を選択中であれば（Ｓ２１０：ＹＥＳ）、直線検出部４２ａでの処理結果に基づき、今回の推定サイクルで直線が検出されたか否かを判断する（Ｓ２２０）。直線が検出されていれば（Ｓ２２０：ＹＥＳ）、次回の推定サイクルで直線検出部４２ａに使用させる消失点として、計数／推定部４９での推定結果を提供して（Ｓ２３０）、本処理を終了する。

Ｓ２２０にて直線が検出されていないと判断した場合（Ｓ２２０：ＮＯ）、直線検出部４２ａに使用させる消失点として、仮消失点を提供しているか否かを判断する（Ｓ２４０）。

直線検出部４２ａには、計数／推定部４９での推定結果を提供しており、仮消失点を提供していないのであれば（Ｓ２４０：ＮＯ）、直線検出部４２ａにて直線を検出できないロスト状態が、予め設定された規定時間（推定サイクル数）継続したか否かを判断する（Ｓ２５０）。

ロスト状態が規定時間継続していなければ（Ｓ２５０：ＮＯ）、Ｓ２３０に進んで、次回の推定サイクルで直線検出部４２ａに使用させる消失点として、計数／推定部４９での推定結果を提供する（但し、前回提供したものと同じ値）。一方、ロスト状態が規定時間継続していれば（Ｓ２５０：ＹＥＳ）、次回の推定サイクルで直線検出部４２ａに使用させる消失点として仮消失点を提供して（Ｓ２６０）、本処理を終了する。

なお、仮消失点は、図１１に示すように、撮像画面中の水平方向（図中左右方向）の中央に位置する中心線上に複数個設定され、その中の一つは、撮像装置２の外部パラメータや内部パラメータから算出される静止時における消失点の位置である。Ｓ２６０では、この静止時における消失点の位置（図中では画像中の最も上方に位置するもの）を、仮消失点として提供する。

先のＳ２４０にて仮消失点を提供中であると判断した場合（Ｓ２４０：ＹＥＳ）、仮消失点の位置を切り替える切替タイミングであるか否かを判断する（Ｓ２７０）。なお、切替タイミングは、具体的には、仮消失点の設定（前述のＳ２６０）後または切替（後述のＳ２９０）後、所定時間または所定推定サイクル数が経過したタイミング等が考えられる。

そして、切替タイミングでなければ（Ｓ２７０：ＮＯ）、そのまま本処理を終了し、切替タイミングであれば（Ｓ２７０：ＹＥＳ）、未提供の仮消失点が存在するか否かを判断する（Ｓ２８０）。

未提供の仮消失点が存在すれば（Ｓ２８０：ＹＥＳ）、直線検出部４２ａに使用させるために提供する仮消失点を変更して（Ｓ２９０）本処理を終了し、未提供の仮消失点が存在しなければ（Ｓ２８０：ＮＯ）、動作切替部５３の設定を、第２処理部５２を選択するように切り替えて（Ｓ３００）、本処理を終了する。

なお、仮消失点を変更する場合、例えば、Ｓ２６０に設定された初期位置に近いものから順に選択することが考えられる。
先のＳ２１０で、動作切替部５３が第１処理部５１を選択中ではないと判断した場合（Ｓ２１０：ＮＯ）、第２処理部５２の処理から第１処理部５１の処理に復帰させるための復帰条件が成立しているか否かを判断し（Ｓ３１０）、復帰条件が成立していなければ（Ｓ３１０：ＮＯ）そのまま本処理を終了し、復帰条件が成立していれば（Ｓ３１０：ＹＥＳ）、動作切替部５３の設定を、第１処理部５１を選択するように切り替えて（Ｓ３２０）、本処理を終了する。

なお、復帰条件としては、所定時間または所定推定サイクル数が経過した場合であってもよいし、図示しないセンサや処理部にて、路面状況等の変化を検出した場合であってもよい。

以上説明したように、動作切替処理により、通常時には、第１処理部５１が動作し、第１処理部５１での推定結果が直線検出部４２ａの処理にフィードバックされる。但し、直線検出部４２ａにて直線を検出できないロスト状態が規定時間継続すると、推定結果の代わりに仮消失点を使用して直線の検出を試み、用意された全ての仮消失点を試しても、直線を検出できなかった場合に、第１処理部５１から第２処理部５２に動作が切り替わることになる。

＜第２処理部＞
図９に戻り、第２処理部５２は、撮像装置２から供給される撮像画像に対してパターンマッチング等の周知に処理を実行することにより道路上に存在する車両等の物体（立体物）を抽出する物体抽出処理を実行する画像処理部６１と、画像処理部６１での抽出結果から、抽出した物体が道路面と接する位置である下端位置を抽出する下端位置抽出部６２とを備えている。

また、第２処理部５２は、下端位置抽出部６２で抽出した下端位置および撮像装置２の内部パラメータや外部パラメータを用いて消失点候補を求める消失点候補算出部６３と、複数推定サイクルに渡る消失点候補算出部６３での算出結果に基づき、撮像画像中における消失点の位置を推定する計数／推定部６４とを備えている。

なお、下端位置抽出部６２では、下端位置に幅がある場合には、その中点を下端位置とする。また、計数／推定部６４は、第１処理部５１における計数／推定部４９と同様に構成されたものであり、交点の代わりに消失点候補算出部６３での算出結果（消失点候補）が用いられる。但し、計数／推定部６４は、省略してもよく、この場合、消失点候補算出部６３の算出結果を、そのまま第２処理部５２での推定結果とすればよい。

＜消失点算出部＞
次に、消失点候補算出部６３が実行する処理の詳細について説明する。
図１２は、下端位置抽出部６２が抽出する下端位置や、撮像装置２の外部パラメータ等を示す説明図であり、（ａ）が側面図、（ｂ）が、光軸に直交する上方（（ａ）の矢印Ａの方向）から見た図（以下単に上面図という）である。図１３は、内部パラメータと他のパラメータとの関係を示した模式図であり、（ａ）が側面図，（ｂ）が上面図である。

撮像装置２は、地表面からの高さＨｃの場所に、その光軸の俯角がφとなるように、下向きにして取り付けられている。つまり、撮像装置２の外部パラメータには、この高さＨｃ、俯角φが少なくとも含まれている。また、撮像装置２の内部パラメータには、撮像装置２の焦点距離ｆｏｃｕｓ、撮像装置２を構成する個々の撮像素子の長さｒｅｓＶ（垂直方向），ｒｅｓＨ（水平方向）、画素数ｉｍｇＨ（垂直方向），ｉｍｇＷ（水平方向）、画角θ（垂直方向）が少なくとも含まれている。

なお、垂直方向とは撮像画面中の上下方向であり、水平方向とは撮像画面中の左右方向を示すものとする。また、下端位置の座標（Ｘｄ，Ｙｄ）は、基準となる画素から何画素目にあるかを示すもの、即ち、画素の大きさを単位長さとして示される。

図１４は、消失点候補算出部６３が実行する消失点候補算出処理の内容を示すフローチャートである。なお、本処理は、下端位置抽出部６２にて下端位置の座標（Ｘｄ，Ｙｄ）が抽出される毎に実行される。

消失点候補算出処理では、まず、下端位置抽出部６２で抽出される下端位置の垂直座標Ｙｄ、当該消失点推定装置４ｂの前推定サイクルでの推定結果から求めた俯角φから、撮像装置２から物体までの水平距離Ｌを、（５）式を用いて算出する（Ｓ４１０）。

なお、（５）式は、下端位置から撮像装置２を見た方向が地表面に対して成す角をγ、撮像装置２から下端位置を見た方向が、撮像装置２の光軸に対して成す角をβとして、図１２（ａ），図１３（ａ）から明らかな（６）（７）（８）式に示す関係を利用して求められる。具体的には、（６）（７）式から導かれる（９）式を（８）式に代入し、これをＬについて解いたものが（５）式である。

次に、Ｓ４１０にて求めた物体との距離Ｌと、下端位置の水平座標Ｘｄから、実空間内での物体の横位置Ｘｒを、（１０）式を用いて算出する（Ｓ４２０）。

なお、（１０）式は、図１２（ｂ），図１３（ｂ）から明らかな関係と、（１１）式を利用して求められる。但し、下端位置の座標Ｘｄは、何番目の画素であるかを示しているに過ぎず、素子上での実際の大きさを示しているわけではないため、ｒｅｓＨを乗じることで実際の大きさを求めている。

次に、下端位置の垂直座標Ｙ、Ｓ４１０にて求めた物体との距離Ｌから、俯角φｒを（１２）式を用いて算出する（Ｓ４３０）。

最後に、Ｓ４３０にて再計算された俯角φｒを用いて、画像上の消失点位置（ｆｏｅＸ，ｆｏｅＹ）を、（１３）（１４）式を用いて算出する。

なお、本実施形態において、画像処理部６１および下端位置抽出部６２が物体抽出手段、計数／推定部４９が第１推定手段、消失点候補算出部６３および計数／推定部６４が第２推定手段、消失点提供部５０および動作切替部５３が出力決定手段に相当する。

＜効果＞
以上説明したように画像表示システム１ｂでは、撮像画像から抽出される直線の交点から消失点を推定する第１処理部５１と、撮像画像から抽出される物体の下端位置や撮像装置２の内部パラメータ，外部パラメータから消失点を推定する第２処理部５２とを用い、第１処理部５１で直線を検出できない場合に、第２処理部５２に切り替えて消失点を推定するようにされている。

従って、画像表示システム１ｂによれば、直線が検出されない状況でも、何等かの物体が地表面上に存在すれば消失点を推定できるため、消失点を利用した画像処理を行う表示装置５等に対して、消失点を安定して供給することができる。

また、画像表示システム１ｂでは、直線検出部４２ａが直線を検出できない状態が規定時間継続した場合に、直線検出部４２ａでの座標変換に使用する消失点として、過去の推定結果の代わりに、仮消失点を用いて第１処理部５１での処理を継続し、仮消失点を使用しても、直線を検出できない場合に限り、第２処理部５２での処理に切り替えるようにされている。

従って、画像表示システム１ｂによれば、撮像装置２の姿勢が一時的に変化し、消失点の位置が大きく変化することにより、直線が検出できなくなったような場合に、直ちに第２処理部５２に切り替わってしまうことがなく、より推定精度に優れた第１処理部５１での処理を継続させることができる。

［第６実施形態］
次に第６実施形態について説明する。
＜構成＞
図１５は、本実施形態の車載用の画像表示システム１ｃの全体構成を示すブロック図である。なお、本実施形態では、消失点推定装置４ｃの構成が、第５実施形態における消失点推定装置４ｂと一部異なるだけであるため、この相違点を中心に説明する。

図１５に示すように、消失点推定装置４ｃは、撮像装置２からの撮像画像に基づいて、それぞれ消失点の位置を推定する第１処理部５１ａ、第２処理部５２ａと、両処理部５１ａ，５２ａでの推定結果に基づき、当該装置４ｃの出力とする消失点（以下「出力消失点」という）を決定する消失点決定部５４とを備えている。

そして、第１処理部５１ａは、第５実施形態における第１処理部５１から計数／推定部４９を省略した構成を有しており、また、第２処理部５２ａは、第５実施形態における第２処理部５２から計数／推定部６４を省略した構成を有している。なお、両処理部５１ａ，５２ｂは、それぞれ撮像装置２から撮像画像が常時供給され、並行して処理を実行するように構成されている。

消失点決定部５４は、第１処理部５１ａから出力が得られる場合は、第１処理部５１ａの出力を出力消失点とし、第１処理部５１ａから出力が得られず、且つ、第２処理部５２ａから出力が得られる場合は、第２処理部５２ａの出力を出力消失点とし、第１処理部５１ａおよび第２処理部５２ａのいずれからも出力を得られない場合は、過去の消失点出力、或いは過去一定期間内における消失点出力の平均値を、出力消失点とする。

なお、本実施形態では、消失点決定部５４が出力決定手段に相当する。
＜効果＞
以上説明したように、画像表示システム１ｃによれば、第１処理部５１ａ，５２ａが並行して処理を実行し、その処理結果に応じて出力消失点を適宜選択するようにされているため、第５実施形態の場合と同様に、消失点を利用した画像処理を行う表示装置５等に対して、消失点を安定して供給することができる。

＜変形例＞
なお、消失点決定部５４は、例えば、両処理部５１ａ，５２ａから出力が得られる場合は、両出力の平均、又は加重平均を出力消失点とするように構成してもよい。また、第５実施形態における計数／推定部４９，６４と同様の構成を設け、両処理部５１ａ，５１ｂの出力に対して、統計処理を施すことによって得られた結果を、出力消失点とするように構成してもよい。なお、この場合、統計処理は、両処理部５１ａ，５１ｂからの出力毎に個別に行ってもよいし、両出力を区別することなく行ってもよい。

［第７実施形態］
次に第７実施形態について説明する。
＜構成＞
図１６は、本実施形態の車載用の画像表示システム１ｄの全体構成を示すブロック図である。なお、本実施形態では、消失点推定装置４ｄの構成が、上記実施形態とは一部異なるだけであるため、この相違点を中心に説明する。

図１６に示すように、消失点推定装置４ｄは、画像処理部４１、直線検出部４２ａ、直線情報記憶部４３、交点算出部４４、計数／推定部４９、消失点提供部５０を備えている（第５実施形態における第１処理部５１参照）。但し、消失点推定装置４ｄには、動作切替部５３が存在しないため、消失点提供部５０が実行する処理は、動作切替部５３の設定を切り替える部分については省略されている。

また、消失点推定装置４ｄは、画像処理部６１、下端位置抽出部６２を備えている（第５実施形態における第２処理部５２参照）。なお、二つの画像処理部４１，６２には、撮像装置２からの撮像画像がいずれにも供給され、両者は並行して動作するように構成されている。

更に、消失点推定装置４ｄは、下端位置抽出部６２での抽出結果を記憶する下端位置記憶部６５と、下端位置記憶部６５の記憶内容、即ち、下端位置の履歴から、直線を検出する直線検出部６６とを備えている。

つまり、図１７に示すように、画像処理部６１にて抽出される物体が、先行する他車両であり、その先行車両と自車両との相対速度がゼロでなく、且つ直進中である場合、下端位置抽出部６２にて連続して抽出される先行車両の下端位置の軌跡は、ほぼ同一直線上に位置することになるため、直線検出部６６は、これを直線として検出する。

そして、直線検出部６６にて検出された直線は、直線検出部４２ａで検出された直線と同様に、直線情報記憶部４３及び交点算出部４４に供給され、交点の算出に使用される。
本実施形態では、下端位置記憶部６５が下端位置記憶手段、直線検出部４２ａ，６６が直線抽出手段に相当する。

＜効果＞
以上説明したように、画像表示システム１ｄによれば、エッジ画像から直線を抽出するだけでなく、物体の下端位置の軌跡からも直線を抽出するようにされているため、例えば、道路上に白線がない等、エッジ画像から直線を抽出できないような状況であっても、先行車両等の連続的に検出される物体が撮像画像中に存在すれば、直線を抽出すること、ひいては、その直線から消失点の位置を推定することができる。

［他の実施形態］
以上、本発明のいくつかの実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

例えば、上記実施形態では、動き抽出処理で抽出されたオプティカルフローと、センサ群３からの検出結果とに基づいて直進を判定しているが、いずれか一方によって判定してもよい。

上記実施形態では、撮像装置２としてデジタルカメラを用いているが、撮像された物体までの距離に応じた画素値を有した撮像画像を生成する距離センサを用いてもよい。
上記第５実施形態から第７実施形態では、車両挙動検出センサ群３，直進判定部４８を省略した構成を示したが、これらを適用してもよい。

１，１ａ〜１ｄ…画像表示システム ２…撮像装置 ３…センサ群 ４，４ａ〜４ｄ…消失点推定装置 ５…表示装置 ４１，６１…画像処理部 ４２，４２ａ…直線検出部 ４３…直線情報記憶部 ４４…交点算出部 ４５…計数部 ４６…頻度情報記憶部 ４７…推定部 ４８…直進判定部 ４９，６４…計数／推定部 ５０…消失点提供部 ５１，５１ａ…第１処理部 ５２，５２ａ…第２処理部 ５３…動作切替部 ５４…消失点決定部 ６２…下端位置抽出部 ６３…消失点候補算出部 ６５…下端位置記憶部 ６６…直線検出部

Claims (21)

1. 移動体に取り付けられた撮像手段から撮像画像を繰り返し取得し、該撮像画像に基づき直線を抽出する直線抽出手段と、
   前記直線抽出手段にて抽出された直線である抽出直線同士の交点位置を算出する交点算出手段と、
   前記交点算出手段にて算出された前記交点位置に基づき、前記撮像画像中の消失点の位置を推定する第１推定手段と、
   を備え、
   前記交点算出手段は、
   前記直線抽出手段にて抽出された抽出直線を順次記憶する記憶手段と、
   前記直線抽出手段にて最新の撮像画像から抽出された抽出直線である今回直線と、過去の撮像画像から抽出され前記記憶手段に記憶された抽出直線である過去直線との交点である時差交点の位置を前記交点位置として算出する時差交点算出手段と、
   を有することを特徴とする消失点推定装置。
2. 前記撮像手段から取得した撮像画像に基づき、撮像された物体を抽出し、該物体が地表面に接する位置である下端位置を求める物体抽出手段と、
   前記物体抽出手段での抽出結果、前記撮像手段の内部パラメータおよび外部パラメータを用いて、前記撮像画像中の消失点の位置を推定する第２推定手段と、
   前記第１推定手段での推定結果および前記第２推定手段での推定結果から、当該装置の出力となる最終的な前記消失点の位置を決定する出力決定手段と、
   を備えることを特徴とする請求項１に記載の消失点推定装置。
3. 前記出力決定手段は、前記第１推定手段から推定結果を得ることができる場合は、該第１推定手段での推定結果を、前記第１推定手段から推定結果を得ることができない場合は、前記第２推定手段での推定結果を、当該装置の出力とすることを特徴とする請求項２に記載の消失点推定装置。
4. 前記出力決定手段は、前記第１推定手段での推定結果および前記第２推定手段での推定結果を統計処理した結果を、当該装置の出力とすることを特徴とする請求項２に記載の消失点推定装置。
5. 前記直線抽出手段は、前記撮像画像に撮像された物体のエッジ部分を抽出したエッジ画像から前記直線を抽出することを特徴とする請求項１乃至請求項４のいずれか１項に記載の消失点推定装置。
6. 前記直線抽出手段は、前記撮像画像上での前記移動体の進行方向を示す直線を抽出することを特徴とする請求項１乃至請求項５のいずれか１項に記載の消失点推定装置。
7. 前記直線抽出手段は、
   前記エッジ画像から、輝度が所定値以上変化するエッジ点を抽出し、該エッジ点の位置を示す２次元座標を３次元座標に変換することで３次元エッジ点を求め、更に、該３次元エッジ点をハフ変換することで得られた３次元座標上の直線を、２次元座標上の直線に変換したものを、前記抽出直線とすることを特徴とする請求項５に記載の消失点推定装置。
8. 前記直線抽出手段は、座標変換を行う際に、当該装置の出力である前記消失点の位置を利用することを特徴とする請求項７に記載の消失点推定装置。
9. 前記直線抽出手段は、前記第１推定手段による推定結果を得ることができない場合、前記座標変換に用いる消失点の位置を段階的に変化させることを特徴とする請求項８に記載の消失点推定装置。
10. 前記撮像手段から取得した撮像画像に基づき、撮像された物体を抽出し、該物体が地表面に接する位置である下端位置を求める物体抽出手段と、
    前記物体抽出手段にて抽出された下端位置を順次記憶する下端位置記憶手段と、
    を備え、
    前記直線抽出手段は、前記下端位置記憶手段に記憶内容によって示される前記下端位置の軌跡から直線を抽出することを特徴とする請求項１に記載の消失点推定装置。
11. 前記交点算出手段は、前記直線抽出手段にて前記今回直線が複数抽出された場合に、該今回直線同士の交点である同時交点の位置を前記交点位置として算出する同時交点算出手段を備えることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の消失点推定装置。
12. 自車両の進行方向を判定する判定手段を備え、
    前記判定手段により直進中であると判定された場合に、前記消失点の位置の推定を行うことを特徴とする請求項１乃至請求項１１のいずれか１項に記載の消失点推定装置。
13. 前記第１推定手段は、前記交点算出手段にて算出された交点位置の出現頻度を計数する計数手段を備え、該計数手段での計数結果を利用した推定を行うことを特徴とする請求項１乃至請求項１２のいずれか１項に記載の消失点推定装置。
14. 前記計数手段は、前記出現頻度の計数時に、前記交点位置のそれぞれに対して、該交点を形成する直線の信頼度に応じた重み付けをすることを特徴とする請求項１３に記載の消失点推定装置。
15. 前記第１推定手段は、前記計数手段による計数値が最大となる交点位置を消失点の位置として推定することを特徴とする請求項１３又は請求項１４に記載の消失点推定装置。
16. 前記第１推定手段は、前記計数手段による計数値が予め設定された抽出基準を満たす交点位置を抽出位置とし、該抽出位置の加重平均により求めた位置を、前記消失点の位置として推定することを特徴とする請求項１３又は請求項１４に記載の消失点推定装置。
17. 前記第１推定手段は、自車両への取り付け時に設定される消失点の初期位置に対する距離が近いほど、前記加重平均の算出に用いる加重値を大きくすることを特徴とする請求項１６に記載の消失点推定装置。
18. 前記第１推定手段は、自車両の静止時に検出される消失点の初期位置に対する距離が近いほど、前記加重平均の算出に用いる加重値を大きくすることを特徴とする請求項１６に記載の消失点推定装置。
19. 前記撮像手段から供給される撮像画像の各画素は、撮像物体からの光学的特性に応じた画素値を有することを特徴とする請求項１乃至請求項１８のいずれか１項に記載の消失点推定装置。
20. 前記撮像手段から供給される撮像画像の各画素は、撮像物体までの距離に応じた画素値を有することを特徴とする請求項１乃至請求項１８のいずれか１項に記載の消失点推定装置。
21. コンピュータを、請求項１乃至請求項２０のいずれか１項に記載の消失点推定装置を構成する各手段として機能させるためのプログラム。