以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
各実施の形態に係る画像処理装置(後述する)は、停止時(一時停止時)又は直進定速走行時又は平行線内の位置変更時の所定の平面に対するカメラの設置角度(少なくともロール角を含む)を、複数の特定の消失点の画像上の位置に基づいて推定する。ここで、「平行線」は、上記所定の平面に存在する2本以上の平行線である。また、「特定の消失点」とは、移動物体が停止時又は直進定速走行時等における、カメラ画像上の位置が安定した消失点のことである。この特定の消失点を、消失線(後述)の算出に有効な消失点と称することもある。
また、以下の説明では、一例として、画像処理装置が、車両に前向きに設置された車載カメラで撮影された道路面(所定の平面)上の道路境界線(平行線)の消失点を算出する場合について説明する。
また、以下の説明では、車両におけるロール方向、ロール角とは、車両の前後方向を軸として回転する方向及びその角度のことであり、車両におけるピッチ方向、ピッチ角とは、車両の左右方向を軸として回転する方向及びその角度のことである。
まず、消失点、消失線及び消失点の軌跡について説明する。
[消失点]
図1は消失点の説明に供する図である。
図1Aは車載カメラで撮影された画像例を示す。図1Aには、道路路面上に1組の平行な車線境界線(白い直線)が描かれている。図1Bは図1Aに示す画像における消失点の説明図であり、図1Aに示す平行な白線を奥行き方向に延長し、交差する点(“+”)が消失点である。
[消失線]
図2は消失線の説明に供する図である。
図2Aは、車線内を車両が上方向に走行している様子を示す。図2Aにおいて、時刻T=t1では、車線内のほぼ中央位置を車両が車線境界線に平行に走行中であり、時刻T=t2では、車線内の左側を車線境界線に対して車両がやや右方向に向いて走行中であり、時刻T=t3では、車線内の右側を車線境界線に対して車両がやや左方向を向いて走行中である。
図2Bは、図2Aに示す各時刻でのカメラ画像から得られる車線境界線の消失点の位置を同一のカメラ画像に重畳した様子を示す。また、図2Bには、時刻T=t1、T=t2、T=t3の各時刻に得られる消失点P1,P2,P3の3つの消失点を結んで得られる消失線L0が示されている。
ここで、カメラがロール方向に傾かず、路面に対し水平に設置されている場合には、消失線はカメラ画像上で水平となる。一方、カメラがロール方向に傾いて設置されている場合には、図2Bに示すように、カメラの傾き角が消失線の傾きとなって現れる(例えば、非特許文献1参照)。
[消失点の軌跡]
次に、いくつかの走行シーン(車両の走行状態)における、カメラ画像上の消失点の時系列の座標変化、即ち、消失点の軌跡について説明する。
図2に示すように、車線境界線に対するカメラの撮影方向が車線境界線に対して平行でなく、左右方向に角度を為す場合、消失点は、中央位置から左右に移動することが分かる。すなわち、車線境界線に対してカメラの撮影方向が右側を向くと、カメラ画像上の消失点位置は左側にずれ、車線境界線に対してカメラの撮影方向が左側を向くと、カメラ画像上の消失点位置は右側にずれる。
同様に、カメラの撮影方向の上下方向への変化に伴い消失点は上下する。例えば、走行中に加速すると車両にかかる加速度により、車両はピッチ上方向にやや傾く。これに伴って、カメラの撮影方向は上方向にずれるため、カメラ画像上の消失点位置は下方向にずれる。逆に、走行中に減速すると車両はピッチ下方向にやや傾く。これにともなって、カメラの撮影方向は下方向にずれるため、カメラ画像上の消失点位置は上方向にずれる。
図3は、走行中の消失点の軌跡の概念図である。
(1)は車線境界線に沿って車両が直進走行中の場合の消失点の軌跡を示し、(2)は交差点などにおいて車両が左旋回中の消失点の軌跡を示し、(3)は車線変更などで車両の走行位置を左車線から右車線に変更する場合の消失点の軌跡を示す。
以下、図4、図5、図6を用いて、図3に示す(1)〜(3)の消失点軌跡について更に詳細に説明する。
図4は直進走行時の消失点軌跡の説明に供する図である(図3の(1)に対応)。
一般に、直進中は車両のロール方向の動きに比べ、加減速に伴う車両のピッチ方向の動きの方が大きい。よって、直進走行時には、車両の動きに伴う消失点の軌跡は、加減速中の場合には上下に動き、定速走行中又は停止中の場合には一定の位置周辺に位置することになる。
図4Aは直進走行時の加速中における消失点の軌跡を示す。図4Aにおいて、時刻T=t0では、車両は、一定速度で直進走行をしており、すなわち、車両の前後方向の加速度がかかっておらず、車両がピッチ方向に傾いていないので、消失点はほぼ中央付近に位置する。時刻T=t1では、車両が加速中であり、車両がピッチ上方向に傾いているので、消失点は下方向にずれる。通常、車両の加速の度合いが大きいほど、消失点が下方向にずれる幅は大きくなる。時刻T=t2では、車両の加速が終了し、車両の前後方向の加速度がかかっておらず、車両はピッチ方向に傾いていないので、消失点はほぼ中央付近に位置する。
図4Bは直進走行時の減速中における消失点の軌跡を示す。図4Bでは、消失点は直進走行時の加速中における消失点の軌跡(図4A)と逆の軌跡(すなわち、上方向へのずれ)を描く。
図4Cは定速で直進中(定速走行中)の消失点の軌跡を示す。図4Cに示すように、路面状態、車両の振動等による若干のピッチ方向及びロール方向のずれはあるものの、各時刻の消失点は、ほぼ一定の位置の周辺に分布する。
図4Dは停止中における消失点の軌跡を示す。図4Dに示すように、停止中には、消失点はほぼ一点に近い位置に分布する。
図5は交差点左折などにおける左旋回時の消失点軌跡の説明に供する図である(図3の(2)に対応)。
なお、通常、旋回の際、車両の前後方向及び左右方向に発生する加速度により、車両はピッチ方向及びロール方向に傾くので、消失点は上下方向にも若干ずれる。ただし、消失点の左右方向への変位と比較して、上下方向への変位は小さいため、図5では、消失点の上下方向のずれを図示していない。
図5Aは左旋回中の消失点の軌跡を示す。図5Aは、旋回開始前の時刻T=t0からT=t1,T=t2と旋回が進むにつれて、消失点が右側に移動していく様子を示す。
図5Bは、左旋回中において、旋回直前に走行してきた車線(第1の車線)から得られる第1の消失点と、異なる車線(例えば第1の車線に直交する車線(第2の車線))から得られる第2の消失点と、が同時に現れる様子を示す。つまり、図5Bは、車載カメラの撮影対象領域において異なる方向に伸びる複数の平行線(車線境界線)が存在する場合の消失点の軌跡を示す。図5Dは、図5Bに示す消失点軌跡を描く時刻における車両を交差点の上から見た様子を示す。図5B及び図5Dに示すように、旋回中の時刻T=t1では、カメラ画像上に第2の車線から得られる第2の消失点が現れ、時刻T=t2へと旋回が進むにつれて第1の消失点が右側へ移動するのに伴い、第2の消失点も同一方向に移動する。
図5Cは、左旋回中において、例えば歩行者が横断中のため、車両が一時停止した場合の消失点の軌跡を示す。図5Cに示すように、時刻T=t1〜t2の間(一時停止中)は消失点が同じ位置に留まっている。
図6は、片側2車線の道路の左側車線を走行している車両が右側車線へ車線変更する時の消失点軌跡の説明に供する図である(図3の(3)に対応)。
図6Aは車線変更時の消失点の軌跡を示し、図6Bは、図6Aに示す消失点軌跡を描く時刻における車両を道路の上から見た様子を示す。
図6Bに示すように、車両の位置変更開始前の時刻T=t0までは車両の前後方向は、車線境界線に平行な方向である。車両は、時刻T=t0から車線境界線に対して右方向に方向転換を行い、時刻T=t1で車線境界線に対する右方向の傾きが最大になる。よって、図6Aに示すように、消失点は、T=t0〜t1にかけて左方向へ移動する。
そして、車両は、時刻T=t1以降、車線境界線に平行な前方への方向回帰により、時刻T=t2で車線境界線と平行な方向に戻る。よって、図6Aに示すように、消失点は、T=t1〜t2にかけて右方向へ移動する(T=t0の位置へ戻る)。
なお、方向転換中(T=t0〜t1)及び前方への方向回帰中(T=t1〜t2)の双方において車両のロール方向の傾きが発生するが、方向転換中と方向回帰中とでは、当該傾きの方向は逆方向となる。そのため、時刻T=t1の前後では、ロールする方向が反転することになり、ロール方向の傾きが0となる時点が存在する。ここでは、ロール方向の傾きが0となる状態を「反転過渡状態」と称する。
以上、図4、図5、図6を用いて説明した通り、直進走行時の加速/減速中・定速走行中・停止中、交差点等での旋回中・一時停止中、及び、車線変更中、等の車両の走行シーン(走行状態)に応じて、消失点は異なる軌跡を描くことが分かる。
そこで、各実施の形態に係る画像処理装置(後述する)は、これらの消失点に関する特性を利用することにより、消失点の軌跡に応じて、車両の走行シーンの挙動を捉え、消失線の算出に有効な消失点の条件を消失点の軌跡に関して定義することにより、算出される複数の消失点の中から、消失線の算出に有効な消失点のみを抽出する。
なお、旋回時の消失点軌跡の説明(図5)では、一例として、交差点での左旋回について説明したが、これに限定されない。例えば、交差点右折などにおける右旋回時の消失点軌跡は、左旋回時の消失点軌跡(図5)とほぼ左右反転された軌跡を描く(図示せず)。また、車線変更時の消失点軌跡の説明(図6)では、一例として、2車線道路の左車線から右車線への移動について説明したが、これに限定されない。例えば、右車線から左車線への車線変更時の消失点軌跡は、左車線から右車線への車線変更時の消失点軌跡(図6)とほぼ左右反転された軌跡を描く(図示せず)。
また、車両が道路外から車道へ進入しつつ旋回する場合、又は、駐車場内で旋回する場合にも、車線境界線又は駐車スペースを示す直線の組(平行線)に対応する消失点は、上述した消失点と同様の性質を有する軌跡を描く。また、位置変更において、複数の車線間の移動のみでなく、同一車線内における左右方向の移動でも、図6に示す消失点軌跡と同様の性質の軌跡を描くことになる。また、追い越し走行の場合には、右車線への位置移動と左車線への位置移動とが続けて発生した消失点軌跡を描くことになる。
また、ここでは、車載カメラが前向きに設置される場合について説明したが、後ろ向きに設置された車載カメラから得られる消失点についても同様の動きをとる。ただし、車載カメラが後ろ向きに設置される場合には、カメラ画像上の消失点の左右方向の動きは、車載カメラが前向きに設置される場合(図5、図6)と逆になる。
以下、上述した消失点軌跡の特性を利用した本発明の各実施の形態について説明する。具体的には、実施の形態1では、消失点の軌跡(消失点の時系列の座標変化)を消失点列(消失点群)の図形として捉えた場合について説明し、実施の形態2では、消失点の軌跡を消失点の時系列の座標変位として捉えた場合について説明し、実施の形態3では、消失点の軌跡を消失点の座標変位から得られる走行シーンの状態遷移として捉えた場合について説明する。
(実施の形態1)
[画像処理装置10の主要構成]
図7は本実施の形態に係る画像処理装置の主要構成を示すブロック図である。
図7において、画像入力部1は、カメラによって対象物が撮影された画像を入力し、消失点算出部2は、上記画像において、対象物に対応する消失点を算出し、判定部4は、異なるタイミングで対象物が撮影された複数の画像のそれぞれに含まれる複数の消失点の時系列の座標変化が、予め定められた条件を満たすか否かを判定し、出力部5は、座標変化が条件を満たす場合、複数の消失点の座標情報のうち少なくとも1つを出力する。
[画像処理装置10の構成]
図8は本実施の形態に係る画像処理装置の構成を示すブロック図である。
図8に示す画像処理装置10は、画像入力部1と、消失点算出部2と、消失点軌跡モデル保持部3と、判定部4と、出力部5と、を含む構成を採る。なお、後述のとおり、消失点軌跡モデル保持部3の機能は、外部が備えてもよく、また、判定部4に含まれてもよい。
画像入力部1は、例えば、車載カメラによって対象物が撮影された画像を入力し、得た画像を消失点算出部2へ出力する。
消失点算出部2は、画像入力部1から入力された画像を用いて、車載カメラの撮影対象領域に存在する平行線(ここでは、車線境界線)に対応する、画像上での消失点(すなわち、上記対象物に対応する消失点)を算出する。消失点算出部2は、算出した消失点の情報を判定部4に出力する。
消失点軌跡モデル保持部3は、画像上での消失点の軌跡に関する情報を保持する。本実施の形態では、消失点の軌跡に関する情報として、少なくとも1つの走行シーンに関する消失線の算出に有効な消失点(位置誤差が少ない消失点)の軌跡を表す情報が含まれる。この情報は、例えば、消失点の軌跡を示すテンプレート(消失点軌跡モデル)である。すなわち、本実施の形態では、消失点の軌跡を消失点列の図形として捉える。消失点軌跡モデル保持部3は、消失点の軌跡に関する情報を判定部4に出力する。なお、後述のとおり、消失点軌跡モデル保持部3の機能は、外部が備えてもよく、また、判定部4に含まれてもよい。
判定部4は、複数の消失点から成る消失点の軌跡が、予め定められた条件を満たすか否かを判定する。例えば、判定部4は、消失点算出部2から入力される、時系列において連続して算出された複数の消失点、及び、消失点軌跡モデル保持部3が保持する情報に基づいて、上記複数の消失点が有効な消失点であるか否かを判定する。具体的には、判定部4は、複数の消失点から成る消失点の軌跡と、消失点軌跡モデル保持部3が保持する情報に示される消失点の軌跡(テンプレート)とが合致する場合、テンプレートと合致した消失点が有効な消失点であると判定する。判定部4は、判定結果及び消失点の情報を出力部5に出力する。
出力部5は、判定部4の判定結果に基づいて、複数の消失点のうち、有効な消失点を示す情報を出力する。例えば、出力部5は、判定部4において消失点の軌跡が上記条件を満たすと判定された場合、複数の消失点の座標情報のうち少なくとも1つを出力する。
なお、図8に示す画像処理装置10は、消失点軌跡モデル保持部3を備える構成を採るが、この構成に限定されない。例えば、画像処理装置10は、消失点軌跡モデル保持部3を備えずに、消失点の軌跡に関する情報を外部から受け取ってもよいし、判定部4に含まれてもよい。
[画像処理装置10の動作]
以上のように説明した画像処理装置10における消失点の判定処理について詳細に説明する。
図9は、図4、図5、図6で説明した走行シーンの一部に対するより詳細な消失点軌跡の一例を示す。図9A〜図9Dにおいて、画面(実線で囲まれた領域)上の消失点の軌跡を左側に示し、画面上の一部領域(点線で囲まれた領域)の拡大図を右側に示す。
また、図9において「◆」は各時刻で算出された1つの消失点を示し、図9A〜図9Dは、各走行シーンにおいて、時系列で連続する消失点から成る消失点の軌跡を示す。具体的には、図9Aは加速して直進時の消失点軌跡を示し、図9Bは定速で直進時の消失点軌跡を示し、図9Cは左に旋回時(一時停止あり)の消失点軌跡を示し、図9Dは右車線へ位置変更時の消失点軌跡を示す。すなわち、図9A〜図9Dは、図4A、図4C、図5C、図6Aの走行シーンにそれぞれ対応している。
図9Aに示す拡大図では、消失点が下方向に移動した或る位置において留まっていることが分かる。
図9Bに示す拡大図では、消失点が一定の位置周辺の領域に留まっていることが分かる。
図9Cに示す拡大図では、旋回中に消失点がやや上の位置を右側に移動した後、一時停止した時点では消失点は元の高さ(破線で示す高さ)に戻り、一定の位置周辺の領域に留まっていることが分かる。
図9Dに示す拡大図では、右方向への転換が終了し、車線境界線に平行な方向に回帰する前後に車両のロール方向の傾きが0になる反転過渡状態において、消失点が一定の位置周辺の領域に留まっていることが分かる。
図9A〜図9Dの拡大図に示すように、各走行シーンでは、一定期間内の連続する消失点がほぼ同一位置に留まっていることが分かる。上記一定期間内の消失点は、ほぼ同一位置に存在することより、位置誤差が少ない消失点であると言える。換言すると、上記一定期間内の消失点は、位置が安定した消失点であり、例えば、消失線の算出に有効な消失点であると言える。
そこで、消失点軌跡モデル保持部3は、上記一定期間内の消失点の軌跡を表すテンプレート(消失点軌跡モデル)を保持し、判定部4は、消失点算出部2で算出された消失点と、消失点軌跡モデル保持部3が保持するテンプレートとでパターンマッチング処理を行い、消失線算出の際に有効である消失点であるか否かを判定する。
図10は、消失点軌跡モデル保持部3が保持する消失点軌跡のテンプレートを示す図である。
図10A〜図10Dは、図9A〜図9Dにそれぞれ対応している。図10A〜図10Dの拡大図において、太線点線で囲まれた範囲は、位置が安定した消失点の状態を捉えるためのテンプレートであり、ここでは「安定状態テンプレート」と呼ぶ。図10A〜図10Dに示すように、一定数以上(例えば、5個以上)の消失点がほぼ同一位置に存在している状態の消失点の軌跡が安定状態テンプレートとして定義され、この状態は、車両が安定している状態であると見なされる。
すなわち、画像処理装置10において算出される消失点を、有効な消失点として出力する条件(出力条件)は、消失点の位置が安定している状態(安定状態テンプレートに示される状態)である。例えば、消失点の位置が安定している状態が存在する走行シーンとしては、停止しているシーン、直進中に定速走行しているシーン、右又は左に旋回走行中に一時停止しているシーン、又は、車線内における車両の位置変更の場合に車両のロール方向において傾きが発生していない(0となる)状態のシーン(つまり、反転過渡状態)が含まれる。
なお、加速中、減速中の消失点は、消失点の位置が一時的に安定する可能性があるが、消失線の算出には不適としてもよい。つまり、加速中、減速中の消失点に対する安定状態テンプレート(図10A)を定義せず、消失点の出力条件に含めなくてもよい。
また、図10では、安定状態テンプレートの形状を矩形とする場合について説明したが、安定状態テンプレートの形状は、円形、楕円など他の形状でもよい。
次に、上述した安定状態テンプレートを用いて、消失点の点列を図形と捉える場合の画像処理装置10における処理フローについて説明する。
図11Aは、画像処理装置10における処理の流れを示すフロー図である。
なお、消失点軌跡モデル保持部3は、消失点の軌跡に関する情報として、例えば、図10A〜図10Dに示す各走行シーンに対応する安定状態テンプレートを少なくとも1つ保持する。
図11Aにおいて、画像入力部1及び消失点算出部2は消失点算出処理を行う(ステップ(以下、「ST」と称する)101)。具体的には、図11Bに示すように、画像入力部1は画像を入力し(ST111)、消失点算出部2は画像を用いて消失点を算出する(ST112)。ST101に示す消失点算出処理は、継続的に(例えば、約0.5秒間隔で)行われる。
画像入力部1及び消失点算出部2は、一定時間(例えば10秒間)経過するまで(ST102:YES)、ST101の消失点算出処理を繰り返す。一定時間経過するまでの間(ST102:NO)に、ST101で時系列において連続して算出された消失点は、点列(所定数の消失点から成る消失点群)として一時蓄積される(ST103)。
ST101〜ST103の処理によって一定数の消失点が蓄積された点列に対して以下の処理が行われる。
判定部4は、ST103で蓄積された消失点群と、消失点軌跡モデル保持部3が保持する安定状態テンプレートとを比較して、消失点群の点列(消失点群から構成される消失点の軌跡)が安定状態テンプレートと合致するか否かを判断する(ST104)。すなわち、判定部4は、消失点群の点列を図形と捉える。
点列に対して合致する安定状態テンプレートがあった場合(ST104:YES)、出力部5は、安定状態テンプレートと合致した消失点を、有効な消失点として出力する(ST105)。
すなわち、判定部4において、点列に対して合致する安定状態テンプレートがあったと判定された場合(消失点の軌跡が所定の条件を満たすと判定された場合)、画像処理装置10は、消失点の軌跡を構成する複数の消失点のうちから、安定状態テンプレート(探索窓)内に所定数以上の消失点が含まれている位置の当該消失点を有効な消失点として抽出する。
また、上述した抽出処理に限らず、画像処理装置10は、消失点の軌跡を構成する複数の消失点のうちから、隣接する消失点との間の座標変化量が所定値以下である消失点(つまり、ほぼ同一位置に存在している消失点)を有効な消失点として抽出してもよい。または、画像処理装置10は、消失点の軌跡を構成する複数の消失点のうちから、上記条件に対応して予め定められた特定の座標領域に位置する消失点を有効な消失点として抽出してもよい。なお、画像処理装置10において、上記抽出処理は、判定部4又は出力部5が行ってもよく、図示しない抽出部が行ってもよい。
点列に対して合致する安定状態テンプレートがない場合(ST104:NO)、又は、ST105の処理の終了後、画像処理装置10は、ST101の処理に戻る。
以上のように本実施の形態によれば、画像処理装置10は、消失点の点列を図形として捉え、消失点軌跡モデル保持部3が保持する安定状態テンプレートを用いて、有効な消失点を判定する。これにより、画像処理装置10は、時系列で得られる複数の消失点の中から、消失線算出に有効となる消失点、つまり、位置が安定した状態の消失点のみを抽出することができる。
すなわち、画像処理装置10は、消失線算出に適切な消失点を得るために、従来のように、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、消失線算出に有効な消失点を判定することができる。例えば、画像処理装置10から出力される消失点を用いて消失線算出が行われることにより、車両にカメラを取り付けた際の設置角を精度良く推定できる。
[バリエーション1]
本実施の形態のバリエーション1に係る画像処理装置10(図8)において、消失点軌跡モデル保持部3は、上述した安定状態テンプレートに加え、走行シーンを判断するためのテンプレート(以下、走行シーンテンプレートと称する)を保持してもよい。
例えば、図12A〜図12Dは、各走行シーンに対する走行シーンテンプレート及び安定状態テンプレートを示す。図12A〜図12Dは、図9A〜図9Dとそれぞれ対応している。
図12A〜図12Dの各々において走行シーンテンプレートは、太線実線で囲まれた範囲に相当し、走行シーン毎の消失点の軌跡を表す。なお、図12A〜図12Dに示す走行シーンテンプレートの他に、停止中、減速して直進、右へ旋回、左車線へ位置変更などの走行シーンについても同様の走行シーンテンプレートを定義することができる。
図13は、画像処理装置10における処理の流れを示すフロー図である。なお、図13において、図11Aと同一の動作を行う処理については同一符号を付し、説明を省略する。
図13に示すように、判定部4は、ST103で蓄積された消失点群の点列と、消失点軌跡モデル保持部3が保持する走行シーンテンプレートとを比較して、点列が走行シーンテンプレートと合致するか否かを判断する(ST121)。具体的には、判定部4は、算出された消失点群の点列(消失点群により構成される消失点の軌跡)と、走行シーンテンプレートとが合致した場合、当該点列が算出された時刻において、車両が当該合致したテンプレートに示される走行シーンにあったと判断する。点列に対して合致する走行シーンテンプレートがあった場合(ST121:YES)、判定部4は、ST104の処理を行う。一方、点列に対して合致する走行シーンテンプレートが無い場合(ST121:NO)、画像処理装置10は、ST101の処理に戻る。
このように、バリエーション1では、消失点の軌跡に関する情報として、走行シーンに関する消失点の軌跡を表す走行シーンテンプレート、及び、消失線の算出に有効な消失点(位置誤差が少ない消失点)の軌跡を表す安定状態テンプレート(すなわち出力条件)が含まれる。画像処理装置10は、算出される複数の消失点を用いて、車両の走行シーンを特定することにより、例えば図12に示す各走行シーンにおける、消失点が安定して得られる領域(安定状態テンプレートに示す領域)をより精度良く特定することができる。換言すると、画像処理装置10は、図12に示す走行シーンに該当しない走行シーンにおける消失点群であって、安定状態テンプレートに示される消失点の軌跡と近似した消失点群を、有効な消失点として誤って抽出することを回避することができる。
なお、バリエーション1において、画像処理装置10は、更に、例えば、図12A〜図12Dの各々の左側に示す領域(画像全体)における消失点の軌跡をテンプレートとして備えてもよい。具体的には、図12Aの左側に示す画像上において、中央から下方向の全ての消失点を含む所定の範囲(図示せず)を、加速して直進中の消失点群を判別するための走行シーンテンプレートとしてもよい。同様に、図12Bの左側に示す画像上において、中央付近の全ての消失点を含む所定の範囲(図示せず)を、定速で直進中の消失群を判別するための走行シーンテンプレートとしてもよい。また、図12Cの左側に示す画像上において、中央から右端までの横方向の全ての消失点を含む所定の範囲(図示せず)を、左旋回中の消失点群を判別するための走行シーンテンプレートとしてもよい。また、図12Dの左側に示す画像上において、中央から左方向の全ての消失点を含む所定の範囲(図示せず)を、右車線へ位置変更中の消失点群を判別するための走行シーンテンプレートとしてもよい。この場合でも、上記同様、画像処理装置10は、車両の走行シーンを特定することにより、消失点が安定して得られる領域(安定状態テンプレートに示す領域)をより精度良く特定することができる。
[バリエーション2]
本実施の形態のバリエーション2に係る画像処理装置10(図8)において、消失点軌跡モデル保持部3は、走行シーン毎に複数のテンプレートを保持してもよい。例えば、左旋回時において車両が一時停止する位置に応じて、位置が安定した消失点群が現れる画面上の位置は異なる。そこで、消失点軌跡モデル保持部3は、例えば、左旋回中の走行シーンに対して、図10Cに示すように拡大図のほぼ中央付近に一時停止時の消失点軌跡が描かれる場合のテンプレートの他に、拡大図の左側に一時停止時の消失点軌跡が描かれる場合(つまり、図10Cよりも早い時刻に一時停止する場合)のテンプレート、又は、拡大図の右側に一時停止時の消失点軌跡が描かれる場合(つまり、図10Cよりも遅い時刻に一時停止する場合)のテンプレートを保持してもよい。また、テンプレートは1つとし、マッチングをとる領域を変化させてもよい。他の走行シーンについても同様である。
こうすることで、画像処理装置10は、各走行シーンにおいて車両に想定し得る走行状態をより細かく設定することにより、有効な消失点を精度良く抽出することができる。
(実施の形態2)
本実施の形態では、消失点の軌跡を消失点の時系列の座標変位として捉える。
なお、本実施の形態に係る画像処理装置10は、実施の形態1(図8)と同様であるので、説明を省略し、同一符号を使用する。
まず、本実施の形態において使用する消失点の座標変位を表す記号について説明する。
ここで、時刻T=t(n)の消失点の位置をP0(x(n), y(n))と表し、時刻T=t(n+1)の消失点の位置をP1(x(n+1),y(n+1))と表し、P0とP1との間のx座標の変位をΔx=x(n+1)−x(n)と表し、P0とP1との間のy座標の変位をΔy=y(n+1)−y(n)と表す。この場合、時間的に連続して得られる2つの消失点P0からP1への座標変位を以下の記号(以下、座標変位記号(又は単に記号)と称する)で表す。
●: Δx,Δy ≒ 0
○: Δx,Δy = 小
→: Δx=大(プラス)、Δy=小
←: Δx=大(マイナス)、Δy=小
↑: Δx=小、Δy=大(プラス)
↓: Δx=小、Δy=大(マイナス)
×: Δx=大、Δy=大
具体的には、「●」は消失点がほぼ停止していることを示し、「○」は消失点の動きが安定して、消失点がほぼ同一位置周辺に位置していることを示し、「→」は消失点がほぼ右に移動していることを示し、「←」は消失点がほぼ左に移動していることを示し、「↑」は消失点がほぼ上に移動していることを示し、「↓」は消失点がほぼ下に移動していることを示し、「×」は消失点が斜めに移動していることを示す。
また、時刻T=t(n+1)で消失点が検出されなかった場合を”E”で表す。
Δ値(Δx又はΔy)≒ 0とは、例えば0〜1画素に相当する変位とし、Δ値が「小」とは例えば2〜5画素に相当する変位とし、Δ値が「大」とは例えば6画素以上の変位とするように定義してもよい。
以下では、図4〜図6に示す消失点の軌跡の一部に対して上記記号を用いた場合について説明する。
例えば、図4Aの直進走行時に加速を開始した直後の2つの消失点P0,P1の相対位置は記号「↓」に相当し、逆に、図4Bの直進走行時に減速を開始した直後の2つの消失点P0,P1の相対位置は記号「↑」に相当する。
図4Cの直進時の定速走行中では消失点の動きは安定しており、2つの消失点P0,P1の相対位置は記号「○」に相当する。また、図4Dの停止中には、2つの消失点P0,P1の相対位置は記号「●」に相当する。
また、図5Cの左旋回中に一時停止した場合、2つの消失点P0,P1の相対位置を示す記号を時系列で並べると以下のようになる。
→・・・●・・・→・・・
すなわち、一時停止中の消失点の座標変位は記号「●」に相当する。なお、「・・・」は直前(左側)の記号が0回以上繰り返されることを示している。
同様に、図6の右車線への位置変更時の2つの消失点P0,P1の相対位置を示す記号列は以下のようになる。
←・・・○・・・→・・・
すなわち、反転過渡状態における消失点の座標変位は記号「○」に相当する。
以上より、画像処理装置10は、時系列で連続して消失点の座標変位を判定し、判定結果において「○」又は「●」に相当する時点の消失点を出力することにより、消失線算出に有効な安定した消失点を得ることができる。
ただし、一定の加速度で、直進加速中又は直進減速中には、図4Aの時刻T=t1又は図4Bの時刻T=t1の位置付近において、消失点の位置がしばらく安定し、「○」に相当することがあり得る。すなわち、例えば、直進加速中の場合、2つの消失点P0,P1の相対位置を示す記号列は以下のようになることがあり得る。
↓・・・○・・・↑・・・
このように、消失点軌跡モデル保持部3が保持する消失点の軌跡に関する情報として、時系列で連続する2つの時刻の消失点P0とP1との間の座標変位(Δx,Δy)から決定される座標変位記号が含まれる。
また、消失点軌跡モデル保持部3が保持する、有効な消失点の出力条件として、座標変位(Δx,Δy)が記号「○」又は「●」に相当する場合、すなわち、Δx及びΔyの双方とも「小」であること、又は、ほぼ0であることとする。換言すると、判定部4が判定する消失点の軌跡に関する出力条件は、消失点P0とP1との間の座標変位が所定の変化量以下となることである。
なお、ここでは、画像処理装置10は、直進時の定速走行中、停止中、旋回時の一時停止中、位置変更中の記号「○」又は「●」に相当する時点の消失点を有効な消失点として出力する。これに対して、画像処理装置10は、加速中、減速中の記号「○」又は「●」に相当する時点の消失点、及び、その他の動きを示す記号「×」に相当する時点の消失点を出力から除外する。つまり、画像処理装置10は、記号「○」又は「●」に相当する時刻の直前の記号が「●」、「○」、「←」又は「→」の場合のみ、現時刻の「●」又は「○」に相当する時点の消失点を出力するのに対して、直前の記号が記号「↑」、「↓」又は「×」の場合は消失点を出力しない。以下では、この消失点の出力条件を「第2の出力条件」と称することもある。すなわち、判定部4が判定する消失点の軌跡に関する第2の出力条件には、消失点P0が得られるタイミングよりも早いタイミングにおける座標変位に関する条件が含まれる。
次に、上述した消失点の座標変位を用いた場合の画像処理装置10における処理フローについて説明する。
図14は、画像処理装置10における処理の流れを示すフロー図である。なお、図14において、図11Aと同一の動作を行う処理については同一符号を付し、説明を省略する。
消失点算出部2は、ST101で消失点が算出された場合(ST201:YES)、ST101で算出された消失点の位置をP0とする(ST202)。消失点が算出されない場合(ST201:NO)、画像処理装置10は、ST101の処理に戻る。
消失点算出部2は、再度、消失点を算出し(ST203)、ST203において消失点が算出された場合(ST204:YES)、ST203で算出された消失点の位置をP1とする(ST205)。消失点が算出されない場合(ST204:NO)、画像処理装置10は、ST203の処理に戻る。
なお、ST203の消失点算出処理は、ST101の処理と同一である。例えば、消失点算出部2は、ST101及びST203において、継続的に(例えば、約0.5秒間隔で)消失点の算出処理を行い、時系列で連続する時刻の2つの消失点(P0,P1)を算出する。
判定部4は、消失点軌跡モデル保持部3が保持する消失点の軌跡に関する情報に従って、消失点P0,P1の間の座標変位Δx,Δyを算出し、座標変位記号(●,○,←,→,↑,↓,×)を決定する(ST206)。決定された記号は一時保存される。
判定部4は、消失点軌跡モデル保持部3が保持する、有効な消失点の出力条件に関する情報に従って、ST206で決定された座標変位記号が出力条件で定められている所定の種類(ここでは記号「○」又は「●」)であるか否かを判断する(ST207)。座標変位記号が出力条件で定められた記号で無い場合(ST207:NO)、画像処理装置10は、ST203の処理に戻る。
座標変位記号が出力条件で定められた記号である場合(ST207:YES)、判定部4は、「第2の出力条件」に合致するか否かを判断する(ST208)。ここでは、上述したように、判定部4は、ST206において前回決定された座標変位記号が「↑」、「↓」、「×」では無い場合、第2の出力条件に合致したと判断する(ST208:YES)。第2の出力条件に合致しなかった場合(ST208:NO)、画像処理装置10は、ST203の処理に戻る。
第2の出力条件に合致した場合(ST208:YES)、出力部5は、現在の判定対象である消失点(P0,P1)を有効な消失点の情報として出力する(ST105)。
以上のように本実施の形態によれば、画像処理装置10において、判定部4は、第1のタイミングで対象物が撮影された画像に含まれる第1の消失点(P0)と、第1のタイミングよりも遅い第2のタイミングで対象物が撮影された画像に含まれる第2の消失点(P1)との座標変位が、予め定められた条件を満たすか否かを判定する。出力部5は、座標変位が条件を満たす場合、第1の消失点(P0)および第2の消失点(P1)の座標情報のうち少なくとも1つを出力する。
これにより、画像処理装置10は、消失点の軌跡に関する情報を用いて消失点の座標変位を判定することにより、時系列で得られる複数の消失点の中から、消失線算出に有効となる消失点、つまり、位置が安定した状態の消失点のみを抽出することができる。例えば、画像処理装置10から出力される消失点を用いて消失線算出が行われることにより、車両にカメラを取り付けた際の設置角を精度良く推定できる。
さらに、本実施の形態によれば、画像処理装置10は、消失点の座標変位を用いて定義された、消失点の第2の出力条件を用いることにより、出力する消失点を消失線算出に有効となる消失点のみに限定することができる。これにより、画像処理装置10は、実施の形態1と同様、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、消失線算出に有効な消失点を判定することができる。
また、実施の形態1では、消失点を点列の図形として捉え、点列とテンプレートとのマッチング処理を行うため、消失点を一定量蓄積して判定処理を行う必要がある。これに対して、本実施の形態では、画像処理装置10は、実施の形態1と比較して、消失点の蓄積量を抑え(P0,P1のみ)、消失点の算出の都度、逐次的に有効な消失点を判定して出力することができる。
(実施の形態3)
本実施の形態では、消失点の軌跡を消失点の座標変位から得られる走行シーンの状態遷移として捉える。
なお、本実施の形態に係る画像処理装置10は、実施の形態1(図8)と同様であるので、説明を省略し、同一符号を使用する。
まず、本実施の形態における消失点軌跡モデル保持部3が保持する情報について説明する。
図15は、走行中の消失点の座標変位から定義される走行シーンの状態遷移の説明に供する図である。図15に示す一例では、走行シーンの状態として、画像処理装置10の起動直後の初期状態30、消失点がいずれの走行モデルにも合致していない状態である走行モデル外状態31、検出された消失点が予め定義された走行モデルに合致している状態32〜34が定義されている。また、図15では、走行モデルとして、直進走行モデル32、旋回走行モデル33、及び、位置変更走行モデル34が定義されている。
図15に示す矢印は、状態の遷移元と遷移先とを結び、走行シーンの状態が、初期状態30から走行モデル外状態31に遷移した後、走行モデル外状態31と各走行モデル32〜34との間で状態が遷移することを示している。
また、各走行モデルの中には、詳細な状態が定義されている。具体的には、直進走行モデル32には、加速中、減速中、定速走行中、停止中の状態が定義され、旋回走行モデル33には、旋回中、一時停止中の状態が定義され、位置変更走行モデル34には、方向転換中、反転過渡状態、方向回帰中の状態が定義されている。
図15に示す各走行モデルの中の太線楕円で示される状態は、消失線算出に有効な状態(つまり、出力条件)を示している。上述したように、太線楕円で示される状態では、消失点の動きが安定していると考えられる。具体的には、図15において、消失線算出に有効な状態として定義されている所定の種類の状態は、直進走行モデル32の場合、定速走行又は停止中の状態であり、旋回走行モデル33の場合、一時停止中の状態であり、位置変更走行モデル34の場合、反転過渡状態(つまり、位置変更中に車両のロール方向において傾きが発生していない状態)である。
また、走行モデル外状態31は、初期状態から消失点が検出された場合、各走行モデルに遷移している状態において当該モデルから逸脱した消失点が検出された場合(後述する終了条件を満たす場合)、消失点が検出されていない場合に遷移する状態である。
次に、図15に示す状態遷移を想定した場合の画像処理装置10における処理フローについて説明する。
図16は、画像処理装置10における処理の流れを示すフロー図である。なお、図16において、図11Aと同一の動作を行う処理については同一符号を付し、説明を省略する。
なお、ここでは、走行シーンの状態が図15に示す走行モデル32〜34のいずれかの状態であるとする。
判定部4は、ST101において消失点算出部2で算出された消失点(現消失点)を用いて、消失点軌跡モデル保持部3が保持する状態遷移定義(図15)に従って、車両の次の状態を決定する(ST301)。
判定部4は、状態遷移定義に含まれる有効な消失点の出力条件と、ST301で決定された状態が消失点の出力条件に合致するか否かを判断する(ST302)。
状態が消失点の出力条件に合致した場合(ST302:YES)、判定部4は、現消失点を有効な消失点として保存する(ST303)。ST303の処理後、又は、状態が消失点の出力条件に合致しない場合(ST302:NO)、画像処理装置10は、ST304の処理に進む。
判定部4は、ST301で決定された状態が、現在遷移している走行モデルに定義されているモデルの終了条件に合致するか否かを判断する(ST304)。状態が終了条件に合致しない場合(ST304:NO)、画像処理装置10は、ST101の処理に戻る。
状態が終了条件に合致する場合(ST304:YES)、出力部5は、ST303で保存された消失点を有効な消失点情報として出力する(ST105)。
判定部4は、現在遷移している走行モデルの状態を終了して、走行モデル外状態31に遷移する(ST306)。
このようにして、本実施の形態では、消失点軌跡モデル保持部3は、時系列で連続する2つの消失点間における座標変位に関連付けられた、車両の走行シーンの状態遷移を表す情報を保持し、判定部4は、算出した消失点に対して、状態遷移定義に従って有効な消失点であるか否かを判定する。すなわち、判定部4が判定する消失点の軌跡に関する条件には、座標変位の情報を用いて定義される状態遷移に基づく条件が含まれる。具体的には、判定部4は、消失点軌跡モデル保持部3が保持する情報に基づいて上記2つの消失点間における座標変位を特定し、特定された座標変位に対応する車両の状態が所定の種類の場合、上記2つの消失点が有効な消失点であると判定する。こうすることにより、画像処理装置10は、複数の消失点の中から、有効な消失点のみを出力することができる。
次に、走行シーンの状態遷移定義についてより詳細に説明する。
なお、状態遷移定義で使用する記号として、実施の形態2で説明した消失点の座標変位記号(●,○,←,→,↑,↓,×,E)を使用し、ここではこれらの説明を省略する。
図17は、直進走行モデル32(図17A)、旋回走行モデル33(図17B)、位置変更走行モデル34(図17C)における、座標変位記号を用いた状態遷移定義の説明に供する図である。
図17A〜図17Cに示す表は、現状態から次状態への遷移の条件を、時系列で連続する2つの消失点の座標変位に対応する座標変位記号で定義している。例えば、図17Aにおいて、現状態が「加速中」の場合、消失点の座標変位記号が「○」又は「●」の場合には次状態は「定速走行中」に遷移し、「↓」の場合には次状態は「加速中」のままであり、「↑」の場合には次状態は「減速中」に遷移する。なお、「−」は、「加速中」から「停止中」へ遷移する条件は無いことを示している。
また、図17A〜図17Cに示す表の右端列には、各走行モデルの終了条件が定義されている。例えば、直進走行モデル32(図17A)において、現状態が「定速走行中」、「加速中」又は「減速中」の場合、消失点の座標変位記号が「←」,「→」,「×」,「E」の場合には、走行シーンが直進走行の状態ではなくなったと判断され、直進走行モデルが終了される。終了条件に合致して各走行モデルを終了すると、走行シーンの状態は、図15の走行モデル外状態31に遷移する。
また、状態遷移定義では、現状態から次状態への遷移条件に加え、有効な消失点の出力条件も定義される。例えば、直進走行モデル32(図17A)では、上述したように、「定速走行中」及び「停止中」の状態が、消失点が安定している状態として見なされる。
そこで、図17Aに示すように、この2つの状態がそれぞれ連続する場合、すなわち、現状態「定速走行中」から次状態「定速走行中」へ遷移する場合、及び、現状態「停止中」から次状態「停止中」へ遷移する場合(表中の塗りつぶされた欄)のその時点の消失点を有効な消失点の出力条件としている。
また、状態遷移定義では、当該走行モデルに遷移する条件(開始条件)と当該走行モデル開始の際の初期状態とが定義される。例えば、直進走行モデル32(図17A)の開始条件は座標変位記号が「○」の場合であり、初期状態は「定速走行中」である。これは、図17Aにおいて、走行モデル外状態31において座標変位記号が「○」となった時点で、「定速走行中」を初期状態として直進走行モデル32への状態遷移を開始することを示す。
なお、図17B、図17Cについても、図17Aと同様であるので説明は省略する。
次に、図18に初期状態30、走行モデル外状態31、そして各走行モデル32〜34の全体の遷移を含む詳細フロー図を示す。
図18は、画像処理装置10における状態遷移に関する処理の主な流れを示すフロー図である。すなわち、図18に示す処理は、図15に示す初期状態30と、走行モデル外状態31と、各走行モデル32〜34との間の状態遷移の処理に該当する。なお、図18において、図14と同一の動作を行う処理については同一符号を付し、説明を省略する。
なお、消失点軌跡モデル保持部3は、状態遷移定義(遷移条件、走行モデルの開始条件・終了条件、及び出力条件。図17A〜図17C参照)を保持する。
判定部4は、ST101,ST201〜ST205aの処理によって算出された消失点位置P0,P1を用いて、時系列で連続する2つの消失点の座標変位(Δx,Δy)を算出して、算出された座標変位(Δx,Δy)に対応する座標変位記号を決定する(ST206)。
判定部4は、ST206で決定された座標変位記号が、いずれかの走行モデルで定義されている開始条件に合致するか否かを判断する(ST401)。座標変位記号が走行モデルの開始条件に合致しない場合(ST401:NO)、画像処理装置10は、ST203の処理に戻る。一方、座標変位記号が走行モデルの開始条件に合致する場合(ST401:YES)、判定部4は、開始条件が合致した走行モデルに関する処理(走行モデル処理)を開始する(ST402)。
図19は、図18のST402における走行モデル処理の主な流れを示すフロー図である。なお、図19において、図14と同一の動作を行う処理については同一符号を付し、説明を省略する。
なお、図19では、図18に示すST401において開始条件が合致した走行モデルで定義されている初期状態から開始される。
判定部4は、ST101で新たに消失点が算出された場合、ST101で前回算出された消失点位置P1をP0とし、新たに算出された消失点(新消失点)位置をP1とする(ST501)。
判定部4は、ST206で決定された座標変位記号に基づいて、図17A〜図17Cに示す状態遷移定義に従って、車両の走行シーンの状態を遷移させる(ST502)。
判定部4は、遷移の際、有効な消失点の出力条件に合致しているか否かを判断する(ST503)。出力条件に合致する場合(ST503:YES)、判定部4は、消失点P1を有効な消失点として保存する(ST504)。出力条件に合致しない場合(ST503:NO)又はST504の処理後、画像処理装置10は、ST505の処理に進む。
判定部4は、ST206で決定された座標変位記号に示される状態が終了条件に合致するか否かを判断する(ST505)。終了条件に合致しない場合(ST505:NO)、画像処理装置10は、ST101の処理に戻る。終了条件に合致する場合(ST505:YES)、出力部5は、ST504で保存した消失点を、有効な消失点情報として出力し(ST105)、走行モデル処理を終了する。走行モデル処理が終了すると、走行シーンの状態は、図15に示す走行モデル外状態に遷移する。
なお、図18に示すST401の処理において、複数の走行モデルの開始条件と合致したと判断された場合には、判定部4は、開始条件が合致したと判断された複数の走行モデルに対して、各走行モデルで定義された終了条件に達するまで、走行モデル処理をそれぞれ行えばよい。
以上のように本実施の形態によれば、画像処理装置10は、消失点の軌跡に関する状態遷移定義を用いて、消失点の座標変位を判定することにより、時系列で得られる複数の消失点の中から、消失線算出に有効となる消失点、つまり、位置が安定した状態の消失点のみを抽出することができる。例えば、画像処理装置10から出力される消失点を用いて消失線算出が行われることにより、車両にカメラを取り付けた際の設置角を精度良く推定できる。
さらに、本実施の形態によれば、画像処理装置10は、消失点の座標変位を用いて定義された、消失点の出力条件を用いることにより、出力する消失点を消失線算出に有効となる消失点のみに限定することができる。これにより、画像処理装置10は、実施の形態1と同様、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、消失線算出に有効な消失点を判定することができる。
また、本実施の形態では、画像処理装置10は、実施の形態1と比較して、消失点の蓄積量を抑え(P0,P1のみ)、消失点の算出の都度、逐次的に有効な消失点を判定して出力することができる。
以上、本発明の各実施の形態について説明した。
[他の実施の形態]
[1]上記実施の形態において、図5Bに示すように、交差点などでの旋回時には、同一画面上に、方向の異なる複数の車線境界線(平行線)から得られる複数の消失点が現れる場合がある。この場合、画像処理装置10は、各車線境界線に対応する消失点について、有効な消失点に関する判定処理(例えば、図11A、図14、図16)をそれぞれ行い、出力条件を満たした消失点を有効な消失点情報として出力すればよい。すなわち、画像処理装置10において、消失点算出部2は、車載カメラの撮影対象領域に存在する異なる方向に伸びる複数の車線境界線(平行線)にそれぞれ対応する消失点を算出し、判定部4は、複数の車線境界線に対応する消失点毎に、上述した有効な消失点であるか否かを判定し、出力部5は、複数の車線境界線にそれぞれ対応する有効な消失点を出力すればよい。
これにより、画像処理装置10は、交差点等で複数方向の消失点が現れる場合でも、消失線算出に有効な消失点を出力することができる。ここで、同一車線境界線から得られる消失点と比較して、異なる車線境界線から得られる消失点では、消失点間の距離がより広くなる。また、消失線の算出に用いられる消失点間の距離が広いほど、消失線算出において、消失点を結んだ際の消失点の傾き幅(消失線のずれ)に対して消失点の位置誤差が与える影響はより小さくなる。よって、画像処理装置10が、異なる車線境界線から得られた消失点を用いて消失線の算出を行うことにより、より離れた位置、かつ、位置誤差の少ない消失点を出力することができるので、消失線の算出精度を向上させることができる。
[2]また、上記実施の形態において、出力部5は、判定部4において有効な消失点として保存された複数の消失点を消失点情報としてそのまま出力してもよく、複数の有効な消失点の情報を加工して得られた消失点情報を出力してもよい。すなわち、出力部5は、有効な消失点として判定された1つ以上の消失点に基づいて算出した消失点に関する情報を出力してもよい。例えば、出力部5は、保存された消失点の位置を平均した結果を消失点情報として出力してもよい。または、出力部5は、保存された複数の消失点の位置のばらつき具合に基づいて消失点位置の安定度合を算出し、消失点位置の情報と併せて、消失点位置の安定度合を出力してもよい。こうすることで、画像処理装置10は、消失線の算出において、安定度合が付与された消失点位置の情報を出力することができるので、消失線の算出精度を更に向上させることができる。
[3]また、上記実施の形態において、出力部5は、有効な消失点を出力する際に、消失点の出力条件を満たした走行シーンの種類を、消失点の位置情報と併せて出力してもよい。これにより、消失点を用いた処理を行う装置(図示せず)において、車載センサ又はナビゲーションシステムの情報を用いて走行状態を検知することなく、走行モデルが定義された範囲で、消失点が出力された時点の走行状態を知ることができる。
[4]また、上記実施の形態では、カメラが設置される移動物体を車両とする場合について説明した。しかし、カメラが設置される移動物体としては、車両に限らず、例えば、ロボット、人間などでもよい。
[5]また、上記実施の形態では、カメラの撮影対象領域に存在する平行線(すなわち、消失点の算出対象)の一例として、道路における車線境界線とする場合について説明した。しかし、画像処理装置10において消失点算出の対象となる平行線は、車線境界線に限らず、車両が走行中に撮影されるその他の平行線(例えば、ガードレールのエッジなど)、であってもよい。