JP2008046978A - 特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法 - Google Patents

Abstract

【課題】一つの視点より撮像した画像から抽出された特徴点について高さ情報を算出すること、また、二以上の視点からなるステレオ視において、互いの視点において死角となる箇所から抽出された特徴点について高さ情報を算出することを課題とする。
【解決手段】車両追跡装置１０は、画像上の座標ごとに、当該座標に係る位置で抽出され得る特徴点の基準面に対する高さと、当該特徴点の基準面への正射影から基準線への垂線方向の距離とを対応付けたテーブルを予め記憶し、高さ算出対象特徴点８ａの近傍に位置する近傍特徴点８ｂの移動距離を高さ算出対象特徴点８ａの移動距離として算出し、同一の高さ間における移動前後の基準線への垂線方向の距離の差分を高さ算出対象特徴点８ａの移動前後による画像上の座標に係るテーブルを用いて算出し、移動距離と同一となる高さを高さ算出対象特徴点８ａの高さとする。
【選択図】 図３

Description

この発明は、特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法に関する。

従来、二以上の視点から撮像した画像を用いて、画像内に存在する物体の三次元位置情報を算出するステレオ視（ステレオマッチング）を利用した研究がなされている。例えば、非特許文献１では、ステレオ視（ステレオマッチング）によって得た画像内の三次元位置情報から、障害物を認識して避けて走行する自律走行車や、画像内の人物などの三次元的な動きを追跡する監視カメラなどの研究が開示されている。

また、ステレオ視（ステレオマッチング）を利用した技術の一つとして以下の車両追跡技術が考案されている。すなわち、道路を二以上の視点から撮像し、画像から車両の特徴点を抽出するとともに当該特徴点の高さ情報を算出し、その高さ情報によって車両の周囲に発生する影や、雨天時の路面水膜上に映った車両の反射像などの特徴点については余計なものとして除去し、車両のみを追跡するものである。なお、この車両追跡技術では、高さ情報の精度を高めるために、視点間の距離を離すことが行われていた。

http://www.ric.titech.ac.jp/saneken/stereocamera.htm

しかしながら、上記した車両追跡技術では、二以上の視点が前提となっており、そもそも、一つの視点より撮像した画像から抽出された特徴点については、高さ情報を算出することができないという問題点があった。また、二以上の視点からなるステレオ視でも、高さ情報の精度を高めるために視点間の距離を離すと、互いの視点において死角となる箇所が生じてしまい、その箇所から抽出された特徴点については高さ情報を算出することができないという問題点があった。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、一つの視点から撮像された画像からも特徴点の高さ情報を算出することが可能な特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、定点に設置された撮像手段によって固定かつ連続に撮像して得られた画像から特徴点を抽出して処理する方法をコンピュータに実行させる特徴点抽出処理プログラムであって、前記撮像手段によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から前記特徴点への高さと、当該採り得る各高さにおける前記基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持するテーブル保持手順と、複数の画像間で同一の特徴点として抽出された所定の特徴点について、前記実空間における基準線からみた当該特徴点の移動距離を算出する移動距離算出手順と、前記複数の画像から前記所定の特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記所定の特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された移動距離と同一となる高さを前記所定の特徴点の高さとして算出する高さ算出手順と、をコンピュータに実行させることを特徴とする。

また、請求項２に係る発明は、上記の発明において、前記撮像手段は、二つ以上の視点から固定かつ連続に撮像して各視点から同時刻の画像を得るものであって、前記移動距離算出手順は、前記同時刻に得られる二つ以上の画像のなかの一つの画像でのみ撮像され、かつ、同一視点から撮像した複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、前記同時刻に得られる二つ以上の画像のなかの二つ以上の画像で撮像され、かつ、前記高さ算出対象特徴点の近傍に位置する近傍特徴点を探索し、当該近傍特徴点を前記同時刻に得られる二つ以上の画像および前記複数の画像間でステレオ視することで、前記実空間における基準線からみた近傍特徴点の移動距離を前記高さ算出対象特徴点の移動距離として算出し、前記高さ算出手順は、前記複数の画像から前記高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さ算出対象特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された前記近傍特徴点の移動距離と同一となる高さを前記高さ算出対象特徴点の高さとして算出することを特徴とする。

また、請求項３に係る発明は、上記の発明において、前記移動距離算出手順は、前記複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、前記高さ算出対象特徴点の近傍に位置し、かつ、高さが既知である近傍特徴点を探索し、前記複数の画像から当該近傍特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さを用いて前記近傍特徴点の移動前後における距離を取得して差分を算出することで、前記実空間における基準線からみた近傍特徴点の移動距離を前記高さ算出対象特徴点の移動距離として算出し、前記高さ算出手順は、前記複数の画像から前記高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さ算出対象特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された前記近傍特徴点の移動距離と同一となる高さを前記高さ算出対象特徴点の高さとして算出することを特徴とする。

また、請求項４に係る発明は、上記の発明において、前記移動距離算出手順は、前記近傍特徴点の探索に際して、前記撮像手段の設置位置から前記近傍特徴点までの実空間の距離が近くなるに従って、前記近傍特徴点の探索範囲を広くすることを特徴とする。

また、請求項５に係る発明は、上記の発明において、前記移動距離算出手順は、前記近傍特徴点の探索に際して、前記高さ算出対象特徴点と同一対象物上にある特徴点を探索することを特徴とする。

請求項１の発明によれば、撮像手段によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から特徴点への高さと、当該採り得る各高さにおける基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持し、複数の画像間で同一の特徴点として抽出された所定の特徴点について、実空間における基準線からみた当該特徴点の移動距離を算出し、複数の画像から所定の特徴点の移動前後における画像上の位置をそれぞれ取得し、テーブルから所定の特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分と算出された移動距離とが同一となる高さを所定の特徴点の高さとして算出するので、一つの視点から撮像された画像からも特徴点の高さを算出することが可能となる。

請求項２の発明によれば、同時刻に得られる二つ以上の画像のなかの一つの画像でのみ撮像され、かつ、同一視点から撮像した複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、同時刻に得られる二つ以上の画像のなかの二つ以上の画像で撮像され、かつ、高さ算出対象特徴点の近傍に位置する近傍特徴点を探索し、当該近傍特徴点を同時刻に得られる二つ以上の画像および複数の画像間でステレオ視することで、実空間における基準線からみた近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出し、複数の画像から高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、テーブルから高さ算出対象特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が近傍特徴点の移動距離と同一となる高さを高さ算出対象特徴点の高さとして算出するので、他方の視点において死角となったところから抽出された特徴点についても高さを算出することが可能となる。また、高さが既知である近傍特徴点の移動前後の距離をテーブルから取得してその差分を高さ算出対象特徴点の移動距離として算出する手法と比較して、精度のよい高さを算出することが可能となる。つまり、ステレオ視によって移動距離として算出する手法では焦点距離および２台のカメラ間の距離さえ正確に測量すればよく、高さが算出されるまでに関わる測量の誤差が少ないので（もう一つの手法では、テーブルの作成時で測量の誤差が生じる可能性が高く、さらに、高さを算出するために当該テーブルを用いる過程が２回あるため）、精度のよい高さを算出することが可能となる。

請求項３の発明によれば、複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、高さ算出対象特徴点の近傍に位置し、かつ、高さが既知である近傍特徴点を探索し、複数の画像から当該近傍特徴点の移動前後における画像上の位置をそれぞれ取得し、テーブルから高さを用いて近傍特徴点の移動前後における距離を取得して差分を算出することで、実空間における基準線からみた近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出し、複数の画像から高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、テーブルから高さ算出対象特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が近傍特徴点の移動距離と同一となる高さを高さ算出対象特徴点の高さとして算出するので、移動距離が算出できない高さ算出対象特徴点についても近傍の特徴点の移動距離を用いることで高さを算出することが可能となる。また、ステレオ視によって近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出する手法と比較して、ただ一つの視点を備えた撮像手段であっても高さ算出対象特徴点の高さを算出するので、撮像手段の視点が減る分だけ特徴点抽出処理を安価に実現することが可能となる。

請求項４の発明によれば、近傍特徴点の探索に際して、撮像手段の設置位置から近傍特徴点までの実空間の距離が近くなるに従って、近傍特徴点の探索範囲を広くするので、近傍特徴点が見つからない現象や、他の対象物に近傍特徴点を設定してしまう現象を回避することが可能となる。すなわち、画像上において撮像手段の設置位置から対象物までの距離が近い領域に対して探索範囲を狭くしてしまうと、近傍特徴点が見つからない現象が起こり、画像上において撮像手段の設置位置から対象物までの距離が遠い領域に対して探索範囲を広くしてしまうと、他の対象物に近傍特徴点を設定してしまう現象が起こるが、これらの現象を回避することが可能となる。

請求項５の発明によれば、近傍特徴点の探索に際して、高さ算出対象特徴点と同一対象物上にある特徴点を探索するので、確実に同一対象物で近傍特徴点を見つけることができ、他の対象物に近傍特徴点を設定してしまう現象を回避することが可能となる。

以下に添付図面を参照して、この発明に係る特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法の実施例を詳細に説明する。なお、以下では、本発明に係る特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法を適用した車両追跡装置を実施例１として説明した後に、他の実施例を実施例２として説明する。

以下の実施例１では、実施例１に係る車両追跡装置の概要および特徴、車両追跡装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。

［概要および特徴（実施例１）］
図１、図２および図３を用いて、実施例１に係る車両追跡装置の概要および特徴を説明する。図１は、実施例１に係る車両追跡装置の概観を示す図であり、図２および図３は、車両追跡装置の概要と特徴を説明するための図である。

まず、実施例１に係る車両追跡装置の概観について説明する。図１に示すように、車両追跡装置１０は、道路１ｂの路側に立てた支柱１ｃに固定され、支柱１ｃの上部アーム部に固定された左カメラ２０と、同じく道路１ｂの路側に立てた支柱１ｄの上部アーム部に固定された右カメラ３０とに専用のケーブルで接続される。

そして、左カメラ２０および右カメラ３０は、道路１ｂを上方から連続で撮像して左右で同時刻の画像を取得し、車両追跡装置１０に当該画像を出力している。車両追跡装置１０は、左カメラ２０および右カメラ３０から受け取った画像を処理することで車両１ａなどに対して追跡処理を行う。なお、基準線１ｅは、図１に示すように道路１ｂと直交するように定められている。

次に、実施例１に係る車両追跡装置の概要と特徴について説明する。車両追跡装置は、上記した左カメラ２０および右カメラ３０によって固定かつ連続に撮像して得られた画像から特徴点を抽出して処理することを概要としており、一つの視点から撮像された画像からも特徴点の高さを算出できるようにしている点に主たる特徴がある。

この主たる特徴について説明すると、車両追跡装置１０は、左カメラ２０や右カメラ３０によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から特徴点への高さと、当該採り得る各高さにおける基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持する。

例えば、図２に示すように、車両追跡装置１０は、右カメラ３０によって得られる画像２ａの位置（４００，１２０）について、以下に説明するようなテーブル２ｄを保持する。なお、ここでいう位置（ｘ，ｙ）とは画像２ａの左上隅を原点（０，０）としたｘｙ平面上の座標であり、画像２ａの左上隅の画素の位置を（０，０）とした場合には、当該画素から右方向へｘ番目（最大値８００）、下方向へｙ番目（最大値４００）の画素の位置を表すことができる。

かかるテーブル２ｄでは、位置（４００，１２０）について、例えば、基準面２ｂから特徴点３ａへの高さ０．９ｍ（基準面２ｂに対する特徴点３ａの正射影４ａと特徴点３ａとの距離）、基準面２ｂから特徴点３ｂへの高さ０．６ｍ（基準面２ｂに対する特徴点３ｂの正射影４ｂと特徴点３ｂとの距離）、基準面２ｂから特徴点３ｃへの高さ０．３ｍ（基準面２ｂに対する特徴点３ｃの正射影４ｃと特徴点３ｂとの距離）および基準面２ｂから特徴点３ｄへの高さ０．０ｍ（基準面２ｂ上に特徴点３ｄが存在する）と、特徴点３ａ〜３ｄの正射影４ａ〜４ｃ（特徴点３ｄについては、自身と正射影とが重なるので特徴点３ｄそのもの）から基準線１ｅへの垂線方向の距離１３．５ｍ、１４．０ｍ、１４．５ｍおよび１５．０ｍとをそれぞれ対応付けて保持し、他の全ての位置（全ての画素ごとである必要はなく、何画素おきでもよい）についても同様に、座標と、高さと、基準線１ｅへの垂線方向の距離とを対応付けて保持する。なお、右カメラ３０に関する光学的な直線２ｃ上の点は、全て画像２ａ上で同位置に見えるので、当該位置で特徴点が採り得る高さの間隔をさらに細かくしてもよい。

そして、車両追跡装置１０は、複数の画像間で同一の特徴点として抽出された所定の特徴点について、実空間における基準線からみた当該特徴点の移動距離を算出する。具体的には、車両追跡装置１０は、左カメラ２０および右カメラ３０によって同時刻に得られる二つの画像のなかの一つの画像でのみ撮像され、かつ、同一視点から撮像した複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、左カメラ２０および右カメラ３０によって同時刻に得られる二つの画像で撮像され、かつ、高さ算出対象特徴点の近傍に位置する近傍特徴点を探索し、当該近傍特徴点を同時刻に得られる二つの画像および複数の画像間でステレオ視することで、実空間における基準線からみた近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出する。

例えば、図３に示すように、車両追跡装置１０は、左カメラ２０および右カメラ３０によって同時刻に得られた画像５ａおよび画像５ｂを受け取ると、画像５ａでは対象物７から特徴点７ａ〜７ｇを抽出し、画像５ｂでは対象物６から特徴点６ａ〜６ｇを抽出し、ステレオ視によって三次元位置を算出する。しかし、画像５ｂから抽出された特徴点６ａについては、画像５ａでは死角となっている（一つの視点からしか撮像されていない）ためステレオ視ができないので、車両追跡装置１０は、これら特徴点６ａ〜６ｇのうち特徴点６ａを高さ算出対象特徴点として決定する（特徴点６ａを除く特徴点６ｂ〜６ｇについては、三次元位置、つまり高さが既に算出されている）。なお、画像５ａにおける対象物７から抽出された特徴点７ａについては、特徴点６ａと同様に高さ対象特徴点となるが、ここでは説明を省略する。

ここで、同図に示す画像５ｃには、説明の便宜上、画像５ｂに現に写っている対象物６（移動後）に加え、画像５ｂより以前に右カメラ３０によって取得された画像に写っていた対象物６ｈ（移動前）を点線で描いている。車両追跡装置１０は、特徴点６ａを高さ算出対象特徴点として決定した後に、例えば、画像５ｃにおいて高さ算出対象特徴点８ａの近傍に位置する近傍特徴点８ｂ（画像５ｂでは、特徴点６ｇ）を探索し、当該近傍特徴点８ｂの移動前の三次元位置および移動後の三次元位置によって実空間における基準線からみた移動距離を算出し、当該移動距離を高さ算出対象特徴点８ａの移動距離とする。なお、高さ算出対象特徴点８ａおよび近傍特徴点８ｂは、画像５ｃ上では移動前後でそれぞれ矢印８ｃおよび矢印８ｄのように移動したことになる。

最後に、車両追跡装置１０は、複数の画像から高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、テーブルから高さ算出対象特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が近傍特徴点の移動距離と同一となる高さを高さ算出対象特徴点の高さとして算出する。

例えば、図３に示すように、車両追跡装置１０は、高さ算出対象特徴点８ａの移動前の位置（４００，１２０）と、移動後の位置（４００，２００）とを取得し、位置（４００，１２０）に対して予め保持しているテーブル９ａと位置（４００，２００）に対して予め保持しているテーブル９ｂとから、テーブル９ｃのように同一の高さ間で移動前の基準線への垂線方向の距離と移動後の基準線への垂線方向の距離との差分を算出する。そして、車両追跡装置１０は、例えば、近傍特徴点８ｂの実空間における基準線から見た移動距離が１．４ｍだったとすれば、テーブル９ｃより差分１．４ｍに対応する高さ０．６ｍを高さ算出対象特徴点８ａの高さとして算出する。

このようなことから、実施例１に係る車両追跡装置は、上記した主たる特徴のとおり、一つの視点から撮像された画像からも特徴点の高さを算出することが可能となる。

［車両追跡装置の構成（実施例１）］
次に、図４を用いて、車両追跡装置１０の構成を説明する。図４は、車両追跡装置１０の構成を示すブロック図である。同図に示すように、車両追跡装置１０は、記憶部４０と、処理部５０とから構成され、左カメラ２０と右カメラ３０とに接続される。なお、左カメラ２０および右カメラ３０は、特許請求の範囲に記載の「撮像手段」に対応する。

記憶部４０は、処理部５０による各種処理に必要なデータおよびプログラムを記憶し、特に本発明に密接に関連するものとしては、図４に示すように、対応テーブル記憶部４１と、右方向画像記憶部４２ａと、右座標記憶部４２ｂと、左方向画像記憶部４３ａと、左座標記憶部４３ｂと、左右座標記憶部４４と、三次元位置情報記憶部４５と、グループ情報付三次元位置情報記憶部４６と、移動距離記憶部４７と、高さ記憶部４８と、追跡結果記憶部４９とを備え、右方向画像記憶部４２ａおよび左方向画像記憶部４３ａは、右カメラ３０および左カメラ２０にそれぞれ接続される。なお、対応テーブル記憶部４１は、特許請求の範囲に記載の「テーブル保持手順」に対応する。

処理部５０は、左カメラ２０および右カメラ３０から受け取った画像に基づいて各処理を実行し、特に本発明に密接に関連するものとしては、図４に示すように、右特徴点抽出部５１と、左特徴点抽出部５２と、特徴点対応付部５３と、三次元位置算出部５４と、グルーピング処理部５５と、移動距離算出部５６と、高さ算出部５７と、追跡処理部５８と通信部５９を備える。なお、移動距離算出部５６は、特許請求の範囲に記載の「移動距離算出手順」に対応し、高さ算出部５７は、同じく「高さ算出手順」に対応し、追跡処理部５８は、同じく「特徴点選別手順」に対応する。

右カメラ３０は、定点に設置され、道路を上方から固定かつ連続に撮像して画像を取得し、取得した画像からリアルタイムに右方向画像記憶部４２ａへ出力する。そして、右方向画像記憶部４２ａは、右カメラ３０を介して受け取った画像を記憶し、受け取った順に時系列で管理する。なお、右カメラ３０は、後述する左カメラ２０と撮像タイミングを合わせることで左カメラ２０と同時刻の画像を取得する。

例えば、図５に示すように、右カメラ３０は、画像５０１〜５０３を所定の時間内に取得する。ここで、矢印５０７は、右カメラ３０の撮像間隔を視覚的に表現したものであり、右カメラ３０は、常時この撮像間隔で連続して画像を取得する。また、矢印５０８は、時間の流れを示しており、右カメラ３０が画像５０３を取得した後、矢印５０７の撮像間隔を経て画像５０２を取得し、さらに、矢印５０７の撮像間隔を経て画像５０１を取得することを表現している。右カメラ３０は、これら画像５０１〜５０３を取得するとともに、取得した画像からリアルタイムに右方向画像記憶部４２ａへ出力する。

左カメラ２０は、右カメラ３０と同様、定点に設置され、道路を上方から固定かつ連続に撮像して画像を取得し、取得した画像からリアルタイムに左方向画像記憶部４３ａに出力する。そして、左方向画像記憶部４３ａは、右方向画像記憶部４２ａと同様、左カメラ２０を介して受け取った画像を記憶し、受け取った順に時系列で管理する。なお、左カメラ２０は、上述した右カメラ３０と撮像タイミングを合わせることで右カメラ３０と同時刻の画像を取得する。例えば、図５に示すように、左カメラ２０は、画像５０４〜５０６を所定の時間内に取得する。なお、図５は、右カメラおよび左カメラが取得する画像の例を示す図である。

右特徴点抽出部５１は、右カメラ３０が取得した画像ごとに特徴点を抽出する。具体的には、右特徴点抽出部５１は、右方向画像記憶部４２ａに画像が格納されると、右方向画像記憶部４２ａによって管理された時系列に沿って画像を逐次読み込み、読み込んだ画像に対して特徴点を抽出するとともに、特徴点の画像上の座標を割り出し、右座標記憶部４２ｂに出力する。

例えば、図６に示すように、右特徴点抽出部５１は、図５に示す画像５０１を右方向画像記憶部４２ａから読み込んだ場合には、車両１４ａの後部左上の特徴点１４ｂや、車両１４ａの影１４ｃの特徴点１４ｄを抽出する。なお、右特徴点抽出部５１は、この他にも車両１４ａの車体の角、窓の角、ライトの角などの部分から特徴点を抽出する。また、図６は、右特徴点抽出部５１および左特徴点抽出部５２が特徴点を抽出する例を示す図である。

そして、図７に示すように、右特徴点抽出部５１は、例えば図６に示す特徴点１４ｂについて、座標１５ｂ（４３２，８０）を割り出す。このようにして、右特徴点抽出部５１は、他の特徴点についても同様に座標を割り出し、右座標記憶部４２ｂに出力する。なお、ここでいう座標（ｘ，ｙ）とは、画像５０１の左上隅を原点１５ａ（０，０）としたｘｙ平面上の座標であり、後述する対応テーブル記憶部４１が記憶する座標系と一致し、画像５０１の左上隅の画素の位置を（０，０）とした場合には、当該画素から右方向へｘ番目（最大値８００）、下方向へｙ番目（最大値４００）の画素の位置を表すことができる。また、図７は、右特徴点抽出部５１および左特徴点抽出部５２が取得する座標の例を示す図である。

右座標記憶部４２ｂは、上述した右特徴点抽出部５１によって抽出された特徴点の座標を記憶する。具体的には、右座標記憶部４２ｂは、右特徴点抽出部５１から座標を逐次受け取り、右方向画像記憶部４２ａが時系列で管理する画像に係るまとまりで各テーブルに分けて記憶し、右方向画像記憶部４２ａと同様の時系列で管理する。

例えば、図８に示すように、右座標記憶部４２ｂは、図７に示す画像５０１上で右特徴点抽出部５１によって抽出された特徴点の座標をテーブル７０１として記憶する（同様に図５に示す画像５０２や、画像５０３上の特徴点の座標についても、テーブル７０２およびテーブル７０３としてそれぞれ記憶する）。なお、図８は、右座標記憶部４２ｂが記憶する情報の例を示す図である。

左特徴点抽出部５２は、左カメラ２０が取得した画像ごとに特徴点を抽出する。具体的には、左特徴点抽出部５２は、右特徴点抽出部５１と同様、左方向画像記憶部４３ａに画像が格納されると、左方向画像記憶部４３ａによって管理された時系列に沿って画像を逐次読み込み、読み込んだ画像に対して特徴点を抽出するとともに、特徴点の画像上の座標を割り出し、左座標記憶部４３ｂに出力する。

例えば、図６に示すように、左特徴点抽出部５２は、図５に示す画像５０４を左方向画像記憶部４３ａから読み込んだ場合には、車両１４ａの後部左上の特徴点１４ｅなどを抽出する。なお、左特徴点抽出部５２は、この他にも車両１４ａの車体の角、窓の角、ライトの角などの部分から特徴点を抽出する。

そして、図７に示すように、左特徴点抽出部５２は、例えば図６に示す特徴点１４ｅについて、座標１５ｃ（８２，５２）を割り出す。このようにして、左特徴点抽出部５２は、他の特徴点についても同様に座標を割り出し、左座標記憶部４３ｂに出力する。

左座標記憶部４３ｂは、上述した左特徴点抽出部５２によって抽出された特徴点の座標を記憶する。具体的には、左座標記憶部４３ｂは、右座標記憶部４２ｂと同様、左特徴点抽出部５２から座標を逐次受け取り、左方向画像記憶部４３ａが時系列で管理する画像に係るまとまりで各テーブルに分けて記憶し、左方向画像記憶部４３ａと同様の時系列で管理する。

例えば、図９に示すように、左座標記憶部４３ｂは、図７に示す画像５０４上で左特徴点抽出部５２によって抽出された特徴点の座標をテーブル８０１として記憶する（同様に図５に示す画像５０５や、画像５０６上の特徴点の座標についても、テーブル８０２およびテーブル８０３としてそれぞれ記憶する）。なお、図９は、左座標記憶部４３ｂが記憶する情報の例を示す図である。

特徴点対応付部５３は、同一対象物の同一部分から抽出された特徴点の座標どうしを対応付ける。具体的には、特徴点対応付部５３は、同時刻に取得された画像を右方向画像記憶部４２ａおよび左方向画像記憶部４３ａから逐次読み込むとともに、当該画像に係るまとまりで格納されたテーブルを右座標記憶部４２ｂおよび左座標記憶部４３ｂから逐次読み込み、当該画像およびテーブル内の座標を解析することで同一対象物の同一部分から抽出された特徴点の座標どうしを対応付け、対応付けた座標を左右座標記憶部４４に出力する。また、特徴点対応付部５３は、右カメラ３０および左カメラ２０で互いに死角となり、対応付けができない特徴点の座標についても、同様に左右座標記憶部４４に出力する。

例えば、図６や図７に示すように、特徴点対応付部５３は、特徴点１４ｂと特徴点１４ｅとが車両１４ａの後部左上の同一部分から抽出された特徴点として座標１５ｂ（４３２，８０）と座標１５ｃ（８２，５２）とを対応付けて左右座標記憶部４４に出力する。また、特徴点対応付部５３は、車両１４ａの影１４ｃから抽出された特徴点１４ｄについては、左カメラ２０の死角となっており、対応付けられる座標はないが、当該特徴点１４ｄの座標（５８０，１００）についても左右座標記憶部４４に出力する。

左右座標記憶部４４は、上述した特徴点対応付部５３によって出力された座標を記憶する。具体的には、左右座標記憶部４４は、特徴点対応付部５３から出力された座標を逐次受け取り、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａが時系列で管理する画像に係るまとまりで各テーブルに分けて記憶し、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａと同様の時系列で管理する。

例えば、図１０に示すように、左右座標記憶部４４は、同時刻に取得された画像５０１および画像５０４（図７参照）に係る座標をテーブル９０１として記憶する（同様に図５に示す画像５０２および画像５０５や、画像５０３および画像５０６に係る特徴点の座標についても、テーブル９０２およびテーブル９０３としてそれぞれ記憶する）。なお、座標（１１７，１２５）や、座標（４９８，１３８）などは、特徴点対応付部５３による対応付けができなかった座標を表しており、後述する移動距離算出部５６によって高さ算出対象特徴点の座標として決定される。また、図１０は、左右座標記憶部４４が記憶する情報の例を示す図である。

三次元位置算出部５４は、特徴点の三次元位置を算出する。具体的には、三次元位置算出部５４は、左右座標記憶部４４からテーブルを逐次読み込み、対応付けられた座標については、記憶部４０に予めその値が格納されている右カメラ３０および左カメラ２０の焦点距離、並びに、右カメラ３０と左カメラ２０との距離を用いて三次元位置を算出し、対応付けられた左右の座標に対して算出した三次元位置をさらに対応付けて三次元位置情報記憶部４５に出力する。また、三次元位置算出部５４は、対応付けられていない座標については、そのまま三次元位置情報記憶部４５に出力する。

三次元位置情報記憶部４５は、上述した三次元位置算出部５４によって出力された座標および三次元位置を記憶する。具体的には、三次元位置情報記憶部４５は、三次元位置算出部５４から出力された座標および三次元位置を逐次受け取り、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａが時系列で管理する画像に係るまとまりで各テーブルに分けて記憶し、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａと同様の時系列で管理する。

例えば、図１１に示すように、三次元位置情報記憶部４５は、同時刻に取得された画像５０１および画像５０４（図７参照）に係る座標および三次元位置をテーブル１００１として記憶する（同様に図５に示す画像５０２および画像５０５や、画像５０３および画像５０６に係る特徴点の座標および三次元位置についても、テーブル１００２およびテーブル１００３としてそれぞれ記憶する）。なお、図１１は、三次元位置情報記憶部４５が記憶する情報の例を示す図である。

グルーピング処理部５５は、三次元位置情報記憶部４５によって記憶されたテーブル内で同一対象物から抽出された特徴点の座標ごとにグルーピングを行うとともに、複数のテーブル間にわたって同様にグルーピングを行う。

具体的には、グルーピング処理部５５は、右方向画像記憶部４２ａおよび左方向画像記憶部４３ａから画像を逐次読み込むとともに、三次元位置情報記憶部４５からテーブルを逐次読み込み、画像をエッジ処理することで特徴点の座標間の連結を解析し、テーブル内で同一対象物から抽出された特徴点の座標ごとにグルーピングを行う。また、グルーピング処理部５５は、複数のテーブル間で座標の軌跡を追うことで時間を隔てた特徴点の座標間の連結を解析し、テーブル間にわたって同一対象物から抽出された特徴点の座標ごとにグルーピングを行う。そして、グルーピング処理部５５は、対応付けられた左右の座標や三次元位置に対してさらにグループ情報を対応付けてグループ情報付三次元位置情報記憶部４６に出力する。なお、グルーピング処理部５５は、画像内のエッジの強さに基づいて座標どうしの連結の強さを算出し、各座標にその連結の強さを付与させる。

グループ情報付三次元位置情報記憶部４６は、上述したグルーピング処理部５５によって出力された座標、三次元位置およびグループ情報を記憶する。具体的には、グループ情報付三次元位置情報記憶部４６は、グルーピング処理部５５から出力された座標、三次元位置およびグループ情報を逐次受け取り、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａが時系列で管理する画像に係るまとまりで各テーブルに分けて記憶し、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａと同様の時系列で管理する。

例えば、図１２に示すように、グループ情報付三次元位置情報記憶部４６は、同時刻に取得された画像５０１および画像５０４（図７参照）に係る座標、三次元位置およびグループ情報をテーブル１１０１として記憶する（同様に図５に示す画像５０２および画像５０５や、画像５０３および画像５０６に係る特徴点の座標、三次元位置およびグループ情報についても、テーブル１１０２およびテーブル１１０３としてそれぞれ記憶する）。なお、図１２は、グループ情報付三次元位置情報記憶部４６が記憶する情報の例を示す図である。

移動距離算出部５６は、同時刻に得られる二つの画像のなかの一つの画像でのみ撮像され、かつ、同一視点から撮像した複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、同時刻に得られる二つの画像のなかの二つの画像で撮像され、かつ、高さ算出対象特徴点の近傍に位置する近傍特徴点を探索し、当該近傍特徴点を同時刻に得られる二つの画像および複数の画像間でステレオ視することで、実空間における基準線からみた近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出する。なお、移動距離算出部５６は、近傍特徴点の探索に際して、高さ算出対象特徴点と同一対象物上にある特徴点を探索する。

具体的には、移動距離算出部５６は、グループ情報付三次元位置情報記憶部４６からテーブルを逐次読み込み、三次元位置が対応付けられていない座標を高さ算出対象特徴点の座標として決定し、三次元位置が対応付けられた座標であり、かつ、高さ算出対象特徴点の座標と近傍な座標であり、かつ、高さ算出対象特徴点の座標と同じグループ情報が対応付けられた近傍特徴点の座標を探索し、近傍特徴点の座標に対応付けられた三次元位置を目下のテーブルと、直前のテーブル（目下のテーブルから図５に示した矢印５０７の撮像間隔前の画像に係るテーブル）とから読み出し、読み出した二つの三次元位置に基づいて基準線からみた移動距離を算出し、当該移動距離を高さ算出対象特徴点の座標の移動距離として、高さ算出対象特徴点の座標およびグループ情報に対応付けて移動距離記憶部４７に出力する。なお、以下では、高さ算出対象特徴点の座標として決定する対象は、右カメラ３０によって取得された画像に係る座標についてのみで説明を進める。

例えば、移動距離算出部５６は、図１２において座標（５８０，１００）を高さ算出対象特徴点の座標として決定し、近傍特徴点の座標の探索結果が座標（４３２，８０）であった場合には（図７参照）、目下のテーブル１１０１から三次元位置（３０，８０，６）を読み出すとともに、直前のテーブル１１０２から三次元位置（４０，８０，６）（具体的な数値は図示していない）を読み出す。

そして、図１３に示すように、移動距離算出部５６は、実空間１６ａにおける移動後の車両１４ａの三次元位置１６ｂ（３０，８０，６）および点線で示した移動前の車両１４ａの三次元位置１６ｃ（４０，８０，６）に基づいて基準線からみた移動距離「０．７」を算出し、座標（５８０，１００）、グループ情報「Ａ」および移動距離「０．７」を移動距離記憶部４７に出力する。なお、図１３は、移動距離算出部の算出処理を説明するための図である。

移動距離記憶部４７は、上述した移動距離算出部５６によって出力された座標、グループ情報および移動距離を記憶する。具体的には、移動距離記憶部４７は、移動距離算出部５６から出力された座標、グループ情報および移動距離を逐次受け取り、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａが時系列で管理する画像に係るまとまりで各テーブルに分けて記憶し、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａと同様の時系列で管理する。

例えば、図１４に示すように、移動距離記憶部４７は、画像５０１（図７参照）に係る座標、グループ情報および移動距離をテーブル１２０１として記憶する（同様に図５に示す画像５０２や、画像５０３に係る特徴点の座標、グループ情報および移動距離についても、テーブル１２０２およびテーブル１２０３としてそれぞれ記憶する）。なお、図１４は、移動距離記憶部４７が記憶する情報の例を示す図である。

対応テーブル記憶部４１は、左カメラ２０および右カメラ３０によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から特徴点への高さと、当該採り得る各高さにおける基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持する。

例えば、図１５に示すように、対応テーブル記憶部４１は、拡大面６０１（画像６０２上の小領域６０３を拡大したもの）のうち画素６０４の位置を示す座標（５７７，９３）と、高さ０．０ｍと、基準線への垂線方向の距離１５．０ｍとを対応付けたテーブルを記憶する。また、対応テーブル記憶部４１は、当該テーブルにおいて、画像６０２の他の画素についても同様に、座標と、高さと、基準線への垂線方向の距離とを対応付けて記憶する。なお、図１５は、対応テーブル記憶部４１が記憶する情報の例を示す図である。

高さ算出部５７は、二つの画像から移動前後における高さ算出対象特徴点の座標をそれぞれ取得し、対応テーブル記憶部４１が保持するテーブルから高さ算出対象特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が移動距離算出部５６によって算出された近傍特徴点の移動距離と同一となる高さを高さ算出対象特徴点の高さとして算出する。

例えば、高さ算出部５７は、図１４において移動距離記憶部４７が記憶するテーブル１２０１から座標（５８０，１００）を移動前における高さ算出対象特徴点の座標として読み出すとともに、テーブル１２０２から座標（５８４，９６）（具体的な数値は図示していない）を移動後における高さ算出対象特徴点の座標として読み出す。そして、高さ算出部５７は、図１５において対応テーブル記憶部４１が記憶するテーブルから座標（５８０，１００）および座標（５８４，９６）において採り得る高さおよび基準線への垂線方向の距離を取得し、高さ「０．０ｍ」の高さ間における基準線への垂線方向の距離の差分（１４．４−１３．７）が移動距離「０．７」と同一であるので、高さ「０．０ｍ」を当該高さ算出対象特徴点の座標の高さとし、座標（５８０，１００）、グループ情報「Ａ」および高さ「０．０ｍ」を高さ記憶部４８に出力する。

高さ記憶部４８は、上述した高さ算出部５７によって出力された座標、グループ情報および高さを記憶する。具体的には、高さ記憶部４８は、高さ算出部５７から出力された座標、グループ情報および高さを逐次受け取り、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａが時系列で管理する画像に係るまとまりで各テーブルに分けて記憶し、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａと同様の時系列で管理する。

例えば、図１６に示すように、高さ記憶部４８は、画像５０１（図７参照）に係る座標、グループ情報および高さをテーブル１３０１として記憶する（同様に図５に示す画像５０２や、画像５０３に係る特徴点の座標、グループ情報および高さについても、テーブル１３０２およびテーブル１３０３としてそれぞれ記憶する）。なお、図１６は、高さ記憶部４８が記憶する情報の例を示す図である。

追跡処理部５８は、高さが算出された特徴点の座標のうち、実空間における高さが零または負であるものを除外した上で当該座標に基づいて画像を生成する。具体的には、追跡処理部５８は、グループ情報付三次元位置情報記憶部４６および高さ記憶部４８に格納されるテーブルを逐次読み込み、当該テーブル内の座標のうち、高さが零または負の値と対応付けられた座標を除いた座標に基づいて、左カメラ２０や右カメラ３０で取得した画像に対して定義した座標系と同じ座標系を定義した画像上に点をプロットし、さらに、グループ情報付三次元位置情報記憶部４６が記憶する座標どうしの連結に基づいて強い連結を持つ座標どうしを線で結んで、左右の座標ごとに画像を生成し、当該画像を追跡結果記憶部４９に出力する。

例えば、図１７に示すように、追跡処理部５８は、図５に示す画像５０１に対して各処理部が行った処理結果に基づいて、図１７のＡに示すような画像を生成する。なお、追跡処理部５８が逐次画像を生成することで、同じく図１７のＢやＣに示すように、図５に示す画像５０１内の車両の形状または大きさを正確に認識しつつ、追跡する結果が得られる。また、図１７は、追跡処理部５８が生成する画像の例を示す図である。

追跡結果記憶部４９は、上述した追跡処理部５８によって生成された画像を逐次記憶し、右方向画像記憶部４２ａまたは左方向画像記憶部４３ａと同様の時系列で管理する。

通信部５９は、追跡結果記憶部４９に格納される画像を逐次読み込み、予め設定された送信先（例えば、ＶＩＣＳセンターや各都道府県交通管制センターなど）に送信する。

［車両追跡装置の処理（実施例１）］
次に、図１８を用いて、車両追跡装置１０の各種処理を説明する。図１８は、車両追跡処理の流れを示すフローチャートである。

図１８に示すように、車両追跡装置１０において、右方向画像記憶部４２ａに画像が格納されると（ステップＳ１８０１肯定）、右特徴点抽出部５１は、右方向画像記憶部４２ａから画像を読み込み、特徴点を抽出し、当該特徴点の座標を右座標記憶部４２ｂに格納する（ステップＳ１８０２）。

一方、左方向画像記憶部４３ａに画像が格納されると（ステップＳ１８０３肯定）、左特徴点抽出部５２は、左方向画像記憶部４３ａから画像を読み込み、特徴点を抽出し、当該特徴点の座標を左座標記憶部４３ｂに格納する（ステップＳ１８０４）。

そして、特徴点対応付部５３は、右座標記憶部４２ｂおよび左座標記憶部４３ｂから座標を読み込み、左右の特徴点の座標を対応付けて左右座標記憶部４４に格納し（ステップＳ１８０５）、三次元位置算出部５４は、左右座標記憶部４４に格納された座標のうち左右で対応付けられた座標について三次元位置を算出し（ステップＳ１８０６）、座標に対してさらに三次元位置を対応付けて三次元位置情報記憶部４５に格納する（ステップＳ１８０７）。

そして、グルーピング処理部５５は、三次元位置情報記憶部４５に格納された座標のうち同一対象物から抽出された特徴点の座標どうしをグルーピングし（ステップＳ１８０８）、座標に対してさらにグループ情報を対応付けてグループ情報付三次元位置情報記憶部４６に格納する（ステップＳ１８０９）。

そして、移動距離算出部５６は、グループ情報付三次元位置情報記憶部４６に格納された情報を読み込み、近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出し（ステップＳ１８１０）、高さ算出特徴点の座標に対しさらに移動距離を対応付けて移動距離記憶部４７に格納する（ステップＳ１８１１）。

そして、高さ算出部５７は、移動距離記憶部４７に格納された移動距離と対応テーブル記憶部４１に格納されたテーブルとに基づいて算出対象特徴点の高さを算出し（ステップＳ１８１２）、高さ算出特徴点の座標に対しさらに高さを対応付けて高さ記憶部４８に格納する（ステップＳ１８１３）。

そして、追跡処理部５８は、グループ情報付三次元位置情報記憶部４６および高さ記憶部４８に格納された情報によって追跡画像を生成し、追跡結果記憶部４９に格納する（ステップＳ１８１４）。

最後に通信部５９は、追跡結果記憶部４９に格納された追跡画像を予め設定された送信先に送信し（ステップＳ１８１５）、処理を終了する。

［実施例１の効果］
上記したように、実施例１によれば、左カメラおよび右カメラによって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から特徴点への高さと、当該採り得る各高さにおける基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けたテーブルを保持し、複数の画像間で同一の特徴点として抽出された所定の特徴点について、実空間における基準線からみた当該特徴点の移動距離を算出し、複数の画像から所定の特徴点の移動前後における画像上の位置をそれぞれ取得し、予め保持しているテーブルから所定の特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分と、算出された移動距離とが同一となる高さを所定の特徴点の高さとして算出するので、一つの視点から撮像された画像からも特徴点の高さを算出することが可能となる。

また、実施例１によれば、左カメラおよび右カメラは、二つの視点から固定かつ連続に撮像して各視点から同時刻の画像を得るものであって、同時刻に得られる二つの画像のなかの一つの画像でのみ撮像され、かつ、同一視点から撮像した複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、同時刻に得られる二つの画像のなかの二つの画像で撮像され、かつ、高さ算出対象特徴点の近傍に位置する近傍特徴点を探索し、当該近傍特徴点を同時刻に得られる二つ以上の画像および複数の画像間でステレオ視することで、実空間における基準線からみた近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出し、複数の画像から高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、予め保持したテーブルから高さ算出対象特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が移動距離算出手順によって算出された近傍特徴点の移動距離と同一となる高さを高さ算出対象特徴点の高さとして算出するので、他方の視点において死角となったところから抽出された特徴点についても高さを算出することが可能となる。また、高さが既知である近傍特徴点の移動前後の距離をテーブルから取得してその差分を高さ算出対象特徴点の移動距離として算出する手法と比較して、精度のよい高さを算出することが可能となる。つまり、ステレオ視によって移動距離として算出する手法では焦点距離および２台のカメラ間の距離さえ正確に測量すればよく、高さが算出されるまでに関わる測量の誤差が少ないので（もう一つの手法では、テーブルの作成時で測量の誤差が生じる可能性が高く、さらに、高さを算出するために当該テーブルを用いる過程が２回あるため）、精度のよい高さを算出することが可能となる。

また、実施例１によれば、複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、高さ算出対象特徴点の近傍に位置し、かつ、高さが既知である近傍特徴点を探索し、複数の画像から当該近傍特徴点の移動前後における画像上の位置をそれぞれ取得し、予め保持したテーブルから高さを用いて近傍特徴点の移動前後における距離を取得して差分を算出することで、実空間における基準線からみた近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出し、複数の画像から高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、予め保持されたテーブルから高さ算出対象特徴点が移動前後にそれぞれ採り得る高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が移動距離算出手順によって算出された近傍特徴点の移動距離と同一となる高さを高さ算出対象特徴点の高さとして算出するので、移動距離が算出できない高さ算出対象特徴点についても近傍の特徴点の移動距離を用いることで高さを算出することが可能となる。また、ステレオ視によって近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出する手法と比較して、ただ一つの視点を備えた撮像手段であっても高さ算出対象特徴点の高さを算出するので、撮像手段の視点が減る分だけ特徴点抽出処理を安価に実現することが可能となる。

また、実施例１によれば、近傍特徴点の探索に際して、高さ算出対象特徴点と同一対象物上にある特徴点を探索することを特徴とするので、確実に同一対象物で近傍特徴点を見つけることができ、他の対象物に近傍特徴点を設定してしまう現象を回避することが可能となる。

また、実施例１によれば、高さが算出された特徴点のうち、実空間における高さが零または負であるものを特徴点から除外するので、対象物の形状または大きさを正確に認識しつつ、当該対象物を追跡することが可能となる。具体的には、対象物の影などから抽出された特徴点は除外されるので、対象物の形状または大きさを正確に認識しつつ、当該対象物を追跡することが可能となる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）〜（６）にそれぞれ区分けして異なる実施例を説明する。

（１）移動距離の算出
上記の実施例１では、近傍特徴点の移動距離の算出について、ステレオ視によって算出した三次元位置を用いて移動距離を算出する手法を説明したが、本発明はこれに限定されるものではなく、近傍特徴点の高さを何らかの方法で取得し、当該高さを用いて対応テーブル記憶部４１が保持するテーブルから移動距離を算出するようにしてもよい。

例えば、図１９に示すように、車両追跡装置１０は、左カメラ２０または右カメラ３０から受け取った画像１９ａ上で、特徴点１９ｃ（画像１９ａより以前に受け取った画像１９ｂにおける位置を画像１９ａ上に点線で示している）が矢印１９ｄのように移動し、さらに、特徴点１９ｃの高さ０．６ｍの値が既知である場合には、移動前の特徴点１９ｃの座標（４００，１２０）および移動後の特徴点１９ｃの座標（４００，２００）について対応テーブル記憶部４１が予め保持するテーブル１９ｅやテーブル１９ｆを参照し、移動前の基準線への垂線方向の距離と、移動後の基準線への垂線方向の距離との差分を求め（式１９ｇ参照）、特徴点１９ｃの実空間における移動距離を算出するようにしてもよい。なお、図１９は、テーブルを用いて移動距離を算出する手法を説明するための図である。

なお、近傍特徴点の高さを取得する方法としては、例えば、車両は、その一部（特徴点が抽出され得る部分）に発光体を備えておき、車両追跡装置１０は、車両と通信することによってその部分の高さに係る情報を受信し、画像上で抽出された特徴点のうち、輝度が高い箇所で抽出された特徴点と、受信した高さとを対応付けるようにしてもよい。

こうすることによって、移動距離が算出できない高さ算出対象特徴点についても近傍の特徴点の移動距離を用いることで高さを算出することが可能となる。また、ステレオ視によって近傍特徴点の移動距離を高さ算出対象特徴点の移動距離として算出する手法と比較して、ただ一つの視点を備えた撮像手段であっても高さ算出対象特徴点の高さを算出するので、撮像手段の視点が減る分だけ特徴点抽出処理を安価に実現することが可能となる。

（２）近傍特徴点の探索
上記の実施例１では、近傍特徴点の探索について、高さ算出対象特徴点の近傍に位置し、かつ、同一対象物から抽出された特徴点から近傍特徴点の探索を行う手法を説明したが、本発明はこれに限定されるものではなく、高さ算出対象特徴点の近傍に位置するという条件のみを満たす特徴点から近傍特徴点の探索を行うようにしてもよい。例えば、画像上で高さ算出対象特徴点から最も近いところに位置する特徴点を探索し、最初に見つかった特徴点を近傍特徴点と決定するようにしてもよい。

（３）近傍特徴点の探索範囲
上記の実施例１では、近傍特徴点の探索について、探索範囲を単に近傍とするだけであったが、本発明はこれに限定されるものではなく、画像上で探索範囲を区分けして高さ算出対象特徴点に近傍な特徴点から近傍特徴点の探索を行ってもよい。

例えば、図２０に示すように、車両追跡装置１０は、画像２０００を領域２０００ａ〜２０００ｃに分け、領域２０００ａでは対象物が撮像位置より遠距離に位置することにより小さく写り、抽出される特徴点どうしは密集しているので、近傍特徴点の探索範囲を狭く設定し、領域２０００ｂでは対象物が撮像位置より中距離に位置することにより領域２０００ａよりはやや大きく写り、抽出される特徴点どうしの距離もやや離れるので、近傍特徴点の探索範囲をやや広く設定し、領域２０００ｃでは対象物が撮像位置から近距離に位置することにより大きく写り、抽出される特徴点どうしは散在しているので、近傍特徴点の探索範囲を広く設定するようにしてもよい。なお、図２０は、画像上で探索範囲を区分けする例を示す図である。

こうすることによって、近傍特徴点が見つからない現象や、他の対象物に近傍特徴点を設定してしまう現象を回避することが可能となる。すなわち、画像上において撮像手段の設置位置から対象物までの距離が近い領域に対して探索範囲を狭くしてしまうと、近傍特徴点が見つからない現象が起こり、画像上において撮像手段の設置位置から対象物までの距離が遠い領域に対して探索範囲を広くしてしまうと、他の対象物に近傍特徴点を設定してしまう現象が起こるが、これらの現象を回避することが可能となる。

（４）特徴点の除外
上記の実施例１では、除外する特徴点の対象は、高さが零または負である特徴点のみであったが、本発明はこれに限定されるものではなく、特徴点の高さを監視し、移動前後で高さが変化する特徴点についても除外するようにしてもよい。

こうすることによって、対象物の形状または大きさを正確に認識しつつ、当該対象物を追跡することが可能となる。例えば、車両は一般的に車高などが変化することはないので、変化がある特徴点を除外することで車両の形状または大きさを正確に認識しつつ、当該対象物を追跡することが可能となる。

（５）システム構成等
また、図示した各装置（車両追跡装置１０）の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、特徴点対応付部５３と三次元位置算出部５４を統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、車両追跡処理において、右特徴点抽出部５１の処理と、左特徴点抽出部５２の処理との順序はどちらが先であってもよい。

（６）車両追跡プログラム
ところで、上記の実施例１では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図２１を用いて、上記の実施例１に示した車両追跡装置１０と同様の機能を有する車両追跡プログラムを実行するコンピュータの一例を説明する。図２１は、車両追跡プログラムを実行するコンピュータを示す図である。

同図に示すように、コンピュータ２１０は、左カメラ２１１、右カメラ２１２、ＣＰＵ２１３、ＲＯＭ２１４、ＨＤＤ２１５およびＲＡＭ２１６をバス２１７などで接続して構成される。

ＲＯＭ２１４には、上記の実施例１に示した車両追跡装置１０と同様の機能を発揮する車両追跡プログラム、つまり、図２１に示すように、右特徴点抽出プログラム２１４ａと、左特徴点抽出プログラム２１４ｂと、特徴点対応付プログラム２１４ｃと、三次元位置算出プログラム２１４ｄと、グルーピング処理プログラム２１４ｅと、移動距離算出プログラム２１４ｆと、高さ算出プログラム２１４ｇと、追跡処理プログラム２１４ｈと、通信プログラム２１４ｉとが予め記憶されている。なお、これらのプログラム２１４ａ〜２１４ｉについては、図４に示した車両追跡装置１０の各構成要素と同様、適宜統合または分散してもよい。

そして、ＣＰＵ２１３が、これらのプログラム２１４ａ〜２１４ｉをＲＯＭ２１４から読み出して実行することで、図２１に示すように、各プログラム２１４ａ〜２１４ｉは、右特徴点抽出プロセス２１３ａ、左特徴点抽出プロセス２１３ｂ、特徴点対応付プロセス２１３ｃ、三次元位置算出プロセス２１３ｄ、グルーピング処理プロセス２１３ｅ、移動距離算出プロセス２１３ｆ、高さ算出プロセス２１３ｇ、追跡処理プロセス２１３ｈ、通信プロセス２１３ｉとして機能するようになる。なお、各プロセス２１３ａ〜２１３ｉは、図４に示した右特徴点抽出部５１と、左特徴点抽出部５２と、特徴点対応付部５３と、三次元位置算出部５４と、グルーピング処理部５５と、移動距離算出部５６と、高さ算出部５７と、追跡処理部５８と、通信部５９とにそれぞれ対応する。

また、ＨＤＤ２１５には、図２１に示すように、対応テーブル２１５ａが設けられる。なお、対応テーブル２１５ａは、図４に示した対応テーブル記憶部４１に対応する。

そして、ＣＰＵ２１３は、対応テーブル２１５ａを読み出してＲＡＭ２１６に格納し、ＲＡＭ２１６に格納された対応データ２１６ａと、右方向画像データ２１６ｂと、右座標データ２１６ｃと、左方向画像データ２１６ｄと、左座標データ２１６ｅと、左右座標データ２１６ｆ、三次元位置データ２１６ｇとグループ情報付三次元位置データ２１６ｈと、移動距離データ２１６ｉと、高さデータ２１６ｊと、追跡結果データ２１６ｋとに基づいて車両追跡処理を実行する。

なお、上記した各プログラム２１４ａ〜２１４ｉについては、必ずしも最初からＲＯＭ２１４に記憶させておく必要はなく、例えば、コンピュータ２１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ２１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ２１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ２１０がこれらから各プログラムを読み出して実行するようにしてもよい。

（付記１）定点に設置された撮像手段によって固定かつ連続に撮像して得られた画像から特徴点を抽出して処理する方法をコンピュータに実行させる特徴点抽出処理プログラムであって、
前記撮像手段によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から前記特徴点への高さと、当該採り得る各高さにおける前記基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持するテーブル保持手順と、
複数の画像間で同一の特徴点として抽出された所定の特徴点について、前記実空間における基準線からみた当該特徴点の移動距離を算出する移動距離算出手順と、
前記複数の画像から前記所定の特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記所定の特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された移動距離と同一となる高さを前記所定の特徴点の高さとして算出する高さ算出手順と、
をコンピュータに実行させることを特徴とする特徴点抽出処理プログラム。

（付記２）前記撮像手段は、二つ以上の視点から固定かつ連続に撮像して各視点から同時刻の画像を得るものであって、
前記移動距離算出手順は、前記同時刻に得られる二つ以上の画像のなかの一つの画像でのみ撮像され、かつ、同一視点から撮像した複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、前記同時刻に得られる二つ以上の画像のなかの二つ以上の画像で撮像され、かつ、前記高さ算出対象特徴点の近傍に位置する近傍特徴点を探索し、当該近傍特徴点を前記同時刻に得られる二つ以上の画像および前記複数の画像間でステレオ視することで、前記実空間における基準線からみた近傍特徴点の移動距離を前記高さ算出対象特徴点の移動距離として算出し、
前記高さ算出手順は、前記複数の画像から前記高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さ算出対象特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された前記近傍特徴点の移動距離と同一となる高さを前記高さ算出対象特徴点の高さとして算出することを特徴とした付記１に記載の特徴点抽出処理プログラム。

（付記３）前記移動距離算出手順は、前記複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、前記高さ算出対象特徴点の近傍に位置し、かつ、高さが既知である近傍特徴点を探索し、前記複数の画像から当該近傍特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さを用いて前記近傍特徴点の移動前後における距離を取得して差分を算出することで、前記実空間における基準線からみた近傍特徴点の移動距離を前記高さ算出対象特徴点の移動距離として算出し、
前記高さ算出手順は、前記複数の画像から前記高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さ算出対象特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された前記近傍特徴点の移動距離と同一となる高さを前記高さ算出対象特徴点の高さとして算出することを特徴とした付記１に記載の特徴点抽出処理プログラム。

（付記４）前記移動距離算出手順は、前記近傍特徴点の探索に際して、前記撮像手段の設置位置から前記近傍特徴点までの実空間の距離が近くなるに従って、前記近傍特徴点の探索範囲を広くすることを特徴とする付記２または３に記載の特徴点抽出処理プログラム。

（付記５）前記移動距離算出手順は、前記近傍特徴点の探索に際して、前記高さ算出対象特徴点と同一対象物上にある特徴点を探索することを特徴とする付記２または３に記載の特徴点抽出処理プログラム。

（付記６）前記高さ算出手順によって高さが算出された特徴点のうち、前記実空間における高さが零または負であるものを前記特徴点から除外する特徴点選別手順をさらにコンピュータに実行させることを特徴とする付記１〜５のいずれか一つに記載の特徴点抽出処理プログラム。

（付記７）前記特徴点選別手順は、前記高さ算出手順によって高さが算出された特徴点のうち、前記移動前後で高さが変化するものについても前記特徴点から除外することを特徴とする付記６に記載の特徴点抽出処理プログラム。

（付記８）定点に設置された撮像手段によって固定かつ連続に撮像して得られた画像から特徴点を抽出して処理する特徴点抽出処理装置であって、
前記撮像手段によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から前記特徴点への高さと、当該採り得る各高さにおける前記基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持するテーブル保持手段と、
複数の画像間で同一の特徴点として抽出された所定の特徴点について、前記実空間における基準線からみた当該特徴点の移動距離を算出する移動距離算出手段と、
前記複数の画像から前記所定の特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手段によって保持されたテーブルから前記所定の特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手段によって算出された移動距離と同一となる高さを前記所定の特徴点の高さとして算出する高さ算出手段と、
を備えたことを特徴とする特徴点抽出処理装置。

（付記９）定点に設置された撮像手段によって固定かつ連続に撮像して得られた画像から特徴点を抽出して処理する特徴点抽出処理方法であって、
前記撮像手段によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から前記特徴点への高さと、当該採り得る各高さにおける前記基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持するテーブル保持工程と、
複数の画像間で同一の特徴点として抽出された所定の特徴点について、前記実空間における基準線からみた当該特徴点の移動距離を算出する移動距離算出工程と、
前記複数の画像から前記所定の特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持工程によって保持されたテーブルから前記所定の特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出工程によって算出された移動距離と同一となる高さを前記所定の特徴点の高さとして算出する高さ算出工程と、
を含んだことを特徴とする特徴点抽出処理方法。

以上のように、本発明に係る特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法は、定点に設置された撮像手段によって固定かつ連続に撮像して得られた画像から特徴点を抽出して処理することに有用であり、特に一つの視点から撮像された画像からも特徴点の高さを算出することに適する。

車両追跡装置の概観を示す図である。 車両追跡装置の概要と特徴を説明するための図である。 車両追跡装置の概要と特徴を説明するための図である。 車両追跡装置の構成を示すブロック図である。 右カメラおよび左カメラが取得する画像の例を示す図である。 右特徴点抽出部および左特徴点抽出部が特徴点を抽出する例を示す図である。 右特徴点抽出部および左特徴点抽出部が取得する座標の例を示す図である。 右座標記憶部が記憶する情報の例を示す図である。 左座標記憶部が記憶する情報の例を示す図である。 左右座標記憶部が記憶する情報の例を示す図である。 三次元位置情報記憶部が記憶する情報の例を示す図である。 グループ情報付三次元位置情報記憶部が記憶する情報の例を示す図である。 移動距離算出部の算出処理を説明するための図である。 移動距離記憶部が記憶する情報の例を示す図である。 対応テーブル記憶部が記憶する情報の例を示す図である。 高さ記憶部が記憶する情報の例を示す図である。 追跡処理部が生成する画像の例を示す図である。 車両追跡処理の流れを示すフローチャートである。 テーブルを用いて移動距離を算出する手法を説明するための図である。 画像上で探索範囲を区分けする例を示す図である。 車両追跡プログラムを実行するコンピュータを示す図である。

符号の説明

１ａ 車両
１ｂ 道路
１ｅ 基準線
２ａ 画像
２ｂ 基準面
２ｃ 直線
２ｄ テーブル
３ａ〜３ｄ 特徴点
４ａ〜４ｃ 正射影
５ａ〜５ｃ 画像
６ 対象物
６ａ〜６ｇ 特徴点
６ｈ 対象物
７ 対象物
７ａ〜７ｇ 特徴点
８ａ 高さ算出対象特徴点
８ｂ 近傍特徴点
８ｃ 矢印
８ｄ 矢印
９ａ〜９ｃ テーブル
１０ 車両追跡装置
２０ 左カメラ
３０ 右カメラ
４０ 記憶部
４１ 対応テーブル記憶部
４２ａ 右方向画像記憶部
４２ｂ 右座標記憶部
４３ａ 左方向画像記憶部
４３ｂ 左座標記憶部
４４ 左右座標記憶部
４５ 三次元位置情報記憶部
４６ グループ情報付三次元位置情報記憶部
４７ 移動距離記憶部
４８ 高さ記憶部
４９ 追跡結果記憶部
５０ 処理部
５１ 右特徴点抽出部
５２ 左特徴点抽出部
５３ 特徴点対応付部
５４ 三次元位置算出部
５５ グルーピング処理部
５６ 移動距離算出部
５７ 高さ算出部
５８ 追跡処理部
５９ 通信部

Claims (5)

1. 定点に設置された撮像手段によって固定かつ連続に撮像して得られた画像から特徴点を抽出して処理する方法をコンピュータに実行させる特徴点抽出処理プログラムであって、
   前記撮像手段によって得られる画像上の所定の位置ごとに、当該位置で抽出される特徴点を実空間の任意の基準面へ正射影した際に採り得る当該基準面から前記特徴点への高さと、当該採り得る各高さにおける前記基準面の正射影位置から当該基準面上の任意の基準線への垂線方向の距離とを対応付けて記憶したテーブルを保持するテーブル保持手順と、
   複数の画像間で同一の特徴点として抽出された所定の特徴点について、前記実空間における基準線からみた当該特徴点の移動距離を算出する移動距離算出手順と、
   前記複数の画像から前記所定の特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記所定の特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された移動距離と同一となる高さを前記所定の特徴点の高さとして算出する高さ算出手順と、
   をコンピュータに実行させることを特徴とする特徴点抽出処理プログラム。
2. 前記撮像手段は、二つ以上の視点から固定かつ連続に撮像して各視点から同時刻の画像を得るものであって、
   前記移動距離算出手順は、前記同時刻に得られる二つ以上の画像のなかの一つの画像でのみ撮像され、かつ、同一視点から撮像した複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、前記同時刻に得られる二つ以上の画像のなかの二つ以上の画像で撮像され、かつ、前記高さ算出対象特徴点の近傍に位置する近傍特徴点を探索し、当該近傍特徴点を前記同時刻に得られる二つ以上の画像および前記複数の画像間でステレオ視することで、前記実空間における基準線からみた近傍特徴点の移動距離を前記高さ算出対象特徴点の移動距離として算出し、
   前記高さ算出手順は、前記複数の画像から前記高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さ算出対象特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された前記近傍特徴点の移動距離と同一となる高さを前記高さ算出対象特徴点の高さとして算出することを特徴とした請求項１に記載の特徴点抽出処理プログラム。
3. 前記移動距離算出手順は、前記複数の画像間で同一の特徴点として抽出される所定の特徴点を高さ算出対象特徴点として決定した後に、前記高さ算出対象特徴点の近傍に位置し、かつ、高さが既知である近傍特徴点を探索し、前記複数の画像から当該近傍特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さを用いて前記近傍特徴点の移動前後における距離を取得して差分を算出することで、前記実空間における基準線からみた近傍特徴点の移動距離を前記高さ算出対象特徴点の移動距離として算出し、
   前記高さ算出手順は、前記複数の画像から前記高さ算出対象特徴点の移動前後における画像上の位置をそれぞれ取得し、前記テーブル保持手順によって保持されたテーブルから前記高さ算出対象特徴点が移動前後にそれぞれ採り得る前記高さおよび距離を取得し、同一の高さ間で移動前の距離と移動後の距離との差分を算出し、当該差分が前記移動距離算出手順によって算出された前記近傍特徴点の移動距離と同一となる高さを前記高さ算出対象特徴点の高さとして算出することを特徴とした請求項１に記載の特徴点抽出処理プログラム。
4. 前記移動距離算出手順は、前記近傍特徴点の探索に際して、前記撮像手段の設置位置から前記近傍特徴点までの実空間の距離が近くなるに従って、前記近傍特徴点の探索範囲を広くすることを特徴とする請求項２または３に記載の特徴点抽出処理プログラム。
5. 前記移動距離算出手順は、前記近傍特徴点の探索に際して、前記高さ算出対象特徴点と同一対象物上にある特徴点を探索することを特徴とする請求項２または３に記載の特徴点抽出処理プログラム。

Images