JP2010157093A - 運動推定装置及びプログラム - Google Patents

Abstract

【課題】安定して移動体の運動を精度よく推定することができるようにする。
【解決手段】特徴点抽出部２２によって、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出し、特徴点特徴量算出部２４によって、抽出された特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する。対応点検索部２６によって、算出された特徴点の各々の特徴量に基づいて、複数の画像間で対応した特徴点を検索する。特徴ベクトル生成部２８によって、各特徴点について、該特徴点の周辺に存在する特徴点の特徴量に基づいて、特徴ベクトルを生成する。判定部３２によって、特徴点の各々について、インライアであるか否かを判定する。運動推定部３４によって、インライアと判定された対応した特徴点に基づいて、複数の画像を撮像したときの移動体の運動を推定する。
【選択図】図１

Description

本発明は、運動推定装置及びプログラムに係り、特に、移動体の運動を推定する運動推定装置及びプログラムに関する。

従来より、撮像手段の相対的な位置および姿勢を特定する移動体周辺監視装置が知られている（特許文献１）。この移動体周辺監視装置では、画像から特定平面上にある４点以上の特徴点を抽出し、それらの特徴点を追跡して、２枚の画像平面での特徴点の座標値に基づき、位置姿勢を計算している。

また、撮像装置の位置姿勢を算出する位置姿勢計測装置が知られている（特許文献２）。この位置姿勢計測装置における位置姿勢の算出は、物体上に配置または設定された指標を撮像画像から検出することにより行っている。このとき、誤検出や精度の低い指標の影響を軽減するため、連続的に検出されている指標の信頼度が高くなるよう設定し、その信頼度を用いて位置姿勢の算出を行っている。
特開２００４−１９８２１１号公報 特開２００８−１３４１６１号公報

しかしながら、上記の特許文献１に記載の技術では、同一平面上にある４点の対応点を検出することで撮像装置の位置関係を計算しているが、撮像した画像についての知識がない場合、同一平面上にある４点を検出することが困難である、という問題がある。

また、上記の特許文献２に記載の技術では、誤検出の影響を軽減するように信頼度を設定しているが、信頼度は検出の時間的連続性に基づいているため、指標が移動物体上に存在するような場合には対応することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、安定して移動体の運動を精度よく推定することができる運動推定装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る運動推定装置は、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段と、前記判定手段による判定結果、及び前記検索手段によって検索された前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段とを含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び前記判定手段による判定結果、及び前記検索手段によって検索された前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、特徴点抽出手段によって、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出し、特徴量算出手段によって、特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する。検索手段によって、特徴量算出手段によって算出された特徴点の各々の特徴量に基づいて、複数の画像間で対応した特徴点を検索する。

そして、判定手段によって、特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する。運動推定手段によって、判定手段による判定結果、及び検索手段によって検索された対応した特徴点に基づいて、複数の画像を撮像したときの移動体の運動を推定する。

このように、抽出された特徴点の各々が信頼できるか否か又は信頼度を判定し、判定結果を用いて、移動体の運動を推定することにより、安定して移動体の運動を精度よく推定することができる。

第１の発明に係る判定手段は、特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。

また、第１の発明に係る判定手段は、予め用意された複数の学習用画像から得られる、複数の学習用画像間で対応した複数の特徴点、複数の特徴点の各々の特徴量、及び複数の特徴点の各々の周辺に存在する特徴点の特徴量の分布と、複数の特徴点の各々について予め求められた信頼できるか否か又は信頼度とに基づいて、特徴量の分布と、信頼できるか否か又は信頼度との関係を予め学習した学習結果に基づいて、特徴点の各々について、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。

第１の発明に係る判定手段は、特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布と、該特徴点の位置、周辺に存在する特徴点の数、又は対応する特徴点との位置関係とに基づいて、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。

また、第１の発明に係る判定手段は、予め用意された複数の学習用画像から得られる、複数の学習用画像間で対応した複数の特徴点、複数の特徴点の各々の特徴量、及び複数の特徴点の各々の周辺に存在する特徴点の特徴量の分布と、複数の特徴点の各々について予め求められた信頼できるか否か又は信頼度とに基づいて、特徴量の分布、及び特徴点の位置、周辺に存在する特徴点の数、又は対応する特徴点との位置関係と、信頼できるか否か又は信頼度との関係を予め学習した学習結果に基づいて、特徴点の各々について、該特徴点が信頼できるか否か、又は該特徴点の信頼度を判定することができる。

第３の発明に係る運動推定装置は、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量、及び該運動の推定候補に従わない前記対応した特徴点の特徴量に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段と、前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段とを含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量、及び該運動の推定候補に従わない前記対応した特徴点の特徴量に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段として機能させるためのプログラムである。

第３の発明及び第４の発明によれば、特徴点抽出手段によって、移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出し、特徴量算出手段によって、特徴点抽出手段によって抽出された特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する。検索手段によって、特徴量算出手段によって算出された特徴点の各々の特徴量に基づいて、複数の画像間で対応した特徴点を検索する。

そして、候補算出手段によって、検索手段によって検索された対応した特徴点に基づいて、移動体の運動の推定候補を複数算出する。判定手段によって、運動の推定候補の各々について、該運動の推定候補に従う対応した特徴点の特徴量、及び該運動の推定候補に従わない対応した特徴点の特徴量に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する。運動推定手段によって、判定手段によって判定された運動の推定候補の各々の信頼度に基づいて、複数の画像を撮像したときの移動体の運動を推定する。

このように、複数の運動推定候補の信頼度を判定し、判定された信頼度を用いて、移動体の運動を推定することにより、安定して移動体の運動を精度よく推定することができる。

第３の発明に係る判定手段は、運動の推定候補の各々について、該運動の推定候補に従う対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない対応した特徴点の特徴量の分布に基づいて、該運動の推定候補の信頼度を判定することができる。

また、第３の発明に係る判定手段は、予め用意された複数の学習用画像から得られる、複数の学習用画像間で対応した複数の特徴点、複数の特徴点の各々の特徴量、及び移動体の複数の運動の推定候補と、複数の運動の推定候補の各々について予め求められた信頼できるか否かとに基づいて、運動の推定候補に従う対応した特徴点の特徴量の分布、及び運動の推定候補に従わない対応した特徴点の特徴量の分布と、信頼度との関係を学習した学習結果に基づいて、複数の運動の推定候補の各々について、該運動の推定候補の信頼度を判定することができる。

上記の特徴量算出手段は、特徴点の各々について、該特徴点の特徴量として、該特徴点の周辺画素の輝度情報から算出されるベクトル値を量子化した値を算出することができる。

以上説明したように、本発明の運動推定装置及びプログラムによれば、移動体の運動を推定することにより、安定して移動体の運動を精度よく推定することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された運動推定装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る運動推定装置１０は、車両（図示省略）に取り付けられ、かつ、自車両の前方の画像を撮像する単眼のカメラで構成される撮像装置１２と、撮像装置１２によって撮像された複数の画像に基づいて、自車両の運動を推定して外部装置（図示省略）に出力するコンピュータ１４とを備えている。

撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び運動推定処理ルーチンの各々を実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。

コンピュータ１４は、撮像装置１２から撮像された画像を取得する画像取得部２０と、画像取得部２０により取得した撮像画像から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部２２と、抽出された特徴点の各々について、特徴点の周辺画素における各エッジ方向のヒストグラムを算出して、各エッジ方向のヒストグラムを示すベクトルを生成すると共に、ベクトルがどの分類に属するかを特定して、特定されたベクトルに関する分類を、特徴点の特徴量として求める特徴点特徴量算出部２４と、特徴点の特徴量に基づいて、特徴点抽出部２２により得られた２つの画像の各々における特徴点から、２つの画像の間で対応する特徴点（以下、対応点とも称する）を検索する対応点検索部２６と、抽出された特徴点の各々について、当該特徴点の周辺に存在する周辺特徴点の特徴量を用いて、当該特徴点の特徴ベクトルを生成する特徴ベクトル生成部２８と、後述する学習処理によって予め得られた特徴ベクトルとインライア、アウトライアを示すラベルとの関係の学習結果を記憶した学習結果記憶部３０と、算出された各特徴点の特徴ベクトル、及び記憶した特徴ベクトルとラベルとの関係の学習結果に基づいて、各特徴点がインライア及びアウトライアの何れであるかを判定する判定部３２と、インライアと判定された、対応する特徴点の組み合わせに基づいて、自車両の運動を推定する運動推定部３４とを備えている。

特徴点抽出部２２は、撮像装置１２から得られる複数の撮像画像の各々から、特徴点を複数抽出する。特徴点とは、周囲の点と区別でき、異なる画像間で対応関係を求めることが容易な点のことを指す。特徴点は、２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えば、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）、Ｈａｒｒｉｓ−Ｌａｐｌａｃｅなど）を用いて、自動的に抽出される。ＤｏＧでは、以下のように特徴点を抽出する。

まず、画像Ｉ（ｘ，ｙ）に対して標準偏差σの異なるガウシアンフィルタＧ（ｘ，ｙ，σ）をかけた、複数の平滑化画像Ｌ（ｘ，ｙ，σ）を生成する。それぞれ、以下の（１）式、（２）式で表される。

ただし、Ｉ（ｘ，ｙ）は画像Ｉの座標（ｘ，ｙ）の輝度値を表わし、＊は畳み込みを表す。

次に、標準偏差の異なる２つの平滑化画像の差分をとって、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ（ＤｏＧ）画像Ｄ（ｘ，ｙ，σ）を以下の（３）式に従って計算する。

ここで、ｋは定数のパラメータである。このようにして、複数のスケールσのＤｏＧ画像を生成する。そして、生成したＤｏＧ画像から極値を探索することで、特徴点の抽出を行う。極値の探索は、ＤｏＧ画像の注目画像及び上下の隣接スケールの画像の各々における、注目画素及び隣接する画素の画素値と比較することにより行う。つまり、スケールσ_ｉのＤｏＧ画像Ｄ（ｘ，ｙ，σ_ｉ）の点（ｘ_ｉ，ｙ_ｉ）に対して特徴点か否かの判定を行うときには、以下の２６点と比較を行い、最小値又は最大値であれば、極値であると判断し、注目画素を特徴点として抽出する。

特徴点抽出部２２は、以上の処理で得られる特徴点の画像座標とスケールとを特徴点の情報として保持する。

特徴点特徴量算出部２４は、以下に説明するように、各特徴点の特徴量を算出する。まず、図２（Ａ）、図３（Ａ）に示すように特徴点抽出部２２で抽出された特徴点の各々に対して、エッジ方向ヒストグラムを計算する。エッジ方向ヒストグラムを計算するためには、まず特徴点の周囲に、特徴点のスケールが大きいほど大きなサイズのウィンドウを設定し、設定したウィンドウ内の各画素に対して勾配の大きさ、方向を計算する。画像Ｉ（ｘ，ｙ）の勾配の大きさｍ（ｘ，ｙ）、方向θ（ｘ，ｙ）は以下の（４）式、（５）式に従って計算される。

そして、特徴点の周囲に設定したウィンドウを複数の小領域に分割し、各小領域について、図２（Ｂ）や図３（Ｂ）に示すようなエッジ方向のヒストグラムを作成する。エッジ方向のヒストグラムは、エッジ方向を所定の数に分割したヒストグラムであり、小領域内の各画素の勾配方向を勾配の大きさで重み付けして投票することにより、エッジ方向のヒストグラムを生成する。そして、全ての小領域のエッジ方向のヒストグラムを連結したベクトルを、特徴点のベクトル値として生成する。

そして、図４（Ｂ）、（Ｃ）に示すような、学習画像から得られたベクトル値に関する複数の分類に基づいて、各特徴点のベクトル値が、どの分類に属するかを特定することにより、ベクトル値の量子化を行い、特定された分類を示す値を、特徴点の特徴量とする。

対応点検索部２６は、特徴点特徴量算出部２４から得られる各特徴点の特徴量を用いて、以下に説明するように、複数の画像間での特徴点の対応付けを行って、一つの画像の特徴点に対応する特徴点を他の画像から検索する。

特徴点の抽出と特徴量の算出が行われた２枚の画像Ｉ，Ｉ’において、画像Ｉの特徴点ｆ_ｉに対する画像Ｉ’の特徴点を求めるとき、画像Ｉ’から抽出された特徴点から、その特徴量が特徴点ｆ_ｉの特微量と最も近い特徴点ｆ_ｊ’ を求める。このとき、特徴点ｆ_ｉの特徴量と特徴点ｆ_ｊ’の特徴量との距離ｄ_１及び、特徴点ｆ_ｉの特徴量と２番目に近い特徴量ｆ_ｋ’との距離ｄ_２の比ｄ_１／ｄ_２が、ある所定のしきい値より小さい場合に、画像Ｉの特徴点ｆ_ｉと画像Ｉ’の特徴点ｆ_ｊ’を対応付ける。

特徴ベクトル生成部２８は、特徴点抽出部２２により抽出された特徴点の各々について、注目特徴点とその周辺に存在する特徴点の特徴量の個数分布であるヒストグラムを用いて、特徴ベクトルを生成する。例えば、図５（Ａ）に示すように、注目特徴点に対して、注目特徴点を中心とする所定の大きさの矩形領域を設け、図５（Ｂ）に示すように、その矩形領域内に存在する特徴点の特徴量（分類番号）の個数分布である特徴量ヒストグラムを生成し、各特徴量の値（個数）を並べたベクトルを特徴ベクトルとして生成する。なお、特徴量ヒストグラムの値を並べたベクトルに、矩形領域内の特徴点の個数、注目特徴点の画像座標、注目特徴点の画像間での位置関係（オプティカルフロー）を更に加えて並べたものを、特徴ベクトルとして生成してもよい。さらに、時系列画像を用いる場合には、注目特徴点の追跡時間を更に加えて並べた特徴ベクトルを生成するようにしてもよい。

学習結果記憶部３０には、以下に説明する学習処理により学習結果として得られた特徴ベクトルとインライア、アウトライアを示すラベルとの関係を記憶する。

学習処理では、まず、予め用意された複数の学習用画像に対して、上述した方法と同様に、特徴点の抽出、特徴点の特徴量の算出、及び対応する特徴点の検索を行い、特徴点、特徴量、および画像間での特徴点の対応関係を求める。そして、オペレータの操作によって、学習用画像から抽出された特徴点のうち、画像間での特徴点の対応関係に誤りがある特徴点、および移動物体上に存在する特徴点をアウトライアとラベル付けし、そうでない特徴点をインライアとラベル付けする。次に、ラベル付けされた特徴点に対して、特徴ベクトル生成部２８と同様に特徴ベクトルを生成し、そして、ラベル付けされた特徴点、特徴点の特徴ベクトル、およびラベルを入力として、特徴ベクトルに対してインライア、アウトライアを判定する学習処理を行い、特徴ベクトルとインライア、アウトライアを示すラベルとの関係を学習する。なお、特徴点に対してラベル付けされるインライア又はアウトライアは、運動推定の際に特徴点の対応が信頼できるか否かを表わし、本発明の特徴点を信頼できるか否かに対応している。

判定部３２は、特徴ベクトル生成部２８によって生成された各特徴点の特徴ベクトル、及び学習結果記憶部３０に記憶された学習結果としての特徴ベクトルとラベルとの関係に基づいて、各特徴点に対してインライア、アウトライアの判定を行う。

運動推定部３４は、判定部３２によりインライアと判定された特徴点の画像間での対応関係を用いて、複数の画像間の相対的な位置及び姿勢を、複数の画像を撮像したときの自車両の運動として推定する。

２枚の画像で対応する特徴点の座標から、２つの画像が撮像されたときの位置、姿勢の変化（３次元空間での移動量および回転量）を計算するとき、計算する位置姿勢の変化は、図６に示すような第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔから構成される６自由度の運動である。

ここで、第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔとの計算方法について説明する。第１の画像におけるｎ点の対応点の画像座標Ｉ_ｉと第２の画像におけるｎ点の対応点の画像座標Ｉ_ｉ’とについて（ｎ≧８）、対応点の対応関係が正しくて誤差がなければ、位置及び姿勢の変化を示す行列として、以下の（６）式を満たす３×３行列Ｆが存在する。

ただし、Ｉ_ｉ＝(ｕ_ｉ，ｖ_ｉ，１)^Ｔ、Ｉ_ｉ’＝(ｕ_ｉ’，ｖ_ｉ’，１)^Ｔであり、第１の画像での画像座標（ｕ_ｉ，ｖ_ｉ）の点に対応する第２の画像での点の画像座標が（ｕ_ｉ’，ｖ_ｉ’）である。

ここで、上記（６）式を満たす行列Ｆは、定数倍の不定性を持っている。すなわち、Ｆ_ｓが上記（６）式を満たす場合には、αＦ_ｓも上記（６）式を満たす（ただし、αは実数）。よって、行列Ｆを以下の（７）式のように表すことができる。

また、上記（６）式、（７）式より、以下の（８）式が得られる。

ここで、８組以上の対応点Ｉ_ｉ、Ｉ_ｉ’があれば、上記（８）式が少なくとも８つ得られるため、８つの変数ｆ_１１〜ｆ_３２を求めることができる。つまり、判定部３２によりインライアと判定された特徴点が８点以上あれば、行列Ｆを計算できる。

また、誤対応した特徴点や移動物体上の特徴点の中にも、インライアと誤判定された点が含まれることがあるため、インライアと判定された特徴点のうち、その対応関係が上記（６）式を満たす特徴点の数が最も多くなる行列Ｆを求める。

実画像で特徴点の対応を求めた場合には、対応する画像座標には誤差が含まれるため、正しい対応関係であっても上記（６）式を厳密には満たさない。そこで、行列Ｆが与えられたとき、特徴点の対応関係が上記（６）式を満たすか否かは以下の（９）式に示す条件を満たすか否かにより判断する。

ただし、ｄ（ａ，ｂ）はａとｂの距離を表し、τはあらかじめ設定するしきい値である。

また、撮像装置１２のキャリブレーション行列Ｋが既知である場合には、上述したように特定された行列Ｆに基づいて、以下の（１０）式、（１１）式に従って、回転行列Ｒと並進ベクトルｔとを計算し、第１の画像及び第２の画像の各々が撮像されたときの撮像装置１２の運動（位置及び姿勢の変化）として出力する。

上記の方法により、運動推定部３４は、第１の画像及び第２の画像における複数組の対応する特徴点の画像座標と、各特徴点のインライア、アウトライアの判定結果とに基づいて、第１の画像及び第２の画像を撮像したときの撮像装置１２の位置及び姿勢の変化を計算する。

次に、第１の実施の形態に係る運動推定装置１０の作用について説明する。

まず、運動推定装置１０のコンピュータ１４において、図７に示す学習処理ルーチンが実行される。

ステップ１００において、異なるタイミングで撮像装置１２によって自車両前方を予め撮像した第１の学習用画像及び第２の学習用画像を取得する。そして、ステップ１０２において、上記ステップ１００で取得した第１の学習用画像及び第２の学習用画像から特徴点を複数抽出する。そして、ステップ１０４において、上記ステップ１０２で第１の学習用画像及び第２の学習用画像から抽出された複数の特徴点の各々について、特徴量を算出する。

次のステップ１０６では、上記ステップ１０４で算出された特徴量に基づいて、上記ステップ１０２で抽出された第１の学習用画像上の複数の特徴点の各々に対応する特徴点を、第２の学習用画像上で検索して追跡する。

そして、ステップ１０８において、第１の学習用画像上の特徴点の各々について、特徴ベクトルを生成し、ステップ１１０で、第１の学習用画像及び第２の学習用画像の特徴点の対応関係を表わすと共に、第１の学習用画像上の複数の特徴点の各々にラベル付けするためのラベル入力用画面を、ディスプレイ（図示省略）に表示する。これによって、オペレータは、各特徴点の位置や、第１の学習用画像及び第２の学習用画像の特徴点の対応関係を参照しながら、キーボードやマウスなどを操作して、第１の学習用画像上の複数の特徴点の各々に対して、インライア、アウトライアのラベル付けを行う。

次のステップ１１２において、オペレータによるラベル入力が終了したか否かを判定し、オペレータの操作により、ラベル入力の終了が入力されると、ステップ１１４へ進む。

ステップ１１４では、上記ステップ１０８で生成された各特徴点の特徴ベクトルと、各特徴点にラベル付けされたラベルとに基づいて、特徴ベクトルとラベルとの関係を学習し、得られた特徴ベクトルとラベルとの関係をメモリ（図示省略）に記憶して、学習処理ルーチンを終了する。

また、運動推定装置１０を搭載した自車両が走行しているときに、撮像装置１２によって連続して自車両前方の画像が複数撮像されると共に、運動推定装置１０のコンピュータ１４において、図８に示す運動推定処理ルーチンが繰り返し実行される。

まず、ステップ１２０において、異なるタイミングで撮像装置１２によって自車両前方を撮像した第１の画像及び第２の画像を取得する。そして、ステップ１２２において、上記ステップ１２０で取得した第１の画像及び第２の画像から特徴点を複数抽出する。そして、ステップ１２４において、上記ステップ１２２で第１の画像及び第２の画像から抽出された複数の特徴点の各々について、特徴量を算出する。

次のステップ１２６では、上記ステップ１２４で算出された特徴量に基づいて、上記ステップ１２２で抽出された第１の画像上の複数の特徴点の各々に対応する特徴点を、第２の画像上で検索して追跡する。

そして、ステップ１２８において、第１の画像上の特徴点の各々について、特徴ベクトルを生成し、ステップ１３０において、学習された特徴ベクトルとラベルとの関係、及び上記ステップ１２８で生成された各特徴点の特徴ベクトルに基づいて、第１の画像上の特徴点の各々について、インライアかアウトライアかを判定する。

次のステップ１３２では、上記ステップ１３０でインライアと判定された特徴点と対応する特徴点との対応関係の任意の組み合わせに基づいて、行列Ｆを計算し、また、対応関係が上記（９）式を満たす特徴点の数が最も多い行列Ｆを求める。そして、求められた行列Ｆに基づいて、上記（１０）式及び（１１）式に従って、第１の画像を撮像したときの撮像装置１２の第１の位置及び第１の姿勢と、第２の画像を撮像したときの撮像装置１２の第２の位置及び第２の姿勢との変化として、撮像装置１２の運動のＸＹＺ軸方向の移動量及びＸＹＺ軸を基準とする回転量を算出し、撮像装置１２を搭載した自車両のその２時刻間における運動の推定結果として外部装置に出力して、運動推定処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る運動推定装置によれば、抽出された特徴点の各々がインライアであるか否かを判定し、インライアであると判定された特徴点の対応関係を用いて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。

複数枚の画像を用いて画像の撮影時刻間に発生した運動を推定するとき、画像からコーナーなどの特徴的な点である特徴点を抽出し、それらの特徴点を画像間で対応付け、その対応関係から画像間の相対的な位置及び姿勢の変化を求めるが、対応付けを誤った特徴点や画像中に存在する他の移動物体上の特徴点が多くなると、相対的な位置及び姿勢の変化を精度よく計算することが難しい。これに対して、本実施の形態では、各特徴点周辺のエッジ分布などのパターン情報を特徴量として抽出し、各特徴点とその周辺に存在する特徴点の特徴量から、誤対応しやすい特徴点または車両などの移動物体上の特徴点であるか否かを判定し、誤対応しやすい特徴点および移動物体上らしい特徴点を除いて、運動を推定することにより、背景が複雑で誤対応点が多く発生する場合や、周囲に移動物体が多く存在する場合にも、安定して精度よく運動を推定することができる。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る運動推定装置は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第２の実施の形態では、各特徴点について、インライアらしさを表わす連続値である信頼度を判定している点が、第１の実施の形態と主に異なっている。

第２の実施の形態に係る運動推定装置では、学習用画像を用いて得られた、ラベル付けされた特徴点、特徴点の特徴ベクトル、およびラベルに基づいて、学習処理を行って、学習結果として、特徴ベクトルとインライアらしさを表す信頼度との関係を得る。なお、インライアらしさを表わす信頼度は、運動推定の際に特徴点の対応がどれだけ信頼できるかを表わし、本発明の特徴点がどれだけ信頼できるかを示す信頼度に対応している。

また、学習結果記憶部３０に、学習処理により得られた特徴ベクトルと信頼度との関係を記憶する。

判定部３２によって、特徴ベクトル生成部２８によって生成された各特徴点の特徴ベクトル、及び学習結果記憶部３０に記憶された学習結果に基づいて、各特徴点に対して、信頼度を判定する。特徴点のインライアらしさが強いほど、当該特徴点に対して高い信頼度が判定される。

運動推定部３４は、対応する特徴点の任意の組み合わせに基づいて、行列Ｆを計算する。また、運動推定部３４は、判定部３２により判定された各特徴点の信頼度に基づいて、信頼度が大きいほど特徴点の重み係数ｗを大きく設定して、行列Ｆを計算する際に用いられた、対応する特徴点の複数の組の画像座標、及び設定された各特徴点の重み係数に基づいて、以下の（１２）式で表される重み係数の総和Ｚが最大となるような行列Ｆを特定する。

ただし、ｎは特徴点の数、ｗ_ｉはｉ番目の特徴点の重み係数、δ（ｘ）はｘが真なら１、そうでないなら０をとる関数である。

そして、上述したように特定された行列Ｆに基づいて、上記の（１０）式、（１１）式に従って、回転行列Ｒと並進ベクトルｔとを計算し、第１の画像及び第２の画像が撮像されたときの撮像装置１２の運動（位置及び姿勢の変化）として出力する。

なお、第２の実施の形態に係る運動推定装置の他の構成及び処理については、第１の実施の形態と同様であるため、説明を省略する。

このように、第２の実施の形態に係る運動推定装置によれば、抽出された特徴点の各々について信頼度を判定し、判定された信頼度に応じた重み係数を用いて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第３の実施の形態では、運動推定候補を複数算出し、各運動推定候補の各々について信頼度を判定している点が、主に第１の実施の形態と異なっている。

図９に示すように、第３の実施の形態に係る運動推定装置３１０のコンピュータ３１４は、画像取得部２０と、特徴点抽出部２２と、特徴点特徴量算出部２４と、対応点検索部２６と、検索された対応する特徴点の複数種類の組み合わせに基づいて、自車両の運動の推定候補を複数算出する運動推定候補算出部３２７と、算出された運動推定候補の各々について、対応関係が当該運動推定候補に従う対応する特徴点の特徴量、及び対応関係が当該運動推定候補に従わない対応する特徴点の特徴量を用いて、当該運動推定候補の特徴ベクトルを生成する特徴ベクトル生成部３２８と、後述する学習処理によって予め得られた、特徴ベクトルと信頼度との関係である学習結果を記憶した学習結果記憶部３３０と、生成された各運動推定候補の特徴ベクトル、及び記憶した特徴ベクトルと信頼度との関係の学習結果に基づいて、各運動推定候補の正しさの信頼度を判定する判定部３３２と、判定された各運動推定候補の信頼度に基づいて、自車両の運動を推定する運動推定部３３４とを備えている。

運動推定候補算出部３２７は、対応点検索部２６で検索された対応する特徴点から、対応する特徴点をランダムに８組選択し、選択された対応する特徴点の複数種類の組み合わせから、行列Ｆを繰り返し計算して、複数の運動推定候補（位置・姿勢パラメータ）を算出する。なお、画像間で発生する可能性のある運動推定候補（位置・姿勢パラメータ）を複数算出するようにしてもよい。

特徴ベクトル生成部３２８は、各運動推定候補に対して、以下のようにして特徴ベクトルを生成する。

まず、画像間で対応する特徴点の対応関係の各々について、対象となる運動推定候補に対応関係が従っているか否かを判定する。特徴点の対応関係が運動推定候補に従うか否かは、運動推定候補から計算される行列Ｆが、上記（９）式を満たすか否かにより判断する。

次に、図１０（Ｂ）に示すように、対象の運動推定候補に対応関係が従う特徴点の特徴量のヒストグラム、および対応関係が従わない特徴点の特徴量のヒストグラムを生成し、この２つのヒストグラムの要素の値を並べたベクトルを、対象の運動推定候補の特徴ベクトルとして生成する。

学習結果記憶部３３０は、以下に説明する学習処理により得られた特徴ベクトルと信頼度との関係を記憶する。

学習処理では、まず、予め用意された図１０（Ａ）に示すような複数の学習用画像に対して、上述した方法と同様に、特徴点の抽出、特徴点の特徴量の算出、対応する特徴点の検索、及び運動推定候補の算出を行い、特徴点、特徴量、画像間で対応する特徴点の対応関係、及び複数の運動推定候補を求める。また、各運動推定候補に対して、特徴ベクトル生成部２８と同様に特徴ベクトルを生成する。

そして、オペレータの操作によって、学習用画像から算出された複数の運動推定候補に対して、正しい運動であることを示すラベル、又は誤った運動であることを示すラベルを付す。次に、ラベル付けされた運動推定候補、運動推定候補の特徴ベクトル、および運動推定候補のラベルを入力として、特徴ベクトルと、運動推定候補の正しさを表す信頼度との関係を学習する。

判定部３３２は、特徴ベクトル生成部３２８によって生成された各運動推定候補の特徴ベクトル、及び学習結果記憶部３３０に記憶された学習結果に基づいて、各運動推定候補に対して信頼度の判定を行う。

運動推定部３３４は、判定部３３２によって判定された各運動推定候補の信頼度に基づいて、最も信頼度の高い運動推定候補を、自車両の運動の推定値として求め、外部装置に出力する。

次に、第３の実施の形態に係る運動推定装置３１０の作用について説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、運動推定装置３１０のコンピュータ３１４において、図１１に示す学習処理ルーチンが実行される。

ステップ１００において、撮像装置１２によって予め撮像した第１の学習用画像及び第２の学習用画像を取得し、ステップ１０２において、第１の学習用画像及び第２の学習用画像から特徴点を複数抽出する。そして、ステップ１０４において、第１の学習用画像及び第２の学習用画像から抽出された複数の特徴点の各々について、特徴量を算出する。

次のステップ１０６では、抽出された第１の学習用画像上の複数の特徴点の各々に対応する特徴点を、第２の学習用画像上で検索して追跡する。

そして、ステップ２５０において、上記ステップ１０６で検索された、対応する特徴点の複数種類の組み合わせの各々に基づいて、自車両の複数の運動推定候補を算出する。次のステップ２５２では、上記ステップ２５０で算出された複数の運動推定候補の各々について、特徴ベクトルを生成する。

そして、ステップ２５４において、算出された複数の運動推定候補の各々に対してラベル付けするためのラベル入力用画面をディスプレイ（図示省略）に表示する。これによって、オペレータは、運動推定候補のパラメータを参照しながら、キーボードやマウスなどを操作して、複数の運動推定候補の各々に対して、運動推定候補が正しいか否かのラベル付けを行う。

次のステップ２５６において、オペレータによるラベル入力が終了したか否かを判定し、オペレータの操作により、ラベル入力の終了が入力されると、ステップ２５８へ進む。

ステップ２５８では、上記ステップ２５２で生成された各運動推定候補の特徴ベクトルと、各運動推定候補にラベル付けされたラベルとに基づいて、特徴ベクトルと信頼度との関係を学習し、学習結果として得られた特徴ベクトルと信頼度との関係をメモリ（図示省略）に記憶して、学習処理ルーチンを終了する。

また、運動推定装置３１０を搭載した自車両が走行しているときに、撮像装置１２によって連続して自車両前方の画像が複数撮像されると共に、運動推定装置３１０のコンピュータ３１４において、図１２に示す運動推定処理ルーチンが繰り返し実行される。

まず、ステップ１２０において、撮像装置１２によって撮像した第１の画像及び第２の画像を取得し、ステップ１２２において、第１の画像及び第２の画像から特徴点を複数抽出する。そして、ステップ１２４において、第１の画像及び第２の画像から抽出された複数の特徴点の各々について、特徴量を算出し、次のステップ１２６で、算出された特徴量に基づいて、抽出された第１の画像上の複数の特徴点の各々に対応する特徴点を、第２の画像上で検索して追跡する。

そして、ステップ２７０において、上記ステップ１２６で検索された、対応する特徴点の複数種類の組み合わせの各々に基づいて、自車両の複数の運動推定候補を算出する。次のステップ２７２では、上記ステップ２７０で算出された複数の運動推定候補の各々について、特徴ベクトルを生成する。

そして、ステップ２７４において、学習された特徴ベクトルと信頼度との関係、及び上記ステップ２７２で生成された各運動推定候補の特徴ベクトルに基づいて、複数の運動推定候補の各々について、正しさの信頼度を判定する。

次のステップ２７６では、上記ステップ２７４で判定された信頼度が最も高い運動推定候補を、撮像装置１２を搭載した自車両の第１の画像及び第２画像の撮像時の２時刻間における運動の推定結果として求め、外部装置に出力して、運動推定処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る運動推定装置によれば、複数の運動推定候補の各々に対して信頼度を判定し、判定された信頼度に基づいて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る運動推定装置は、第３の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第４の実施の形態では、画像を分割した分割領域毎に、運動推定候補に従う特徴点の特徴量のヒストグラム及び従わない特徴点の特徴量のヒストグラムを計算して、特徴ベクトルを生成している点が、第３の実施の形態と主に異なっている。

第４の実施の形態に係る運動推定装置では、特徴ベクトル生成部３２８によって、各運動推定候補に対して、以下のようにして特徴ベクトルを生成する。

まず、図１３に示すように、画像を複数の領域に分割する。また、画像間で対応する特徴点の各々について、対象となる運動推定候補に対応関係が従うか否かを判定する。次に、分割領域毎に、当該分割領域内の特徴点を参照して、対象の運動推定候補に対応関係が従う特徴点の特徴量のヒストグラム、および対応関係が従わない特徴点の特徴量のヒストグラムを生成する。そして、全ての分割領域について２つのヒストグラムの要素の値を並べたベクトルを、対象の運動推定候補の特徴ベクトルとして生成する。

また、運動推定候補の特徴ベクトルと信頼度との関係を学習するための学習処理においても、上記と同様の特徴ベクトルを生成する。

なお、第４の実施の形態に係る運動推定装置の他の構成及び処理については、第３の実施の形態と同様であるため、説明を省略する。

このように、分割領域毎に求めた特徴量のヒストグラムに基づいて生成した特徴ベクトルを用いて、複数の運動推定候補の各々に対して信頼度を判定し、判定された信頼度に基づいて、自車両の運動を推定することにより、周囲に移動物体が存在する場合や背景が複雑な場合においても、安定して自車両の運動を精度よく推定することができる。

なお、上記の第３の実施の形態及び第４の実施の形態では、学習処理において、オペレータの操作によって、運動推定候補の各々に対してラベル付けを行う場合を例に説明したが、これに限定されるものではなく、自動的に運動推定候補に対してラベル付けを行うようにしてもよい。例えば、学習用画像間の運動を予め求めておき、予め求められた運動と、各運動推定候補との差分に基づいて、各運動推定候補に対して正しいか否かのラベル付けを自動的に行うようにしてもよい。

また、最も信頼度が高い運動推定候補を、運動の推定結果とする場合を例に説明したが、これに限定されるものではなく、信頼度に応じた重み係数を用いて運動推定候補を重み付き平均した運動を、推定結果としてもよい。この場合には、信頼度が閾値以上の運動推定候補のみを用いて、重み付き平均するようにすることが好ましい。

また、上記の第１の実施の形態〜第４の実施の形態では、特徴点の特徴量として、特徴点の周辺画素の輝度情報から得られるエッジ方向ヒストグラムを量子化した値を算出する場合を例に説明したが、これに限定されるものではなく、特徴点の周辺画素の輝度情報を用いて算出される特徴量であれば、他の特徴量であってもよい。

本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。

本発明の第１の実施の形態に係る運動推定装置を示すブロック図である。 （Ａ）撮影画像から抽出された特徴点を示すイメージ図、及び（Ｂ）特徴点のエッジ方向ヒストグラムを示すグラフである。 （Ａ）撮影画像から抽出された特徴点を示すイメージ図、及び（Ｂ）特徴点のエッジ方向ヒストグラムを示すグラフである。 （Ａ）学習画像を示すイメージ図、（Ｂ）学習画像から得られるエッジ方向ヒストグラムの分類を示すイメージ図、及び（Ｃ）各分類のエッジ方向ヒストグラムを示すグラフである。 （Ａ）特徴点に対して設定された矩形領域を示すイメージ図、及び（Ｂ）矩形領域内の特徴点について求められた特徴量ヒストグラムを示すイメージ図である。 第１の画像から第２の画像への回転行列Ｒと並進ベクトルｔを示すイメージ図である。 本発明の第１の実施の形態に係る運動推定装置における学習処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る運動推定装置における運動推定処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る運動推定装置を示すブロック図である。 （Ａ）撮影画像から抽出された特徴点を示すイメージ図、及び（Ｂ）対象の運動推定候補に対応関係が従う特徴点の特徴量のヒストグラム、および対応関係が従わない特徴点の特徴量のヒストグラムを示すグラフである。 本発明の第３の実施の形態に係る運動推定装置における学習処理ルーチンの内容を示すフローチャートである。 本発明の第３の実施の形態に係る運動推定装置における運動推定処理ルーチンの内容を示すフローチャートである。 撮影画像を分割した分割領域を示すイメージ図である。

符号の説明

１０、３１０ 運動推定装置
１２ 撮像装置
１４、３１４ コンピュータ
２２ 特徴点抽出部
２４ 特徴点特徴量算出部
２６ 対応点検索部
２８、３２８ 特徴ベクトル生成部
３０、３３０ 学習結果記憶部
３２、３３２ 判定部
３４、３３４ 運動推定部
３２７ 運動推定候補算出部

Claims (11)

1. 移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、
   前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段と、
   前記判定手段による判定結果、及び前記検索手段によって検索された前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段と、
   を含む運動推定装置。
2. 前記判定手段は、前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布に基づいて、該特徴点が信頼できるか否か、又は該特徴点の前記信頼度を判定する請求項１記載の運動推定装置。
3. 前記判定手段は、予め用意された複数の学習用画像から得られる、前記複数の学習用画像間で対応した複数の特徴点、前記複数の特徴点の各々の前記特徴量、及び前記複数の特徴点の各々の周辺に存在する特徴点の特徴量の分布と、前記複数の特徴点の各々について予め求められた信頼できるか否か又は前記信頼度とに基づいて、前記特徴量の分布と、信頼できるか否か又は前記信頼度との関係を予め学習した学習結果に基づいて、前記特徴点の各々について、該特徴点が信頼できるか否か、又は該特徴点の前記信頼度を判定する請求項２記載の運動推定装置。
4. 前記判定手段は、前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量の分布と、該特徴点の位置、前記周辺に存在する特徴点の数、又は対応する特徴点との位置関係とに基づいて、該特徴点が信頼できるか否か、又は該特徴点の前記信頼度を判定する請求項１記載の運動推定装置。
5. 前記判定手段は、予め用意された複数の学習用画像から得られる、前記複数の学習用画像間で対応した複数の特徴点、前記複数の特徴点の各々の前記特徴量、及び前記複数の特徴点の各々の周辺に存在する特徴点の特徴量の分布と、前記複数の特徴点の各々について予め求められた信頼できるか否か又は前記信頼度とに基づいて、前記特徴量の分布、及び前記特徴点の位置、前記周辺に存在する特徴点の数、又は対応する特徴点との位置関係と、信頼できるか否か又は前記信頼度との関係を予め学習した学習結果に基づいて、前記特徴点の各々について、該特徴点が信頼できるか否か、又は該特徴点の前記信頼度を判定する請求項４記載の運動推定装置。
6. 移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段と、
   前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段と、
   前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量、及び該運動の推定候補に従わない前記対応した特徴点の特徴量に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段と、
   前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段と、
   を含む運動推定装置。
7. 前記判定手段は、前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量の分布、及び該運動の推定候補に従わない前記対応した特徴点の特徴量の分布に基づいて、該運動の推定候補の前記信頼度を判定する請求項６記載の運動推定装置。
8. 前記判定手段は、予め用意された複数の学習用画像から得られる、前記複数の学習用画像間で対応した複数の特徴点、前記複数の特徴点の各々の前記特徴量、及び前記移動体の複数の運動の推定候補と、前記複数の運動の推定候補の各々について予め求められた信頼できるか否かとに基づいて、前記運動の推定候補に従う前記対応した特徴点の特徴量の分布、及び前記運動の推定候補に従わない前記対応した特徴点の特徴量の分布と、前記信頼度との関係を学習した学習結果に基づいて、前記複数の運動の推定候補の各々について、該運動の推定候補の前記信頼度を判定する請求項７記載の運動推定装置。
9. 前記特徴量算出手段は、前記特徴点の各々について、該特徴点の特徴量として、該特徴点の周辺画素の輝度情報から算出されるベクトル値を量子化した値を算出する請求項１〜請求項８の何れか１項記載の運動推定装置。
10. コンピュータを、
    移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、
    前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、
    前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、
    前記特徴点の各々について、該特徴点の周辺に存在する特徴点の特徴量に基づいて、該特徴点が信頼できるか否か、又は該特徴点がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び
    前記判定手段による判定結果、及び前記検索手段によって検索された前記対応した特徴点に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段
    として機能させるためのプログラム。
11. コンピュータを、
    移動体の外部を撮像した複数の画像の各々から、複数の特徴点を抽出する特徴点抽出手段、
    前記特徴点抽出手段によって抽出された前記特徴点の各々について、該特徴点の周辺画素に基づく特徴量を算出する特徴量算出手段、
    前記特徴量算出手段によって算出された前記特徴点の各々の特徴量に基づいて、前記複数の画像間で対応した特徴点を検索する検索手段、
    前記検索手段によって検索された対応した特徴点に基づいて、前記移動体の運動の推定候補を複数算出する候補算出手段、
    前記運動の推定候補の各々について、該運動の推定候補に従う前記対応した特徴点の特徴量、及び該運動の推定候補に従わない前記対応した特徴点の特徴量に基づいて、該運動の推定候補がどれだけ信頼できるかを示す信頼度を判定する判定手段、及び
    前記判定手段によって判定された前記運動の推定候補の各々の信頼度に基づいて、前記複数の画像を撮像したときの前記移動体の運動を推定する運動推定手段
    として機能させるためのプログラム。