JP2011053823A - 特徴量抽出装置及び方法、並びに位置推定装置及び方法 - Google Patents

Abstract

【課題】位置の変化にロバストな特徴量を抽出する特徴量抽出装置及び方法、並びにそれを搭載した位置推定装置及び方法を提供する。
【解決手段】位置推定装置は、連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出部２０と、その不変特徴量に基づき位置を推定する位置推定部手段とを有する。特徴量抽出部２０は、入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出部２１と、局所特徴量抽出部２１により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング部２２と、特徴量マッチング部２２により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択部２３と、各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出部２４とを有する。
【選択図】図１

Description

本発明は、入力画像から局所特徴量を抽出する特徴量抽出装置及び方法、並びにこれを使用した位置推定装置及び方法に関する。

自己位置の特定は、人間や機械にとっては必須の能力である。今自分はどこにいるかということを知ることは、ロボットやコンピュータビジョンにとっては、常に重要である。特に、可動式のロボットにとって、世界で自分がどこにいるかを知ることは、ナビゲーションシステムのための基本的要求である。

このような自己位置同定には、局所特徴をいかに正確に抽出するかが大きなポイントとなる。従来、アフィン不変の特徴量（MSER, Harris-Affine, Hessian-Affine, Salient Regionなど）や、大きさ変化に不変な特徴量（SIFT：非特許文献１）, SURF（非特許文献２）がある。

D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," Int'l Jour. Computer Vision, vol. 60, no. 2, pp. 91-110, 2004 H. Bay, T. Tuytelaars and L. V. Gool, "SURF: Speeded Up Robust Features," Proc. European Conf. Computer Vision, 2006

しかしながら、これらの特徴量には、以下の問題点がある。先ず、同一のものを異なった位置から撮影した場合、従来の局所特徴をそのまま抽出したのでは、マッチングのとれない異なった局所特徴も大量に抽出してしまう。次に、同一のものとして認識させたい場合であっても、ある程度見え方に変化がある場合、それぞれの見え方について全ての局所特徴を学習しなければならず、記憶容量の使用効率が悪い。さらに、ある一つの見え方の場合のみ出現している特徴などは誤認識の元となる場合もあり、従来の局所特徴をそのまま用いた場合、とてもノイズの多い特徴量となってしまう。

また、従来のアフィン変化と、大きさ変化の両方に対応した特徴量は研究途上であり、有用な方法は報告されていない。

本発明は、このような問題点を解決するためになされたものであり、位置の変化にロバストな特徴量を抽出する特徴量抽出装置、及びそれを搭載した位置推定装置を提供することを目的とする。

本発明に係る位置推定装置は、連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した前記不変特徴量に基づき位置を推定する位置推定手段とを有し、前記特徴量抽出手段は、前記入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択手段と、各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出手段とを有するものである。

本発明においては、連続して撮影された画像を使用し、連続する２枚の画像間で特徴量のマッチングをとり、さらにマッチングを取った特徴量が連続して出現するもののみを抽出し、その平均の局所特徴量を求めることで、撮影位置の変化にロバストな特徴を抽出することができ、それを使用して位置を推定するため、正確に位置を特定することが可能となる。連続画像とは、ビデオ画像から取得される連続的に撮影された複数枚の画像セットである。

ここで、前記位置推定手段は、教師画像を入力画像とし、複数の当該教師画像から抽出した前記不変特徴量と当該不変特徴量を抽出したエリアを示すエリア識別情報とを対応づけたエリアデータベースを格納する記憶手段と、周囲を撮影した画像を入力画像とし、前記局所特徴量抽出手段により抽出した前記入力画像の複数の局所特徴量のそれぞれと、前記エリアデータベースに登録された前記不変特徴量とのマッチングを取り、各局所特徴量にマッチする不変特徴量に対応するエリアに投票し、得票数が最大となったエリアを現在の位置として推定する推定結果出力手段とを有するものとすることができる。学習等によりエリアデータベースを構築することで、様々な位置の特定が可能である。

また、前記位置推定手段は、前記得票数が所定の閾値未満である場合は、当該エリアを未学習エリアとして認識することができる。これにより、位置が定かではない場合、エリアを特定しないため、不正確な推定を行わないようにすることができ、当該エリアを未学習エリアとすることで、再度の学習を的確に行うことができる。

さらに、前記局所特徴量は、ＳＩＦＴ（Scale Invariant Feature Transformation）及び／又はＳＵＲＦ（Speed Up Robustness Features）の特徴量とすることができる。また、これらＳＩＦＴやＳＵＲＦに限らず、スケール、回転の変動、又はノイズ等に対してロバストな他の局所特徴量を用いることも可能である。これにより、これら既存の局所特徴量を用いることで、これらの特徴量が有する性能もそのまま引き継がれ、照明変化等にも頑健な特徴として抽出・記述することが可能となる。

また、前記データベースを最適化する最適化手段を有し、前記最適化手段は、前記不変特徴量を構成する複数の個別不変特徴量のうち、冗長な個別不変特徴量を削除することができる。これにより、データベースの容量を削減することができる。

さらに、前記最適化手段は、前記教師画像を再使用し、当該教師画像を識別するために使用された個別不変特徴量に投票し、当該投票結果に応じて冗長な個別特徴量を削除することができる。これにより、識別能力の低い個別不変特徴量を削除することができ、容量の削減により識別能力の低下を抑制することができる。

さらにまた、前記最適化手段は、前記最適化をオフライン又はオンラインで行うことができる。最適化の方法により、オンラインかオフラインかを選択することができる。

また、前記最適化手段は、前記エリアデータベースに登録された前記不変特徴量及び前記エリア識別情報について、冗長なデータを削除するようにすることができる。これにより、データベースの容量を削減することができる。

さらに、前記冗長なデータは、前記エリア識別情報が示すエリアに再び移動する蓋然性が低いものとすることができる。これにより、しばらく使用していないようなデータを削除することができる。

本発明に係る特徴量抽出装置は、連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、前記局所特徴量抽出手段により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択手段と、各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出手段とを有するものである。

本発明によれば、撮影位置の変化に頑健な局所特徴量を抽出することができる特徴量抽出装置及び方法、並びにそれを使用した位置推定装置及び方法を提供することができる。

本発明の実施の形態にかかる位置推定装置を示す図である。 本実施の形態にかかる特徴量ＰＩＲＦを抽出する方法を説明する図である。 本発明の実施の形態の不変特徴量抽出方法を示すフローチャートである。 入力画像がいずれのプレイスであるかを推定する方法を説明する図である。 本発明の実施例１で使用する画像を示す図である。 本発明の実施例１の結果を示す図である。 本発明の実施例２の結果を示す図である。 本発明の実施例３の結果を示す図である。 本発明の実施例４の結果を示す図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、撮影位置の変化に頑健な局所特徴量を抽出可能な特徴量抽出装置を搭載した位置推定装置に適用したものである。なお、本発明は、例えば、実環境画像に対するシーン認識・物体認識などにも応用することが可能である。

図１は、本発明の実施の形態にかかる位置推定装置を示す図である。本実施の形態にかかる位置推定装置１は、連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出部２０と、特徴量抽出部２０が抽出した前記不変特徴量に基づき対象位置を推定する位置推定部１０とを有する。

特徴量抽出部２０は、入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出部２１と、局所特徴量抽出部２１により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング部２２と、特徴量マッチング部２２により所定数連続する画像間でマッチングが取れた特徴量を連続特徴量として選択する連続特徴量選択部２３と、各連続特徴量の平均を不変特徴量として求める不変特徴量算出部２４とを有する。

位置推定部１０は、エリアデータベース１１を格納する記憶部１２と、推定結果出力部１３と、データベースを最適化するＤＢ最適化部１４とを有する。エリアデータベース１１には、教師画像を入力画像とし、複数の当該教師画像から抽出した不変特徴量と当該不変特徴量を抽出したエリアを示すエリア識別情報とが対応づけて格納されている。また、推定結果出力部１３は、位置を特定したい画像を入力画像とし、局所特徴量抽出部２１により抽出した入力画像の複数の局所特徴量のそれぞれと、エリアデータベース１１に登録された不変特徴量とのマッチングを取り、各局所特徴量にマッチする不変特徴量に対応するエリアに投票し、得票数が最大となったエリアを特定対象の位置として推定する。

以下の説明においては、不変特徴量算出部２４が抽出する不変特徴量のことを、特徴量ＰＩＲＦ（Position-Invariant Robust Features）ということとし、先ず、この特徴量ＰＩＲＦを抽出する特徴量抽出部２０について詳細に説明する。特徴量抽出部２０は、撮影位置の変化に影響を受けにくい（局所）特徴量として特徴量ＰＩＲＦを抽出する。

これは、本願発明者が実環境における移動ロボットの自己位置推定問題を解決すべく鋭意実験研究した結果、近くの対象については撮影位置や撮影時間帯の変化による見え方の差（特徴量変化）が大きいが、遠くの対象については変化が小さい（ランドマークの特徴量はあまり変化しない）ことから、本特徴量ＰＩＲＦを抽出する方法を見出した。

本実施の形態にかかる特徴量抽出部２０は、簡単には、連続画像間で局所特徴のマッチングを行い、予め定めた枚数間で、連続してマッチングのとれている特徴を選択し、選択された特徴において、それとマッチングのとれている全特徴の平均を特徴量ＰＩＲＦとして抽出・記述するものである。

この特徴量抽出部２０により撮影位置の変化に頑健な局所特徴のみを抽出・記述することができる。また、記述子としては、局所特徴であれば様々なものが適用可能であり、上述のように既存の局所特徴量を用いることで、既存の特徴量が持つ性能もそのまま引き継がれ、照明変化等にも頑健な特徴として抽出・記述することが可能となる

以下、各ブロックについて詳細に説明する。図２は、本実施の形態にかかる特徴量ＰＩＲＦを抽出する方法を説明する図である。局所特徴量抽出部２１には、連続して撮影された連続画像が入力画像として入力される。ここで、ＰＩＲＦで要求される連続画像とは、ある画像セットであって、一定のフレームで、例えば１秒毎に２フレームなど、毎秒毎に連続的に撮影されたビデオ画像をいう。すなわち、ビデオからキャプチャされた画像は一般的に連続的であり、ＰＩＲＦにおける連続画像は、ビデオ画像を使用したものでなければならない。画像の取得率は、カメラの速度に応じて設定される。たとえば、カメラが車に搭載されていた場合、カメラの速度は１分間に約１０００ｍ／分であり、ビデオからキャプチャされる連続画像はおよそ５０乃至１００フレーム／秒となる。

本実施の形態においては、入力画像として全方位画像を用い、連続する画像は、１つのプレイス（place）を撮影したものを使用する。後述するように、このプレイスとは、例えば交差点から交差点までのある領域とする。当該プレイスは、いくつかの連続画像からなる複数のサブプレイスに分割される。すなわち、１つのプレイスは、複数のサブプレイスから構成される。このサブプレイス毎に１又は複数の不変特徴量を抽出する。この不変特徴量の集合をサブプレイスＰＩＲＦ辞書（PIRF-dictionary）という。１つのプレイスから抽出された全不変特徴量の集合、すなわち、上記サブプレイスＰＩＲＦ辞書の集合によりＰＩＲＦ辞書が構成される。１つのプレイスには１つのＰＩＲＦ辞書が対応する。このサブプレイスＰＩＲＦ辞書及びＰＩＲＦ辞書が抽出されたプレイスの識別情報が、ＰＩＲＦ辞書と共に上述のエリアデータベース１１に格納される。

先ず、局所特徴量抽出部２１は、既存の局所特徴量抽出方法を使用して局所特徴量を抽出する。局所特徴量抽出部２１は、例えば、ＳＩＦＴ（Scale Invariant Feature Transformation）、又はＳＵＲＦ（Speed Up Robustness Features）の特徴量を使用することができる。または、これらＳＩＦＴやＳＵＲＦに限らず、他の局所特徴量を使用することができることは勿論である。特に、スケール、回転の変動、又はノイズ等に対してロバストな他の局所特徴量を用いることが好ましい。これらの局所特徴量を用いることで、既存の特徴量が有する性能もそのまま引き継がれ、照明変化等にも頑健な特徴として抽出・記述することが可能となる。ここで、ｉ番目のエリアにおける全方位画像の数をｎ_ｉとし、その中でｊ番目の画像から抽出された局所特徴量の集合をＵ_ｊ ^ｉとする。ここでは、局所特徴量はｕ→で表す。

次に、特徴量マッチング部２２が、連続する２枚の画像間全てについて局所特徴量ｕ→を構成する各特徴量のマッチングを行う。すなわち、ｊ＝ｑ番目の画像の全局所特徴量について、ｊ＝ｑ＋１番目の画像の全局所特徴量に対してマッチングを行う。ここでは、それぞれマッチングのとれた特徴へのインデックスをマッチング結果ベクトルｍ_ｑ ^ｉ→として求める。

ここで、マッチング方法の一例について、ＳＩＦＴを例にとって説明する。画像Ｉ_ａから抽出される特徴をｖとする。この特徴ｖが次の画像Ｉ_ａ＋１の特徴ｖ'とマッチングするか否かを判定する。先ず、特徴ｖと画像Ｉ_ａ＋１から抽出した全ての特徴との間のドット積（dot product）を求める。そして、最も類似する特徴ｖ_{ｆｉｒｓｔ}と、２番目に類似する特徴ｖ_{ｓｅｃｏｎｄ}を求めるために、この結果をソートする。もし、
（ｖ_{ｆｉｒｓｔ}・ｖ）／（ｖ_{ｓｅｃｏｎｄ}・ｖ）＞θ
が成立する場合、マッチングのとれた特徴ｖ'＝ｖ_{ｆｉｒｓｔ}と判定する。ここで、閾値θはたとえば０．６とすることができる。上記が成立しない場合は、画像Ｉ_ａにおける特徴ｖにマッチングする特徴は、画像Ｉ_ａ＋１には存在しないと判定する。

図２に示すように、各入力画像から６つの局所特徴量が抽出された場合について説明する。これら６つの局所特徴量間でマッチングを取り、マッチングが取れた場合にのみ、マッチングが取れた特徴量へのインデックスを付す。例えば、ｍ_１ ^ｉ→の１番目の局所特徴量は、ｍ_２ ^ｉ→の３番目の局所特徴量とマッチングがとれていることを示し、ｍ_２ ^ｉ→の３番目の特徴量は、ｍ_３ ^ｉ→の６番目の特徴量とマッチングが取れていることを示す。

次に、連続特徴量選択部２３が連続特徴量を選択する。先ず、いくつのｍ_ｑ ^ｉ→を使用して連続特徴量を求めるかを決定する。このｍ_ｑ ^ｉ→の数を、本明細書においては、ウィンドウサイズｗともいう。また、このウィンドウサイズｗに含まれるｍ_ｑ ^ｉ→の集合を、サブプレイスという。ここで、ウィンドウサイズｗが大きいほどより頑健な、識別力の高い連続特徴量のみを抽出できるが、大きすぎると特徴数が極端に少なくなってしまう。また、小さすぎると、頑健ではない、識別力のないような特徴量も抽出してしまうので、目的等に応じて最適な大きさとする必要がある。

本実施の形態においては、ウィンドウサイズｗを３とする。したがって、連続する４枚の入力画像を使用して連続特徴量を求める。すなわち、図２に示すように、１番目のサブプレイスには、ｍ_１ ^ｉ→、ｍ_２ ^ｉ→、ｍ_３ ^ｉ→が含まれ、入力画像Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４が対応する。なお、インデックスの数が０の場合は、次にマッチングする特徴量がないことを示す。よって、図２の場合、１番目のサブプレイスには、３つの連続特徴量が含まれることになる。

連続特徴量選択部２３は、ウィンドウサイズｗを設定したらこのウィンドウｗをひとつずつずらしながら、そのウィンドウサイズに含まれる全方位画像４枚内で共通して出現する特徴を連続特徴量として抽出する。ウィンドウサイズｗを設定したら、連続特徴量を抽出するために用いる関数を以下のように定義する。ただし、ｂは注目するインデックスベクトルの番号とする。
そして、全てのマッチング結果ベクトルｍ_ｑ ^ｉ→について、ｆ（ｍ_ｘ,ｙ ^ｉ）を計算し、ｆ（ｍ_ｘ,ｙ ^ｉ）＞０となるときの局所特徴量ｕ_ｘ,ｙ ^ｉ→のみを抽出する。入力画像の数がｎ_ｉ、ウィンドウサイズがｗのとき、サブプレイスの数は、ｎ_ｉ−ｗ＋１となる。

不変特徴量算出部２４は、同一ウィンドウグループであるサブプレイス内においてマッチングがとれた局所特徴量の平均を求める。これらの平均値からなるベクトルによりＰＩＦＲ辞書が構成される。全サブプレイス（ｎ_ｉ−ｗ＋１）個から抽出された（ｎ_ｉ−ｗ＋１）個のサブプレイスＰＩＦＲ辞書（Ｄ_ｊ ^ｉ，ｊ≦ｎ_ｉ−ｗ＋１）をＰＩＲＦ辞書（Ｄ^ｉ）に登録する。このＰＩＦＲ辞書を構成する、マッチングがとれた局所特徴量の平均各がＰＩＲＦである。

次に、特徴量抽出部の不変特徴量ＰＩＦＲの抽出方法について説明する。図３は、不変特徴量抽出方法を示すフローチャートである。先ず、ｉ＝１、ｊ＝１に初期化する（ステップＳ１）。ここで、ｎ_ｉは、プレイスＡ_ｊに属する画像の枚数であり、ｗは、ＰＩＲＦを抽出するウィンドウサイズである。

次に、エリアＡ_ｊの画像Ｉ_ｉを入力する（ステップＳ２）。そして、ｉがウィンドウサイズｗより大きいか否かを判定する（ステップＳ３）。ｉがウィンドウサイズｗ以下である場合は、ｉをインクリメントし（ステップＳ１０）、ステップＳ２に戻る。

一方、ウィンドウサイズｗより大きい場合は、画像Ｉ_ｉと画像Ｉ_ｉ−１の間でマッチングを取る（ステップＳ４）。そして、ｗ＋１枚の連続する入力画像（Ｉ_ｉ−ｗ，…，Ｉ_ｉ）から安定している局所特徴量（ＳＩＦＴ）を抽出する（ステップＳ５）。ここで、本実施の形態においては、ウィンドウサイズｗを３に設定している。ウィンドウサイズｗは、何枚の連続画像からＰＩＲＦを抽出するかを示す。たとえば、ウィンドウサイズｗを３に設定した場合、ＰＩＲＦは４つの連続画像に連続して現れる特徴があるときにのみ得られる。従って、あるプレイスＡの画像イメージが４枚より少ない場合、３つの２画像間で一致する特徴を見つけるのに十分ではない。よって、画像が少なくとも４枚であるとき、プレイスＡからのＰＩＲＦの抽出をスタートすることができる。例えば、現在の画像がＩ_６であるとき、ＰＩＲＦは、４枚の連続画像I_３、Ｉ_４、Ｉ_５、Ｉ_６から求めることができる。

次に、抽出した安定した局所特徴量の平均をＰＩＲＦとして算出する（ステップＳ６）。次いで、エリアＡ_ｊに含まれるＰＩＲＦを収集し、ＰＩＲＦ辞書Ｄ_ｊに登録する（ステップＳ７）。そして、ｉ＝ｎ_ｊであるか否かが判断され、ｉ＝ｎ_ｊであれば、ｉ＝１、ｊ＝ｊ＋１とし、ステップＳ２からの処理を繰り返す（ステップＳ９）。ｉ＝ｎ_ｊではない場合は、ステップＳ１０に進み、ｉをインクリメントして、ステップＳ２に戻る。

次に位置推定部１０について説明する。上述したように、位置推定部１０の記憶部１２は、エリアデータベース１１を有する。エリアデータベース１１には、エリア（プレイス）を識別するためのエリア識別情報と、当該エリアに含まれる不変特徴量ＰＩＲＦ（ＰＩＲＦ辞書）とが対応づけられ、登録されている。このエリアデータベース１１は、予めエリア識別情報が対応づけられた教師画像から、特徴量抽出部２０を使用して不変特徴量ＰＩＲＦを抽出して登録するという学習により生成されたものである。

ここで、本実施の形態においては、位置推定装置がある特定の位置を特定対象の位置として推定するのではなく、ある一定の範囲のある領域をエリアとして認識する場合について説明する。なお、位置推定装置が現在の位置を推定するものとして構成してもよい。

ところで、本実施の形態においては、特徴量抽出部２０により位置推定装置１自身でエリアデータベース１１を生成する。このため、例えば、ロボット装置に当該位置推定装置１を搭載した場合、ロボット装置が先ず撮像手段により、認識したいエリアを移動しながら当該エリアの連続画像を取得し、当該エリアを識別するための識別情報を対応づける。そして、識別情報を対応づけた連続画像を教師画像とし、特徴量抽出部２０により、不変特徴量ＰＩＲＦ（ＰＩＲＦ辞書）を抽出する。これを識別情報と共にエリアデータベース１１に登録することで、エリアデータベース１１を構築する。この場合、必要に応じて、例えば未知のエリアに侵入した場合、その未知エリアを学習し、エリアデータベース１１を更新するなどすることができる。なお、予めエリアデータベース１１を準備しておき、それを利用することも勿論可能である。

ロボット装置が自己位置を推定する場合、周囲を撮影した画像を入力画像とし、局所特徴量抽出部２１によりその入力画像から複数の局所特徴量を抽出する。推定結果出力部１３は、抽出した局所特徴量と、エリアデータベース１１に登録されているＰＩＲＦ辞書に含まれるＰＩＲＦとのマッチングを取り、各局所特徴量にマッチする不変特徴量を有するエリアに投票し、得票数が最大となったエリアを現在の自己位置として推定し、結果を出力する。図４は、入力画像がいずれのプレイスであるかを推定する方法を説明する図である。図４に示すように、ある環境には、５つのプレイスが含まれているとする。各プレイスは、それぞれＰＩＲＦ辞書（Ｄ_１〜Ｄ_５）を有している。

先ず、入力画像（テスト画像）から、局所特徴量を抽出する。抽出された各局所特徴量と、各ＰＩＲＦ辞書に含まれる個別のＰＩＲＦとのマッチングをとる。これらのマッチングにより、最も多くのＰＩＲＦとマッチングが取れたＰＩＲＦ辞書に対応するプレイスが、入力画像の属するプレイスである。図４においては、１枚目、２枚目とも入力画像は、すべて１つめのＰＩＲＦ辞書Ｄ_１とのマッチングがもっとも大きい。したがって、ＰＩＲＦ辞書Ｄ_１に対応するプレイスが入力画像のプレイスとなる。

ここで、局所特徴量抽出部２１は、得票数が所定の閾値未満である場合は、当該エリアを未学習エリアとして認識するものとする。これにより、正確にエリアを推定できない場合は、エリアを特定しないので、確実に特定できるエリアのみを出力することができる。また、不確かな推定を行わないだけでなく、適切な追加学習を行う等の処理を行うことができる。

次に、ＤＢ最適化部１４について説明する。１つのＰＩＲＦ辞書は、１つのプレイスに対応する。したがって、認識したプレイスの数だけＰＩＲＦ辞書が生成される。したがって、多数のプレイスを認識すればするほど、ＰＩＲＦ辞書の数も増え、そのメモリ容量も増大する。本位置推定装置１をロボット装置に搭載した場合、例えば訪れた場所（プレイス）の数のＰＩＲＦ辞書を学習することになる。しかしながら、ロボット装置の記憶容量は有限である。したがって、エリアデータベース１１の容量を最適化する必要がある。

すなわち、エリアデータベース１１のデータ容量を削減する必要がある場合がある。このような場合、２通りのデータ削減方法が考えられる。１つは、ＰＩＲＦ辞書を構成する個別のＰＩＦＲの個数を減らす方法であり、他は、ＰＩＲＦ辞書自体の個数を減らす方法である。

先ず、ＰＩＲＦ辞書を構成する個別のＰＩＦＲの削減方法について説明する。ＤＢ最適化部１４は、ＰＩＦＲ辞書を構成する複数のＰＩＦＲ（個別不変特徴量）のうち、冗長なものを削除することで、ＰＩＲＦ辞書に含まれる個別のＰＩＲＦの個数を最適化する。

ＤＢ最適化部１４は、エリアデータベース１１を構築する際に使用した教師画像を再使用する。そして、各教師画像を識別するために使用された個別の不変特徴量に対し投票を行い、当該投票結果に応じて冗長な個別特徴量を削除する。すなわち、識別にあまり使用されない識別能力が低いＰＩＲＦを削除する。例えば、投票０で、一度も識別に使用されなかったＰＩＲＦは、削除しても何ら性能に影響がない。なお、このような最適化は、ある程度まとまった教師画像が必要であり、バッチテストであるため、ロボット装置に搭載した場合は、オフライン作業となる。

例えば、東京タワーや富士山のように高いもの、象徴的なものは、複数のプレイスに特徴量としてそのＰＩＲＦが抽出される場合がある。このようなＰＩＲＦはプレイスの識別能力が低いＰＩＲＦとして削除することができる。

次に、他の方法として、ＰＩＲＦ辞書自体の個数を減らす最適化について説明する。この場合、ＤＢ最適化部１４は、エリアデータベース１１に登録されたＰＩＲＦ辞書に対応する各プレイスについて、不適切な、冗長なＰＩＲＦ辞書を削除する。例えば、ロボット装置であれば、再び移動する蓋然性が低いプレイスについてのデータ、すなわち再び使用する蓋然性が低いＰＩＲＦ辞書を削除することができる。これは、例えば、ある一定期間以上使用しなかったＰＩＲＦ辞書を削除するようにするなどしればよい。当該動作は、人間の機能の忘れる、という機能に該当する。このような最適化は、そのつどロボット装置が行うことができるため、オンラインでの最適化が可能である。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

〔実施例１〕

実験データは、「ずずかけ台」と「大岡山」のキャンパス内で撮影した連続画像を使用した。画像サイズは６４０×４２８とした。すずかけ台キャンパスについては、５８０枚を学習に使用し、４８９枚をテストに利用した。大岡山キャンパスについては、４５０枚を学習に、４９３枚をテストに利用した。

図５（ａ）左図は、すずかけ台キャンパスを示し、２３のプレイスに手動で分割した。図５（ｂ）右図は、大岡山キャンパスを示し、１３のプレイスに手動で分割した。すずかけ台キャンバスについては、天気の良い休日の昼間に教師画像を取得した。テスト画像としては、平日の様々な天気のもと取得した画像を使用した。大岡山キャンパスについては、教師画像及びテスト画像は、共に平日の様々な天気のものランダムに３か月間で取得した画像を使用した。

図５（ｂ）左上図は、プレイスＡ２１を示し、左下図はプレイスＡ１を示す。教師画像は、休日に収集した（左上図）のに対し、テスト画像は、平日に収集した（右上図）。いくつかの教師画像は昼間撮影し（左下図）、テスト画像は夕方取得した（右下図）。

図５（ｃ）は、ＣＯＬＤデータセットの「Ljubljana lab.」のサンプル画像を示す。プリンターエリア、廊下、シェア部屋、バスルームの４カ所を使用し、曇り、晴れ、夜の環境で撮影されたもで、それぞれ２つずつの連続画像を利用した。約６０００の連続画像があり、サイズは６４０×４８０である。図５（ｄ）は、図５（ｃ）に対応する場所であって、夜間に撮影されたものを示す。

比較手法としては、特徴量にそれぞれＧＩＳＴ（A. Torralba, K. P. Murphy, W. T. Freeman and M. A. Rubin, "Context‐Based Vision System for Place and Object Recognition," Proc. IEEE Int'l Conf. Computer Vision, pp. 1023‐1029, 2003）とsPACT（J. Wu and J. M. Rehg, "Where am I: Place instance and category recognition using spatial PACT," Proc. IEEE Int'l Conf. Computer Vision and Pattern Recognition, 2008.）を利用し、識別器としてそれぞれに１-ＮＮ（1-nearest neighbor）とＳＶＭ（Support Vector Machine）を用いた場合の計４手法を使用した。

図６（ａ）は実験結果及びそれぞれの手法での精度を示す図である。ＰＩＲＦの結果は一番右であり、他手法に比べて２倍以上性能がよいことが確認できた。左がすずかけ台キャンパス、右が大岡山キャンパスでの実験結果を示す。ず６（ｂ）は、すずかけ台キャンパスでの認識結果の混合行列を示す。行が正解を示し、列が推測結果を示す。また図６（ｃ）は各テスト画像に対する信頼値を示すグラフ図である。平均線は３次多項式を使用した。正しい認識結果の時の信頼値は平均して高く、誤認識した際の信頼値は平均して低いことが確認でき、認識結果の信頼度も正しい相関関係が見て取れる。図６（ｄ）は、各テスト画像の認識時間を示している。ＰＩＲＦ−ｎはＰＩＲＦをｎ％まで削減した場合の結果を示す。一番下の実線はＰＩＲＦ−５０で投票処理を並列に実行した場合の結果を示している。ＰＩＲＦの数を削減することによって認識時間を削減することが可能であり、さらに、並列処理を加えることによって既存手法と同程度の認識時間を達成できる。なお、いずれの削減量においても、既存手法よりも優れた認識精度を維持している。

本実施例により、屋外における場所認識の実験において、他の識別手法に比して、精度が高いことが確認できた。

〔実施例２〕
ＣＯＬＤのデータセット（M. M. Ullah, A. Pronobis, B. Caputo, J. Luo, P. Jensfelt and H.I. Christensen, "Towards Robust Place Recognition for Robot Localization," Proc. IEEE Int'l Conf. Robotics and Automation, pp.530‐537, 2008）の一部（図６（ｃ）、（ｄ））を用いて実験を行なった。屋内の４カ所について、晴れ、曇り、夜の３つの環境下で撮影した連続画像があり、それぞれについて２組の連続画像が存在する。よって、計６つの連続画像があり、それらを6-fold cross-validationとして評価した。図７は、本実施例の結果を示す図である。図７（ａ）は、晴れで学習した場合、図７（ｂ）は、曇りで学習した場合、図７（ｃ）は、夜で学習した場合を示す。

図７（ａ）乃至図７（ｃ）において、左から、晴れ、曇り、夜、平均での結果を示す。それぞれの結果のうち、左からＰＩＲＦ、Harris-Lasplace+SVM、sPACT+NN、Gist+NNでの結果を示す。

本実施例により、他手法と同等の精度が得られることが確認できた。

〔実施例３〕
実施例１及び実施例２で用いたデータセットを混合したもので場所認識の実験を行なった。その結果を図８に示す。行は正解クラス、列は推測結果のクラスを表す。それぞれのデータセットの平均認識精度は、ＣＯＬＤのデータセット：９５．１２％、すずかけ台キャンパスのデータ：８６．５６％、大岡山キャンパスのデータ：７６．０６％であった。

本実施例により、屋内や屋外のデータが混ざっていても、また、各場所について学習データの量に大きな差があったとしても、利用可能な手法であることが確認できた。

〔実施例４〕
実験１のデータセットを用いて、ＰＩＲＦをＩＳＣ（C. Valgren, T. Duckett and A. Lilienthal, "Incremental Spectral Clustering and Its Application to Topological Mapping," Proc. IEEE Int'l Conf. Robotics and Automation, 2007、C. Valgren and A. Lilienthal, "Incremental Spectral Clustering and Seasons: Appearance‐Based Localization in Outdoor Environments," Proc. IEEE Int'l Conf. Robotics and Automation, 2008）のような追加的なアピアランスベースのトポロジカルマッピングに利用した。図９は、その結果を示す図である。図９（ａ）は、各画像の演算時間を示し、上グラフ（長時間側）がＩＳＣであり、下グラフがＰＩＲＦの結果である。また、図９（ｂ）は、積算時間を示し、同じくＩＳＣがＰＩＲＦよりより長時間かかっている。図９（ｃ）は、認識率と、最初の１００枚をテストした時間を示す。図において、一番上のグラフがＩＳであり、下側の３つのグラフが、ＰＩＲＦ−７５、ＰＩＲＦ−５０、ＰＩＲＦ−２５の結果を示している。ＰＩＲＦ−７５、ＰＩＲＦ−５０、ＰＩＲＦ−２５とは、それぞれＰＩＲＦを７５％、５０％、２５％に減らしたものである。

図９（ａ）及び（ｂ）から、従来手法のＩＳＣより明らかに高速に実行することができることが確認できた。また、その際の精度は、従来手法のＩＳＣは４０．２９％であるのに対して、ＰＩＲＦを用いた場合は９３．４８％であり、精度においても高性能であることが確認できた。

本実施例により、ＰＩＲＦがＩＳＣのような追加的なアピアランスベースのトポロジカルマッピングにも利用でき、かつ、ＩＳＣよりも高速に実行できることが確認できた。

１ 位置推定装置
１０ 位置推定部
１１ エリアデータベース
１２ 記憶部
１３ 推定結果出力部
１４ 最適化部
２０ 特徴量抽出部
２１ 局所特徴量抽出部
２２ 特徴量マッチング部
２３ 連続特徴量選択部
２４ 不変特徴量算出部

Claims (15)

1. 連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段が抽出した前記不変特徴量に基づき位置を推定する位置推定手段とを有し、
   前記特徴量抽出手段は、
   前記入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
   前記局所特徴量抽出手段により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、
   前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択手段と、
   各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出手段とを有する、位置推定装置。
2. 前記位置推定手段は、教師画像を入力画像とし、複数の当該教師画像から抽出した前記不変特徴量と当該不変特徴量を抽出したエリアを示すエリア識別情報とを対応づけたエリアデータベースを格納する記憶手段と、
   周囲を撮影した画像を入力画像とし、前記局所特徴量抽出手段により抽出した前記入力画像の複数の局所特徴量のそれぞれと、前記エリアデータベースに登録された前記不変特徴量とのマッチングを取り、各局所特徴量にマッチする不変特徴量に対応するエリアに投票し、得票数が最大となったエリアを現在の位置として推定する推定結果出力手段と、を有する、請求項１記載の位置推定装置。
3. 前記位置推定手段は、前記得票数が所定の閾値未満である場合は、当該エリアを未学習エリアとして認識する、請求項１又は２項記載の位置推定装置。
4. 前記局所特徴量は、ＳＩＦＴ（Scale Invariant Feature Transformation）及び／又はＳＵＲＦ（Speed Up Robustness Features）の特徴量である、請求項１乃至３のいずれか１項記載の位置推定装置。
5. 前記データベースを最適化する最適化手段を有し、
   前記最適化手段は、前記不変特徴量を構成する複数の個別不変特徴量のうち、冗長な個別不変特徴量を削除する、請求項１乃至４のいずれか１項記載の位置推定装置。
6. 前記最適化手段は、前記教師画像を再使用し、当該教師画像を識別するために使用された個別不変特徴量に投票し、当該投票結果に応じて冗長な個別特徴量を削除する、請求項５記載の位置推定装置。
7. 前記最適化手段は、前記最適化をオフラインで行う、請求項５又は６記載のロボット装置。
8. 前記最適化手段は、前記最適化をオンラインで行う、請求項５記載のロボット装置。
9. 前記データベースを最適化する最適化手段を有し、
   前記最適化手段は、前記エリアデータベースに登録された前記不変特徴量及び前記エリア識別情報について、冗長なデータを削除する、請求項１乃至４のいずれか１項記載の位置推定装置。
10. 前記冗長なデータは、前記エリア識別情報が示すエリアに再び移動する蓋然性が低いものである、請求項９記載の位置推定装置。
11. 連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出工程と、
    前記特徴量抽出手段が抽出した前記不変特徴量に基づき位置を推定する位置推定工程とを有し、
    前記特徴量抽出工程は、
    前記入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、
    前記局所特徴量抽出工程により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、
    前記特徴量マッチング工程により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択工程と、
    各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出工程とを有する、位置推定方法。
12. 連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
    前記局所特徴量抽出手段により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、
    前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択手段と、
    各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出手段とを有する、特徴量抽出装置。
13. 前記局所特徴量は、ＳＩＦＴ（Scale Invariant Feature Transformation）及び／又はＳＵＲＦ（Speed Up Robustness Features）の特徴量である、請求項１２記載の特徴量抽出装置。
14. 連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、
    前記局所特徴量抽出工程により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、
    前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択工程と、
    各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出工程とを有する、特徴量抽出方法。
15. 特徴量に基づき位置を推定する位置推定動作をコンピュータに実行させるためのプログラムであって、
    連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、
    前記局所特徴量抽出工程により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、
    前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択工程と、
    各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出工程とを有する、ことを特徴とするプログラム。