JP2015184054A - 同定装置、方法及びプログラム - Google Patents

Abstract

【課題】同定に要する時間を短縮することができる同定装置、方法及びプログラムを提供する。【解決手段】同定装置１０は、撮像部２５と、撮像画像特徴算出部２７と、同定情報取得部２９と、同定部３１と、を備える。撮像部２５は、撮像画像を撮像する。撮像画像特徴算出部２７は、前記撮像画像から１以上の撮像画像特徴を算出する。同定情報取得部２９は、地図データ上の仮想画像毎に、当該仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を取得する。同定部３１は、前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する。【選択図】図１

Description

本発明の実施形態は、同定装置、方法及びプログラムに関する。

画像特徴で構成される地図データと同定対象の３次元位置及び姿勢で撮像した画像の画像特徴との照合を行うことで、同定対象の３次元位置及び姿勢が地図データ上のどの位置に該当するかを同定する技術が知られている。

特開２００４−５５９３号公報

しかしながら、上述したような従来技術では、地図データの画像特徴と画像の画像特徴との照合を順番に行うため、同定に時間を要してしまう。

本発明が解決しようとする課題は、同定に要する時間を短縮することができる同定装置、方法及びプログラムを提供することを目的とする。

実施形態の同定装置は、撮像部と、撮像画像特徴算出部と、同定情報取得部と、同定部と、を備える。撮像部は、撮像画像を撮像する。撮像画像特徴算出部は、前記撮像画像から１以上の撮像画像特徴を算出する。同定情報取得部は、地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する。同定部は、前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する。

第１実施形態の同定装置の例を示す構成図。 第１実施形態の仮想３次元位置及び姿勢の設定手法の例の説明図。 第１実施形態の複数の仮想画像の生成手法の例を示す図。 第１実施形態の仮想画像の例を示す図。 第１実施形態の仮想画像の例を示す図。 第１実施形態の仮想画像の例を示す図。 第１実施形態の仮想画像の例を示す図。 第１実施形態の仮想画像の例を示す図。 第１実施形態の照合順序の例の説明図。 第１実施形態の照合順序の例の説明図。 第１実施形態の同定情報生成処理例を示すフローチャート。 第１実施形態の同定処理例を示すフローチャート。 第２実施形態の同定装置の構成例を示すブロック図。 第２実施形態の仮想３次元位置及び姿勢の設定手法の例の説明図。 第２実施形態の処理例を示すフローチャート。 各実施形態の同定装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の同定装置１０の一例を示す構成図である。図１に示すように、同定装置１０は、地図データ記憶部１１と、地図データ取得部１３と、設定部１５と、生成部１７と、適切度算出部１９と、抽出部２１と、同定情報記憶部２３と、撮像部２５と、撮像画像特徴算出部２７と、同定情報取得部２９と、同定部３１と、出力部３３とを、備える。なお、同定装置１０は、自立移動が可能なロボットなどの移動体であってもよいし、ユーザが保持して移動するものであってもよい。

地図データ記憶部１１及び同定情報記憶部２３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。地図データ取得部１３、設定部１５、生成部１７、適切度算出部１９、抽出部２１、撮像画像特徴算出部２７、同定情報取得部２９、同定部３１、及び出力部３３は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。撮像部２５は、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラやＣＣＤ（Charge Coupled Device）カメラなど２次元の撮像画像を撮像する２次元カメラや、ＴＯＦ（TIME OF FLIGHT）方式カメラやSTRUCTURED LIGHT方式カメラなど２次元の撮像画像に加え撮像対象までの距離を含めた３次元の点群から構成される３次元の撮像画像を撮像する３次元カメラなどの撮像装置により実現できる。

地図データ記憶部１１は、地図データを記憶する。地図データは、地図データの作成に用いられた画像の画像特徴で構成されている。画像特徴は、特徴量、強度、及び３次元座標を含む。

画像特徴が点の場合、強度は、例えば、C. Harris and M. Stephens, “A combined corner and edge detector,” Proceedings of the 4th Alvey Vision Conference, pp. 147-151, 1988.に開示されたコーナーの度合を表す評価値、３次元座標は、例えば、点の３次元座標とすることができる。

画像特徴が線の場合、強度は、例えば、J. Canny, “A Computational Approach To Edge Detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6):679−698, 1986.に開示されたエッジの度合を勾配の大きさから算出する評価値、３次元座標は、例えば、線の重心の３次元座標とすることができる。

画像特徴が領域の場合、強度は、例えば、領域の大きさ、３次元座標は、例えば、領域の重心の３次元座標とすることができる。

地図データ取得部１３は、地図データを取得する。具体的には、地図データ取得部１３は、地図データ記憶部１１から地図データを取得する。

設定部１５は、地図データ取得部１３により取得された地図データ上に複数の仮想３次元位置を設定するとともに、複数の仮想３次元位置それぞれの姿勢を設定する。具体的には、設定部１５は、地図データ取得部１３により取得された地図データ上の周囲に仮想３次元位置及び姿勢の組を複数設定する。

例えば、設定部１５は、D. Kurz, T. Olszamowski and S. Benhimane, “Representative Feature Descriptor Sets for Robust Handheld Camera Localization,” Proceedings of the International Symposium on Mixed and Augmented Reality, pp.65-70, 2012.に開示されているように、地図データに基づく地図を覆う球の表面を三角形のメッシュの集合として近似し、三角形の各頂点から球の中心に向かう位置及び姿勢を仮想３次元位置及び姿勢として設定する（図２参照）。なお設定部１５は、地図データに基づく地図を覆う球として、半径の長さの異なる球を複数用意し、各球上に各頂点を設定することで、仮想３次元位置及び姿勢の組を複数設定するようにしてもよい。

生成部１７は、設定部１５により設定された複数の仮想３次元位置及び姿勢の組それぞれを用いて、複数の仮想画像それぞれを生成する。具体的には、生成部１７は、仮想３次元位置及び姿勢の組毎に、当該仮想３次元位置及び姿勢で撮像したと推定される仮想画像を生成する。

図３は、第１実施形態の複数の仮想画像の生成手法の一例を示す図である。図３に示す例では、地図データに基づく地図上の空間を３つの仮想３次元位置及び姿勢の組それぞれの撮像範囲４１〜４３で仮想的に撮像する。

図４〜図６は、第１実施形態の複数の仮想画像の一例を示す図である。図４に示す例は、図３の撮像範囲４１で仮想的に撮像した仮想画像５１であり、地図データに基づく地図上の空間に位置する画像特徴は６つ含まれている。図５に示す例は、図３の撮像範囲４２で仮想的に撮像した仮想画像５２であり、地図データに基づく地図上の空間に位置する画像特徴は４つ含まれている。図６に示す例は、図３の撮像範囲４３で仮想的に撮像した仮想画像５３であり、地図データに基づく地図上の空間に位置する画像特徴は２つ含まれている。以下では、仮想画像に含まれる画像特徴を仮想画像特徴と称する場合がある。

適切度算出部１９は、生成部１７により生成された仮想画像毎に、当該仮想画像から１以上の仮想画像特徴を算出し、当該１以上の仮想画像特徴に基づいて適切度を算出する。具体的には、適切度算出部１９は、仮想画像に含まれる仮想画像特徴（仮想画像に投影された地図上の空間に位置する画像特徴）の数、仮想画像に含まれる仮想画像特徴の強度の和、及び仮想画像に含まれる仮想画像特徴の位置の分布（分散）の重み付け和を求め、適切度とする。

以下、適切度についてより詳細に説明する。

まず、設定部１５により設定された仮想３次元位置及び姿勢の組の数をＡ（Ａは１以上の自然数）、仮想３次元位置をｔｊ（ｊは、１からＡまでの自然数）、姿勢をＲｊ、地図上の空間に位置する画像特徴の数をＢ（Ｂは１以上の自然数）、画像特徴の３次元座標をＸｆ（ｆは、１からＢまでの自然数）とすると、数式（１）により画像特徴の２次元座標ｘｆが求まる（３次元座標Ｘｆが２次元座標ｘｆに投影される）。

ｘｆ＝Ｚ[Ｒｊ｜ｔｊ]Ｘｆ …（１）

Ｚは、仮想画像を仮想的に撮像する仮想撮像装置の内部パラメタを表す行列であり、第１実施形態では、撮像部２５の内部パラメタと同一とする。

適切度算出部１９は、仮想画像の幅をＷ、高さをＨに設定し、仮想画像内に含まれるｘｆを選択する。これにより、仮想画像に含まれる仮想画像特徴が求まる。そして、仮想画像に含まれる仮想画像特徴の数をＣ、仮想画像特徴の強度の和をＤ、仮想画像特徴の位置の分散をＥとすると、適切度Ｓｊは、数式（２）より求まる。

Ｓｊ＝ＷｃＣ＋ＷｄＤ＋ＷｅＥ …（２）

Ｗｃ、Ｗｄ、Ｗｅは、それぞれ、仮想画像特徴の数、仮想画像特徴の強度の和、仮想画像特徴の位置の分散の重みである。

なお、適切度は、図７に示す仮想画像５４に含まれる仮想画像特徴のように散らばっている方が、図８に示す仮想画像５５に含まれる仮想画像特徴のように集約されているよりも、値が大きくなる。

抽出部２１は、適切度算出部１９により算出された適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて同定情報に追加する。具体的には、抽出部２１は、抽出した１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを対応付けて、同定情報記憶部２３に記憶する。

同定情報記憶部２３は、地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を記憶している。このため、抽出部２１が、抽出した１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを対応付けて、同定情報記憶部２３に記憶することで、抽出した１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを対応付けたものが同定情報に追加される。

所定条件は、第１閾値以上の適切度であること、又は複数の適切度のうち値の大きさが上位Ｎ（Ｎは１以上の自然数）個に入ることとすることができる。

例えば、抽出部２１は、適切度算出部１９により算出された適切度Ｓｊを昇順に並び替え、昇順にＮ個の適切度Ｓｊが所定条件を満たすと判断したり、適切度算出部１９により算出された適切度Ｓｊをそれぞれ第１閾値と比較し、第１閾値の適切度を、所定条件を満たすと判断したりする。

また抽出部２１は、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴の仮想３次元位置と、同定情報に含まれる複数の仮想３次元位置それぞれとの差のいずれかが第２閾値以上の場合、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて同定情報に追加してもよい。

また抽出部２１は、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と同定情報に含まれる複数の１以上の仮想画像特徴それぞれとの類似度のいずれかが第３閾値以下の場合、適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて同定情報に追加してもよい。類似度は、例えば、仮想画像特徴の一致数などとすることができる。

撮像部２５は、撮像画像を撮像する。

撮像画像特徴算出部２７は、撮像部２５により撮像された撮像画像から１以上の撮像画像特徴を算出する。撮像画像特徴は、撮像部２５が２次元カメラの場合、特徴量と２次元座標から構成され、撮像部２５が３次元カメラの場合、特徴量と３次元座標から構成される。撮像画像特徴は、例えば、点、線、又は領域などが挙げられる。

撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、C. Harris and M. Stephens, “A combined corner and edge detector,” Proceedings of the 4th Alvey Vision Conference, pp. 147-151, 1988.に開示されたコーナーらしさを算出する手法で、点を検出できる。

また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、D. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” International Journal of Computer Vision, Vol.60, pp91-110, 2004.に開示された点の周囲の局所的な領域の画素値の勾配分布をヒストグラムとして表現したものを、特徴量とする。

また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、J. Canny, “A Computational Approach To Edge Detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6):679―698, 1986.に開示された局所領域内の画素値の勾配を算出する手法で、線を検出できる。

また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、Z. Wang, F. Wu and Z. Hu, “MSLD: A robust descriptor for line matching,” Pattern Recognition, Vol.42, pp.941-953, 2009.に開示された線の周囲の画素値の勾配分布をヒストグラムとして表現したものを、特徴量とする。

また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、J. Matas, O. Chum, M. Urban and T. Pajdla, “Robust Wide Baseline Stereo from Maximally Stable Extremal Regions,” Proceedings of the British Machine Conference, pp. 36.1-36.10, 2002.に開示された画素値の似た隣接画素を結合させる手法で、領域を検出できる。

また撮像画像特徴算出部２７は、撮像部２５が２次元カメラの場合、例えば、P. Forssen and D. Lowe, “Shape Descriptors for Maximally Stable Extremal Regions,” Proceedings of the International Conference on Computer Vision, pp1-8, 2007.に開示された検出した領域を正規化し、正規化された領域の画素値の勾配分布をヒストグラムとして表現したものを、特徴量とする。

撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、撮像画像を距離画像に変換し、距離画像に対して２次元カメラの画像特徴抽出手法を適用して撮像画像特徴を検出してもよいし、撮像画像上の点群の３次元座標を直接利用して撮像画像特徴を検出してもよい。

撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、例えば、J. Knopp and M. Prasad and G. Willems and R. Timofte and L. Gool, “Hough Transform and 3D SURF for robust three dimensional classification,” Proceedings of the European Conference on Computer Vision, pp.589-602, 2010.に開示された３次元点群の局所的な密度と隣接関係から点を検出する手法で、点を検出できる。

また撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、例えば、M. Kolomenkin, I. Shimshoni and A. Tal, “On edge detection on surfaces,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2767-2774, 2009.に開示された３次元点群に３次元線モデルをフィッティングさせることで３次元的線を検出する手法で、線を検出できる。

また撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、例えば、M. Donoser and H. Bischof, “3D Segmentation by Maximally Stable Volumes (MSVs),” Proceedings of the International Conference on Pattern Recognition, vol. 1, pp. 63-66, 2006.に開示された３次元点群の隣接関係の不連続性を用いて３次元点群を分割し、分割した領域を検出する手法で、領域を検出できる。

撮像画像特徴算出部２７は、撮像部２５が３次元カメラの場合、３次元の点、線、又は領域の２次元画像上での位置を算出し、２次元カメラを用いた場合と同じ特徴量を算出する。つまり、撮像部２５が３次元カメラの場合も、撮像部２５が２次元カメラの場合と同様の手法で特徴量を求められる。

なお、前述した地図データを構成する画像特徴も、２次元カメラまたは３次元カメラのいずれで作成されていてもよい。

同定情報取得部２９は、同定情報を取得する。具体的には、同定情報取得部２９は、同定情報記憶部２３から同定情報を取得する。

同定部３１は、同定情報の適切度が高い順に、１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する。

図９は、第１実施形態の照合順序の一例の説明図である。図９に示す例において、仮想３次元位置６１〜６４の適切度が、仮想３次元位置６１＞仮想３次元位置６２＞仮想３次元位置６３＞仮想３次元位置６４であるとする。この場合、同定部３１は、まず、仮想３次元位置６１に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６２に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６３に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６４に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合する。

そして同定部３１は、撮像部２５が２次元カメラの場合、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置（３Ｄ座標）をＸ＝（Ｘ，Ｙ，Ｚ）、１以上の撮像画像特徴の２次元位置（２Ｄ座標）をｘ＝（ｘ、ｙ）とすると、数式（３）を満たす回転行列Ｒａと位置ベクトルｔａを求める。

ｘ＝Ｚ［Ｒａ｜ｔａ］Ｘ …（３）

なお、回転行列Ｒａは自身の姿勢を示し、位置ベクトルｔａは自身の３次元位置を示す。また、Ｚは撮像部２５の内部パラメタを表す行列であり、例えば、Z.Zhang, “A flexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, pp.1330-1334, 2000.を用いて事前に算出すればよい。

また同定部３１は、撮像部２５が３次元カメラの場合、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置（３Ｄ座標）をＸ＝（Ｘ，Ｙ，Ｚ）、１以上の撮像画像特徴の３次元位置（３Ｄ座標）をＸ’＝（Ｘ’，Ｙ’，Ｚ’）とすると、数式（４）を満たす回転行列Ｒａと位置ベクトルｔａを求める。

Ｘ’＝［Ｒｂ｜ｔｂ］Ｘ …（４）

なお、同定部３１は、前回の撮像画像特徴に基づいて同定された３次元位置及び姿勢に基づいて複数の適切度を更新し、更新後の適切度が高い順に、１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と１以上の撮像画像特徴とを用いて自身の３次元位置及び前記姿勢を同定してもよい。

図１０は、第１実施形態の照合順序の一例の説明図である。図９に示す例において、仮想３次元位置６１〜６４の適切度が、仮想３次元位置６１＞仮想３次元位置６２＞仮想３次元位置６３＞仮想３次元位置６４であるとする。但し、前回の撮像画像特徴に基づいて同定された撮像部２５の３次元位置及び姿勢は、図１０に示す通りとする。この場合、同定部３１は、前回の撮像画像特徴に基づいて同定された撮像部２５の３次元位置及び姿勢の適切度と仮想３次元位置６１〜６４それぞれの適切度との差に重み付けし、適切度を更新してもよい。この結果、、仮想３次元位置６１〜６４の適切度が、仮想３次元位置６３＞仮想３次元位置６４＞仮想３次元位置６１＞仮想３次元位置６２となれば、同定部３１は、まず、仮想３次元位置６３に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６４に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６１に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、次に、仮想３次元位置６２に対応付けられた１以上の仮想画像特徴と１以上の撮像画像特徴とを照合する。

出力部３３は、同定部３１の同定結果を出力する。出力部３３は、例えば、同定結果を図示せぬ表示部に画面出力したり、地図データ記憶部１１に出力したり、又は図示せぬ印刷部に印刷出力したりする。

図１１は、第１実施形態の同定装置１０で行われる同定情報生成処理の手順の流れの一例を示すフローチャートである。

まず、地図データ取得部１３は、地図データを取得する（ステップＳ１０１）。

続いて、設定部１５は、地図データ取得部１３により取得された地図データ上の周囲に仮想３次元位置及び姿勢の組（位置姿勢情報）を複数設定する（ステップＳ１０３）。

続いて、生成部１７は、仮想３次元位置及び姿勢の組（位置姿勢情報）毎に、当該仮想３次元位置及び姿勢で撮像したと推定される仮想画像を生成する（ステップＳ１０５）。

続いて、適切度算出部１９は、生成部１７により生成された仮想画像毎に、当該仮想画像から１以上の仮想画像特徴を算出し（ステップＳ１０７）、当該１以上の仮想画像特徴に基づいて適切度を算出する（ステップＳ１０９）。

続いて、抽出部２１は、適切度算出部１９により算出された適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し（ステップＳ１１１）、対応付けて同定情報に追加する（ステップＳ１１３）。

図１２は、第１実施形態の同定装置１０で行われる同定処理の手順の流れの一例を示すフローチャートである。

まず、撮像部２５は、撮像画像を撮像する（ステップＳ２０１）。

続いて、撮像画像特徴算出部２７は、撮像部２５により撮像された撮像画像から１以上の撮像画像特徴を算出する（ステップＳ２０３）。

続いて、同定情報取得部２９は、同定情報記憶部２３から同定情報を取得する（ステップＳ２０５）。

続いて、同定部３１は、同定情報の適切度が高い順に、１以上の仮想画像特徴と１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する（ステップＳ２０７）。

続いて、出力部３３は、同定部３１の同定結果を出力する。出力部３３は、例えば、同定結果を図示せぬ表示部に画面出力したり、地図データ記憶部１１に出力したり、又は図示せぬ印刷部に印刷出力したりする（ステップＳ２０９）。

以上のように第１実施形態によれば、適切度に基づいて、同定時の照合に用いられる仮想画像特徴が抽出されるため、照合対象の仮想画像特徴を予め絞り込むことができ、同定に要する時間を短縮することができる。

（第２実施形態）
第２実施形態では、地図データを作成しながら同定を行う例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１３は、第２実施形態の同定装置１１０の構成の一例を示すブロック図である。図１３に示すように、第２実施形態の同定装置１１０では、追跡部１２６、地図データ作成部１１３、及び設定部１１５が第１実施形態と相違する。

追跡部１２６は、１以上の撮像画像特徴と前回の１以上の撮像画像特徴とを照合し、一致する撮像画像特徴数が閾値以上であれば、追跡を継続し、一致する撮像画像特徴数が閾値未満であれば、追跡を終了する。

地図データ作成部１１３は、追跡部１２６が追跡を継続する場合、撮像画像特徴を用いて地図データを作成する。具体的には、地図データ作成部１１３は、撮像画像特徴を、地図データを構成する画像特徴として地図データに追加する。例えば、地図データ作成部１１３は、G. Klein and D. Murray, “Parallel Tracking and Mapping for Small AR Workspaces,” Proceedings of the International Symposium on Mixed and Augmented Reality, 2007.に開示された手法で、撮像画像特徴を、地図データを構成する画像特徴とする。

設定部１１５は、地図データを構成する画像特徴とした撮像画像特徴の３次元位置及び姿勢を設定するか否かを判定する。例えば、設定部１１５は、図１４に示すように、３次元位置及び姿勢の変化量（３次元位置及び姿勢１８１と３次元位置及び姿勢１８３の差など）が閾値以上である場合に、撮像画像特徴の３次元位置及び姿勢を設定する。

同定情報取得部２９は、追跡部１２６が追跡に失敗した場合、同定情報を取得し、同定部３１は、同定を行う。

図１５は、第２実施形態の同定装置１１０で行われる処理の手順の流れの一例を示すフローチャートである。

まず、撮像部２５は、撮像画像を撮像する（ステップＳ３０１）。

続いて、撮像画像特徴算出部２７は、撮像部２５により撮像された撮像画像から１以上の撮像画像特徴を算出する（ステップＳ３０２）。

続いて、追跡部１２６は、１以上の撮像画像特徴と前回の１以上の撮像画像特徴とを照合し（ステップＳ３０３）、一致する撮像画像特徴数が閾値以上であれば、追跡を継続し（ステップＳ３０５でＹｅｓ）、一致する撮像画像特徴数が閾値未満であれば、追跡を終了する（ステップＳ３０５でＮｏ）。

続いて、地図データ作成部１１３は、追跡部１２６が追跡を継続する場合（ステップＳ３０５でＹｅｓ）、撮像画像特徴を用いて地図データを作成する（ステップＳ３０７）。

続いて、設定部１１５は、地図データを構成する画像特徴とした撮像画像特徴の３次元位置及び姿勢を設定する場合（ステップＳ３０９でＹｅｓ）、設定する（ステップＳ３１１）。

以降のステップＳ３１３〜Ｓ３２１は、図１１に示すフローチャートのステップＳ１０５〜Ｓ１１３と同様である。

一方、同定情報取得部２９は、追跡部１２６が追跡を終了する場合（ステップＳ３０５でＮｏ）、同定情報記憶部２３から同定情報を取得する（ステップＳ３２５）。

以降のステップＳ３２７〜Ｓ３２９は、図１２に示すフローチャートのステップＳ２０７〜Ｓ２０９と同様である。

以上のように第２実施形態によれば、動的に地図データを生成しながら、同定を行うことができる。

（ハードウェア構成）
図１６は、上記各実施形態の同定装置のハードウェア構成の一例を示すブロック図である。図１６に示すように、上記各実施形態の同定装置は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤやＳＳＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、マウスやキーボードなどの入力装置９０５と、通信Ｉ／Ｆ９０６と、カメラなどの撮像装置９０７とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。

上記各実施形態の同定装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される。

また、上記各実施形態の同定装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。

また、上記各実施形態の同定装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の同定装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

上記各実施形態の同定装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置９０１が外部記憶装置９０３からプログラムを記憶装置９０２上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

以上説明したとおり、上記各実施形態によれば、同定に要する時間を短縮することができる。

なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

１０、１１０ 同定装置
１１ 地図データ記憶部
１３ 地図データ取得部
１５、１１５ 設定部
１７ 生成部
１９ 適切度算出部
２１ 抽出部
２３ 同定情報記憶部
２５ 撮像部
２７ 撮像画像特徴算出部
２９ 同定情報取得部
３１ 同定部
３３ 出力部
１１３ 地図データ作成部
１２６ 追跡部
９０１ 制御装置
９０２ 記憶装置
９０３ 外部記憶装置
９０４ 表示装置
９０５ 入力装置
９０６ 通信Ｉ／Ｆ
９０７ 撮像装置

Claims (11)

1. 撮像画像を撮像する撮像部と、
   前記撮像画像から１以上の撮像画像特徴を算出する撮像画像特徴算出部と、
   地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する同定情報取得部と、
   前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する同定部と、
   を備える同定装置。
2. 前記同定部は、前回の１以上の撮像画像特徴に基づいて同定された前記３次元位置及び前記姿勢に基づいて前記複数の適切度を更新し、更新後の前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の前記３次元位置及び前記姿勢を同定する請求項１に記載の同定装置。
3. 前記地図データを取得する地図データ取得部と、
   前記地図データ上に前記複数の仮想３次元位置を設定するとともに、前記複数の仮想３次元位置それぞれの姿勢を設定する設定部と、
   前記複数の仮想３次元位置及び姿勢の組それぞれを用いて、前記複数の仮想画像それぞれを生成する生成部と、
   前記仮想画像毎に、当該仮想画像から１以上の仮想画像特徴を算出し、当該１以上の仮想画像特徴に基づいて前記適切度を算出する適切度算出部と、
   前記適切度が所定条件を満たす仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出し、対応付けて前記同定情報に追加する抽出部と、
   を更に備える請求項１に記載の同定装置。
4. 前記適切度は、前記１以上の仮想画像特徴の数、当該１以上の仮想画像特徴の強度の和、及び前記１以上の仮想画像特徴の位置の分布の重み付け和である請求項３に記載の同定装置。
5. 前記所定条件は、第１閾値以上の適切度であること、又は前記複数の適切度のうち値の大きさが上位Ｎ（Ｎは１以上の自然数）個に入ることである請求項３に記載の同定装置。
6. 前記抽出部は、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴の前記仮想３次元位置と、前記同定情報に含まれる前記複数の仮想３次元位置それぞれとの差のいずれかが第２閾値以上の場合、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出する請求項３に記載の同定装置。
7. 前記抽出部は、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴と前記同定情報に含まれる前記複数の１以上の仮想画像特徴それぞれとの類似度のいずれかが第３閾値以下の場合、前記適切度が所定条件を満たす前記仮想画像の前記１以上の仮想画像特徴と、当該１以上の仮想画像特徴の仮想３次元位置と、当該適切度とを抽出する請求項３に記載の同定装置。
8. 前記設定部は、前記地図データ上の周囲に前記仮想３次元位置及び姿勢の組を複数設定する請求項３に記載の同定装置。
9. 前記１以上の撮像画像特徴と前回の１以上の撮像画像特徴とを照合し、一致する撮像画像特徴数に基づいて、追跡を終了するか否かを決定する追跡部と、
   追跡を終了する場合、前記地図データを作成する地図データ作成部と、
   を更に備える請求項１に記載の同定装置。
10. 撮像画像を撮像する撮像ステップと、
    前記撮像画像から１以上の撮像画像特徴を算出する撮像画像特徴算出ステップと、
    地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する同定情報取得ステップと、
    前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する同定ステップと、
    を含む同定方法。
11. 撮像画像を撮像する撮像ステップと、
    前記撮像画像から１以上の撮像画像特徴を算出する撮像画像特徴算出ステップと、
    地図データ上の所定の仮想画像毎に、当該所定の仮想画像の１以上の仮想画像特徴と、当該１以上の仮想画像特徴の撮像位置と推定される仮想３次元位置と、当該１以上の仮想画像特徴の適切度と、を対応付けた同定情報を、取得する同定情報取得ステップと、
    前記適切度が高い順に、前記１以上の仮想画像特徴と前記１以上の撮像画像特徴とを照合し、照合度が最も高い１以上の仮想画像特徴に対応付けられた仮想３次元位置と前記１以上の撮像画像特徴とを用いて自身の３次元位置及び姿勢を同定する同定ステップと、
    をコンピュータに実行させるためのプログラム。

Images