JP2019020997A - 情報処理装置及びその制御方法、並びに、プログラム - Google Patents

Abstract

【課題】撮像装置を操作する操作者が体験可能な範囲について、万遍なく撮像が行えるように誘導し得る仕組みを提供する。
【解決手段】撮像装置２１０を操作する操作者に情報を提示する情報処理装置１００において、撮像装置２１０で撮像し得る撮像範囲を設定する撮像範囲設定部１３０と、撮像装置２１０で撮像された画像を用いて撮像装置２１０の位置及び姿勢を算出する位置姿勢算出部１２０と、位置姿勢算出部１２０で算出された位置及び姿勢に基づいて、撮像範囲設定部１３０で設定された撮像範囲における撮像状況を評価する評価部１４０と、評価部１４０による評価に基づいて、撮像装置２１０の操作を誘導する誘導情報を表示装置２２０に提示する誘導情報提示部１５０を備える。
【選択図】図１

Description

本発明は、撮像装置を操作する操作者に情報を提示する処理を行う情報処理装置及びその制御方法、並びに、当該情報処理装置の各手段としてコンピュータを機能させるためのプログラムに関するものである。

カメラや三次元計測センサ等の撮像装置で撮像した画像に含まれる特徴（幾何特徴）に基づいて撮像装置の位置及び姿勢を算出する技術は、操作者が撮像装置を操作（例えば移動）することで実現される複合現実感／拡張現実感（ＭＲ／ＡＲ）における現実空間と仮想物体の位置合わせやロボットの自己位置推定等に利用される。この技術に関し、例えば、特許文献１では、撮像装置の位置及び姿勢の認識が安定化するように、ＡＲ体験中の操作者を誘導するための誘導オブジェクトを提示する方法を提案している。

特開２０１３−２２５２４５号公報 特開２０１６−２２０１９８号公報

J. Engel, J. Stuckler, and D. Cremers, "Large-Scale Direct SLAM with Stereo Cameras," Proc. 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 1935-1942, 2015. Z. Zhang，"A flexible new technique for camera calibration，" IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, 2000. H. Kato and M. Billinghurst, "Marker tracking and hmd calibration for a video-based augmented reality conferencing system," International Workshop on Augmented Reality, 1999. G.Klein and D.Murray, "Parallel tracking and mapping for small AR workspaces," Proc. ISMAR, pp.225-234, 2007. M. Bauer, M. Schlegel, D. Pustka, N. Navab, and G. Klinker, "Predicting and estimating the accuracy of n-occular optical tracking systems, " Proc. 5th IEEE and ACM International symposium on Mixed and Augmented Reality, pp.43-51, 2006. R. Mur-Artal, J. M. M. Montiel and J. D. Tardos," ORB-SLAM: A Versatile and Accurate Monocular SLAM System," IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147-1163, October 2015. R. A. Newcombe, S. Izadi, O. Hilliges, D. Molynewaux, D. Kim, A. J. Davison, P. Kohli, J. Shotton, S. Hodges, A, Fitzgibbon, "KinectFusion: Real-Time Dense Surface Mapping and Tracking," IEEE ISMAR 2011.

上述した特許文献１の方法では、撮像装置を操作する操作者が体験可能な範囲について網羅的に撮像装置の位置及び姿勢を算出することは想定していない。このため、特許文献１の方法では、例えば、動く物体等の変動がない状態で操作者が体験したい範囲内の特徴（幾何特徴）を三次元地図として保持し、当該三次元地図を用いて撮像装置の位置及び姿勢を算出する場合に、その精度及び安定性が低下する懸念があった。

本発明は、このような問題点に鑑みてなされたものであり、撮像装置を操作する操作者が体験可能な範囲について網羅的に三次元地図を作成し得る仕組みを提供することを目的とする。

本発明の情報処理装置は、撮像装置を操作する操作者に情報を提示する情報処理装置であって、前記撮像装置で撮像し得る撮像範囲を設定する設定手段と、前記撮像装置で撮像された画像を用いて前記撮像装置の位置および姿勢を算出する算出手段と、前記算出手段で算出された位置および姿勢に基づいて、前記撮像範囲における撮像状況を評価する評価手段と、前記評価手段による評価に基づいて、前記撮像装置の操作を誘導する誘導情報を提示する情報提示手段と、を有する。
また、本発明は、上述した情報処理装置の制御方法、及び、上述した情報処理装置の各手段としてコンピュータを機能させるためのプログラムを含む。

本発明によれば、撮像装置を操作する操作者が体験可能な範囲について、万遍なく撮像が行えるように誘導することができる。これにより、網羅的に三次元地図を作成することができる。更に、作成した三次元地図を用いて撮像装置の位置及び姿勢を算出する場合に、その算出の精度及び安定性を向上させることが可能となる。

本発明の第１の実施形態に係る情報処理装置を含む画像処理システムの概略構成の一例を示す図である。 本発明の実施形態に係る情報処理装置を含む画像処理システムのハードウェア構成の一例を示す図である。 図１に示す評価部で作成される評価対象位置姿勢リストのデータ構造の一例を示す図である。 本発明の第１の実施形態に係る情報処理装置の制御方法における処理手順の一例を示すフローチャートである。 図１に示す誘導情報提示部で提示される誘導情報を説明するための図である。 本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部で提示する誘導情報を含む提示画像の一例を示す図である。 本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部で提示する誘導情報を含む提示画像の他の一例を示す図である。 本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部で提示する誘導情報を含む提示画像の他の一例を示す図である。 本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部で提示する誘導情報を含む提示画像の他の一例を示す図である。 本発明の第２の実施形態に係る情報処理装置を含む画像処理システムの概略構成の一例を示す図である。 本発明の第３の実施形態に係る情報処理装置を含む画像処理システムの概略構成の一例を示す図である。 本発明の第３の実施形態に係る情報処理装置の制御方法における処理手順の一例を示すフローチャートである。 図１２のステップＳ２０２における詳細な処理手順の一例を示すフローチャートである。 本発明の第４の実施形態に係る情報処理装置を含む画像処理システムの概略構成の一例を示す図である。 本発明の第４の実施形態に係る情報処理装置の制御方法における処理手順の一例を示すフローチャートである。 図１５のステップＳ４０２及びＳ４０３の処理を説明するための図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

＜第１の実施形態＞
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る情報処理装置１００−１を含む画像処理システム１０−１の概略構成の一例を示す図である。画像処理システム１０−１は、図１に示すように、情報処理装置１００−１、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）２００、及び、入力装置３００を有して構成されている。

本実施形態における画像処理システム１０−１では、頭部装着型表示装置２００を操作（本実施形態の例では、移動）する操作者が頭部装着型表示装置２００を装着し、複合現実感（ＭＲ）等を体験可能な範囲について網羅的に三次元地図を作成する支援を行う。具体的に、頭部装着型表示装置２００は、図１に示すように、例えばステレオカメラ等の撮像装置２１０と、撮像装置２１０で撮像した現実空間の画像等を表示する表示装置２２０を有して構成されている。情報処理装置１００−１は、撮像装置２１０で撮像した現実空間の画像とともに撮像装置２１０の操作を誘導する誘導情報を表示装置２２０に表示して、操作者による撮像装置２１０の操作を誘導する。そして、操作者がこの誘導情報に従って撮像装置２１０を操作（本実施形態の例では、移動）することにより、操作者が体験可能な範囲について網羅的に三次元地図を作成することができる。

入力装置３００は、情報処理装置１００−１に対して各種の情報を入力する。例えば、本実施形態においては、入力装置３００は、情報処理装置１００−１に対して、操作者が体験可能な範囲に相当する撮像装置２１０で撮像し得る撮像範囲の情報を入力する。この入力装置３００は、例えば、マウス及びキーボード等の入力デバイスで構成することができる。

情報処理装置１００−１は、撮像装置２１０及び表示装置２２０を含む頭部装着型表示装置２００を操作（本実施形態の例では、移動）する操作者に情報を提示する処理を行う装置である。この情報処理装置１００−１は、図１に示すように、画像入力部１１０、位置姿勢算出部１２０、撮像範囲設定部１３０、評価部１４０、誘導情報提示部１５０、三次元地図保持部１６０、及び、三次元地図更新部１７０の各機能構成を有している。なお、図１に示す画像処理システム１０−１では、情報処理装置１００−１の内部に三次元地図保持部１６０及び三次元地図更新部１７０を設ける態様を例示しているが、本実施形態はこの態様に限定されるものではない。例えば、情報処理装置１００−１の外部に三次元地図保持部１６０及び三次元地図更新部１７０を設ける態様も、本実施形態に適用可能である。

画像入力部１１０は、撮像装置２１０で撮像された現実空間の画像を撮像装置２１０から時系列（例えば毎秒６０フレーム）に取得し、これを位置姿勢算出部１２０、誘導情報提示部１５０及び三次元地図更新部１７０に入力する。

位置姿勢算出部１２０は、画像入力部１１０から入力された画像及び三次元地図保持部１６０で保持する三次元地図を用いて、撮像装置２１０の位置及び姿勢を算出する。例えば、位置姿勢算出部１２０は、非特許文献１に記載の方法を用いて撮像装置２１０の位置及び姿勢を算出することができる。

ここで、本実施形態では、位置姿勢算出部１２０で算出する撮像装置２１０の位置は、三次元の現実空間中に規定された座標で示される３つのパラメータ（例えば、位置座標（Ｘ座標，Ｙ座標，Ｚ座標））で表現されるものとする。また、本実施形態では、位置姿勢算出部１２０で算出する撮像装置２１０の姿勢は、三次元の現実空間中に規定された座標で示される３つのパラメータ（例えば、姿勢ベクトル（Ｘ軸方向，Ｙ軸方向，Ｚ軸方向））で表現されるものとする。この撮像装置２１０の位置を示す３つのパラメータ、及び、この撮像装置２１０の姿勢を示す３つのパラメータは、例えば、後述する図３において、それぞれ、（ ）に示されている。

撮像範囲設定部１３０は、入力装置３００から入力された撮像範囲の情報に基づいて、操作者が体験可能な範囲に相当する撮像装置２１０で撮像し得る撮像範囲を設定する。

評価部１４０は、位置姿勢算出部１２０で算出された位置及び姿勢に基づいて、撮像範囲設定部１３０で設定された撮像範囲における撮像状況を評価する。具体的に、本実施形態では、まず、評価部１４０は、撮像範囲設定部１３０で設定された撮像範囲に基づいて評価対象とする撮像装置２１０の位置及び姿勢を決定して、そのリスト（以下、「評価対象位置姿勢リスト」と称する）を作成する。例えば、評価部１４０は、撮像範囲設定部１３０で設定された撮像範囲を所定の間隔ごとに分けて、評価対象とする撮像装置２１０の位置及び姿勢を決定する。次いで、評価部１４０は、作成した評価対象位置姿勢リストにおける各組の位置及び姿勢と位置姿勢算出部１２０で算出された位置及び姿勢とに基づいて、撮像範囲設定部１３０で設定された撮像範囲における撮像状況を評価する。

誘導情報提示部１５０は、評価部１４０による評価の結果に基づいて、撮像装置２１０の操作（本実施形態の例では、移動）を誘導する誘導情報を提示する処理を行う。具体的に、誘導情報提示部１５０は、操作者が視認する表示装置２２０に誘導情報を表示する処理を行うことにより、操作者に誘導情報を提示する処理を行う。この際、誘導情報提示部１５０は、表示装置２２０に対して、画像入力部１１０から入力された画像に誘導情報を重畳する重畳表示する処理を行う態様を採り得る。また、誘導情報提示部１５０は、表示装置２２０に対して、画像入力部１１０から入力された画像とは異なる領域に誘導情報を表示する処理を行う態様も採り得る。なお、本実施形態では、誘導情報提示部１５０側で画像に誘導情報を合成する場合を例示しているが、本発明においてはこの形態に限定されるものではない。例えば、表示装置２２０に対して、画像入力部１１０から画像を出力するとともに誘導情報提示部１５０から誘導情報を出力し、表示装置２２０側で画像に誘導情報を合成した上で表示する形態も、本発明に適用可能である。

三次元地図保持部１６０は、位置姿勢算出部１２０で撮像装置２１０の位置及び姿勢を算出する際に用いる三次元地図を保持する。ここで、三次元地図は、操作者が体験可能な範囲（撮像範囲に相当する範囲）の幾何特徴を三次元座標で示したものであるとする。また、例えば、三次元地図保持部１６０は、非特許文献１に記載の方法と同様に、三次元地図をキーフレームの集合として保持することができる。

三次元地図更新部１７０は、画像入力部１１０から入力された画像と位置姿勢算出部１２０で算出された位置及び姿勢とに基づいて、三次元地図保持部１６０で保持する三次元地図を更新する処理を行う。

図２は、本発明の実施形態に係る情報処理装置１００を含む画像処理システム１０のハードウェア構成の一例を示す図である。この図２において、図１に示す構成と同様の構成については同じ符号を付している。

情報処理装置１００は、図２に示すように、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記憶装置１０４、Ｉ／Ｆ（インタフェース）１０５、及び、バス１０６の各ハードウェア構成を有している。

ＣＰＵ１０１は、例えばＲＯＭ１０２に記憶されているプログラムを実行することにより、情報処理装置１００の各種の制御や各種の処理、各種の機能を実現する。

ＲＯＭ１０２は、読み出し専用の不揮発性メモリであり、ＣＰＵ１０１が各種の制御や各種の処理、各種の機能を実現するためのプログラムや、各種の情報、各種のデータを記憶している。

ＲＡＭ１０３は、随時読み書きが可能な揮発性メモリであり、ＣＰＵ１０１のワークメモリとして使用される。

記憶装置１０４は、ハードディスク等の大容量記憶媒体である。この記憶装置１０４は、必要に応じて、ＣＰＵ１０１が各種の制御等を行う際に必要な各種の情報等や、ＣＰＵ１０１が各種の制御等を行うことによって得られた各種の情報等を記憶する。なお、本実施形態では、上述したように、ＣＰＵ１０１が各種の制御等を実現するためのプログラムは、ＲＯＭ１０２に記憶されている形態としたが、例えば、記憶装置１０４に記憶されている形態であっても良い。

Ｉ／Ｆ１０５は、情報処理装置１００と外部装置である頭部装着型表示装置２００及び入力装置３００とを通信可能に接続する処理を行う。ここで、図２には、Ｉ／Ｆ１０５と頭部装着型表示装置２００とを接続する通信線４００を示している。ここで、通信線４００は、有線用の通信線であっても無線用の通信線であっても良い。

バス１０６は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記憶装置１０４及びＩ／Ｆ１０５を、相互に通信可能に接続する。

ここで、図１に示す情報処理装置１００−１の機能構成と、図２に示す情報処理装置１００のハードウェア構成との対応関係の一例について説明する。
例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、Ｉ／Ｆ１０５から、図１に示す画像入力部１１０、撮像範囲設定部１３０、誘導情報提示部１５０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラムから、図１に示す位置姿勢算出部１２０、評価部１４０、三次元地図更新部１７０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、記憶装置１０４から、図１に示す三次元地図保持部１６０が構成される。

また、頭部装着型表示装置２００は、図２に示すように、ＣＰＵ２０１、メモリ２０２、Ｉ／Ｆ（インタフェース）２０３、バス２０４、撮像装置２１０、及び、表示装置２２０の各ハードウェア構成を有している。

ＣＰＵ２０１は、例えばメモリ２０２に記憶されているプログラムを実行することにより、頭部装着型表示装置２００の各種の制御や各種の処理、各種の機能を実現する。

メモリ２０２は、ＣＰＵ２０１が各種の制御や各種の処理、各種の機能を実現するためのプログラムや、各種の情報、各種のデータを記憶している。また、メモリ２０２は、ＣＰＵ２０１が各種の制御等を行うことによって得られた各種の情報等を記憶する。

Ｉ／Ｆ２０３は、頭部装着型表示装置２００と外部装置である情報処理装置１００とを通信線４００を介して通信可能に接続する処理を行う。

また、図１と同様に、撮像装置２１０は例えばステレオカメラ等の撮像装置であり、表示装置２２０は撮像装置２１０で撮像した画像等を表示する装置である。

バス２０４は、ＣＰＵ２０１、メモリ２０２、Ｉ／Ｆ２０３、撮像装置２１０及び表示装置２２０を、相互に通信可能に接続する。

図３は、図１に示す評価部１４０で作成される評価対象位置姿勢リストのデータ構造の一例を示す図である。
図３に示す評価対象位置姿勢リストでは、横方向の一行に１組の位置及び姿勢の情報を示している。各組の位置及び姿勢の情報には、例えば、位置座標（Ｘ座標，Ｙ座標，Ｚ座標）で表現される撮像装置２１０の位置と、例えば、姿勢ベクトル（Ｘ軸方向，Ｙ軸方向，Ｚ軸方向）で表現される撮像装置２１０の姿勢と、撮像済みフラグの情報が含まれている。この際、撮像済みフラグは、その撮像装置２１０の位置及び姿勢で撮像が完了しているか否か（より広義には、撮像を行う必要があるか否か）を表すフラグである。

次に、図１に示す情報処理装置１００−１の制御方法における処理手順を説明する。
図４は、本発明の第１の実施形態に係る情報処理装置１００−１の制御方法における処理手順の一例を示すフローチャートである。

まず、図４のステップＳ１０１において、情報処理装置１００−１は、各種のパラメータ及び三次元地図の初期化処理を行う。この初期化処理では、撮像装置２１０の内部パラメータ（焦点距離、画像中心、レンズ歪みパラメータ等）、及び、撮像装置２１０の相対位置及び姿勢（外部パラメータ）といったカメラパラメータの読み込み、更に、撮像装置２１０の初期状態の位置及び姿勢の算出を行う。

ここで、撮像装置２１０の内部パラメータは、例えば非特許文献２に記載のＺｈａｎｇの方法により、事前に校正しておく。撮像装置２１０の外部パラメータは、例えば三次元形状が既知のパターンを左右のカメラで撮像し、パターンを基準とした各カメラの位置及び姿勢を求め、それぞれの位置及び姿勢をステレオカメラの左側カメラを基準とした位置及び姿勢に変換して求める。これらの事前に校正したカメラパラメータは、図２に示す記憶装置１０４（或いはメモリ２０２）に保持しておく。

また、撮像装置２１０の初期状態の位置及び姿勢の算出は、例えば非特許文献３に記載のＫａｔｏらの方法によって、サイズが既知で模様によって位置及び姿勢を算出可能な指標であるマーカを基準に算出する。なお、本実施形態においては、撮像装置２１０の初期状態の位置及び姿勢の算出方法は、この態様に限定されるものではない。例えば、開始位置を原点とするなど、後述のステップＳ１０２で設定する撮像範囲の三次元空間と撮像装置２１０の位置及び姿勢を表す三次元空間との相対関係が決定できれば、いかなる方法でも良い。

続いて、ステップＳ１０２において、撮像範囲設定部１３０は、入力装置３００から入力された撮像範囲の情報に基づいて、操作者が体験可能な範囲に相当する撮像装置２１０で撮像し得る撮像範囲を設定する。本実施形態では、三次元空間のＸ軸方向，Ｙ軸方向及びＺ軸方向のそれぞれが取り得る範囲を設定する。

続いて、ステップＳ１０３において、評価部１４０は、ステップＳ１０２で設定された撮像範囲に基づいて評価対象とする撮像装置２１０の位置及び姿勢を決定し、そのリストである評価対象位置姿勢リストを作成する。具体的に、例えば、評価部１４０は、ステップＳ１０２で設定された撮像範囲の範囲内で複合現実感（ＭＲ）等を体験するのに十分なキーフレームの位置及び姿勢を算出し、これを評価対象位置姿勢リストとして作成する。この際、評価対象位置姿勢は、位置及び姿勢の算出が安定する理想的なキーフレームの間隔によって決定される。例えば、入力装置３００から１ｍ立方の撮像範囲が入力され、５０ｃｍ間隔に正面と左右３０度の角度ごとのキーフレームが理想とされる場合、評価部１４０は、評価対象位置姿勢として、２７の位置にそれぞれ３方向の姿勢からなる合計８１組の位置及び姿勢を決定する。なお、評価対象位置姿勢の決定方法は、この態様に限定されるものではなく、位置及び姿勢の間隔を入力装置３００から入力及び設定しても良い。

続いて、ステップＳ１０４において、誘導情報提示部１５０は、ステップＳ１０１で算出された撮像装置２１０の初期状態の位置及び姿勢に基づいて、或いは、後述のステップＳ１０６で算出された撮像装置２１０の位置及び姿勢とステップＳ１０３で作成された評価対象位置姿勢リストとに基づいて、撮像装置２１０の操作（本実施形態の例では、移動）を誘導する誘導情報を生成する処理を行う。その後、誘導情報提示部１５０は、生成した誘導情報を表示装置２２０に表示して操作者に提示する処理を行う。

図５は、図１に示す誘導情報提示部１５０で提示される誘導情報を説明するための図である。

例えば、誘導情報提示部１５０は、図５（ａ）に示すように、撮像装置２１０の位置を球５０１で表し、撮像装置２１０の姿勢を球５０１に刺さった棒５０２〜５０４で表したオブジェクトからなる誘導情報５００を生成する。この際、棒５０２〜５０４は、評価対象姿勢を視線ベクトルの向きで表したものであり、当該棒の端点から球５０１に向かう方向へのベクトルと並行な向きをとることを指示するものである。操作者は、棒５０２の方向から球５０１の位置に接近することで評価対象位置姿勢をとることができる。

続いて、図５（ｂ）の説明を行う。
図５（ｂ）には、現実空間Ｓ１０を拡張することで形成される仮想空間内の、評価対象位置姿勢リスト５４０において撮像済みフラグがＦａｌｓｅになっている評価対象位置姿勢に対応する誘導情報５１０〜５３０が示されている。現実空間Ｓ１０の位置Ｐ０１にいる、頭部装着型表示装置２００を装着した操作者には、誘導情報提示部１５０によって、表示装置２２０を介して、誘導情報５１０〜５３０を含む提示画像Ｄ０１が提示される。なお、誘導情報５１０〜５３０の提示方法は、この図５に示す方法に限定されるものではなく、誘導する撮像装置２１０の位置及び姿勢が分かれば、四角錐や矢印で表示して提示しても良く、また、姿勢の数によって色を変えても提示しても良い。
さらに、この提示画像Ｄ０１には、誘導情報提示部１５０によって、評価対象位置姿勢リスト５４０に記載の評価対象位置姿勢のうち、撮像済みフラグがＴｒｕｅとなっている位置姿勢（撮像が行われた位置姿勢（より広義には、撮像を行う必要がない位置姿勢））の割合を示す進捗率情報Ａ０１が提示されている。なお、進捗率情報Ａ０１の提示方法は、進捗度合いが分かれば、百分率で表示して提示しても良いし、分数で表示して提示しても良い。

ここで、再び、図４の説明に戻る。
ステップＳ１０４の処理が終了すると、ステップＳ１０５に進む。
ステップＳ１０５に進むと、画像入力部１１０は、撮像装置２１０で撮像された現実空間の画像を撮像装置２１０から取得し、これを位置姿勢算出部１２０、誘導情報提示部１５０及び三次元地図更新部１７０に入力する。

続いて、ステップＳ１０６において、位置姿勢算出部１２０は、ステップＳ１０５で入力された画像を用いて、撮像装置２１０の位置及び姿勢を算出する。具体的に、本ステップでは、位置姿勢算出部１２０は、ステップＳ１０５で入力された画像と三次元地図保持部１６０で保持する三次元地図とを用いて、世界座標系における撮像装置２１０の位置及び姿勢を算出する。ここで、本実施形態では、撮像装置２１０の位置及び姿勢の算出は、非特許文献１に記載の方法により行うものとする。また、三次元地図更新部１７０が、位置姿勢算出部１２０で算出した撮像装置２１０の位置及び姿勢に基づき三次元地図保持部１６０で保持する三次元地図を更新した場合には、位置姿勢算出部１２０は、当該更新後の三次元地図を用いて位置及び姿勢の算出を行う。なお、三次元地図更新部１７０による三次元地図の更新としては、例えば非特許文献１に記載の方法により、既存のキーフレームの更新または新規キーフレームの追加を行う。

続いて、ステップＳ１０７において、評価部１４０は、ステップＳ１０６で算出された位置及び姿勢に基づいて、ステップＳ１０２で設定された撮像範囲における撮像状況を評価する。具体的に、本ステップでは、評価部１４０は、ステップＳ１０３で作成した評価対象位置姿勢リストにおける各組の位置及び姿勢とステップＳ１０６で算出された位置及び姿勢とに基づいて、ステップＳ１０２で設定された撮像範囲における撮像状況を評価する。

図５（ｃ）を用いて、評価部１４０の評価方法の一例について説明する。
図５（ｃ）は、操作者が、図５（ｂ）に示す位置Ｐ０１から、図５（ｃ）に示す位置Ｐ０２に移動した状況である。具体的に、この図５（ｃ）に示す場合は、図５（ｂ）の誘導情報５１０に対応する位置及び姿勢と、操作者が装着する撮像装置２１０の位置及び姿勢との差が閾値以下となった場合を示している。この場合、評価部１４０は、ステップＳ１０７の処理において、図５（ｃ）に示す評価対象位置姿勢リスト５５０について誘導情報５１０に対応する位置及び姿勢の撮像済みフラグをＴｒｕｅに変更する。この評価対象位置姿勢リスト５５０の変更に伴って、後述するステップＳ１０７で否定判断（Ｓ１０７／ＮＯ）された後に移行するステップＳ１０４の処理によって、図５（ｃ）に示す提示画像Ｄ０２から誘導情報５１０が除外されることになる。そして、本実施形態の場合、評価部１４０は、評価対象位置姿勢リストに記載された各組の位置及び姿勢における撮像済みフラグが全てＴｒｕｅとなった場合に、ステップＳ１０２で設定された撮像範囲における撮像状況をＯＫと評価する。

続いて、ステップＳ１０８において、評価部１４０は、ステップＳ１０３で作成した評価対象位置姿勢リストに記載された撮像済みフラグが全てＴｒｕｅとなって撮像状況がＯＫとなったか否か（即ち、処理を終了するか否か）を判断する。なお、ここでは、ステップＳ１０３で作成した評価対象位置姿勢リストに記載された撮像済みフラグが全てＴｒｕｅとなって撮像状況がＯＫとなった場合に処理の終了を判断する態様を説明したが、本実施形態においてはこの態様に限定されるものではない。例えば、入力装置３００から終了指示情報が入力された場合に処理の終了を判断する態様も、本実施形態に適用可能である。

ステップＳ１０８の判断の結果、撮像状況がＯＫでない（即ち、撮像状況がＮＧで処理を終了しない）場合には（Ｓ１０８／ＮＯ）、ステップＳ１０４に戻り、ステップＳ１０４以降の処理を再度行う。この場合、現時点で評価対象位置姿勢リストに記載された撮像済みフラグの状態に応じて、ステップＳ１０４において、誘導情報の提示が行われることになる。

一方、ステップＳ１０８の判断の結果、撮像状況がＯＫである（即ち、処理を終了する）場合には（Ｓ１０８／ＹＥＳ）、図４に示すフローチャートの処理を終了する。

≪第１の実施形態の変形例１≫
続いて、上述した本発明の第１の実施形態の変形例１について説明する。
上述した本発明の第１の実施形態では、撮像装置２１０としてステレオカメラを適用した形態を示したが、本発明においてはこの形態に限定されるものではない。撮像装置２１０は、現実空間の画像を撮像するカメラであれば如何なるカメラも適用可能であり、例えば単眼カメラであっても良いし、また、相対的な位置及び姿勢が既知な三台以上のカメラで構成されていても良い。また、撮像装置２１０は、カラー画像を撮像するカメラに限定されるものではなく、濃淡画像を撮像するカメラであっても良いし、奥行き情報を撮像するカメラであっても良いし、カラー画像と奥行き情報とをセットとして持つＲＧＢＤ画像であっても良い。但し、撮像装置２１０として単眼カメラを用いる場合には、位置及び姿勢の算出、及び、再投影誤差の算出に当たっては奥行き情報が必要となるため、例えば非特許文献４に記載のＫｌｅｉｎらの方法を用いて、当該カメラの動きから奥行き情報を算出する。

また、位置及び姿勢を算出するための画像を撮像する撮像装置と、表示装置２２０において誘導情報が合成される画像を撮像する撮像装置とは、同一のものであっても良いし、また、別々のものであっても良い。また、表示装置２２０は、頭部装着型表示装置２００に搭載されるディスプレイに限定されるものではなく、画像を表示できるものであれば、例えばタブレットでもＰＣディスプレイでも良い。

≪第１の実施形態の変形例２≫
続いて、上述した本発明の第１の実施形態の変形例２について説明する。
上述した本発明の第１の実施形態では、撮像範囲設定部１３０は、入力装置３００からの入力によって撮像範囲を設定するものであった。しかしながら、撮像範囲の設定方法は、三次元空間の範囲を設定できるものであれば、この形態に限らず適用可能である。例えば、撮像範囲設定部１３０は、ＩＤごとに範囲の決められた人工的な指標を空間に配置し、それを撮像及び認識することで、撮像範囲を設定しても良い。また、例えば、撮像範囲設定部１３０は、複数の人工的な指標を撮像範囲の端点に設置し、それらが全て撮像できる位置から撮像することでそれらの位置関係を認識し、それらで囲まれる範囲を撮像範囲として設定しても良い。また、例えば、撮像装置２１０の位置及び姿勢を算出しながら設定したい範囲の外周を移動することによって、撮像範囲設定部１３０で撮像範囲を設定しても良い。また、撮像範囲設定部１３０は、これらの複数を組み合わせて撮像範囲を設定しても良く、例えば、Ｚ座標は入力装置３００の入力によって設定し、Ｘ座標及びＹ座標は移動によって設定するようにしても良い。

また、撮像範囲設定部１３０による撮像範囲の設定は、三次元空間のＸ座標、Ｙ座標及びＺ座標だけでなく、姿勢の３パラメータを限定して設定しても良い。この場合の設定方法としては、Ｘ座標、Ｙ座標及びＺ座標の場合と同様に、入力装置３００から３パラメータの最大値及び最小値を設定しても良いし、ある１点に置かれた物体を注視するような動作を行う場合には、その１点を注視するような姿勢に限定しても良い。

≪第１の実施形態の変形例３≫
続いて、上述した本発明の第１の実施形態の変形例３について説明する。
上述した本発明の第１の実施形態では、図５に示すように評価対象位置姿勢を示すオブジェクトを誘導情報として提示する例を示したが、本発明においてはこの形態に限定されるものではない。例えば、誘導情報提示部１５０で提示する誘導情報として、評価対象位置姿勢のうち、次の１組の評価対象位置姿勢に至るまでの変化の方向を示すオブジェクトを提示する形態も、本発明に適用可能である。この際、次の１組の評価対象位置姿勢としては、現在の撮像装置２１０の位置及び姿勢からもっとも近い撮像装置２１０の位置及び姿勢を評価対象位置姿勢リストの中から選択しても良いし、評価対象位置姿勢リストを最短経路で移動できるような経路を計算し、その順に示しても良い。

また、誘導情報提示部１５０で提示する誘導情報としては、上述した本発明の第１の実施形態で説明したように、評価対象位置姿勢リストに記載された撮像済みフラグがＦａｌｓｅである全ての組の位置及び姿勢に係る誘導情報を提示しても良いし、また、撮像済みフラグがＦａｌｓｅである位置及び姿勢の中から、現在の位置及び姿勢にもっとも近い１組の位置及び姿勢に係る誘導情報のみを提示しても良い。

図６は、本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部１５０で提示する誘導情報を含む提示画像の一例を示す図である。
図６において、画像Ｃ１０は、撮像装置２１０で撮像された撮像画像である。また、画像Ｖ１０は、評価対象位置姿勢から撮像される仮想視点画像である。この仮想視点画像Ｖ１０は、射影変換により生成される。そして、誘導情報提示部１５０は、撮像画像Ｃ１０と仮想視点画像Ｖ１０を重畳して合成した提示画像Ｄ１０を生成し、これを表示装置２２０に表示する。この提示画像Ｄ１０において、薄く表示された仮想視点画像Ｖ１０の部分が誘導情報に相当する。操作者は、提示画像Ｄ１０において、仮想視点画像Ｖ１０に相当する部分が撮像画像Ｃ１０に相当する部分と一致するように移動することで、評価対象位置姿勢をとる。また、仮想視点画像Ｖ１０の全体を重畳表示すると、可視性が低下するため、仮想視点画像Ｖ１０の勾配強度が強い箇所だけを表示しても良い。

図７は、本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部１５０で提示する誘導情報を含む提示画像の他の一例を示す図である。
図７に示す提示画像のように、三次元の位置及び姿勢が分かりやすい参照物体７１０のオブジェクトと、参照物体７１０をどのように撮像して欲しいのかを示す指標７１１のオブジェクトとに係る誘導情報を提示するようにしても良い。

図８は、本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部１５０で提示する誘導情報を含む提示画像の他の一例を示す図である。
図８に示す提示画像のように、並進を示す矢印８１０のオブジェクトと回転方向を示す矢印８１１のオブジェクトとによって位置及び姿勢の変化を示した誘導情報を提示するようにしても良いし、ＣＧアバターによる誘導を行っても良い。この際、ＣＧアバターによる誘導は、現在の撮像装置２１０の位置及び姿勢から、既定の距離離れた位置にＣＧアバターを表示し、評価対象位置姿勢へ向かう軌跡を辿るようにＣＧアバターを動かす表示を行う。この場合、操作者がＣＧアバターを追いかけるように移動することで、評価対象位置姿勢からの撮像ができる。また、誘導情報として次の１組の位置及び姿勢に至るまでの変化の方向を示すオブジェクトを提示する場合、ステップＳ１０７での評価は、第１の実施形態で上述したような評価対象位置姿勢リストを用いた評価の他に、指示した移動経路との差が閾値未満であるかを評価し、閾値以上である場合には警告を出すといった誘導及び評価方法もある。

図９は、本発明の第１の実施形態の変形例３を示し、図１に示す誘導情報提示部１５０で提示する誘導情報を含む提示画像の他の一例を示す図である。
図５に示す提示画像Ｄ０１及びＤ０２では、撮像装置２１０で撮像された現実空間の画像に対して評価対象位置に誘導情報を描画して（即ち、画像の誘導情報を重畳表示して）提示を行うものであった。本発明のおいてはこの形態に限らず、例えば、図９に示す形態も適用可能である。具体的に、例えば、図９（ａ）に示すように、表示装置２２０の画面９１０の一部の領域に撮像装置２１０で撮像された現実空間の画像を表示し、画面９１０のその他の領域９１１に図７に示した誘導情報を表示する形態も、本発明に適用可能である。また、例えば、図９（ｂ）に示すように、表示装置２２０の画面９２０の一部の領域に撮像装置２１０で撮像された現実空間の画像を表示し、画面９２０のその他の領域９２１に図８に示した誘導情報を表示する形態も、本発明に適用可能である。即ち、この図９に示す形態では、撮像装置２１０で撮像された現実空間の画像とは異なる領域に誘導情報を表示して、表示位置に依存しない誘導情報の提示形態を示している。また、その他の変形例として、撮像装置２１０の現在の位置及び姿勢と評価対象位置姿勢とを俯瞰図や二面図乃至三面図として描画して、誘導情報の提示するようにしても良い。さらに、仮想視点画像Ｖ１０の重畳表示による誘導のように画面全体に二次元表示しても良い。

≪第１の実施形態の変形例４≫
続いて、上述した本発明の第１の実施形態の変形例４について説明する。
上述した本発明の第１の実施形態では、位置姿勢算出部１２０による撮像装置２１０の位置及び姿勢の算出処理において、非特許文献１に記載の方法を用いる場合について説明した。しかしながら、位置姿勢算出部１２０による位置及び姿勢の算出方法は、この形態に限定されるものではなく、撮像装置２１０の位置及び姿勢が算出できればいかなる方法でも良い。

例えば、位置姿勢算出部１２０による撮像装置２１０の位置及び姿勢の算出処理において、三次元地図を用いずに、前のフレームからの変化を、画像を用いて算出するＶｉｓｕａｌ Ｏｄｏｍｅｔｒｙと呼ばれる技術を用いて取得して当該算出処理を行っても良い。また、撮像装置２１０の位置及び姿勢の６自由度を取得できるセンサ、例えば非特許文献５に記載されている光学式の位置姿勢センサを用いて、撮像装置２１０の位置及び姿勢を取得しても良い。

また、上述した第１の実施形態と同様に三次元地図を用いて撮像装置２１０の位置及び姿勢を算出する場合においても、非特許文献１に記載の方法を用いる場合に限定されるものではない。その際、三次元地図保持部１６０で保持する三次元地図の情報、及び、ステップＳ１０６の処理に基づきなされる三次元地図の更新処理も、以下に説明する位置姿勢算出方法に合うものに変更される。

三次元地図の情報は、第１の実施形態で上述したようなキーフレームの集合として持つものと、単一座標系における三次元形状もしくは三次元幾何情報をもつグローバルマップと呼ばれるものとがある。この際、キーフレームの集合として三次元地図を持つ方法を採用する場合には、撮像装置２１０の位置及び姿勢の算出方法及び三次元地図の更新方法としては、上述した第１の実施形態で説明した方法の他に、例えば、非特許文献６に記載のＭｕｒ−Ａｒｔａｌらの方法のように、画像から特徴点を抽出して、三次元地図のもつキーフレームと特徴点との対応付けを行うことで位置及び姿勢を算出する方法がある。また、グローバルマップとして三次元地図を持つ方法を採用する場合には、撮像装置２１０の位置及び姿勢の算出方法は、例えば非特許文献４に記載のＫｌｅｉｎらの方法のように、特徴点群の三次元幾何情報を三次元地図として保持して、画像から検出した特徴点と対応付けることで位置及び姿勢を算出する方法がある。

また、撮像装置２１０からの入力画像が、距離画像もしくはＲＧＢＤ画像の場合またはステレオ画像のように距離が算出できる場合には、例えば非特許文献７に記載のＮｅｗｃｏｍｂｅらの方法のように、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｔ Ｐｏｉｎｔと呼ばれる手法を用いて撮像装置２１０の位置及び姿勢を算出しても良い。この場合、Ｔｒｕｎｃａｔｅｄ Ｓｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｕｎｃｔｉｏｎ（ＴＳＤＦ）と呼ばれるボクセル空間を表現する形で三次元モデルとして三次元地図を保持する。

以上説明したように、第１の実施形態（変形例１〜変形例４も含む）に係る情報処理装置１００−１では、撮像範囲設定部１３０は、撮像装置２１０で撮像し得る撮像範囲を設定するようにしている（図４のＳ１０２）。また、位置姿勢算出部１２０は、撮像装置２１０で撮像された画像を用いて撮像装置２１０の位置及び姿勢を算出するようにしている（図４のＳ１０６）。そして、評価部１４０は、位置姿勢算出部１２０で算出された位置及び姿勢に基づいて、撮像範囲設定部１３０で設定された撮像範囲における撮像状況を評価するようにしている（図４のＳ１０７）。そして、誘導情報提示部１５０は、評価部１４０による評価の結果に基づいて、撮像装置２１０の操作を誘導する誘導情報を提示するようにしている（図４のＳ１０８／ＮＯ，図４のＳ１０４）。
かかる構成によれば、撮像装置２１０で撮像し得る撮像範囲における撮像状況の評価結果に基づいて誘導情報を提示するようしたので、撮像装置２１０を操作する操作者が体験可能な範囲（撮像範囲）について網羅的に三次元地図を作成することができる。これにより、作成した三次元地図を用いて撮像装置２１０の位置及び姿勢を算出する場合に、その算出の精度及び安定性を向上させることが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図１０は、本発明の第２の実施形態に係る情報処理装置１００−２を含む画像処理システム１０−２の概略構成の一例を示す図である。図１０において、図１に示す構成と同様の構成については同じ符号を付しており、その詳細な説明は省略する。

画像処理システム１０−２は、図１０に示すように、情報処理装置１００−２、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）２００、及び、入力装置３００を有して構成されている。

情報処理装置１００−２は、撮像装置２１０及び表示装置２２０を含む頭部装着型表示装置２００を操作（本実施形態の例では、移動）する操作者に情報を提示する処理を行う装置である。この情報処理装置１００−２は、図１０に示すように、画像入力部１１０、位置姿勢算出部１２０、撮像範囲設定部１３０、評価部１４０、誘導情報提示部１５０、三次元地図保持部１６０、及び、三次元地図更新部１７０の各機能構成を有している。

図１０に示す情報処理装置１００−２において、図１に示す情報処理装置１００−１と異なる点は、評価部１４０が、位置姿勢算出部１２０と切断され、替わりに三次元地図保持部１６０と接続されている点である。即ち、第２の実施形態に係る情報処理装置１００−２では、評価部１４０は、三次元地図保持部１６０で保持する三次元地図を用いて、撮像範囲設定部１３０で設定された撮像範囲における撮像状況を評価する。

第２の実施形態に係る情報処理装置１００−２のハードウェア構成は、図２に示す情報処理装置１００のハードウェア構成と同様である。この場合に、図１０に示す情報処理装置１００−２の機能構成と、図２に示す情報処理装置１００のハードウェア構成との対応関係の一例について説明する。
例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、Ｉ／Ｆ１０５から、図１０に示す画像入力部１１０、撮像範囲設定部１３０、誘導情報提示部１５０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラムから、図１０に示す位置姿勢算出部１２０、評価部１４０、三次元地図更新部１７０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、記憶装置１０４から、図１０に示す三次元地図保持部１６０が構成される。

第２の実施形態に係る情報処理装置１００−２の制御方法における処理手順は、図４に示す第１の実施形態に係る情報処理装置１００−１の制御方法における処理手順と同様である。但し、図４のステップＳ１０７における撮像状況の評価処理の詳細な処理内容が、第１の実施形態に係る情報処理装置１００−１の制御方法とは異なる。

具体的に、第１の実施形態では、図４のステップＳ１０７において、評価部１４０は、ステップＳ１０６で算出された撮像装置２１０の位置及び姿勢に基づいて、ステップＳ１０２で設定された撮像範囲における撮像状況を評価していた。
これに対して、第２の実施形態では、図４のステップＳ１０７において、評価部１４０は、ステップＳ１０５で算出された撮像装置２１０の位置及び姿勢に基づき三次元地図更新部１７０により更新された三次元地図保持部１６０で保持する三次元地図に基づいて、ステップＳ１０２で設定された撮像範囲における撮像状況を評価する。この際、評価部１４０は、三次元地図保持部１６０が保持する三次元地図を構成するキーフレームの位置及び姿勢と、評価対象位置姿勢リストの位置及び姿勢とを比較し、位置及び姿勢の差が閾値未満であれば、評価対象位置姿勢リストの撮像済みフラグをＴｒｕｅに変更する。

≪第２の実施形態の変形例≫
続いて、上述した本発明の第２の実施形態の変形例について説明する。
上述した本発明の第２の実施形態では、評価部１４０は、三次元地図を構成するキーフレームの位置及び姿勢と、評価対象位置姿勢リストの位置及び姿勢との差に基づく評価を行ったが、三次元地図に基づく撮像状況の評価はこの形態に限定されるものではない。例えば、三次元地図の持つキーフレームを評価対象位置姿勢に投影した際に、既定の閾値以上の画像領域がキーフレームに取得されている場合には、その位置及び姿勢を撮像済みとしてその撮像済みフラグをＴｒｕｅにしても良い。

また、上述した第１の実施形態の変形例４で示したように、三次元地図としてグローバルマップを持つ場合には、グローバルマップを評価対象位置姿勢に投影した際に、既定の閾値以上の画像領域に地図情報が得られているものを撮像済みとしても良い。また、ＴＳＤＦ等のボクセル空間として三次元地図を持つ場合には、情報のないボクセルがあるか否かで評価を行っても良い。

以上説明したように、第２の実施形態（変形例も含む）に係る情報処理装置１００−２では、評価部１４０は、位置姿勢算出部１２０で算出された位置及び姿勢に基づき更新された三次元地図保持部１６０で保持する三次元地図を用いて、撮像範囲設定部１３０で設定された撮像範囲における撮像状況を評価するようにしている（図４のＳ１０７）。そして、誘導情報提示部１５０は、評価部１４０による評価の結果に基づいて、撮像装置２１０の操作を誘導する誘導情報を提示するようにしている（図４のＳ１０８／ＮＯ，図４のＳ１０４）。
かかる構成によれば、算出された位置及び姿勢に基づき更新された三次元地図を用いて撮像状況を評価するようにしたので、第１の実施形態の効果に加えて、三次元地図に直結したが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

上述した第１及び第２の実施形態では、図４のステップＳ１０３で作成した評価対象位置姿勢リストにおける評価対象位置姿勢に誘導すべく誘導情報を提示したが、評価対象位置姿勢の中には、周囲の環境によっては撮像画像に特徴（幾何特徴）があまり無く位置及び姿勢の算出処理が不安定となるものが含まれていることがある。そこで、第３の実施形態では、このような評価対象位置姿勢を検出して評価対象位置姿勢リストから除外する形態について説明する。

図１１は、本発明の第３の実施形態に係る情報処理装置１００−３を含む画像処理システム１０−３の概略構成の一例を示す図である。図１１において、図１に示す構成と同様の構成については同じ符号を付しており、その詳細な説明は省略する。

画像処理システム１０−３は、図１１に示すように、情報処理装置１００−３、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）２００、及び、入力装置３００を有して構成されている。

情報処理装置１００−３は、撮像装置２１０及び表示装置２２０を含む頭部装着型表示装置２００を操作（本実施形態の例では、移動）する操作者に情報を提示する処理を行う装置である。この情報処理装置１００−３は、図１１に示すように、画像入力部１１０、位置姿勢算出部１２０、撮像範囲設定部１３０、評価部１４０、誘導情報提示部１５０、三次元地図保持部１６０、及び、三次元地図更新部１７０の各機能構成を有している。

図１１に示す情報処理装置１００−３において、図１に示す情報処理装置１００−１と異なる点は、評価部１４０が、位置姿勢算出部１２０と接続されていることに加えて、三次元地図保持部１６０とも接続されている点である。即ち、第３の実施形態に係る情報処理装置１００−３では、評価部１４０は、第１の実施形態における処理に加えて、三次元地図保持部１６０で保持する三次元地図に基づき評価対象位置姿勢の評価を行う。

第３の実施形態に係る情報処理装置１００−３のハードウェア構成は、図２に示す情報処理装置１００のハードウェア構成と同様である。この場合に、図１１に示す情報処理装置１００−３の機能構成と、図２に示す情報処理装置１００のハードウェア構成との対応関係の一例について説明する。
例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、Ｉ／Ｆ１０５から、図１１に示す画像入力部１１０、撮像範囲設定部１３０、誘導情報提示部１５０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラムから、図１１に示す位置姿勢算出部１２０、評価部１４０、三次元地図更新部１７０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、記憶装置１０４から、図１１に示す三次元地図保持部１６０が構成される。

次に、図１１に示す情報処理装置１００−３の制御方法における処理手順を説明する。
図１２は、本発明の第３の実施形態に係る情報処理装置１００−３の制御方法における処理手順の一例を示すフローチャートである。図１２において、図４に示す第１の実施形態に係る情報処理装置１００−１の制御方法における処理ステップと同様の処理ステップについては、同じステップ番号を付しており、その詳細な説明は省略する。

まず、第３の実施形態に係る情報処理装置１００−３の制御方法における処理手順では、図４に示すステップＳ１０１〜ステップＳ１０６の処理を行う。

続いて、図１２のステップＳ２０１において、評価部１４０は、三次元地図保持部１６０で保持する三次元地図に基づいて、現在の評価対象位置姿勢リストにおける評価対象位置姿勢の評価を行う。

続いて、ステップＳ２０２において、評価部１４０は、ステップＳ２０１の評価の結果に基づいて、評価対象位置姿勢リストを変更する処理を行う。例えば、評価部１４０は、ステップＳ２０１の評価の結果、誘導すべきでないと評価した評価対象位置姿勢における撮像済みフラグをＴｒｕｅに変更し、誘導情報として提示する対象から除外する。ここでは、撮像済みフラグを変更して除外する例を説明したが、本実施形態においてはこの態様に限定されるものではない。例えば、評価対象位置姿勢リストにこの専用のフラグを持たせるようにしても良いし、また、撮像済みフラグがＴｒｕｅとＦａｌｓｅの２値だけでなく、撮像済み、未撮像、誘導除外といった３値として除外するようにしても良い。

ここで、図１２のステップＳ２０２における詳細な処理手順について説明する。
図１３は、図１２のステップＳ２０２における詳細な処理手順の一例を示すフローチャートである。

まず、図１３のステップＳ３０１において、評価部１４０は、評価対象位置姿勢リストの或る１組の位置及び姿勢に対して、三次元地図が保持するキーフレームから、最も位置及び姿勢が近いキーフレーム（最近傍キーフレーム）を探索する。

続いて、ステップＳ３０２において、評価部１４０は、ステップＳ３０１で探索したキーフレーム（最近傍キーフレーム）を評価対象位置姿勢に投影する。

続いて、ステップＳ３０３において、評価部１４０は、ステップＳ３０２でキーフレームを投影した際の投影面積（画像面積）を算出する。

続いて、ステップＳ３０４において、評価部１４０は、ステップＳ３０３で算出した投影面積が閾値以上であるか否かを判断する。この判断の結果、投影面積が閾値以上でない（投影面積が閾値未満である）場合には（Ｓ３０４／ＮＯ）、近くにキーフレームが無く、現時点では特徴（幾何特徴）が十分であるか否かの判定ができないため、図１３に示すフローチャートの処理を終了する。

一方、ステップＳ３０４の判断の結果、投影面積が閾値以上である場合には（Ｓ３０４／ＹＥＳ）、ステップＳ３０５に進む。
ステップＳ３０５に進むと、評価部１４０は、ステップＳ３０２で投影したキーフレームのもつ特徴（幾何特徴）のうち、画像上にある特徴（幾何特徴）の数をカウントする。

続いて、ステップＳ３０６において、評価部１４０は、ステップＳ３０５でカウントした特徴の数が閾値以上であるか否かを判断する。この判断の結果、ステップＳ３０５でカウントした特徴の数が閾値以上である場合には（Ｓ３０６／ＹＥＳ）、その領域に特徴（幾何特徴）が十分あると判断し、図１３に示すフローチャートの処理を終了する。

一方、ステップＳ３０６の判断の結果、ステップＳ３０５でカウントした特徴の数が閾値以上でない（特徴の数が閾値未満である）場合には（Ｓ３０６／ＮＯ）、その領域に特徴（幾何特徴）が不足していると判断し、ステップＳ３０７に進む。
ステップＳ３０７に進むと、評価部１４０は、評価対象位置姿勢リストの当該１組の位置及び姿勢における撮像済みフラグをＴｒｕｅに変更する。ステップＳ３０７の処理が終了すると、図１３に示すフローチャートの処理を終了する。

なお、評価対象位置姿勢リストに複数の評価対象位置姿勢がある場合には、それぞれの評価対象位置姿勢ごとに、図１３に示すフローチャートの処理が実施され得る。

≪第３の実施形態の変形例≫
上述した本発明の第３の実施形態では、特徴（幾何特徴）が不足している領域への誘導情報の提示を避ける形態を示したが、本発明においてはこの形態に限定されるものではない。例えば、第３の実施形態の変形例として、操作者が物理的に行けない（即ち、撮像装置２１０を物理的に配置できない）と判断される領域への誘導情報の提示を避ける形態も、本発明に適用可能である。

例えば、上述した第１の実施形態の変形例４で示したグローバルマップとして三次元地図を保持する方法のうち、三次元モデルを地図とする方式では、モデルが面を保持することができるため、物理的に評価位置姿勢に行けるか否かを判断することができる。この場合、例えば、評価部１４０は、モデルに包含される位置や、撮像装置２１０を操作する操作者が評価位置姿勢に移動する際の経路において衝突判定を行い、衝突が起こるような位置では移動が困難であると判断し、評価位置姿勢から除外する。

以上説明したように、第３の実施形態（変形例も含む）に係る情報処理装置１００−３では、評価部１４０は、三次元地図保持部１６０で保持する三次元地図を用いて評価対象位置姿勢を評価し（図１２のＳ２０１）、この評価結果に基づいて評価対象位置姿勢リストを変更するようにしている（図１２のＳ２０２）。具体的に、評価部１４０は、誘導すべきでないと評価した評価対象位置姿勢を誘導情報として提示する対象から除外するようにしている。
かかる構成によれば、誘導すべきでないと評価した評価対象位置姿勢を誘導情報として提示する対象から除外するようにしたので、第１の実施形態の効果に加えて、撮像装置２１０の位置及び姿勢の算出処理が不安定となる領域への誘導を回避することができる。

なお、上述した第３の実施形態（変形例も含む）では、上述した第１の実施形態を基準とし、その異なる点について説明したが、本発明においてはこれに限定されるものではない。例えば、上述した第２の実施形態を基準とし、その異なる点について上述した第３の実施形態（変形例も含む）を適用する形態も、本発明に適用可能である。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

上述した第３の実施形態では、設定した撮像範囲の範囲内であっても、特徴（幾何特徴）が不足している等して位置及び姿勢の算出処理が不安定になる領域への誘導を回避するものであった。第４の実施形態は、そのような場合に、特徴（幾何特徴）を追加すべき領域として操作者に提示することで、設定した撮像範囲の範囲内において安定した位置及び姿勢の算出処理を可能にする周囲環境の構築の補助を目的とした形態である。

図１４は、本発明の第４の実施形態に係る情報処理装置１００−４を含む画像処理システム１０−４の概略構成の一例を示す図である。図１４において、図１に示す構成と同様の構成については同じ符号を付しており、その詳細な説明は省略する。

画像処理システム１０−４は、図１４に示すように、情報処理装置１００−４、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）２００、及び、入力装置３００を有して構成されている。

情報処理装置１００−４は、撮像装置２１０及び表示装置２２０を含む頭部装着型表示装置２００を操作（本実施形態の例では、移動）する操作者に情報を提示する処理を行う装置である。この情報処理装置１００−４は、図１４に示すように、画像入力部１１０、位置姿勢算出部１２０、撮像範囲設定部１３０、評価部１４０、誘導情報提示部１５０、三次元地図保持部１６０、三次元地図更新部１７０、及び、特徴追加領域提示部１８０の各機能構成を有している。図１４に示す情報処理装置１００−４において、図１に示す情報処理装置１００−１と異なる点は、特徴追加領域提示部１８０が追加されている点である。

特徴追加領域提示部１８０は、画像入力部１１０から入力された画像（撮像画像）を用いて、特徴（幾何特徴）が不足しているために位置及び姿勢の算出処理が不安定になる領域を判定し、当該不安定になる領域を特徴追加領域として表示装置２２０に提示する。

第４の実施形態に係る情報処理装置１００−４のハードウェア構成は、図２に示す情報処理装置１００のハードウェア構成と同様である。この場合に、図１４に示す情報処理装置１００−４の機能構成と、図２に示す情報処理装置１００のハードウェア構成との対応関係の一例について説明する。
例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、Ｉ／Ｆ１０５から、図１４に示す画像入力部１１０、撮像範囲設定部１３０、誘導情報提示部１５０、特徴追加領域提示部１８０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラムから、図１４に示す位置姿勢算出部１２０、評価部１４０、三次元地図更新部１７０が構成される。また、例えば、図２に示すＣＰＵ１０１及びＲＯＭ１０２に記憶されているプログラム、並びに、記憶装置１０４から、図１４に示す三次元地図保持部１６０が構成される。

次に、図１４に示す情報処理装置１００−４の制御方法における処理手順を説明する。
図１５は、本発明の第４の実施形態に係る情報処理装置１００−４の制御方法における処理手順の一例を示すフローチャートである。図１５において、図４に示す第１の実施形態に係る情報処理装置１００−１の制御方法における処理ステップと同様の処理ステップについては、同じステップ番号を付しており、その詳細な説明は省略する。

第４の実施形態に係る情報処理装置１００−４の制御方法における処理手順では、図１５に示すように、図４に示すステップＳ１０１〜ステップＳ１０８の処理を行う。この際、第４の実施形態に係る情報処理装置１００−４の制御方法における処理手順では、ステップＳ１０５の処理からステップＳ１０８の処理までの間に、図１５に示すステップＳ４０１〜ステップＳ４０３の処理を行う。なお、このステップＳ４０１〜ステップＳ４０３の処理は、ステップＳ１０６〜ステップＳ１０７の処理と並列に行われても良いし、また、これらの処理の途中で行っても良い。図１５に示す例は、並列で行う場合を示している。

図１５のステップＳ１０５において画像入力部１１０から撮像装置２１０で撮像された画像が入力されると、ステップＳ４０１において、特徴追加領域提示部１８０は、当該画像から撮像装置２１０の位置及び姿勢の算出処理に用いる特徴（幾何特徴）を抽出する。

続いて、ステップＳ４０２において、特徴追加領域提示部１８０は、ステップＳ１０５で入力された画像（撮像画像）から、特徴追加領域の探索処理を行う。

図１６は、図１５のステップＳ４０２及びＳ４０３の処理を説明するための図である。
具体的に、ステップＳ４０２において、特徴追加領域提示部１８０は、図１６（ａ）に示す撮像画像１６１０を複数の領域１６１１に分割し、分割領域１６１１ごとにステップＳ４０１で抽出した特徴（幾何特徴）の数が閾値以上であるかを判断する。そして、特徴（幾何特徴）の数が閾値未満であると判断した分割領域１６１１を特徴追加領域と判定する。

ここで、再び、図１５の説明に戻る。
ステップＳ４０２の処理が終了すると、ステップＳ４０３に進む。
ステップＳ４０３に進むと、特徴追加領域提示部１８０は、ステップＳ４０２の探索により得られた特徴追加領域を表示装置２２０に提示する。

具体的に、ステップＳ４０３において、特徴追加領域提示部１８０は、図１６（ｂ）に示すように、図１６（ａ）に示す撮像画像１６１０に対して特徴追加領域１６２１及び１６２２を明示した提示画像１６２０を表示装置２２０に提示する。なお、図１６（ｂ）では、撮像画像１６１０に対して特徴追加領域１６２１及び１６２２のみを明示した提示画像１６２０を提示する例を示したが、本実施形態はこの態様に限定されるものではない。例えば、特徴追加領域提示部１８０と誘導情報提示部１５０とで協業して、撮像画像に対して特徴追加領域及び誘導情報を明示した提示画像を提示する態様も、本実施形態に適用可能である。

≪第４の実施形態の変形例≫
続いて、上述した本発明の第４の実施形態の変形例について説明する。
上述した本発明の第４の実施形態では、撮像画像の分割領域ごとに特徴（幾何特徴）の数に基づく特徴追加領域の判定処理を行ったが、本発明においてはこの形態に限定されるものではなく、特徴を追加すべき領域が判定できれば如何なる方法を用いても良い。例えば、特許文献２に記載の方法のように、特徴の分布が均一になるように特徴追加領域を決定しても良いし、分布が広がるように特徴追加領域を決定しても良い。また、特徴追加領域の提示方法も、図１６（ｂ）に示す特徴追加領域１６２１及び１６２２のように矩形領域で表示することに限定されるものではなく、特徴追加領域が分かれば、例えば、その特徴追加領域の中心に星形やピン等の図形を表示しても良い。

以上説明したように、第４の実施形態（変形例も含む）に係る情報処理装置１００−４では、特徴追加領域提示部１８０は、特徴（幾何特徴）が不足しているために位置及び姿勢の算出処理が不安定になる領域を判定し、当該不安定になる領域を特徴追加領域として表示装置２２０に提示するようにしている（図１５のＳ４０１〜Ｓ４０３）。
かかる構成によれば、特徴（幾何特徴）が不足している領域を提示するようにしたので、第１の実施形態の効果に加えて、操作者に撮像装置２１０の位置及び姿勢の算出処理が不安定になる領域を知らせることができる。これにより、例えば操作者が提示された特徴追加領域に特徴（幾何特徴）を追加する作業を行うことで、当該領域における撮像装置２１０の位置及び姿勢の算出の精度及び安定性を向上させることが可能となる。

なお、上述した第４の実施形態（変形例も含む）では、上述した第１の実施形態を基準とし、その異なる点について説明したが、本発明においてはこれに限定されるものではない。例えば、上述した第２の実施形態または第３の実施形態を基準とし、その異なる点について上述した第４の実施形態（変形例も含む）を適用する形態も、本発明に適用可能である。

（その他の実施形態）
本発明に係る撮像装置２１０は、現実空間の画像を撮像する撮像装置であれば如何なる撮像装置であっても適用可能である。例えば、撮像装置２１０は、濃淡画像を撮像するカメラでも良いし、カラー画像を撮像するカメラでも良いし、距離画像を撮像するデプスカメラでも良いし、カラー画像と距離画像とを同時に撮像するＲＧＢＤカメラでも良い。また、撮像装置２１０は、１台であっても良いし、ステレオカメラ等の複数台のカメラによって構成されても良い。

本発明に係る位置姿勢算出部１２０は、撮像装置２１０の位置及び姿勢を算出するものであれば如何なるものも適用可能である。例えば、位置姿勢算出部１２０は、三次元地図に基づいて輝度値の勾配が大きい点を特徴点として撮像装置２１０の位置及び姿勢を算出しても良いし、特徴点を明示的に検出して三次元地図と対応付けることで撮像装置２１０の位置及び姿勢を算出しても良い。さらに、位置姿勢算出部１２０は、撮像装置２１０の位置及び姿勢を取得できる磁気センサ等から値を取得しても良い。

本発明に係る評価部１４０は、撮像範囲設定部１３０で設定された撮像範囲の範囲内における撮像状況を評価するものであれば如何なるものも適用可能である。例えば、評価部１４０は、離散的な評価対象位置姿勢のリストを作成し、位置姿勢算出部１２０が算出した位置及び姿勢との差が閾値以下となることで撮像完了と判断し、当該リストの全ての評価対象位置姿勢が撮像完了となったかを評価しても良い。また、例えば、評価部１４０は、三次元地図のもつキーフレームの位置及び姿勢との差で評価を行っても良い。

本発明に係る誘導情報提示部１５０は、評価対象位置姿勢を操作者に提示するものであれば如何なるものも適用可能である。例えば、誘導情報提示部１５０は、離散的な評価対象位置姿勢を示すオブジェクトを仮想空間に表示しても良いし、矢印のオブジェクト等で評価対象位置姿勢に至るまでの変化（移動）の方向を表示しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０：画像処理システム、１００：情報処理装置、１１０：画像入力部、１２０：位置姿勢算出部、１３０：撮像範囲設定部、１４０：評価部、１５０：誘導情報提示部、１６０：三次元地図保持部、１７０：三次元地図更新部、２００：頭部装着型表示装置（ＨＭＤ）、２１０：撮像装置、２２０：表示装置、３００：入力装置

Claims (17)

1. 撮像装置を操作する操作者に情報を提示する情報処理装置であって、
   前記撮像装置で撮像し得る撮像範囲を設定する設定手段と、
   前記撮像装置で撮像された画像を用いて前記撮像装置の位置および姿勢を算出する算出手段と、
   前記算出手段で算出された位置および姿勢に基づいて、前記撮像範囲における撮像状況を評価する評価手段と、
   前記評価手段による評価に基づいて、前記撮像装置の操作を誘導する誘導情報を提示する情報提示手段と、
   を有することを特徴とする情報処理装置。
2. 前記評価手段は、前記設定手段で設定された前記撮像範囲に基づいて評価対象とする前記撮像装置の位置および姿勢を決定し、前記評価対象とする位置および姿勢と前記算出手段で算出された位置および姿勢とに基づいて、前記撮像状況を評価することを特徴とする請求項１に記載の情報処理装置。
3. 前記情報提示手段は、前記評価手段で決定された前記評価対象とする位置および姿勢のうち、少なくとも１組の位置および姿勢を示すオブジェクトを前記誘導情報として提示することを特徴とする請求項２に記載の情報処理装置。
4. 前記情報提示手段は、前記撮像装置が、前記評価手段で決定された前記評価対象とする１組の位置および姿勢に至るまでの変化の方向を示すオブジェクトを前記誘導情報として提示することを特徴とする請求項２に記載の情報処理装置。
5. 前記撮像範囲の幾何特徴に係る三次元地図を保持する保持手段を更に有し、
   前記算出手段は、前記撮像装置で撮像された画像と前記保持手段で保持する三次元地図とを用いて、前記撮像装置の位置および姿勢を算出することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記撮像装置で撮像された画像と前記算出手段で算出された位置および姿勢とに基づいて、前記保持手段で保持する三次元地図を更新する更新手段を更に有し、
   前記評価手段は、前記保持手段で保持する三次元地図を用いて、前記撮像状況を評価することを特徴とする請求項５に記載の情報処理装置。
7. 前記評価手段は、前記設定手段で設定された前記撮像範囲に基づいて評価対象とする前記撮像装置の位置および姿勢を決定するとともに、前記保持手段で保持する三次元地図を用いて当該決定した前記評価対象とする位置および姿勢を変更し、当該変更した前記評価対象とする位置および姿勢と前記算出手段で算出された位置および姿勢とに基づいて、前記撮像状況を評価することを特徴とする請求項５または６に記載の情報処理装置。
8. 前記評価手段は、前記変更において、前記決定した前記評価対象とする位置および姿勢のうち、前記撮像装置を物理的に配置できない位置および姿勢を除外することを特徴とする請求項７に記載の情報処理装置。
9. 前記評価手段は、前記変更において、前記決定した前記評価対象とする位置および姿勢のうち、前記幾何特徴の数が閾値未満となる領域の位置および姿勢を除外することを特徴とする請求項７または８に記載の情報処理装置。
10. 前記評価手段は、前記評価対象とする位置および姿勢と前記算出手段で算出された位置および姿勢との差が閾値以下であるか否かに応じて、前記撮像状況を評価することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
11. 前記情報提示手段は、前記操作者が視認する表示装置に前記誘導情報を表示して前記提示を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記情報提示手段は、前記表示装置に表示される前記画像に前記誘導情報を重畳表示することを特徴とする請求項１１に記載の情報処理装置。
13. 前記情報提示手段は、前記表示装置に表示される前記画像とは異なる領域に前記誘導情報を表示することを特徴とする請求項１１に記載の情報処理装置。
14. 前記情報提示手段は、前記撮像範囲に基づき決定される評価対象とする前記撮像装置の位置および姿勢のうち、前記撮像装置で撮像が行われた位置および姿勢の割合を示す進捗率情報を、前記表示装置に更に表示することを特徴とする請求項１１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記撮像装置で撮像された画像の各領域のうち、幾何特徴の数が閾値未満となる領域を提示する領域提示手段を更に有することを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 撮像装置を操作する操作者に情報を提示する情報処理装置の制御方法であって、
    前記撮像装置で撮像し得る撮像範囲を設定する設定ステップと、
    前記撮像装置で撮像された画像を用いて前記撮像装置の位置および姿勢を算出する算出ステップと、
    前記算出ステップで算出された位置および姿勢に基づいて、前記撮像範囲における撮像状況を評価する評価ステップと、
    前記評価ステップによる評価に基づいて、前記撮像装置の操作を誘導する誘導情報を提示する情報提示ステップと、
    を有することを特徴とする情報処理装置の制御方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。