JP2016045874A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ロバスト性の高い自己位置推定が可能な情報処理装置を提供する。【解決手段】情報処理装置は、トラッキング部と、領域推定部と、推定処理部とを具備する。上記トラッキング部は、回転運動を伴った移動を行う移動体に設けられた撮像部によって撮像された画像を取得し、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、に含まれる特徴点の対応付けを行う。上記領域推定部は、上記移動に関する情報を取得し、上記情報に基づいて、上記移動の前後で、上記移動体から見た上記特徴点の二次元的な位置の変化が小さい領域を推定する。上記推定処理部は、上記トラッキング部によって対応付けられ、かつ、上記領域内にある上記特徴点を用いて、上記移動体の自己位置推定を行う。【選択図】図７

Description

本技術は、移動体の自己位置推定を行う情報処理装置、情報処理方法、及びプログラムに関する。

近年、ヘッドマウントディスプレイは、例えば、製造、医療、ゲーム、日常生活など、ますます多くの分野への応用が期待されてきている。ヘッドマウントディスプレイを利用した技術として、例えば、現実世界に仮想情報を重畳表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（拡張現実））技術や、ユーザの動きに合わせて表示情報を変化させるＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ（仮想現実））技術などが知られている。

上記のＡＲ技術やＶＲ技術には、ユーザの位置や姿勢を推定する自己位置推定技術が用いられる。自己位置推定技術として、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）が知られている。ＳＬＡＭは、自己位置推定と環境地図の作成とを同時に行う技術である。ＳＬＡＭにより自己位置推定を行う技術が特許文献１〜３に開示されている。ＳＬＡＭによれば、例えば、移動体から時系列で撮像された画像を用いて特徴点のトラッキングを行うことにより、移動体の自己位置を推定することができる。

特開２０１０−２８８１１２号公報 特開２０１０−１４５２１９号公報 特開２０１２−２４８０３２号公報

上記のような自己位置推定では、ユーザが、例えば、振り向き動作や首振り動作などの、予測困難で、かつ、カメラの向きが急激に変化する動作を行う場合に、特徴点のトラッキングが困難になる。この場合、自己位置推定の精度が低下してしまう。したがって、カメラの向きが急激に変化する場合にも、特徴点のトラッキングを良好に行うことができる、ロバスト性の高い自己位置推定技術が求められる。

以上のような事情に鑑み、本技術の目的は、ロバスト性の高い自己位置推定が可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、トラッキング部と、領域推定部と、推定処理部とを具備する。
上記トラッキング部は、回転運動を伴った移動を行う移動体に設けられた撮像部によって撮像された画像を取得し、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、に含まれる特徴点の対応付けを行う。
上記領域推定部は、上記移動に関する情報を取得し、上記情報に基づいて、上記移動の前後で、上記移動体から見た上記特徴点の二次元的な位置の変化が小さい領域を推定する。
上記推定処理部は、上記トラッキング部によって対応付けられ、かつ、上記領域内にある上記特徴点を用いて、上記移動体の自己位置推定を行う。

この構成では、領域推定部が、移動体の移動の前後で、移動体から見た特徴点の二次元的な位置の変化が小さい領域を推定する。領域推定部によって推定された領域では、撮像部の向きが急激に変化する場合にも、特徴点の位置が急激に移動しない可能性が高い。推定処理部は、領域推定部によって推定された領域内にある特徴点を用いることにより、ロバスト性の高い自己位置推定を行うことが可能となる。

上記領域推定部は、上記回転運動の回転軸を算出し、上記回転軸を用いて上記領域を推定してもよい。
この構成では、領域推定部は、移動体の回転運動の回転軸に近い領域ほど、移動体の移動の前後で、移動体から見た特徴点の二次元的な位置の変化が小さいものと推定する。領域推定部は、回転軸を用いることにより、高精度で領域の推定を行うことが可能となる。

上記撮像部は、相互に平行でない光軸を有する複数のカメラ機構を含んでもよい。
上記領域推定部は、上記複数のカメラ機構のうち、上記回転軸との間に成す角度が小さい上記光軸を有するカメラ機構を選択してもよい。
上記推定処理部は、上記領域推定部によって選択された上記カメラ機構によって撮像された上記画像に含まれる上記特徴点を用いて、上記移動体の自己位置推定を行ってもよい。
この構成では、複数のカメラ機構のうち、移動体の回転軸との間に成す角度が小さい光軸を有するカメラ機構によって撮像される領域が、移動体の移動の前後で、移動体から見た特徴点の二次元的な位置の変化が小さい領域と推定される。推定処理部は、領域推定部によって選択されたカメラ機構によって撮像された画像に含まれる特徴点を用いることにより、ロバスト性の高い自己位置推定を行うことが可能となる。

上記情報処理装置は、上記トラッキング部によって対応付けられた上記特徴点のうち、上記領域推定部によって選択された上記カメラ機構によって撮像された上記画像に含まれる上記特徴点を抽出するデータ生成部を更に具備してもよい。
上記推定処理部は、上記データ生成部によって抽出された上記特徴点を用いて、上記移動体の自己位置推定を行ってもよい。
この構成では、データ生成部が、トラッキング部によって対応付けられた特徴点から、領域推定部によって選択されたカメラ機構によって撮像された画像に含まれる特徴点を抽出する。推定処理部は、データ生成部によって抽出された特徴点を用いることにより、ロバスト性の高い自己位置推定を行うことが可能となる。

上記トラッキング部は、上記領域推定部によって選択された上記カメラ機構によって撮像された上記画像に含まれる上記特徴点の対応付けを行ってもよい。
この構成では、トラッキング部が、領域推定部によって選択されたカメラ機構によって撮像された画像に含まれる特徴点の対応付けを行う。推定処理部は、トラッキング部によって対応付けられた特徴点を用いることにより、ロバスト性の高い自己位置推定を行うことが可能となる。

上記領域推定部は、上記回転軸が上記領域を通るように、上記領域を推定してもよい。
この構成では、移動体の回転運動の回転軸が通る領域を、移動体の移動の前後で、移動体から見た特徴点の二次元的な位置の変化が小さいものと推定する。これにより、領域推定部による領域の推定の精度が向上する。

上記撮像部の視野角が９０°以上であってもよい。
この構成では、撮像部として広視野角のカメラ（広角カメラ、魚眼カメラ、全天周カメラなど）を用いることにより、撮像部によってよって撮像される画像に、移動体の回転軸が通る領域が含まれやすくなる。

上記情報処理装置は、上記画像の処理領域を上記領域内に限定するデータ生成部を更に具備してもよい。
上記推定処理部は、上記処理領域に含まれる上記特徴点を用いて、上記移動体の自己位置推定を行ってもよい。
この構成では、データ生成部が、撮像部によって撮像された画像の処理領域を、移動体の移動の前後で、移動体から見た特徴点の二次元的な位置の変化が小さいと推測される領域内に限定する。推定処理部は、処理領域に含まれる特徴点を用いて自己位置推定を行う。これにより、推定処理部は、撮像部によって撮像された画像全体に含まれる特徴点を用いるよりも、効率的に自己位置推定を行うことができる。

上記データ生成部は、上記トラッキング部によって対応付けられた上記特徴点のうち、上記処理領域に含まれる上記特徴点を抽出てもよい。
上記推定処理部は、上記データ生成部によって抽出された上記特徴点を用いて、上記移動体の自己位置推定を行ってもよい。
この構成では、データ生成部が、トラッキング部によって対応付けられた特徴点から、処理領域に含まれる特徴点を抽出する。推定処理部は、データ生成部によって抽出された特徴点を用いることにより、効率的に自己位置推定を行うことができる。

上記トラッキング部は、上記処理領域に含まれる上記特徴点の対応付けを行ってもよい。
この構成では、トラッキング部が、処理領域に含まれる特徴点の対応付けを行う。推定処理部は、トラッキング部によって対応付けられた特徴点を用いることにより、効率的に自己位置推定を行うことができる。

上記領域推定部は、上記回転運動の角速度が大きい場合に、上記処理領域を大きくしてもよい。
上記領域推定部は、上記移動が並進運動を伴う場合に、上記処理領域を大きくしてもよい。
これらの構成では、移動体の移動前後で、移動体から見た特徴点の二次元的な位置の変化が比較的大きいと予想される場合に、処理領域を大きくする。これにより、移動体の移動の前後で、移動体から見た二次元的な位置の変化が小さい特徴点が処理領域から外れることを抑制することができる。これにより、自己位置推定のために十分な数の特徴点を確保することができる。

上記トラッキング部は、対応付けた上記特徴点ごとに、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、における上記特徴点の一致度合いを示すトラッキングスコアを設定してもよい。
上記推定処理部は、上記トラッキングスコアが高い上記特徴点を用いて、上記移動体の自己位置推定を行ってもよい。
この構成では、トラッキング部が、対応付けた特徴点ごとに、移動体の移動前後に撮像された画像における特徴点の一致度合いを示すトラッキングスコアを設定する。つまり、特徴点の一致度合いが高い特徴点ほどトラッキングスコアが高く、特徴点の一致度合いが低い特徴点ほどトラッキングスコアが低い。推定処理部は、トラッキングスコアが高い特徴点を用いることにより、高精度な自己位置推定が可能となる。

上記トラッキング部は、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、のうち少なくとも一方の中央領域にある上記特徴点の上記トラッキングスコアを高く設定してもよい。
この構成では、移動体の移動前後に撮像された画像のうち、一方の画像の中央領域にある特徴点が、他方の画像にも含まれている可能性が高く、移動体の移動前後に撮像された画像における一致度合いが高いものと推定される。このため、移動体の移動前後に撮像された画像のうち少なくとも一方の中央領域にある特徴点のトラッキングスコアを高くする。推定処理部は、トラッキングスコアが高い特徴点を用いることにより、高精度な自己位置推定が可能となる。

上記情報は、ジャイロセンサ、地磁気センサ、加速度センサ、音源方向推定装置、及びＷｉ−Ｆｉのうちの少なくとも１つを用いて生成されてもよい。
この構成では、移動体の移動に関する情報を得るための具体的手段が提供される。

上記情報処理装置は、上記情報により上記移動体のモニタリングを行うモニタリング部を更に具備してもよい。
上記推定処理部は、上記自己位置推定とは独立して、上記モニタリング部による上記モニタリングの結果に基づいて、上記移動体の自己位置推定を行ってもよい。
この構成では、撮像部によって撮像された画像に含まれる特徴点を用いた自己位置推定とは独立して、モニタリング部によるモニタリングの結果を用いた自己位置推定を行う。このように２通りの方法で自己位置推定を行うことにより、自己位置推定の精度の向上を図ることができる。更に、２通りの方法のうち、一方による自己位置推定が困難である場合にも、他方による自己位置推定が可能であるため、より確実に自己位置推定の結果が得られる。

上記モニタリング部は、上記移動体の運動モデルを推定してもよい。
上記推定処理部は、上記モニタリング部によって推定された上記運動モデルを用いて、上記移動体の自己位置推定を行ってもよい。
この構成では、モニタリング部によって推定された移動体の運動モデルを用いることにより、推定処理部による効率的な自己位置推定が可能となる。

上記情報処理装置は、上記撮像部と、上記情報を生成可能な検出部と、が設けられ、上記移動体としてのユーザの頭部に装着可能に構成されるヘッドマウントディスプレイを更に具備してもよい。
この構成により、ロバスト性の高い自己位置推定が可能なヘッドマウントディスプレイ装置を提供することができる。

本技術の一形態に係る情報処理方法では、回転運動を伴った移動を行う移動体に設けられた撮像部によって画像が撮像される。
上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、に含まれる特徴点の対応付けが行われる。
上記移動に関する情報が生成される。
上記情報に基づいて、上記移動の前後で、上記移動体から見た上記特徴点の二次元的な位置の変化が小さい領域が推定される。
対応付けられ、かつ、上記領域内にある上記特徴点を用いて、上記移動体の自己位置推定が行われる。

本技術の一形態に係るプログラムは、情報処理装置に、回転運動を伴った移動を行う移動体に設けられた撮像部によって撮像された画像を取得し、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、に含まれる特徴点の対応付けを行うステップを行わせる。
上記プログラムは、情報処理装置に、上記移動に関する情報を取得し、上記情報に基づいて、上記移動の前後で、上記移動体から見た上記特徴点の二次元的な位置の変化が小さい領域を推定するステップを行わせる。
上記プログラムは、情報処理装置に、対応付けられ、かつ、上記領域内にある上記特徴点を用いて、上記移動体の自己位置推定を行うステップを行わせる。

以上のように、本技術によれば、ロバスト性の高い自己位置推定が可能な情報処理装置、情報処理方法、及びプログラムを提供することができる。

本技術の第１の実施形態に係る情報処理システムの概略構成図である。 上記情報処理システムの各機器の構成を示すブロック図である。 上記情報処理システムの自己位置推定部の構成を示すブロック図である。 移動体の一例を示す図である。 上記自己位置推定部のトラッキング部の動作を説明するための図である。 上記自己位置推定部の領域推定部の動作を説明するための図である。 上記自己位置推定部の領域推定部の動作を説明するための図である。 上記自己位置推定部による処理の流れを示すフローチャートである。 上記自己位置推定部の変形例による処理の流れを示すフローチャートである。 本技術の第２の実施形態に係る情報処理システムにおけるヘッドマウントディスプレイを示す図である。 上記情報処理システムのトラッキング部及び領域推定部の動作を説明するための図である。 上記自己位置推定部による処理の流れを示すフローチャートである。 上記自己位置推定部の変形例による処理の流れを示すフローチャートである。 本技術の第３の実施形態に係る情報処理システムの自己位置推定部の構成を示すブロック図である。 上記自己位置推定部のモニタリング部による処理の流れを示すフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
図面には、適宜相互に直交するＸ軸、Ｙ軸、及びＺ軸が示されている。

＜第１の実施形態＞
［情報処理システム１００の全体構成］
図１は、本技術の第１の実施形態に係る情報処理システム１００の概略構成図である。

情報処理システム１００は、携帯端末３０と、ヘッドマウントディスプレイ７０と、コントロールボックス５０とを具備する。情報処理システム１００には、クラウドシステム１０が含まれていてもよい。

携帯端末３０は、典型的にはスマートフォンなどの携帯型情報処理装置として構成される。携帯端末３０は、タブレット機器、その他ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）として構成されてもよい。携帯端末３０は、クラウドシステム１０に通信接続されている。

ヘッドマウントディスプレイ７０は、移動体Ｍであるユーザの頭部に装着可能な装着部として構成される。ヘッドマウントディスプレイ７０は撮像部７２を有し、撮像部７２はヘッドマウントディスプレイ７０を装着したユーザの周囲の画像を撮像する。

コントロールボックス５０は、ヘッドマウントディスプレイ７０を制御するための制御部として構成される。ヘッドマウントディスプレイ７０を装着したユーザは、コントロールボックス５０を介して、ヘッドマウントディスプレイ７０を操作することができる。コントロールボックス５０は、携帯端末３０に通信接続されている。

クラウドシステム１０は、例えば、インターネット等の電気通信回線網をベースとしたシステムである。クラウドシステム１０には、電気通信回線網に接続されたサーバコンピュータなどが含まれる。

［情報処理システム１００の各機器の構成］
図２は、情報処理システム１００の、携帯端末３０、コントロールボックス５０、ヘッドマウントディスプレイ７０、及びクラウドシステム１０のサーバコンピュータの構成を示すブロック図である。

（携帯端末３０）
携帯端末３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、メモリ３２と、広域通信部３３と、局域通信部３４と、タッチパネル３５と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部３６と、バッテリー３９とを有する。

ＣＰＵ３１は、携帯端末３０内の各部を統括的に制御する。メモリ３２には、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、各種アプリケーションソフトウェア等のプログラムや、各種データなどが格納されている。メモリ３２は、ＣＰＵ３１によって適宜アクセスされることが可能なように構成されている。

広域通信部３３は、例えば、３Ｇ（Ｔｈｉｒｄ Ｇｅｎｅｒａｔｉｏｎ）やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの通信システムにより、クラウドシステム１０との通信が可能なように構成されている。

局域通信部３４は、例えば、Ｗｉ−Ｆｉ等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信システムや、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、赤外線等の短距離無線通信システムなどにより通信可能に構成されている。局域通信部３４は、複数の通信システムを利用可能に構成されていてもよい。

タッチパネル３５は、各種情報を表示する表示装置としての機能と、ユーザによる操作を受ける操作部としての機能とを兼ね備えるように構成されている。ＧＰＳ受信部３６は、ＧＰＳ衛星からの位置情報を受信可能に構成されている。携帯端末３０は、その他、モーションセンサやカメラ等を含む各種センサ３７を有していてもよい。

（ヘッドマウントディスプレイ７０）
ヘッドマウントディスプレイ７０は、表示部７１と、撮像部７２と、検出部７３とを有する。図１に示すように、ヘッドマウントディスプレイ７０は、左右のリム部７５と、各リム部７５の間に配置されたブリッジ部７４と、各リム部７５から後方に延びるテンプル部７６と、からなる眼鏡フレームの構成を含む。これにより、ヘッドマウントディスプレイ７０は、ユーザの頭部に装着可能となっている。

表示部７１は、左右のテンプル部７６の内側にそれぞれ設けられる小型のプロジェクタとして構成される。ヘッドマウントディスプレイ７０は、表示部７１から出射された同一又は視差を持つ画像光が導光板７７でガイドされ、導光板７７の所定領域からユーザの眼球に向けて出射されるように構成されている。これにより、ユーザに対して画像が提供される。

なお、ヘッドマウントディスプレイ７０における表示部７１の構成は、上記に限定されず、適宜決定可能である。例えば、ヘッドマウントディスプレイ７０では、左右のうち一方にのみ表示部７１が設けられていてもよい。また、ヘッドマウントディスプレイ７０は、プロジェクタタイプのものに限られず、眼球に直接画像光を照射するタイプの表示部７１を備えていてもよい。

撮像部７２は、図１に示すように、ブリッジ部７４に前向きに設けられた第１カメラ７２ａと、右側のテンプル部７６に右向き（外向き）に設けられた第２カメラ７２ｂとを有する。第１カメラ７２ａ及び第２カメラ７２ｂは、第１カメラ７２ａの光軸Ｃ_ａと第２カメラ７２ｂの光軸Ｃ_ｂとが平行とならないように設けられる。例えば、第１カメラ７２ａの光軸Ｃ_ａと第２カメラ７２ｂの光軸Ｃ_ｂとが直交していてもよい。

カメラ７２ａ，７２ｂは、典型的には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ等の撮像素子によって構成される。

なお、撮像部７２は、相互に平行でない光軸を有する複数のカメラ機構により構成されていればよく、上記の構成に限定されない。例えば、撮像部７２は３つ以上のカメラ機構を有していてもよい。また、複数のカメラ機構がそれぞれ独立の単眼カメラとして構成していてもよく、複数のカメラ機構が全体として単一のステレオカメラやレンズアレイとして構成されていてもよい。

また、撮像部７２のカメラは、ユーザの周囲の画像を撮像可能であればよく、リム部７５、ブリッジ部７４、及びテンプル部７６における任意の位置に設けることができる。例えば、撮像部７２は、各テンプル部７６にそれぞれ１つずつ設けられたカメラを有していてもよい。

更に、撮像部７２は、ヘッドマウントディスプレイ７０とは別にユーザに装着可能なカメラを有していてもよい。例えば、撮像部７２は、ユーザの頭頂部に上向きに装着可能なカメラを有していてもよい。

検出部７３は、ヘッドマウントディスプレイ７０を装着したユーザの移動に関する情報を検出可能に構成されている。より詳細には、検出部７３は、ユーザの移動のうち、少なくとも回転運動成分を検出可能に構成されている。例えば、検出部７３は、ユーザの移動の回転運動成分と並進運動成分とを分離可能な情報を提供可能に構成されている。

検出部７３は、典型的には、ジャイロセンサ、地磁気センサ、加速度センサなどの、ユーザの向きを検出可能なセンサにより構成される。また、検出部７３は、Ｗｉ−Ｆｉによりユーザの向きを検出可能に構成されていてもよい。更に、検出部７３は、音響信号の送受よりユーザの向きを検出する音源方向推定装置により構成されていてもよい。なお、検出部７３は、複数の構成が組み合わされていてもよい。

（コントロールボックス５０）
コントロールボックス５０は、ＣＰＵ５１と、メモリ５２と、局域通信部５４と、入力ボタン５３と、バッテリー５９とを有する。コントロールボックス５０は、ヘッドマウントディスプレイ７０の一部として構成されていても、ヘッドマウントディスプレイ７０とは独立した構成であってもよい。

ＣＰＵ５１は、コントロールボックス５０内の各部、及びヘッドマウントディスプレイ７０内の各部を統括的に制御する。メモリ５２には、例えば、ＯＳや、各種アプリケーションソフトウェア等のプログラムや、各種データなどが格納されている。メモリ５２は、ＣＰＵ５１によって適宜アクセスされることが可能なように構成されている。

局域通信部５４は、携帯端末３０の局域通信部３４と共通の通信システムにより、携帯端末３０の局域通信部３４と通信可能に構成されている。

入力ボタン５３は、コントロールボックス５０の正面に配置され、コントロールボックス５０及びヘッドマウントディスプレイ７０の操作部として構成される。入力ボタン５３には、例えば、電源ボタンや、表示部７１のＯＮ／ＯＦＦボタンなどが含まれる。

（クラウドシステム１０）
クラウドシステム１０のサーバコンピュータは、ＣＰＵ１１と、メモリ１２と、広域通信部１３とを有する。

ＣＰＵ１１は、サーバコンピュータ内の各部を統括的に制御する。メモリ１２には、例えば、ＯＳや、各種アプリケーションソフトウェア等のプログラムや、各種データなどが格納されている。メモリ１２は、ＣＰＵ１１によって適宜アクセスされることが可能なように構成されている。

広域通信部１３は、携帯端末３０の広域通信部３３と共通の通信システムにより、携帯端末３０の広域通信部３３と通信可能に構成されている。

［自己位置推定部１の構成］
本実施形態に係る情報処理システム１００は自己位置推定部１を具備する。自己位置推定部１は、ヘッドマウントディスプレイ７０を装着したユーザの位置及び姿勢を推定するための情報処理装置として構成される。より詳細には、自己位置推定部１は、任意の時刻（ｔ）におけるユーザの位置及び姿勢を、時刻（ｔ）の直前の時刻（ｔ−１）におけるユーザの位置及び姿勢から推定する。

ここで、自己位置推定部１が推定するユーザの位置は、例えば、３次元空間における座標によって表現可能である。また、自己位置推定部１が推定するユーザの姿勢は、例えば、ユーザの向いている方向などにより表現可能である。更に、自己位置推定部１は、ユーザの具体的な姿勢を推定可能に構成されていてもよく、例えば、ユーザの姿勢が、立ち姿勢であるか、座り姿勢であるか、寝姿勢であるかの推定を行うこともできる。

自己位置推定部１は、図２に示すように、クラウドシステム１０のサーバコンピュータ、携帯端末３０、コントロールボックス５０、及びヘッドマウントディスプレイ７０のいずれに設けられていてもよい。自己位置推定部１がヘッドマウントディスプレイ７０に設けられる場合、ヘッドマウントディスプレイ７０には、例えば、ＣＰＵや、プログラムを格納するメモリなど、自己位置推定部１の制御に必要な構成が備えられる。

自己位置推定部１は、各機器のＣＰＵ、及び各機器のメモリに格納されたプログラムによって制御される。なお、各機器は、自己位置推定部１の制御のために、ＣＰＵ以外の制御部を備えていてもよい。ＣＰＵ以外の制御部としては、例えば、ＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）が挙げられる。

図３は、自己位置推定部１の構成を示すブロック図である。自己位置推定部１は、トラッキング部２と、領域推定部３と、データ生成部４と、推定処理部５とを具備する。

（トラッキング部２）
トラッキング部２は、撮像部７２によって撮像された画像を時系列で取得し、各画像を用いて特徴点のトラッキングを行う。つまり、トラッキング部２は、時刻（ｔ−１）に撮像された画像と、時刻（ｔ）に撮像された画像と、の間で特徴点の対応付けを行う。トラッキング部２は、例えば、２つの画像における特徴点の移動量（ｄｘ，ｄｙ）を出力することができる。

トラッキング部２による特徴点のトラッキングの方法としては、特定の方法に限定されず、一般的な方法を採用可能である。例えば、トラッキング部２は、画像における輝度のパターンによるテンプレートマッチングを利用して、特徴点のトラッキングを行うことができる。また、トラッキング部２は、画像における、より高度に記述された特徴量によるマッチングを利用して、特徴点のトラッキングを行うこともできる。

図４は、トラッキング部２の動作を説明するための移動体Ｍの一例を示す図である。図４に示す移動体Ｍは、図１に示すヘッドマウントディスプレイ７０を装着したユーザを簡略化して示すものである。したがって、移動体Ｍの正面には第１カメラ７２ａが配置され、移動体Ｍの右側面には第２カメラ７２ｂが配置されている。

図５はトラッキング部２の動作の一例を説明するための図である。図５（Ａ）は時刻（ｔ−１）の状態を示し、図５（Ｂ）はその直後の時刻（ｔ）の状態を示している。時刻（ｔ−１）と時刻（ｔ）との間に移動体Ｍは回転運動を伴った移動を行っている。したがって、図５（Ａ）に示す時刻（ｔ−１）と図５（Ｂ）に示す時刻（ｔ）とでは、移動体Ｍの向きが変化しており、第１カメラ７２ａの光軸Ｃ_ａ及び第２カメラ７２ｂの光軸Ｃ_ｂの向きが変化している。

第１カメラ７２ａは、図５（Ａ）に示す時刻（ｔ−１）に画像ａ_１を撮像し、図５（Ｂ）に示す時刻（ｔ）に画像ａ_２を撮像する。トラッキング部２は、第１カメラ７２ａが撮像した画像ａ_１及び画像ａ_２を取得し、画像ａ_１から特徴点Ｐ_１を検出し、画像ａ_２から特徴点Ｐ_２を検出する。そして、トラッキング部２は、画像ａ_１及び画像ａ_２に共通して含まれる特徴点Ｐ_１２の対応付けを行う。

トラッキング部２は、画像ａ_１及び画像ａ_２に共通して含まれる各特徴点Ｐ_１２ごとに、トラッキングスコアを設定する。トラッキングスコアは、画像ａ_１及び画像ａ_２における各特徴点Ｐ_１２の一致度合いを数値化したものである。つまり、トラッキングスコアが高い特徴点Ｐ_１２ほど、画像ａ_１及び画像ａ_２において高い信頼性で対応が取れており、信頼性が高い。反対に、トラッキングスコアが低い特徴点Ｐ_１２ほど、画像ａ_１及び画像ａ_２において十分に対応が取れておらず、信頼性が低い。

例えば、トラッキング部２は、画像ａ_１及び画像ａ_２において特徴点Ｐ_１２の周囲の特徴量が良好に対応している場合には、当該特徴点Ｐ_１２のトラッキングスコアを高く設定する。反対に、トラッキング部２は、画像ａ_１及び画像ａ_２において特徴点Ｐ_１２の周囲における特徴量の対応が不十分である場合には、当該特徴点Ｐ_１２のトラッキングスコアを低く設定する。

また、画像ａ_１及び画像ａ_２のうち少なくとも一方の中央領域にある特徴点Ｐ_１２は、移動体Ｍの移動前後における画像ａ_１及び画像ａ_２のいずれにも含まれている可能性が高い。このため、トラッキング部２は、画像ａ_１及び画像ａ_２のうち少なくとも一方の中央領域にある特徴点Ｐ_１２のトラッキングスコアを高く設定することができる。

トラッキング部２は、すべての特徴点Ｐ_１２について、特徴点Ｐ_１２を撮像したカメラを特定するラベル、画像ａ_１及び画像ａ_２のそれぞれにおける特徴点Ｐ_１２の座標、特徴点Ｐ_１２のトラッキングスコア、などの情報を付して出力データを生成する。そして、トラッキング部２は、生成した出力データを、データ生成部４に出力する。

なお、以上では、トラッキング部２における、第１カメラ７２ａによって撮像された画像を用いて特徴点のトラッキングを行う動作について説明した。しかし、トラッキング部２は、第２カメラ７２ｂによって撮像された画像についても、同様に特徴点のトラッキングを行う。

上記のように、本実施形態に係るトラッキング部２による特徴点のトラッキングには、移動体Ｍから異なる方向を撮像した複数の画像が用いられる。このため、トラッキング部２は、複数の画像のうち、ある画像において特徴点のトラッキングが困難である場合にも、他の画像において特徴点のトラッキングを行うことができる。したがって、本実施形態に係るトラッキング部２では、特徴点のトラッキング結果がより確実に得られる。

（領域推定部３）
領域推定部３は、検出部７３によって生成された移動体Ｍの移動に関する情報を取得し、当該情報に基づいて領域の推定を行う。具体的には、領域推定部３は、移動体Ｍを取り囲む周囲の領域のうち、移動体Ｍの移動の前後で、移動体Ｍから見た特徴点の二次元的な位置が変化しにくい領域、つまり移動体Ｍから見た特徴点の向きが変化しにくい領域の推定を行う。

領域推定部３によって推定された領域が撮像部７２によって撮像されている場合、移動体Ｍの移動前に撮像された画像に含まれている特徴点は、移動体Ｍの移動後に撮像された画像にも含まれている可能性が高い。したがって、領域推定部３によって推定された領域を撮像した画像では、移動体Ｍの移動の前後で、より多くの特徴点の対応付けを行うことが可能である。

図６，７は領域推定部３の動作の一例を説明するための図である。図６（Ａ）及び図７（Ａ）は斜視図であり、図６（Ｂ）及び図７（Ｂ）は平面図である。

図６は時刻（ｔ−１）の状態を示し、図７はその直後の時刻（ｔ）の状態を示している。時刻（ｔ−１）と時刻（ｔ）との間に移動体Ｍは回転運動を伴った移動を行っている。したがって、図６に示す時刻（ｔ−１）と図７に示す時刻（ｔ）とでは、移動体Ｍの向きが変化しており、第１カメラ７２ａの光軸Ｃ_ａ及び第２カメラ７２ｂの光軸Ｃ_ｂの向きが変化している。

第１カメラ７２ａは、図６に示す時刻（ｔ−１）に画像ａ_１を撮像し、図７に示す時刻（ｔ）に画像ａ_２を撮像する。また、第２カメラ７２ｂは、図６に示す時刻（ｔ−１）に画像ｂ_１を撮像し、図７に示す時刻（ｔ）に画像ｂ_２を撮像する。

時刻（ｔ−１）と時刻（ｔ）との間における移動体Ｍの移動が回転運動と並進運動とを伴う場合、撮像部７２によって撮像される領域は、並進運動よりも回転運動によって大きく変化しやすい。このため、本実施形態に係る領域推定部３は、移動体Ｍの並進運動よりも、移動体Ｍの回転運動に重点を置いた処理を行う。

より詳細には、領域推定部３は、撮像部７２を構成する複数のカメラのうち、移動体Ｍの回転運動によって撮像する領域が変化しにくいカメラを選択する。つまり、複数のカメラのうち、移動体Ｍの移動の前後に撮像された画像おいて、より多くの特徴点の対応付けを行うことが可能なカメラを選択する。

具体的には、領域推定部３は、検出部７３によって生成された情報に基づいて、移動体Ｍの回転運動（移動体Ｍを中心とする自転運動）の回転軸Ｒを算出する。そして、領域推定部３は、回転軸Ｒと、各カメラ７２ａ，７２ｂの光軸Ｃ_ａ，Ｃ_ｂとが成す角度を算出する。つまり、領域推定部３は、回転軸Ｒと第１カメラ７２ａの光軸Ｃ_ａとが成す角度θ_ａと、回転軸Ｒと第２カメラ７２ｂの光軸Ｃ_ｂとが成す角度θ_ｂとを算出する。なお、角度θ_ａ及び角度θ_ｂ計算の際に、回転軸Ｒ及び光軸Ｃ_ａ，Ｃ_ｂは適宜平行移動させてもよい。

図７に示すように、角度θ_ａが大きい第１カメラ７２ａでは、時刻（ｔ）に撮像された画像ａ_２が、時刻（ｔ−１）に撮像された画像ａ_１から大きく移動している。このため、時刻（ｔ−１）に撮像された画像ａ_１に含まれる特徴点Ｐ_１が、時刻（ｔ）に撮像された画像ａ_２から大きく外れてしまっている。

このように、角度θ_ａが大きい第１カメラ７２ａによって撮像された画像ａ_１及び画像ａ_２には、共通して含まれる特徴点Ｐ_１２が存在しない可能性が高い。換言すると、トラッキング部２によって画像ａ_１及び画像ａ_２から抽出された特徴点Ｐ_１２は、トラッキングミスにより得られたものである可能性が高く、信頼性が低い。

この一方で、図７に示すように、角度θ_ｂが小さい第２カメラ７２ｂでは、時刻（ｔ）に撮像された画像ｂ_２が、時刻（ｔ−１）に撮像された画像ｂ_１からあまり移動していない。このため、時刻（ｔ−１）に撮像された画像ｂ_１に含まれる特徴点Ｐ_１は、時刻（ｔ）に撮像された画像ｂ_２にも含まれている。

このように、角度θ_ｂが小さい第２カメラ７２ｂによって撮像された画像ｂ_１及び画像ｂ_２には、共通して含まれる特徴点Ｐ_１２が存在する可能性が高い。換言すると、トラッキング部２によって画像ｂ_１及び画像ｂ_２から抽出された特徴点Ｐ_１２は、正しいトラッキングにより得られたものである可能性が高く、信頼性が高い。

したがって、領域推定部３は、撮像部７２を構成する複数のカメラのうち、回転軸との間に成す角度が最も小さい光軸を有するカメラを選択する。つまり、領域推定部３は、選択したカメラが撮像する領域が、移動体Ｍの移動の前後で、移動体Ｍから見た特徴点の二次元的な位置が変化しにくい領域であるものと推定する。

図６，７に示す例では、第２カメラ７２ｂに係る角度θ_ｂが、第１カメラ７２ａに係る角度θ_ａよりも小さいため、領域推定部３は第２カメラ７２ｂを選択する。

領域推定部３は、選択したカメラを特定する出力データを生成する。そして、領域推定部３は、生成した出力データを、データ生成部４に出力する。

なお、領域推定部３による移動体Ｍの回転軸の算出には、検出部７３によって生成される情報に併せて、又は、検出部７３によって生成される情報に代えて、他の情報を利用してもよい。他の情報としては、例えば、カルマンフィルタによって得られる情報が挙げられる。つまり、領域推定部３は、カルマンフィルタによって予測される、時刻（ｔ−１）及び時刻（ｔ）における移動体Ｍの姿勢から、移動体Ｍの回転軸を算出してもよい。

また、領域推定部３は、必ずしも移動体Ｍの回転軸を算出しなくてもよい。つまり、領域推定部３は、移動体Ｍの回転軸を用いずに、移動体Ｍの移動の前後で、移動体Ｍから見た特徴点の二次元的な位置が変化しにくい領域を推定してもよい。例えば、領域推定部３は、移動体Ｍの回転運動と並進運動とを含む移動の軌跡から、移動体Ｍから見た特徴点の向きが変化しにくいと予測される領域を直接算出してもよい。

（データ生成部４）
データ生成部４は、トラッキング部２の出力データと、領域推定部３の出力データと、を取得する。そして、データ生成部４は、トラッキング部２によって対応付けられた特徴点から、領域推定部３によって選択されたカメラによって撮像された画像に含まれる特徴点を抽出する。領域推定部３によって選択されたカメラによって撮像された画像には特徴点が共通して含まれる可能性が高いため、データ生成部４がより信頼性の高い特徴点を抽出することができる。

具体的には、データ生成部４は、トラッキング部２によって対応付けられた特徴点Ｐ_１２のうち、領域推定部３によって選択された第２カメラ７２ｂのラベルが付された特徴点Ｐ_１２を抽出する。

データ生成部４は、上記のように抽出した特徴点から、更に、トラッキングスコアが所定の閾値を満たす特徴点を再抽出する。所定の閾値は、任意に設定されることが可能である。上述のとおり、トラッキングスコアが高い特徴点ほど信頼性が高いため、データ生成部４は、更に信頼性の高い特徴点を絞り込むことができる。

データ生成部４は、抽出した特徴点について、特徴点を撮像したカメラを特定するラベル、移動体Ｍの移動前後の画像における特徴点の座標、特徴点のトラッキングスコア、などの情報を付して出力データを生成する。そして、トラッキング部２は、生成したデータを推定処理部５に出力する。

（推定処理部５）
推定処理部５は、データ生成部４の出力データを用いて、移動体Ｍの自己位置推定を行う。つまり、推定処理部５は、データ生成部４によって抽出された特徴点を用いて、時刻（ｔ−１）における移動体Ｍの位置及び姿勢から、時刻（ｔ）における移動体Ｍの位置及び姿勢を推定する。

推定処理部５による移動体Ｍの自己位置推定には、任意の方法を利用可能である。推定処理部５は、例えば、データ生成部４によって抽出された特徴点から、カルマンフィルタのアルゴリズムを用いて、移動体Ｍの自己位置推定を行うことができる。

上述のように、データ生成部４が抽出した特徴点は、時刻（ｔ−１）に撮像された画像と、時刻（ｔ）に撮像された画像とにおいて、高い信頼性で対応が取れている。このように、本実施形態に係る自己位置推定部１では、信頼性の高い特徴点を用いることにより、推定処理部５による高精度な移動体Ｍの自己位置推定が可能となる。

また、上述のように、推定処理部５では、移動体Ｍの自己位置推定に、領域推定部３によって選択されなかったカメラによって撮像された画像に含まれる特徴点を用いない。つまり、本実施形態に係る自己位置推定部１では、信頼性の低い特徴点を用いずに、信頼性の高い特徴点のみを用いるため、推定処理部５による効率的な移動体Ｍの自己位置推定が可能となる。

［自己位置推定部１による情報処理方法］
図８は、本実施形態に係る自己位置推定部１による処理の流れを示すフローチャートである。図８に沿って、自己位置推定部１による情報処理方法について説明する。

（ステップＳ１−０１〜Ｓ１−０４）
ステップＳ１−０１〜Ｓ１−０４は、トラッキング部２によって実行される。トラッキング部２は、撮像部７２よって撮像された画像を取得し（ステップＳ１−０１）、取得した画像に含まれる特徴点の対応付けを行い（ステップＳ１−０２）、対応付けた特徴点にトラッキングスコアを設定し（ステップＳ１−０３）、出力データを生成し（ステップＳ１−０４）、生成したデータをデータ生成部４に出力する。

（ステップＳ１−０５〜Ｓ１−０８）
ステップＳ１−０５〜Ｓ１−０８は、領域推定部３によって実行される。領域推定部３は、検出部７３によって生成された移動体Ｍの移動に関する情報を取得し（ステップＳ１−０５）、取得した情報から移動体Ｍの回転運動の回転軸を算出し（ステップＳ１−０６）、算出した回転軸と各カメラの光軸との成す角度を算出し（ステップＳ１−０７）、算出した角度に基づいてカメラを選択し（ステップＳ１−０８）、選択したカメラを特定するデータをデータ生成部４に出力する。

（ステップＳ１−０９〜Ｓ１−１４）
ステップＳ１−０９〜Ｓ１−１４は、データ生成部４によって実行される。データ生成部４は、トラッキング部２から入力された特徴点から、領域推定部３から入力されたカメラによって撮像された画像に含まれる特徴点を抽出する（ステップＳ１−０９）。データ生成部４は、抽出した特徴点をひとつ取得し（ステップＳ１−１０）、当該特徴点のトラッキングスコアが閾値を満たすか判定する（ステップＳ１−１１）。

データ生成部４が取得した特徴点のトラッキングスコアが閾値を満たさない場合には、ステップＳ１−１０に戻る。データ生成部４が取得した特徴点のトラッキングスコアが閾値を満たす場合には、当該特徴点を出力データに追加し（ステップＳ１−１２）、出力データにおける特徴点の数が十分であるか判定する（ステップＳ１−１３）。出力データにおける特徴点の数が十分でない場合には、ステップＳ１−１０に戻る。出力データにおける特徴点の数が十分である場合には、生成したデータを推定処理部５に出力する。

（ステップＳ１−１５）
ステップＳ１−１５は、推定処理部５によって実行される。推定処理部５は、データ生成部４の出力データを用いて、移動体Ｍの自己位置推定を行う。

［変形例］
図９は、本実施形態の変形例に係る自己位置推定部１による処理の流れを示すフローチャートである。本変形例に係る情報処理方法は、領域推定部３によるステップＳ１−０５〜Ｓ１−０８が、トラッキング部２によるステップＳ１−０１〜Ｓ１−０４より前に実行される点で、図８に示す情報処理方法と異なる。図９に沿って、本変形例に係る情報処理方法について説明する。

まず、ステップＳ１−０５〜Ｓ１−０８によって、領域推定部３が、カメラを選択し、選択したカメラを特定するデータをトラッキング部２に出力する。トラッキング部２は、領域推定部３により選択されたカメラによって撮像された画像を取得し（ステップＳ１−０１）、取得した画像に含まれる特徴点の対応付けを行い（ステップＳ１−０２）、対応付けた特徴点にトラッキングスコアを設定し（ステップＳ１−０３）、出力データを生成し（ステップＳ１−０４）、生成したデータをデータ生成部４に出力する。

トラッキング部２からデータ生成部４に入力されたデータには、領域推定部３により選択されたカメラによって撮像された画像に含まれる特徴点のみしか含まれていないため、本変形例に係る情報処理方法では、図８に係る特徴点の抽出（ステップＳ１−０９）を実行する必要がない。

図９のステップＳ１−１０〜Ｓ１−１５は、図８のステップＳ１−１０〜Ｓ１−１５と同様である。

本変形例に係る情報処理方法では、トラッキング部２が、領域推定部３によって選択されなかったカメラによって撮像された画像を用いず、領域推定部３によって選択されたカメラによって撮像された画像のみを用いてトラッキングを行うため、効率的なトラッキングが可能である。

＜第２の実施形態＞
図１０は、本技術の第２の実施形態に係る情報処理システム１００におけるヘッドマウントディスプレイ７０を示す図である。本実施形態に係る情報処理システム１００では、撮像部７２の構成、及び自己位置推定部１による情報処理方法が、第１の実施形態に係る情報処理システム１００と異なる。以下、本実施形態に係る情報処理システム１００のうち、第１の実施形態に係る情報処理システム１００に対応する構成には、第１の実施形態と同様の符号を付し、適宜その説明を省略する。

本実施形態に係る情報処理システム１００では、撮像部７２が、１８０°の視野角を有するカメラとして構成され、ヘッドマウントディスプレイ７０のブリッジ部７４に前方を向けて設けられている。また、撮像部７２は、光軸Ｄと有し、光軸Ｄを中心とする画像ｄを撮像可能である。

撮像部７２は広視野角のカメラであることが好ましい。撮像部７２の視野角は９０°以上であることが特に好ましい。なお、撮像部７２を構成するカメラは、特定の種類に限定されず、例えば、広角カメラ、魚眼カメラ、全天周カメラなどのいずれであってもよい。

図１１は、本実施形態に係る情報処理システム１００のトラッキング部２及び領域推定部３の動作を説明するための図である。図１１では、移動体Ｍを簡略化し、撮像部７２のみを示している。

図１１（Ａ）は時刻（ｔ−１）の状態を示し、図１１（Ｂ）はその直後の時刻（ｔ）の状態を示している。時刻（ｔ−１）と時刻（ｔ）との間に移動体Ｍは回転運動を伴った移動を行っている。したがって、図１１（Ａ）に示す時刻（ｔ−１）と図１１（Ｂ）に示す時刻（ｔ）とでは、移動体Ｍの向きが変化しており、撮像部７２の光軸Ｄの向きが変化している。

撮像部７２は、図１１（Ａ）に示す時刻（ｔ−１）に画像ｄ_１を撮像し、図１１（Ｂ）に示す時刻（ｔ）に画像ｄ_２を撮像する。

トラッキング部２は、撮像部７２によって撮像された画像ｄ_１及び画像ｄ_２を取得し、画像ｄ_１から特徴点Ｐ_１を検出し、画像ｄ_２から特徴点Ｐ_２を検出する。そして、トラッキング部２は、画像ｄ_１及び画像ｄ_２に共通して含まれる特徴点Ｐ_１２の対応付けを行う。

上記のように、本実施形態に係るトラッキング部２は、広視野角の撮像部７２によって撮像された画像をトラッキングに用いる。広視野角の撮像部７２では、より広範囲の特徴点を撮像することが可能であるため、トラッキング部２による特徴点のトラッキングが不能になることを防止することができる。

領域推定部３は、検出部７３によって生成された移動体Ｍの移動に関する情報に基づいて、移動体Ｍの回転運動（移動体Ｍを中心とする自転運動）の回転軸Ｒを算出する。そして、領域推定部３は、回転軸Ｒが通る領域を選択する。つまり、領域推定部３は、回転軸Ｒが通る領域を、移動体Ｍの移動の前後で、移動体Ｍから見た特徴点の二次元的な位置の変化が小さい領域と推定する。

データ生成部４は、時刻（ｔ−１）に撮像された画像ｄ_１、及び時刻（ｔ）に撮像された画像ｄ_２から、領域推定部３によって推定された領域を切り取り、データ生成部４が処理する画像としてトリミング画像Ｅを生成する。つまり、領域推定部３は、データ生成部４による画像ｄ_１及び画像ｄ_２の処理領域を、領域推定部３によって推定された領域に限定する。

トリミング画像Ｅの大きさ（領域推定部３によって推定される領域の大きさ）は、適宜決定可能である。例えば、領域推定部３は、移動体Ｍの移動前後での移動体Ｍから見た特徴点の二次元的な位置の変化が比較的大きいと予想される場合に、トリミング画像Ｅを大きくすることができる。

この一例として、移動体Ｍの回転運動の角速度が大きい場合に、移動体Ｍから見た特徴点の二次元的な位置の変化が大きくなりやすい。このため、領域推定部３は、移動体Ｍの回転運動の角速度が大きい場合に、トリミング画像Ｅを大きくする。これにより、トリミング画像Ｅに含まれる特徴点の数を十分に多く確保することができる。

反対に、領域推定部３は、移動体Ｍの回転運動の角速度が小さい場合に、トリミング画像Ｅを小さくする。これにより、データ生成部４及び推定処理部５における処置の効率化を図ることができる。

また、移動体Ｍの移動が回転運動に加えて並進運動も伴う場合に、移動体Ｍから見た特徴点の二次元的な位置にズレが発生しやすい。このため、領域推定部３は、移動体Ｍの移動が並進運動を伴う場合に、トリミング画像Ｅを大きくする。これにより、トリミング画像Ｅに含まれる特徴点の数を十分に多く確保することができる。

更に、トリミング画像Ｅの形状（領域推定部３によって推定される領域の形状）は、任意に決定可能である。トリミング画像Ｅの形状としては、図１１に示す円形状の他、例えば、矩形状などの多角形状や、楕円状などであってもよい。

図１２は、本実施形態に係る自己位置推定部１による処理の流れを示すフローチャートである。図１２に沿って、自己位置推定部１による情報処理方法について説明する。

（ステップＳ２−０１〜Ｓ２−０４）
ステップＳ２−０１〜Ｓ２−０４は、トラッキング部２によって実行される。トラッキング部２は、撮像部７２よって撮像された画像を取得し（ステップＳ２−０１）、取得した画像に含まれる特徴点の対応付けを行い（ステップＳ２−０２）、対応付けた特徴点にトラッキングスコアを設定し（ステップＳ２−０３）、出力データを生成し（ステップＳ２−０４）、生成したデータをデータ生成部４に出力する。

（ステップＳ２−０５〜Ｓ２−０８）
ステップＳ２−０５〜Ｓ２−０８は、領域推定部３によって実行される。領域推定部３は、検出部７３によって生成された移動体Ｍの移動に関する情報を取得し（ステップＳ２−０５）、取得した情報から移動体Ｍの回転運動の回転軸を算出し（ステップＳ２−０６）、算出した回転軸を通る領域を選択し（ステップＳ２−０７）、選択した領域を特定するデータをデータ生成部４に出力する。

（ステップＳ２−０８〜Ｓ２−１５）
ステップＳ２−０８〜Ｓ２−１４は、データ生成部４によって実行され、ステップＳ２−１５は推定処理部５によって実行される。データ生成部４は、撮像部７２よって撮像された画像を、領域推定部３によって選択された領域によって切り取り、トリミング画像を生成する（Ｓ２−０８）。データ生成部４は、トラッキング部２によって対応付けられた特徴点から、トリミング画像に含まれる特徴点を抽出する（ステップＳ２−０９）。

ステップＳ２−１０〜Ｓ２−１５は、図８のステップＳ１−１０〜Ｓ１−１５と同様である。

［変形例］
図１３は、本実施形態の変形例に係る自己位置推定部１による処理の流れを示すフローチャートである。本変形例に係る情報処理方法は、領域推定部３によるステップＳ２−０５〜Ｓ２−０７が、トラッキング部２によるステップＳ２−０１〜Ｓ２−０４より前に実行される点で、図１２に示す情報処理方法と異なる。図１３に沿って、本変形例に係る情報処理方法について説明する。

まず、ステップＳ２−０５〜Ｓ２−０７によって、領域推定部３が選択した領域を特定するデータをトラッキング部２に出力する。トラッキング部２は、撮像部７２によって撮像された画像を取得し（ステップＳ２−０１）、取得した画像から、領域推定部３によって選択された領域を切り取り、トリミング画像を生成する（ステップＳ２−０８）。本変形例では、トラッキング部２が、トリミング画像を生成するデータ生成部として機能する。

トラッキング部２は、トリミング画像に含まれる特徴点の対応付けを行い（ステップＳ２−０２）、対応付けた特徴点にトラッキングスコアを設定し（ステップＳ２−０３）、出力データを生成し（ステップＳ２−０４）、生成したデータをデータ生成部４に出力する。

トラッキング部２からデータ生成部４に入力されたデータには、領域推定部３によって選択された領域に含まれる特徴点のみしか含まれていないため、本変形例に係る情報処理方法では、図１２に係る特徴点の抽出（ステップＳ２−０９）を実行する必要がない。

図１３のステップＳ２−０９〜Ｓ２−１５は、図１２のステップＳ２−０９〜Ｓ２−１５と同様である。

本変形例に係る情報処理方法では、トラッキング部２が、撮像部７２によって撮像された画像のうち、トリミング画像以外の領域を用いず、トリミング画像のみを用いてトラッキングを行うため、効率的なトラッキングが可能である。

＜第３の実施形態＞
図１４は、本技術の第３の実施形態に係る情報処理システム１００における自己位置推定部１の構成を示すブロック図である。本実施形態に係る情報処理システム１００では、自己位置推定部１の構成、及び自己位置推定部１による情報処理方法が、第１の実施形態に係る情報処理システム１００と異なる。以下、本実施形態に係る情報処理システム１００のうち、第１の実施形態に係る情報処理システム１００に対応する構成には、第１の実施形態と同様の符号を付し、適宜その説明を省略する。

本実施形態に係る自己位置推定部１は、モニタリング部６を具備する。本実施形態に係る自己位置推定部１では、推定処理部５が、第１の実施形態と同様のデータ生成部４の出力データによる移動体Ｍの第１自己位置推定とは独立して、モニタリング部６の出力データによる移動体Ｍの第２自己位置推定を行う。つまり、推定処理部５は、２通りの方法で移動体Ｍの自己位置推定を行う。

モニタリング部６は、検出部７３により生成される情報を時間的連続に参照することにより、移動体Ｍの位置及び姿勢の時系列的な変化のモニタリングを行う。モニタリング部６は、移動体Ｍのモニタリングの結果によって出力データを生成し、生成したデータを推定処理部５に出力する。推定処理部５は、モニタリング部６による移動体Ｍのモニタリングの結果に基づいて、時刻（ｔ）における移動体Ｍの位置及び姿勢を推定する。

モニタリング部６の出力データは、検出部７３により生成される情報を時間的連続に参照することにより得られるため、検出部７３の誤検知による時間的に不連続なデータの影響を受けにくい。したがって、本実施形態に係る自己位置推定部１では、モニタリング部６の出力データによる移動体Ｍの第２自己位置推定を、データ生成部４の出力データによる移動体Ｍの第１自己位置推定と相補的に利用することにより、高精度な移動体Ｍの自己位置推定が可能となる。

また、本実施形態に係る自己位置推定部１では、移動体Ｍの動作をモデル化した運動モデルを導入することにより、モニタリング部６による出力データの生成や、モニタリング部６の出力データを用いた推定処理部５による第２自己位置推定を効率的に行うことができる。運動モデルとは移動体Ｍが行いやすい動作をモデル化したものであり、移動体Ｍに応じた運動モデルが予め設定される。

つまり、モニタリング部６は、移動体Ｍについて、等速度運動であるか、減速運動であるか、加速運動であるか、速度の変化があるか、といった判定や、速度変化の比率の算出などによって、移動体Ｍの動作が、予め設定される運動モデルうち、いずれの運動モデルであるかを推定し、推定結果によって出力データを生成し、生成したデータを推定処理部５に出力する。推定処理部５は、モニタリング部６によって推定された運動モデルに基づいて、時刻（ｔ）における移動体Ｍの位置及び姿勢を推定する。

例えば、移動体Ｍが、ヘッドマウントディスプレイ７０を装着したユーザである場合には、人間が行いやすい動作をモデル化した運動モデルが設定される。このような運動モデルとしては、一例として、静止運動モデルや、歩行運動モデルや、走行運動モデルが挙げられる。なお、設定される運動モデルの種類や数は、任意に決定可能である。

図１５は、モニタリング部６による処理の流れの一例を示すフローチャートである。まず、モニタリング部６は、移動体Ｍが静止状態であるか判定する（ステップＳ３−０１）。例えば、移動体Ｍの運動が検出されなかった場合に、移動体Ｍが静止状態であると判定される。モニタリング部６は、移動体Ｍが静止状態である場合に、移動体Ｍの運動モデルを静止運動モデルと決定する。

モニタリング部６は、移動体Ｍが静止状態でない場合に、移動体Ｍが歩行状態であるか判定する（ステップＳ３−０２）。例えば、移動体Ｍの所定の第１範囲（例えば、時速３〜６ｋｍの範囲）内の等速度運動が検出された場合に、移動体Ｍが歩行状態であると判定される。モニタリング部６は、移動体Ｍが歩行状態である場合に、移動体Ｍの運動モデルを歩行運動モデルと決定する。

モニタリング部６は、移動体Ｍが歩行状態でない場合に、移動体Ｍが走行状態であるか判定する（ステップＳ３−０３）。例えば、移動体Ｍの所定の第２範囲（例えば、時速７〜１０ｋｍの範囲）内の等速度運動が検出された場合に、移動体Ｍが走行モデルである判定される。モニタリング部６は、移動体Ｍが走行状態である場合に、移動体Ｍの運動モデルを走行運動モデルと決定する。

モニタリング部６は、移動体Ｍが走行状態でもない場合に、移動体Ｍの運動モデルをデフォルト運動モデルと決定する。

モニタリング部６は、移動体Ｍの運動モデルを静止運動モデルと決定すると、静止運動モデルを特定する出力データを生成し、生成したデータを推定処理部５に出力する。推定処理部５は、モニタリング部６の出力データから、時刻（ｔ）における移動体Ｍの位置が、時刻（ｔ−１）における移動体Ｍの位置から変化していないものと推定する。

モニタリング部６は、移動体Ｍの運動モデルを歩行運動モデルと決定すると、歩行運動モデルを特定する出力データを生成し、生成したデータを推定処理部５に出力する。推定処理部５は、モニタリング部６の出力データに基づいて、時刻（ｔ−１）における移動体Ｍの位置から時刻（ｔ）における移動体Ｍの位置を推定する。

モニタリング部６は、移動体Ｍの運動モデルを走行運動モデルと決定すると、走行運動モデルを特定する出力データを生成し、生成したデータを推定処理部５に出力する。推定処理部５は、モニタリング部６の出力データに基づいて、時刻（ｔ−１）における移動体Ｍの位置から時刻（ｔ）における移動体Ｍの位置を推定する。

モニタリング部６は、移動体Ｍの運動モデルをデフォルト運動モデルと決定すると、運動モデルを特定せずに出力データを生成する。つまり、モニタリング部６は、移動体Ｍの位置及び姿勢の時系列的な変化のモニタリングの結果をそのまま推定処理部５に出力する。推定処理部５は、モニタリング部６によってモニタリングされた移動体Ｍの位置及び姿勢の時系列的な変化から、時刻（ｔ）における移動体Ｍの位置及び姿勢を推定する。

なお、本実施形態に係る自己位置推定部１では、電気的、機械的、或いは光学的な制御系によって移動が制御される移動体Ｍにおいて、検出部７３が制御系による制御内容を検出可能に構成されていてもよい。この場合、モニタリング部６は、制御系の制御内容を時間的連続に参照することにより、移動体Ｍの位置及び姿勢の時系列的な変化をモニタリングすることができる。

この一例として、移動体Ｍが、例えば乗用車のような、ステアリング装置やアクセルペダルなどによって移動が制御される搭乗型装置である場合、検出部７３がステアリング装置やアクセルペダルなどの操作量を検出可能に構成される。そして、モニタリング部６は、検出部７３によって検出されたステアリング装置やアクセルペダルなどの操作量を時間的連続に参照することにより、移動体Ｍの位置及び姿勢の時系列的な変化をモニタリングする。

また、移動体Ｍが自律行動機能を有するロボットである場合には、検出部７３が制御信号を検出可能に構成される。そして、モニタリング部６は、検出部７３によって検出された制御信号を時間的連続に参照することにより、移動体Ｍの位置及び姿勢の時系列的な変化をモニタリングする。

＜その他の実施形態＞
以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、上記実施形態では、移動体Ｍがヘッドマウントディスプレイを装着したユーザである場合を中心に説明したが、本技術は任意の移動体Ｍに対して適用可能である。本技術を適用可能な移動体Ｍとしては、例えば、人間、車両、ロボット、動物などが挙げられる。いずれの場合にも、移動体Ｍに撮像部及び検出部を設けることにより、本技術に係る移動体Ｍの自己位置推定を行うことが可能である。

なお、本技術は以下のような構成も採ることができる。
（１）
回転運動を伴った移動を行う移動体に設けられた撮像部によって撮像された画像を取得し、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、に含まれる特徴点の対応付けを行うトラッキング部と、
上記移動に関する情報を取得し、上記情報に基づいて、上記移動の前後で、上記移動体から見た上記特徴点の二次元的な位置の変化が小さい領域を推定する領域推定部と、
上記トラッキング部によって対応付けられ、かつ、上記領域内にある上記特徴点を用いて、上記移動体の自己位置推定を行う推定処理部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
上記領域推定部は、上記回転運動の回転軸を算出し、上記回転軸を用いて上記領域を推定する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
上記撮像部は、相互に平行でない光軸を有する複数のカメラ機構を含み、
上記領域推定部は、上記複数のカメラ機構のうち、上記回転軸との間に成す角度が小さい上記光軸を有するカメラ機構を選択し、
上記推定処理部は、上記領域推定部によって選択された上記カメラ機構によって撮像された上記画像に含まれる上記特徴点を用いて、上記移動体の自己位置推定を行う
情報処理装置。
（４）
上記（３）に記載の情報処理装置であって、
上記トラッキング部によって対応付けられた上記特徴点のうち、上記領域推定部によって選択された上記カメラ機構によって撮像された上記画像に含まれる上記特徴点を抽出するデータ生成部を更に具備し、
上記推定処理部は、上記データ生成部によって抽出された上記特徴点を用いて、上記移動体の自己位置推定を行う
情報処理装置。
（５）
上記（３）に記載の情報処理装置であって、
上記トラッキング部は、上記領域推定部によって選択された上記カメラ機構によって撮像された上記画像に含まれる特徴点の対応付けを行う
情報処理装置。
（６）
上記（２）に記載の情報処理装置であって、
上記領域推定部は、上記回転軸が上記領域を通るように、上記領域を推定する
情報処理装置。
（７）
上記（６）に記載の情報処理装置であって、
上記撮像部の視野角が９０°以上である
情報処理装置。
（８）
上記（６）又は（７）に記載の情報処理装置であって、
上記画像の処理領域を上記領域内に限定するデータ生成部を更に具備し、
上記推定処理部は、上記処理領域に含まれる上記特徴点を用いて、上記移動体の自己位置推定を行う
情報処理装置。
（９）
上記（８）に記載の情報処理装置であって、
上記データ生成部は、上記トラッキング部によって対応付けられた上記特徴点のうち、上記処理領域に含まれる上記特徴点を抽出し、
上記推定処理部は、上記データ生成部によって抽出された上記特徴点を用いて、上記移動体の自己位置推定を行う
情報処理装置。
（１０）
上記（８）に記載の情報処理装置であって、
上記トラッキング部は、上記処理領域に含まれる特徴点の対応付けを行う
情報処理装置。
（１１）
上記（８）から（１０）のいずれか１つに記載の情報処理装置であって、
上記領域推定部は、上記回転運動の角速度が大きい場合に、上記処理領域を大きくする
情報処理装置。
（１２）
上記（８）から（１１）のいずれか１つに記載の情報処理装置であって、
上記領域推定部は、上記移動が並進運動を伴う場合に、上記処理領域を大きくする
情報処理装置。
（１３）
上記（１）から（１２）のいずれか１つに記載の情報処理装置であって、
上記トラッキング部は、対応付けた上記特徴点ごとに、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、における上記特徴点の一致度合いを示すトラッキングスコアを設定し、
上記推定処理部は、上記トラッキングスコアが高い上記特徴点を用いて、上記移動体の自己位置推定を行う
情報処理装置。
（１４）
上記（１３）に記載の情報処理装置であって、
上記トラッキング部は、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、のうち少なくとも一方の中央領域にある上記特徴点の上記トラッキングスコアを高く設定する
情報処理装置。
（１５）
上記（１）から（１４）のいずれか１つに記載の情報処理装置であって、
上記情報は、ジャイロセンサ、地磁気センサ、加速度センサ、音源方向推定装置、及びＷｉ−Ｆｉのうちの少なくとも１つを用いて生成される
情報処理装置。
（１６）
上記（１）から（１５）のいずれか１つに記載の情報処理装置であって、
上記情報により上記移動体のモニタリングを行うモニタリング部を更に具備し、
上記推定処理部は、上記自己位置推定とは独立して、上記モニタリング部による上記モニタリングの結果に基づいて、上記移動体の自己位置推定を行う
情報処理装置。
（１７）
上記（１６）に記載の情報処理装置であって、
上記モニタリング部は、上記移動体の運動モデルを推定し、
上記推定処理部は、上記モニタリング部によって推定された上記運動モデルを用いて、上記移動体の自己位置推定を行う
情報処理装置。
（１８）
上記（１）から（１７）に記載の情報処理装置であって、
上記撮像部と、上記情報を生成可能な検出部と、が設けられ、上記移動体としてのユーザの頭部に装着可能に構成されるヘッドマウントディスプレイを更に具備する
情報処理装置。
（１９）
回転運動を伴った移動を行う移動体に設けられた撮像部によって画像を撮像し、
上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、に含まれる特徴点の対応付けを行い、
上記移動に関する情報を生成し、
上記情報に基づいて、上記移動の前後で、上記移動体から見た上記特徴点の二次元的な位置の変化が小さい領域を推定し、
対応付けられ、かつ、上記領域内にある上記特徴点を用いて、上記移動体の自己位置推定を行う
情報処理方法。
（２０）
情報処理装置に、
回転運動を伴った移動を行う移動体に設けられた撮像部によって撮像された画像を取得し、上記移動の前に撮像された上記画像と、上記移動の後に撮像された上記画像と、に含まれる特徴点の対応付けを行うステップと、
上記移動に関する情報を取得し、上記移動の前後で、上記移動体から見た上記特徴点の二次元的な位置の変化が小さい領域を推定するステップと、
対応付けられ、かつ、上記領域内にある上記特徴点を用いて、上記移動体の自己位置推定を行うステップと
を実行させるプログラム。

１…自己位置推定部
２…トラッキング部
３…領域推定部
４…データ生成部
５…推定処理部
１０…クラウドシステム
３０…携帯端末
５０…コントロールボックス
７０…ヘッドマウントディスプレイ
７２…撮像部
７２ａ，７２ｂ…カメラ
７３…検出部
Ｍ…移動体

Claims (20)

1. 回転運動を伴った移動を行う移動体に設けられた撮像部によって撮像された画像を取得し、前記移動の前に撮像された前記画像と、前記移動の後に撮像された前記画像と、に含まれる特徴点の対応付けを行うトラッキング部と、
   前記移動に関する情報を取得し、前記情報に基づいて、前記移動の前後で、前記移動体から見た前記特徴点の二次元的な位置の変化が小さい領域を推定する領域推定部と、
   前記トラッキング部によって対応付けられ、かつ、前記領域内にある前記特徴点を用いて、前記移動体の自己位置推定を行う推定処理部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記領域推定部は、前記回転運動の回転軸を算出し、前記回転軸を用いて前記領域を推定する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記撮像部は、相互に平行でない光軸を有する複数のカメラ機構を含み、
   前記領域推定部は、前記複数のカメラ機構のうち、前記回転軸との間に成す角度が小さい前記光軸を有するカメラ機構を選択し、
   前記推定処理部は、前記領域推定部によって選択された前記カメラ機構によって撮像された前記画像に含まれる前記特徴点を用いて、前記移動体の自己位置推定を行う
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記トラッキング部によって対応付けられた前記特徴点のうち、前記領域推定部によって選択された前記カメラ機構によって撮像された前記画像に含まれる前記特徴点を抽出するデータ生成部を更に具備し、
   前記推定処理部は、前記データ生成部によって抽出された前記特徴点を用いて、前記移動体の自己位置推定を行う
   情報処理装置。
5. 請求項３に記載の情報処理装置であって、
   前記トラッキング部は、前記領域推定部によって選択された前記カメラ機構によって撮像された前記画像に含まれる特徴点の対応付けを行う
   情報処理装置。
6. 請求項２に記載の情報処理装置であって、
   前記領域推定部は、前記回転軸が前記領域を通るように、前記領域を推定する
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記撮像部の視野角が９０°以上である
   情報処理装置。
8. 請求項６に記載の情報処理装置であって、
   前記画像の処理領域を前記領域内に限定するデータ生成部を更に具備し、
   前記推定処理部は、前記処理領域に含まれる前記特徴点を用いて、前記移動体の自己位置推定を行う
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記データ生成部は、前記トラッキング部によって対応付けられた前記特徴点のうち、前記処理領域に含まれる前記特徴点を抽出し、
   前記推定処理部は、前記データ生成部によって抽出された前記特徴点を用いて、前記移動体の自己位置推定を行う
   情報処理装置。
10. 請求項８に記載の情報処理装置であって、
    前記トラッキング部は、前記処理領域に含まれる特徴点の対応付けを行う
    情報処理装置。
11. 請求項８に記載の情報処理装置であって、
    前記領域推定部は、前記回転運動の角速度が大きい場合に、前記処理領域を大きくする
    情報処理装置。
12. 請求項８に記載の情報処理装置であって、
    前記領域推定部は、前記移動が並進運動を伴う場合に、前記処理領域を大きくする
    情報処理装置。
13. 請求項１に記載の情報処理装置であって、
    前記トラッキング部は、対応付けた前記特徴点ごとに、前記移動の前に撮像された前記画像と、前記移動の後に撮像された前記画像と、における前記特徴点の一致度合いを示すトラッキングスコアを設定し、
    前記推定処理部は、前記トラッキングスコアが高い前記特徴点を用いて、前記移動体の自己位置推定を行う
    情報処理装置。
14. 請求項１３に記載の情報処理装置であって、
    前記トラッキング部は、前記移動の前に撮像された前記画像と、前記移動の後に撮像された前記画像と、のうち少なくとも一方の中央領域にある前記特徴点の前記トラッキングスコアを高く設定する
    情報処理装置。
15. 請求項１に記載の情報処理装置であって、
    前記情報は、ジャイロセンサ、地磁気センサ、加速度センサ、音源方向推定装置、及びＷｉ−Ｆｉのうちの少なくとも１つを用いて生成される
    情報処理装置。
16. 請求項１に記載の情報処理装置であって、
    前記情報により前記移動体のモニタリングを行うモニタリング部を更に具備し、
    前記推定処理部は、前記自己位置推定とは独立して、前記モニタリング部による前記モニタリングの結果に基づいて、前記移動体の自己位置推定を行う
    情報処理装置。
17. 請求項１６に記載の情報処理装置であって、
    前記モニタリング部は、前記移動体の運動モデルを推定し、
    前記推定処理部は、前記モニタリング部によって推定された前記運動モデルを用いて、前記移動体の自己位置推定を行う
    情報処理装置。
18. 請求項１に記載の情報処理装置であって、
    前記撮像部と、前記情報を生成可能な検出部と、が設けられ、前記移動体としてのユーザの頭部に装着可能に構成されるヘッドマウントディスプレイを更に具備する
    情報処理装置。
19. 回転運動を伴った移動を行う移動体に設けられた撮像部によって画像を撮像し、
    前記移動の前に撮像された前記画像と、前記移動の後に撮像された前記画像と、に含まれる特徴点の対応付けを行い、
    前記移動に関する情報を生成し、
    前記情報に基づいて、前記移動の前後で、前記移動体から見た前記特徴点の二次元的な位置の変化が小さい領域を推定し、
    対応付けられ、かつ、前記領域内にある前記特徴点を用いて、前記移動体の自己位置推定を行う
    情報処理方法。
20. 情報処理装置に、
    回転運動を伴った移動を行う移動体に設けられた撮像部によって撮像された画像を取得し、前記移動の前に撮像された前記画像と、前記移動の後に撮像された前記画像と、に含まれる特徴点の対応付けを行うステップと、
    前記移動に関する情報を取得し、前記情報に基づいて、前記移動の前後で、前記移動体から見た前記特徴点の二次元的な位置の変化が小さい領域を推定するステップと、
    対応付けられ、かつ、前記領域内にある前記特徴点を用いて、前記移動体の自己位置推定を行うステップと
    を実行させるプログラム。

Images