JP2023114238A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】撮影画像を用いて対象物の位置や姿勢を正確に追跡し続ける。【解決手段】画像生成装置は、ヘッドマウントディスプレイを装着したユーザの周囲空間の撮影画像に基づき、Visual SLAMによりヘッドマウントディスプレイの状態を追跡する。（ａ）のプレイエリアの設定時、現フレームとの照合に用いるキーフレームを決定し（Ｓ５０）、その一部を破棄不可に分類する（Ｓ５２）。（ｂ）のアプリケーションの実行時、保存されたキーフレームデータを読み出し、追跡に用いる（Ｓ６０）。ユーザの移動に伴いキーフレームを追加するとともに、破棄可とされたキーフレームのデータを破棄していく（Ｓ６４）。【選択図】図１４

Description

本発明は、撮影画像に基づき対象物の状態を特定する情報処理装置および情報処理方法に関する。

ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（ＶＲ：Virtual Reality）を実現する電子コンテンツが知られている。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

自由な動きが許容される物体の位置や姿勢を追跡し、それに対応する情報処理を行う技術は、ヘッドマウントディスプレイに限らず、自律移動ロボットや自動車など各種分野で必要とされている（例えば特許文献１参照）。

特開２０１９－１４９６２１号公報

ヘッドマウントディスプレイを装着し実空間の状況が見えないユーザが、周囲の物と衝突の危険なくコンテンツを楽しむためには、周囲の物とユーザとの位置関係を精度よく特定し、然るべき警告や移動制限を提示できるようにすることが望ましい。このような危険の回避や正しい移動方向への誘導は、上述のとおり多様な分野で必要とされる。ヘッドマウントディスプレイの場合はさらに、ユーザの動きに応じて視野を変化させるＶＲ技術などにおいて、表示世界に対する没入感や臨場感を高めるためにも、ユーザ頭部の位置や姿勢を正確に把握し続けることが求められる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて対象物の位置や姿勢を正確に追跡し続けることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、撮影中の動画像の最新フレームから特徴点を抽出し、照合先の過去のフレームにおける対応する特徴点と、それらが表す被写体上のポイントとの関係に基づき、動画像を撮影しているカメラを搭載した装置の位置および姿勢の状態情報を取得する状態情報取得部と、最新フレームのうち所定の条件を満たしたフレームを、過去のフレームの基準として用いるキーフレームに定め、異なる破棄規則が設定された複数のグループのいずれかに分類して登録したうえ、破棄規則にしたがい登録済みのキーフレームのデータのいずれかを破棄する登録情報生成部と、キーフレームのデータを、分類の情報とともに格納する登録情報記憶部と、を備えたことを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、撮影中の動画像の最新フレームから特徴点を抽出し、照合先の過去のフレームにおける対応する特徴点と、それらが表す被写体上のポイントとの関係に基づき、動画像を撮影しているカメラを搭載した装置の位置および姿勢の状態情報を取得するステップと、最新フレームのうち所定の条件を満たしたフレームを、過去のフレームの基準として用いるキーフレームに定め、異なる破棄規則が設定された複数のグループのいずれかに分類して登録するステップと、破棄規則にしたがい登録済みのキーフレームのデータのいずれかを破棄するステップと、キーフレームのデータを、分類の情報とともに記憶装置に格納するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮影画像を用いて対象物の位置や姿勢を正確に追跡し続けることができる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。 本実施の形態における画像表示システムの構成例を示す図である。 本実施の形態において画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 Visual SLAMの原理を概説するための図である。 本実施の形態における画像生成装置の内部回路構成を示す図である。 本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態における画像生成装置の機能ブロックを示すブロック図である。 本実施の形態においてステレオカメラにより撮影されたフレームの画像と、それから得られるキーフレームのデータ例を示す図である。 本実施の形態において登録情報記憶部に格納される登録情報のデータ構造を例示する図である。 本実施の形態においてキーフレームの空間網羅性を評価するための、空間の区分け例を示す図である。 本実施の形態において画像生成装置がプレイエリアを設定する処理手順を示すフローチャートである。 図１１のＳ１４～Ｓ１８の処理の期間における、ヘッドマウントディスプレイの状態変化の例を表す俯瞰図である。 本実施の形態において画像生成装置がアプリケーションを実行する処理手順を示すフローチャートである。 本実施の形態におけるキーフレームの変遷を例示する図である。

本実施の形態は、カメラを搭載した移動体の位置や姿勢を、当該カメラによる撮影画像を解析することによって特定する技術に関する。その限りにおいて、移動体の種類は特に限定されないが、以後、代表的な例として、ヘッドマウントディスプレイについて説明する。なお以後の説明では、ヘッドマウントディスプレイの位置および姿勢の少なくともいずれかを、ヘッドマウントディスプレイの「状態」と総称する場合がある。

図１は、ヘッドマウントディスプレイ１００の外観例を示す。この例でヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。この例でヘッドマウントディスプレイ１００の表示パネルは、透過性がないものとする。すなわちヘッドマウントディスプレイ１００は、光不透過型のヘッドマウントディスプレイである。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ヘッドマウントディスプレイ１００は、モーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

また、ヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（ＡＲ：Augmented Reality）を実現できる。

図２は、本実施の形態の画像表示システムの構成例を示す。画像表示システム１０は、ヘッドマウントディスプレイ１００、画像生成装置２００、コントローラ１４０を備える。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションのデータを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００の位置や姿勢に基づき、それを装着したユーザの視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する情報処理装置である。例えば、画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために動画像を表示させてもよい。また、ユーザの視点を中心に広い画角のパノラマ画像をヘッドマウントディスプレイ１００に表示させることによって、表示世界への深い没入感をユーザに与えることができる。なお、画像生成装置２００は、据置型ゲーム機であってもよく、ＰＣであってもよい。

コントローラ１４０は、ユーザの手に把持され、画像生成装置２００における画像生成や、ヘッドマウントディスプレイ１００における画像表示を制御するためのユーザの操作が入力されるコントローラ（例えばゲームコントローラ）である。コントローラ１４０は、無線通信により画像生成装置２００に接続される。変形例として、ヘッドマウントディスプレイ１００とコントローラ１４０の一方、または両方は、信号ケーブル等を介した有線通信により画像生成装置２００に接続されてもよい。

図３は、画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例では、ユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には、図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は、当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

画像生成装置２００は、ヘッドマウントディスプレイ１００の状態を所定のレートで取得し、これに応じてビュースクリーン１４の位置や姿勢を変化させる。これにより、ユーザの視線に対応する視野で画像をヘッドマウントディスプレイ１００に表示させることができる。また、画像生成装置２００は、視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００の表示パネルの左右の領域にステレオ画像を表示させれば、仮想空間をユーザ１２に立体視させることもできる。これにより、ユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

本実施の形態で画像生成装置２００は、ヘッドマウントディスプレイ１００の状態、ひいてはそれを装着したユーザ頭部の位置や姿勢を、少なくともステレオカメラ１１０による撮影画像に基づき逐次取得する。取得した情報は、ビュースクリーン１４の設定に利用できるほか、ユーザが移動可能な実世界の範囲を規定するプレイエリアの設定にも利用できる。プレイエリアは、ヘッドマウントディスプレイ１００により仮想世界を見ているユーザが動き回ることのできる実世界の範囲であり、例えば周囲の物に衝突することなく安全な移動が保証される範囲である。

カメラが搭載された移動体の自己位置推定と環境地図の作成を、撮影画像を用いて同時に行う技術として、Visual SLAM(Simultaneous Localization and Mapping)が知られている。図４はVisual SLAMの原理を概説するための図である。カメラ２２は移動体に設けられ、視野範囲の実空間２６を、位置や姿勢を変えながら動画撮影している。ここで、ある時刻で撮影されたフレーム２０ａと、時間Δｔ後に撮影されたフレーム２０ｂで、同じ被写体上のポイント２４を表す特徴点２８ａ、２８ｂが抽出されたとする。

各フレーム平面における、対応する特徴点２８ａ、２８ｂ（以後、「対応点」と呼ぶ場合がある）の位置座標のずれは、時間Δｔにおけるカメラ２２の位置と姿勢の変化に依存する。具体的には、カメラ２２の回転運動および並進運動による変化分を表す行列をそれぞれＲ、Ｔとし、各時刻のカメラ２２からポイント２４までの３次元ベクトルをＰ１、Ｐ２とすると、次の関係式が成り立つ。
Ｐ１＝Ｒ・Ｐ２＋Ｔ

この関係を利用し、時間的に前後する２つのフレームにおける対応点を複数抽出して連立方程式を解くことにより、その間のカメラ２２の位置と姿勢の変化を特定できる。また導出結果の誤差を再帰的計算で最小化する処理により、ポイント２４など、実空間２６における被写体表面の３次元情報を正確に構築できる。なおカメラ２２をステレオカメラ１１０とすると、ポイント２４等の３次元位置座標は、各時刻で独立して求められるため、対応点の抽出などの演算がより容易になる。

ただしカメラ２２を単眼のカメラとする場合であっても、Visual SLAMのアルゴリズムは確立されている。したがってヘッドマウントディスプレイ１００の状態を追跡する目的においては、ヘッドマウントディスプレイ１００が備えるカメラはステレオカメラ１１０に限定されない。またVisual SLAMのアルゴリズムは多数、提案されており、そのいずれを採用しても構わない。いずれにしろ図示する原理によれば、動画像のフレームレートと同じレートで、前の時刻からのカメラ２２の状態変化を導出できるが、この情報は相対的なものである。

そのため同じ処理を繰り返し行い、導出した状態変化を前の時刻で得られた状態に加算していくうちに誤差が蓄積していき、時間経過とともに追跡精度が悪化したり、最終的には追跡が破綻したりすることが考えられる。そこで、カメラ２２の状態を特定済みの、過去のフレームの特徴点を、当該カメラ２２の状態と対応づけて保存しておく。そして現フレーム（最新フレーム）の特徴点との照合に用いることにより、所定のタイミングで誤差の蓄積を解消する。つまり過去の状態情報を基準とし、そこからの変化としてカメラ２２の状態を取得するタイミングを定常的に設けることにより、その間に発生した誤差をキャンセルする。

これにより、追跡が長期化しても誤差の増大を抑えることができる。このように状態変化の基準に用いるフレームを「キーフレーム」と呼ぶ。キーフレームを照合先に用いてカメラ２２の状態を取得した場合、その時刻のフレーム（現フレーム）自体もまたキーフレームとして機能し得る。現フレームとの照合により、キーフレームとの対応点を必要数、得るには、現フレームを撮影しているカメラ２２の状態になるべく近い状態で得られたキーフレームを確保しておくことが望ましい。

換言すれば、カメラ２２の状態を精度よく追跡しつづけるには、カメラ２２を備える移動体に許容される移動範囲が広いほど、多くのキーフレームを確保しておく必要がある。一方で、運用時などに移動体の移動に応じて高頻度でキーフレームを保存していくと、いずれは記憶領域が枯渇する。そのため、例えば古いキーフレームからデータを破棄していくことが考えられるが、この場合、キーフレームが確保されているカメラ２２の状態に偏りが生じ得る。例えばカメラ２２の位置や向きが大きく変化しない状態が長期化すると、その位置や向きを表すキーフレームばかりが残ることになる。

すると、カメラ２２が急に向きを変えたりそれまでの傾向と異なる方向に移動したりした場合、十分な対応点を有するキーフレームが存在せず、照合に失敗する恐れがある。初期処理として、移動範囲を完全に網羅するように、多様なキーフレームをあらかじめ取得しておき、後の処理ではキーフレームを変化させずにカメラ２２の状態を追跡することも考えられる。しかしながらヘッドマウントディスプレイ１００の場合は特に、条件を満足するキーフレームが得られるまでユーザが動く必要があり、多大な手間となる。

本実施の形態では、プレイエリアの設定時やアプリケーションの実行時に、状態情報の取得とともにキーフレームを取得することを基本とする。そして取得したキーフレームを、異なる破棄規則が設定された複数のグループに分類する。最も単純には、破棄を不可とするキーフレームと、破棄を許容するキーフレームとに分ける。例えば前者として、カメラ２２が向き得る方向を網羅する複数の状態のそれぞれについて、キーフレームを１つずつ選択する。

これにより、カメラ２２の向きがどのように変化しても、その状態に近いキーフレームを照合先として選択できる。そのようなキーフレームを最低限、確保しておけば、それ以外は、現状に近い状態で得られたキーフレームに偏っていても、カメラ２２の状態を精度よく取得できる。つまりそのようなキーフレームは、古い順に破棄しても構わないことになる。なお一旦決定した分類はそのまま固定としてもよいし、状況に応じて更新してもよい。具体例は後述する。

図５は、画像生成装置２００の内部回路構成を示す。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェース２２８が接続される。入出力インターフェース２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８、記録媒体駆動部２４０が接続される。

通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ヘッドマウントディスプレイ１００へのデータを出力する。入力部２３８は、ヘッドマウントディスプレイ１００からのデータ入力を受け付け、また、コントローラ１４０からのデータ入力を受け付ける。記録媒体駆動部２４０は、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばＶＲゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２は、ＣＰＵ１２０における処理に必要なプログラムやデータを格納する。

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。

ステレオカメラ１１０は、図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像された動画像のフレームには、ユーザの視線方向（典型的にはユーザの正面）に存在する物体が映る。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像のデータは、必要に応じて、通信部１３２を介して画像生成装置２００へ送信される。

図７は、画像生成装置の機能ブロックを示すブロック図である。上述したように、画像生成装置２００は、電子ゲームの進行やサーバとの通信等、一般的な情報処理を実行するが、図７では主に、ヘッドマウントディスプレイ１００の状態情報を取得する機能と、状態情報を利用して実現される機能を示している。なお、図７に示す画像生成装置２００の機能のうち少なくとも一部は、ネットワークを介して画像生成装置２００に接続されたサーバに実装されてもよい。また画像生成装置２００の機能のうち、撮影画像からヘッドマウントディスプレイ１００の状態情報を取得する機能は、別途、情報処理装置として実現してもよいし、ヘッドマウントディスプレイ１００自体に実装されていてもよい。

また、図７に示す複数の機能ブロックは、ハードウェア的には、図５に示したＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、記憶部２３４等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、データ処理部２５０とデータ記憶部２５２を備える。データ処理部２５０は、各種のデータ処理を実行する。データ処理部２５０は、図５に示した通信部２３２、出力部２３６、入力部２３８を介して、ヘッドマウントディスプレイ１００およびコントローラ１４０とデータを送受信する。データ記憶部２５２は、図５に示した記憶部２３４により実現され、データ処理部２５０により参照または更新されるデータを記憶する。すなわちデータ記憶部２５２は、不揮発性の記憶装置として機能する。

データ記憶部２５２は、Ａｐｐ記憶部２５４、プレイエリア記憶部２５６、登録情報記憶部２５８を備える。Ａｐｐ記憶部２５４は、例えばＶＲゲームなど画像表示を伴うアプリケーションの実行に必要な、プログラムやオブジェクトモデルのデータなどを記憶する。プレイエリア記憶部２５６は、プレイエリアに関するデータを記憶する。プレイエリアに関するデータは、プレイエリアの境界を構成する点群の位置を示すデータ（例えばワールド座標系における各点の座標値）を含む。

登録情報記憶部２５８は、ヘッドマウントディスプレイ１００、ひいてはヘッドマウントディスプレイ１００を装着したユーザ頭部の位置や姿勢を取得するための登録データを記憶する。具体的には登録情報記憶部２５８は、上述したキーフレームのデータと、３次元実空間における物体表面の構造を表す環境地図（以後、「マップ」と呼ぶ）のデータとを対応づけて記憶する。

マップデータは例えば、ユーザがＶＲゲームをプレイする部屋を構成する物体表面上のポイント群の、３次元位置座標の情報であり、各ポイントは、キーフレームから抽出された特徴点に対応づけられる。キーフレームのデータは、それを取得した際のステレオカメラ１１０の状態と対応づけられる。

データ処理部２５０は、システム部２６０、Ａｐｐ実行部２９０、表示制御部２９２を備える。これら複数の機能ブロックの機能は、コンピュータプログラムに実装されてもよい。画像生成装置２００のＣＰＵ２２２とＧＰＵ２２４は、上記コンピュータプログラムを記憶部２３４や記録媒体からメインメモリ２２６に読み出して実行することにより上記複数の機能ブロックの機能を発揮してもよい。

システム部２６０は、ヘッドマウントディスプレイ１００に関するシステムの処理を実行する。システム部２６０は、ヘッドマウントディスプレイ１００用の複数のアプリケーション（例えばＶＲゲーム）に対して共通のサービスを提供する。システム部２６０は、撮影画像取得部２６２、画像解析部２７２、およびプレイエリア制御部２６４を含む。

撮影画像取得部２６２は、ヘッドマウントディスプレイ１００から送信された、ステレオカメラ１１０による撮像画像のフレームデータを順次取得する。撮影画像取得部２６２がデータを取得する頻度は、ステレオカメラ１１０のフレームレートと同じであってもよいし、それより低くてもよい。

画像解析部２７２は、上述したVisual SLAMの手法により、ヘッドマウントディスプレイ１００の状態情報を逐次取得する。ヘッドマウントディスプレイ１００の状態情報は、ＶＲゲームなどアプリケーションの実行に先立ち、プレイエリアの設定や再設定に用いられる。状態情報はまた、アプリケーションの実行時におけるビュースクリーンの設定や、プレイエリア境界へのユーザの接近に対する警告などに用いられる。したがって画像解析部２７２は、取得した状態情報を、そのときの状況に応じて、プレイエリア制御部２６４、Ａｐｐ実行部２９０、表示制御部２９２に適宜供給する。

詳細には画像解析部２７２は、登録情報生成部２７４と状態情報取得部２７６を備える。登録情報生成部２７４は、撮影画像取得部２６２により取得された撮影画像のフレームのデータに基づき、キーフレームデータとマップデータからなる登録情報を生成する。登録情報生成部２７４は最終的に、生成した登録情報を登録情報記憶部２５８に格納し、後の任意のタイミングで読み出せるようにする。

状態情報取得部２７６は、撮影画像取得部２６２により取得された撮影画像の各フレームのデータと、登録情報とに基づき、ヘッドマウントディスプレイ１００の状態、すなわち位置と姿勢の情報を各時刻で取得する。登録情報は、登録情報生成部２７４が生成中のものであってもよいし、登録情報生成部２７４が登録情報記憶部２５８から読み出したものであってもよい。状態情報取得部２７６は、ヘッドマウントディスプレイ１００が内蔵するモーションセンサ１３４による計測値と統合して状態情報としてもよい。

登録情報生成部２７４は、状態情報取得部２７６がヘッドマウントディスプレイ１００の状態を取得するために用いたフレームのうち、所定の基準を満たすフレームを抽出し、新たなキーフレームとして保存してよい。この際、登録情報生成部２７４は所定の基準に基づき、異なる破棄規則が設定された複数のグループのいずれかにキーフレームを分類する。

また登録情報生成部２７４は必要に応じて、各グループに設定された破棄規則に従って選択した、保存済みのキーフレームのデータを破棄する。例えば登録情報生成部２７４は、キーフレームのデータサイズが上限に達し、新たなキーフレームを保存できないとき、ＦＩＦＯ（First-In First-Out）での破棄規則が設定されたグループにおいて、最も先に登録されたキーフレームから順に破棄する。

登録情報生成部２７４はまた、破棄を不可とするグループに属するキーフレームが所定数、保存できたら、当該グループを構成するキーフレームを確定させ、以後のキーフレームは全て、破棄を許可するグループに分類してもよい。いずれにしろキーフレームの廃棄規則に差を設けることにより、状態情報の取得に必要なキーフレームを確保しつつ、登録情報記憶部２５８が容量不足にならないように制御する。

プレイエリア制御部２６４は、ユーザが安全に移動できる実空間の領域をプレイエリアとして設定したうえ、アプリケーションの実行段階において、その境界にユーザが接近した際などに適宜警告を提示する。そのいずれの段階においても、プレイエリア制御部２６４は、画像解析部２７２からヘッドマウントディスプレイ１００の状態情報を逐次取得し、それに基づき処理を行う。

例えばプレイエリアを設定する際、プレイエリア制御部２６４は、ヘッドマウントディスプレイ１００を装着したユーザに、周囲を見回すように指示を出す。これにより、ユーザの周囲にある家具、壁、床などの実物体が、ステレオカメラ１１０により撮影される。画像解析部２７２は、当該撮影画像のフレームを順次取得し、それに基づき登録情報を生成する。プレイエリア制御部２６４は、当該登録情報のうちマップデータを参照し、家具や壁などに衝突しない床面の範囲をプレイエリアとして自動で決定する。

プレイエリア制御部２６４は、一旦決定したプレイエリアの境界を表す画像を、ヘッドマウントディスプレイ１００に表示させることにより、ユーザによるプレイエリアの編集操作を受け付けてもよい。この場合、プレイエリア制御部２６４は、コントローラ１４０を介したユーザ操作の内容を取得し、それに応じてプレイエリアの形状を変更する。プレイエリア制御部２６４は、決定したプレイエリアに関するデータを最終的にプレイエリア記憶部２５６に格納する。

なお画像解析部２７２の登録情報生成部２７４は、プレイエリアの設定中に保存したキーフレーム、あるいは当該キーフレームから所定の基準により選択したキーフレームを、破棄不可のキーフレームとしてもよい。上述のとおりプレイエリアの設定においては、意図的にユーザの周囲を網羅するように撮影がなされるため、状態に偏りのないキーフレームが得られやすいためである。

Ａｐｐ実行部２９０は、ユーザにより選択されたＶＲゲームなどのアプリケーションのデータをＡｐｐ記憶部２５４から読み出して実行する。この際、Ａｐｐ実行部２９０は、ヘッドマウントディスプレイ１００の状態情報を画像解析部２７２から逐次取得し、それに対応する位置および姿勢でビュースクリーンを設定し表示画像を描画する。これにより、ユーザ頭部の動きに応じた視野で表示対象の世界を表すことができる。

表示制御部２９２は、Ａｐｐ実行部２９０により生成された様々な画像、例えばＶＲ画像やＡＲ画像のフレームのデータを、ヘッドマウントディスプレイ１００へ順次送信する。表示制御部２９２はまた、プレイエリアの設定に際し、周囲を見回すようユーザに指示を与える画像、仮に決定したプレイエリアの様子を表して編集を受け付ける画像、プレイエリアの境界への接近を警告する画像、などを必要に応じてヘッドマウントディスプレイ１００へ送信する。

図８は、ステレオカメラ１１０により撮影されたフレームの画像と、それから得られるキーフレームのデータ例を示す。なお実際には各フレームについて、ステレオカメラ１１０で撮影された画像の対が得られるが、図ではその一方のみを模式的に示している。状態情報取得部２７６は、フレーム画像４０に含まれる複数の特徴点を、コーナー検出法や輝度の勾配に基づく手法など公知の手法を用いて抽出する。上述のとおり、これを前の時刻のフレーム画像と照合して対応点を得ることにより、フレーム画像４０を撮影したときの、ステレオカメラ１１０の状態情報が特定される。

一方、登録情報生成部２７４は、１枚のフレーム画像４０から所定数以上、例えば２４個以上の特徴点が抽出された場合、それをキーフレームとする。特徴点が多いフレームは、他のフレームとの照合で対応点を検出しやすいためである。ただしキーフレームの選択基準は特徴点の数に限らず、撮影された際のステレオカメラ１１０の状態にしきい値以上の差があるフレーム画像などであってもよいし、複数の基準を組み合わせてもよい。

登録情報生成部２７４は、選択したフレーム画像４０から抽出された特徴点（例えば特徴点４４）の、画像平面における位置座標と、その周囲の所定範囲の画像とで構成されるキーフレーム４２のデータを生成する。登録情報生成部２７４はさらに、それが撮影されたときのステレオカメラ１１０の状態情報を対応づけ、最終的なキーフレームデータとする。ただしキーフレームデータの構成要素をこれらに限る主旨ではない。

図９は、登録情報記憶部２５８に格納される登録情報のデータ構造を例示している。登録情報は、１つのマップデータ７０に複数のキーフレームデータ７２ａ、７２ｂ、７２ｃ、７２ｄ、・・・を対応づけた構造を有する。図ではマップデータ７０を「ＭＡＰ１」、キーフレームデータ７２ａ、７２ｂ、７２ｃ、７２ｄ、・・・を「ＫＦ１」、「ＫＦ２」、「ＫＦ３」、「ＫＦ４」、・・・と表記しているが、それぞれが下に例示するような構造を有する。

マップデータ７０は、マップに一意に与えられた識別情報である「マップＩＤ」と、マップを構成する「ポイント情報」の羅列で構成される。ポイント情報は、ポイントごとに、一意に与えられた識別情報である「ポイントＩＤ」と、その３次元空間での位置座標（図では「３Ｄ位置座標」と表記）を対応づけたデータである。

またキーフレームデータ７２ａ、７２ｂ、７２ｃ、７２ｄ、・・・はそれぞれ、キーフレームに一意に与えられた識別情報である「キーフレームＩＤ」と、それが取得されたときのステレオカメラ１１０の位置姿勢である「カメラ状態情報」と、その「取得時刻」と、キーフレームを構成する「特徴点情報」の羅列で構成される。ここでカメラ状態情報は、例えば初期状態を基準として、Visual SLAMで得られた相対的な状態として表してもよいし、ヘッドマウントディスプレイ１００が内蔵するモーションセンサ１３４による計測値とVisual SLAMによる結果を統合して得られた絶対的な値を採用してもよい。

特徴点情報は図８のキーフレーム４２で示したデータに対応し、抽出された特徴点の画像平面における位置座標（図では「２Ｄ位置座標」と表記）と、その周囲の所定サイズの画像を対応づけたデータである。各特徴点にはさらに、それが表す３次元空間でのポイントの識別情報である「ポイントＩＤ」を対応づける。

なお登録情報のデータ構造は図示するものに限らず、現フレームとの照合において効率的に対応点を抽出したり、マップの精度を高めたりできる補助的な情報を適宜含めてよい。また登録情報記憶部２５８には、複数のマップデータ７０について同様の構造で登録情報を格納してよい。例えばユーザがゲームをプレイする場所が複数ある場合、プレイエリア制御部２６４がそれぞれの場所でプレイエリアを設定するとともに、登録情報生成部２７４が個別に登録情報を取得して格納しておく。

この場合、登録情報にはさらに、場所の識別情報を対応づけておく。画像解析部２７２は、ユーザがゲームプレイの開始時などに入力した、場所の情報を取得し、それに対応する登録情報を読み出して、ヘッドマウントディスプレイ１００の状態情報取得に用いる。登録情報生成部２７４はそのほか、同じ場所でも家具の配置を変えたときや、時間帯によって照明環境が異なる場合、各状態に対して登録情報を生成しておいてよい。

いずれにしろ登録情報生成部２７４は、それぞれの登録情報において、「グループＡ」、「グループＢ」、・・・といったように、所定の基準により分類した状態でキーフレームデータ７２ａ、７２ｂ、７２ｃ、７２ｄ、・・・を格納する。登録情報生成部２７４は内部のメモリに、各グループに設定された、キーフレームの破棄規則を保持している。例えば２つのグループとし、一方を破棄不可、他方をＦＩＦＯでの破棄としてもよい。

この場合、登録情報生成部２７４は、まずユーザが向き得る方向を網羅する複数の状態のそれぞれにおいて得られたキーフレームを一通り前者に分類し、以後、重複する状態で得られたキーフレームを後者に分類する。あるいはキーフレームの「質」を評価し、それを複数段階に分けたものをグループとしてもよい。例えば「質」を３段階に分け、最も質が低いグループに属するキーフレームを優先して破棄する。最も質が高いグループは破棄不可とし、中間の質のグループは、特定の条件を満たした時に破棄する。

新たに得られたキーフレームと既存のキーフレームの「質」を比較して、適宜、既存のキーフレームの所属先グループを変更してもよい。ここで「質」が高いキーフレームとは、他と所定値以上差がある状態で撮影されたキーフレーム、特徴点の数が多いキーフレーム、取得時刻が新しいキーフレーム、照合に用いられた回数が多いキーフレーム、などである。そのいずれかを分類の指標としてもよいし、それらの２つ以上を組み合わせて分類の根拠としてもよい。

例えばそれらの観点でキーフレームをスコアづけし、その合計スコアの範囲によって分類してもよい。これにより、概ね質が低い順にキーフレームのデータが破棄される。なお照合に用いられた回数を分類の指標に用いる場合、登録情報生成部２７４は、図示するキーフレームデータの構造に、さらに照合回数を記録していく。なおキーフレームを分類するグループの数、分類する基準、グループに与える破棄規則は様々に考えられ、アプリケーションの特性やシステムの規模等によって最適化してよい。

図１０は、キーフレームの空間網羅性を評価するための、空間の区分け例を示している。ここでキーフレームの空間網羅性とは、ヘッドマウントディスプレイ１００がとり得る全状態に対し、各キーフレームが撮影された際のヘッドマウントディスプレイ１００の状態の分布がおよぶ範囲の広さを指す。

図では３パターンの区分け例を示しており、いずれも、プレイエリア設定開始時など基準状態におけるユーザの位置を中心とし、重力方向を軸としたヨー（Ｙａｗ）方向で等分割した例である。パターン５０は、中心角９０度で４分割してなる区分けエリアで構成される。パターン５２は、パターン５０に対して、ユーザの向く方向を基準に位相を４５度ずらした区分けエリアで構成される。パターン５４は、中心角２２．５度で１６分割してなる区分けエリアで構成される。

登録情報生成部２７４は、パターン５０、５２、５４の少なくともいずれかの区分けエリアをビンとして、キーフレームの条件を満たすフレームによりカバーされる範囲を評価する。具体的には登録情報生成部２７４は、キーフレームが撮影された際のステレオカメラ１１０の方向が、区分けエリアのどれに属するかを特定することで、当該キーフレームによりその区分けエリアがカバーされたと判定する。そして、キーフレームによりカバーされた区分けエリアの個数の合計をカウントする。

例えば図示する３つの区分けパターンを全て用いる場合、キーフレームによりカバーされた区分けエリアの個数の合計に対ししきい値「１０」を設定する。パターン５４のみを用いる場合、例えばしきい値「８」を設定する。これらの値は、ヘッドマウントディスプレイ１００を装着したユーザが、自身の周囲１８０度をぐるりと見渡せばクリアできる値であるが、ユーザが周囲を見渡さない場合にはクリアできない値として定められたものである。

ただしアプリケーション実行時にユーザが向き得る方向の広さなどによって、用いる区分けパターンやしきい値は様々に設定してよい。例えば中心角は等分割しなくてもよい。キーフレームによりカバーされた区分けエリアの個数がしきい値に達したら、登録情報生成部２７４はキーフレームが空間を網羅したと判断する。そして登録情報生成部２７４は例えば、区分けエリアを最初にカバーしたキーフレームを、破棄不可のグループに分類する。これと同時にプレイエリア制御部２６４は、その時点で構築済みのマップを用いて、プレイエリアの形状を最終決定してもよい。

このような評価により破棄不可のキーフレームを選択することにより、キーフレームの状態が極力分散され、少ない数で広範囲を網羅できる。登録情報生成部２７４は、以降、得られたキーフレームを、破棄を許可するグループに分類する。あるいは同じ区分けエリアに対し新たに得られたキーフレームの質がより高ければ、既存の破棄不可のキーフレームと入れ替える。

なお区分けパターンはヨー方向の分割に限らず、仰角を決定づけるピッチ（Ｐｉｔｃｈ）方向での分割や、ユーザの前後左右など並進方向での分割でもよいし、それらを組み合わせて複数方向に分割してもよい。ただし最も多くのバリエーションで特徴点の情報が得られる、ヨー方向の分割で網羅性を評価すれば、破棄を不可とするキーフレームの数が少なくても、現フレームと照合できるフレームが存在しない状況を回避しやすくなる。

次に、以上の構成による画像表示システムの動作を説明する。図１１は、画像生成装置２００がプレイエリアを設定する処理手順を示すフローチャートである。ユーザは、ヘッドマウントディスプレイ１００のシステムの設定メニューの中で、プレイエリアの初期設定または再設定を選択可能である。プレイエリアの初期設定または再設定が選択された場合、画像生成装置２００の撮影画像取得部２６２は、ヘッドマウントディスプレイ１００と通信を確立し、ステレオカメラ１１０が撮影するフレームのデータ取得を開始する（Ｓ１０）。

次にプレイエリア制御部２６４は、表示制御部２９２を介して、ステレオカメラ１１０の状態を変化させるようユーザに促すメッセージをヘッドマウントディスプレイ１００に表示させる（Ｓ１２）。実際にはプレイエリア制御部２６４は、ヘッドマウントディスプレイ１００を装着したまま周囲を見回すような指示画像を、ヘッドマウントディスプレイ１００に表示させればよい。

そして画像解析部２７２は、そのようにして撮影されたフレーム画像を用いてVisual SLAMを実施し、ユーザのいる空間の登録情報を生成する（Ｓ１４）。具体的には画像解析部２７２は、各フレーム画像から抽出した特徴点の対応を取得し、当該特徴点が表すポイントの３次元位置座標を特定する。また当該位置座標の情報を用いて、ステレオカメラ１１０の状態変化を取得したうえ、それによりポイントを再投影し位置座標の誤差を修正する。これらの過程において、画像解析部２７２は、所定の条件に基づきフレーム画像からキーフレームを選択する。

これと並行してプレイエリア制御部２６４は、ユーザの周囲空間におけるプレイエリアを構築する（Ｓ１６）。例えばプレイエリア制御部２６４は登録情報に含まれるマップデータを用いて、ユーザの部屋の３次元形状を推定する。この際、プレイエリア制御部２６４は、推定した部屋の３次元形状をもとに、モーションセンサ１３４が示す重力方向に対して垂直な平面（典型的には床面）を検出し、検出した同じ高さの複数の平面を合成した結果をプレイエリアとして検出してもよい。

Ｓ１４とＳ１６の処理は、図１０に例示したような空間の区分けに対するキーフレームのカバー率の評価によって、画像解析部２７２が、周囲の空間を網羅するだけのキーフレームが得られたと判断するまで繰り返す（Ｓ１８のＮ、Ｓ１４、Ｓ１６）。これにより、プレイエリアの境界とすべき範囲を抜けなく設定できるとともに、当該プレイエリアに対し十分なマップデータおよびキーフレームデータを準備できる。

キーフレームが周囲の空間を網羅したと判断できたら（Ｓ１８のＹ）、プレイエリア制御部２６４は、プレイエリアの境界を構成する点群の座標値を含むプレイエリアデータをプレイエリア記憶部２５６に格納する（Ｓ２０）。なおプレイエリア制御部２６４は、上述したように、ユーザがプレイエリアを編集する機会を与えたうえで、編集後のデータをプレイエリア記憶部２５６に格納してもよい。

また画像解析部２７２は、図９で示したようなマップデータと複数のキーフレームデータを対応づけて、登録情報記憶部２５８に格納する（Ｓ２２）。この際、画像解析部２７２は、例えば図１０で示した各区分けエリアを最初に埋めたキーフレームを、破棄不可のグループに分類し、それ以外のキーフレームを破棄可のグループに分類して格納する。ただし分類に係る態様が様々に考えられることは上述したとおりである。

図１２は、図１１のＳ１４～Ｓ１８の処理の期間における、ヘッドマウントディスプレイ１００の状態変化の例を表す俯瞰図である。ここでヘッドマウントディスプレイ１００の位置および方向を二等辺三角形（例えば二等辺三角形３２）で表象して示している。二等辺三角形の底辺がステレオカメラ１１０の撮像面に対応する。すなわちヘッドマウントディスプレイ１００、ひいてはユーザの視線は、例えば矢印３４の方向になる。

Ｓ１２で表示された指示に従い、ユーザは、ヘッドマウントディスプレイ１００を頭部に装着して周囲を見回しつつ部屋３０内を移動する。これにより、ヘッドマウントディスプレイの状態が、図示するように変化する。この際、プレイエリア制御部２６４は、ステレオカメラ１１０が撮影している視線方向の動画像を、そのまま表示させるよう、ヘッドマウントディスプレイ１００を制御してもよい。ユーザが向いた方向の実空間の様子をそのままユーザに見せるビデオシースルーにより、ユーザは安全に移動できる。

画像生成装置２００の画像解析部２７２は、当該動画像のフレームに基づき登録情報を生成する。プレイエリア制御部２６４は、それを用いてプレイエリア３６を設定する。なお画像解析部２７２はヘッドマウントディスプレイ１００に、動画像のフレームデータとともに、ヘッドマウントディスプレイ１００の角速度や加速度など、モーションセンサ１３４による計測値を送信させてもよい。これを利用することで、画像解析部２７２は、各時刻におけるステレオカメラ１１０の状態情報を、より正確に特定できる。

図１３は、画像生成装置２００がアプリケーションを実行する処理手順を示すフローチャートである。このフローチャートは、例えばユーザが画像生成装置２００においてアプリケーションを起動することにより開始される。その前提として、少なくとも図１１で示したプレイエリアの設定処理がなされているものとする。まずプレイエリア制御部２６４は、プレイエリア記憶部２５６に格納されたプレイエリアのデータ、例えば、プレイエリアの形状およびサイズを示すデータを読み出す（Ｓ３２）。

また画像解析部２７２は、登録情報記憶部２５８に格納された登録情報を読み出す（Ｓ３４）。登録情報には、それ以前に行われたプレイエリアの設定やアプリケーションの実行により取得済みの、キーフレームデータが含まれる。

続いてＡｐｐ実行部２９０は、Ａｐｐ記憶部２５４からアプリケーションのプログラムデータを読み出し、処理を開始する（Ｓ３６）。例えばＡｐｐ実行部２９０は、ユーザの動きやコントローラ１４０を介したユーザ操作の内容に応じて進捗するＶＲゲームを開始する。これに伴い画像解析部２７２は、ヘッドマウントディスプレイ１００から逐次送信される、ステレオカメラ１１０による撮影画像のフレームを用いてVisual SLAMを実行し、ヘッドマウントディスプレイ１００の状態情報を取得する（Ｓ３８）。

この際、画像解析部２７２は所定周期など定められたタイミングで、Ｓ３４で読み出したキーフレームを、現フレームの照合先として利用する。これにより、フレームデータが十分に得られていない初期段階においても、ヘッドマウントディスプレイ１００の状態を正確に取得できる。特にプレイエリアの設定時に取得したキーフレームを基準とすることにより、プレイエリアに対するユーザの位置を精度よく取得できる。

また画像解析部２７２は、新たに得たフレームがキーフレームの要件を満たすとき、当該フレームについてキーフレームデータを生成し、内部のメモリなどに保存しておく。この際、全キーフレームデータの合計サイズが、登録情報記憶部２５８の対応する記憶領域の容量を超えるなど、データ破棄の条件を満たしたら、画像解析部２７２は、破棄を許可するグループからキーフレームを選択して破棄する。

例えば画像解析部２７２は、当該グループのうち、取得時刻が古いキーフレーム、照合先とされた回数が少ないキーフレーム、現在のステレオカメラ１１０の状態から遠い状態で得られたキーフレームなど、所定の指標により破棄するキーフレームを決定する。また画像解析部２７２は、新たなキーフレームの分類を所定の基準により決定する。新たなキーフレームの登録により、既存のキーフレームの所属先のグループを変更してもよい。

なおＳ３８の処理で画像解析部２７２は、上述のとおり、ヘッドマウントディスプレイ１００が内蔵するモーションセンサ１３４による計測値とVisual SLAMの結果を統合して、ヘッドマウントディスプレイ１００の状態を導出してもよい。ヘッドマウントディスプレイ１００の状態情報は逐次、Ａｐｐ実行部２９０へ供給される。Ａｐｐ実行部２９０は、ヘッドマウントディスプレイ１００の状態情報に基づき、ユーザの視点や視線に対応する視野で表示画像のフレームデータを生成し、表示制御部２９２を介してヘッドマウントディスプレイ１００に逐次送信する（Ｓ４０）。

ヘッドマウントディスプレイ１００は、送信されたフレームデータを逐次表示させる。画像生成装置２００のプレイエリア制御部２６４は、実世界におけるユーザの位置が警告を与えるべき条件を満たしたとき、例えば、ユーザに装着されたヘッドマウントディスプレイ１００からプレイエリアの境界までの距離が所定の閾値（例えば３０センチ）以下になった場合（Ｓ４２のＹ）、ユーザに対する所定の警告処理を実行する（Ｓ４４）。

例えばプレイエリア制御部２６４は、プレイエリアの境界を、柵などの３次元オブジェクトとして表した画像を表示制御部２９２に供給する。表示制御部２９２は、Ａｐｐ実行部２９０により生成されたアプリケーションの画像に、プレイエリアの境界を表す画像を重畳し、表示画像としてヘッドマウントディスプレイ１００に表示させてもよい。またプレイエリア制御部２６４は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合やプレイエリアの境界を超えてしまった場合、表示制御部２９２を介してヘッドマウントディスプレイ１００にビデオシースルー画像を表示させてもよい。

実世界におけるユーザの位置が、警告を与えるべき条件を満たしていなければ（Ｓ４２のＮ）、Ｓ４４の処理をスキップする。ユーザによりアプリケーションの実行が停止されるなど所定の終了条件が満たされないうちは（Ｓ４６のＮ）、Ｓ３８～Ｓ４４の処理を繰り返す。所定の終了条件を満たした場合（Ｓ４６のＹ）、画像解析部２７２は、Ｓ３８において新たに得られたキーフレームデータや、それによる登録情報全体の更新内容を、登録情報記憶部２５８に反映させ（Ｓ４８）、全処理を終了する。

図１４は、本実施の形態におけるキーフレームの変遷を例示する図である。（ａ）はプレイエリア設定時、（ｂ）はアプリケーション実行時に取得・利用されるキーフレームを、それぞれが取得される際のヘッドマウントディスプレイ１００の状態を表象する二等辺三角形で示している。図１２と同様、二等辺三角形の底辺がステレオカメラ１１０の撮像面に対応する。また図示する例は、キーフレームを「破棄不可」と「破棄可」の２通りに分類することを想定し、前者を黒い二等辺三角形（例えば二等辺三角形８０）、後者を白い二等辺三角形（例えば二等辺三角形８２）で示している。

（ａ）の変遷は、プレイエリアが未設定の場合、あるいは再設定の必要が生じたときに、プレイエリアの設定とともに実現される。初期段階であるＳ５０においてユーザは、プレイエリア制御部２６４からの指示により、矢印のように周囲空間を見回す。これによりヘッドマウントディスプレイ１００のステレオカメラ１１０は、およそ放射状に視線を動かしながら動画像を撮影する。画像解析部２７２は、当該動画像のフレームを用いてVisual SLAMにより登録情報を生成する。

この際、登録情報生成部２７４は、特徴点を抽出したフレームのうち、要件を満たしたフレームを順次、キーフレームに決定する。図ではＳ５０の段階を初期状態として、全てのキーフレームが破棄可とされているが、その後の段階であるＳ５２で、キーフレームが分類されている。例えば登録情報生成部２７４は、図１０で示した、ヨー方向の区分けエリアのそれぞれに対応する状態で取得されたキーフレームを１つずつ選択して破棄不可のグループに分類し、それ以外を破棄可のグループとする。

プレイエリアの設定が完了したら、登録情報生成部２７４は、分類によらず全てのキーフレームのデータを、分類の情報とともにマップデータに対応づけて、登録情報記憶部２５８に格納する。なお実際には、例えば合計で１００枚程度のキーフレームのデータを格納し、その半数程度を破棄不可に分類する。ただし実施形態をこれに限る主旨ではない。

（ｂ）の変遷は、アプリケーションの処理とともに実現される。初期段階であるＳ６０において、登録情報生成部２７４は、登録情報記憶部２５８に格納されている登録情報を読み出す。これによりユーザが周囲を見回さずとも、破線８４で囲んだように、各方位を網羅したキーフレームが得られている状態となる。またアプリケーションの起動により、ヘッドマウントディスプレイ１００から新たな撮影画像が送信されるため、適宜キーフレームが追加される。

状態情報取得部２７６は、新たに送信されたフレーム（例えばフレーム８６）に近い状態で得られたキーフレームを照合先とすることで、ヘッドマウントディスプレイ１００の現在の状態情報を取得する。新たに送信されたフレームの数が少ない初期段階にあっても、多様なキーフレームが準備されていることにより、ヘッドマウントディスプレイ１００の状態によらず、効率的かつ安定した精度で状態情報を取得できる。

登録情報生成部２７４は基本的に、プレイエリアの設定時など、以前になされたキーフレームの分類を継承して破棄規則を定める。登録情報生成部２７４はまた、ヘッドマウントディスプレイ１００の初期状態を取得したＳ６２において、それまでに取得した新規のキーフレームも分類する。この際、登録情報生成部２７４は、破棄不可のキーフレームを増やしてもよい。登録情報生成部２７４はまた、元々破棄不可のグループに分類されていたキーフレームを破棄可とするなど、グループの構成を変化させてもよい。

アプリケーションであるゲームが進行するなどして、ユーザの位置や姿勢が大きく変化すると、Ｓ６４に示すように、それに近い状態でのキーフレームが増加する。キーフレームの数が、登録情報記憶部２５８の容量などを加味して設定された上限に達したら、登録情報生成部２７４は、それまでに破棄可とされたキーフレームを順次破棄する。これにより、登録情報記憶部２５８の記憶容量が限定的でも、照合される可能性の高いキーフレームを優先して格納しておくことができる。

また所定の基準で選別されたキーフレームを破棄不可として残しておくことにより、ユーザの動きの傾向が突如変化しても、照合に時間を要したり失敗したりすることなく、高い精度での状態追跡を維持できる。アプリケーション処理が終了したら、登録情報生成部２７４は、分類によらず全てのキーフレームのデータを、分類の情報とともにマップデータに対応づけて、登録情報記憶部２５８に格納する。これにより次回のアプリケーション処理では、（ｂ）と同様の変遷が繰り返される。

以上述べた本実施の形態によれば、Visual SLAMにより撮影画像のフレームから移動体の位置や姿勢と、環境地図を取得する技術において、基準となるキーフレームを選択し、現フレームとの照合に用いることにより、状態情報の誤差を抑える。ここでキーフレームを所定の基準により、破棄規則の異なる複数のグループに分類する。これにより、キーフレームの質や特性と、移動体の実際の状態との相性などによって、破棄の可否や破棄までの時間、保存の優先順位などを制御できる。

結果として、限られた記憶容量であっても、任意に読み出し可能な状態で、必要性の高いキーフレームを保存でき、撮影時間の少ない初期の段階から状態情報を精度よく取得できる。ＶＲゲームなど、ユーザの動きに応じた仮想世界の画像を表示するヘッドマウントディスプレイに適用した場合、プレイエリアの設定時にキーフレームを取得する。これにより、ユーザ個々の環境に合わせ、空間を網羅するようなキーフレームを常駐させることができ、状態情報の取得、ひいてはそれを用いた表示画像生成や移動に伴う危険性の警告を、高精度に行える。

状態を追跡している間も、新たなキーフレームデータを生成、登録し、既存のキーフレームを規則にしたがい適宜破棄していくことにより、キーフレームの構成を、常に最適化された状態に保つことができる。このため、多様な事態を想定して事前に多くのキーフレームを準備しておく必要がなく、初期設定におけるユーザの手間を省くことができるとともに、必要な記憶容量を抑えられる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 画像表示システム、 １００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２２２ ＣＰＵ、 ２２６ メインメモリ、 ２５８ 登録情報記憶部、 ２６４ プレイエリア制御部、 ２７２ 画像解析部、 ２７４ 登録情報生成部、 ２７６ 状態情報取得部、 ２９２ 表示制御部。

Claims (11)

1. 撮影中の動画像の最新フレームから特徴点を抽出し、照合先の過去のフレームにおける対応する特徴点と、それらが表す被写体上のポイントとの関係に基づき、前記動画像を撮影しているカメラを搭載した装置の位置および姿勢の状態情報を取得する状態情報取得部と、
   前記最新フレームのうち所定の条件を満たしたフレームを、前記過去のフレームの基準として用いるキーフレームに定め、異なる破棄規則が設定された複数のグループのいずれかに分類して登録したうえ、前記破棄規則にしたがい登録済みのキーフレームのデータのいずれかを破棄する登録情報生成部と、
   前記キーフレームのデータを、前記分類の情報とともに格納する登録情報記憶部と、
   を備えたことを特徴とする情報処理装置。
2. 前記登録情報生成部は、前記キーフレームの一部を、破棄を不可とするグループに分類することを特徴とする請求項１に記載の情報処理装置。
3. 前記登録情報生成部は、前記キーフレームのそれぞれが撮影された際の前記装置の状態の分布に基づき、前記破棄を不可とするグループに分類する前記キーフレームを選択することを特徴とする請求項２に記載の情報処理装置。
4. 前記登録情報生成部は、前記装置を中心に重力方向を軸としたヨー（Ｙａｗ）方向で空間を分割してなる区分けエリアのそれぞれの方向で撮影された前記キーフレームのうち１つを、前記破棄を不可とするグループに分類することを特徴とする請求項３に記載の情報処理装置。
5. 前記登録情報生成部は、抽出された特徴点の数、取得時刻、照合に用いられた回数、撮影された際の前記装置の状態の他との差、の少なくともいずれかに基づき、前記キーフレームを分類することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記登録情報生成部は、新たな前記キーフレームにより前記キーフレームの登録上限を超えるとき、１つの前記グループに属する登録済みの前記キーフレームのうち、最先に登録された前記キーフレームを破棄することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記状態情報取得部は、前記装置であるヘッドマウントディスプレイを装着したユーザが動くことにより撮影された、ユーザの周囲空間を写した前記動画像に基づき、前記状態情報を取得することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. 前記状態情報とともに構築される、前記ポイントの集合からなる３次元構造の環境地図に基づき、ユーザが移動可能なプレイエリアを設定するプレイエリア制御部をさらに備え、
   前記登録情報生成部は、前記プレイエリアの設定時に撮影される前記動画像のフレームから、破棄を不可とするグループに分類する前記キーフレームを選択することを特徴とする請求項７に記載の情報処理装置。
9. 前記ヘッドマウントディスプレイの状態情報に基づき、ユーザの視線に対応する視野で表示画像を生成するアプリケーション実行部をさらに備え、
   前記状態情報取得部は、前記アプリケーション実行部が処理を開始するより前に、前記登録情報記憶部に格納された前記キーフレームのデータを用いて、前記ヘッドマウントディスプレイの状態情報を取得することを特徴とする請求項７または８に記載の情報処理装置。
10. 撮影中の動画像の最新フレームから特徴点を抽出し、照合先の過去のフレームにおける対応する特徴点と、それらが表す被写体上のポイントとの関係に基づき、前記動画像を撮影しているカメラを搭載した装置の位置および姿勢の状態情報を取得するステップと、
    前記最新フレームのうち所定の条件を満たしたフレームを、前記過去のフレームの基準として用いるキーフレームに定め、異なる破棄規則が設定された複数のグループのいずれかに分類して登録するステップと、
    前記破棄規則にしたがい登録済みのキーフレームのデータのいずれかを破棄するステップと、
    前記キーフレームのデータを、前記分類の情報とともに記憶装置に格納するステップと、
    を含むことを特徴とする情報処理方法。
11. 撮影中の動画像の最新フレームから特徴点を抽出し、照合先の過去のフレームにおける対応する特徴点と、それらが表す被写体上のポイントとの関係に基づき、前記動画像を撮影しているカメラを搭載した装置の位置および姿勢の状態情報を取得する機能と、
    前記最新フレームのうち所定の条件を満たしたフレームを、前記過去のフレームの基準として用いるキーフレームに定め、異なる破棄規則が設定された複数のグループのいずれかに分類して登録する機能と、
    前記破棄規則にしたがい登録済みのキーフレームのデータのいずれかを破棄する機能と、
    前記キーフレームのデータを、前記分類の情報とともに記憶装置に格納する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images