JP2023114237A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイによる画像表示を伴うコンテンツを、シンプルな装置構成でも精度よく処理する。
【解決手段】画像生成装置は、ヘッドマウントディスプレイのステレオカメラが撮影する動画像のフレーム１５０を順次取得し、ビデオシースルーなどに用いる表示用の画像１５４を生成する。画像生成装置のクロップ部は、床面が写る領域１５２ｂをクロップし、ユーザが移動可能なプレイエリアの設定用の画像１５６とする。クロップ部はまた、ヘッドマウントディスプレイの正面が写る所定サイズの領域１５２ｃをクロップし、ヘッドマウントディスプレイの状態情報取得用の画像１５８とする。
【選択図】図８

Description

本発明は、ヘッドマウントディスプレイによる画像表現を実現する情報処理装置および情報処理方法に関する。

ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（ＶＲ：Virtual Reality）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

ヘッドマウントディスプレイを用いて高品質なユーザ体験を実現するには、ユーザの位置や姿勢、周囲にある家具や壁との位置関係など、実物体の状態を常時、正確に把握しつづけることが求められる。一方、取得すべき情報が多いほど、また情報の精度を向上させようとするほど、センサなど必要な装備が増え、製造コスト、重量、消費電力などの面で問題となる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイによる画像表示を伴うコンテンツを、シンプルな装置構成でも精度よく処理できる技術を提供することにある。

上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、ヘッドマウントディスプレイが搭載するカメラにより撮影中の動画像を表示画像として当該ヘッドマウントディスプレイに表示させる表示制御部と、動画像のフレームから、所定規則に従い一部の領域を切り出すクロップ部と、一部の領域の画像を解析し、動画像と異なる画像をヘッドマウントディスプレイに表示させる際に必要なデータを取得する画像解析部と、を備えたことを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、ヘッドマウントディスプレイが搭載するカメラにより撮影中の動画像を表示画像として当該ヘッドマウントディスプレイに表示させるステップと、動画像のフレームから、所定規則に従い一部の領域を切り出すステップと、一部の領域の画像を解析し、動画像と異なる画像をヘッドマウントディスプレイに表示させる際に必要なデータを取得するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイによる画像表示を伴うコンテンツを、シンプルな装置構成でも精度よく処理できる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。 本実施の形態における画像表示システムの構成例を示す図である。 本実施の形態において画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 Visual SLAMの原理を概説するための図である。 本実施の形態における画像生成装置の内部回路構成を示す図である。 本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態における画像生成装置の機能ブロックを示すブロック図である。 本実施の形態のクロップ部による画像の変化を例示する図である。 本実施の形態でクロップする領域についてさらに詳細な例を説明するための図である。 本実施の形態において画像生成装置が撮影画像を用いて各種処理を行う手順を示すフローチャートである。 図１０のＳ２０において、プレイエリア制御部がプレイエリアを設定する処理手順を示すフローチャートである。 本実施の形態におけるプレイエリア設定時のユーザの行動を模式的に示す図である。 本実施の形態においてステレオカメラにより撮影されたフレームの画像と、それから得られるキーフレームのデータを例示する図である。 本実施の形態で利用できる複数のビンを例示する図である。 本実施の形態におけるプレイエリア編集画面の例を示す図である。

本実施の形態は、ユーザの頭部に装着されたヘッドマウントディスプレイに画像を表示する画像表示システムに関する。図１は、ヘッドマウントディスプレイ１００の外観例を示す。この例でヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。本実施の形態においてヘッドマウントディスプレイ１００の表示パネルは、透過性がないものとする。すなわちヘッドマウントディスプレイ１００は、光不透過型のヘッドマウントディスプレイである。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ヘッドマウントディスプレイ１００は、モーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

また、ヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（ＡＲ：Augmented Reality）を実現できる。

図２は、本実施の形態の画像表示システムの構成例を示す。画像表示システム１０は、ヘッドマウントディスプレイ１００、画像生成装置２００、コントローラ１４０を備える。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションのデータを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する情報処理装置である。例えば、画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために動画像を表示させてもよい。また、ユーザの視点を中心に広い画角のパノラマ画像をヘッドマウントディスプレイ１００に表示させることによって、表示世界への深い没入感をユーザに与えることができる。なお、画像生成装置２００は、据置型ゲーム機であってもよく、ＰＣであってもよい。

コントローラ１４０は、ユーザの手に把持され、画像生成装置２００における画像生成や、ヘッドマウントディスプレイ１００における画像表示を制御するためのユーザの操作が入力されるコントローラ（例えばゲームコントローラ）である。コントローラ１４０は、無線通信により画像生成装置２００に接続される。変形例として、ヘッドマウントディスプレイ１００とコントローラ１４０の一方、または両方は、信号ケーブル等を介した有線通信により画像生成装置２００に接続されてもよい。

図３は、画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例では、ユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には、図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は、当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

画像生成装置２００は、ヘッドマウントディスプレイ１００の状態を所定のレートで取得し、これに応じてビュースクリーン１４の位置や姿勢を変化させる。これにより、ユーザの視点に対応する視野で画像をヘッドマウントディスプレイ１００に表示させることができる。また画像生成装置２００が、視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００の表示パネルの左右の領域にステレオ画像を表示させれば、仮想空間をユーザ１２に立体視させることもできる。これにより、ユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

図３で示したような画像表現を実現するには、ユーザの頭部、ひいてはヘッドマウントディスプレイ１００の位置や姿勢の変化を追跡し、それに対応するように、ビュースクリーン１４の位置や姿勢を高精度に制御することが求められる。また、光不透過型のヘッドマウントディスプレイを装着したユーザには、実空間における周囲の状況が見えないため、衝突や躓きなどの危険を回避する手段を設ける必要がある。本実施の形態では、上述したビデオシースルーやＡＲの実現に用いる、ステレオカメラ１１０による撮影画像を利用して、効率的かつ低遅延で実物体に係る必要な情報を取得する。

ビデオシースルーなどの表示に用いる画像は、好適には、人の視野範囲を網羅するような広い画角で撮影される。この場合、ユーザの周囲にある実物体の情報や、それに対するユーザ頭部の位置や姿勢などの情報の多くは、当該撮影画像に含まれていることになる。本実施の形態ではこれを利用し、撮影画像のうち必要な部分を目的に応じて切り出し、画像解析に用いることにより、専用のセンサを別途設けずとも効率的に必要な情報が得られるようにする。なお以後の説明では、ヘッドマウントディスプレイ１００の位置および姿勢の少なくともいずれかを、ヘッドマウントディスプレイの「状態」と総称する場合がある。

カメラが搭載された移動体の自己位置推定と環境地図の作成を、撮影画像を用いて同時に行う技術として、Visual SLAM(Simultaneous Localization and Mapping)が知られている。図４はVisual SLAMの原理を概説するための図である。カメラ２２は移動体に設けられ、視野範囲の実空間２６を、位置や姿勢を変えながら動画撮影している。ここで、ある時刻で撮影されたフレーム２０ａと、時間Δｔ後に撮影されたフレーム２０ｂで、同じ被写体上のポイント２４を表す特徴点２８ａ、２８ｂが抽出されたとする。

各フレーム平面における、対応する特徴点２８ａ、２８ｂ（以後、「対応点」と呼ぶ場合がある）の位置座標のずれは、時間Δｔにおけるカメラ２２の位置と姿勢の変化に依存する。具体的には、カメラ２２の回転運動および並進運動による変化分を表す行列をそれぞれＲ、Ｔとし、各時刻のカメラ２２からポイント２４までの３次元ベクトルをＰ１、Ｐ２とすると、次の関係式が成り立つ。
Ｐ１＝Ｒ・Ｐ２＋Ｔ

この関係を利用し、時間的に前後する２つのフレームにおける対応点を複数抽出して連立方程式を解くことにより、その間のカメラ２２の位置と姿勢の変化を特定できる。また導出結果の誤差を再帰的計算で最小化する処理により、ポイント２４など、実空間２６における被写体表面の３次元情報を正確に構築できる。なおカメラ２２をステレオカメラ１１０とすると、ポイント２４等の３次元位置座標は、各時刻で独立して求められるため、対応点の抽出などの演算がより容易になる。

ただしカメラ２２を単眼のカメラとする場合であっても、Visual SLAMのアルゴリズムは確立されている。したがってヘッドマウントディスプレイ１００の状態を追跡する目的においては、ヘッドマウントディスプレイ１００が備えるカメラはステレオカメラ１１０に限定されない。またVisual SLAMのアルゴリズムは多数、提案されており、そのいずれを採用しても構わない。いずれにしろ図示する原理によれば、動画像のフレームレートと同じレートで、前の時刻からのカメラ２２の状態変化を導出できる。

一方、そのような微小時間での動きによれば、画像上の変化も微小となる。このため各フレームにおいて有効な数の特徴点が得られていれば、フレーム全体を解析対象とせずとも、実物体の状態追跡には十分である。結果として、適切な領域を切り出して解析に用いることで、追跡精度と処理速度を両立できることになる。

そこで本実施の形態では一例として、ビュースクリーン１４の設定に用いる、ヘッドマウントディスプレイ１００の状態取得、および、ユーザが移動可能な実世界の範囲を規定するプレイエリアの設定において、ステレオカメラ１１０による撮影画像の一部を切り出して利用する。ここでプレイエリアは、ヘッドマウントディスプレイ１００により仮想世界を見ているユーザが動き回ることのできる実世界の範囲であり、例えば周囲の物に衝突することなく安全な移動が保証される範囲である。

図５は、画像生成装置２００の内部回路構成を示す。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェース２２８が接続される。入出力インターフェース２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８、記録媒体駆動部２４０が接続される。

通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ヘッドマウントディスプレイ１００へのデータを出力する。入力部２３８は、ヘッドマウントディスプレイ１００からのデータ入力を受け付け、また、コントローラ１４０からのデータ入力を受け付ける。記録媒体駆動部２４０は、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばＶＲゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２は、ＣＰＵ１２０における処理に必要なプログラムやデータを格納する。

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。

ステレオカメラ１１０は、図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像された動画像のフレームには、ユーザの視線方向（典型的にはユーザの正面）に存在する物体が映る。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像のデータは、必要に応じて、通信部１３２を介して画像生成装置２００へ送信される。

本実施の形態の画像表示システム１０では上述のとおり、ヘッドマウントディスプレイ１００を装着したユーザがアプリケーションのプレイ中に移動可能な実世界の範囲を規定したプレイエリアが設定される。アプリケーションのプレイ中にユーザがプレイエリアを逸脱しようとする場合や逸脱した場合、画像表示システム１０は、注意を促す内容、または、プレイエリアへの復帰を促す内容の警告をユーザに提供する。

図７は、画像生成装置の機能ブロックを示すブロック図である。上述したように、画像生成装置２００は、電子ゲームの進行やサーバとの通信等、一般的な情報処理を実行するが、図７では特に、ステレオカメラ１１０による撮影画像の処理に関する機能ブロックを詳細に示している。なお、図６に示す画像生成装置２００の機能のうち少なくとも一部は、ヘッドマウントディスプレイ１００に実装されてもよいし、ネットワークを介して画像生成装置２００に接続されたサーバに実装されてもよい。また画像生成装置２００の機能のうち、撮影画像のフレームを切り出し（クロップし）所定の情報を得る機能は、別途、情報処理装置として実現してもよい。

また、図７に示す複数の機能ブロックは、ハードウェア的には、図５に示したＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、記憶部２３４等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、データ処理部２５０とデータ記憶部２５２を備える。データ処理部２５０は、各種のデータ処理を実行する。データ処理部２５０は、図５に示した通信部２３２、出力部２３６、入力部２３８を介して、ヘッドマウントディスプレイ１００およびコントローラ１４０とデータを送受信する。データ記憶部２５２は、図５で示した記憶部２３４などで実現され、データ処理部２５０により参照または更新されるデータを記憶する。

データ記憶部２５２は、Ａｐｐ記憶部２５４、プレイエリア記憶部２５６、マップ記憶部２５８を備える。Ａｐｐ記憶部２５４は、例えばＶＲゲームなど画像表示を伴うアプリケーションの実行に必要な、プログラムやオブジェクトモデルのデータなどを記憶する。プレイエリア記憶部２５６は、プレイエリアに関するデータを記憶する。プレイエリアに関するデータは、プレイエリアの境界を構成する点群の位置を示すデータ（例えばワールド座標系における各点の座標値）を含む。

マップ記憶部２５８は、ヘッドマウントディスプレイ１００、ひいてはヘッドマウントディスプレイ１００を装着したユーザ頭部の位置や姿勢を取得するための登録情報を記憶する。具体的にはマップ記憶部２５８は、Visual SLAMで用いるキーフレームのデータと、３次元実空間における物体表面の構造を表す環境地図（以後、「マップ」と呼ぶ）のデータとを対応づけて記憶する。

キーフレームは、Visual SLAMにおいて特徴点を抽出したフレームのうち、特徴点の数が所定値以上など、所定の基準により選択されたフレームのデータである。ただし「フレーム」とは上述のとおり、ステレオカメラ１１０が撮影している動画像のフレームの全領域のうち、所定規則でクロップした一部の領域である。以後の説明において、当該一部の領域も「フレーム」と呼ぶ場合がある。キーフレームを「過去のフレーム」として、現フレーム（最新フレーム）の特徴点との照合に用いることにより、ヘッドマウントディスプレイ１００の位置や姿勢の追跡において時間経過とともに蓄積される誤差をキャンセルできる。

マップデータは、ユーザが電子ゲームをプレイする部屋を構成する物体の表面を表すポイント群の、３次元位置座標の情報であり、各ポイントは、キーフレームから抽出された特徴点に対応づけられる。キーフレームのデータは、それを取得した際のステレオカメラ１１０の状態と対応づけられる。キーフレームに含まれるべき特徴点の個数は２４個以上であってもよい。特徴点は、公知のコーナー検出法により検出されたコーナーを含んでもよく、また、輝度の勾配に基づいて検出されてもよい。

データ処理部２５０は、システム部２６０、Ａｐｐ実行部２９０、表示制御部２９２を備える。これら複数の機能ブロックの機能は、コンピュータプログラムに実装されてもよい。画像生成装置２００のＣＰＵ２２２とＧＰＵ２２４は、上記コンピュータプログラムを記憶部２３４や記録媒体からメインメモリ２２６に読み出して実行することにより上記複数の機能ブロックの機能を発揮してもよい。

システム部２６０は、ヘッドマウントディスプレイ１００に関するシステムの処理を実行する。システム部２６０は、ヘッドマウントディスプレイ１００用の複数のアプリケーション（例えばＶＲゲーム）に対して共通のサービスを提供する。システム部２６０は、撮影画像取得部２６２、入力情報取得部２６３、クロップ部２７４、状態情報取得部２７６、および、プレイエリア制御部２６４を含む。

撮影画像取得部２６２は、ヘッドマウントディスプレイ１００から送信された、ステレオカメラ１１０による撮像画像のフレームデータを順次取得する。このデータは基本的に、表示に用いることのできる広角の画像データである。入力情報取得部２６３は、コントローラ１４０を介してユーザ操作の内容を取得する。クロップ部２７４は、撮影画像取得部２６２が取得したフレームから、後段で行うべき処理に必要な領域をクロップする。

クロップ部２７４は、クロップ規則記憶部２７８を内部に保持する。クロップ規則記憶部２７８は、クロップされた画像の用途と、クロップ対象の領域を決定する規則とを対応づけたクロップ規則を格納する。クロップ部２７４は、状態情報取得部２７６、およびプレイエリア制御部２６４からの要求に応じて、それぞれの処理に対応するクロップ規則に従い、各フレームをクロップする。

なおクロップ部２７４がクロップした画像の用途は、ヘッドマウントディスプレイ１００の状態情報の取得やプレイエリアの設定に限らず、画像認識など別の画像解析であっても、表示画像の生成であってもよい。また、状態情報取得部２７６やプレイエリア制御部２６４の一部など、クロップされた画像を用いて画像解析を行う機能は、「画像解析部」と総称することもできる。ここで画像解析部は、クロップ部２７４がクロップした画像を用いて、ビデオシースルー以外の画像をヘッドマウントディスプレイ１００に表示させる際に必要なデータを取得する特徴を有する。

状態情報取得部２７６は、上述したVisual SLAMの手法により、ヘッドマウントディスプレイ１００の状態情報を逐次取得する。具体的には状態情報取得部２７６は、クロップ部２７４により提供された、クロップ後の各フレームのデータと、マップ記憶部２５８に格納されたデータとに基づき、ヘッドマウントディスプレイ１００の状態、すなわち位置と姿勢の情報を各時刻で取得する。なお状態情報取得部２７６は、画像解析により得られた情報と、ヘッドマウントディスプレイ１００が内蔵するモーションセンサ１３４による計測値とを統合して状態情報としてもよい。

ヘッドマウントディスプレイ１００の状態情報は、アプリケーションの実行時におけるビュースクリーンの設定や、プレイエリア境界へのユーザの接近を監視する処理、プレイエリアへの接近を警告する処理などに用いられる。したがって状態情報取得部２７６は、取得した状態情報を、そのときの状況に応じて、プレイエリア制御部２６４、Ａｐｐ実行部２９０、表示制御部２９２に適宜供給する。

プレイエリア制御部２６４は、ユーザが安全に移動できる実空間の領域をプレイエリアとして設定したうえ、アプリケーションの実行段階において、その境界にユーザが接近した際などに適宜警告を提示する。プレイエリアの設定においてプレイエリア制御部２６４は、クロップ部２７４により提供された、クロップ後の各フレームのデータを用いて、Visual SLAMなどによりマップデータを生成する。

例えばプレイエリア制御部２６４は、ヘッドマウントディスプレイ１００を装着したユーザに、周囲を見回すように指示を出す。これにより、ユーザの周囲にある家具、壁、床などの実物体が、ステレオカメラ１１０により撮影される。プレイエリア制御部２６４は、当該撮影画像の各フレームからクロップされた領域のデータを順次取得し、それに基づきマップデータを生成する。

プレイエリア制御部２６４はまた、当該マップデータを参照し、家具や壁などに衝突しない床面の範囲をプレイエリアとして自動で決定する。プレイエリア制御部２６４は、一旦決定したプレイエリアの境界を表す画像を、ヘッドマウントディスプレイ１００に表示させることにより、ユーザによるプレイエリアの編集操作を受け付けてもよい。この場合、プレイエリア制御部２６４は、コントローラ１４０を介したユーザ操作の内容を、入力情報取得部２６３を介して取得し、それに応じてプレイエリアの形状を変更する。

プレイエリア制御部２６４は、決定したプレイエリアに関するデータを最終的にプレイエリア記憶部２５６に格納する。プレイエリア制御部２６４はまた、生成したマップデータと、それに付随して得られるキーフレームのデータを対応づけて、マップ記憶部２５８に格納し、状態情報取得部２７６が後の任意のタイミングで読み出せるようにする。

Ａｐｐ実行部２９０は、ユーザにより選択されたＶＲゲームなどのアプリケーションのデータをＡｐｐ記憶部２５４から読み出して実行する。この際、Ａｐｐ実行部２９０は、ヘッドマウントディスプレイ１００の状態情報を状態情報取得部２７６から逐次取得し、それに対応する位置および姿勢でビュースクリーンを設定しＶＲ画像を描画する。これにより、ユーザ頭部の動きに応じた視野で表示対象の仮想世界を表すことができる。

Ａｐｐ実行部２９０はまた、ユーザにより選択されたアプリケーションによっては、ＡＲ画像を生成してもよい。この場合、Ａｐｐ実行部２９０は、撮影画像取得部２６２が取得した撮影画像のフレーム、あるいはクロップ部２７４が表示処理に対応させてクロップしたフレームに、仮想オブジェクトを重畳描画する。ここでＡｐｐ実行部２９０は、状態情報取得部２７６が取得した状態情報に基づき仮想オブジェクトの描画位置を決定する。これにより、撮影画像に写る被写体と対応するように、適切に仮想オブジェクトを表せる。

表示制御部２９２は、Ａｐｐ実行部２９０により生成された様々な画像、例えばＶＲ画像やＡＲ画像のフレームのデータを、ヘッドマウントディスプレイ１００へ順次送信する。表示制御部２９２はまた、プレイエリアの設定に際し、周囲を見回すようユーザに指示を与える画像、仮に決定したプレイエリアの様子を表して編集を受け付ける画像、プレイエリアの境界への接近を警告する画像、などを必要に応じてヘッドマウントディスプレイ１００へ送信する。

例えばプレイエリアの設定時、表示制御部２９２は、プレイエリア制御部２６４からの要求に従い、撮影画像取得部２６２が取得した撮影画像のフレーム、あるいはクロップ部２７４が表示処理に対応させてクロップしたフレームのデータをヘッドマウントディスプレイ１００へ送信し、表示させる。これにより、ユーザが向いた方向の実空間の様子をそのまま見せるビデオシースルーを実現でき、ユーザの安全性を高められる。なおビデオシースルーを実現する機会はこれに限らず、ユーザがプレイエリアを逸脱している期間、アプリケーションの開始前や終了後、ユーザがビデオシースルーを要求した場合、など様々であってよい。

図８は、クロップ部２７４による画像の変化を例示している。これまで述べたように、ステレオカメラ１１０はユーザが向いている方角の実空間を、水平画角が１００°程度かそれ以上の広角で撮影する。フレーム１５０はそのようにして得られるステレオ動画像の対のうち、片側の一フレームを表しており、ユーザのいる部屋の様子が写されている。

ビデオシースルーを実現する場合、撮影画像取得部２６２が取得したフレーム１５０を、クロップ部２７４がクロップすることなく表示用の画像１５４としてよい。あるいはクロップ部２７４は、図示するように、所定幅の周縁領域を除いた領域１５２ａをクロップして表示用の画像１５４としてもよい。いずれにしろ表示制御部２９２は、フレーム１５０あるいは表示用の画像１５４に適宜補正を施し、最終的な表示画像のデータとしてヘッドマウントディスプレイ１００に送信する。

例えば図１に示したように、ステレオカメラ１１０がヘッドマウントディスプレイ１００の筐体１０８の前面下方に設けられたりして、光軸の方向がユーザの視線と一致していない場合、そのまま表示するとユーザに違和感を与えることが考えられる。このため表示制御部２９２は、フレーム１５０あるいは表示用の画像１５４に対し、ユーザの視野に対応する画角となるように変換処理を施す。表示制御部２９２はそのほか、ヘッドマウントディスプレイ１００が備える接眼レンズを介して鑑賞したときに歪みや色ずれのない画像が視認されるよう、接眼レンズの歪曲収差や色収差と逆の歪みを与える補正を施してもよい。

一方、プレイエリアを設定する場合、クロップ部２７４は、床面が写る領域１５２ｂをクロップし、プレイエリア設定用の画像１５６としてプレイエリア制御部２６４に提供する。プレイエリアの設定においては、プレイエリア制御部２６４が生成する３次元のマップにおいて、床面をまず検出し、それを基準として、ユーザの周囲にある壁や家具などを検出するためである。

またヘッドマウントディスプレイ１００の状態情報を取得する場合、クロップ部２７４は、ヘッドマウントディスプレイ１００のおよそ正面に対応する、所定サイズの領域１５２ｃをクロップし、状態情報取得用の画像１５８として状態情報取得部２７６に供給する。「およそ正面」とは例えば、ユーザの視線方向を含む所定サイズの範囲である。ヘッドマウントディスプレイ１００のおよそ正面にある物の像を含む画像１５８には、床面や天上など一様な面の像が含まれにくく、多くの特徴点を有する可能性が高くなる。これにより、ヘッドマウントディスプレイ１００の状態情報を安定した精度で取得しつづけられる。

このように、クロップする領域の位置やサイズを、目的に応じて最適化することにより、ステレオカメラ１１０のみを手段としても、複数の情報を精度よく取得できる。また表示を想定してステレオカメラ１１０の画角を広げても、プレイエリア設定やヘッドマウントディスプレイ１００の状態取得で処理対象とする画像のサイズが影響を受けないため、処理に余計な時間をかけることがなく、精度の高さと低遅延性を両立できる。

図９は、クロップする領域についてさらに詳細な例を説明するための図である。図の（ａ）、（ｂ）においてそれぞれ示される一対の実線の矩形が、ステレオ画像のフレーム対（左画像１６０ａ、右画像１６０ｂ）を表す。そのうち（ａ）は、プレイエリア設定用にクロップされる領域１６２ａ、１６２ｂ、（ｂ）は、ヘッドマウントディスプレイ１００の状態情報取得用にクロップされる領域１６４ａ、１６４ｂを示している。

この例は、図の右側に示すように、ステレオカメラ１１０を構成する２つのカメラ１７０ａ、１７０ｂの光軸１７２ａ、１７２ｂが、図の手前側に向かうユーザの視線方向と一致しない状態で搭載されていることを想定している。具体的には、光軸１７２ａ、１７２ｂが、互いに３０°をなすように水平方向で外側を向き、双方、水平面より３５°下方を向くように、ヘッドマウントディスプレイ１００に搭載されているとする。一方、Visual SLAMにおいて、ステレオマッチングにより被写体表面上のポイントの位置を特定するには、光軸が平行なステレオ画像が必要となる。

したがって（ａ）のプレイエリア設定用として最適な領域１６２ａ、１６２ｂは、横方向では元のフレーム対である左画像１６０ａ、右画像１６０ｂのうち内側に寄った範囲となる。つまり左画像１６０ａにおいては中央より右に寄った領域１６２ａ、右画像１６０ｂにおいては中央より左に寄った領域１６２ｂが最適なクロップ領域である。一方、縦方向では、領域１６２ａ、１６２ｂはそれぞれ、左画像１６０ａ、右画像１６０ｂの略中央に位置する。

これはカメラ１７０ａ、１７０ｂの光軸１７２ａ、１７２ｂがいくらか下方を向いており、プレイエリアの設定に重要な床面が縦方向の中央近傍に写る可能性が高いためである。また左画像１６０ａ、右画像１６０ｂの下端近傍を領域１６２ａ、１６２ｂに含めないことにより、ユーザ自身の身体の映り込みを排除している。

（ｂ）の場合も、状態情報取得用として最適な領域１６４ａ、１６４ｂは、横方向では元のフレーム対である左画像１６０ａ、右画像１６０ｂの内側寄りの範囲である。一方、領域１６４ａ、１６４ｂは、縦方向では左画像１６０ａ、右画像１６０ｂの中央より上側に寄っている。これはカメラ１７０ａ、１７０ｂの光軸１７２ａ、１７２ｂが下方を向いているため、ヘッドマウントディスプレイ１００の正面にある物はいくらか上に寄った範囲に写る可能性が高いためである。

図では一例として、元のフレーム対（左画像１６０ａ、右画像１６０ｂ）の画素数を、それぞれ１０１６×１０１６とし、画像の左上を原点としたときの、クロップ対象の領域１６２ａ、１６２ｂ、１６４ａ、１６４ｂの左上および右下の位置座標を示している。具体的には、（ａ）のプレイエリア設定時、左画像１６０ａのうち位置座標（２９４，１８８）、（９３３，８２７）をそれぞれ左上、右下の頂点とする矩形の領域１６２ａと、右画像１６０ｂのうち位置座標（８２，１８８）、（７２１，８２７）をそれぞれ左上、右下の頂点とする矩形の領域１６２ｂをクロップする。

（ｂ）の状態情報取得時は、左画像１６０ａのうち位置座標（２９４，８２）、（９３３，７２１）をそれぞれ左上、右下の頂点とする矩形の領域１６４ａと、右画像１６０ｂのうち位置座標（８２，８２）、（７２１，７２１）をそれぞれ左上、右下の頂点とする矩形の領域１６４ｂをクロップする。

クロップ規則記憶部２７８にはこのように、用途ごとに最適化した、クロップすべき領域を表す位置座標などの情報を、用途と対応づけて格納しておく。領域を最適化する際は、図示するようなカメラ１７０ａ、１７０ｂの光軸１７２ａ、１７２ｂの向きに基づき、必要な像が写る領域を計算により求めてもよいし、必要な像が写る可能性が高い領域を実験により求めてもよい。

クロップ部２７４は、プレイエリア制御部２６４および状態情報取得部２７６からの要求に従い、用途に対応する領域をクロップしてそのデータを順次供給する。なおクロップされたデータは、Ａｐｐ実行部２９０や表示制御部２９２が要求してもよい。これにより、撮影画像を用いた表示を、必要な領域のみを利用して効率的に行える。

なお図示するステレオカメラ１１０の搭載態様や、撮影画像のフレームの解像度およびサイズ、クロップ領域の位置およびサイズは一例に過ぎず、本実施の形態を限定する主旨ではない。例えば図ではクロップ領域を、床面が写る可能性の高さなどに鑑み固定としたが、各時点での状況や実際の画像に基づきクロップ部２７４が適応的に決定してもよい。一例として、座って鑑賞することが前提のアプリケーションと立って鑑賞することが前提のアプリケーションでは、傾向として床面が写る領域の範囲が異なり、前者の方が広範囲に及ぶ傾向となる。

したがって、クロップ部２７４はＡｐｐ実行部２９０から、実行しているアプリケーションの特性を取得し、ユーザが座る前提のアプリケーションの場合、立つ前提のアプリケーションよりクロップする領域を広げたり、画像平面で上側にずらしたりしてもよい。これにより、ユーザの姿勢によらず床とその上の物が同時に写る可能性が高くなる。アプリケーションの特性として得られる情報はユーザの姿勢に限らず、アプリケーションの実行時に正面を見ることが多いか下方を見ることが多いか、といった、視線の傾向なども利用できる。

これらの場合、クロップ規則記憶部２７８には、アプリケーションの特性とクロップすべき領域を表す位置座標などの情報とを、用途ごとに対応づけて格納しておく。クロップ部２７４はまた、クロップする領域の決定に、ヘッドマウントディスプレイ１００が備えるモーションセンサ１３４による計測値を利用してもよい。この場合、クロップ部２７４は、当該計測値により得られるヘッドマウントディスプレイ１００の姿勢に基づき、床面が写っている可能性が高い領域などを各時刻で導出し、その結果に応じてクロップする領域を時間変化させてもよい。

あるいはクロップ部２７４は、プレイエリア設定における初期段階では、クロップする領域のサイズを小さくしておき、それにより床面が検出されたら、当該床面の像を含むようにクロップする領域を拡張してもよい。これにより、床面やその上にある物の情報を、効率的に、かつより多く収集できる。例えばクロップ部２７４は、ヘッドマウントディスプレイ１００の、単位時間あたりの状態変化が閾値より小さい場合、クロップする領域を拡張する。これにより、特徴点など多くの情報を短時間で得られやすくなる。

クロップ部２７４は一旦、床面が検出されたら、その高さに基づき、座っているか立っているかなどユーザの姿勢を推定し、これにより上述のようにクロップする領域のサイズや位置を調整してもよい。これらの場合も、クロップ規則記憶部２７８には、クロップ領域を変化させる規則と、それに用いる条件とを対応づけて格納しておく。なお１つのフレームに対し行う解析が多いほど、結果の取得までに時間を要する。そのため本実施の形態では、床面など必要な像が得られる可能性が高い領域を固定としたり推定したりして、低遅延で結果を出すことを基本としている。

図９では一つの用途に対し、左画像１６０ａ、右画像１６０ｂから領域を１つずつクロップする例を示したが、各画像からクロップする領域の数は限定されない。例えば全天周画像を撮影できるカメラを導入したとすると、離散的な複数の角度範囲の領域をクロップすることにより、カメラを回転させて周囲を撮影した場合と同様の画像が得られる。したがってクロップ部２７４は例えば、１つのフレームから所定規則で決定した複数の領域をクロップしてもよい。

この際、クロップ部２７４は、特徴点が所定数以上ある複数の領域をクロップ対象としてもよい。クロップ部２７４は、そのような規則で一旦、決定したクロップ対象の領域の位置の変化を、それまでのヘッドマウントディスプレイ１００の状態変化などに基づき推定することにより、現フレームでクロップすべき領域を決定してもよい。

次に、以上の構成による画像表示システムの動作を説明する。図１０は、画像生成装置２００が撮影画像を用いて各種処理を行う手順を示すフローチャートである。なお図示するフローチャートは、クロップ部２７４による処理の場合分けに着目しており、プレイエリア設定やアプリケーション実行の処理順を規定するものではない。また図示するフローチャートは、画像生成装置２００とヘッドマウントディスプレイ１００が通信を確立し、ヘッドマウントディスプレイ１００から少なくとも撮影画像のデータが送信されている任意のタイミングで開始される。

画像生成装置２００の撮影画像取得部２６２は、処理対象のフレームのデータを取得する（Ｓ１０）。この時点でビデオシースルーを実現するモードとなっていたら（Ｓ１２のＹ）、表示制御部２９２は、対象フレームに必要な補正処理を施すなどして、ビデオシースルーのための表示画像を生成し、ヘッドマウントディスプレイ１００に送信する（Ｓ１４）。画像生成装置２００は上述のとおり、アプリケーションの実行期間の前後やユーザがプレイエリアを逸脱している期間などのほか、プレイエリアを設定するために、ユーザが周囲を見回している期間もビデオシースルーモードとする。

ユーザは、ヘッドマウントディスプレイ１００のシステムの設定メニューの中で、プレイエリアの初期設定または再設定を選択可能である。プレイエリアの初期設定または再設定が選択された場合、プレイエリア制御部２６４は、表示制御部２９２を介して、周囲を見回すよう促す内容のメッセージをヘッドマウントディスプレイ１００に表示させる。このようにプレイエリアを設定するモードとされている場合（Ｓ１６のＹ）、クロップ部２７４は、プレイエリア設定用の領域をフレームからクロップする（Ｓ１８）。プレイエリア制御部２６４は、クロップ後のフレームのデータを順次取得し、それを用いてプレイエリアを設定する（Ｓ２０）。

これにより、Ｓ１０で取得されたフレームは、表示画像として用いられると同時に、クロップされてプレイエリアの設定にも用いられる。プレイエリアを設定するモードでない場合（Ｓ１６のＮ）、Ｓ１８、Ｓ２０の処理をスキップする。一方、Ｓ１２において、ビデオシースルーを実現するモードでない場合（Ｓ１２のＮ）、すなわちアプリケーションの画像を表示すべき期間、クロップ部２７４は、ヘッドマウントディスプレイ１００の状態情報取得用の領域をフレームからクロップする（Ｓ２２）。

状態情報取得部２７６は、クロップ後のフレームのデータを順次取得し、それを用いてVisual SLAMによりヘッドマウントディスプレイ１００の状態情報を取得する（Ｓ２４）。当該状態情報は、Ａｐｐ実行部２９０に順次供給され、表示画像の生成に用いられるほか、プレイエリア制御部２６４がユーザに警告するために、ユーザとプレイエリア境界との位置関係を監視する処理にも用いられる。

いずれにしろそれらの画像は表示制御部２９２によりヘッドマウントディスプレイ１００に送信され、表示される（Ｓ２６）。ユーザにより実行が停止されるなど所定の終了条件が満たされないうちは（Ｓ２８のＮ）、Ｓ１０～Ｓ２６の処理を繰り返す。所定の終了条件を満たした場合（Ｓ２８のＹ）、画像生成装置２００は全処理を終了する。

図１１は、図１０のＳ２０において、プレイエリア制御部２６４がプレイエリアを設定する処理手順を示すフローチャートである。まずプレイエリア制御部２６４は、プレイエリア設定用にクロップされたフレームのデータをクロップ部２７４から取得する（Ｓ４０）。プレイエリア制御部２６４は、クロップ後のフレームデータに基づいて、ユーザの周囲空間におけるプレイエリアを自動検出する（Ｓ４２）。

具体的には、プレイエリア制御部２６４は、クロップされた画像に基づいて、Visual SLAMなど公知の手法によりユーザの部屋の３次元形状を推定する。Visual SLAMの場合、この処理はマップデータの生成に対応する。そしてプレイエリア制御部２６４は、推定した部屋の３次元形状をもとに、モーションセンサ１３４の計測値が示す重力方向に対して垂直な平面を床面として検出する。さらにプレイエリア制御部２６４は、当該床面を基準としてその上にある物の３次元形状を、フレームから抽出した特徴点に対応するポイントの集合として構築していく。

プレイエリア制御部２６４は、当該ポイントの集合に基づきプレイエリアの境界を決定し、その位置座標を含むプレイエリアデータを生成する。なおプレイエリア制御部２６４は、プレイエリア検出時、プレイエリアとしての床面の高さを導出する。床面の高さは、例えば、重力方向における床面とヘッドマウントディスプレイ１００との距離であってもよい。プレイエリア制御部２６４は、床面の高さを示すデータをプレイエリアデータに含める。ヘッドマウントディスプレイ１００の位置が原点の場合、床面の高さはマイナス１メートル等であってもよい。

プレイエリア制御部２６４は、プレイエリアの設定に必要な３次元空間に係るデータを全て取得できたかを確認し、取得できていなければ新たなフレームについてＳ４２の処理を繰り返す（Ｓ４６のＮ、Ｓ４０、Ｓ４２）。ここで必要なデータとは、プレイエリアを抜けなく設定するのに必要なデータであり、例えばユーザが向く可能性のある方向や移動が許容される方向を網羅するマップデータである。プレイエリア制御部２６４は、Ｓ４６の判定を、キーフレームが得られたステレオカメラ１１０の状態の分布を確認することにより行ってもよい。

必要なデータが取得できたら（Ｓ４６のＹ）、プレイエリア制御部２６４は、それまでに得られたマップデータやキーフレームのデータを、マップ記憶部２５８に格納する（Ｓ４８）。続いてプレイエリア制御部２６４は、プレイエリアを調整するユーザ操作を受け付ける（Ｓ５０）。例えばプレイエリア制御部２６４は、検出した床面の高さを示すデータに基づいて、床面調整画面を生成する。床面調整画面は、撮影画像取得部２６２により取得された撮影画像のフレームに、床面を示すオブジェクト（例えば半透明の格子状のオブジェクト）を重畳したＡＲ画像を含んでもよい。

プレイエリア制御部２６４は、表示制御部２９２を介して、ヘッドマウントディスプレイ１００の表示パネルに床面調整画面を表示させる。プレイエリア制御部２６４は、床面調整画面に対し入力された、床面の高さを調整するユーザの操作を受け付け、それに応じて床面の高さを変更する。プレイエリア制御部２６４はまた、検出したプレイエリアのデータに基づいて、プレイエリア編集画面を生成する。プレイエリア編集画面は、撮影画像取得部２６２により取得された撮影画像の上にプレイエリアを示すオブジェクトを重畳したＡＲ画像を含む。

プレイエリア制御部２６４は、プレイエリア編集画面をヘッドマウントディスプレイ１００の表示パネルに表示させる。プレイエリア制御部２６４は、プレイエリア編集画面に対し入力された、プレイエリアを編集するユーザの操作を受け付け、それに応じてプレイエリア６２の形状を変更する。そしてプレイエリア制御部２６４は、最終的に決定したプレイエリアのデータを、プレイエリア記憶部２５６に格納する（Ｓ５２）。プレイエリアのデータは例えば、境界を構成する点群の座標値を含む。

図１２は、プレイエリア設定時のユーザの行動を模式的に示す。部屋３０の中で、ユーザは、ヘッドマウントディスプレイ１００を頭部に装着して周囲を見回しつつ移動する。図１２においてユーザ３２は、このときのユーザの位置を示している。矢印３４は、ユーザの視線方向を示している。プレイエリア３６は、設定されるプレイエリアの一例を示している。

図１１のＳ４０、４２の処理中、プレイエリア制御部２６４は、撮影画像取得部２６２により取得された撮影画像のフレーム全体を、表示制御部２９２を介して、ヘッドマウントディスプレイ１００の表示パネルに表示させ、ビデオシースルーを実現する。図示するようにユーザが様々な方向を向き、その撮影画像がヘッドマウントディスプレイ１００から送信されることにより、プレイエリア制御部２６４は、ユーザの周囲の状況を３次元のマップデータとして構築できる。なお当該データの構築には、同時に計測されるモーションセンサ１３４の出力も利用してよい。

図１３は、ステレオカメラ１１０により撮影されたフレームの画像と、それから得られるキーフレームのデータを例示している。なお実際には各フレームについて、ステレオカメラ１１０で撮影された画像の対が得られるが、図ではその一方のみを模式的に示している。プレイエリア制御部２６４および状態情報取得部２７６は、コーナー検出法等の公知の手法を用いて、フレーム画像４０に含まれる複数の特徴点４４を抽出する。

ここで処理対象とするフレーム画像４０は、クロップ部２７４がプレイエリア設定用、あるいは状態情報取得用にクロップした画像である。上述のとおり、これを前の時刻のフレーム画像と照合して対応点を得ることにより、フレーム画像４０を撮影したときの、ステレオカメラ１１０の状態情報が特定される。元のフレームのうち必要と推定される領域のみをクロップしてから特徴点を抽出することにより、これらの処理の効率を格段に向上させることができる。

一方、プレイエリア制御部２６４および状態情報取得部２７６は、１枚のフレーム画像４０から所定数以上、例えば２４個以上の特徴点が抽出された場合、それをキーフレーム４２とする。プレイエリア制御部２６４および状態情報取得部２７６は、選択したフレーム画像４０から抽出された特徴点（例えば特徴点４４）の、画像平面における位置座標と、その周囲の所定範囲の画像とで構成されるキーフレーム４２のデータを生成する。プレイエリア制御部２６４および状態情報取得部２７６はさらに、それが撮影されたときのステレオカメラ１１０の状態情報を対応づけ、最終的なキーフレームデータとする。

プレイエリア制御部２６４は、ユーザの周囲空間のうち入力された撮影画像（実施形態では撮影画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出するための複数の基準（以下「ビン」と呼ぶ。）を記憶する。複数のビンは、ユーザの周囲空間を異なる態様で分割した複数の基準である。

図１４は、本実施の形態で利用できる複数のビンを例示する。ビン５０、ビン５２、ビン５４のそれぞれは、中心をユーザの位置とし、ユーザの周囲空間を、重力方向を軸として分割したものである。ビン５０は、プレイエリア設定開始時のユーザの視線方向と、視線方向に垂直な方向とに基づいて、ユーザの周囲空間を中心角９０度で４分割した基準である。ビン５２は、ビン５０に対して位相を４５度ずらしたものである。ビン５４は、ユーザの周囲空間を中心角２２．５度で１６分割した基準である。以下、ビン５０、ビン５２、ビン５４のそれぞれで規定された、ユーザの周囲空間における分割されたエリアを「分割エリア」と呼ぶ。

プレイエリア制御部２６４は、ビン５０、ビン５２、ビン５４に基づいて、ユーザの周囲空間のうち入力されたフレームの画像（実施形態では撮影画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出する。プレイエリア制御部２６４は例えば、そのスコアが予め定められた閾値以上になった場合、図１１のＳ４６において、プレイエリアの設定に必要なデータが取得できたと判定する。

具体的には、プレイエリア制御部２６４は、撮影画像からキーフレームを生成した場合、ビン５０、ビン５２、ビン５４のそれぞれについて、当該キーフレームが得られたときのヘッドマウントディスプレイ１００の状態に合致する分割エリアを特定する。得られたキーフレームが、当該分割エリアに対する最初のキーフレームであれば、その分割エリアが埋まったこととし、埋められた分割エリアの個数をスコアに加算する。プレイエリア制御部２６４は、新たなキーフレームを生成すると、同様のアルゴリズムにより、各ビンにおいて新たに埋められた分割エリアの個数をスコアに加算する。

そしてプレイエリア制御部２６４は、例えばスコアが閾値「１０」未満であれば必要なデータが取得されていないと判定し、プレイエリアの検出処理を継続する。スコアが閾値「１０」以上になった場合、プレイエリア制御部２６４は、必要なデータが取得されたと判定し、ユーザによる調整を受け付ける段階へ移行する。スコアの閾値「１０」は、ヘッドマウントディスプレイ１００を装着したユーザが自身の周囲１８０度をぐるりと見渡せばクリアできる値であるが、ユーザが周囲を見渡さない場合にはクリアできない値として定められたものである。

なお、ステレオカメラ１１０の画角が広いほど、１フレームに含まれる情報量が多くなり、プレイエリア検出に必要なデータを少ないフレーム数でも取得できることになる。上述のとおりクロップ部２７４が、広角で撮影された画像から、角度範囲の異なる複数の領域をクロップすれば、ユーザが周囲を見回す手間を最小限に、プレイエリアの設定を完了させることができる。本実施の形態では、クロップされた領域のみを解析対象とするため、このようにステレオカメラ１１０の画角を広げても解析時間への影響を抑えられる。

図１５は、プレイエリア編集画面の例を示す。プレイエリア編集画面６０は、プレイエリア６２と境界６４を含む。プレイエリア６２は、プレイエリア（典型的には障害物のない床面）を示す画像であり、例えば半透明の格子状のオブジェクトを示す画像であってもよい。境界６４は、プレイエリア６２の境界を示す画像であり、プレイエリア６２の境界においてプレイエリアに垂直に交わる画像である。境界６４も、例えば半透明の格子状のオブジェクトであってもよい。

プレイエリア制御部２６４は、プレイエリア編集画面に対し、境界６４を移動させたりプレイエリア６２の拡張や縮小を行ったりするユーザ操作の内容を、コントローラ１４０などを介して取得する。そしてユーザが確定操作を行ったとき、プレイエリア制御部２６４は、その時点でのプレイエリアを最終的な状態としてデータを生成し、プレイエリア記憶部２５６に格納する。

以上述べた本実施の形態によれば、ヘッドマウントディスプレイが備えるステレオカメラによる撮影画像を、ビデオシースルーやＡＲなどの目的で表示に用いるほか、画像解析にも利用する。この際、解析内容や目的に応じて設定された規則に従い、最適な領域をクロップして用いる。これにより、ステレオカメラの画角を広くしても、効率を落とすことなく解析を行える。これを利用し、画角の広いステレオカメラを採用することにより、プレイエリアの設定時にユーザが周囲を見回す手間を軽減することもできる。

プレイエリアの設定には床面を含む画像、ヘッドマウントディスプレイの状態情報取得にはヘッドマウントディスプレイの正面の画像、といったように、用途に応じて適切な領域を、カメラの光軸方向などを踏まえてクロップする。これにより、重要な部分にリソースを集中させることができ、高い精度での情報が低遅延で得られる。また各種情報の取得に、専用のセンサを設ける必要がなくなるため、簡易な構成のヘッドマウントディスプレイでも、質の高い画像表現を実現できる。同時に、重量や消費電力の増加に伴うヘッドマウントディスプレイの装着感の悪化を回避できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 画像表示システム、 １００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２５６ プレイエリア記憶部、 ２５８ マップ記憶部、 ２６２ 撮影画像取得部、 ２６４ プレイエリア制御部、 ２７４ クロップ部、 ２７６ 状態情報取得部、 ２７８ クロップ規則記憶部、 ２９２ 表示制御部。

Claims (12)

1. ヘッドマウントディスプレイが搭載するカメラにより撮影中の動画像を表示画像として当該ヘッドマウントディスプレイに表示させる表示制御部と、
   前記動画像のフレームから、所定規則に従い一部の領域を切り出すクロップ部と、
   前記一部の領域の画像を解析し、前記動画像と異なる画像を前記ヘッドマウントディスプレイに表示させる際に必要なデータを取得する画像解析部と、
   を備えたことを特徴とする情報処理装置。
2. 前記クロップ部は、前記所定規則に従い、前記フレームのうち床面が写る可能性の高い領域を切り出し、
   前記画像解析部は、切り出された当該領域の画像を用いて、前記ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアを設定するのに用いる、当該ユーザの周囲の空間の３次元情報を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記クロップ部は、前記ユーザの姿勢を推定し、その結果に応じて前記床面が写る可能性の高い領域として切り出す領域を変化させることを特徴とする請求項２に記載の情報処理装置。
4. 前記画像解析部は、前記３次元情報における床面の位置を、前記ヘッドマウントディスプレイが内蔵するモーションセンサによる重力方向の情報に基づき取得し、
   前記クロップ部は、当該床面の位置に基づき、前記床面が写る可能性の高い領域を決定することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記クロップ部は、前記床面の位置に基づき、前記床面が写る可能性の高い領域を各時刻で導出することにより、切り出す領域を時間変化させることを特徴とする請求項４に記載の情報処理装置。
6. 前記クロップ部は、前記ヘッドマウントディスプレイの、単位時間あたりの状態変化が閾値より小さいとき、前記一部の領域を拡張することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記クロップ部は、前記画像解析部が行う解析の内容に対応づけられた規則に従い、当該内容に応じて異なる領域を切り出すことを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. 前記クロップ部は、前記解析の内容に応じて、前記カメラの光軸の方向に基づき設定された固定領域を切り出すことを特徴とする請求項７に記載の情報処理装置。
9. 前記クロップ部は、前記所定規則に従い、特徴点を多く含む可能性が高い領域を切り出し、
   前記画像解析部は、切り出された当該領域の画像を用いて、前記ヘッドマウントディスプレイの位置姿勢を追跡することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
10. 前記クロップ部は、前記画像解析部が行う一種類の解析に対し、前記フレームから、複数の領域を切り出すことを特徴とする請求項１から９のいずれかに記載の情報処理装置。
11. ヘッドマウントディスプレイが搭載するカメラにより撮影中の動画像を表示画像として当該ヘッドマウントディスプレイに表示させるステップと、
    前記動画像のフレームから、所定規則に従い一部の領域を切り出すステップと、
    前記一部の領域の画像を解析し、前記動画像と異なる画像を前記ヘッドマウントディスプレイに表示させる際に必要なデータを取得するステップと、
    を含むことを特徴とする情報処理方法。
12. ヘッドマウントディスプレイが搭載するカメラにより撮影中の動画像を表示画像として当該ヘッドマウントディスプレイに表示させる機能と、
    前記動画像のフレームから、所定規則に従い一部の領域を切り出す機能と、
    前記一部の領域の画像を解析し、前記動画像と異なる画像を前記ヘッドマウントディスプレイに表示させる際に必要なデータを取得する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images