JP2023118379A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアを、容易かつ適切に設定する。
【解決手段】画像生成装置は、ヘッドマウントディスプレイのステレオカメラによる撮影画像に基づき周囲にある障害物を検出し、ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアの境界７２を設定する。プレイエリアの内側に新たな障害物を検出したとき、床面上での観測地点Ｈから、障害物の輪郭８０への接線８２ａ、８２ｂを生成し、それらと、輪郭８０のうち接点ＡＢの間とで構成される線により、新たなプレイエリアの境界８６を設定する。
【選択図】図１３

Description

本発明は、ヘッドマウントディスプレイに係るデータを処理する情報処理装置および情報処理方法に関する。

ヘッドマウントディスプレイを装着したユーザが対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ユーザの視線方向に応じた画像がヘッドマウントディスプレイに表示されるようにすることで仮想現実（Virtual Reality：ＶＲ）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲーム等のアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

ヘッドマウントディスプレイを装着したユーザがアプリケーションのプレイ中に移動可能な範囲は、ユーザの部屋のサイズや、ユーザの部屋に設置された家具や荷物等の環境に応じて制限される必要がある。一方で、過剰な制限により、コンテンツが本来有する娯楽性が損なわれたり、ユーザにストレスを与えたりするジレンマがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアを、容易かつ適切に設定できる技術を提供することにある。

上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、ヘッドマウントディスプレイが搭載するカメラにより撮影された、ユーザの周囲空間を映したカメラ画像のデータを取得するカメラ画像取得部と、カメラ画像に基づいて周囲空間における障害物を検出し、その結果に基づき、ユーザが移動可能なプレイエリアを設定するプレイエリア設定部と、ヘッドマウントディスプレイを用いたアプリケーションをプレイ中のユーザの位置とプレイエリアの境界との関係に応じて、ユーザに対する警告処理を実行する警告処理部と、を備え、プレイエリア設定部は、設定したプレイエリアの境界と、新たに検出した障害物との位置関係を特定し、その結果に応じてプレイエリアの境界を修正するか否かを決定することを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、ヘッドマウントディスプレイが搭載するカメラにより撮影された、ユーザの周囲空間を映したカメラ画像のデータを取得するステップと、カメラ画像に基づいて周囲空間における障害物を検出し、その結果に基づき、ユーザが移動可能なプレイエリアを設定するステップと、ヘッドマウントディスプレイを用いたアプリケーションをプレイ中のユーザの位置とプレイエリアの境界との関係に応じて、ユーザに対する警告処理を実行するステップと、を含み、プレイエリアを設定するステップは、設定したプレイエリアの境界と、新たに検出した障害物との位置関係を特定し、その結果に応じてプレイエリアの境界を修正するか否かを決定することを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイを装着したユーザが移動可能なプレイエリアを、容易かつ適切に設定できる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。 本実施の形態における画像表示システムの構成例を示す図である。 本実施の形態において画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 本実施の形態における画像生成装置の内部回路構成を示す図である。 本実施の形態におけるヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態における画像生成装置の機能ブロックを示すブロック図である。 本実施の形態においてプレイエリアを設定する際の画像生成装置の動作を示すフローチャートである。 図７のＳ１０～Ｓ１４のループ処理におけるユーザの行動を模式的に示す図である。 図７のＳ１０の処理においてカメラ画像取得部が取得するカメラ画像の例を示す図である。 図９のカメラ画像から生成されるキーフレームのデータ例を示す図である。 本実施の形態で採用できる複数のビンを示す図である。 本実施の形態においてプレイエリア検出部がプレイエリアの境界を設定する様子を模式的に示す図である。 本実施の形態においてプレイエリア検出部が、設定したプレイエリアの内部に別の障害物を検出した際の、プレイエリアの修正手順の例を説明するための図である。 本実施の形態において新たな障害物が２つ検出された場合の、修正後のプレイエリアを模式的に示す図である。 本実施の形態においてプレイエリア検出部が、設定したプレイエリアの内部に別の障害物を検出した際の、プレイエリアの修正手順の別の例を説明するための図である。 本実施の形態においてプレイエリア検出部がプレイエリアを検出する処理手順を示すフローチャートである。 本実施の形態におけるプレイエリア編集画面の例を示す図である。 本実施の形態におけるＶＲゲーム実行時の画像生成装置の動作を示すフローチャートである。

本実施の形態は、ユーザの頭部に装着されたヘッドマウントディスプレイにアプリケーションの画像を表示する画像表示システムに関する。図１は、ヘッドマウントディスプレイ１００の外観例を示す。本実施の形態のヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。本実施の形態のヘッドマウントディスプレイ１００の表示パネルは、透過性がないものとする。すなわちヘッドマウントディスプレイ１００は、光不透過型のヘッドマウントディスプレイである。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備えてよい。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。また、ヘッドマウントディスプレイ１００は、モーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

また、ヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備える。ステレオカメラ１１０は、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に映っている実物体の像上に仮想オブジェクトを描画すれば拡張現実（Augmented Reality：ＡＲ）を実現できる。

図２は、本実施の形態の画像表示システムの構成例を示す。画像表示システムは、ヘッドマウントディスプレイ１００、画像生成装置２００、コントローラ１４０を備える。ヘッドマウントディスプレイ１００は、無線通信により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションのデータを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する情報処理装置である。例えば、画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために動画像を表示させてもよい。また、ユーザの視点を中心に広い画角のパノラマ画像をヘッドマウントディスプレイ１００に表示させることによって、表示世界への深い没入感をユーザに与えることができる。なお、画像生成装置２００は、据置型ゲーム機であってもよく、ＰＣであってもよい。

コントローラ１４０は、ユーザの手に把持され、画像生成装置２００における画像生成や、ヘッドマウントディスプレイ１００における画像表示を制御するためのユーザの操作が入力されるコントローラ（例えばゲームコントローラ）である。コントローラ１４０は、無線通信により画像生成装置２００に接続される。変形例として、ヘッドマウントディスプレイ１００とコントローラ１４０の一方、または両方は、信号ケーブル等を介した有線通信により画像生成装置２００に接続されてもよい。

図３は、画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例では、ユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には、図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は、当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

画像生成装置２００は、ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートでヘッドマウントディスプレイ１００から取得し、これに応じてビュースクリーン１４の位置や方向を変化させる。これにより、ユーザの視点に対応する視野で画像をヘッドマウントディスプレイ１００に表示させることができる。また、画像生成装置２００は、視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００の表示パネルの左右の領域にステレオ画像を表示させれば、仮想空間をユーザ１２に立体視させることもできる。これにより、ユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

図４は、画像生成装置２００の内部回路構成を示す。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続される。バス２３０にはさらに入出力インターフェース２２８が接続される。入出力インターフェース２２８には、通信部２３２、記憶部２３４、出力部２３６、入力部２３８、記録媒体駆動部２４０が接続される。

通信部２３２は、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線ＬＡＮまたは無線ＬＡＮ等のネットワークインターフェースを含む。記憶部２３４は、ハードディスクドライブや不揮発性メモリ等を含む。出力部２３６は、ヘッドマウントディスプレイ１００へのデータを出力する。入力部２３８は、ヘッドマウントディスプレイ１００からのデータ入力を受け付け、また、コントローラ１４０からのデータ入力を受け付ける。記録媒体駆動部２４０は、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。また、ＣＰＵ２２２は、記憶部２３４またはリムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラム（例えばＶＲゲームアプリケーション等）を実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令にしたがって描画処理を行い、描画結果を出力部２３６に出力する。メインメモリ２２６は、ＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、ヘッドマウントディスプレイ１００の内部回路構成を示す。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、無線通信のインターフェースを含む通信部１３２、モーションセンサ１３４、およびステレオカメラ１１０が接続される。

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理するとともに、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２は、ＣＰＵ１２０における処理に必要なプログラムやデータを格納する。

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルを含み、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。表示部１２４は、左右の目に対応する領域に一対のステレオ画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術により通信を実現する。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。

ステレオカメラ１１０は、図１で示したとおり、ユーザの視点に対応する視野で周囲の実空間を左右の視点から撮影するビデオカメラの対である。ステレオカメラ１１０により撮像された画像であり、ユーザの周囲空間を映した画像を以下「カメラ画像」とも呼ぶ。カメラ画像は、ユーザの視線方向（典型的にはユーザの正面）に存在する物体が映る画像とも言える。モーションセンサ１３４による計測値や、ステレオカメラ１１０による撮影画像（カメラ画像）のデータは、必要に応じて、通信部１３２を介して画像生成装置２００へ送信される。

本実施の形態の画像表示システムでは、ヘッドマウントディスプレイ１００を装着したユーザがアプリケーションのプレイ中に移動可能な実世界の範囲を規定したプレイエリアが設定される。プレイエリアは、ユーザの周囲空間（ユーザの周囲に広がる実世界の空間）のうち、ユーザが仮想現実の画像（以下「ＶＲ画像」とも呼ぶ。）を視聴中に動き回ることが許可されたエリアまたは範囲と言える。アプリケーションのプレイ中にユーザがプレイエリアを逸脱しようとする場合や逸脱した場合、画像表示システムは、注意を促す内容、または、プレイエリアへの復帰を促す内容の警告をユーザに提供する。

上記のアプリケーションは、ＶＲ画像をヘッドマウントディスプレイ１００に表示させるゲームアプリケーションであることとし、以下「ＶＲゲーム」とも呼ぶ。例えば、ＶＲゲームは、仮想世界のテニスコートを示すＶＲ画像を表示させ、実世界でのユーザの移動（歩行等）に伴って、仮想世界のテニスコートにおけるキャラクタの位置を変化させるテニスゲームであってもよい。

本実施の形態において画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザがアプリケーションのプレイ中に移動可能なプレイエリアを自動検出する。この際、画像生成装置２００は、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影した実空間における周囲の物の位置や形状を特定することで、ユーザがそれらの物に衝突することなく移動できる範囲を決定する。画像生成装置２００はさらに、自動検出されたプレイエリアを編集するユーザの操作を受け付け、その操作に応じてプレイエリアの形状を変更してもよい。これにより、ユーザが任意形状のプレイエリアを効率的に設定できる。

図６は、画像生成装置の機能ブロックを示すブロック図である。上述したように、画像生成装置２００は、ＶＲゲームの進行やサーバとの通信等、一般的な情報処理を実行するが、図６では特に、プレイエリアの設定に関する機能ブロックを詳細に示している。なお、図６に示す画像生成装置２００の機能のうち少なくとも一部は、ネットワークを介して画像生成装置２００に接続されたサーバに実装されてもよい。

また、図６に示す複数の機能ブロックは、ハードウェア的には、図４に示したＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６、記憶部２３４等の構成で実現でき、ソフトウェア的には、複数の機能ブロックの機能を実装したコンピュータプログラムにより実現できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、データ処理部２５０とデータ記憶部２５２を備える。データ処理部２５０は、各種のデータ処理を実行する。データ処理部２５０は、図４に示した通信部２３２、出力部２３６、入力部２３８を介して、ヘッドマウントディスプレイ１００およびコントローラ１４０とデータを送受信する。データ記憶部２５２は、データ処理部２５０により参照または更新されるデータを記憶する。

データ記憶部２５２は、Ａｐｐ記憶部２５４、プレイエリア記憶部２５６、マップ記憶部２５８を備える。Ａｐｐ記憶部２５４は、ＶＲ画像を生成するアプリケーション（実施形態ではＶＲゲーム）のデータを記憶する。プレイエリア記憶部２５６は、プレイエリアに関するデータを記憶する。プレイエリアに関するデータは、プレイエリアの境界を構成する点群の位置を示すデータ（例えばワールド座標系における各点の座標値）を含む。

マップ記憶部２５８は、ヘッドマウントディスプレイ１００の位置（すなわちヘッドマウントディスプレイ１００を装着したユーザの位置）を推定するためのマップデータを記憶する。本実施の形態のマップデータは、ユーザがＶＲゲームをプレイする部屋が映る画像（当該画像に映る特徴点）であり、位置関係（位置および方向）が判明している画像（当該画像に映る特徴点）の集合を含む。具体的には、マップデータは、ヘッドマウントディスプレイ１００の位置、視線方向、およびキーフレームを対応付けた組を複数組含む。なお、マップデータは、いわゆる自己位置推定に必要な他の項目を含んでもよい。

或る組のキーフレームは、同じ組の位置および視線方向で見える像の特徴を示すデータである。キーフレームは、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像されたカメラ画像をもとに生成された画像であり、かつ、所定個数以上の特徴点を含む画像である。キーフレームに含まれるべき特徴点の個数は２４個以上であってもよい。特徴点は、公知のコーナー検出法により検出されたコーナーを含んでもよく、また、輝度の勾配に基づいて検出されてもよい。キーフレームは、カメラ画像から切り出された部分画像の集合とも言える。

データ処理部２５０は、システム部２６０、Ａｐｐ実行部２９０、表示制御部２９２を備える。これら複数の機能ブロックの機能は、コンピュータプログラムに実装されてもよい。画像生成装置２００のＣＰＵ２２２とＧＰＵ２２４は、上記コンピュータプログラムを記憶部２３４や記録媒体からメインメモリ２２６に読み出して実行することにより上記複数の機能ブロックの機能を発揮してもよい。

Ａｐｐ実行部２９０は、ユーザにより選択されたアプリケーション（実施形態ではＶＲゲーム）のデータをＡｐｐ記憶部２５４から読み出し、ユーザにより選択されたアプリケーションを実行する。表示制御部２９２は、システム部２６０およびＡｐｐ実行部２９０により生成された様々な画像（例えばＶＲ画像やＡＲ画像）のデータをヘッドマウントディスプレイ１００へ送信し、それらの画像をヘッドマウントディスプレイ１００の表示部１２４（表示パネル）に表示させる。

システム部２６０は、ヘッドマウントディスプレイ１００に関するシステムの処理を実行する。システム部２６０は、ヘッドマウントディスプレイ１００用の複数のアプリケーション（例えばＶＲゲーム）に対して共通のサービスを提供する。システム部２６０は、カメラ画像取得部２６２、プレイエリア設定部２６４、マップ生成部２７４、通知部２７８、位置推定部２８０、警告処理部２８２を含む。

カメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信された、ヘッドマウントディスプレイ１００のステレオカメラ１１０により撮像されたカメラ画像を取得する。プレイエリア設定部２６４は、プレイエリアの設定に係る各種処理を実行する。具体的にはプレイエリア設定部２６４は、カメラ画像取得部２６２により取得されたカメラ画像と、コントローラ１４０を介して入力されたユーザの操作とに基づいて、プレイエリアを設定する。プレイエリア設定部２６４は、プレイエリア検出部２６６、床面設定部２６８、プレイエリア編集部２７０を含む。

プレイエリア検出部２６６は、カメラ画像取得部２６２により取得されたカメラ画像に基づいて、ヘッドマウントディスプレイ１００を装着したユーザの周囲空間からプレイエリアを自動検出する。床面設定部２６８は、プレイエリア検出部２６６によりプレイエリアとして検出された床面の高さを編集するユーザの操作を受け付け、その操作に応じて床面の高さを変更する。

プレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを編集するユーザの操作を受け付け、その操作に応じてプレイエリアの形状を変更する。例えば、プレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを、ユーザの操作に応じて縮小する。

マップ生成部２７４は、プレイエリア検出部２６６がプレイエリアを検出することと並行して、カメラ画像取得部２６２により取得されたカメラ画像に基づいて、ユーザの位置を推定するためのマップを生成する。マップ生成部２７４は、生成したマップデータをマップ記憶部２５８に格納する。マップ生成部２７４は、ユーザの周囲空間を複数の方向から映した複数枚のカメラ画像であって、予め定められた枚数以上のカメラ画像が入力された場合、マップの生成を終了する。

通知部２７８は、Ａｐｐ実行部２９０によるＶＲゲームの実行に必要な情報をＡｐｐ実行部２９０へ通知する。位置推定部２８０は、マップ記憶部２５８に記憶されたマップデータと、カメラ画像取得部２６２により取得されたカメラ画像とに基づいて、実世界におけるユーザの位置を推定し、言い換えれば、プレイエリアにおけるユーザの位置を推定する。

例えば、位置推定部２８０は、マップデータに含まれる複数のキーフレームとカメラ画像とを照合し、その照合結果と、各キーフレームに対応付けられたヘッドマウントディスプレイ１００の位置および視線方向とに基づいて、ユーザの位置を推定してもよい。また、位置推定部２８０は、ＳＬＡＭ（Simultaneous Localization and Mapping）等、公知の自己位置推定技術を用いてユーザの位置を推定してもよい。警告処理部２８２は、プレイエリアの境界と、ユーザの位置との関係に応じて、ユーザに対する警告処理を実行する。

次に、以上の構成によって実現される画像表示システムの動作を説明する。図７は、プレイエリアを設定する際の画像生成装置２００の動作を示すフローチャートである。ユーザは、ヘッドマウントディスプレイ１００のシステムの設定メニューの中で、プレイエリアの初期設定または再設定を選択可能である。プレイエリアの初期設定または再設定が選択された場合、画像生成装置２００のプレイエリア設定部２６４は、表示制御部２９２を介して、周囲を見回すよう促す内容のメッセージをヘッドマウントディスプレイ１００に表示させる。

これに応じてユーザが、ヘッドマウントディスプレイ１００を頭部に装着して周囲を見回しつつ移動すると、ヘッドマウントディスプレイ１００は、複数のカメラ画像のデータを画像生成装置２００へ逐次送信する。複数のカメラ画像のデータのそれぞれは、各カメラ画像生成時のセンサデータを含む。センサデータは、モーションセンサ１３４による計測値を含み、例えば、ヘッドマウントディスプレイ１００の角速度や加速度を含む。画像生成装置２００のカメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から送信されたカメラ画像のデータを取得する（Ｓ１０）。

画像生成装置２００のプレイエリア検出部２６６は、Ｓ１０で取得されたカメラ画像に基づいて、ユーザの周囲空間におけるプレイエリアを自動検出する（Ｓ１２）。具体的には、プレイエリア検出部２６６は、カメラ画像と、そのカメラ画像に対応するセンサデータとに基づいて、公知の手法によりユーザの部屋の３次元形状を推定してもよい。プレイエリア検出部２６６は、推定した部屋の３次元形状をもとに、センサデータが示す重力方向に対して垂直な平面（典型的には床面）を検出し、検出した同じ高さの複数の平面を合成した結果をプレイエリアとして検出してもよい。プレイエリア検出部２６６は、プレイエリアの境界を構成する点群の座標値を含むプレイエリアデータをプレイエリア記憶部２５６に格納する。

プレイエリア検出部２６６は、プレイエリア検出時、プレイエリアとしての床面の高さを検出する。床面の高さは、例えば、重力方向における床面とヘッドマウントディスプレイ１００との距離であってもよい。プレイエリア検出部２６６は、床面の高さを示すデータをプレイエリア記憶部２５６に格納する。ヘッドマウントディスプレイ１００の位置が原点の場合、床面の高さはマイナス１メートル等であってもよい。

画像生成装置２００のマップ生成部２７４は、Ｓ１２の処理と並行して、Ｓ１０で取得されたカメラ画像に基づいて、ユーザの位置を推定するためのマップを生成する（Ｓ１４）。ユーザの位置を推定するのに十分なマップデータが得られたことを示す所定条件が満たされるまで、プレイエリア検出部２６６およびマップ生成部２７４は、新たなカメラ画像を用いてＳ１２、Ｓ１４の処理を繰り返す（Ｓ１６のＮ）。十分なマップデータが得られたら、プレイエリア検出部２６６は、プレイエリアの検出処理を終了し、マップ生成部２７４は、マップの生成処理を終了する（Ｓ１６のＹ）。

次に、画像生成装置２００の床面設定部２６８は、プレイエリア記憶部２５６に記憶された床面の高さを示すデータに基づいて、床面調整画面を生成する。床面調整画面は、カメラ画像取得部２６２により取得されたカメラ画像に床面を示すオブジェクト（例えば半透明の格子状のオブジェクト）を重畳したＡＲ画像を含んでもよい。床面設定部２６８は、表示制御部２９２を介して、ヘッドマウントディスプレイ１００の表示パネルに床面調整画面を表示させる。床面設定部２６８は、床面調整画面に入力された床面の高さを調整するユーザの操作を受け付け、ユーザの操作にしたがって床面の高さを変更する。床面設定部２６８は、変更後の床面の高さを示すデータをプレイエリア記憶部２５６に格納する（Ｓ１８）。

続いて画像生成装置２００のプレイエリア編集部２７０は、プレイエリア検出部２６６により自動検出されたプレイエリアを示す画像を生成する。具体的には、プレイエリア編集部２７０は、プレイエリア記憶部２５６に格納されたプレイエリアデータに基づいて、プレイエリア編集画面を生成する。プレイエリア編集画面は、カメラ画像取得部２６２により取得されたカメラ画像の上にプレイエリアを示すオブジェクトを重畳したＡＲ画像を含む。画像生成装置２００の表示制御部２９２は、プレイエリア編集画面をヘッドマウントディスプレイ１００の表示パネルに表示させる（Ｓ２０）。

プレイエリア編集部２７０は、プレイエリア編集画面６０に入力されたプレイエリアを編集するユーザの操作を受け付ける（Ｓ２２）。具体的にはプレイエリア編集部２７０は、ユーザの操作に応じてプレイエリアの形状を変更し、すなわち、ユーザの操作に応じてプレイエリアを拡大または縮小する。プレイエリア編集部２７０は、形状変更後のプレイエリアのデータ（例えば境界を構成する点群の座標値）をプレイエリア記憶部２５６に格納することにより、プレイエリア記憶部２５６に記憶されたプレイエリアデータを更新する。

図８は、図７のＳ１０～Ｓ１４のループ処理におけるユーザの行動を模式的に示す。部屋３０の中で、ユーザは、ヘッドマウントディスプレイ１００を頭部に装着して周囲を見回しつつ移動する。図８のユーザ３２は、このときのユーザの位置を示している。なお図８に示すユーザ３２は、ユーザが移動した位置の全てを表すものではなく、次に説明するキーフレームが生成された位置に限って表されている。矢印３４は、ユーザの視線方向を示している。プレイエリア３６は、設定されるプレイエリアの一例を示している。図示するようにユーザが移動している間、画像生成装置２００のプレイエリア設定部２６４は、カメラ画像取得部２６２により取得されたカメラ画像を、表示制御部２９２を介して、ヘッドマウントディスプレイ１００の表示パネルに表示させ、すなわち、ユーザが向いた方向の実空間の様子をそのままユーザに見せるビデオシースルーを行う。これによりユーザの安全性を高める。

図９は、図７のＳ１０の処理においてカメラ画像取得部２６２が取得するカメラ画像の例を示す。また図１０は、図９のカメラ画像から生成されるキーフレームのデータ例を示す。マップ生成部２７４は、コーナー検出法等の公知の手法を用いてカメラ画像４０に含まれる複数の特徴点４４を抽出し、抽出した複数の特徴点４４を示すキーフレーム４２を生成する。マップ生成部２７４は、１枚のカメラ画像４０から２４個以上の特徴点４４を抽出した場合、抽出した２４個以上の特徴点４４を含むキーフレーム４２を、センサデータにより特定されるユーザの位置および視線方向と対応付けてマップ記憶部２５８に格納する。

マップ生成部２７４はまた、各カメラ画像から抽出した特徴点の３次元空間での位置座標を、ステレオマッチングなど周知の技術により取得することで、周囲にある物の配置や形状を特定する。当該３次元の空間情報は、いわゆる環境地図として知られている。マップ生成部２７４は、特定した３次元の空間情報も、マップデータとしてマップ記憶部２５８に格納する。

マップ生成部２７４は、ユーザの周囲空間のうち入力されたカメラ画像（実施形態ではカメラ画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出するための複数の基準（以下「ビン」と呼ぶ。）を記憶する。複数のビンは、ユーザの周囲空間を異なる態様で分割した複数の基準である。

図１１は、本実施の形態で採用できる複数のビンを示す。ビン５０、ビン５２、ビン５４のそれぞれは、中心をユーザの位置とし、ユーザの周囲空間を、重力方向を軸として分割したものである。ビン５０は、プレイエリア設定開始時のユーザの視線方向と、視線方向に垂直な方向とに基づいて、ユーザの周囲空間を中心角９０度で４分割した基準である。ビン５２は、ビン５０に対して位相を４５度ずらしたものである。ビン５４は、ユーザの周囲空間を中心角２２．５度で１６分割した基準である。以下、ビン５０、ビン５２、ビン５４のそれぞれで規定された、ユーザの周囲空間における分割されたエリアを「分割エリア」と呼ぶ。

マップ生成部２７４は、ビン５０、ビン５２、ビン５４に基づいて、ユーザの周囲空間のうち入力された複数枚のカメラ画像（実施形態ではカメラ画像から生成されたキーフレーム）によりカバーされる割合に関するスコアを導出する。マップ生成部２７４は例えば、図７のＳ１６において、当該スコアが予め定められた閾値以上になった場合、十分なマップデータが得られたと判定してマップの生成処理を終了する。

具体的には、マップ生成部２７４は、カメラ画像からキーフレームを生成した場合、ビン５０、ビン５２、ビン５４のそれぞれについて、当該キーフレームが得られた視線方向に合致する分割エリアが埋まったこととし、各ビンにおいて分割エリアが埋まった個数の合計をスコアとしてカウントする。マップ生成部２７４は、新たなキーフレームを生成すると、同様のアルゴリズムにより、各ビンにおいて新たに分割エリアが埋まった個数をスコアに加算する。

例えばマップ生成部２７４は、スコアが閾値「１０」未満のとき、マップデータが十分でないと判定する。これによりプレイエリアの検出処理とマップの生成処理が継続される。スコアが閾値「１０」以上になった場合、マップ生成部２７４はマップデータが十分に取得できたと判定し、マップの生成処理を終了する。これによりプレイエリアの検出処理も終了となる。スコアの閾値「１０」は、ヘッドマウントディスプレイ１００を装着したユーザが自身の周囲１８０度をぐるりと見渡せばクリアできる値であるが、ユーザが周囲を見渡さない場合にはクリアできない値として定められたものである。

このように、マップデータが十分取得されたことが判定されるまでの期間、マップ生成部２７４がマップデータを生成するのと並行して、プレイエリア検出部２６６はプレイエリアの境界を徐々に設定していく。図１２は、プレイエリア検出部２６６がプレイエリアの境界を設定する様子を模式的に示している。プレイエリア検出部２６６は基本的に、マップ生成部２７４が生成しているマップにおいて、床面に対し略垂直方向の面を検出することで、そこに物があることを特定する。

図の例では、ヘッドマウントディスプレイ１００を装着したユーザが周囲を見回すにつれ、その視線方向（例えば方向Ｓ、Ｓ’）で撮影された障害物（例えば障害物７０ａ、７０ｂ）の特徴点の３次元位置座標が徐々に特定される。その結果、障害物の存在が判明した実空間の領域が広がっていき、それとともにプレイエリア検出部２６６は、検出された障害物の手前などにプレイエリアの境界７２を設定していく。なお図ではプレイエリアの境界７２を床上の線で表しているが、実際には床面に対し垂直方向の面を有してよい。

上述したビンなどを用いた基準に基づき、十分なマップデータが得られたことが判定されるまでは、プレイエリア検出部２６６は、障害物の新規検出に応じてプレイエリアの境界７２を適宜更新する。ここで図に示すように、一旦、設定したプレイエリアの境界７２の手前、すなわちプレイエリアの内側に、さらに障害物７４が検出される場合がある。例えば障害物７４の高さが低く、奥の障害物７０ｂが検出された際、ステレオカメラ１１０の視野に障害物７４が入らなかった場合がこれに当たる。

このときプレイエリア検出部２６６は、プレイエリアの境界７２を、障害物７４より手前の境界７６に変更することが考えられる。しかしながらこの場合、プレイエリアが必要以上に狭まり、ゲームの楽しさが半減してしまうことも考えられる。そこでプレイエリア検出部２６６は、プレイエリアが必要以上に狭くならないような規則でプレイエリアを修正する。

具体的にはプレイエリア検出部２６６は、障害物７４を検出した際のヘッドマウントディスプレイ１００から見たときの、障害物７４とその背後の領域を限定し、当該領域をプレイエリアから除くようにプレイエリア境界を修正する。換言すれば、プレイエリア検出部２６６は、ヘッドマウントディスプレイ１００から見たときの、障害物７４の左右の領域（脇の領域）を、プレイエリアから除外しないようにする。

図１３は、プレイエリア検出部２６６が、設定したプレイエリアの内部に別の障害物を検出した際の、プレイエリアの修正手順の例を説明するための図である。（ａ）は、図１２と同様、暫定的なプレイエリアの境界７２の手前に新たな障害物が検出された状況を示している。ここで輪郭８０は、新たに検出された障害物の３次元形状を床面へ射影したときの輪郭を示す。プレイエリア検出部２６６は、障害物の特徴点の３次元位置座標に基づき輪郭８０を生成する。

またプレイエリア検出部２６６は、新たな障害物を検出したときのヘッドマウントディスプレイ１００の、重心からの垂線が床面と交わる位置を、観測地点Ｈとして求める。観測地点Ｈは、床面上でのユーザの位置に対応する。次にプレイエリア検出部２６６は（ｂ）に示すように、観測地点Ｈから輪郭８０への接線８２ａ、８２ｂを生成し、その接点Ａ、Ｂおよび、接線８２ａ、８２ｂと境界７２との交点Ｃ、Ｄを求める。

そしてプレイエリア検出部２６６は（ｃ）に示すように、元の境界７２のうち交点Ｃ、Ｄの間の部分を削除するとともに、太線で示した、直線ＡＣおよび直線ＢＤと、輪郭８０のうち、観測地点Ｈに近い側の、接点Ａ、Ｂの間の部分とを、新たな境界とする。その結果、（ｄ）に示すように、新たに検出した障害物とその背後の領域８４が除かれた、新たなプレイエリアの境界８６が形成される。このような手順によりプレイエリアを修正することにより、ユーザが障害物の脇まで移動するのを最大限許容しつつ、障害物との衝突を回避できる。

なお図では床面上の２次元での処理を表しているが、上述のとおりプレイエリアの境界は床面と垂直方向の軸を含む、３次元空間で設定される。すなわち新たなプレイエリアの境界８６は、実際には床面と垂直方向の面で構成してよい。この場合、観測地点Ｈは、障害物が検出された際のヘッドマウントディスプレイ１００またはユーザの位置、輪郭８０への接線８２ａ、８２ｂは、障害物に接する２つの鉛直面ともいえる。また輪郭８０のうち接点Ａ、Ｂの間の部分は、障害物に沿うように外接し、ユーザ側で２つの鉛直面と交わる第３の鉛直面ともいえる。図１４、１５に示す境界も同様である。

図１４は、新たな障害物が２つ検出された場合の、修正後のプレイエリアを模式的に示している。プレイエリア検出部２６６は、障害物３００ａ、３００ｂに対し、それぞれ図１３と同様の手順でのプレイエリア境界の修正を独立に適用する。これにより形成される新たな境界３０１によれば、障害物３００ａ、３００ｂの間の領域を、極力、プレイエリアとして残すことができる。結果として、それらの障害物との衝突を回避しつつプレイエリアの削減量を抑えられる。障害物が３つ以上検出された場合も同様である。

図１３に示したプレイエリア境界の修正手順によれば、修正後の境界の形状は、新たに障害物を検出した際の、ヘッドマウントディスプレイ１００の位置に依存する。定性的には、障害物を検出した際のヘッドマウントディスプレイ１００の位置が、当該障害物から遠いほど、見かけ上の障害物の幅が狭くなるため、削除されるプレイエリアの幅も狭くできる。

例えばユーザがダイナミックに移動しないゲームであれば、ゲームプレイ中もヘッドマウントディスプレイ１００と当該障害物との距離がある程度維持されると見込める。そのため当該障害物の周囲のプレイエリアをいくらか広めに残しておいても、勢いでプレイエリアから逸脱し障害物に衝突する可能性が低いという意味で、遠くで検出された障害物に対しプレイエリアの削減量が抑えられることは理に適っているといえる。

一方、逆に近距離で障害物を検出し、その見かけ上の幅が広くなると、背後の領域をプレイエリアから必要以上に除外してしまう恐れがある。そこでプレイエリア検出部２６６は、障害物を検出した際の、ヘッドマウントディスプレイ１００との距離を所定の指標により確認し、プレイエリア境界の修正手順を切り替える。これにより、障害物検出時のヘッドマウントディスプレイ１００位置に依存して、プレイエリアが必要以上に削減される状況を回避し、安定的にプレイエリアを確保できるようにする。

図１５は、プレイエリア検出部２６６が、設定したプレイエリアの内部に別の障害物を検出した際の、プレイエリアの修正手順の別の例を説明するための図である。図の表し方は図１３と同様であり、（ａ）は、暫定的なプレイエリアの境界７２の手前に新たな障害物が検出された状況を示している。輪郭３０２は新たに検出された障害物の３次元形状を床面へ射影したときの輪郭、観測地点Ｈは、新たな障害物を検出したときのヘッドマウントディスプレイ１００の、重心からの垂線が床面と交わる位置を表す。

プレイエリア検出部２６６は、新たに障害物を検出したときの、ヘッドマウントディスプレイ１００との距離を所定の指標により評価し、所定基準より近いと判定したとき、本図の修正手順を採用する。図では、観測地点Ｈから輪郭３０２への接線３０４ａ、３０４ｂを生成し、そのいずれかと、観測地点Ｈから輪郭３０２の内部領域の中心点３０６を通る中心線３０８とのなす角度θ_ｏを、ヘッドマウントディスプレイ１００と障害物との距離の指標としている。

当然、角度θ_ｏが大きいほど距離が近いことを意味する。この指標は、障害物の本来の大きさも加味しており、総合的な観点で、必要以上にプレイエリアが削減される可能性の高さを示す指標と捉えることもできる。ただし用いる指標はこれに限定されず、単に観測地点Ｈと輪郭３０２との距離などを採用してもよい。角度θ_ｏを指標とする場合、例えば角度θ_ｏが４５°など閾値θ_ｔｈより大きいとき、プレイエリア検出部２６６は、ヘッドマウントディスプレイ１００と障害物との距離が近く、ひいては図１３の手法ではプレイエリアが必要以上に削減される可能性が高いと判定する。

なお角度θ_ｏには閾値θ_ｔｈより大きい上限の閾値も設定してよい。すなわち角度θ_ｏが１８０°に近いとき、観測地点Ｈは輪郭３０２に接していたり輪郭３０２の内部領域に重なっていたりすることが考えられる。この場合、輪郭３０２は真の障害物のものではなく、ユーザ自身の身体に由来する可能性が高い。そこで角度θ_ｏが１８０°に近い所定の閾値より大きいとき、プレイエリア検出部２６６は、プレイエリア境界の修正を行わない。指標として観測地点Ｈと輪郭３０２との距離を利用する場合は、当該距離が０などの閾値以下のとき、プレイエリア検出部２６６は、プレイエリア境界の修正を行わない。

角度θ_ｏが上限の閾値以下で、４５°など修正手法切り替え用の閾値θ_ｔｈより大きい場合、プレイエリア検出部２６６は（ｂ）に示すように、本来の接線３０４ａ、３０４ｂの代わりに、互いのなす角度２θ_ｏ’が角度２θ_ｏより小さい、新たな接線３１２ａ、３１２ｂを生成する。接線３１２ａ、３１２ｂは、観測地点Ｈを通る中心線３０８に対称に、当該中心線３０８とのなす角度がθ_ｏ’（＜θ_ｏ）である線３１０ａ、３１０ｂを、輪郭３０２に接するように平行移動させた線である。

角度θ_ｏ’は例えば２５°などとする。そしてプレイエリア検出部２６６は、新たな接線３１２ａ、３１２ｂと輪郭３０２との接点Ａ’、Ｂ’および、接線３１２ａ、３１２ｂと境界７２との交点Ｃ’、Ｄ’を求める。そしてプレイエリア検出部２６６は（ｃ）に示すように、元の境界７２のうち交点Ｃ’、Ｄ’の間の部分を削除するとともに、直線Ａ’Ｃ’および直線Ｂ’Ｄ’と、輪郭３０２のうち観測地点Ｈに近い側の、接点Ａ’、Ｂ’の間の部分とを、新たな境界とする。

その結果、（ｄ）に示すように、新たに検出した障害物とその背後の領域３１４が除かれた、新たなプレイエリアの境界３１６が形成される。これにより、元の接線３０４ａ、３０４ｂを用いてプレイエリアを修正するのと比較し、プレイエリアの削減量を抑えられる。なお図示する手順は一例であり、例えば輪郭３０２と接する線は折れ線や曲線でもよい。ただし図示する手法によれば、簡易な計算で確実にプレイエリアから障害物を除外できる。

図１６は、プレイエリア検出部２６６がプレイエリアを検出する処理手順を示すフローチャートである。この処理は、図７のＳ１２に対応する。プレイエリア検出部２６６は、カメラ画像から抽出した特徴点に基づき、新たな障害物、あるいは検出済みの障害物の新たな面が検出されたか否かを判定する（Ｓ３０）。検出されなければ、プレイエリア検出部２６６は処理を終了する（Ｓ３０のＮ）。新たな障害物や面が検出されたら（Ｓ３０のＹ）、プレイエリア検出部２６６は、検出された障害物あるいは面が、暫定的に設定したプレイエリア境界の手前、すなわちプレイエリアの内側にあるか否かを判定する（Ｓ３２）。

詳細にはプレイエリア検出部２６６は、Ｓ３０で障害物を検出した際のヘッドマウントディスプレイ１００と、暫定的に設定したプレイエリアの境界との間に、当該障害物が位置するか否かを確認する。そのような位置関係になければ（Ｓ３２のＮ）、プレイエリア検出部２６６はその方角でのプレイエリア境界が未設定であるとして、障害物の手前にプレイエリア境界を設定して処理を終える（Ｓ３６）。なお図では省略しているが、検出した障害物が、すでに設定されたプレイエリア境界の奥にある場合は、プレイエリア検出部２６６はそのまま処理を終了させてよい。

検出した障害物あるいは面がプレイエリアの内側にあるとき（Ｓ３２のＹ）、プレイエリア検出部２６６は、Ｓ３０で障害物を検出した際のヘッドマウントディスプレイ１００と当該障害物との距離が基準以上であるか否かを判定する（Ｓ３４）。図１５の例では角度θ_ｏを指標とし、それが閾値θ_ｔｈ以下のとき、距離が基準以上であると判定する。ヘッドマウントディスプレイ１００と障害物との距離が基準以上の場合（Ｓ３４のＹ）、プレイエリア検出部２６６は図１３で示したように、観測地点Ｈを通る、障害物の輪郭の接線によりプレイエリア境界を修正する（Ｓ３８）。

具体的には障害物の輪郭のうち接点間の部分と、接点を端点とする接線の一部とで新たな境界を生成する。ヘッドマウントディスプレイ１００と障害物との距離が基準より小さい場合（Ｓ３４のＮ）、プレイエリア検出部２６６は図１５で示したように、観測地点Ｈを通る接線より角度を狭めた、障害物の輪郭の接線によりプレイエリア境界を修正する（Ｓ４０）。

具体的にはプレイエリア検出部２６６は、Ｓ３８の接線より小さい角度をなし、障害物の輪郭の中心線に対称な２つの線を生成し、当該輪郭に接する位置まで平行移動させる。そして障害物の輪郭のうち接点の間の部分と、接点を端点とする接線の一部とで新たな境界を生成する。図示する処理を、新たな障害物が検出される都度、繰り返すことにより、最終的にはプレイエリアの境界を完成させることができる。上述のとおりプレイエリア検出部２６６が設定したプレイエリアは、ユーザにより調整できるようにすることが望ましい。

図１７は、プレイエリア編集画面の例を示す。プレイエリア編集画面６０は、プレイエリア６２と境界６４を含む。プレイエリア６２は、プレイエリア（典型的には障害物のない床面）を示す画像であり、例えば半透明の格子状のオブジェクトを示す画像であってもよい。境界６４は、プレイエリア６２の境界を示す画像であり、プレイエリア６２の境界においてプレイエリアに垂直に交わる画像である。境界６４も、例えば半透明の格子状のオブジェクトであってもよい。上述のとおり、プレイエリア編集部２７０は、表示されたプレイエリアを変形させたり拡大、縮小させたりするユーザ操作を受け付け、編集後のプレイエリアのデータをプレイエリア記憶部２５６に格納する。

図１８は、ＶＲゲーム実行時の画像生成装置２００の動作を示すフローチャートである。このフローチャートは、ユーザがヘッドマウントディスプレイ１００を装着し、画像生成装置２００に対してＶＲゲームの起動操作を行うことにより開始される。これに応じて画像生成装置２００の通知部２７８は、プレイエリア記憶部２５６に記憶されたプレイエリアのデータ、例えば、プレイエリアの形状およびサイズを示すデータをＡｐｐ実行部２９０へ送信する（Ｓ５０）。

そしてＡｐｐ実行部２９０は、Ａｐｐ記憶部２５４からＶＲゲームのプログラムデータを読み出し、ＶＲゲームを開始する（Ｓ５２）。例えば、Ａｐｐ実行部２９０は、ゲーム世界を描いた仮想空間の中でプレイエリアの範囲内にゲームアイテムを配置することによりユーザにそのアイテムを取得させてもよい。表示制御部２９２は、Ａｐｐ実行部２９０により生成されたＶＲゲームの画像（例えばＶＲ画像）をヘッドマウントディスプレイ１００の表示パネルに表示させる。

画像生成装置２００のカメラ画像取得部２６２は、ヘッドマウントディスプレイ１００から逐次送信されたカメラ画像を逐次取得し、位置推定部２８０は、実世界におけるユーザの位置および視線方向を逐次推定する（Ｓ５４）。通知部２７８は、位置推定部２８０により推定されたユーザの位置および視線方向をＡｐｐ実行部２９０へ通知する（Ｓ５６）。Ａｐｐ実行部２９０は、推定されたユーザの位置および視線方向に応じてＶＲゲームを進行させる（Ｓ５８）。例えばＡｐｐ実行部２９０は、実世界（言い換えればプレイエリア内）におけるユーザの位置の変化に応じて、ＶＲゲーム内のユーザキャラクタを移動させてもよい。

画像生成装置２００の警告処理部２８２は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合、例えば、ユーザに装着されたヘッドマウントディスプレイ１００からプレイエリアの境界までの距離が所定の閾値（例えば３０センチ）以下になった場合（Ｓ６０のＹ）、そのことを検出する。このとき警告処理部２８２は、ユーザに対する所定の警告処理を実行する（Ｓ６２）。

例えば、警告処理部２８２は、ユーザの位置がプレイエリアの境界近傍に至った場合、プレイエリアの境界を示す画像（例えば図１７に示した境界６４）を表示制御部２９２に渡してもよい。表示制御部２９２は、Ａｐｐ実行部２９０により生成されたゲーム画像に、プレイエリアの境界を示す画像を重畳したものを表示画像としてヘッドマウントディスプレイ１００の表示パネルに表示させてもよい。また、警告処理部２８２は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合やプレイエリアの境界を超えてしまった場合、表示制御部２９２を介してヘッドマウントディスプレイ１００の表示パネルにビデオシースルー画像を表示させてもよい。

また、警告処理部２８２は、実世界におけるユーザの位置がプレイエリアの境界近傍に至った場合（例えば３０センチ）、最初にプレイエリアの境界を示す画像を表示させ、実世界におけるユーザの位置がさらにプレイエリアの境界近傍に至った場合（例えば１０センチ）は、ビデオシースルー画像を表示させても良い 。一方、実世界におけるユーザの位置がプレイエリアの境界近傍でなければ（Ｓ６０のＮ）、Ｓ６２をスキップする。ユーザによりＶＲゲームの実行が停止された場合等、所定の終了条件を満たした場合（Ｓ６４のＹ）、本図のフローを終了する。終了条件が満たされなければ（Ｓ６４のＮ）、Ｓ５４に戻り、ＶＲゲームを続行する。

以上述べた本実施の形態によれば、画像生成装置は、ヘッドマウントディスプレイを装着したユーザが安全に動き回ることのできるプレイエリアを設定する。具体的には画像生成装置は、ヘッドマウントディスプレイに搭載されたステレオカメラによる撮影画像に基づき障害物を検出し、それを除くようにプレイエリアの境界を設定していく。この際、一旦設定したプレイエリアの内部に、新たな障害物が検出されたら、画像生成装置は、検出時点でのヘッドマウントディスプレイから当該障害物の輪郭に向かう接線を利用して、新たなプレイエリア境界を設定する。

これにより、障害物と、ヘッドマウントディスプレイから見てその背後の領域、という必要最小限の領域をプレイエリアから除外できる。検出時のヘッドマウントディスプレイの位置は、ゲームプレイなどコンテンツの実行時におけるユーザの位置に近いと推定されるため、障害物の手前をプレイエリアに残し、背後を除外することで、実質的なプレイエリアの削減量を極力抑えながら、障害物との衝突を回避できる。

また、検出時の障害物とヘッドマウントディスプレイとの距離が近いと判定された場合は、接線のなす角度を狭めることにより、プレイエリアから除外される範囲の拡張を抑える。これにより、障害物検出時のヘッドマウントディスプレイの位置がプレイエリアの大小に与える影響を極力排除でき、状況によらず、必要十分なプレイエリアを容易に設定できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ ヘッドマウントディスプレイ、 ２００ 画像生成装置、 ２５６ プレイエリア記憶部、 ２６４ プレイエリア設定部、 ２６６ プレイエリア検出部、 ２７０ プレイエリア編集部、 ２７４ マップ生成部、 ２８０ 位置推定部、 ２８２ 警告処理部、 ２９２ 表示制御部。

Claims (10)

1. ヘッドマウントディスプレイが搭載するカメラにより撮影された、ユーザの周囲空間を映したカメラ画像のデータを取得するカメラ画像取得部と、
   前記カメラ画像に基づいて前記周囲空間における障害物を検出し、その結果に基づき、ユーザが移動可能なプレイエリアを設定するプレイエリア設定部と、
   前記ヘッドマウントディスプレイを用いたアプリケーションをプレイ中のユーザの位置と前記プレイエリアの境界との関係に応じて、ユーザに対する警告処理を実行する警告処理部と、
   を備え、
   前記プレイエリア設定部は、設定したプレイエリアの境界と、新たに検出した障害物との位置関係を特定し、その結果に応じて前記プレイエリアの境界を修正するか否かを決定することを特徴とする情報処理装置。
2. 前記プレイエリア設定部は、前記障害物が前記プレイエリアの内側にあるとき、検出時の前記ヘッドマウントディスプレイから見たときの当該障害物とその背後の領域を限定し、前記プレイエリアから除くように前記境界を修正することを特徴とする請求項１に記載の情報処理装置。
3. 前記プレイエリア設定部は、床面において、検出時の前記ヘッドマウントディスプレイの位置を通り前記障害物の輪郭に接する２つの接線と、当該輪郭のうち前記ヘッドマウントディスプレイに近い側の、各接点の間の部分とで構成される線を、修正後の前記境界とすることを特徴とする請求項２に記載の情報処理装置。
4. 前記プレイエリア設定部は、前記障害物と、検出時の前記ヘッドマウントディスプレイとの距離を所定の指標により確認し、その結果に応じて、前記境界の修正手法を切り替えることを特徴とする請求項２または３に記載の情報処理装置。
5. 前記プレイエリア設定部は、前記障害物と、検出時の前記ヘッドマウントディスプレイとの距離を所定の指標により確認し、基準より近いと判定したとき、前記ヘッドマウントディスプレイの位置を通る前記２つの接線のなす角度より小さい角度をなす、別の２つの接線を用いて、修正後の前記境界を決定することを特徴とする請求項３に記載の情報処理装置。
6. 前記プレイエリア設定部は、検出時の前記ヘッドマウントディスプレイの位置を通り、前記輪郭の中心線に対称な所定角度をなす２つの線を、前記輪郭に接するように平行移動させることにより、前記別の２つの接線を生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記プレイエリア設定部は、前記ヘッドマウントディスプレイの位置を通る前記２つの接線のなす角度の大きさを指標として、前記距離の近さを判定することを特徴とする請求項４から６のいずれかに記載の情報処理装置。
8. 前記プレイエリア設定部は、前記プレイエリアの内側に複数の前記障害物があるとき、それぞれ独立に、各障害物とその背後の領域を限定し前記プレイエリアから除くように前記境界を修正することを特徴とする請求項２から７のいずれかに記載の情報処理装置。
9. ヘッドマウントディスプレイが搭載するカメラにより撮影された、ユーザの周囲空間を映したカメラ画像のデータを取得するステップと、
   前記カメラ画像に基づいて前記周囲空間における障害物を検出し、その結果に基づき、ユーザが移動可能なプレイエリアを設定するステップと、
   前記ヘッドマウントディスプレイを用いたアプリケーションをプレイ中のユーザの位置と前記プレイエリアの境界との関係に応じて、ユーザに対する警告処理を実行するステップと、
   を含み、
   前記プレイエリアを設定するステップは、設定したプレイエリアの境界と、新たに検出した障害物との位置関係を特定し、その結果に応じて前記プレイエリアの境界を修正するか否かを決定することを特徴とする情報処理方法。
10. ヘッドマウントディスプレイが搭載するカメラにより撮影された、ユーザの周囲空間を映したカメラ画像のデータを取得する機能と、
    前記カメラ画像に基づいて前記周囲空間における障害物を検出し、その結果に基づき、ユーザが移動可能なプレイエリアを設定する機能と、
    前記ヘッドマウントディスプレイを用いたアプリケーションをプレイ中のユーザの位置と前記プレイエリアの境界との関係に応じて、ユーザに対する警告処理を実行する機能と、
    をコンピュータに実現させ、
    前記プレイエリアを設定する機能は、設定したプレイエリアの境界と、新たに検出した障害物との位置関係を特定し、その結果に応じて前記プレイエリアの境界を修正するか否かを決定することを特徴とするコンピュータプログラム。

Images