JP2019152899A - シミュレーションシステム及びプログラム - Google Patents

Abstract

【課題】ユーザの視点での仮想空間画像と、ユーザの視点とは異なる視点での仮想空間画像と実空間の撮影画像との適切な合成画像を生成できるシミュレーションシステム等の提供。【解決手段】シミュレーションシステムは、仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、ユーザ用の表示部に表示する処理を行う表示処理部と、実空間を撮影する撮影部からの撮影画像と、実空間の物体のデプス情報を取得するデプス情報取得部からのデプス情報を取得する情報取得部と、仮想空間情報に基づいて、撮影部に対応する仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、第２仮想空間画像のオブジェクトのデプス情報と実空間の物体のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成する画像合成部を含む。【選択図】図１１

Description

本発明は、シミュレーションシステム及びプログラム等に関する。

従来より、複合現実（ＭＲ）、拡張現実（ＡＲ）、バーチャルリアリティ（ＶＲ）などを実現するシステムが知られている。例えば特許文献１には、使用者の視点位置から観察される実空間画像に、使用者の視点位置から観察される仮想物体の画像を合成表示する画像処理装置が開示されている。この画像処理装置では、使用者が操作することで実空間の領域を指定し、指定された実空間の領域に基づいて仮想オブジェクトを作成し、作成された仮想オブジェクトを、観察された実空間画像に合成する。

特開２００５−１５７６１１号公報

特許文献１のようなＭＲやＡＲのシステムを用いれば、実空間画像と仮想空間画像の合成画像を、ユーザが装着するＨＭＤ（頭部装着型表示装置）に表示できる。しかしながら、実空間画像に対して合成される仮想空間画像は、ＨＭＤを装着しているユーザの視点での画像であり、ユーザの視点とは別視点での仮想空間画像の生成や、当該別視点での仮想空間画像と実空間画像との画像合成は行われていない。またＨＭＤを装着してユーザが仮想空間のゲームをプレイする場合に、仮想空間画像を見ることができるのは、ＨＭＤを装着しているユーザだけである。このため、ゲームプレイの様子を周囲で見ている人は、ユーザが何を見て盛り上がっているのかを理解できず、ゲームの面白さや感動を共有できないという課題がある。

本発明の幾つかの態様によれば、ユーザの視点での仮想空間画像と、ユーザの視点とは異なる視点での仮想空間画像と実空間の撮影画像との適切な合成画像を生成できるシミュレーションシステム及びプログラム等を提供できる。

本発明の一態様は、仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する前記仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、前記ユーザ用の表示部に表示する処理を行う表示処理部と、前記実空間を撮影する撮影部からの撮影画像と、前記実空間の物体のデプス情報を取得するデプス情報取得部からの前記デプス情報を取得する情報取得部と、前記仮想空間情報に基づいて、前記撮影部に対応する前記仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、前記第２仮想空間画像のオブジェクトのデプス情報と前記実空間の前記物体の前記デプス情報とに基づく隠面消去処理を行いながら、前記第２仮想空間画像と前記撮影画像の合成画像を生成する画像合成部と、を含むシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、仮想空間情報に基づいて、ユーザの視点に対応する第１仮想カメラでの第１仮想空間画像が生成されて、ユーザ用の表示部に表示される。また撮影部からの撮影画像とデプス情報取得部からの実空間の物体のデプス情報が取得される。そして仮想空間情報に基づいて、撮影部に対応する第２仮想カメラから見える第２仮想空間画像が生成される。また第２仮想空間画像のオブジェクト（第２仮想空間画像に映るオブジェクト、仮想空間に配置されるオブジェクト）のデプス情報と実空間の物体のデプス情報とに基づく隠面消去処理が行われて、第２仮想空間画像と撮影画像の合成画像が生成される。このようにすれば、ユーザ用の表示部には、ユーザの視点に対応する第１仮想カメラからの第１仮想空間画像を表示できると共に、撮影部に対応する第２仮想カメラからの第２仮想空間画像と撮影画像との合成画像についても生成できるようになる。また、この合成画像においては、第２仮想空間画像のオブジェクトのデプス情報と実空間の物体のデプス情報とに基づく隠面消去処理が行われているため、より正確で自然に見える合成画像の生成が可能になる。従って、ユーザの視点での仮想空間画像と、ユーザの視点とは異なる視点での仮想空間画像と実空間の撮影画像との適切な合成画像を生成できるシミュレーションシステム等の提供が可能になる。

また本発明の一態様では、前記画像合成部は、前記第２仮想カメラにおけるデプス値が各画素に設定される前記第２仮想空間画像と、前記実空間の前記物体の前記デプス情報に基づくデプス値が各画素に設定される前記撮影画像とを、画素毎に隠面消去処理を行いながら合成することで、前記合成画像を生成してもよい。

このようにすれば、第２仮想空間画像と撮影画像の合成の際の隠面消去処理を、少ない処理負荷で実現できるようになり、リアルタイムでの合成画像の生成等が可能になる。

また本発明の一態様では、前記画像合成部は、前記第２仮想空間画像と前記撮影画像の前記合成画像を、観客用の第２表示部に表示する処理を行ってもよい。

このようにすれば、仮想空間においてユーザがどのように行動しているのかを、第２表示部に表示される合成画像により、観客に視覚的に把握させることが可能になる。

また本発明の一態様では、前記表示処理部は、前記第２仮想空間画像と前記撮影画像の前記合成画像を、前記ユーザ用の表示部に表示する処理を行ってもよい。

このように合成画像をユーザ用の表示部に表示すれば、自身の状況等を把握するための好適なインターフェース画像をユーザに提供できるようになる。

また本発明の一態様では、前記表示処理部は、仮想空間更新情報により更新される前記仮想空間情報に基づいて、前記第１仮想空間画像を生成し、前記画像合成部は、前記仮想空間更新情報により更新される前記仮想空間情報に基づいて、前記第２仮想空間画像を生成してもよい。

このようにすれば、ユーザ用の表示部に表示される第１仮想空間画像と、合成画像を構成する第２仮想空間画像とを、共用の仮想空間更新情報により更新される仮想空間情報を用いて適切に生成できるようになる。

また本発明の一態様では、前記仮想空間更新情報は、前記実空間での前記ユーザの位置情報を含むユーザ情報、前記仮想空間に配置される前記オブジェクトの状況情報、及び前記ユーザがプレイするゲームのゲーム状況の情報の少なくとも１つを含んでもよい。

このようにすれば、ユーザ情報、オブジェクトの状況情報又はゲーム状況情報に応じて変化する仮想空間更新情報に基づいて、仮想空間情報を設定し、ユーザ用の表示部に表示される第１仮想空間画像と、合成画像を構成する第２仮想空間画像とを生成できるようになる。

また本発明の一態様では、前記実空間の前記物体の前記デプス情報は、前記撮影部の撮影位置から見た前記実空間の前記物体のデプス情報であってもよい。

このようにすれば、撮影画像のデプス情報を、デプス情報取得部で取得されたデプス情報に基づき簡素な処理で設定できるようになる
また本発明の一態様では、前記画像合成部は、前記撮影画像に映る前記実空間の前記物体の認識処理を行うことで生成されたオブジェクトと、前記第２仮想空間画像の前記オブジェクトとの隠面消去処理を行いながら、前記合成画像を生成してもよい。

このようにすれば、実空間の物体に対応するオブジェクトと、第２仮想空間画像のオブジェクトとの間の適正な隠面消去処理を行いながら、合成画像を生成できるようになる。

また本発明の一態様では、複数の前記撮影部と、複数の前記デプス情報取得部が前記実空間に配置され、前記情報取得部は、複数の前記撮影部の中から選択された撮影部からの前記撮影画像と、複数の前記デプス情報取得部の中から選択されたデプス情報取得部からの前記デプス情報を取得してもよい。

このようにすれば、各状況に応じた選択された適切な撮影部、デプス情報取得部からの撮影画像、デプス情報を用いて、合成画像を生成できるようになる。

また本発明の一態様では、前記情報取得部は、前記ユーザがプレイするゲームのゲーム状況に応じて、前記撮影部及び前記デプス情報取得部の選択を行ってもよい。

このようにすれば、ゲーム状況を反映させた、撮影部及びデプス情報取得部の適切な選択を実現できるようになる。

また本発明の一態様では、前記情報取得部は、観客状況に応じて、前記撮影部及び前記デプス情報取得部の選択を行ってもよい。

このようにすれば、観客状況を反映させた、撮影部及びデプス情報取得部の適切な選択を実現できるようになる。

また本発明の一態様では、前記ユーザ用の表示部は、前記ユーザが頭部に装着する頭部装着型表示装置の表示部であってもよい。

このようにすれば、ユーザの視点に対応する第１仮想カメラでの第１仮想空間画像を、ユーザが装着する頭部装着型表示装置の表示部に表示できるようになると共に、ユーザの視点とは別視点での第２仮想空間画像と撮影画像とにより構成される合成画像の生成も可能になる。

また本発明の一態様では、前記表示処理部は、前記実空間の前記ユーザに対応する前記仮想空間のユーザキャラクタが表示される前記第１仮想空間画像を生成し、前記画像合成部は、前記仮想空間の前記ユーザキャラクタの代わりに前記実空間の前記ユーザが表示される前記合成画像を生成してもよい。

このように合成画像において、ユーザキャラクタの代わりにユーザを表示することで、ユーザキャラクタとして行動している者がユーザであることを、観客に視覚的に把握させることが可能になり、観客にとって好適な合成画像を生成できるようになる。

また本発明の一態様は、仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する前記仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、前記ユーザ用の表示部に表示する処理を行う表示処理部と、前記実空間を撮影する撮影部からの撮影画像と、前記実空間の物体の位置情報を取得する位置情報取得部からの前記位置情報を取得する情報取得部と、前記仮想空間情報に基づいて、前記撮影部に対応する前記仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、前記第２仮想空間画像のオブジェクトの位置情報と前記実空間の前記物体の前記位置情報とに基づく隠面消去処理を行いながら、前記第２仮想空間画像と前記撮影画像の合成画像を生成する画像合成部と、を含むシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、仮想空間情報に基づいて、ユーザの視点に対応する第１仮想カメラでの第１仮想空間画像が生成されて、ユーザ用の表示部に表示される。また撮影部からの撮影画像と位置情報取得部からの実空間の物体の位置情報が取得される。そして仮想空間情報に基づいて、撮影部に対応する第２仮想カメラから見える第２仮想空間画像が生成される。また第２仮想空間画像のオブジェクト（第２仮想空間画像に映るオブジェクト）の位置情報と実空間の物体の位置情報とに基づく隠面消去処理が行われて、第２仮想空間画像と撮影画像の合成画像が生成される。このようにすれば、ユーザ用の表示部には、ユーザの視点に対応する第１仮想カメラからの第１仮想空間画像を表示できると共に、撮影部に対応する第２仮想カメラからの第２仮想空間画像と撮影画像との合成画像についても生成できるようになる。また、この合成画像においては、第２仮想空間画像のオブジェクトの位置情報と実空間の物体の位置情報とに基づく隠面消去処理が行われているため、より正確で自然に見える合成画像の生成が可能になる。従って、ユーザの視点での仮想空間画像と、ユーザの視点とは異なる視点での仮想空間画像と実空間の撮影画像との適切な合成画像を生成できるシミュレーションシステム等の提供が可能になる。

本実施形態のシミュレーションシステムの構成例を示すブロック図。 本実施形態のシミュレーションシステムの構成例を示すブロック図。 本実施形態のシミュレーションシステムの構成例を示すブロック図。 本実施形態に用いられるＨＭＤの例。 本実施形態に用いられるＨＭＤの例。 本実施形態のシミュレーションシステムのハードウェア構成例。 ユーザがプレイする実空間の説明図。 仮想的なオブジェクトが配置される仮想空間の説明図。 仮想的なオブジェクトが配置される仮想空間の説明図。 第１仮想空間画像の説明図。 第２仮想空間画像と撮影画像の合成画像の説明図。 図１２（Ａ）、図１２（Ｂ）は実空間の認識処理による実空間情報の取得処理の説明図。 ＨＭＤの表示領域の説明図。 第１仮想カメラ、第２仮想カメラの設定の説明図。 画素毎の隠面消去処理を行う本実施形態の画像合成手法の説明図。 合成画像を観客用の第２表示部に表示する手法の説明図。 合成画像をユーザ用の表示部に表示する手法の説明図。 仮想空間更新情報により構成される仮想空間情報に基づく第１仮想空間画像、第２仮想空間画像の生成手法の説明図。 複数の撮影部、複数のデプス情報取得部を配置する手法の説明図。 図２０（Ａ）、図２０（Ｂ）はゲーム状況に基づいて撮影部、デプス情報取得部を選択する手法の説明図。 図２１（Ａ）、図２１（Ｂ）は観客状況に基づいて撮影部、デプス情報取得部を選択する手法の説明図。 実空間のユーザに対応する仮想空間のユーザキャラクタが表示される第１仮想空間画像の例。 仮想空間のユーザキャラクタの代わりに実空間のユーザが表示される合成画像の例。 本実施形態の詳細な処理例を示すフローチャート。 本実施形態の詳細な処理例を示すフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．シミュレーションシステム
図１、図２、図３は、本実施形態のシミュレーションシステム（シミュレータ、ゲームシステム、画像生成システム）の構成例を示すブロック図である。本実施形態のシミュレーションシステムはＭＲ（Mixed Reality）やＡＲ（Augmented Reality）などを実現するものであり、ゲームコンテンツを提供するゲームシステムなどの種々のシステムに適用可能である。なお、本実施形態のシミュレーションシステムは図１の構成に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

図１では、処理装置１０と処理装置２０が例えばネットワーク５１０を介して通信接続されている。ネットワーク５１０は無線ＬＡＮ、有線ＬＡＮ又はインターネット等を利用した通信路である。ネットワーク５１０での通信方法については有線／無線を問わない。

処理装置１０（第１処理装置）は、例えばユーザが装着する図４、図５のＨＭＤ２００の表示画像を生成する。処理装置２０（第２処理装置）は、例えば観客用の第２表示部３９０の表示画像を生成する。図２、図３に示すように、処理装置１０は、通信部１９６を介してネットワーク５１０に通信接続され、処理装置２０は、通信部３９６を介してネットワーク５１０に通信接続される。

図２は処理装置１０の詳細な構成例である。処理装置１０の処理は、一例としてはＨＭＤ２００により実現することができる。

操作部１６０（操作インターフェース）は、ユーザ（プレーヤ）が種々の操作情報（入力情報）を入力するためのものである。操作部１６０は、例えば操作ボタン、方向指示キー、ジョイスティック、レバー又は音声入力装置等の種々の操作デバイスにより実現できる。

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。ゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ、光ディスク装置などにより実現できる。記憶部１７０は、仮想空間情報記憶部１７２、描画バッファ１７８を含む。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

表示部１９０は、ＬＣＤ、有機ＥＬディスプレイ、或いはＣＲＴなどにより実現できる。表示部１９０は、例えば後述の図４、図５のＨＭＤ２００(頭部装着型表示装置）のディスプレイ（表示装置）である。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドホンなどにより実現できる。

通信部１９６（通信インターフェース）は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。

処理部１００（プロセッサ）は、操作部１６０からの操作情報や、図４、図５のＨＭＤ２００のトラッキング情報（ＨＭＤの位置及び方向の少なくとも一方の情報。視点位置及び視線方向の少なくとも一方の情報）や、プログラムなどに基づいて、情報取得処理、移動体処理、ゲーム処理（シミュレーション処理）、仮想空間設定処理、仮想カメラ制御処理、表示処理、或いは音処理などを行う。

処理装置１０の処理部１００や処理装置２０の処理部３００の各部が行う本実施形態の各処理（各機能）は、プロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０、記憶部３７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

処理部１００は、情報取得部１０２、移動体処理部１０４、ゲーム処理部１０６、仮想空間設定部１０８、仮想カメラ制御部１１０、表示処理部１２０、音処理部１３０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。例えばこれらの各部の各処理は、各処理を実行するためのプログラムモジュールとプロセッサとにより実現される。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

情報取得部１０２は各種の情報の取得処理を行う。情報取得部１０２は、例えば仮想空間更新情報を取得する。仮想空間更新情報は、仮想空間情報を更新するための情報である。この仮想空間更新情報は、例えばユーザの位置情報を含むユーザ情報などである。ユーザ情報は、ユーザの位置情報（視点位置情報）の他に、ユーザの方向情報（視線方向情報）や姿勢情報（動き情報）を含むことができる。

移動体処理部１０４は、仮想空間内で移動する移動体についての種々の処理を行う。例えば仮想空間（オブジェクト空間、ゲーム空間）において移動体を移動させる処理や、移動体を動作させる処理を行う。例えば移動体処理部１０４は、操作部１６０によりユーザが入力した操作情報や、取得されたトラッキング情報や、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（モデルオブジェクト）を仮想空間内で移動させたり、移動体を動作（モーション、アニメーション）させる制御処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。移動体は、例えば実空間のユーザ（プレーヤ）に対応するユーザキャラクタ（ユーザ移動体）や、ゲームに登場する他のキャラクタなどである。他のキャラクタは、例えばユーザキャラクタの対戦相手や協力相手となるキャラクタなどである。

ゲーム処理部１０６は、ユーザがゲームをプレイするための種々のゲーム処理を行う。別の言い方をすれば、ゲーム処理部１０６（シミュレーション処理部）は、ユーザがＭＲ（Mixed Reality）、ＡＲ（Augmented Reality）、又はＶＲ（Virtual Reality）などを体験するための種々のシミュレーション処理を実行する。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績を演算する処理などである。

仮想空間設定部１０８は、オブジェクトが配置される仮想空間（オブジェクト空間）の設定処理を行う。例えば、移動体（人、ロボット、車、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を仮想空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０の仮想空間情報記憶部１７２には、仮想空間でのオブジェクト（パーツオブジェクト）の位置、回転角度、移動速度又は移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。即ち、オブジェクト情報が仮想空間情報として仮想空間情報記憶部１７２に記憶される。仮想空間設定部１０８は、例えば各フレーム毎に、仮想空間情報であるオブジェクト情報の更新処理を行う。

仮想カメラ制御部１１０は、仮想カメラの制御を行う。例えば、操作部１６０により入力されたユーザの操作情報やトラッキング情報などに基づいて、仮想カメラを制御する処理を行う。

例えば仮想カメラ制御部１１０は、ユーザの一人称視点又は三人称視点として設定される仮想カメラの制御を行う。例えば仮想空間において移動するユーザキャラクタの視点（一人称視点）に対応する位置に、仮想カメラを設定して、仮想カメラの視点位置や視線方向を設定することで、仮想カメラの位置（位置座標）や姿勢（回転軸回りでの回転角度）を制御する。或いは、ユーザキャラクタに追従する視点（三人称視点）の位置に、仮想カメラを設定して、仮想カメラの視点位置や視線方向を設定することで、仮想カメラの位置や姿勢を制御する。

例えば仮想カメラ制御部１１０は、視点トラッキングにより取得されたユーザの視点情報のトラッキング情報に基づいて、ユーザの視点変化に追従するように仮想カメラを制御する。例えば本実施形態では、ユーザの視点位置、視線方向の少なくとも１つである視点情報のトラッキング情報（視点トラッキング情報）が取得される。このトラッキング情報は、例えばＨＭＤ２００のトラッキング処理により取得できる。そして仮想カメラ制御部１１０は、取得されたトラッキング情報（ユーザの視点位置及び視線方向の少なくとも一方の情報）に基づいて仮想カメラの視点位置、視線方向を変化させる。例えば、仮想カメラ制御部１１０は、実空間でのユーザの視点位置、視線方向の変化に応じて、仮想空間での仮想カメラの視点位置、視線方向（位置、姿勢）が変化するように、仮想カメラを設定する。このようにすることで、ユーザの視点情報のトラッキング情報に基づいて、ユーザの視点変化に追従するように仮想カメラを制御できる。

表示処理部１２０は、仮想空間画像（ゲーム画像、シミュレーション画像）の表示処理を行う。例えば処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、仮想空間において仮想カメラ（所与の視点。左眼用、右眼用の第１、第２の視点）から見える画像が生成される。なお、表示処理部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。

音処理部１３０（音処理のプログラムモジュール）は、処理部１００で行われる種々の処理の結果に基づいて音処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などのゲーム音を生成し、ゲーム音を音出力部１９２に出力させる。

図３に処理装置２０の構成例を示す。この処理装置２０は、一例としては、シミュレーションシステムが運営される施設に設置される情報処理装置（ＰＣ等）により実現することができる。

撮影部３４２（撮影装置）は実空間を撮影するものであり、例えば実空間のプレイフィールドを撮影する。撮影部３４２は例えばＲＧＢカメラなどにより実現できる。デプス情報取得部３４４（デプス情報取得装置）は実空間の物体のデプス情報（デプス値、Ｚ値）を取得するものであり、例えば撮影部３４２の撮影位置から見た実空間の物体のデプス情報を取得する。デプス情報取得部３４４は例えばデプスカメラ（デプスセンサ）などにより実現できる。なお撮影部３４２とデプス情報取得部３４４を、例えばＲＧＢカメラ、デプスカメラなどが設けられた１つの装置により実現してもよい。

また位置情報取得部３４５は、実空間の物体の位置情報を取得する。例えば位置情報取得部３４５は、仮想空間のワールド座標系に対応して設定された実空間の座標系での物体の位置情報（例えばＸ、Ｙ、Ｚ座標）を取得する。或いは位置情報取得部３４５は、撮像部３４２の位置を基準とした座標系（例えばカメラ座標系）での物体の位置情報を取得してもよい。位置情報取得部３４５は、例えばＲＧＢカメラ、デプスカメラ、環境認識カメラ、位置検出センサ又は測距センサ等の各種のカメラやセンサにより実現できる。

操作部３６０（操作インターフェース）は、施設のオペレータ等が種々の操作情報を入力するためのものであり、例えばキーボード、マウス又はタッチパネル型ディスプレイなどにより実現できる。記憶部３７０は各種の情報を記憶するものであり、処理部３００や通信部３９６などのワーク領域として機能する。記憶部３７０の機能は、半導体メモリ、ＨＤＤ、ＳＳＤ、光ディスク装置などにより実現できる。記憶部３７０は、仮想空間情報記憶部３７２、描画バッファ３７８を含む。情報記憶媒体３８０は、プログラムやデータなどを格納するものである。

第２表示部３９０は、ＬＣＤ、有機ＥＬディスプレイ、投影型ディプレイ、或いはＣＲＴなどにより実現できる。第２表示部３９０は、例えば観客用の表示部である。音出力部３９２は例えばスピーカ又はヘッドホンなどにより実現できる。通信部３９６（通信インターフェース）は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものである。

処理部３００（プロセッサ）は、情報取得部３０２、仮想空間設定部３０８、仮想カメラ制御部３１０、画像合成部３２０、音処理部３３０を含む。前記したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

情報取得部３０２は各種の情報の取得処理を行う。情報取得部３０２は、例えば仮想空間更新情報を取得する。仮想空間更新情報は、ユーザの位置情報を含むユーザ情報などである。仮想空間設定部３０８は、処理装置１０の仮想空間設定部１０８と同様の処理により、オブジェクトが配置される仮想空間の設定処理を行う。仮想カメラ制御部３１０は、処理装置１０の仮想カメラ制御部３１０と同様の処理により、仮想カメラの制御を行う。例えば撮影部３４２に対応する第２仮想カメラの制御を行う。画像合成部３２０は、撮影部３４２の撮影画像と仮想空間画像の合成処理を行う。音処理部３３０は、処理部３００で行われる種々の処理の結果に基づいて音処理を行う。

そして本実施形態のシミュレーションシステムは、図１、図２、図３に示すように、表示処理部１２０と、情報取得部３０２と、画像合成部３２０を含む。例えば表示処理部１２０は、図２の処理装置１０に設けられ、情報取得部３０２と画像合成部３２０は、図３の処理装置２０に設けられる。但し、これらの表示処理部１２０、情報取得部３０２、画像合成部３２０を１つの処理装置に設けて、本実施形態のシミュレーションシステムを実現してもよい。

表示処理部１２０は、仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する仮想空間の第１仮想カメラから見える第１仮想空間画像を生成する。そして、生成された第１仮想空間画像をユーザ用の表示部１９０に表示する処理を行う。

仮想空間情報は、仮想空間を設定するための情報であり、オブジェクト情報を含む。オブジェクト情報は、仮想空間に配置されたり仮想空間を構成するオブジェクトの位置情報、方向情報及び状態情報の少なくとも１つを含む情報である。仮想空間のオブジェクトは、例えば仮想空間の移動体、マップ又は背景物などのオブジェクトである。例えば仮想空間は、仮想空間更新情報により更新される仮想空間情報に基づき設定される。処理装置１０での仮想空間の設定処理は、仮想空間設定部１０８により行われる。そして表示処理部１２０は、仮想空間情報により設定された仮想空間において、仮想空間の第１仮想カメラから見える第１仮想空間画像を生成する。第１仮想カメラは、実空間のユーザの視点に対応しており、実空間のユーザの視点変化に追従するように制御される。例えば実空間のユーザの視点位置、視線方向が変化すると、それに追従して第１仮想カメラの視点位置、視線方向も変化する。処理装置１０での第１仮想カメラの制御は、仮想カメラ制御部１１０により行われる。そして表示処理部１２０は、ユーザの視点（ユーザキャラクタの視点）に対応する第１仮想カメラから見える第１仮想空間画像を生成し、生成された第１仮想空間画像をユーザ用の表示部１９０に表示する処理を行う。例えば後述する図１３の表示領域ＡＲＶに第１仮想空間画像を表示する処理を行う。

情報取得部３０２は、実空間を撮影する撮影部３４２からの撮影画像と、実空間の物体のデプス情報を取得するデプス情報取得部３４４からのデプス情報を取得する。例えば処理装置２０が、撮影部３４２からの撮影画像と、デプス情報取得部３４４からのデプス情報を受信することで、撮影画像とデプス情報が取得される。そして画像合成部３２０は、仮想空間情報に基づいて、撮影部３４２に対応する仮想空間の第２仮想カメラから見える第２仮想空間画像を生成する。そして画像合成部３２０は、第２仮想空間画像のオブジェクトのデプス情報と実空間の物体のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成する。

ここで第２の仮想空間画像のオブジェクトは、例えば第２仮想空間画像に映るオブジェクトである。例えば第２の仮想空間画像のオブジェクトは、仮想空間に配置されたり、仮想空間のマップ等を構成するオブジェクトである。

また実空間の物体は、例えば実空間のユーザである。例えば実空間に位置したり、移動するユーザである。或いは実空間の物体は、ユーザの所持物であってもよい。例えば物体は、ユーザが所持する武器、防具又はアイテム等の所持物であってもよい。或いは物体は実空間の移動物であってもよい。例えば物体は、ユーザが搭乗する移動物（ライド機器、ロボット等）や、ユーザの対戦相手となる移動物や、或いはプレイフィールド上で移動する移動物であってもよい。或いは物体は実空間の配置物であってもよい。例えば物体は、実空間に配置されるアイテム、宝箱、武器、防具、家具、電化製品又は装飾品等の配置物であってもよい。

例えば処理装置２０での仮想空間の設定処理は、仮想空間設定部３０８により行われる。仮想空間設定部３０８は、仮想空間更新情報により更新される仮想空間情報に基づいて、移動体、マップ又は背景物などのオブジェクトが配置される仮想空間の設定処理を行う。そして画像合成部３２０は、仮想空間情報により設定された仮想空間において、第２仮想カメラから見える第２仮想空間画像を生成する。第２仮想カメラは、実空間の撮影部３４２に対応しており、実空間の撮影部３４２に対応するように設定される。例えば実空間の撮影部３４２の撮影位置に対応する位置に第２仮想カメラが配置され、撮影部３４２の撮影方向に対応する方向に、第２仮想カメラの視線方向が設定される。そして画像合成部３２０は、第２仮想空間画像のオブジェクトのデプス情報（デプス値）と実空間の物体のデプス情報（デプス値）とを用いた隠面消去処理であるＺテストの処理により、第２仮想空間画像と撮影画像の合成画像を生成する。例えば描画対象となる画素において、第２仮想空間画像のオブジェクトの方が撮影画像に映る物体よりも第２仮想カメラから見て手前側にあるとデプス情報に基づき判断された場合には、合成画像での当該画素の画素値は、第２仮想空間画像のオブジェクトの画素値に設定される。また描画対象となる画素において、撮影画像に映る物体の方が第２仮想空間画像のオブジェクトよりも第２仮想カメラから見て手前側にあるとデプス情報に基づき判断された場合には、合成画像での当該画素の画素値は、撮影画像の画素値に設定される。これにより、仮想空間において第２仮想カメラから見える画像である第２仮想空間画像と、実空間において撮影部３４２から見える画像である撮影画像とを、適正に隠面消去しながら合成して、合成画像を生成できるようになる。そして生成された合成画像は、第２表示部３９０に表示される。なお後述するように、合成画像を表示部１９０に表示してもよい。例えば表示部１９０の画面の一部（サブ画面）に合成画像を表示する。

具体的には画像合成部３２０は、第２仮想カメラにおけるデプス値（オブジェクトのデプス値）が各画素に設定される第２仮想空間画像と、実空間の物体のデプス情報に基づくデプス値が各画素に設定される撮影画像とを、画素毎に隠面消去処理を行いながら合成することで、合成画像を生成する。例えば第２仮想空間画像では、デプス値が各画素に設定される。例えば第２仮想カメラから見て手前側ではデプス値（Ｚ値）が小さくなり、第２仮想カメラから見て奥側ではデプス値（Ｚ値）が大きくなるように、第２仮想空間画像の各画素のデプス値が設定される。またデプス情報取得部３４４により取得されたデプス情報のデプス値が、撮影画像の各画素に設定される。例えば撮影部３４２から見て手前側ではデプス値（Ｚ値）が小さくなり、撮影部３４２から見て奥側ではデプス値（Ｚ値）が大きくなるように、撮影画像の各画素のデプス値が設定される。そして、第２仮想空間画像の各画素に設定されるデプス値と、撮影画像の各画素に設定されるデプス値を比較するＺテストによる隠面消去処理を行いながら、第２仮想空間画像と撮影画像を合成して、合成画像を生成する。例えば第２仮想空間画像のオブジェクトの方が撮影画像に映る物体よりも手前側にあるとデプス値に基づき判断される画素に対しては、第２仮想空間画像の画素値（ＲＧＢ値）を設定する。一方、撮影画像に映る物体の方が第２仮想空間画像のオブジェクトよりも手前側にあるとデプス値に基づき判断される画素に対しては、撮影画像の画素値（ＲＧＢ値）を設定する。これにより、これらの画素により構成される合成画像が生成される。このような画素毎に隠面消去処理は、少ない処理負荷で実現できるため、リアルタイムな合成画像の生成が可能になる。

また画像合成部３２０は、第２仮想空間画像と撮影画像の合成画像を、観客用の第２表示部３９０に表示する処理を行う。即ち、第２仮想空間画像と撮影画像の合成画像が、ギャラリー画像として、観客用の第２表示部３９０に表示される。観客用の第２表示部３９０は、観客が見るのに適切な位置に配置され、ユーザ用の表示部１９０に比べて例えば画面サイズの大きなディスプレイにより実現される。

また表示処理部１２０は、第２仮想空間画像と撮影画像の合成画像を、ユーザ用の表示部１９０に表示する処理を行ってもよい。例えば画像合成部３２０で生成された第２仮想空間画像と撮影画像の合成画像が、処理装置２０から処理装置１０に送られ、当該合成画像が表示部１９０に表示される。即ち図４、図５のＨＭＤ２００の表示部１９０に表示される。この場合に、表示部１９０では、第１仮想空間画像に重畳するように合成画像が表示される。即ち、前述したようにユーザの視点に対応する第１仮想カメラからみえる第１仮想空間画像が表示部１９０に表示されるが、この第１仮想空間画像に対して、合成画像が、例えばＰｉｎＰ（ピクチャー・イン・ピクチャー）の画像として表示される。一例としては、各ユーザが自身の周囲の状況を俯瞰するためのレーダー画像等として、第２仮想空間画像と撮影画像の合成画像が用いられる。

また表示処理部１２０は、仮想空間更新情報により更新される仮想空間情報に基づいて、第１仮想空間画像を生成し、画像合成部３２０は、仮想空間更新情報により更新される仮想空間情報に基づいて、第２仮想空間画像を生成する。例えば処理装置１０と処理装置２０の間でネットワーク５１０を介して仮想空間更新情報が通信される。そして処理装置１０の仮想空間設定部１０８は、ネットワーク５１０を介して通信される仮想空間更新情報に基づいて仮想空間情報を更新し、更新された仮想空間情報に基づいて仮想空間を設定する。そして処理装置１０の表示処理部１２０は、仮想空間情報に基づき設定された仮想空間において、ユーザの視点に対応する第１仮想カメラから見える第１仮想空間画像を生成して、ユーザ用の表示部１９０に表示する。一方、処理装置２０の仮想空間設定部３０８は、ネットワーク５１０を介して通信される仮想空間更新情報に基づいて仮想空間情報を更新し、更新された仮想空間情報に基づいて仮想空間を設定する。そして処理装置２０の画像合成部３２０は、仮想空間情報に基づき設定された仮想空間において、撮影部３４２に対応する第２仮想カメラから見える第２仮想空間画像を生成して、第２仮想空間画像と撮影画像の合成画像を、観客用の第２表示部３９０に表示する。このようにすることで、ユーザの視点での第１仮想空間画像を生成して表示部１９０に表示すると共に、ユーザの視点とは異なる視点での第２仮想空間画像を生成し、第２仮想空間画像と撮影画像の合成画像を第２表示部３９０に表示できるようになる。

また仮想空間更新情報は、実空間でのユーザ（広義には物体）の位置情報を含むユーザ情報、仮想空間に配置されるオブジェクトの状況情報、及びユーザがプレイするゲームのゲーム状況の情報の少なくとも１つを含む。ユーザ情報は、ユーザの位置情報（視点位置情報）の他に、ユーザの方向情報（視線方向情報）やユーザの姿勢情報（動き情報）を含むことができる。仮想空間に配置されるオブジェクトの状況情報は、例えば当該オブジェクトが仮想空間に存在するか非存在であるかを示す存在フラグの情報などである。或いは、オブジェクトの状況情報は、オブジェクトの状態変化情報であってもよい。状態変化情報は、例えばオブジェクトが破壊状況などの所与の状況に変化したかを示す情報である。またゲーム状況は、ユーザのゲームの進行状況、ユーザのゲームプレイの状況、ユーザのゲーム成績の状況、ユーザのゲームレベルの状況、ゲームのマップの状況、或いはユーザがゲームで使用するキャラクタ（ゲーム要素）の状況などである。キャラクタの状況は、キャラクタの行動の状況や環境の状況である。

また実空間の物体のデプス情報は、例えば撮影部３４２の撮影位置から見た実空間の物体のデプス情報である。例えば実空間の物体のデプス情報は、撮影部３４２の撮影位置を、デプス情報取得部３４４であるデプスカメラの位置とし、撮影部３４２の撮影方向をデプスカメラの撮影方向とするようなデプス情報である。このようにすれば、撮影画像の各画素のデプス値を、撮影部３４２の撮影位置や撮影方向に対応する適切なデプス値に設定できるようになる。

また画像合成部３２０は、撮影画像に映る実空間の物体の認識処理を行うことで生成されたオブジェクトと、第２仮想空間画像のオブジェクトとの隠面消去処理を行いながら、合成画像を生成してもよい。

例えば実空間の認識処理を行うことで、撮影画像に映る物体に対応するオブジェクトを生成する。この生成されたオブジェクトは、実空間のデプス情報を有する。例えばオブジェクトのポリゴンの各頂点に対して実空間のデプス情報であるデプス値が設定されている。また第２仮想空間画像を構成するオブジェクトに対しても、第２仮想空間画像のデプス情報であるデプス値が設定されている。従って、これらのデプス値を用いることで、実空間の物体に対応するオブジェクトと、第２仮想空間画像のオブジェクトとの間での隠面消去処理を行って、合成画像を生成できるようになる。このようにすれば、実空間の認識処理を有効活用して、隠面消去処理を実現できるようになる。

また本実施形態では、複数の撮影部と、複数のデプス情報取得部を実空間に配置してもよい。そして情報取得部３０２は、複数の撮影部の中から選択された撮影部からの撮影画像と、複数のデプス情報取得部の中から選択されたデプス情報取得部からのデプス情報を取得する。例えば自動又は手動により、複数の撮影部の中から撮影部を選択すると共に、複数のデプス情報取得部の中からデプス情報取得部を選択する。情報取得部３０２は、このように自動又は手動により選択された撮影部、デプス情報取得部からの撮影画像、デプス情報を取得する。例えば自動選択は、コンピュータやアルゴリズムによる選択であり、手動選択は、ユーザやオペレータにより選択である。そして画像合成部３２０は、仮想空間情報に基づいて、選択された撮影部に対応する第２仮想カメラから見える第２仮想空間画像を生成する。そして画像合成部３２０は、第２仮想空間画像のデプス情報と、選択されたデプス情報取得部からの実空間のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と、選択された撮影部からの撮影画像とを合成し、合成画像を生成する。

この場合に情報取得部３０２は、ユーザがプレイするゲームのゲーム状況に応じて、撮影部及びデプス情報取得部の選択を行う。例えば情報取得部３０２は、ゲーム状況が第１のゲーム状況である場合には、複数の撮影部の中から第１の撮影部を選択し、複数のデプス情報取得部の中から第１のデプス情報取得部を選択する。そして画像合成部３２０は、選択された第１の撮影部に対応する第２仮想カメラから見える第２仮想空間画像を生成し、第２仮想空間画像のデプス情報と、選択された第１のデプス情報取得部からの実空間のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と、第１の撮影部からの撮影画像とを合成し、合成画像を生成する。また情報取得部３０２は、ゲーム状況が第２のゲーム状況である場合には、複数の撮影部の中から第２の撮影部を選択し、複数のデプス情報取得部の中から第２のデプス情報取得部を選択する。そして画像合成部３２０は、選択された第２の撮影部に対応する第２仮想カメラから見える第２仮想空間画像を生成し、第２仮想空間画像のデプス情報と、選択された第２のデプス情報取得部からの実空間のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と、第２の撮影部からの撮影画像とを合成し、合成画像を生成する。

また情報取得部３０２は、観客状況に応じて、撮影部及びデプス情報取得部の選択を行ってもよい。例えば情報取得部３０２は、観客状況に応じて選択された撮影部からの撮影画像と、観客状況に応じて選択されたデプス情報取得部からのデプス情報を取得する。そして画像合成部３２０は、選択された撮影部に対応する第２仮想カメラから見える第２仮想空間画像と、選択された撮影部からの撮影画像とを合成し、合成画像を生成する。

またユーザ用の表示部１９０は、ユーザが頭部に装着するＨＭＤ２００（頭部装着型表示装置）の表示部である。この場合のＨＭＤ２００としては、図４に示すような光学シースルー型や、図５に示すようなビデオスルー型などの種々のタイプのＨＭＤを採用できる。

また表示処理部１２０は、実空間のユーザに対応する仮想空間のユーザキャラクタが表示される第１仮想空間画像を生成する。即ち、ユーザに対応するユーザキャラクタ（アバター）が表示される第１仮想空間画像を生成して、ユーザ用の表示部１９０に表示する。一方、画像合成部３２０は、仮想空間のユーザキャラクタの代わりに実空間のユーザが表示される合成画像を生成する。即ち、仮想空間においてユーザに対応して登場するユーザキャラクタを表示するのではなく、例えば撮影部３４２で撮影された実空間のユーザが表示されるような合成画像を生成して、第２表示部３９０に表示する。

また本実施形態では、情報取得部３４５が、実空間を撮影する撮影部３４２からの撮影画像と、実空間の物体の位置情報を取得する位置情報取得部３４５からの位置情報を取得する。そして画像合成部３２０は、仮想空間情報に基づいて、撮影部３４２に対応する仮想空間の第２仮想カメラから見える第２仮想空間画像を生成する。そして画像合成部３２０は、第２仮想空間画像のオブジェクトの位置情報と実空間の物体の位置情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成する。

例えば実空間の物体であるユーザの位置情報は、ＨＭＤ２００のトラッキング処理などにより取得できる。また実空間のユーザの所持物の位置情報も、例えばユーザの部位や所持物に取り付けられたセンサからのセンサ情報などを用いて取得できる。また実空間に配置される物体の位置情報も、当該物体に取り付けられたセンサからのセンサ情報に基づいて取得したり、後述するようなＨＭＤ２００のカメラ等を用いた実空間の認識処理により取得できる。或いは、実空間に設置された各種のカメラ（ＲＧＢカメラ、デプスカメラ、環境認識カメラ）を用いて、実空間の物体の位置情報を取得してもよい。また仮想空間のオブジェクトの位置情報は、仮想空間を設定する仮想空間情報に基づき取得できる。そして第２仮想カメラから見た場合の、仮想空間画像のオブジェクトと実空間の物体との奥行き方向での前後関係は、オブジェクトの位置情報と物体の位置情報に基づき判断できる。従って、第２仮想空間画像のオブジェクトの位置情報と実空間の物体の位置情報とに基づく隠面消去処理が可能になり、このような隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成できるようになる。

なお情報取得部１０２（情報取得部３０２）は、視点のトラッキング情報に基づいて、実空間でのユーザの位置情報を取得する。視点のトラッキング情報は、例えばＨＭＤ２００のトラッキング処理を行うことで取得できる。例えば情報取得部１０２は、ＨＭＤ２００の位置情報を、当該ＨＭＤ２００を装着するユーザの位置情報として取得する。一例としては、トラッキング情報は、ユーザの初期視点位置からの視点位置の変化情報（視点位置の座標の変化値）、及び、ユーザの初期視線方向からの視線方向の変化情報（視線方向の回転軸回りでの回転角度の変化値）の少なくとも一方を含むことができる。このようなトラッキング情報が含む視点情報の変化情報に基づいて、ユーザの位置に対応する視点位置や、ユーザの方向に対応する視線方向を特定できる。なお、ＨＭＤ２００のトラッキング処理ではなく、ユーザやユーザの頭部などの部位を直接にトラッキングする処理により、ユーザの位置情報を取得してもよい。また情報取得部１０２は、ユーザの方向情報や姿勢情報を取得してもよい。例えば視点のトラッキング処理により得られたトラッキング情報に基づいて、実空間においてユーザが向く方向である方向情報を取得する。また情報取得部１０２は、ユーザのモーション情報である姿勢情報を取得する。姿勢情報は、ユーザの手、頭又は足などの部位の動きを特定する情報である。例えば情報取得部１０２は、キネクト（登録商標）と呼ばれる処理によりユーザの姿勢情報を取得する。なお、情報取得部１０２が取得する位置情報は、相対的な位置情報であってもよい。

また本実施形態では、例えばＭＲの画像又はＡＲの画像を生成する。或いはＶＲの画像を生成してもよい。ＭＲの画像は、実空間と仮想空間を混合し、現実のものと仮想的なものがリアルタイムで影響し合うような新たな空間を構築するＭＲの手法により生成される画像であり、ＭＲは全拡張現実と拡張仮想を包含する概念である。ＡＲの画像は、実空間の風景などを構成する表示物に重畳するように表示される画像である。ＶＲの画像は、例えば後述のＨＭＤ２００を装着するユーザの視界の全周囲に亘ってＶＲ空間が広がるように生成される画像である。

また本実施形態では、ユーザがプレイするゲームのゲーム処理として、仮想現実のシミュレーション処理を行う。仮想現実のシミュレーション処理は、実空間での事象を仮想空間で模擬するためのシミュレーション処理であり、当該事象をユーザに仮想体験させるための処理である。例えば実空間のユーザに対応するユーザキャラクタ（仮想ユーザ、仮想ユーザの搭乗移動体）を、仮想空間で移動させたり、移動に伴う環境や周囲の変化をユーザに体感させるための処理を行う。

また本実施形態では、処理装置１０（第１プロセッサ）は、例えば図４、図５のＨＭＤ２００に内蔵される。或いは処理装置１０は、ＨＭＤ２００に通信接続される装置（ゲーム装置、スマートフォン等の携帯通信端末、又はバックパックＰＣ等）であってもよい。また処理装置２０（第２プロセッサ）は、例えばシミュレーションシステムの施設に設置される装置である。或いは処理装置２０は、インターネット等のネットワークに通信接続されるサーバ等であってもよい。そして処理装置１０により、表示処理部１２０が行う本実施形態の処理が実現され、処理装置２０により、情報取得部３０２、画像合成部３２０が行う本実施形態の処理が実現される。但し、表示処理部１２０、情報取得部３０２、画像合成部３２０が行う本実施形態の処理を、１つの処理装置により実行してもよい。即ち、表示処理部１２０、情報取得部３０２、画像合成部３２０が行う本実施形態の処理は、少なくとも１つの処理装置（少なくとも１つのプロセッサ）により実現できる。

２．ＨＭＤ
次に本実施形態で用いられるＨＭＤ２００及びＨＭＤ２００を用いたトラッキング処理について説明する。

図４は本実施形態で用いられるＨＭＤ２００の一例である。図４のＨＭＤ２００はシースルー型（透過型）のメガネタイプのＨＭＤである。具体的には光学シースルー型のＨＭＤである。このシースルー型のＨＭＤ２００によれば例えばＭＲやＡＲの仮想空間画像の表示が可能になる。

図４のＨＭＤ２００はテンプル部２４０とゴーグル部２４２を有する。テンプル部２４０にはスピーカが内蔵されている。ゴーグル部２４２には表示装置２４３とホログラフィック光学素子２４４が設けられている。表示装置２４３には、マイクロディスプレイ、ミラー、プリズム等により構成される表示ユニットが設けられている。表示装置２４３には左眼用の表示ユニットと右眼用の表示ユニットが設けられており、これにより立体視が実現される。また左眼用、右眼用の各表示ユニットに一対のマイクロディスプレイを設けることで虚像の位置を可変にできる。

表示装置２４３からの表示光は、ホログラフィック光学素子２４４の導光板内部を屈折しながら、ユーザＵＳの眼前に導光される。そしてホログラフィック光学素子２４４により表示光を眼球方向に屈折させて、眼球に表示光を送る。これにより眼前に虚像（ホログラムの再生像）があるように見えるようになる。ホログラフィック光学素子２４４の導光板はコンバイナーとも呼ばれ、ハーフミラーであるコンバイナーにより、外界の実像と虚像が重なって見えるようになり、ＭＲやＡＲが実現される。

またゴーグル部２４２には、ＲＧＢカメラ２４６、デプスカメラ２４７、環境認識カメラ２４８、２４９が設けられている。ＲＧＢカメラ２４６を用いることでユーザＵＳの正面方向の撮影が可能になる。デプスカメラ２４７を用いることで正面方向でのデプス情報（奥行き情報）を取得できる。例えばゴーグル部２４２にはデプスカメラ用のエミッター（不図示）が設けられている。そしてエミッターであるＩＲプロジェクターにより赤外線パターンを実空間の物体に対して投光し、投光した赤外線パターンを、デプスカメラ２４７である赤外線カメラにより読み取り、パターンの歪みから実空間の物体のデプス情報を取得する。更に環境認識カメラ２４８、２４９を用いることでユーザＵＳの周囲の環境認識が可能になる。またゴーグル部２４２には、加速度センサ、ジャイロセンサにより構成される慣性計測ユニット（ＩＭＵ）が内蔵されている。ユーザＵＳの頭の位置や向く方向は、ゴーグル部２４２に設けられたカメラによる撮影画像と慣性計測ユニットからの測定情報などに基づいて検出され、これによりヘッドトラッキングが実現される。そしてユーザＵＳの位置情報（視点位置情報）や方向情報（視線方向情報）の取得が可能になる。またＲＧＢカメラ２４６、デプスカメラ２４７、環境認識カメラ２４８、２４９を用いることで、空間マッピングと呼ばれる実空間の認識処理が実現される。これらのカメラを用いて実空間でのユーザの周囲のスキャンを行うことで、ユーザの周囲の実空間の認識処理が実現され、実空間情報が取得される。これらのカメラによる認識処理により得られた実空間情報と、慣性計測ユニットの検出結果とに基づく総合的な判断により、ユーザＵＳの位置情報や方向情報を取得する。例えばＨＭＤ２００の起動時の位置、方向を基準位置、基準方向とし、実空間情報や慣性計測ユニットの検出結果に基づいて位置、方向の変化を求めることで、現在のユーザＵＳの位置、方向を求めることができる。またこれらのカメラを用いることで、ユーザＵＳの周囲に居る他のユーザの位置情報（相対的な位置情報）、方向情報（相対的な方向情報）、或いは姿勢情報（動き情報）も取得可能である。例えばキネクト（登録商標）などの処理により姿勢情報を取得することで、他のユーザがどのようなアクションを行ったかを検出できるようになる。或いはユーザ自身の部位の動きなどをユーザの姿勢情報（動き情報）として取得してもよい。

図５にＨＭＤ２００の他の例を示す。図５のＨＭＤ２００はユーザの視界の全周囲を覆うように装着されるタイプのＨＭＤである。図５のＨＭＤの表示部は例えば有機ＥＬディスプレイ（ＯＥＬ）や液晶ディスプレイ（ＬＣＤ）などにより実現される。例えばＨＭＤ２００の表示部には、ユーザの左眼の前に設定される第１のディスプレイ又は第１の表示領域と、右眼の前に設定される第２のディスプレイ又は第２の表示領域が設けられており、立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左眼用画像と右眼用画像を生成し、第１のディスプレイに左眼用画像を表示し、第２のディスプレイに右眼用画像を表示する。或いは１つのディスプレイの第１の表示領域に左眼用画像を表示し、第２の表示領域に右眼用画像を表示する。またＨＭＤ２００には左眼用、右眼用の２つの接眼レンズ（魚眼レンズ）が設けられており、これによりユーザの視界の全周囲に亘って広がるＶＲ空間が表現される。そして接眼レンズ等の光学系で生じる歪みを補正するための補正処理が、左眼用画像、右眼用画像に対して行われる。

また図５のＨＭＤ２００には、ＲＧＢカメラ２１６、デプスカメラ２１７、環境認識カメラ２１８、２１９が設けられている。これらのカメラを用いることでビデオシースルー型のＨＭＤ２００が実現され、ＭＲやＡＲの実現が可能になる。またこれらのカメラを用いることで、図４のＨＭＤ２００と同様に、実空間の認識処理や、他のユーザの位置情報、方向情報、姿勢情報（動き情報）の取得やユーザの姿勢情報の取得などを実現できる。

図５のＨＭＤ２００において、ユーザの位置情報、方向情報を取得するトラッキング処理は、ＨＭＤ２００に内蔵され、加速度センサ、ジャイロセンサにより構成される慣性計測ユニット（ＩＭＵ）により実現してもよい。或いはＨＭＤ２００に複数の受光素子を設け、ユーザの周囲に発光素子を有する測定用の装置（ベースステーション）を設ける。そして測定用の装置（複数の測定用装置）の発光素子（ＬＥＤ）からのレーザなどの光をＨＭＤ２００の受光素子で受光することで、ＨＭＤ２００のトラッキング処理を行って、ユーザの位置情報（視点位置情報）や方向情報（視線情報）を取得してもよい。或いはＨＭＤ２００に複数の発光素子を設け、ユーザの周囲にカメラ（第１、第２のカメラ）を有する測定用の装置を設ける。そしてＨＭＤ２００の発光素子からの光を測定用の装置のカメラで撮像することで、ユーザＵＳの頭部の奥行き方向での位置等を検出する。またＨＭＤ２００に設けられる慣性計測ユニット（モーションセンサ）の検出情報に基づいて、ユーザＵＳの頭部の回転角度（視線）を検出し、これによりＨＭＤ２００のトラッキング処理を実現してもよい。

なおユーザの位置情報や方向情報等を取得するためのトラッキング処理については、種々の変形実施が可能である。例えばＨＭＤ２００に設けられた慣性計測ユニットを用いて、ＨＭＤ２００の単体でトラッキング処理を実現してもよいし、上述のような測定用の装置を外部に設けてトラッキング処理を実現してもよい。或いは、公知のアイトラッキング、フェイストラッキング又はヘッドトラッキングなどの種々の視点トラッキング処理を採用してもよい。

またＨＭＤ２００として、いわゆるスマートフォンＶＲ又はＶＲゴーグルと呼ばれるタイプのものを用いてもよい。このタイプのＨＭＤ２００では、スマートフォンの表示部がユーザの目に対向するように、ＨＭＤ２００のゴーグル部の中にスマートフォンを収納する。ゴーグル部（ＶＲゴーグル）の内側には、左眼用接眼レンズ、右眼用接眼レンズが内蔵されている。ユーザは、スマートフォンの表示部に表示された左眼用画像、右眼用画像を、各々、左眼用接眼レンズ、右眼用接眼レンズを介して見ることで、ＶＲの立体視画像を鑑賞することができる。そしてユーザの視点位置、視線方向を特定するトラッキング処理は、スマートフォンに内蔵される慣性計測ユニット（加速度センサ、ジャイロセンサ）などに基づいて実現できる。またゴーグル部又はスマートフォンに設けられたカメラを用いて実空間の認識処理を行えばよい。

図６に本実施形態のシミュレーションシステムを実現するハードウェアの構成例を示す。各ユーザが装着するＨＭＤ２００Ａ、２００Ｂ、２００Ｃは、ＷｉＦｉ（登録商標）の無線ＬＡＮルーター５００に通信接続される。ＨＭＤ２００Ａ、２００Ｂ、２００Ｃには、図１〜図３で説明した処理装置１０が設けられており、処理装置１０により生成された第１仮想空間画像が、ＨＭＤ２００Ａ、２００Ｂ、２００Ｃの表示部１９０に表示される。

また無線ＬＡＮルーター５００には、ＰＣ３５０（パーソナルコンピュータ）が通信接続される。このＰＣ３５０により図１〜図３で説明した処理装置２０が実現される。またＰＣ３５０にはセンサ装置３４０が通信接続されている。センサ装置３４０は、例えばキネクト（登録商標）のセンサ装置である。具体的にはセンサ装置３４０には、ＲＧＢカメラ３４６、デプスカメラ３４８（ＩＲカメラ）、デプスカメラ用のエミッター３４９（ＩＲプロジェクター）が設けられている。ＲＧＢカメラ３４６により、撮影部３４２が実現され、デプスカメラ３４８及びエミッター３４９により構成されるデプスセンサにより、デプス情報取得部３４４が実現される。

そしてＨＭＤ２００Ａ、２００Ｂ、２００Ｃの各々は、仮想空間情報に基づいて実空間の各ユーザの視点に対応する第１仮想カメラから見える第１仮想空間画像を生成して、ＨＭＤ２００Ａ、２００Ｂ、２００Ｃの表示部１９０に表示する。ＰＣ３５０は、実空間の撮影画像と実空間のデプス情報をセンサ装置３４０から取得する。そしてＰＣ３５０は、仮想空間情報に基づいて、仮想空間の第２仮想カメラから見える第２仮想空間画像を生成する。例えば仮想空間更新情報が、無線ＬＡＮルーター５００を介して通信されて、ＨＭＤ２００Ａ、２００Ｂ、２００Ｃの間や、ＨＭＤ２００Ａ、２００Ｂ、２００ＣとＰＣ３５０の間で共用される。そしてＨＭＤ２００Ａ、２００Ｂ、２００Ｃは、仮想空間更新情報により更新される仮想空間情報に基づいて、第１仮想空間画像を生成する。ＰＣ３５０は、仮想空間更新情報により更新される仮想空間情報に基づいて、第２仮想空間画像を生成する。そしてＰＣ３５０は、第２仮想空間画像のデプス情報と実空間のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成して、例えば観客用の第２表示部３９０に表示する。なお第２表示部３９０は、プロジェクターにより画像が投影されて表示される投影タイプの表示部であってもよい。

３．本実施形態の手法
次に本実施形態の手法について詳細に説明する。なお、以下では、ユーザに対応するユーザキャラクタとモンスターが登場するアクションゲームに本実施形態の手法を適用した場合について主に例にとり説明を行う。但し、本実施形態の手法は、種々のゲーム（仮想体験ゲーム、格闘ゲーム、競争ゲーム、ＲＰＧ、スポーツゲーム、ホラー体験ゲーム、電車や飛行機等の乗り物のシミュレーションゲーム、パズルゲーム、コミュニケーションゲーム、或いは音楽ゲーム等）に適用でき、ゲーム以外にも適用可能である。また以下では、ＭＲ、ＡＲを単にＭＲと記載する。

３．１ ゲームの説明
図７は、本実施形態のシミュレーションシステムにおいてユーザがゲームを楽しむ実空間のプレイフィールドＦＬの例である。プレイフィールドＦＬは例えば四方が壁ＷＬにより囲まれている。プレイフィールドＦＬ上では例えば３人のユーザＵＳ１、ＵＳ２、ＵＳ３がゲームをプレイしている。ユーザＵＳ１、ＵＳ２、ＵＳ３はＨＭＤ１、ＨＭＤ２、ＨＭＤ３を装着しており、ユーザの視界には仮想空間画像が映し出されている。また実空間には図６で説明したセンサ装置３４０が設置されている。具体的には、ＲＧＢカメラ３４６、デプスカメラ３４８の撮影方向が、例えばプレイフィールドＦＬの中央部の方に向くように、センサ装置３４０が設置されている。そしてセンサ装置３４０の正面側には、観客用の第２表示部３９０が設置されている。

図８、図９は、実空間のプレイフィールドＦＬに対応して設定される仮想空間の例である。キャラクタＣＨ１、ＣＨ２、ＣＨ３は、ユーザに対応するユーザキャラクタであり、例えばパックマン（登録商標）と呼ばれるキャラクタである。図７〜図９に示すように、実空間でのユーザＵＳ１、ＵＳ２、ＵＳ３の位置に対応する仮想空間の位置に、キャラクタＣＨ１、ＣＨ２、ＣＨ２が配置される。例えば実空間においてユーザＵＳ１、ＵＳ２、ＵＳ３が移動すると、それに追従するように仮想空間のキャラクタＣＨ１、ＣＨ２、ＣＨ３も移動する。また仮想空間には、経路設定用のオブジェクトＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４により、迷路となる経路が形成されている。ユーザＵＳ１、ＵＳ２、ＵＳ３の視界には、これらのオブジェクトＯＢ１〜ＯＢ４が映っており、オブジェクトＯＢ１〜ＯＢ４で設定される経路に沿ってユーザＵＳ１、ＵＳ２、ＵＳ３は移動する。そして仮想空間には、キャラクタＣＨ１、ＣＨ２、ＣＨ３のエサとなるドットＤＴ（クッキー）が配置されており、ユーザＵＳ１、ＵＳ２、ＵＳ３は、プレイフィールドＦＬ上で移動して、エサであるドットＤＴを食べる行動を行う。これによりユーザＵＳ１、ＵＳ２、ＵＳ３はポイント（得点）を獲得できる。また図８、図９に示すように、モンスターの巣と呼ばれる場所ではモンスターＣＭ１、ＣＭ２、ＣＭ３が巡回するように移動している。ユーザＵＳ１、ＵＳ２、ＵＳ３は、これらのモンスターＣＭ１、ＣＭ２、ＣＭ３に遭遇して接触してないように、プレイフィールドＦＬ上を動き回る。ユーザＵＳ１、ＵＳ２、ＵＳ３は、３人の協力プレイで、なるべく速い時間で仮想空間内の全てのドットＤＴを食べることを目指して、ゲームをプレイする。

図１０は、図７のユーザＵＳ１のＨＭＤ１に表示される第１仮想空間画像の説明図である。図１０の第１仮想空間画像では、仮想的な壁を表すオブジェクトＯＢ３、ＯＢ４や、エサであるドットＤＴや、ユーザＵＳ２に対応するキャラクタＣＨ２（ユーザキャラクタ）の画像が表示されている。一方、ユーザＵＳ２については、実空間の画像がユーザＵＳ１に見えており、仮想空間のオブジェクトと実空間の物体が混在してインタラクションを行っているように見えるＭＲが実現されている。

このように本実施形態では、ユーザが装着するＨＭＤには仮想空間のオブジェクト（ＯＢ３、ＯＢ４、ＤＴ、ＣＨ２）が表示される。しかしながら図７の実空間のプレイフィールドＦＬで、ユーザがゲームプレイしている様子を観戦している観客は、このような仮想空間のオブジェクトを見ることができない。このため観客は、ユーザが何を見て盛り上がっているのかを視覚的に認識できず、盛り上がりに欠けてしまうという問題がある。

例えばＨＭＤを装着しているユーザは、仮想空間のドットを食べたり、仮想空間のモンスターから逃げたり、他のユーザに対応するキャラクタと連携プレイを行うなどして、ゲームプレイに熱中している。ところが観客には、図７の実空間のプレイフィールドＦＬにおいてユーザが動き回っている姿しか見えず、仮想空間のオブジェクトは見ることできないため、ユーザのゲームプレイの盛り上がりを実感できないという課題がある。このような課題を解決するために本実施形態では、撮影部３４２の撮影画像と第２仮想空間画像の合成画像を生成する。そして、この合成画像を、例えば図７、図８の観客用の第２表示部３９０などに表示する。これにより、ユーザだけではなく、観客も、仮想空間のオブジェクトを見ることができ、ユーザが何を見て盛り上がっているのかを視覚的に認識できるようになるため、観客とユーザがゲームの盛り上がりや感動を共有できるようになる。

図１１は撮影画像と第２仮想空間画像の合成画像の例である。撮影画像は、撮影部３４２（ＲＧＢカメラ３４６）の撮影画像であり、第２仮想空間画像は、撮影部３４２に対応する第２仮想カメラから見える仮想空間画像である。第２仮想空間画像では、仮想的な壁を表すオブジェクトＯＢ１、ＯＢ３、ＯＢ４や、エサであるドットＤＴや、ユーザＵＳ１、ＵＳ２、ＵＳ３に対応するキャラクタＣＨ１、ＣＨ２、ＣＨ３の画像が表示されている。一方、ユーザＵＳ２、ＵＳ３については、実空間の画像が撮影部３４２により撮影されて表示されている。

このように図１１の合成画像は、第２仮想空間画像（ＯＢ１、ＯＢ３、ＯＢ４、ＤＴ、ＣＨ１、ＣＨ２、ＣＨ３）と撮影画像（ＵＳ１、ＵＳ２、ＵＳ３）が合成された画像になっている。またこの合成画像では、仮想空間のオブジェクトと実空間の物体との間の隠面消去処理が行われている。

例えば図１１において実空間のユーザＵＳ１は仮想空間のオブジェクトＯＢ３よりも手前側に位置している。即ち、図７、図８の撮影位置に撮影部３４２であるＲＧＢカメラ３４６が配置される場合には、ＲＧＢカメラ３４６から見て、ユーザＵＳ１はオブジェクトＯＢ３の手前側に位置する。従ってこの場合には、ユーザＵＳ１がオブジェクトＯＢ３の手前側に表示されるように隠面消去処理が行われる。また撮影部３４２であるＲＧＢカメラ３４６から見て、実空間のユーザＵＳ２は仮想空間のオブジェクトＯＢ４よりも手前側に位置している。従ってこの場合には、ユーザＵＳ２がオブジェクトＯＢ４の手前側に表示されるように隠面消去処理が行われる。またＲＧＢカメラ３４６から見て、仮想空間のオブジェクトＯＢ３は実空間のユーザＵＳ３よりも手前側に位置している。従ってこの場合には、オブジェクトＯＢ３がユーザＵＳ３の手前側に表示されるように隠面消去処理が行われる。

以上のように本実施形態では、図１０に示すように、実空間のユーザの視点に対応する仮想空間の第１仮想カメラから見える第１仮想空間画像を生成する。そして図１０の第１仮想空間画像を、ユーザが装着するＨＭＤの表示部１９０に表示する。また撮影部３４２（ＲＧＢカメラ３４６）からの撮影画像と、デプス情報取得部３４４（デプスカメラ３４８）からの実空間の物体のデプス情報を取得する。そして撮影部３４２に対応する仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、第２仮想空間画像のオブジェクトのデプス情報と実空間の物体のデプス情報とに基づく隠面消去処理を行いながら、図１１に示すような第２仮想空間画像と撮影画像の合成画像を生成する。このようにすれば、この図１１の合成画像を、例えば図７、図８の大画面の観客用の第２表示部３９０に表示できるようになる。これにより、観客は、ユーザが何を見て盛り上がっているのかを視覚的に認識できるようになるため、ゲームの面白さや盛り上がりなどを共有できるようになる。また本実施形態では、図１１で説明したように、仮想空間のオブジェクトと、実空間の物体（ユーザ、ユーザの所持物、移動物又は配置物等）とが、適正に隠面消去処理された合成画像を生成できる。即ち、図７、図８の撮影位置に撮影部３４２であるＲＧＢカメラ３４６を配置したときに、適正に見えるべき仮想空間のオブジェクトと実空間の物体の奥行き関係で、隠面消去処理が行われる。従って、観客は、仮想空間のオブジェクトと実空間の物体とが映し出されるＭＲの画像を、オブジェクトと物体の正確な奥行き関係で見ることが可能になる。即ち、仮想空間のオブジェクトと実空間の物体の位置関係を正確に認識できるような合成画像が表示されるため、オブジェクトと物体の位置関係を正確に反映させることができる。従って、より正確で自然に見える合成画像を生成して、観客等に表示できるようになる。

また図４、図５に示すＨＭＤ２００では、ユーザの周囲の実空間の認識処理を行うことにより実空間情報を取得し、取得された実空間情報に基づいて、実空間に対応する仮想空間を生成することができる。例えば図１２（Ａ）では、実空間に机ＤＫや壁ＷＬなどの物体が存在している。この実空間を、図４、図５のＨＭＤ２００に設けられたカメラによりスキャンする認識処理を行うことで、実空間情報を取得する。具体的には図１２（Ｂ）に示すように、実空間情報としてメッシュポリゴンのデータを取得する。この実空間の認識処理は例えばリアルタイムに実行され、ユーザの周囲の実空間が順次にスキャンされて実空間情報が取得される。例えばＩＤに対応づけられた空間データが順次に取得されて、実空間情報として記憶部１７０に蓄積されて記憶される。この実空間情報は、デプス情報（奥行き値）も有しており、このデプス情報を用いることで、例えば仮想空間のオブジェクトと実空間の物体との隠面消去処理も可能になる。また実空間情報に基づいて仮想空間を生成することで、仮想的なオブジェクト（キャラクタ、配置オブジェクト）と、実空間の物体（机ＤＫ、壁ＷＬ）とのインタラクションが可能になる。例えば仮想的なオブジェクトと実空間の物体とのヒット処理（衝突処理）なども可能になり、これまでにないタイプのＭＲやＡＲの実現が可能になる。

また、このような実空間の認識処理による実空間情報は、ユーザの位置情報や方向情報の取得処理にも利用できる。例えば実空間情報に基づいて、ユーザとユーザの周囲の物体との位置関係や距離関係を把握できる。従って、慣性計測ユニットの検出結果と実空間情報を用いることで、より正確なユーザの位置情報や方向情報を取得することが可能になる。

図１３は、図２の光学シースルー型のＨＭＤ２００においてユーザの目に映る画像を表すものである。図１３のＢ１、Ｂ２、Ｂ３、Ｂ４の領域には、実空間の背景物などの風景がユーザの目に映る。そして表示領域ＡＲＶに仮想空間画像が表示される。ユーザが顔を左右に振ると、ＤＲ１、ＤＲ２に示すように表示領域ＡＲＶの場所が左右に移動する。そしてこの表示装置２４３にキャラクタや配置オブジェクトなどの仮想空間のオブジェクトの画像が表示される。これによりＢ１、Ｂ２、Ｂ３の実空間の風景と表示領域ＡＲＶの仮想空間画像がミックスされたＭＲの実現が可能になる。なお図１３では表示領域ＡＲＶが狭く、視野角が小さい場合の例を示したが、ＨＭＤ２００の各種のデバイスを改善することで、表示領域ＡＲＶを広くし、視野角を更に拡大することも可能である。

３．２ 合成画像の生成
以上に説明したように、本実施形態では、仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、ユーザ用の表示部１９０に表示する。仮想空間を設定する仮想空間情報は、図８、図９において仮想空間に配置されるキャラクタＣＨ１、ＣＨ２、ＣＨ３、オブジェクトＯＢ１〜ＯＢ４、ドットＤＴ、モンスターＣＭ１〜ＣＭ３の位置情報や方向情報などを含む。また仮想空間情報は、仮想空間のオブジェクトの状態情報（存在フラグ等）を含むことができる。そして例えば図７の実空間のユーザＵＳ１に対応する仮想空間の位置に、図１４に示すように第１仮想カメラＶＣ１が配置される。第１仮想カメラＶＣ１の視線方向は、実空間のユーザＵＳ１の視線方向と同じ方向になるように設定される。これにより図１０に示すように、仮想空間の第１仮想カメラＶＣ１から見える第１仮想空間画像が生成されて、ユーザＵＳ１のＨＭＤ１の表示部１９０に表示される。具体的には図１３の表示領域ＡＲＶに第１仮想空間画像が表示される。この第１仮想空間画像は、図７のユーザＵＳ１の位置においてユーザＵＳ１の視線方向に見えるべき仮想空間画像である。

また本実施形態では、実空間を撮影する撮影部３４２からの撮影画像と、実空間の物体のデプス情報を取得するデプス情報取得部３４４からのデプス情報が取得される。撮影部３４２は図６〜図８のＲＧＢカメラ３４６により実現され、デプス情報取得部３４４はデプスカメラ３４８やエミッター３４９により実現される。そしてＲＧＢカメラ３４６により実空間のプレイフィールドＦＬを撮影することで、撮影画像が取得される。この撮影画像にはユーザＵＳ１、ＵＳ２、ＵＳ３等が映っている。またデプスカメラ３４８を用いることで、実空間のプレイフィールドＦＬでのデプス情報が取得される。例えば実空間のユーザＵＳ１、ＵＳ２、ＵＳ３等の物体のデプス情報が取得される。例えば図７、図８に示すようにデプスカメラ３４８はＲＧＢカメラ３４６の撮影位置に設けられ、デプスカメラ３４８の撮影方向は、ＲＧＢカメラ３４６の撮影方向と同じ方向になるように設定される。これによりＲＧＢカメラ３４６の撮影位置から見た実空間の物体のデプス情報を取得できる。

そして本実施形態では、仮想空間情報に基づいて、撮影部３４２に対応する仮想空間の第２仮想カメラから見える第２仮想空間画像が生成される。例えば図７、図８の撮影部３４２であるＲＧＢカメラ３４６に対応する仮想空間の位置に、図１４に示すように第２仮想カメラＶＣ２が配置される。第２仮想カメラＶＣ２の視線方向は、撮影部３４２の撮影方向と同じ方向になるように設定される。これにより図１１に示すように、仮想空間の第２仮想カメラＶＣ２から見える第２仮想空間画像が生成される。この第２仮想空間画像は、図７、図８のＲＧＢカメラ３４６の撮影位置においてＲＧＢカメラ３４６の撮影方向に見えるべき仮想空間画像である。

そして本実施形態では、第２仮想空間画像のオブジェクトのデプス情報と実空間の物体のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像が生成される。例えば図１１の合成画像において、第２の仮想空間画像には、仮想空間のキャラクタＣＨ１、ＣＨ２、ＣＨ３、オブジェクトＯＢ１、ＯＢ３、ＯＢ４、ドットＤＴ、モンスターＣＭ３などの仮想的なオブジェクトが表示されている。また図１１の合成画像において、撮影画像には、ユーザＵＳ１、ＵＳ２、ＵＳ３などの実空間の物体が表示されている。これにより仮想空間のオブジェクトと実空間の物体が混在するＭＲの合成画像を生成できるようになる。そしてこの合成画像を、図７、図８、図１４の大画面の第２表示部３９０に表示することで、ユーザ以外の観客も、このＭＲの合成画像を見ることができるようになる。従って、観客も、仮想空間でのユーザのゲームプレイの様子を把握できるようになり、ゲームの面白味や感動をユーザと共に共有することが可能になる。また本実施形態では、図１１に示すように、仮想空間のオブジェクトＯＢ３の手前側にユーザＵＳ１が表示され、オブジェクトＯＢ４の手前側にユーザＵＳ２が表示され、ユーザＵＳ３の手前側にオブジェクトＯＢ３が表示されるというように、適正な隠面消去処理が行われる。従って、より正確で自然に見える合成画像を、観客用のギャラリー画像として表示することが可能になる。

また本実施形態では、第２仮想カメラにおけるデプス値が各画素に設定される第２仮想空間画像と、実空間の物体のデプス情報に基づくデプス値が各画素に設定される撮影画像とを、画素毎に隠面消去処理を行いながら合成することで、合成画像を生成する。

例えば図１５において、第２仮想空間画像の各画素には、図１４の第２仮想カメラＶＣ２におけるデプス値が設定されている。第２仮想カメラＶＣ２におけるデプス値とは、第２仮想カメラＶＣ２の位置を原点とした奥行き方向（Ｚ方向）でのデプス値（Ｚ値）である。第２仮想空間画像の生成の際にＺバッファの処理（Ｚテスト）を行うと、Ｚバッファ（デプスバッファ）の各画素の位置に第２仮想カメラＶＣ２におけるデプス値が設定される。

また撮影画像の各画素には、デプス情報取得部３４４により取得された実空間の物体のデプス情報に基づくデプス値が設定される。具体的にはデプス情報取得部３４４であるデプスカメラ３４８により、図１５に示すように、各画素にデプス値が設定されたデプス画像が取得される。撮影部３４２であるＲＧＢカメラ３４６と、デプスカメラ３４８は、同じ撮影位置において同じ撮影方向での画像を撮影している。従って、デプスカメラ３４８により取得されたデプス画像の各画素のデプス値を、ＲＧＢカメラ３４６により撮影された撮影画像の各画素のデプス値として設定できるようになる。

このように実空間のデプス情報は、撮影部３４２の撮影位置から見た実空間のデプス情報となっている。このようにすることで、上述したように撮影画像の各画素のデプス値として、デプスカメラ３４８などのデプス情報取得部３４４により取得されたデプス情報のデプス値を設定できるようになる。なお、ＲＧＢカメラ３４６とは異なる撮影位置、異なる撮影方向で撮影されたデプス画像のデプス値に対して、所定の変換処理を行い、変換処理後のデプス値を、ＲＧＢカメラ３４６の撮影画像の各画素のデプス値として用いるようにしてもよい。

このようにして図１５では、第２仮想カメラにおけるデプス値が各画素に設定される第２仮想空間画像と、実空間のデプス情報に基づくデプス値が各画素に設定される撮影画像とを、画素毎に隠面消去処理を行いながら合成して、図１１に示すような合成画像を生成する。このようにすれば、少ない処理負荷で合成画像を生成できるようになるため、例えばリアルタイムでの合成画像の生成などが可能になる。

なお本実施形態の第２の手法として、撮影画像に映る実空間の物体の認識処理を行うことで生成されたオブジェクトと、第２仮想空間画像のオブジェクトとの隠面消去処理を行いながら、合成画像を生成してもよい。

例えば図１２（Ａ）、図１２（Ｂ）の実空間の認識処理により、撮像画像に映る実空間の物体（ユーザ等）に対応するメッシュポリゴンのオブジェクトを、実空間情報として生成する。このメッシュポリゴンのオブジェクトには、例えば各頂点にデプス値（Ｚ値）が設定されており、この各頂点に設定されるデプス値は、実空間のデプス情報である。このメッシュポリゴンのオブジェクトを用いることで、当該オブジェクトと他のオブジェクトとの間での隠面消去処理が可能になる。例えば図１２（Ｂ）において、実空間の机に対応するメッシュポリゴンの机オブジェクトを生成し、この机オブジェクトと、キャラクタ等の他のオブジェクトとの間で隠面消去処理を行うことができる。そして、第２仮想空間画像を構成するオブジェクトに対しては、第２仮想空間画像のデプス情報であるデプス値が設定されている。従って、これらのデプス値を用いることで、撮像画像に映る実空間の物体（ユーザ等）に対応するオブジェクトと、第２仮想空間画像のオブジェクト（仮想的な壁を表すオブジェクト、キャラクタ又はモンスター等）との間での隠面消去処理を行って、第２仮想空間画像と撮影画像の合成画像を生成できるようになる。

但し、上述の第２の手法による隠面消去処理では、実空間の認識処理を行って、仮想空間のメッシュポリゴンのオブジェクトを生成する処理が必要になる。このオブジェクトの生成処理は、処理負荷が非常に重く、リアルタイムの処理が難しい。従って、この第２の手法により図１１に示すような合成画像を生成しようとすると、ユーザ等の実空間の物体に対応するオブジェクトの生成処理に時間がかかってしまい、リアルタイムな合成画像の生成が困難になるおそれもがある。このため、ユーザのＨＭＤに表示される仮想空間の世界に対して、観客に表示される合成画像での仮想空間の世界が時間的に遅れて状態になってしまい、適切な合成画像を生成できなくという問題も生じ得る。

この点、図１５のように第２仮想空間画像のデプス値と撮影画像のデプス値を用いて画素毎に隠面消去処理を行う手法によれば、リアルタイムな合成画像の生成が可能になる。従って、ユーザのＨＭＤに表示される仮想空間の世界と、観客に表示される合成画像での仮想空間の世界が時間的に同期するようになり、より適切な合成画像の生成が可能になる。

また本実施形態の第３の手法として、実空間を撮影する撮影部３４２からの撮影画像と、実空間の物体の位置情報を取得する位置情報取得部３４５からの位置情報を取得してもよい。そして仮想空間情報に基づいて、撮影部３４２に対応する仮想空間の第２仮想カメラから見える第２仮想空間画像を生成する。そして第２仮想空間画像のオブジェクトの位置情報と実空間の物体の位置情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成する。

実空間の物体の位置情報は、例えば実空間の所定の座標系での位置情報であり、例えば当該座標系でのＸ座標、Ｙ座標、Ｚ座標である。この実空間の座標系は、仮想空間（オブジェクト空間）のワールド座標系に対応する座標系（同じ位置を原点とする座標系）であることが望ましい。第２仮想空間画像のオブジェクトの位置情報は、例えば仮想空間を設定する仮想空間情報により取得できる。例えば第２仮想空間画像の生成の際には、仮想空間情報に含まれるオブジェクトの位置情報に基づいて、仮想空間を設定し、当該仮想空間において第２仮想カメラから見える画像が、第２仮想空間画像として生成される。そして、この第２の仮想カメラから見たときの、第２仮想空間画像に映るオブジェクトと撮影画像に映る実空間の物体との奥行き方向での前後関係は、オブジェクトの位置情報と実空間の物体の位置情報に基づき判断できる。従って、オブジェクトの位置情報と実空間の物体の位置情報に基づいて、オブジェクトと物体（物体に対応するオブジェクト）との隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成できるようになる。

また本実施形態では、第２仮想空間画像と撮影画像の合成画像を、観客用の第２表示部３９０に表示する。即ち図１６に示すように、図１１で説明した第２仮想空間画像と撮影画像の合成画像を、観客用の表示部である大画面の第２表示部３９０に表示する。このようにすれば、観客は、仮想空間においてユーザがどのように行動しているのかを、第２表示部３９０に表示される合成画像を見ることで、把握できるようになる。従って、観客とユーザがゲームの盛り上がりや感動を共有できるようになり、観客に対する演出効果を高めることが可能になる。

或いは本実施形態では、第２仮想空間画像と撮影画像の合成画像を、ユーザ用の表示部１９０に表示してもよい。例えば図１７では、ユーザのＨＭＤに表示される第１仮想空間画像に対して、合成画像ＩＭＰが、例えばＰｉｎＰの画像として表示されている。例えば合成画像ＩＭＰが、第１仮想空間画像上のウィンドウ領域に表示される。このようにすれば、プレイフィールドの様子を俯瞰するような画像を、合成画像ＩＭＰとしてＨＭＤに表示できるようになる。従ってユーザは、例えばこの合成画像ＩＭＰを、自身の周囲の状況を把握するためのレーダー画像等として用いることが可能になり、好適なインターフェース画像をユーザに提供できるようになる。

なお、ＨＭＤに対して、第１仮想空間画像と合成画像とを切り替えて表示するようにしてもよい。例えばユーザが仮想空間の表示を選択した場合には、第１仮想空間画像をＨＭＤに表示し、ユーザがレーダー画像などの周囲の状況を俯瞰する画像の表示を選択した場合には、合成画像をＨＭＤに表示する。

また本実施形態では、仮想空間更新情報により更新される仮想空間情報に基づいて、第１仮想空間画像を生成し、仮想空間更新情報により更新される仮想空間情報に基づいて、第２仮想空間画像を生成する。

例えば図１８に示すように、仮想空間更新情報は、実空間でのユーザの位置情報を含むユーザ情報や、仮想空間に配置されるオブジェクトの状況情報や、及びユーザのゲーム状況の情報を含む。例えばユーザが実空間のプレイフィールド上を移動すると、ユーザの位置情報などのユーザ情報が、その移動に伴い更新され、仮想空間の状況が変化する。また仮想空間に配置されるオブジェクトの状態も、種々の状況に応じて変化する。例えばユーザに対応するキャラクタが、エサであるドットを食べる行動を行うと、当該ドットの存在フラグがオフになり、当該ドットは非表示になり、仮想空間の状況が変化する。またゲーム状況に応じて、仮想空間の状況も変化する。例えばゲームが進行して、マップの切り替えイベントが発生すると、仮想空間のマップが、当該マップとは異なるマップに切り替わり、仮想空間の状況が変化する。仮想空間更新情報は、このような仮想空間の状況の変化を表す情報である。この仮想空間更新情報は、例えば図１、図２、図３の処理装置１０と処理装置２０との間で通信されて共用される。具体的には図６において、ＨＭＤ２００Ａ、２００Ｂ、２００ＣとＰＣ３５０との間で、仮想空間更新情報が通信されて共用される。またＨＭＤ２００Ａ、２００Ｂ、２００Ｃの間でも仮想空間更新情報が通信されて共用される。

そして図１８に示すように、ＨＭＤ２００（ＨＭＤ２００Ａ〜２００Ｃ。処理装置１０）では、仮想空間更新情報により更新される仮想空間情報に基づいて、第１仮想カメラＶＣ１から見える第１仮想空間画像が生成される。即ち図１０に示すような第１仮想空間画像が生成されてＨＭＤ２００に表示される。一方、ＰＣ３５０（処理装置２０）では、仮想空間更新情報により更新される仮想空間情報に基づいて、第２仮想カメラＶＣ２から見える第２仮想空間画像が生成される。そして図１１に示すように第２仮想空間画像と撮影画像の合成画像が生成されて、観客用の第２表示部３９０に表示される。

このようにすれば、ＨＭＤ２００に表示される第１仮想空間画像と、第２表示部３９０に表示される合成画像を構成する第２仮想空間画像とを、通信により共用される仮想空間更新情報により更新される仮想空間情報を用いて適切に生成できるようになる。即ち仮想空間更新情報により、ユーザの視点での第１仮想空間画像と、ユーザの視点とは別の視点での第２仮想空間画像を生成して、それぞれの表示部に対して表示することが可能になる。

また本実施形態では、複数の撮影部と複数のデプス情報取得部が実空間に配置してもよい。そして複数の撮影部の中から選択された撮影部からの撮影画像と、複数のデプス情報取得部の中から選択されたデプス情報取得部からのデプス情報を取得する。

例えば図１９では、複数の撮影部３４２Ａ、３４２Ｂ、３４２Ｃ、３４２Ｄが、例えば実空間のプレイフィールドＦＬの周囲に配置されている。同様に複数のデプス情報取得部３４４Ａ、３４４Ｂ、３４４Ｃ、３４４Ｄが、実空間のプレイフィールドＦＬの周囲に配置されている。例えばプレイフィールドＦＬが四角の形状である場合には、四角のプレイフィールドＦＬの各辺の対応する位置に、撮影部３４２Ａ〜３４２Ｄの各撮影部と、デプス情報取得部３４４Ａ〜３４４Ｄの各デプス情報取得部が配置される。なお四角のプレイフィールドの各コーナに、各撮影部と各デプス情報取得部を配置してもよい。

そして、このように配置された撮影部３４２Ａ〜３４２Ｄ、デプス情報取得部３４４Ａ〜３４４Ｄの中から自動又は手動で選択された撮影部、デプス情報取得部から、撮影画像、デプス情報を取得する。そして取得された撮影画像、デプス情報に基づいて、図１１に示すような合成画像を生成する。このようにすれば、各状況に応じた選択された適切な撮影部、デプス情報取得部からの撮影画像、デプス情報を用いて、合成画像を生成できるようになり、当該状況に適切な合成画像を表示することが可能になる。

例えば本実施形態では、ユーザがプレイするゲームの状況に応じて、撮影部及びデプス情報取得部の選択を行う。例えばゲームに登場する仮想空間のオブジェクトの状況やゲームの進行状況などに応じて、使用する撮影部及びデプス情報取得部を自動選択する。

例えば図２０（Ａ）では仮想空間のオブジェクトＭＯＢがプレイフィールドＦＬにおいて高速に移動している。そして図２０（Ａ）では、撮影部３４２Ａ、デプス情報取得部３４４Ａの近くにオブジェクトＭＯＢが位置している。この場合には、オブジェクトＭＯＢの近くの撮影部３４２Ａ、デプス情報取得部３４４Ａを自動選択して、撮影画像、デプス情報を取得する。そして図２０（Ｂ）では、オブジェクトＭＯＢが、撮影部３４２Ｃ、デプス情報取得部３４４Ｃの近くに移動している。このようにオブジェクトの状況であるゲーム状況が変化すると、オブジェクトＭＯＢが移動して近づいた撮影部３４２Ｃ、デプス情報取得部３４４Ｃの方を自動選択して、撮影画像、デプス情報を取得する。即ち、撮影画像、デプス情報の取得先を、撮影部３４２Ａ、デプス情報取得部３４４Ａから撮影部３４２Ｃ、デプス情報取得部３４４Ｃに切り替える。

このようにすれば、例えば観客の注目対象であるオブジェクトＭＯＢの移動に追従するように、撮影画像、デプス情報の取得先となる撮影部、デプス情報取得部を自動的に切り替えることが可能になる。これにより、ギャラリー画像である第２仮想空間画像と撮影画像の合成画像には、観客の注目対象であるオブジェクトＭＯＢの画像が映るようになり、適切なギャラリー画像を観客等に表示することが可能になる。

或いはプレイフィールドＦＬにおいて、観客が注目するようなゲームイベントが発生するゲーム状況になったとする。この場合には、そのゲームイベントの発生場所に近い撮影部、デプス情報取得部を自動選択して、選択された撮影部、デプス情報取得部からの撮影画像、デプス情報を用いて、ギャラリー画像となる合成画像を生成してもよい。このようにすることで、注目対象となるゲームイベントの様子を観客に見せることができるギャラリー画像の生成が可能になる。

また本実施形態では、観客状況に応じて、撮影部及びデプス情報取得部の選択を行ってもよい。

例えば図２１（Ａ）では、Ｃ１に示すように、撮影部３４２Ｂ、デプス情報取得部３４４Ｂの近くに、多数の観客が集まっている。このような観客の状況が検知された場合には、多数の観客が集まっている場所にある撮影部３４２Ｂ、デプス情報取得部３４４Ｂを選択する。そして、選択された撮影部、デプス情報取得部からの撮影画像、デプス情報を用いて、ギャラリー画像となる合成画像を生成して、例えば第２表示部３９０Ｂなどに表示する。このようにすれば多数の観客の観戦位置に応じた最適なギャラリー画像を生成して、当該ギャラリー画像を、これらの観客用の第２表示部３９０Ｂに表示できるようになる。従って、これらの観客に最適なギャラリー画像の表示が可能になる。なお、観客の検知は、人感センサなどの各種センサを用いて実現することが可能である。

また図２１（Ｂ）では、Ｄ１に示す観客に対しては、その近くに設置される撮影部３４２Ａ、デプス情報取得部３４４Ａを選択する。そして、撮影部３４２Ａ、デプス情報取得部３４４Ａからの撮影画像、デプス情報に基づき生成されたギャラリー画像（合成画像）を、撮影部３４２Ａ、デプス情報取得部３４４Ａの近くに設置される第２表示部３９０Ａに表示する。同様に、Ｄ２に示す観客に対しては、その近くの撮影部３４２Ｂ、デプス情報取得部３４４Ｂを選択し、その撮影画像、デプス情報に基づき生成されたギャラリー画像を、その近くの第２表示部３９０Ｂに表示する。またＤ３、Ｄ４に示す観客に対しても同様に、その近くの撮影部３４２Ｃ、３４２Ｄ、デプス情報取得部３４４Ｃ、３４４Ｄを選択し、生成されたギャラリー画像を、その近くの第２表示部３９０Ｃ、３９０Ｄに表示する。このようにすれば、観客の位置の状況に応じた適切な撮影部、デプス情報取得部を選択して、生成されたギャラリー画像を、その観客の近くの第２表示部に表示することが可能になり、観客の状況に応じた適切なギャラリー画像の表示が可能になる。

なお本実施形態のユーザ用の表示部は、ユーザが頭部に装着するＨＭＤの表示部である。この場合にＨＭＤは、例えば光学シースルー型やビデオシースルー型などのシースルー型のＨＭＤであることが望ましい。このようなシースルー型のＨＭＤを用いることで、例えばＭＲ用の第１仮想空間画像をＨＭＤに表示することが可能になる。但しＨＭＤとして非透過型のＨＭＤを使用することも可能である。

また本実施形態では、実空間のユーザに対応する仮想空間のユーザキャラクタが表示される第１仮想空間画像を生成すると共に、仮想空間のユーザキャラクタの代わりに実空間のユーザが表示される合成画像を生成してもよい。

例えば図２２はＨＭＤに表示される第１仮想空間画像の例である。この第１仮想空間画像では、実空間のユーザＵＳＡに対応する仮想空間のユーザキャラクタＣＨＡが表示されている。ユーザキャラクタＣＨＡは、ユーザのアバターとなるキャラクタであり、ユーザＵＳＡは、仮想空間において、あたかも自身がユーザキャラクタＣＨＡに変身したかのような仮想現実を体験できる。そして、この図２２の第１仮想空間画像は、図１０のようなＭＲの仮想空間画像ではなく、例えばＶＲの仮想空間画像である。即ち図２２のＨＭＤの表示画像では、実空間のユーザは表示されず、仮想空間のユーザキャラクタＣＨＡだけが表示されている。

一方、図２３は、第２仮想空間画像と撮影画像の合成画像であるギャラリー画像である。このギャラリー画像では、図２２の仮想空間のユーザキャラクタＣＨＡの代わりに、実空間のユーザＵＳＡが表示されている。例えば図２２の第１仮想空間画像は、ユーザＵＳＡの視界範囲に仮想空間のオブジェクトだけが登場するＶＲの画像であるが、図２２のギャラリー画像では、仮想空間のオブジェクトＯＢ１、ＯＢ３、ＯＢ４と、実空間のユーザＵＳＡの画像が混在するＭＲの画像となっている。

このようにギャラリー画像（合成画像）においては、ユーザキャラクタＣＨＡの代わりにユーザＵＳＡを表示することで、観客は、ユーザキャラクタＣＨＡとして行動している者が、ユーザＵＳＡであることを視覚的に把握できるようになる。例えば、観客が、応援の対象として興味があるのは、ユーザキャラクタＣＨＡではなく、ユーザＵＳＡである場合がある。この場合には、ユーザキャラクタＣＨＡの代わりにユーザＵＳＡを、ギャラリー画像に表示することで、観客にとって好適なギャラリー画像を表示できるようになる。

なお図２３のギャラリー画像において、常時にユーザＵＳＡを表示する必要はなく、例えば所与の時間毎に、ユーザＵＳＡの表示とユーザキャラクタＣＨＡの表示を切り替えるようにしてもよい。例えば所与の時間毎に交互に、ユーザＵＳＡを表示したり、ユーザキャラクタＣＨＡを表示するようにする。或いは、図２３において、ユーザＵＳＡの全てを表示するのではなく、ユーザＵＳＡの一部の部位のみを表示し、その他の部分についてはユーザキャラクタＣＨＡの方を表示するようにしてもよい。例えば顔の部位についてだけ、ユーザＵＳＡの顔画像を表示し、その他の部分については、ユーザキャラクタＣＨＡの画像を表示するようにしてもよい。

４．詳細な処理
次に本実施形態の詳細な処理例について図２４、図２５のフローチャートを用いて説明する。

図２４では、まず移動体の移動処理を行う（ステップＳ１）。例えばユーザに対応するユーザキャラクタや、ユーザの敵となるキャラクタを移動させる処理を行う。例えば図８のキャラクタＣＨ１、ＣＨ２、ＣＨ３やモンスターＣＭ１、ＣＭ２、ＣＭ３の移動処理を行う。次にゲーム処理を行う（ステップＳ２）。例えばゲームを進行させたり、ゲームイベントを発生するなどの種々のゲーム処理を行う。そして、仮想空間更新情報により更新される仮想空間情報に基づいて、仮想空間の設定処理を行う（ステップＳ３）。例えばステップＳ１の移動体の移動処理やステップＳ２のゲーム処理に応じて仮想空間更新情報を決定し、この仮想空間更新情報に基づいて、仮想空間でのオブジェクトの設定処理を行う。そして実空間のユーザの視点に対応する仮想空間の第１仮想カメラからみえる第１仮想空間画像を生成して、ユーザのＨＭＤの表示部に表示する（ステップＳ４）。例えば図１４の第１仮想カメラＶＣ１から見える第１仮想空間が画像を生成して、図１０に示すようにユーザのＨＭＤの表示部に表示する。

図２５では、まず撮影部からの実空間の撮影画像と、デプス情報取得部からの実空間の物体のデプス情報を取得する（ステップＳ１１）。例えば図６のセンサ装置３４０のＲＧＢカメラ３４６、デプスカメラ３４８等により、実空間の撮影画像とデプス情報を取得する。そして仮想空間更新情報に基づき更新される仮想空間情報に基づいて、仮想空間の設定処理を行い、撮影部に対応する仮想空間の第２仮想カメラから見える第２仮想空間画像を生成する（ステップＳ１２）。例えば図１４の第２仮想カメラＶＣ２から見る第２仮想空間画像を生成する。そして第２仮想空間画像のオブジェクトのデプス情報と実空間の物体のデプス情報とに基づく隠面消去処理を行いながら、第２仮想空間画像と撮影画像の合成画像を生成し、第２表示部に表示する（ステップＳ１３）。例えばデプス値が各画素に設定される第２仮想空間画像と、実空間の物体のデプス情報に基づくデプス値が各画素に設定される撮影画像とを、画素毎に隠面消去処理を行いながら合成することで、合成画像を生成し、生成された合成画像を観客用の第２表示部に表示する。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また仮想空間の設定処理、第１仮想空間画像の生成処理及び表示処理、撮影画像やデプス情報の取得処理、第２仮想空間画像の生成処理、第２仮想空間画像と撮影画像の合成処理及び表示処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲーム装置、家庭用ゲーム装置、又は多数のユーザが参加する大型アトラクションシステム等の種々のシミュレーションシステムに適用できる。

ＣＨ１〜ＣＨ３ キャラクタ、ＣＭ１〜ＣＭ３ モンスター、ＤＴ ドット、
ＦＬ プレイフィールド、ＯＢ１〜ＯＢ４ オブジェクト、
ＵＳ、ＵＳ１〜ＵＳ３ ユーザ、ＶＣ１ 第１仮想カメラ、ＶＣ２ 第２仮想カメラ、
ＷＬ 壁、ＤＫ 机、ＡＲＶ 表示領域、ＩＭＰ 合成画像、ＭＯＢ オブジェクト、
ＵＳＡ ユーザ、ＣＨＡ ユーザキャラクタ
１０、２０ 処理装置、１００ 処理部、１０２ 情報取得部、
１０４ 移動体処理部、１０６ ゲーム処理部、１０８ 仮想空間設定部、
１１０ 仮想カメラ制御部、１２０ 表示処理部、１３０ 音処理部、
１６０ 操作部、１７０ 記憶部、１７２ 仮想空間情報記憶部、
１７８ 描画バッファ、１８０ 情報記憶媒体、１９０ 表示部、
１９２ 音出力部、１９６ 通信部、
２００、２００Ａ〜２００Ｃ ＨＭＤ、２１６ ＲＧＢカメラ、
２１７ デプスカメラ、２１８、２１９ 環境認識カメラ、
２４０ テンプル部、２４２ ゴーグル部、２４３ 表示装置、
２４４ ホログラフィック光学素子、２４６ ＲＧＢカメラ、
２４７ デプスカメラ、２４８、２４９ 環境認識カメラ、
３００ 処理部、３０２ 情報取得部、３０８ 仮想空間設定部、
３１０ 仮想カメラ制御部、３２０ 画像合成部、３３０ 音処理部、
３４０ センサ装置、３４２、３４２Ａ〜３４２Ｄ 撮影部、
３４４、３４４Ａ〜３４４Ｄ デプス情報取得部、３４５ 位置情報取得部、
３４６ ＲＧＢカメラ、３４８ デプスカメラ、３４９ エミッター、
３６０ 操作部、３７０ 記憶部、３７２ 仮想空間情報記憶部、
３７８ 描画バッファ、３８０ 情報記憶媒体、３９０、
３９０Ａ〜３９０Ｄ 第２表示部、３９２ 音出力部、３９６ 通信部、
５００ 無線ＬＡＮルーター、５１０ ネットワーク

Claims (16)

1. 仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する前記仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、前記ユーザ用の表示部に表示する処理を行う表示処理部と、
   前記実空間を撮影する撮影部からの撮影画像と、前記実空間の物体のデプス情報を取得するデプス情報取得部からの前記デプス情報を取得する情報取得部と、
   前記仮想空間情報に基づいて、前記撮影部に対応する前記仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、前記第２仮想空間画像のオブジェクトのデプス情報と前記実空間の前記物体の前記デプス情報とに基づく隠面消去処理を行いながら、前記第２仮想空間画像と前記撮影画像の合成画像を生成する画像合成部と、
   を含むことを特徴とするシミュレーションシステム。
2. 請求項１において、
   前記画像合成部は、
   前記第２仮想カメラにおけるデプス値が各画素に設定される前記第２仮想空間画像と、前記実空間の前記物体の前記デプス情報に基づくデプス値が各画素に設定される前記撮影画像とを、画素毎に隠面消去処理を行いながら合成することで、前記合成画像を生成することを特徴とするシミュレーションシステム。
3. 請求項１又は２において、
   前記画像合成部は、
   前記第２仮想空間画像と前記撮影画像の前記合成画像を、観客用の第２表示部に表示する処理を行うことを特徴とするシミュレーションシステム。
4. 請求項１又は２において、
   前記表示処理部は、
   前記第２仮想空間画像と前記撮影画像の前記合成画像を、前記ユーザ用の表示部に表示する処理を行うことを特徴とするシミュレーションシステム。
5. 請求項１乃至４のいずれかにおいて、
   前記表示処理部は、
   仮想空間更新情報により更新される前記仮想空間情報に基づいて、前記第１仮想空間画像を生成し、
   前記画像合成部は、
   前記仮想空間更新情報により更新される前記仮想空間情報に基づいて、前記第２仮想空間画像を生成することを特徴とするシミュレーションシステム。
6. 請求項５において、
   前記仮想空間更新情報は、前記実空間での前記ユーザの位置情報を含むユーザ情報、前記仮想空間に配置される前記オブジェクトの状況情報、及び前記ユーザがプレイするゲームのゲーム状況の情報の少なくとも１つを含むことを特徴とするシミュレーションシステム。
7. 請求項１乃至６のいずれかにおいて、
   前記実空間の前記物体の前記デプス情報は、前記撮影部の撮影位置から見た前記実空間の前記物体のデプス情報であることを特徴とするシミュレーションシステム。
8. 請求項１において、
   前記画像合成部は、
   前記撮影画像に映る前記実空間の前記物体の認識処理を行うことで生成されたオブジェクトと、前記第２仮想空間画像の前記オブジェクトとの隠面消去処理を行いながら、前記合成画像を生成することを特徴とするシミュレーションシステム。
9. 請求項１乃至８のいずれかにおいて、
   複数の前記撮影部と、複数の前記デプス情報取得部が前記実空間に配置され、
   前記情報取得部は、
   複数の前記撮影部の中から選択された撮影部からの前記撮影画像と、複数の前記デプス情報取得部の中から選択されたデプス情報取得部からの前記デプス情報を取得することを特徴とするシミュレーションシステム。
10. 請求項９において、
    前記情報取得部は、
    前記ユーザがプレイするゲームのゲーム状況に応じて、前記撮影部及び前記デプス情報取得部の選択を行うことを特徴とするシミュレーションシステム。
11. 請求項９又は１０において、
    前記情報取得部は、
    観客状況に応じて、前記撮影部及び前記デプス情報取得部の選択を行うことを特徴とするシミュレーションシステム。
12. 請求項１乃至１１のいずれかにおいて、
    前記ユーザ用の表示部は、前記ユーザが頭部に装着する頭部装着型表示装置の表示部であることを特徴とするシミュレーションシステム。
13. 請求項１乃至１２のいずれかにおいて、
    前記表示処理部は、
    前記実空間の前記ユーザに対応する前記仮想空間のユーザキャラクタが表示される前記第１仮想空間画像を生成し、
    前記画像合成部は、
    前記仮想空間の前記ユーザキャラクタの代わりに前記実空間の前記ユーザが表示される前記合成画像を生成することを特徴とするシミュレーションシステム。
14. 仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する前記仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、前記ユーザ用の表示部に表示する処理を行う表示処理部と、
    前記実空間を撮影する撮影部からの撮影画像と、前記実空間の物体の位置情報を取得する位置情報取得部からの前記位置情報を取得する情報取得部と、
    前記仮想空間情報に基づいて、前記撮影部に対応する前記仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、前記第２仮想空間画像のオブジェクトの位置情報と前記実空間の前記物体の前記位置情報とに基づく隠面消去処理を行いながら、前記第２仮想空間画像と前記撮影画像の合成画像を生成する画像合成部と、
    を含むことを特徴とするシミュレーションシステム。
15. 仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する前記仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、前記ユーザ用の表示部に表示する処理を行う表示処理部と、
    前記実空間を撮影する撮影部からの撮影画像と、前記実空間の物体のデプス情報を取得するデプス情報取得部からの前記デプス情報を取得する情報取得部と、
    前記仮想空間情報に基づいて、前記撮影部に対応する前記仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、前記第２仮想空間画像のオブジェクトのデプス情報と前記実空間の前記物体の前記デプス情報とに基づく隠面消去処理を行いながら、前記第２仮想空間画像と前記撮影画像の合成画像を生成する画像合成部として、
    コンピュータを機能させることを特徴とするプログラム。
16. 仮想空間を設定する仮想空間情報に基づいて、実空間のユーザの視点に対応する前記仮想空間の第１仮想カメラから見える第１仮想空間画像を生成し、前記ユーザ用の表示部に表示する処理を行う表示処理部と、
    前記実空間を撮影する撮影部からの撮影画像と、前記実空間の物体の位置情報を取得する位置情報取得部からの前記位置情報を取得する情報取得部と、
    前記仮想空間情報に基づいて、前記撮影部に対応する前記仮想空間の第２仮想カメラから見える第２仮想空間画像を生成し、前記第２仮想空間画像のオブジェクトの位置情報と前記実空間の前記物体の前記位置情報とに基づく隠面消去処理を行いながら、前記第２仮想空間画像と前記撮影画像の合成画像を生成する画像合成部として、
    コンピュータを機能させることを特徴とするプログラム。

Images