JP2018045459A - シミュレーションシステム及びプログラム - Google Patents

Abstract

【課題】頭部装着型表示装置を用いたシステムにおいて情報表示物の適正な表示処理を実現できるシミュレーションシステム等の提供。【解決手段】シミュレーションシステムは、複数のオブジェクトが配置される仮想空間の設定処理を行う仮想空間設定部と、頭部装着型表示装置を装着するユーザの視点に対応する仮想カメラの制御処理を行う仮想カメラ制御部と、頭部装着型表示装置の表示画像として、仮想空間において仮想カメラから見える画像を生成する表示処理部を含む。仮想空間設定部は、ユーザの視線方向に少なくとも１つの情報表示物を配置する。表示処理部は、ユーザの視点変化により所与の変更条件が満たされたと判断された場合に、情報表示物の表示態様の変更処理を行う。【選択図】図３１

Description

本発明は、シミュレーションシステム及びプログラム等に関する。

従来より、ＨＭＤ（頭部装着型表示装置）をユーザが頭部に装着し、ＨＭＤの画面に表示される画像をユーザが見ることで、いわゆるバーチャルリアリティー（ＶＲ）の世界を体感できるシステムが知られている。このようなＨＭＤを用いたシステムの従来技術としては、例えば特許文献１、２に開示される技術がある。

特許文献１には、ユーザの頭部の変動状態が所定の変動状態になった場合に、ＨＭＤの液晶シャッタを開いて、ユーザに表示する視覚情報を、周囲の環境視覚情報に切り替える手法が開示されている。特許文献２には、動き検出部によりユーザの頭部動作を特定し、その角速度に対応するユーザの望む処理を実行し、更にユーザの頭部の戻り動作を処理に反映させないことで、ユーザの頭部動作による操作を正確に実行する手法が開示されている。

特開平７−２６１１１２号公報 特開２０１２−１２３８１２号公報

ＨＭＤを用いたシステムでは、仮想空間において仮想カメラから見える画像がＨＭＤに表示される。このような画像をＨＭＤに表示することで、ユーザの視界の全周囲に亘って、広大なＶＲ空間が広がるようになるため、ユーザの仮想現実感を格段に向上できる。

一方、ＨＭＤを用いたシステムでは、説明情報やステータス情報などの様々な情報をユーザに対して表示することが望ましい。

しかしながら、このような情報がユーザに対して適切に表示されないと、様々な問題を招いてしまう。例えばＨＭＤを用いたシステムでは、ユーザの視線方向が様々に変化し、ＶＲ空間には多数のオブジェクトが存在する。従って、ユーザに対する情報表示が不適切であると、画面が見にくくなってしまったり、ユーザの仮想現実感を損ねてしまうなどの問題を招く。

本発明の幾つかの態様によれば、頭部装着型表示装置を用いたシステムにおいて情報表示物の適正な表示処理を実現できるシミュレーションシステム及びプログラム等を提供できる。

本発明の一態様は、複数のオブジェクトが配置される仮想空間の設定処理を行う仮想空間設定部と、頭部装着型表示装置を装着するユーザの視点に対応する仮想カメラの制御処理を行う仮想カメラ制御部と、前記頭部装着型表示装置の表示画像として、前記仮想空間において前記仮想カメラから見える画像を生成する表示処理部と、を含み、前記仮想空間設定部は、前記ユーザの視線方向に少なくとも１つの情報表示物を配置し、前記表示処理部は、前記ユーザの視点変化により所与の変更条件が満たされたと判断された場合に、前記情報表示物の表示態様の変更処理を行うシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、複数のオブジェクトが配置される仮想空間の設定処理が行われ、頭部装着型表示装置の表示画像として、ユーザの視点に対応する仮想カメラから見える画像が生成される。そしてユーザの視線方向に情報表示物が配置され、ユーザの視点変化（視線方向及び視点位置の少なくとも一方の変化）により所与の変更条件が満たされたと判断されると、情報表示物の表示態様を変更する処理が行われる。このようにすれば、ユーザの視線方向に配置される情報表示物について、変更条件が満たされると、情報表示物の表示態様が変更されることで、より適切な画像を頭部装着型表示装置に表示できるようになる。従って、頭部装着型表示装置を用いたシステムにおいて情報表示物の適正な表示処理を実現できるシミュレーションシステム等の提供が可能になる。

また本発明の一態様では、前記仮想空間設定部は、前記ユーザの視点変化に追従するように制御される前記情報表示物を前記仮想空間に配置してもよい。

このようにすれば、ユーザの視線方向又は視点位置が変化すると、それに追従するように情報表示物が制御されるため、情報表示物による適切な情報提示等を実現できる。

また本発明の一態様では、前記表示処理部は、前記情報表示物の種類、優先度又は重要度に応じた前記表示態様の変更処理を行ってもよい。

このようにすれば、情報表示物の種類、優先度又は重要度に応じた適切な表示態様の変更処理を実現できる。

また本発明の一態様では、前記表示処理部は、前記情報表示物が表示されてからの経過時間に応じた前記表示態様の変更処理を行ってもよい。

このようにすれば、情報表示物が表示されてからの経過時間を反映させた表示態様の変更処理を実現できるようになる。

また本発明の一態様では、前記表示処理部は、前記表示態様の変更処理として、前記情報表示物の消去処理、前記情報表示物の半透明化処理、前記ユーザの視線方向への前記情報表示物の追従の解除処理、前記情報表示物の移動処理、前記情報表示物のサイズ変更処理、或いは前記情報表示物の色情報変更処理を行ってもよい。

このようにすれば、変更条件が満たされた場合に、情報表示物の消去処理又は半透明化処理を行ったり、情報表示物の追従の解除処理を行ったり、情報表示物の移動処理やサイズ変更処理を行ったり、或いは情報表示物の色情報変更処理を行うことで、情報表示物の適正な表示処理を実現できるようになる。

また本発明の一態様では、前記所与の変更条件が満たされたかを判定する判定部を含み、前記判定部は、前記ユーザの視点変化情報に基づいて、前記所与の変更条件が満たされたか否かを判定してもよい。

このようにすれば、ユーザの視点変化が大きかったり、急峻な変化であった場合に、変更条件が満たされたと判定して、情報表示物の表示態様の変更処理を行うことが可能になる。

また本発明の一態様では、前記所与の変更条件が満たされたかを判定する判定部を含み（判定部としてコンピュータを機能させ）、前記情報表示物には判定範囲が設定されており、前記判定部は、前記ユーザの視線方向の注視位置が前記判定範囲を越えた場合に、前記所与の変更条件が満たされたと判定してもよい。

このようにすれば、情報表示物の方を基準にして、情報表示物に対する視線方向の相対的な変化を検出して、表示態様の変更処理のための変更条件を判定できるようになる。

また本発明の一態様では、第１の情報表示物に対しては、前記判定範囲として第１の判定範囲が設定され、第２の情報表示物に対しては、前記判定範囲として、前記第１の判定範囲とは異なる第２の判定範囲が設定されてもよい。

このようにすれば、情報表示物に応じて異なる判定範囲を設定して、異なる判定基準で変更条件を判定できるようになる。

また本発明の一態様では、複数の前記情報表示物が前記仮想空間に配置される場合に、前記表示処理部は、前記ユーザの視点から見て中央部に位置する前記情報表示物に対して、前記表示態様の変更処理を行ってもよい。

このようにすれば、ユーザの視点から見て中央部に位置する情報表示物が、ユーザの視界の妨げになってしまうなどの事態を防止できるようになる。

また本発明の一態様では、複数の前記情報表示物が前記仮想空間に配置される場合に、前記表示処理部は、第１の情報表示物と第２の情報表示物とで、前記所与の変更条件の内容又は前記表示態様の変更処理の内容を異ならせてもよい。

このようにすれば、各情報表示物に応じた適切な変更条件又は変更処理内容を設定して、表示態様の変更処理を実行できるようになる。

また本発明の一態様では、前記表示処理部は、前記情報表示物の奥行き値に応じた前記表示態様の変更処理を行ってもよい。

このようにすれば、情報表示物の奥行き値を有効利用した情報表示物の表示態様の変更処理を実現できる。

また本発明の一態様では、前記表示処理部は、前記所与の変更条件が満たされてからの経過時間に応じた前記表示態様の変更処理を行ってもよい。

このようにすれば、変更条件が満たされてからの経過時間を反映させた表示態様の変更処理を実現できる。

また本発明の一態様では、前記所与の変更条件が満たされたかを判定する判定部を含み（判定部としてコンピュータを機能させ）、前記表示処理部は、前記判定部により前記所与の変更条件が満たされたと判定された場合に、前記情報表示物の前記表示態様の変更処理を行い、前記情報表示物の前記表示態様の変更処理が行われた後、前記判定部により所与の復帰条件が満たされたと判定された場合に、前記情報表示物の前記表示態様の変更処理の復帰処理を行ってもよい。

このようにすれば、変更条件が満たされて、情報表示物の表示態様の変更処理が行われた場合に、情報表示物の表示態様が変更されたままの状態になってしまうのを防止できるようになる。

また本発明の一態様では、前記判定部は、前記表示態様の変更処理が行われた後、所与の時間が経過した場合、或いは、前記表示態様の変更処理が行われた後、所与の時間の間、前記ユーザの視線方向の変化が検出されなかった場合、或いは、前記表示態様の変更処理が行われた後、前記ユーザによる所与のオブジェクトの注視が検出された場合に、前記所与の復帰条件が満たされたと判定してもよい。

このようにすれば、様々な状況に対応した適切な復帰条件を判定して、復帰処理を実行できるようになる。

また本発明の一態様では、前記表示処理部は、前記情報表示物の前記表示態様の変更処理が行われていない時と、前記情報表示物の前記表示態様の変更処理が行われている時とで、前記頭部装着型表示装置の前記表示画像の明るさを異ならせてもよい。

このようにすれば、表示態様の変更処理が行われているか否かに応じて表示画像の明るさを設定して、より適切な表示画像を生成できるようになる。

本実施形態のシミュレーションシステムの構成例を示すブロック図。 図２（Ａ）、図２（Ｂ）は本実施形態に用いられるＨＭＤの一例。 図３（Ａ）、図３（Ｂ）は本実施形態に用いられるＨＭＤの他の例。 本実施形態により生成されるゲーム画像の例。 本実施形態により生成されるゲーム画像の例。 本実施形態により生成されるゲーム画像の例。 キャラクタのステータスの表示についての説明図。 図８（Ａ）〜図８（Ｄ）は情報表示物の表示手法の説明図。 図９（Ａ）、図９（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１０（Ａ）、図１０（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１１（Ａ）、図１１（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１２（Ａ）、図１２（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１３（Ａ）、図１３（Ｂ）は情報表示物の種類、優先度、重要度に応じた表示態様変更手法の説明図。 情報表示物の表示からの経過時間に応じた表示態様変更手法の説明図。 図１５（Ａ）、図１５（Ｂ）は変化角度、変化速度又は変化加速度を用いた変更条件の判定手法の説明図。 変化角度、変化速度又は変化加速度に応じて表示態様の変更処理の内容を異ならせる手法の説明図。 図１７（Ａ）、図１７（Ｂ）は判定範囲を用いた変更条件の判定手法の説明図。 複数の情報表示物への判定範囲の設定手法の説明図。 中央部の情報表示物に対して表示態様の変更処理を行う手法の説明図。 情報表示物に応じて変更条件又は変更処理の内容を異ならせる手法の説明図。 図２１（Ａ）、図２１（Ｂ）は情報表示物の奥行き値に応じて表示態様の変更処理を行う手法の説明図。 図２２（Ａ）〜図２２（Ｃ）は変更条件が満たされてからの経過時間に応じた表示態様変更手法の説明図。 図２３（Ａ）〜図２３（Ｃ）は表示態様の変更処理の復帰処理の説明図。 図２４（Ａ）〜図２４（Ｃ）は表示態様の変更処理の復帰処理の説明図。 表示態様の変更処理の復帰処理の詳細例を示すフローチャート。 図２６（Ａ）〜図２６（Ｃ）は表示態様の変更処理の非実行時と実行時とで表示画像の明るさを異ならせる手法の説明図。 図２７（Ａ）、図２７（Ｂ）はユーザとキャラクタの位置関係情報に応じたコマンドの効果の発動処理の説明図。 図２８（Ａ）、図２８（Ｂ）はユーザとキャラクタの位置関係情報に応じたコマンドの効果の発動処理の説明図。 図２９（Ａ）、図２９（Ｂ）はユーザとキャラクタの視線関係情報に応じたコマンドの効果の発動処理の説明図。 ユーザの注視情報に応じたコマンドの効果の発動処理の説明図。 本実施形態の詳細な処理例を示すフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．シミュレーションシステム
図１は、本実施形態のシミュレーションシステム（シミュレータ、ゲームシステム）の構成例を示すブロック図である。本実施形態のシミュレーションシステムは例えばバーチャルリアリティ（ＶＲ）をシミュレートするシステムであり、ゲームコンテンツを提供するゲームシステム、スポーツ競技シミュレータや運転シミュレータなどのリアルタイムシミュレーションシステム、映像等のコンテンツを提供するコンテンツ提供システム、或いは遠隔作業を実現するオペレーティングシステムなどの種々のシステムに適用可能である。なお、本実施形態のシミュレーションシステムは図１の構成に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

撮像部１５０は、１又は複数のカメラにより構成される。各カメラは、レンズ（広角レンズ）等の光学系や、ＣＣＤやＣＭＯＳセンサ等の撮像素子により構成される。また撮像部１５０に１又は複数のマイクを設けてもよい。撮像部１５０を用いることで、ユーザの動き情報（各部位の動き情報、スケルトン情報）を検出したり、ユーザの認識処理（顔認識等）を実現できる。また複数のカメラを撮像部１５０に設けることで、空間の奥行き方向を認識し、撮像部１５０の前方でプレイしている二人のユーザの前後関係を判断することなどが可能になる。また複数のマイクを撮像部１５０に設けることで、音源の方向等を検出できる。例えば複数のカメラ及び複数のマイクが設けられた撮像部１５０を用いることで、ユーザの動きや音声などを操作情報として直感的にプレイできるゲームを実現することが可能になる。

操作部１６０は、ユーザ（プレーヤ）が種々の操作情報（入力情報）を入力するためのものである。操作部１６０は、例えば操作ボタン、方向指示キー、ジョイスティック、ハンドル、ペダル又はレバー等の種々の操作デバイスにより実現できる。

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。ゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ、光ディスク装置などにより実現できる。記憶部１７０は、オブジェクト情報記憶部１７２、描画バッファ１７８を含む。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

ＨＭＤ２００（頭部装着型表示装置）は、ユーザの頭部に装着されて、ユーザの眼前に画像を表示する装置である。ＨＭＤ２００は非透過型であることが望ましいが、透過型であってもよい。またＨＭＤ２００は、いわゆるメガネタイプのＨＭＤであってもよい。

ＨＭＤ２００は、センサ部２１０、表示部２２０、処理部２４０を含む。センサ部２１０は、例えばヘッドトラッキングなどのトラッキング処理を実現するためものである。例えばセンサ部２１０を用いたトラッキング処理により、ＨＭＤ２００の位置、方向を特定する。ＨＭＤ２００の位置、方向が特定されることで、ユーザの視点情報である視点位置、視線方向を特定できる。

トラッキング方式としては種々の方式を採用できる。トラッキング方式の一例である第１のトラッキング方式では、後述の図２（Ａ）、図２（Ｂ）で詳細に説明するように、センサ部２１０として複数の発光素子（ＬＥＤ）を設ける。そして、これらの複数の発光素子からの光を、撮像部１５０で撮像することで、現実世界の３次元空間でのＨＭＤ２００（ユーザの頭部）の位置、方向を特定する。第２のトラッキング方式では、後述の図３（Ａ）、図３（Ｂ）で詳細に説明するように、センサ部２１０として複数の受光素子（フォトダイオード等）を設ける。そして外部に設けられた発光素子（ＬＥＤ等）からの光（レーザー等）をこれらの複数の受光素子により受光することで、ＨＭＤ２００の位置、方向を特定する。第３のトラッキング方式では、センサ部２１０としてモーションセンサを設け、このモーションセンサを用いてＨＭＤ２００の位置、方向を特定する。モーションセンサは例えば加速度センサやジャイロセンサなどにより実現できる。例えば３軸の加速度センサと３軸のジャイロセンサを用いた６軸のモーションセンサを用いることで、現実世界の３次元空間でのＨＭＤ２００の位置、方向を特定できる。なお、第１のトラッキング方式と第２のトラッキング方式の組合わせ、或いは第１のトラッキング方式と第３のトラッキング方式の組合わせなどにより、ＨＭＤ２００の位置、方向を特定してもよい。またＨＭＤ２００の位置、方向を特定することでユーザの視点位置、視線方向を特定するのではなく、ユーザの視点位置、視線方向を直接に特定するトラッキング処理を採用してもよい。

ＨＭＤ２００の表示部２２０は例えば有機ＥＬディスプレイ（ＯＥＬ）や液晶ディスプレイ（ＬＣＤ）などにより実現できる。例えばＨＭＤ２００の表示部２２０には、ユーザの左目の前に設定される第１のディスプレイ又は第１の表示領域と、右目の前に設定される第２のディスプレイ又は第２の表示領域が設けられており、立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左目用画像と右目用画像を生成し、第１のディスプレイに左目用画像を表示し、第２のディスプレイに右目用画像を表示する。或いは１つのディスプレイの第１の表示領域に左目用画像を表示し、第２の表示領域に右目用画像を表示する。またＨＭＤ２００には左目用、右目用の２つの接眼レンズ（魚眼レンズ）が設けられており、これによりユーザの視界の全周囲に亘って広がるＶＲ空間が表現される。そして接眼レンズ等の光学系で生じる歪みを補正するための補正処理が、左目用画像、右目用画像に対して行われる。この補正処理は表示処理部１２０が行う。

ＨＭＤ２００の処理部２４０は、ＨＭＤ２００において必要な各種の処理を行う。例えば処理部２４０は、センサ部２１０の制御処理や表示部２２０の表示制御処理などを行う。また処理部２４０が、３次元音響（立体音響）処理を行って、３次元的な音の方向や距離や広がりの再現を実現してもよい。

音出力部１９２は、本実施形態により生成された音を出力するものであり、例えばスピーカ又はヘッドホン等により実現できる。

Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。

処理部１００（プロセッサ）は、操作部１６０からの操作情報や、ＨＭＤ２００でのトラッキング情報（ＨＭＤの位置及び方向の少なくとも一方の情報。視点位置及び視線方向の少なくとも一方の情報）や、プログラムなどに基づいて、ゲーム処理（シミュレーション処理）、移動体処理、仮想カメラ制御処理、表示処理、或いは音処理などを行う。

処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

処理部１００は、入力処理部１０２、演算処理部１１０、出力処理部１４０を含む。演算処理部１１０は、ゲーム処理部１１２、移動体処理部１１４、判定部１１５、仮想空間設定部１１６、仮想カメラ制御部１１８、表示処理部１２０、音処理部１３０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

入力処理部１０２は、操作情報やトラッキング情報を受け付ける処理や、記憶部１７０から情報を読み出す処理や、通信部１９６を介して情報を受信する処理を、入力処理として行う。例えば入力処理部１０２は、操作部１６０を用いてユーザが入力した操作情報やＨＭＤ２００のセンサ部２１０等により検出されたトラッキング情報を取得する処理や、読み出し命令で指定された情報を、記憶部１７０から読み出す処理や、外部装置（サーバ等）からネットワークを介して情報を受信する処理を、入力処理として行う。ここで受信処理は、通信部１９６に情報の受信を指示したり、通信部１９６が受信した情報を取得して記憶部１７０に書き込む処理などである。

演算処理部１１０は、各種の演算処理を行う。例えばゲーム処理（シミュレーション処理）、移動体処理、仮想カメラ制御処理、表示処理、或いは音処理などの演算処理を行う。

ゲーム処理部１１２（ゲーム処理のプログラムモジュール）はユーザがゲームをプレイするための種々のゲーム処理を行う。別の言い方をすれば、ゲーム処理部１１２（シミュレーション処理部）は、ユーザが仮想現実（バーチャルリアリティ）を体験するための種々のシミュレーション処理を実行する。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績を演算する処理などである。

移動体処理部１１４（移動体処理のプログラムモジュール）は、仮想空間内で移動する移動体についての種々の処理を行う。例えば仮想空間（オブジェクト空間、ゲーム空間）において移動体を移動させる処理や、移動体を動作させる処理を行う。例えば移動体処理部１１４は、操作部１６０によりユーザが入力した操作情報や、取得されたトラッキング情報や、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（モデルオブジェクト）を仮想空間内で移動させたり、移動体を動作（モーション、アニメーション）させる制御処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。移動体は、例えば実空間のユーザ（プレーヤ）に対応する仮想空間の仮想ユーザ（仮想プレーヤ）、当該仮想ユーザが搭乗（操作）する搭乗移動体（操作移動体）、或いは仮想ユーザのプレイ対象となるキャラクタなどである。

判定部１１５（判定処理のプログラムモジュール）は各種の判定処理を行う。判定部１１５の詳細については後述する。

仮想空間設定部１１６（仮想空間設定処理のプログラムモジュール）は、複数のオブジェクトが配置される仮想空間（オブジェクト空間）の設定処理を行う。例えば、移動体（人、ロボット、車、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を仮想空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクト情報記憶部１７２には、仮想空間でのオブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。仮想空間設定部１１６は、例えば各フレーム毎にこのオブジェクト情報を更新する処理などを行う。

仮想カメラ制御部１１８（仮想カメラ制御処理のプログラムモジュール）は、仮想空間の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。例えば仮想カメラの視点位置又は視線方向（仮想カメラの位置又は姿勢）を制御する処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）や、姿勢情報である回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。この仮想カメラはユーザ（仮想ユーザ）の視点に対応する。立体視表示の場合は、左目用の第１の視点（左目用の第１の仮想カメラ）と、右目用の第２の視点（右目用の第２の仮想カメラ）が設定される。

表示処理部１２０（表示処理のプログラムモジュール）は、ゲーム画像（シミュレーション画像）の表示処理を行う。例えば処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、ＨＭＤ２００の表示部２２０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、仮想空間において仮想カメラ（所与の視点。左目用、右目用の第１、第２の視点）から見える画像が生成される。なお、表示処理部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。

音処理部１３０（音処理のプログラムモジュール）は、処理部１００で行われる種々の処理の結果に基づいて音処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などのゲーム音を生成し、ゲーム音を音出力部１９２に出力させる。なお音処理部１３０の音処理の一部（例えば３次元音響処理）を、ＨＭＤ２００の処理部２４０により実現してもよい。

出力処理部１４０は各種の情報の出力処理を行う。例えば出力処理部１４０は、記憶部１７０に情報を書き込む処理や、通信部１９６を介して情報を送信する処理を、出力処理として行う。例えば出力処理部１４０は、書き込み命令で指定された情報を、記憶部１７０に書き込む処理や、外部の装置（サーバ等）に対してネットワークを介して情報を送信する処理を行う。送信処理は、通信部１９６に情報の送信を指示したり、送信する情報を通信部１９６に指示する処理などである。

そして本実施形態のシミュレーションシステムは、図１に示すように、仮想空間設定部１１６と仮想カメラ制御部１１８と表示処理部１２０を含む。仮想空間設定部１１６は、複数のオブジェクトが配置される仮想空間の設定処理を行う。例えば複数のオブジェクトの各オブジェクトの位置、方向を設定して仮想空間に配置する処理を行う。オブジェクトは、ゲームに登場したりゲーム空間を構成するゲーム要素となる表示物である。

仮想カメラ制御部１１８は、ＨＭＤ２００を装着するユーザの視点に対応する仮想カメラの制御処理を行う。例えば仮想カメラ制御部１１８は、ユーザの一人称視点として設定される仮想カメラの制御を行う。例えば仮想空間において移動する仮想ユーザの視点に対応する位置に、仮想カメラを設定して、仮想カメラの視点位置や視線方向を設定することで、仮想カメラの位置（位置座標）や姿勢（回転軸回りでの回転角度）を制御する。

表示処理部１２０は、ＨＭＤ２００の表示画像（表示映像）として、仮想空間において仮想カメラ（ユーザ視点）から見える画像を生成する。例えば仮想空間であるオブジェクト空間において所与の視点から見える画像を生成する。生成される画像は例えば立体視用の画像である。

そして本実施形態では仮想空間設定部１１６は、ユーザの視線方向（視野範囲）に少なくとも１つの情報表示物を配置する。例えばユーザの視野範囲（正面方向）に位置するように情報表示物を配置する。具体的にはユーザの正面方向に情報表示物が見えるように、情報表示物を仮想空間に配置する。

そして表示処理部１２０は、ユーザの視点変化により所与の変更条件が満たされたと判断された場合に、情報表示物の表示態様（表示方法、表示方式）の変更処理を行う。ここで視点変化は、例えば視線方向及び視点位置の少なくとも一方の変化である。例えばユーザが視線方向又は視点位置（ユーザ位置）を大きく動かしたことで、変更条件が満たされたと判断された場合に、情報表示物の表示態様を変更する処理を行う。例えば表示処理部１２０は、変更条件が満たされた場合には、当該変更条件が満たされていない時の画像とは異なった画像に見えるように、ＨＭＤ２００の表示画像を生成して、ＨＭＤ２００に表示する。

即ち、上述したように情報表示物は、例えば仮想空間において、ユーザの視線方向に配置される。例えばユーザの視線方向（正面方向、視野範囲）の方に位置するように情報表示物が配置される。従って、ユーザの視線方向又は視点位置が大きく変化した場合に、視線方向又は視点位置の変化前の表示態様で情報表示物を表示してしまうと、不適切な表示画像がＨＭＤ２００に表示されてしまうおそれがある。例えば、ユーザの視線方向が正面方向を向いている場合には、その方向に情報表示物を表示することで、情報表示物による適切な情報伝達を実現できる。一方、ＨＭＤ２００を用いたシステムでは、ユーザの視界の全周囲に亘って、広大なＶＲ空間が広がるようになるため、ユーザは、正面方向だけではなく、周辺方向を見回すように視線方向を動かしたり、様々な方向に移動する場合がある。このような場合に、視線方向が正面方向を向いている時の表示態様や視点位置（ユーザ位置）が静止している時の表示態様のままで情報表示物を表示してしまうと、ユーザにとって不適正な表示になってしまうおそれがある。このため表示処理部１２０は、ユーザの視点変化により所与の変更条件が満たされたと判断された場合に、情報表示物の表示態様を変更する処理を行い、このような不適切な表示が行われるのを防止する。

また仮想空間設定部１１６は、ユーザの視点変化（仮想カメラの視点変化）に追従するように制御される情報表示物（少なくとも１つの情報表示物）を仮想空間に配置してもよい。即ち、ユーザの視線方向及び視点位置の少なくとも一方に追従するように制御される情報表示物を配置する。例えばユーザの視線方向又は視点位置が変化すると、その変化に連動して仮想空間での情報表示物の配置位置（３次元位置）も変化する。例えばユーザの視線方向が左方向、右方向、上方向、下方向に変化すると、その方向の変化に追従するように仮想空間での情報表示物の位置や方向も変化する。或いはユーザの視点位置（ユーザ位置）が左方向、右方向、上方向、下方向に移動すると、その移動（位置の変化）に追従するように仮想空間での情報表示物の位置等も変化する。例えば情報表示物がビルボードポリゴンにより構成される場合には、ユーザの視点に正対するように（ユーザの視線方向に直交するように）、情報表示物を構成するビルボードポリゴンが配置される。

このようにユーザの視点変化に追従するように情報表示物が制御される場合には、ユーザの視線方向又は視点位置が大きく変化すると、それに追従して情報表示物の位置等も大きく変化してしまい、適切な表示画像を表示できない事態が生じてしまう。この場合にも本実施形態では、表示処理部１２０が情報表示物の表示態様を変更する処理を行うことで、このような事態の発生を防止できる。

また仮想空間設定部１１６は、ユーザの視線方向での所与の奥行き位置に、視点変化に追従するように情報表示物を配置する。例えばユーザの視点（仮想カメラ）に対する情報表示物の奥行き位置（奥行き距離）については変化しないようにしながら、視点変化（視線方向又は視点位置の変化）に追従するように、情報表示物を配置する。例えばユーザの視点（仮想カメラ）から所与の奥行き位置（Ｚ座標軸での位置）に、例えばビルボードポリゴンで構成される情報表示物を配置する。

また表示処理部１２０は、情報表示物の種類、優先度又は重要度に応じた表示態様の変更処理を行ってもよい。例えば情報表示物の種類、優先度又は重要度を反映させた情報表示物の表示態様の変更処理を行う。情報表示物の種類は、例えば情報表示物が提示する情報のタイプなどによって区分けされるものである。例えば記憶部１７０には、各情報表示物に対してその種類の情報が関連づけられて記憶されており、この種類の情報を用いて表示態様の変更処理が行われる。情報表示物の優先度や重要度は、情報表示物により提示される情報が、どの程度、優先度や重要度が高いかを示す情報である。例えば記憶部１７０には、各情報表示物に対してその優先度や重要度の情報が関連づけられて記憶されており、この優先度や重要度の情報を用いて表示態様の変更処理が行われる。

例えば表示処理部１２０は、情報表示物が第１の種類（例えばコマンド選択のための情報表示物等）である場合には、情報表示物の表示態様の変更処理を行わない。これに対して情報表示物が第２の種類（例えば説明表示のための情報表示物等）である場合には、情報表示物の表示態様を変更処理（消去、半透明化等）を行う。情報表示物が第１の種類であるか第２の種類であるかは、記憶部１７０において当該情報表示物に関連づけられて記憶される。

また表示処理部１２０は、情報表示物に関連づけられた優先度又は重要度を用いて、表示態様の変更処理を行う。例えば記憶部１７０には、情報表示物に対して優先度や重要度の情報が関連づけて記憶されている。表示処理部１２０は、表示態様の変更処理を行う場合に、処理対象となる情報表示物に関連づけられた優先度や重要度の情報を記憶部１７０から読み出して、情報表示物の表示態様を変更する処理を行う。

また表示処理部１２０は、情報表示物が表示されてからの経過時間に応じた表示態様の変更処理を行う。例えば各情報表示物が表示されてからの経過時間を測定して記録しておく。そして情報表示物の表示態様の変更処理を行う際には、当該経過時間を反映させた処理を行う。例えば表示されてからの経過時間が長い情報表示物は、経過時間が短い情報表示物に比べて、その表示態様の変更処理を優先して行うようにする。

また表示処理部１２０は、表示態様の変更処理として、情報表示物の消去処理、情報表示物の半透明化処理、ユーザの視点変化への情報表示物の追従の解除処理、情報表示物の移動処理、情報表示物のサイズ変更処理、或いは情報表示物の色情報変更処理など行う。

情報表示物の消去処理は、情報表示物を、表示対象（表示リスト）から除外する処理や、透明化する処理などにより実現できる。情報表示物の半透明化処理は、情報表示物の半透明度（α値）を、例えば、より半透明になるように変化させることなどで実現できる。また前述のように情報表示物はユーザの視点変化に追従するように制御されるが、この追従の制御を解除（低減）することで、ユーザの視点変化への情報表示物の追従の解除処理を実現できる。情報表示物の移動処理は、例えば情報表示物がユーザの視線方向の方に表示されないように、情報表示物を移動させることなどにより実現できる。情報表示物のサイズ変更処理は、例えばユーザの視線方向において情報表示物が目立たなくなるようにそのサイズを小さくする処理などにより実現できる。情報表示物の色情報変更処理は、例えば情報表示物の色の明度、彩度又は色相等を変更する処理などにより実現できる。例えば情報表示物の色情報変更処理として、情報表示物の色情報を例えば背景の色情報に近づけて、背景に溶け込ませる処理などが考えられる。このような処理は、例えば情報表示物の色情報と背景の色情報に基づくαブレンディング処理やデプスキューイング処理などにより実現できる。

情報表示物は、例えば説明表示のための表示物、ステータス表示のための表示物、会話表示のための表示物、コマンド選択のための表示物、又はメニュー表示のための表示物などである。説明表示のための表示物は、例えば、ユーザに対してゲーム等についての各種の説明を行うための表示物である。ステータス表示のための表示物は、例えば、ゲーム等についての各種の状況をユーザに伝えるための表示物である。会話表示のための表示物は、例えば、各種の会話内容をユーザに伝えるための表示物である。例えばユーザのプレイ対象となるキャラクタの会話内容を伝えるための表示物である。コマンド選択のための表示物は、例えばゲーム等においてユーザがコマンドを選択するために使用される表示物である。例えばコマンドの選択肢をユーザに提示するための表示物である。メニュー表示のための表示物は、例えば、ゲーム等におけるメニュー画面をユーザに提示するための表示物である。例えばゲームモード、ゲーム設定（オプション設定）、又はゲームの終了指示などのメニュー画面を提示するための表示物である。情報表示物は、例えば文字、アイコン又は図形等を用いてユーザに情報を伝達する表示物である。一例としては、情報表示物は、ユーザに提示する情報が描かれたビルボードポリゴンなどにより実現できる。

仮想空間には、このような情報表示物以外にも、複数のオブジェクトが配置されている。このような情報表示物以外のオブジェクトとしては、例えばゲームに登場する移動体、固定物、アイテム、又は背景のオブジェクトなどがある。ゲームに登場する移動体は、例えばユーザのプレイ対象となるキャラクタや、ゲームにおいて種々の方向、位置に移動する表示物である。固定物は、移動体のように移動せずに、仮想空間の所定の位置に固定される表示物である。アイテムは、ゲームに登場する各種の道具等の表示物であり、ユーザのプレイ対象、所持対象又は把持対象となる表示物である。背景のオブジェクトは、ゲーム等の背景を構成するオブジェクトである。

またシミュレーションシステムは判定部１１５を含み、判定部１１５は、所与の変更条件が満たされたかを判定する。そして表示処理部１２０は、判定部１１５により所与の変更条件が満たされたと判定された場合に、情報表示物の表示態様の変更処理を行う。

判定部１１５は、例えば、ユーザの視点変化情報に基づいて、所与の変更条件が満たされたか否かを判定する。視点変化情報は、例えば視線方向変化情報又は視点位置変化情報である。視線方向変化情報は、例えば視線方向の変化角度、視線方向の変化速度、又は視線方向の変化加速度などである。視点位置変化情報は、視点位置の変化距離（変位）、視点位置の変化速度、又は視点位置の変化加速度などである。例えば判定部１１５は、ユーザの視線方向の変化角度が所与の角度以上になった場合、ユーザの視線方向の変化速度が所与の速度以上になった場合、又はユーザの視線方向の変化加速度が所与の加速度以上になった場合に、所与の変更条件が満たされたと判定する。或いは判定部１１５は、ユーザの視点位置の変化距離が所与の距離以上になった場合、ユーザの視点位置の変化速度が所与の速度以上になった場合、又はユーザの視点位置の変化加速度が所与の加速度以上になった場合に、所与の変更条件が満たされたと判定する。そして、このように変更条件が満たされると、表示処理部１２０が情報表示物の表示態様の変更処理を行う。

ユーザの視線方向の変化角度は、例えば視線方向のベクトルの変化角度である。例えば視線方向のベクトルの方向を表す角度（所定の基準軸に対する角度）が第１の角度から第２の角度に変化した場合に、この第１の角度と第２の角度の差が変化角度である。視線方向の変化速度は、例えば視線方向のベクトルの角度の所定単位時間（例えば１フレーム）での変化量であり、角速度に相当するものである。視線方向の変化加速度は、例えば視線方向のベクトルの角度の変化速度の所定単位時間での変化量であり、角加速度に相当するものである。ユーザの視点位置の変化距離は、例えばユーザの視点位置が第１の位置から第２の位置に変化した場合の第１の位置と第２の位置の間の距離である。ユーザの視点位置の変化速度は、視点位置の所定単位時間での変化量である。ユーザの視点位置の変化加速度は、視点位置の変化速度の所定単位時間での変化量である。

また表示処理部１２０は、ユーザの視点変化情報に応じて、情報表示物の表示態様の変更処理の内容を異ならせる。例えばユーザの視線方向の変化角度、変化速度又は変化加速度に応じて、情報表示物の表示態様の変更処理の内容を異ならせる。或いはユーザの視点位置の変化距離、変化速度又は変化加速度に応じて、情報表示物の表示態様の変更処理の内容を異ならせる。例えば視線方向の変化角度、変化速度又は変化加速度（視点位置の変化距離、変化速度又は変化加速度）に応じて、情報表示物の消去処理や半透明化処理の内容、情報表示物の追従の解除処理の内容、情報表示物の移動処理やサイズ変更処理の内容、或いは情報表示物の色情報変更処理の内容を異ならせる。例えば視線方向の変化角度、変化速度又は変化加速度（視点位置の変化距離、変化速度又は変化加速度）が大きいほど、情報表示物が消去されるまでの時間を短くしたり、半透明度の変化速度を速くしたり、追従が解除されるまでの時間を短くしたり、移動処理における移動速度やサイズ変更処理におけるサイズ変化速度を速くする。また視線方向の変化角度、変化速度又は変化加速度（視点位置の変化距離、変化速度又は変化加速度）が小さいほど、情報表示物が消去されるまでの時間を長くしたり、半透明度の変化速度を遅くしたり、追従が解除されるまでの時間を長くしたり、移動処理における移動速度やサイズ変更処理におけるサイズ変化速度を遅くする。

また情報表示物には例えば判定範囲（視線方向の受け付け範囲）が設定されており、判定部１１５は、ユーザの視線方向の注視位置が判定範囲を越えた場合に、所与の変更条件が満たされたと判定する。

例えば、ユーザの視点から見て情報表示物を内包するように、判定範囲を設定する。この判定範囲の設定は例えば判定部１１５が行うことができる。判定範囲は、コリジョン処理における３次元形状の判定用ボリュームであってもよいし、２次元形状の範囲であってもよい。そして、例えばユーザの視線方向に沿った直線（視線方向ベクトルの直線）と、判定範囲との交差判定を行い、当該直線と判定範囲が交差した場合には、所与の変更条件が満たされていないと判定する。一方、当該直線と判定範囲が交差しない場合には、ユーザの視線方向の注視位置が判定範囲を越えていると判断して、所与の変更条件が満たされたと判定する。視線方向に沿った直線と判定範囲との交差判定は、公知のコリジョン処理（ヒット判定）を用いて実現できる。

この場合に、判定範囲は例えば情報表示物毎に異なった範囲に設定することが望ましい。例えば複数の情報表示物のうちの第１の情報表示物に対しては、判定範囲として第１の判定範囲が設定される。一方、複数の情報表示物のうちの第２の情報表示物に対しては、判定範囲として、第１の判定範囲とは異なる第２の判定範囲が設定される。例えば第１の判定範囲と第２の判定範囲は、ユーザの視点から見て異なる大きさの範囲となっている。例えばユーザの視点から見て中央部に位置する情報表示物に対しては、例えば小さな範囲の判定範囲（第１の判定範囲）を設定する。一方、ユーザの視点から見て周辺部に位置する情報表示物に対しては、例えば大きな範囲の判定範囲（第１の判定範囲よりも大きい第２の判定範囲）を設定する。

また複数の情報表示物が仮想空間に配置される場合に、表示処理部１２０は、ユーザの視点から見て中央部に位置する情報表示物に対して、表示態様の変更処理を行うようにしてもよい。例えばユーザの視点から見て中央部に位置する情報表示物に対しては表示態様の変更処理を行う一方で、ユーザの視点から見て周辺部に位置する情報表示物については表示態様の変更処理を行わないようにする。ここで中央部は、例えばユーザの視線方向に沿って伸ばした直線が交差する領域であり、所定の境界によって区分けされた所定サイズの領域である。一方、周辺部は、中央部の周りの領域であり、当該直線が交差しない領域である。中央部と周辺部は、上記の所定の境界によって区分けされる。一例としては、ユーザの視線方向に沿って伸ばした直線に交差する情報表示物に対しては、表示態様の変更処理を行う一方で、当該直線と交差しない情報表示物については、表示態様の変更処理を行わないようにしてもよい。

また複数の情報表示物が仮想空間に配置される場合に、表示処理部１２０は、第１の情報表示物と第２の情報表示物とで、所与の変更条件の内容又は表示態様の変更処理の内容を異ならせてもよい。例えば複数の情報表示物の各情報表示物毎に、変更条件の内容又は表示態様の変更処理の内容を異ならせる。なお変更条件の内容及び表示態様の変更処理の内容の両方を異ならせてもよい。例えば視線方向の変化角度、変化速度又は変化加速度（視点位置の変化距離、変化速度又は変化加速度）に基づく変更条件の判定の際のしきい値を異ならせることで、変更条件の内容を異ならせることができる。また、上述した判定範囲のサイズ等を異ならせることで、変更条件の内容を異ならせることができる。また、情報表示物の消去処理や半透明化処理の内容、情報表示物の追従の解除処理の内容、情報表示物の移動処理やサイズ変更処理の内容、或いは情報表示物の色情報変更処理の内容を異ならせることで、情報表示物の表示態様の変更処理の内容を異ならせることができる。

また表示処理部１２０は、情報表示物の奥行き値に応じた表示態様の変更処理を行ってもよい。奥行き値は、ユーザの視点から見た場合における、情報表示物の奥行き方向での距離を表すものであり、例えば視点座標系（カメラ座標系）におけるＺ座標軸の座標値などである。例えば第１の情報表示物の奥行き値が、第１の奥行き値であり、第２の情報表示物の奥行き値が、第１の奥行き値とは異なる第２の奥行き値であったとする。この場合に表示処理部１２０は、第１の情報表示物（例えば視点から見て手前側の情報表示物）に対しては表示態様の変更処理を行う一方で、第２の情報表示物（例えば視点から見て奥側の情報表示物）に対しては表示態様の変更処理を行わないようにする。或いは第１の情報表示物と第２の情報表示物とで、表示態様の変更処理の内容を異ならせてもよい。

また表示処理部１２０は、所与の変更条件が満たされてからの経過時間に応じた表示態様の変更処理を行ってよい。例えば変更条件が満たされてからの経過時間をパラメータとして、情報表示物の消去処理や半透明化処理、情報表示物の追従の解除処理、情報表示物の移動処理やサイズ変更処理、或いは情報表示物の色情報変更処理を行う。例えば変更条件が満たされてからの経過時間に基づいて、半透明化処理の半透明度を変化させる。例えば経過時間が長いほど、より透明にする半透明度に設定する。或いは、変更条件が満たされてからの経過時間に基づいて、移動処理における移動速度やサイズ変更処理におけるサイズ変化速度を設定してもよい。

また表示処理部１２０は、情報表示物の表示態様の変更処理が行われた後、判定部１１５により所与の復帰条件が満たされたと判定された場合に、情報表示物の表示態様の変更処理の復帰処理を行う。復帰処理は、表示態様の変更前の状態に戻したり、表示態様の変更前の状態に近づける処理である。例えば表示態様の変更処理により、情報表示物の消去処理が行われた場合には、消去された情報表示物を再表示する復帰処理を行う。また表示態様の変更処理により、情報表示物の半透明化処理が行われた場合には、半透明になった情報表示物を、半透明でない情報表示物に戻す復帰処理を行う。また表示態様の変更処理により、情報表示物の追従の解除処理が行われた場合には、この解除処理を無効にして、情報表示物を視線方向に追従させる復帰処理を行う。また表示態様の変更処理により、情報表示物の移動処理やサイズ変化処理が行われた場合には、情報表示物を移動前の状態やサイズ変更前の状態に戻す復帰処理を行う。また表示態様の変更処理により、情報表示物の色情報変更処理が行われた場合には、情報表示物の色情報を変更前の色情報に戻す復帰処理を行う。

この場合に判定部１１５は、表示態様の変更処理が行われた後、所与の時間が経過した場合、或いは、表示態様の変更処理が行われた後、所与の時間の間、ユーザの視線方向の変化が検出されなかった場合、或いは、表示態様の変更処理が行われた後、ユーザによる所与のオブジェクトの注視が検出された場合に、所与の復帰条件が満たされたと判定する。そして情報表示物の表示態様の変更処理の復帰処理を実行する。例えば判定部１１５は、表示態様の変更処理が行われた後、時間経過の計測を行い、所定の所与の時間が経過したと判断された場合に、復帰処理を実行する。また表示態様の変更処理が行われた後、ユーザの視線方向の変化の検出処理を行い、視線方向の変化が小さく、所定変化量以下であると判断された場合には、復帰処理を実行する。また、表示態様の変更処理が行われた後、ユーザが、所与のオブジェクトを例えば所与の期間の間、注視していることが検出された場合には、復帰処理を実行する。

また表示処理部１２０は、情報表示物の表示態様の変更処理が行われていない時と、情報表示物の表示態様の変更処理が行われている時とで、ＨＭＤ２００の表示画像の明るさを異ならせてもよい。表示画像の明るさは、表示画像の全体的な明るさであり、例えば表示画像を構成する全画素の平均的な輝度（明度）などで規定できる。そして情報表示物の表示態様の変更処理が行われておらず、情報表示物の表示が通常表示になっている場合には、例えばＨＭＤ２００の表示画像を暗い設定にする。一方、情報表示物の表示態様の変更処理が行われており、例えば情報表示物が非表示になったり、半透明になっている場合には、例えばＨＭＤ２００の表示画像を明るい設定にする。

また仮想カメラ制御部１１８は、ユーザの視点情報のトラッキング情報に基づいて、ユーザの視点変化に追従するように仮想カメラを制御する。

例えば入力処理部１０２（入力受け付け部）は、ＨＭＤ２００を装着するユーザの視点情報のトラッキング情報を取得する。例えばユーザの視点位置、視線方向の少なくとも１つである視点情報のトラッキング情報（視点トラッキング情報）を取得する。このトラッキング情報は、例えばＨＭＤ２００のトラッキング処理を行うことで取得できる。なおトラッキング処理によりユーザの視点位置、視線方向を直接に取得すようにしてもよい。一例としては、トラッキング情報は、ユーザの初期視点位置からの視点位置の変化情報（視点位置の座標の変化値）、及び、ユーザの初期視線方向からの視線方向の変化情報（視線方向の回転軸回りでの回転角度の変化値）の少なくとも一方を含むことができる。このようなトラッキング情報が含む視点情報の変化情報に基づいて、ユーザの視点位置や視線方向（ユーザの頭部の位置、姿勢の情報）を特定できる。

そして仮想カメラ制御部１１８は、取得されたトラッキング情報（ユーザの視点位置及び視線方向の少なくとも一方の情報）に基づいて仮想カメラの視点位置、視線方向を変化させる。例えば、仮想カメラ制御部１１８は、実空間でのユーザの視点位置、視線方向の変化に応じて、仮想空間での仮想カメラの視点位置、視線方向（位置、姿勢）が変化するように、仮想カメラを設定する。このようにすることで、ユーザの視点情報のトラッキング情報に基づいて、ユーザの視点変化に追従するように仮想カメラを制御できる。

なお本実施形態では、ユーザがプレイするゲームのゲーム処理として、仮想現実のシミュレーション処理を行う。仮想現実のシミュレーション処理は、実空間での事象を仮想空間で模擬するためのシミュレーション処理であり、当該事象をユーザに仮想体験させるための処理である。例えば実空間のユーザに対応する仮想ユーザやその搭乗移動体などの移動体を、仮想空間で移動させたり、移動に伴う環境や周囲の変化をユーザに体感させるための処理を行う。

またシミュレーションシステムはゲーム処理を行うゲーム処理部１１２を含む。そしてゲーム処理部１１２は、ユーザのゲームプレイの対象となるキャラクタの情報とユーザの視点情報との応じたコマンドの効果を、発動させる処理を行う。

例えば本実施形態では、複数のコマンドの中からユーザが選択したコマンドを受け付ける処理を行う。例えばユーザが選択可能なＮ個のコマンドの情報が記憶部１７０（コマンド情報記憶部）に記憶されている。そして、例えば、これらのＮ個のコマンドの中からＭ個（Ｍ＜Ｎ）のコマンドが、自動的に或いはユーザにより選択されて、いわゆるデッキと呼ばれるコマンドのセットが編成される。ゲームプレイ中においては、ユーザは、これらのＭ個のコマンドの中から自身が所望するコマンドを選択する。すると、選択されたコマンドが、発動対象のコマンドとして受け付けられる。

そしてゲーム処理部１１２は、受け付けられたコマンドの効果を発動させる処理を、ゲーム処理として行う。例えば各コマンドの効果は各コマンドに関連づけられて、コマンド情報として、記憶部１７０に記憶されている。ゲーム処理部１１２は、ユーザが選択したコマンドに関連づけられた効果を発動させる処理を行う。

そしてゲーム処理部１１２は、コマンドの効果の発動結果に基づいて、ゲームパラメータを演算する処理、ゲームを進行させる処理、ゲーム成績（ゲーム結果）を演算する処理、或いはコマンドに対応するアイコンの制御処理などのゲーム処理を行う。

具体的には、ゲーム処理部１１２は、ゲームパラメータの値を増減させる演算処理を行う。そして演算処理後のゲームパラメータに基づいて、キャラクタの動作（挙動）を制御したり、ストーリーの分岐処理を行ったり、ゲームイベントを発生する処理を行ったりするなどの、各種のゲーム処理を行う。例えばユーザのゲームプレイの対象となるキャラクタとユーザとによりストーリーが進行するゲームの処理を行う。

表示処理部１２０は、上記のゲーム処理の結果に基づいて、ゲーム画像の表示処理を行う。例えばゲームパラメータの演算結果や、ゲーム進行処理の結果や、ゲーム成績の演算結果や、アイコンの制御処理の結果に応じたゲーム画像を、ＨＭＤ２００の表示部２２０に表示するための処理を行う。また音処理部１３０も、ゲーム処理の結果に基づいて、ＢＧＭ、効果音又は音声等のゲーム音を、音出力部１９２から出力するための処理を行う。

そして本実施形態では、ゲーム処理部１１２は、ユーザのゲームプレイの対象となるキャラクタの情報とユーザの視点情報とに応じたコマンドの効果を、発動させる処理を行う。例えばキャラクタの情報とユーザの視点情報とにより設定（特定）される情報（例えば位置関係情報、視線関係情報、或いは注視情報等）に応じたコマンドの効果を、発動させる処理を行う。

具体的にはゲーム処理部１１２は、キャラクタの情報とユーザの視点情報とに応じて、コマンドの効果の度合い及びコマンドの効果の内容の少なくとも一方を変化させる処理を行う。例えばゲーム処理部１１２は、キャラクタの情報とユーザの視点情報とにより設定（特定）される情報（例えば位置関係情報、視線関係情報、或いは注視情報等）が変化すると、それに応じてコマンドの効果の度合い及びコマンドの効果の内容の少なくとも一方が変化するように、コマンドの発動処理を行う。

ここで、キャラクタの情報は、例えば、キャラクタの位置情報、方向情報、ゲームパラメータ情報、部位情報、姿勢情報及び種類情報の少なくとも１つである。キャラクタは、ゲームに登場するゲームプレイ要素であり、例えば実世界の人、動物、ロボット、或いは移動体等を表すものであり、ゲーム画像にオブジェクトとして表示されるものである。

具体的には、ユーザのゲームプレイの対象となるキャラクタは、例えばユーザのゲームプレイの相手となるキャラクタである。異性キャラクタとのコミュニケーションゲーム（人間関係シミュレーションゲーム）を例にとれば、ユーザのコミュニケーションの相手（候補）となるキャラクタである。例えば本実施形態では表示処理部１２０はユーザの例えば一人称視点でのゲーム画像を生成し、生成された一人称視点での画像をＨＭＤ２００の表示部２２０に表示する。このようにすることで、あたかもゲーム空間（ＣＧアニメの世界）の中に自分が入り込んだかのような仮想現実感をユーザに与えることができる。そしてキャラクタは、このゲーム空間（オブジェクト空間、仮想３次元空間）の中に、ユーザのゲームプレイの対象として登場する。これにより、ユーザは、あたかも本当の人間（キャラクタ）がユーザの眼前に存在するような仮想現実を感じることができる。なおユーザのゲームプレイの対象となるキャラクタとして、戦争ゲームやＲＰＧゲームやスポーツゲームなどでユーザの敵や味方として登場するキャラクタを用いてもよい。

また、ゲームパラメータは、ゲーム処理（ゲーム進行処理等）に使用されるパラメータである。例えばゲームパラメータは、キャラクタやユーザのステータスや能力等を表すパラメータである。例えばキャラクタのゲームパラメータとしては、キャラクタの心理や状態を表すステータスパラメータ、キャラクタの能力を表すパラメータ、キャラクタの行動に関するパラメータ、或いはキャラクタの所持物に関するパラメータなどの種々のパラメータを想定できる。またキャラクタのゲームパラメータは、ユーザに対するキャラクタの評価を表すパラメータであってもよい。

キャラクタの部位情報は、キャラクタを構成する部位（部位オブジェクト）の種類情報（頭、胸、腰、足又は手等）や、部位の位置情報（キャラクタの代表位置に対する相対位置）や、或いは部位の形状情報（部位オブジェクトの形状）などである。キャラクタの姿勢情報は、例えば、座る、立つ、歩く、又は走るなどのキャラクタのモーションを特定する姿勢の情報である。例えばキャラクタがスケルトンモデルで表現される場合には、このスケルトンの形状情報がキャラクタの姿勢情報に対応する。キャラクタの種類情報は、例えばキャラクタのタイプ或いは属性と呼ばれるものであり、異性のキャラクタであれば、活発タイプ、真面目タイプ、甘えん坊タイプ、又は清楚タイプなどである。

またユーザの視点情報は、例えばユーザの視点位置情報、視線方向情報、及び仮想カメラ属性情報の少なくとも１つである。視点位置情報は、例えばゲーム空間（オブジェクト空間、仮想３次元空間）内において、ユーザの視点として設定される位置の情報である。視線方向情報は、当該視点でのユーザの視線方向を表す情報である。仮想カメラ属性情報は、ユーザの視点に設定される仮想カメラについての情報であり、例えば画角情報、立体視における両眼視差情報など種々の情報を想定できる。

更に具体的には、ゲーム処理部１１２は、ユーザとキャラクタとの位置関係情報に応じたコマンドの効果を、発動させる処理を行う。例えば、一人称視点の場合には、ユーザの視点位置とキャラクタの位置（代表位置）との位置関係情報に応じたコマンドの効果を、発動させる。位置関係情報は、ユーザの位置（視点位置、ユーザキャラクタの位置）とキャラクタの位置（代表位置、視点位置）との関係を表す情報である。この位置関係情報としては、例えばユーザとキャラクタとの距離（ゲーム空間での距離）などを想定できるが、これには限定されない。例えばユーザとキャラクタとの方向関係の情報であってもよい。

またゲーム処理部１１２は、ユーザの視線とキャラクタとの関係を表す視線関係情報に応じたコマンドの効果を、発動させる処理を行う。視線関係情報は、ユーザの視線とキャラクタとの関係を表す情報であり、例えばユーザの視線について、キャラクタとの相対的な関係を表す情報である。例えば視線関係情報は、キャラクタの位置（代表位置）や各部位を基準として、ユーザの視線がどの方向を向いているかに関する情報である。

またゲーム処理部１１２は、ユーザの注視情報に応じたコマンドの効果を、発動させる処理を行う。注視情報は、ユーザが注視しているキャラクタの部位の情報である注視部位情報、ユーザがキャラクタを注視しているか否かの情報である注視有無情報、ユーザがキャラクタを注視している時間を表す注視時間情報、及びユーザの注視時におけるキャラクタとの間の距離を表す注視距離情報の少なくとも１つである。

２．トラッキング処理
次にトラッキング処理の例について説明する。図２（Ａ）に本実施形態のシミュレーションシステムで用いれるＨＭＤ２００の一例を示す。図２（Ａ）では、ＨＭＤ２００に対して複数の発光素子２３１〜２３６が設けられている。これらの発光素子２３１〜２３６は例えばＬＥＤなどにより実現される。発光素子２３１〜２３４は、ＨＭＤ２００の前面側に設けられ、発光素子２３５や不図示の発光素子２３６は、背面側に設けられる。これらの発光素子２３１〜２３６は、例えば可視光の帯域の光を出射（発光）する。具体的には発光素子２３１〜２３６は、互いに異なる色の光を出射する。そして図２（Ｂ）に示す撮像部１５０をユーザＰＬの前方側に設置し、この撮像部１５０により、これらの発光素子２３１〜２３６の光を撮像する。即ち、撮像部１５０の撮像画像には、これらの発光素子２３１〜２３６のスポット光が映る。そして、この撮像画像の画像処理を行うことで、ユーザＰＬの頭部（ＨＭＤ）のトラッキングを実現する。即ちユーザＰＬの頭部の３次元位置や向く方向（視点位置、視線方向）を検出する。

例えば図２（Ｂ）に示すように撮像部１５０には第１、第２のカメラ１５１、１５２が設けられており、これらの第１、第２のカメラ１５１、１５２の第１、第２の撮像画像を用いることで、ユーザＰＬの頭部の奥行き方向での位置等が検出可能になる。またＨＭＤ２００のセンサ部２１０に設けられたモーションセンサのモーション検出情報に基づいて、ユーザＰＬの頭部の回転角度（視線）も検出可能になっている。従って、このようなＨＭＤ２００を用いることで、ユーザＰＬが、周囲の３６０度の全方向うちのどの方向を向いた場合にも、それに対応する仮想空間（仮想３次元空間）での画像（ユーザの視点に対応する仮想カメラから見える画像）を、ＨＭＤ２００の表示部２２０に表示することが可能になる。なお、発光素子２３１〜２３６として、可視光ではなく赤外線のＬＥＤを用いてもよい。また、例えばデプスカメラ等を用いるなどの他の手法で、ユーザの頭部の位置や動き等を検出するようにしてもよい。

またＨＭＤ２００には、ヘッドバンド２６０や不図示のヘッドホン端子が設けられている。ヘッドホン端子にヘッドホン２７０（音出力部１９２）を接続することで、例えば３次元音響の処理が施されたゲーム音を、ユーザＰＬは聴くことが可能になる。

また図２（Ａ）に示すようにユーザＰＬはゲームコントローラ１６６、１６７を所持している。ゲームコントローラ１６６、１６７は図１の操作部１６０に相当する。ゲームコントローラ１６６、１６７には発光素子２３７、２３８が設けられている。この発光素子２３７、２３８からの光を撮像部１５０で撮像することで、ＨＭＤ２００の場合と同様の手法で、ゲームコントローラ１６６、１６７の位置等が検出される。これによりユーザＰＬは種々の操作情報を入力することが可能になる。なお、ユーザの頭部の頷き動作や首振り動作をトラッキング処理により検出することで、ユーザの操作情報を入力できるようにしてもよい。

図３（Ａ）に本実施形態のシミュレーションシステムに用いられるＨＭＤ２００の他の例を示す。図３（Ａ）に示すようにＨＭＤ２００には複数の受光素子２０１、２０２、２０３（フォトダイオード）が設けられている。受光素子２０１、２０２はＨＭＤ２００の前面側に設けられ、受光素子２０３はＨＭＤ２００の右側面に設けられている。またＨＭＤの左側面、上面等にも不図示の受光素子が設けられている。またＨＭＤ２００にはヘッドバンド２６０が設けられ、ユーザＰＬはヘッドホン２７０を装着している。

図３（Ｂ）に示すように、ユーザＰＬの周辺には、ベースステーション２８０、２８４が設置されている。ベースステーション２８０には発光素子２８１、２８２が設けられ、ベースステーション２８４には発光素子２８５、２８６が設けられている。発光素子２８１、２８２、２８５、２８６は、例えばレーザー（赤外線レーザー等）を出射するＬＥＤにより実現される。ベースステーション２８０、２８４は、これら発光素子２８１、２８２、２８５、２８６を用いて、例えばレーザーを放射状に出射する。そして図３（Ａ）のＨＭＤ２００に設けられた受光素子２０１〜２０３等が、ベースステーション２８０、２８４からのレーザーを受光することで、ＨＭＤ２００のトラッキングが実現され、ユーザＰＬの頭の位置や向く方向（視点位置、視線方向）を検出できるようになる。

また図３（Ａ）に示すようにユーザＰＬが所持するゲームコントローラ１６６、１６７には、受光素子２０４〜２０６、２０７〜２０９が設けられている。そしてベースステーション２８０、２８４の発光素子２８１、２８２、２８５、２８６からのレーザーを、受光素子２０４〜２０６、２０７〜２０９により受光することで、ＨＭＤ２００の場合と同様の手法で、ゲームコントローラ１６６、１６７の位置等が検出される。これによりユーザＰＬは種々の操作情報を入力することが可能になる。

なお、ユーザの視点位置、視線方向（ユーザの位置、方向）を検出するトラッキング処理の手法は、図２（Ａ）〜図３（Ｂ）で説明した手法には限定されない。例えばＨＭＤ２００に設けられたモーションセンサ等を用いて、ＨＭＤ２００の単体でトラッキング処理を実現してもよい。即ち、図２（Ｂ）の撮像部１５０や図３（Ｂ）のベースステーション２８０、２８４などの外部装置を設けることなく、トラッキング処理を実現する。或いは、公知のアイトラッキング、フェイストラッキング又はヘッドトラッキングなどの種々の視点トラッキング手法により、ユーザの視点位置、視線方向などの視点情報を検出してもよい。例えばアイトラッキングでは、ユーザの左目、右目の瞳の位置や形状等を認識する。そして、左目の位置、右目の位置、左目の視線方向、右目の視線方向等を特定し、ユーザの視点情報を取得することで、トラッキング処理を実現する。このアイトラッキングは、例えば撮像部によりユーザの左目、右目を撮影し、その撮像画像に対して瞳等の画像認識処理を行うことなどで実現できる。また、フェイストラッキングでは、撮像部でユーザの顔を撮像し、顔の画像認識処理を行う。そして、画像認識処理の結果に基づいて、ユーザの顔の位置や向く方向を特定して、ユーザの視点位置、視線方向を求めて、トラッキング処理を実現する。

３．本実施形態の手法
次に本実施形態の手法について具体的に説明する。

３．１ ゲームの説明
まず本実施形態の手法により実現されるゲームの概要について説明する。このゲームは、ユーザが、ゲームに登場する異性のキャラクタとコミュニケーションをしながら、勉強を教えたり、様々なアドバイスをしたり、質問に答えたり、各種イベントをクリアして、ユーザに対するキャラクタの好感度等を高めたりする、コミュニケーションゲーム（人間関係シミュレーションゲーム）である。なお、以下では本実施形態の手法が適用されるゲームが、異性キャラクタ等とのコミュニケーションゲームである場合を主に例にとり説明する。しかしながら、本実施形態の手法が適用されるゲームはこれには限定されず、戦闘ゲーム、ＲＰＧゲーム、スポーツゲーム、アクションゲーム等の種々のゲームに適用可能である。

図４〜図６に、本実施形態のシミュレーションシステム（ゲームシステム）により生成されるゲーム画像の例を示す。本実施形態により実現されるゲームでは、ユーザ（プレーヤ）は、キャラクタＣＨの家庭教師としてその家を訪れ、勉強等を教える。ゲームには、複数のストーリーが用意され、各ストーリーごとに、異なるタイプのキャラクタＣＨが登場する。ユーザは、各ストーリーでの目的を達成しながら、キャラクタＣＨとの親密なコミュニケーションを楽しむ。

ゲームをプレイするユーザはＨＭＤ２００を装着する。そしてユーザが、周囲の３６０度の全方向の各方向に視線を向けると、各方向で見えるべき画像がＨＭＤ２００の表示部２２０に表示される。例えば図４において、ユーザがキャラクタＣＨの方に視線を向ければ、勉強をしているキャラクタＣＨの画像が表示部２２０に表示される。一方、ユーザが頭部を回して、ユーザの背面側に視線を向ければ、キャラクタＣＨの背面側に位置する部屋の家具等の画像が表示部２２０に表示される。従って、ユーザは、あたかもゲームの世界に自分が入ってしまったかのような仮想現実感を味わうことが可能になる。即ち、実際に部屋に入って、眼の前の異性に勉強を教えているかのような仮想現実感をユーザに与えることができ、ゲームへのユーザの没入感を高めることができる。

図４のゲーム画像では、キャラクタＣＨ（広義には移動体）、キャラクタＣＨが所持する本（広義にはアイテム）、カーテンＣＴ（広義には固定物）、壁ＷＬ（広義には背景）などのオブジェクトが表示されている。また情報表示物ＤＳＡ、ＤＳＢが表示されている。

情報表示物ＤＳＡは説明表示のための表示物である。例えば情報表示物ＤＳＡにより、キャラクタＣＨが本を読んでいることが説明されている。情報表示物ＤＳＢはステータス表示のための表示物である。後述の図７で説明するように情報表示物ＤＳＢにより、キャラクタＣＨの種々のステータス情報が表示されている。

図４においてユーザがキャラクタＣＨの方に近づき、視線を向けるなどすると、図５に示すゲーム画像が表示される。図５では情報表示物ＤＳＣ、ＤＳＤ１、ＤＳＤ２が更に表示されている。情報表示物ＤＳＣは会話表示のための表示物である。例えば情報表示物ＤＳＣには、キャラクタＣＨの会話である「何かご用ですか？」が表示されている。情報表示物ＤＳＤ１、ＤＳＤ２はコマンド選択（コマンド入力）のための表示物である。例えばキャラクタＣＨからの会話に対する返事（ＹＥＳ、ＮＯ）についてのコマンドが表示されている。

図５において「ＹＥＳ」のコマンドをユーザが選択すると、図６に示すようなゲーム画像が表示される。図６では情報表示物ＤＳＥ１、ＤＳＥ２、ＤＳＥ３が表示されている。情報表示物ＤＳＥ１、ＤＳＥ２、ＤＳＥ３はコマンド選択のための表示物（アイコン）である。例えば情報表示物ＤＳＥ１、ＤＳＥ２、ＤＳＥ３にはコマンドＣＭ１、ＣＭ２、ＣＭ３が対応づけられている。例えばユーザが情報表示物ＤＳＥ１を選択すると、「もっと集中」というコマンドＣＭ１の効果が発動する。情報表示物ＤＳＥ２を選択すると、「叱る」というコマンドＣＭ２の効果が発動する。情報表示物ＤＳＥ３を選択すると、「声をかける」というコマンドＣＭ３の効果が発動する。

なお、コマンドに対応する情報表示物（ＤＳＥ１、ＤＳＥ２、ＤＳＥ３、ＤＳＤ１、ＤＳＤ１）の選択は、図１の操作部１６０を用いて行う。例えばユーザは、操作部１６０を用いて、ユーザが所望するコマンドに対応する情報表示物（アイコン）を選択し、選択した情報表示物に対応するコマンドの効果を発動させるというコマンド操作を行う。図２（Ａ）、図３（Ａ）を例にとれば、ユーザは、両手に所持したゲームコントローラ１６６、１６７を動かすことで、このようなコマンド操作を行う。或いは、有線で接続されたゲームコントローラ（不図示）を用いて、コマンド操作を行ってもよい。或いは、ＨＭＤ２００を頭部に装着したユーザが、コマンドに対応する情報表示物の方に視線方向を向けたり、首を縦や横に振るなどの動作を行うことで、コマンド操作を行うようにしてもよい。

図６では、ユーザは、「声をかける」というコマンドＣＭ３に対応する情報表示物ＤＳＥ３を選択している。これにより、「声をかける」というコマンドＣＭ３の効果が発動される。例えば、コマンドＣＭ３には、「声をかける」に対応する言葉（例えば「おーい！」、「頑張ってるか？」、「勉強してるか？」）の音声データが対応づけられている。そして、コマンドＣＭ３が発動すると、当該音声データの再生が行われ、その言葉（文）の音声が図１の音出力部１９２から出力される。

また、コマンドが発動（コマンドの効果の発動）されると、キャラクタＣＨのゲームパラメータにも影響を与える。例えば、「声をかける」というコマンドＣＭ３が発動されると、それに対応するキャラクタＣＨのゲームパラメータも変化する。

例えば図４〜図６では、キャラクタＣＨの各種状態であるゲームパラメータのステータスをユーザに伝えるための情報表示物ＤＳＢが表示されている。この情報表示物ＤＳＢにより、例えば図７に示すように、キャラクタＣＨの現在の心理状態、モチベーション、集中力、脈拍等の状態がユーザに伝えられる。これらの心理状態、モチベーション、集中力、脈拍は、キャラクタＣＨのゲームパラメータとして用意されている。

キャラクタＣＨの心理状態は、例えば色などを用いて表現される。例えば本実施形態のゲームでは、レッスンの課題が出され、例えば所定時間が経過することでレッスンが終了する。そして、例えばレッスン終了時の課題の達成量に応じて、ユーザのゲーム成績が決定される。例えばユーザのゲーム成績が高い場合には、例えば効果が高かったり、レア度の高いコマンド（アクション）のカードがユーザに付与される。

レッスンで出される各課題には、例えば赤、緑、青の属性が付与され、キャラクタＣＨの心理状態も、赤、緑、青の成分を有している。例えばキャラクタＣＨの心理状態が赤の成分が多い場合には、赤の属性の課題はすぐに消化できるが、緑、青の属性の課題は消化が遅い。同様に、キャラクタＣＨの心理状態が緑の成分が多い場合には、緑の属性の課題はすぐに消化できるが、赤、青の属性の課題は消化が遅い。従ってユーザは、情報表示物ＤＳＢに表示されるキャラクタＣＨの心理状態を見て、心理状態に合った属性の課題を消化させることで、達成される課題量が多くなり、レッスンを適正に完了できるようになる。

また図７に示すように、キャラクタＣＨにはモチベーション、集中力のゲームパラメータが設定されている。これらのモチベーション、集中力のゲームパラメータの値は、例えば０〜１００（％）の間で変化し、その値が大きいほど、モチベーション、集中力が高くなる。モチベーションの値が高くなると、課題の消化速度が速くなる。一方、集中力の値は、時間経過に応じて下がって行くが、キャラクタＣＨの心理状態に応じて、その下がり度合いが大きくなったり、下がりにくくなったりする。また、集中力の値が所定値よりも低くなり、集中力が切れた状態になると、レッスンの休憩が必要になる。

また図７の情報表示物ＤＳＢの脈拍は、例えばキャラクタＣＨのユーザに対するドキドキ度や好感度を表すゲームパラメータとして機能する。例えばドキドキ度が高くなると、脈拍も高くなり、モチベーションが上がったり、集中力が下がりにくくなったり、課題の消化速度が速くなる。

３．２ 表示態様の変更処理
図４〜図６に示すように本実施形態により実現されるゲームでは、種々の情報表示物が表示される。ＨＭＤを用いずに、表示部に疑似３次元画像を表示する従来の画像生成システムでは、このような情報表示物として、投影スクリーンに２次元的に表示される２次元表示物（スプライト等）が用いられていた。

しかしながら、ＨＭＤを用いたＶＲ（バーチャルリアリティ）のシステムにおいて、説明表示、ステータス表示、コマンド選択、メニュー表示等の情報表示物として、２次元表示物を用いてしまうと、ユーザの仮想現実感を損ねたり、画面が見にくくなってしまうなどの問題を招く。例えば図４のキャラクタＣＨ、本ＢＫ、カーテンＣＴ、壁ＷＬなどの３次元のオブジェクトが立体的に表示されるＶＲ空間において、情報表示物だけが投影スクリーン上に２次元的に表示されてしまうと、仮想現実感を損ねてしまう。また多数の２次元の情報表示物が表示されてしまうと、これらの情報表示物が２次元的に重なったり、情報表示物によりオブジェクトが隠れて見えなくなり、非常に見にくい画面になってしまう。

そこで本実施形態では、ユーザの視線方向（ユーザの視界範囲、正面方向）に少なくとも１つの情報表示物を配置する。例えば情報表示物を、仮想空間の他のオブジェクトと同様に、３次元座標値を有するオブジェクトにより構成して、仮想空間に配置する。具体的には、ユーザの視点変化（視線方向及び視点位置の少なくとも一方の変化）に追従するように制御される情報表示物を、仮想空間に配置する。更に具体的には、ユーザの視線方向での所与の奥行き位置に、ユーザの視点変化に追従するように情報表示物を配置する。

図８（Ａ）〜図８（Ｄ）は、このような情報表示物の表示手法についての説明図である。例えば図８（Ａ）において、ＶＰは、ＨＭＤを装着しているユーザＰＬの視点であり、ＶＬは、ユーザＰＬの視線方向である。これらの視点ＶＰ、視線方向ＶＬは、ユーザＰＬに対応する仮想カメラの視点、視線方向に相当する。

そして図８（Ａ）では、ユーザＰＬの視線方向ＶＬにおける奥行き値Ｚ１、Ｚ２の位置に、各々、情報表示物ＤＳ１、ＤＳ２が配置されている。奥行き値Ｚ１、Ｚ２は、例えば視点座標系（カメラ座標系）におけるＺ座標軸の座標値である。情報表示物ＤＳ１、ＤＳ２は、例えばビルボードポリゴンにより実現される。即ち、ビルボードポリゴンに対して、図４〜図６で説明したような説明表示、ステータス表示、会話表示、コマンド選択表示、メニュー表示のための文字、アイコン又は図形等の画像をマッピングすることで、情報表示物ＤＳ１、ＤＳ２が実現されている。ビルボードポリゴン（ビルボードプリミティブ面）は、ユーザＰＬの視点ＶＰ（仮想カメラ）に正対（略正対）するように配置されるポリゴン（プリミティブ面）である。例えば情報表示物ＤＳ１、ＤＳ２のビルボードポリゴンは、視線方向ＶＬ（視線方向ベクトル）に直交（略直交）するように配置される。例えばビルボードポリゴンの面の法線方向が、視線方向ＶＬに平行となるように配置される。なおビルボードポリゴンの配置方向は、このような方向には限定されず、種々の配置方向に設定可能である。また情報表示物をビルボードポリゴンとは異なる形式の表示物で実現してもよい。例えば複数のプリミティブ面（ポリゴン等）で構成される３次元形状のオブジェクトにより情報表示物を実現してもよい。

そして本実施形態では情報表示物ＤＳ１、ＤＳ２は、ユーザＰＬの視線方向ＶＬの変化に追従するように制御される。例えば図８（Ｂ）では、ユーザＰＬの視線方向ＶＬが右側方向に変化している。例えばＨＭＤを装着しているユーザＰＬが右側方向を向いており、これにより仮想空間での仮想カメラの視線方向も右側方向に変化する。この場合に図８（Ｂ）に示すように、この視線方向ＶＬの変化に追従するように、情報表示物ＤＳ１、ＤＳ２の位置や方向が変化する。例えば図８（Ｂ）においても、ユーザＰＬの視点ＶＰに正対するように情報表示物ＤＳ１、ＤＳ２を構成するビルボードポリゴンが配置される。

また図８（Ｃ）では、ユーザＰＬの視線方向ＶＬが左側方向に変化している。例えばＨＭＤを装着しているユーザＰＬが左側方向を向いており、これにより仮想空間での仮想カメラの視線方向も左側方向に変化する。この場合にも図８（Ｃ）に示すように、この視線方向ＶＬの変化に追従するように、情報表示物ＤＳ１、ＤＳ２の位置や方向が変化する。例えば図８（Ｃ）においても、ユーザＰＬの視点ＶＰに正対するように情報表示物ＤＳ１、ＤＳ２を構成するビルボードポリゴンが配置される。

また図８（Ｄ）ではユーザＰＬの視線方向が上側方向に変化している。この場合にも図８（Ｄ）に示すように、この視線方向ＶＬの変化に追従するように、情報表示物ＤＳ１、ＤＳ２の位置や方向が変化する。同様に、ユーザＰＬの視線方向が下側方向に変化した場合にも、その変化に追従するように情報表示物ＤＳ１、ＤＳ２の位置や方向が変化する。

このように図８（Ａ）〜図８（Ｄ）の表示手法では、情報表示物が、仮想空間の他のオブジェクトと同様に、仮想空間に３次元的に配置される。従って、情報表示物の表示が原因でユーザの仮想現実感を損ねてしまう問題を解消できる。即ち、２次元の情報表示物が平面的に表示される従来の手法では、情報表示物の存在が原因で仮想現実感を損ねてしまう問題が生じるが、情報表示物を仮想空間に３次元的に配置する本実施形態の手法によれば、このような問題の発生を防止できる。また、このように情報表示物を３次元的に配置すれば、複数の情報表示物を表示する場合にも、ユーザにとって見やすい適切な表示にすることが可能になる。例えば図８（Ａ）〜図８（Ｄ）に示すように、複数の情報表示物（ＤＳ１、ＤＳ２）を、奥行き値（Ｚ１、Ｚ２）を異ならせて配置することなども可能になり、ユーザにとって見やすい適切な情報表示物の表示が可能になる。また図８（Ａ）〜図８（Ｄ）の表示手法によれば、ユーザの正面側に情報表示物が常に表示されるようになる。従って、ユーザの視線方向が種々の方向に向いた場合にも、ユーザの正面側に情報表示物が表示されて、ユーザにとって必要な種々の情報を、情報表示物を用いて適切に提示できるようになる。

なお情報表示物の表示手法は図８（Ａ）〜図８（Ｄ）に示す手法には限定されず、種々の変形実施が可能である。例えば情報表示物は、少なくともユーザの視線方向に配置されていればよく、視点変化に追従しなくてもよい。例えば、特定の情報表示物については、ユーザの視点変化に追従しないようにしてもよい。例えば特定のオブジェクト（例えばユーザのプレイ対象となるキャラクタ）のステータス等を表示する情報表示物については、その特定のオブジェクトの近傍に表示されるように制御してもよい。

また図８（Ａ）〜図８（Ｄ）では、情報表示物がユーザの視線方向の変化に追従する場合を説明したが、情報表示物を、ユーザの視点位置の変化に追従させてもよい。例えばユーザの視点位置（ユーザ位置）が上下左右に移動した場合に、この移動に追従するように情報表示物を上下左右に移動させる。情報表示物は、ユーザの視線方向の変化にのみ追従してもよいし、視点位置の変化にのみ追従してもよいし、視線方向の変化及び視点位置の変化の両方に追従してもよい。但し、以下では、説明の簡素化のために、ユーザの視点変化がユーザの視線方向の変化である場合を主に例にとり説明を行う。

図８（Ａ）〜図８（Ｄ）に示すように本実施形態では、ユーザの視線方向に情報表示物を配置して表示する手法を採用している。このようにすれば、情報表示物が、ユーザの正面方向に常に配置されるようになるため、情報表示物による適切な情報伝達をユーザに対して行うことが可能になる。また情報表示物を２次元的に表示せずに、キャラクタ等の他のオブジェクトと同様に仮想空間に配置することで、ユーザの仮想現実感を損なわないような情報表示物の適切な表示が可能になる。

しかしながら、このようにユーザの視線方向に情報表示物を配置する手法では、ユーザの視線方向が大きく変化した場合（視点位置が大きく変化した場合）に、不適切な表示画像がＨＭＤ２００に表示されてしまうおそれがある。またＨＭＤを用いたシステムでは、ユーザの視界の全周囲に亘ってＶＲ空間が広がる。このため、ユーザが、ＶＲ空間を見回すように視線方向を動かす場合がある。このような場合に、視線方向が正面方向を向いている時の表示態様で情報表示物を表示してしまうと、ユーザにとって不適正な表示になってしまうおそれがある。

そこで本実施形態では、視線方向が大きく変化することなどにより、所与の変更条件が満たされた場合に、情報表示物の表示態様を変更する処理を行う。またユーザが、正面方向のみならず、周辺方向を見回すように視線方向を動かした場合にも、適切な画像がＨＭＤに表示されるように、情報表示物の表示態様を変更する処理を行う。

例えば図９（Ａ）、図９（Ｂ）では、情報表示物ＤＳの表示態様を変更している。即ち、図９（Ａ）に示すように、情報表示物ＤＳはユーザＰＬの視線方向ＶＬに配置されている。具体的には図８（Ａ）〜図８（Ｄ）で説明したように、ユーザＰＬの視線方向ＶＬの変化に追従するように情報表示物ＤＳが配置される。

そして図９（Ｂ）に示すようにユーザＰＬが視線方向ＶＬを変化させたとする。例えばＨＭＤを用いたシステムでは、全周囲に亘ってＶＲ空間が広がるため、ユーザＰＬはＶＲ空間を見回すために、図９（Ｂ）に示すように視線方向ＶＬを大きく変化させる場合がある。この場合に本実施形態では、このような視線方向ＶＬの変化により、後述する変更条件が満たされたか否かを判断する。そして変更条件が満たされたと判断された場合には、図９（Ｂ）に示すように、情報表示物ＤＳの表示を消去したり、情報表示物ＤＳを半透明化する表示態様の変更処理を行う。情報表示物ＤＳの消去処理は、例えば表示リスト（表示オブジェクトリスト）から、情報表示物ＤＳを除外する処理などにより実現できる。情報表示物ＤＳの半透明化処理は、例えば情報表示物ＤＳの半透明度（α値）を透明に近づける処理を行うことで実現できる。或いは情報表示物ＤＳを、例えばフレームモデル等に変更して、説明表示、ステータス表示等の文字やアイコンや図形を消去するようにしてもよい。

図９（Ａ）のようにユーザＰＬが正面方向を見ている場合には、ユーザＰＬの視線方向ＶＬに情報表示物ＤＳを配置することで、情報表示物ＤＳを用いた適正な情報伝達が可能になる。例えば図４〜図６に示すように、説明表示、ステータス表示、会話表示、コマンド選択又はメニュー表示のための様々な情報を、ユーザＰＬに対して適切に伝達できる。

一方、ユーザＰＬが、ＶＲ空間を見回すために視線方向ＶＬを変化させた時に、このような情報表示物ＤＳが表示されてしまうと、情報表示物ＤＳが邪魔になって、周辺方向を適切に見回せなくなってしまう。

この点、本実施形態ではこのように視線方向ＶＬが大きく変化した場合（視点位置が大きく変化した場合）に、図９（Ｂ）に示すように情報表示物ＤＳを消去したり、半透明化する処理を行う。こうすることで、情報表示物ＤＳが視界の邪魔にならなくなり、ユーザＰＬは、ＶＲ空間を適切に見回すことができるようになる。なお、以下では、ユーザＰＬの視線方向ＶＬが上方向に変化した場合を主に例にとり説明するが、視線方向ＶＬが下方向、左方向、右方向などの他の方向に大きく変化した場合にも、情報表示物の表示態様の変更処理を行うことができる。

情報表示物の表示態様の変更処理としては、図９（Ａ）、図９（Ｂ）に示すような情報表示物の消去処理や半透明化処理以外にも、ユーザの視線方向への情報表示物の追従の解除処理、情報表示物の移動処理、情報表示物のサイズ変更処理、情報表示物の色情報変更処理などがある。

例えば１０（Ａ）、図１０（Ｂ）では、表示態様の変更処理として、ユーザＰＬの視線方向ＶＬへの情報表示物ＤＳの追従の解除処理を行っている。例えば本実施形態では図８（Ａ）〜図８（Ｄ）で説明したように、情報表示物ＤＳは、ユーザＰＬの視線方向ＶＬの変化に追従するように制御される。

これに対して、図１０（Ａ）、図１０（Ｂ）では、視線方向ＶＬの変化により変更条件が満たされた場合に、この追従の制御を解除する。これにより図１０（Ｂ）に示すようにユーザＰＬの視線方向ＶＬが変化した場合にも、情報表示物ＤＳの位置は変化しないようになる。従って、視線方向ＶＬを上方向に向けているユーザＰＬの視界に、情報表示物ＤＳが殆ど入らなくなり、情報表示物ＤＳが視界の邪魔になってしまう事態を防止できる。

また図１１（Ａ）、図１１（Ｂ）では、表示態様の変更処理として、情報表示物ＤＳの移動処理を行っている。即ち、視線方向ＶＬの変化（広義には視点変化。以下、同様）により変更条件が満たされた場合に、上方向を向いているユーザＰＬの視界において、図１１（Ｂ）に示すように、視界の中央部から周辺部の方へと情報表示物ＤＳを移動している。例えばユーザＰＬの視線方向ＶＬは上方向に変化しているため、情報表示物ＤＳを、これとは逆の下方向（斜め下方向）に移動する。このようにすることで、ユーザＰＬの視界の周辺部に情報表示物ＤＳが移動するようになるため、情報表示物ＤＳが視界の妨げになってしまう事態を防止できる。

また図１２（Ａ）、図１２（Ｂ）では、表示態様の変更処理として、情報表示物ＤＳのサイズ変更処理を行っている。具体的には、視線方向ＶＬの変化により変更条件が満たされた場合に、図１２（Ｂ）に示すように情報表示物ＤＳのサイズを小さくする。このように情報表示物ＤＳのサイズを小さくすれば、上方向を向いているユーザＰＬの視界において、情報表示物ＤＳによって視界が遮られる領域の面積を小さくできる。従って、情報表示物ＤＳが視界の妨げになってしまう事態を効果的に抑制できる。

なお図９（Ａ）〜図１２（Ｂ）に示すような表示態様の変更処理を行う場合に、視線方向の変化に対して時間的に遅らせて情報表示物を追従させる制御を行ってもよい。例えばレースゲームにおけるラバーバンド制御のような制御を行う。そして、このように時間的に遅らせて情報表示物を追従させた後（或いは追従させながら）、図９（Ａ）〜図１２（Ｂ）に示すような最終的な表示態様の変更処理を行う。例えば、視線方向の変化に時間的に遅らせて情報表示物を追従させた後、図９（Ｂ）のような情報表示物の消去処理や半透明化処理を行ったり、図１０（Ｂ）のような追従の完全な解除処理を行う。

また本実施形態では情報表示物の種類、優先度又は重要度に応じた表示態様の変更処理を行う。例えば情報表示物が第１の種類（例えば重要度又は優先度が高い種類の表示物）である場合には、視線方向が大きく変化して変更条件が満たされた場合にも、当該情報表示物の表示態様を変更しない。このようにすれば、例えば重要度や優先度が高い情報を伝達する情報表示物については、視線方向が変化した場合にも、ユーザの視線方向の方に配置されて、ユーザに対して適正に情報を伝達できるようになる。一方、情報表示物ＤＳ２が第２の種類（例えば重要度又は優先度が低い種類の表示物）である場合には、変更条件が満たされた場合に、当該情報表示物の表示態様を変更する。このようにすれば、当該情報表示物がユーザの視界の妨げになってしまう事態を防止できる。

例えば図１３（Ａ）のテーブルデータでは、情報表示物ＤＳＦ１、ＤＳＦ２、ＤＳＦ３に対して、その種類ＴＰＡ、ＴＰＢ、ＴＰＡが関連づけられている。このテーブルデータは図１の記憶部１７０に記憶される。そして種類ＴＰＡは、例えば優先度や重要度が低い種類であるため、視線方向が大きく変化して変更条件が満たされた場合に、情報表示物の表示態様が変更される。例えば情報表示物を消去したり半透明化する処理が行われる。一方、種類ＴＰＢは、例えば優先度や重要度が高い種類であるため、視線方向が大きく変化して変更条件が満たされた場合にも、情報表示物の表示態様は変更されない。例えば情報表示物の消去処理や半透明化処理は行われないようになる。

図１３（Ｂ）のテーブルデータでは、情報表示物ＤＳＧ１、ＤＳＧ２、ＤＳＧ３に対して、その優先度（重要度）ＰＲＡ、ＰＲＢ、ＰＲＣが関連づけられている。このテーブルデータは図１の記憶部１７０に記憶される。そして視線方向の変化により変更条件が満たされた場合に、ＤＳＧ１、ＤＳＧ２、ＤＳＧ３の各情報表示物に関連づけられた優先度（重要度）ＰＲＡ、ＰＲＢ、ＰＲＣを用いて、表示態様の変更処理を行う。例えば高い優先度（重要度）が関連づけられた情報表示物については、変更条件が満たされた場合にも、表示態様の変更処理は行わないようにする。一方、低い優先度（重要度）が関連づけられた情報表示物については、変更条件が満たされた場合に、表示態様の変更処理を行う。また複数の情報表示物を表示する場合に、表示態様の変更処理の対象となる情報表示物の選択を、優先度（重要度）に基づいて行う。例えば第１の情報表示物と第２の情報表示物の優先度（重要度）の比較処理を行い、第１の情報表示物の方が第２の情報表示物よりも、情報表示の優先度（重要度）が高いと判断されたとする。この場合には、変更条件が満たされた場合に、第１の情報表示物については表示態様の変更処理を行わずに、第２の情報表示物に対して表示態様の変更処理を行うようにする。

このように本実施形態では、情報表示物の種類、優先度又は重要度に応じた適切な表示態様の変更処理を実現できるようになる。例えば特定の種類の情報表示物については、視線方向が大きく変化して変更条件が満たされた場合にも、表示態様は変更されないようになる。また情報表示物により提示される情報の優先度や重要度が高い場合には、変更条件が満たされた場合にも、表示態様は変更されないようになる。逆に、情報表示物により提示される情報の優先度や重要度が低い場合には、当該情報表示物の表示態様の変更処理が優先的に行われるようになる。

また本実施形態では、図１３（Ｂ）に示すように情報表示物に関連づけられた優先度又は重要度を用いて、表示態様の変更処理を行っている。このようにすれば、情報表示物に対して予め優先度又は重要度を関連づけておき、この優先度又は重要度を用いて適切な表示態様の変更処理を実行できるようになる。

例えば図４〜図６において、コマンド選択のための情報表示物（ＤＳＤ１、ＤＳＤ２、ＤＳＥ１〜ＤＳＥ３）は、優先度又は重要度が高い情報表示物である。例えばユーザの視線方向が変化することで、変更が条件が満たされた場合に、コマンド選択のための情報表示物が消去又は半透明化されてしまうと、ユーザがコマンドを選択（入力）できなくなってしまい、ゲーム進行が停止してしまう。従って、このようなコマンド選択のための情報表示物に対しては、高い優先度又は重要度を関連づけておき、変更条件が満たされた場合に、情報表示物の消去処理や半透明化処理は行わないようにする。

一方、説明表示のための情報表示物（ＤＳＡ）は、優先度又は重要度がそれほど高くない情報表示物であり、例えばユーザの視線方向が変化することで、変更が条件が満たされた場合に、説明表示のための情報表示物が消去又は半透明化されても、ゲーム進行にはそれほど支障を来さない。従って、このような説明表示のための情報表示物に対しては、低い優先度又は重要度を関連づけておき、変更条件が満たされた場合には、情報表示物の消去処理や半透明化処理を行うようにする。このようにすることで、情報表示物の優先度又は重要度を反映した適切な表示処理を実現できるようになる。

また、例えばコマンド選択のための情報表示物と説明表示のための情報表示物の両方が表示されている場合には、表示態様の変更処理の対象となる情報表示物を、優先度又は重要度に基づいて選択すればよい。即ち、変更条件が満たされた場合に、説明表示のための情報表示物を方を優先的に選択して、その表示態様を変更する。

また本実施形態では、情報表示物が表示されてからの経過時間に応じた表示態様の変更処理を行ってもよい。

例えば図１４において、情報表示物ＤＳＨ１、ＤＳＨ２は、表示されてから、長い経過時間ＴＥ１、ＴＥ２が経過したタイミングで、表示態様変更処理の対象となっている。一方、情報表示物ＤＳＨ３は、表示されてから、短い経過時間ＴＥ３が経過したタイミングで、表示態様変更処理の対象となっている。この場合に、表示されてからの経過時間ＴＥ１、ＴＥ２が長い情報表示物ＤＳＨ１、ＤＳＨ２に対しては、消去、半透明化等の表示態様の変更処理を行う。一方、表示されてからの経過時間ＴＥ３が短い情報表示物ＤＳＨ３に対しては、消去、半透明化等の表示態様の変更処理を行わないようにする。

例えば、表示されてからの経過時間ＴＥ１、ＴＥ２が長い情報表示物ＤＳＨ１、ＤＳＨ２については、この長い経過時間ＴＥ１、ＴＥ２の間に、ユーザがこれらの情報表示物ＤＳＨ１、ＤＳＨ２を見ている可能性が高く、情報表示物ＤＳＨ１、ＤＳＨ２による情報伝達は十分に行われていると考えられる。従って、このような情報表示物ＤＳＨ１、ＤＳＨ２については、変更条件が満たされた場合に、消去又は半透明化等の表示態様の変更処理を行う。

一方、表示されてからの経過時間ＴＥ３が短い情報表示物ＤＳＨ３については、短い経過時間ＴＥ３の間に、ユーザが情報表示物ＤＳＨ３を十分に見ている可能性が低く、情報表示物ＤＳＨ３による情報伝達は不十分であると考えられる。従って、このような情報表示物ＤＳＨ３については、変更条件が満たされた場合にも、消去又は半透明化等の表示態様の変更処理を行わないようにする。

即ち、多数の情報表示物が表示されている状況で、ユーザの視線方向が大きく変化して変更条件が満たされた場合に、全ての情報表示物を消去又は半透明化してしまうと、情報表示物による情報伝達が不十分になってしまう問題が生じてしまう。この点、図１４の手法によれば、表示されてからの経過時間を判断材料にして、表示態様の変更処理を行うか否かを決定しているため、このような問題の発生を効果的に防止できる。

３．３ 変更条件の判定
次に変更条件の判定の具体例について説明する。本実施形態では図１の判定部１１５が、変更条件が満たされたか否かを判定する。そして判定部１１５により変更条件が満たされたと判定された場合に、情報表示物の表示態様の変更処理が行われる。具体的には判定部１１５は、ユーザの視点変化情報に基づいて、所与の変更条件が満たされたか否かを判定する。視点変化情報は、例えば視線変化情報又は視点位置変化情報である。具体的には判定部１１５は、ユーザの視線方向の変化角度が所与の角度以上になった場合、視線方向の変化速度が所与の速度以上になった場合、又は視線方向の変化加速度が所与の加速度以上になった場合に、所与の変更条件が満たされたと判定する。

例えば図１５（Ａ）では、ユーザＰＬの視線方向ＶＬが例えば上方向に変化している。そして視線方向ＶＬの変化角度Δθが、しきい値である角度θｔｈ以上（所与の角度以上）になっている。この場合には変更条件が満たされたと判定して、情報表示物の表示態様の変更処理を行う。

また図１５（Ｂ）では、ユーザＰＬの視線方向の変化速度ωが、しきい値である速度ωｔｈ以上（所与の速度以上）になっている。或いは、ユーザＰＬの視線方向の変化加速度αが、しきい値である加速度αｔｈ以上（所与の加速度以上）になっている。この場合には変更条件が満たされたと判定して、情報表示物の表示態様の変更処理を行う。なお変化速度ω、変化加速度αは、各々、角速度、角加速度に対応するものである。

図１５（Ａ）、図１５（Ｂ）の手法によれば、ユーザＰＬの視線方向ＶＬの変化が大きかったり、急峻な変化であった場合に、変更条件が満たされたと判断して、情報表示物の表示態様の変更処理が行われるようになり、情報表示物の適正な表示処理が可能になる。

また本実施形態では、図１６に示すように、ユーザの視線方向の変化角度Δθ、変化速度ω又は変化加速度α（広義には視点変化情報）などに応じて、表示態様の変更処理の内容を異ならせてもよい。

例えば情報表示物の消去処理において、情報表示物が消去されるまでの時間を、変化角度Δθ、変化速度ω又は変化加速度αなどに応じて異ならせる。例えば変化角度Δθ、変化速度ω又は変化加速度αが大きい場合には、情報表示物が消去されるまでの時間を短くして、情報表示物が直ぐに消去されるようにする。一方、変化角度Δθ、変化速度ω又は変化加速度αが小さい場合には、情報表示物が消去されるまでの時間を長くする。

また情報表示物の半透明化処理において、半透明度の変化速度（変化率）を、変化角度Δθ、変化速度ω又は変化加速度αなどに応じて異ならせる。例えば変化角度Δθ、変化速度ω又は変化加速度αが大きい場合には、半透明度の変化速度を速くして、情報表示物が直ぐに透明に近づくようにする。一方、変化角度Δθ、変化速度ω又は変化加速度αが小さい場合には、半透明度の変化速度を遅くして、情報表示物が徐々に透明に近づくようにする。

このようにすれば、視線方向の変化角度、変化速度又は変化加速度に応じて、表示態様の変更処理の内容が変化するようになり、変化角度、変化速度又は変化加速度を反映させた表示態様の変更処理を実現できる。

なお、図１１（Ａ）、図１１（Ｂ）の移動処理による表示態様の変更処理では、例えば情報表示物の移動速度を、変化角度Δθ、変化速度ω又は変化加速度αなどに応じて異ならせればよい。また図１２（Ａ）、図１２（Ｂ）のサイズ変化処理による表示態様の変更処理では、例えば情報表示物のサイズの変化速度を、変化角度Δθ、変化速度ω又は変化加速度αなどに応じて異ならせればよい。

また、ここでの変化角度Δθ、変化速度ω、変化加速度αの大小は、例えばしきい値であるθｔｈ、ωｔｈ、αｔｈとの差分の大小とすることができる。この差分の大小は、例えばΔθ−θｔｈ、ω−ωｔｈ、α−αｔｈの大小である。例えば情報表示物の消去処理や半透明化処理などの表示態様の変更処理が行われるのには、Δθ−θｔｈ、ω−ωｔｈ、α−αｔｈが０以上であることが前提条件になる。

図１７（Ａ）、図１７（Ｂ）は、図１５（Ａ）、図１５（Ｂ）とは異なる変更条件の判定手法の説明図である。この判定手法では、図１７（Ａ）に示すように、情報表示物ＤＳに対して判定範囲ＲＧ（ヒット範囲、ヒットボックス）を設定する。具体的には、ユーザの視点から見て情報表示物ＤＳを内包するように判定範囲ＲＧを設定する。そして図１７（Ｂ）に示すように、ユーザＰＬの視線方向ＶＬの注視位置ＧＰが、判定範囲ＲＧ（視線方向の受け付け範囲）を越えた場合に、変更条件が満たされたと判定する。

具体的には、視線方向ＶＬに沿った直線（ＶＰとＧＰを結ぶ直線）と判定範囲ＲＧとの交差判定を行う。この交差判定は、公知のコリジョン処理（ヒット判定）により実現できる。そして、視線方向ＶＬに沿った直線が判定範囲ＲＧと交差した場合には、情報表示物ＤＳの表示態様の変更処理は行わない。一方、図１７（Ｂ）に示すように、視線方向ＶＬに沿った直線が判定範囲ＲＧと交差しない場合には、情報表示物ＤＳの表示態様の変更処理を行う。即ち、当該直線の端部である注視位置ＧＰが判定範囲ＲＧを越えた位置にある場合（判定範囲ＲＧの外側に位置する場合）には、情報表示物ＤＳの表示態様の変更処理を行う。

このようにすれば、情報表示物ＤＳの方を基準にして、情報表示物ＤＳに対する視線方向ＶＬの相対的な変化を検出して、表示態様の変更処理のための変更条件を判定できるようになる。

また、情報表示物に対してこのような判定範囲を設定する場合には、情報表示物毎に判定範囲を異ならせてもよい。例えば図１８では、情報表示物ＤＳ１（第１の情報表示物）に対しては、判定範囲ＲＧ１（第１の判定範囲）が設定されている。情報表示物ＤＳ２（第２の情報表示物）に対しては、判定範囲ＲＧ１とは大きさが異なる判定範囲ＲＧ２（第２の判定範囲）が設定されている。情報表示物ＤＳ３（第３の情報表示物）に対しては、判定範囲ＲＧ１、ＲＧ２とは大きさが異なる判定範囲ＲＧ３（第３の判定範囲）が設定されている。

このようにすれば、情報表示物に応じて異なる判定範囲を設定して、異なる判定基準で変更条件を判定できるようになる。例えば図１８では、ユーザの視点から見て中央部に位置する情報表示物ＤＳ１に対しては、例えば小さな範囲の判定範囲ＲＧ１が設定されている。従って、図１７（Ｂ）から明らかなように、視線方向ＶＬの小さな変化（判定範囲に対する相対的な変化）でも、情報表示物ＤＳ１の表示態様の変更処理が行われるようになる。一方、ユーザの視点から見て周辺部（周縁部）に位置する情報表示物ＤＳ２、ＤＳ３に対しては、大きな範囲の判定範囲ＲＧ２、ＲＧ３が設定されている。従って、視線方向ＶＬの小さな変化では、情報表示物ＤＳ２、ＤＳ３の表示態様の変更処理は行われず、視線方向ＶＬが大きく変化した場合に、表示態様の変更処理が行われるようになる。なお、図１８とは逆に、中央部に位置する情報表示物ＤＳ１に対して、大きな範囲の判定範囲を設定し、周辺部に位置する情報表示物ＤＳ３、ＤＳ４に対して、小さな範囲の判定範囲を設定してもよい。

また本実施形態では、複数の情報表示物が仮想空間に配置される場合に、ユーザの視点から見て中央部に位置する情報表示物に対して、表示態様の変更処理を行うようにしてもよい。例えば図１９において、情報表示物ＤＳ１は、ユーザの視点から見て中央部（中心部）に位置している。この中央部は、例えばユーザの視線方向の注視位置を中心とした所定の大きさの範囲である。一方、情報表示物ＤＳ２、ＤＳ３、ＤＳ４、ＤＳ５は、ユーザの視点から見て周辺部（周縁部）に位置している。この周辺部は、中央部の周りの領域であり、中央部と周辺部は所定の境界により区分けされている。

そして図１９のように複数の情報表示物ＤＳ１〜ＤＳ５が配置されている場合に、中央部の情報表示物ＤＳ１に対しては、表示態様の変更処理（消去、半透明化等）を行う。一方、周辺部の情報表示物ＤＳ２〜ＤＳ５に対しては、表示態様の変更処理を行わないようにする。例えばユーザが、広大なＶＲ空間を見回すように視線方向を動かしたとする。このような状況の場合に、図１９の中央部に位置する大きなサイズの情報表示物ＤＳ１が通常表示されたままであると、情報表示物ＤＳ１が、ユーザの視界の邪魔になってしまう。

この点、図１９では中央部の情報表示物ＤＳ１に対して優先的に表示態様の変更処理を行っている。このようにすれば、ＶＲ空間を見回しているユーザの視界において、情報表示物ＤＳ１が消去されたり、半透明になるため、情報表示物ＤＳ１がユーザの視界の妨げになってしまう事態を効果的に防止できる。

また本実施形態では、複数の情報表示物が仮想空間に配置される場合に、情報表示物毎に変更条件の内容や表示態様の変更処理の内容を異ならせてもよい。例えば複数の情報表示物の第１の情報表示物と第２の情報表示物とで、変更条件の内容又は表示態様の変更処理の内容を異ならせる。

例えば図２０では、複数の情報表示物ＤＳ１、ＤＳ２、ＤＳ３が配置されている。そして、情報表示物ＤＳ１では、変更条件がＣＤ１に設定され、表示態様の変更処理がＰＲ１に設定されている。同様に情報表示物ＤＳ２、ＤＳ３では、各々、変更条件がＣＤ２、ＣＤ３に設定され、表示態様の変更処理がＰＲ２、ＰＲ３に設定されている。そして変更条件ＣＤ１、ＣＤ２、ＣＤ３は、その内容が互いに異なっている。また表示態様の変更処理ＰＲ１、ＰＲ２、ＰＲ３は、その内容が互いに異なっている。

例えば変更条件ＣＤ１、ＣＤ２、ＣＤ３では、図１５（Ａ）、図１５（Ｂ）の視線方向ＶＬの変化角度Δθ、変化速度ω又は変化加速度αのしきい値であるθｔｈ、ωｔｈ、αｔｈが、互いに異なっている。或いは、変更条件ＣＤ１、ＣＤ２、ＣＤ３では、図１８に示すように、各情報表示物に設定される判定範囲の大きさ等が互いに異なっている。また表示態様の変更処理ＰＲ１、ＰＲ２、ＰＲ３では、例えば消去されるまでの時間、半透明度の変化速度、移動速度、サイズ変化速度等が互いに異なっている。

このようにすれば、複数の情報表示物の種類、優先度、重要度又は役割などに応じた適切な変更条件、変更処理内容を設定して、表示態様の変更処理を実行できるようになる。

また本実施形態では、情報表示物の奥行き値に応じた表示態様の変更処理を行ってもよい。例えば図２１（Ａ）において、ユーザＰＬの視点ＶＰからの情報表示物ＤＳ１、ＤＳ２の奥行き値（Ｚ値）は、各々、Ｚ１、Ｚ２になっている。ここでは、Ｚ１＜Ｚ２となっており、情報表示物ＤＳ１の方が情報表示物ＤＳ２に比べて、ユーザＰＬの視点ＶＰから見て手前側に位置している。

そして図２１（Ｂ）に示すようにユーザＰＬの視線方向ＶＬが大きく変化して、変更条件が満たされたとする。この場合に図２１（Ｂ）では、奥行き値Ｚ１が小さな情報表示物ＤＳ１に対しては、表示態様の変更処理が行われている。一方、奥行き値Ｚ２が大きな情報表示物ＤＳ２については、表示態様の変更処理は行われていない。即ち、奥行き値の大小に応じて、変更条件の成立時における表示態様の変更処理の実行、非実行が選択されている。

例えば、その奥行き値Ｚ１が小さく、手前側に位置する情報表示物ＤＳ１は、ユーザＰＬが視線方向ＶＬを大きく変化させて、ＶＲ空間を見回す際に、ユーザの視界の邪魔になってしまう。一方、その奥行き値Ｚ２が大きく、奥側に位置する情報表示物ＤＳ２は、ユーザの視界の邪魔になる程度が小さいと考えられる。このため図２１（Ｂ）では、奥行き値Ｚ１が小さな情報表示物ＤＳ１については、表示態様の変更処理を行って、消去したり、半透明にする。一方、奥行き値Ｚ２が大きな情報表示物ＤＳ１については、表示態様の変更処理は行わずに、通常の表示状態にする。このようにすることで、情報表示物の奥行き値を有効利用した情報表示物の表示態様の変更処理を実現できるようになる。

また本実施形態では、変更条件が満たされてからの経過時間に応じた表示態様の変更処理を行ってもよい。

例えば図２２（Ａ）、図２２（Ｂ）、図２２（Ｃ）は、変更条件が満たされてからの経過時間がＴＦ１、ＴＦ２、ＴＦ３である場合の状態を示している。ここで、ＴＦ３＞ＴＦ２＞ＴＦ１となっており、図２２（Ａ）が経過時間ＴＦ１が短い場合であり、図２２（Ｃ）が経過時間ＴＦ３が長い場合である。

図２２（Ａ）では、ユーザＰＬは、視線方向ＶＬを上方向に大きく変化させており、表示態様の変更処理として、情報表示物ＤＳ１の半透明化処理が行われている。この場合の半透明度はＡＬ１になっている。図２２（Ｂ）では、ユーザＰＬは、視線方向ＶＬを下方向に大きく変化させており、情報表示物ＤＳ２の半透明化処理が行われている。この場合の半透明度はＡＬ２になっている。図２２（Ｃ）では、ユーザＰＬは、視線方向ＶＬを上方向に大きく変化させており、情報表示物ＤＳ１の半透明化処理が行われている。この場合の半透明度はＡＬ３になっている。

このように図２２（Ａ）〜図２２（Ｃ）では、ユーザＰＬは、ＶＲ空間を見回すために、視線方向ＶＬを上方向や下方向に大きく変化させている。この時、視線方向ＶＬの変化は大きいため、変更条件は満たされたままで、時間だけが経過している。このような場合に図２２（Ａ）〜図２２（Ｃ）では、情報表示物ＤＳ１、ＤＳ２が、経過時間に応じて徐々に透明に近づくように半透明度ＡＬ１、ＡＬ２、ＡＬ３を設定している。例えば図２２（Ａ）のように経過時間がＴＦ１である時の半透明度ＡＬ１に比べて、図２２（Ｃ）のように経過時間がＴＦ３である時の半透明度ＡＬ３は、より透明に近づける半透明度に設定されている。

このようにすれば、ユーザがＶＲ空間を見回す際に、変更条件が満たされた後、時間が経過するにつれて、情報表示物が徐々に透明に近づくようになる。そして、十分に時間が経過すると、情報表示物が殆ど透明になり、ユーザは、情報表示物に視界を妨げられることなく、ＶＲ空間を見回すことが可能になる。

３．４ 復帰処理
次に表示態様の変更処理の復帰処理について説明する。本実施形態では、情報表示物の表示態様の変更処理が行われた後、復帰条件が満たされたと判定された場合に、表示態様の変更処理の復帰処理を行う。

例えば図２３（Ａ）では、ユーザＰＬの視線方向ＶＬに情報表示物ＤＳが配置されている。そして図２３（Ｂ）では、ユーザＰＬの視線方向ＶＬが大きく変化して、変更条件が満たされたため、情報表示物ＤＳの表示態様の変更処理が行われている。具体的には情報表示物ＤＳの消去処理や半透明化処理が行われている。

そして、図２３（Ｃ）では、例えば表示態様の変更処理が行われた後、所与の時間が経過することなどで、復帰条件が満たされたため、表示態様の変更処理の復帰処理が行われている。具体的には、図２３（Ｂ）で消去された情報表示物ＤＳが再表示される復帰処理が行われる。或いは図２３（Ｂ）で半透明化された情報表示物ＤＳについて、半透明化処理が解除されて通常表示になる復帰処理が行われる。

図２４（Ａ）、図２４（Ｂ）では、ユーザＰＬの視線方向ＶＬが大きく変化して、変更条件が満たされたため、情報表示物ＤＳの表示態様の変更処理として、視線方向ＶＬへの追従の解除処理が行われている。即ち、図１０（Ａ）、図１０（Ｂ）で説明した表示態様の変更処理が行われている。

そして、図２４（Ｃ）では、例えば表示態様の変更処理が行われた後、所与の時間が経過することなどで、復帰条件が満たされたため、表示態様の変更処理の復帰処理が行われている。具体的には、図２４（Ｂ）の追従解除処理が無効になり、視線方向ＶＬに情報表示物ＤＳを追従させる復帰処理が行われている。

このような復帰処理を行えば、変更条件が満たされて、情報表示物の表示態様の変更処理が行われた場合に、情報表示物の表示態様が変更されたままの状態になってしまうのを防止できる。そして、表示態様の変更処理前の通常の表示状態に戻すことが可能になる。

図２５は復帰処理の詳細な処理例を説明するフローチャートである。まず、所与の変更条件が満たされたか否かが判断され（ステップＳ１１）、満たされた場合には、情報表示物の表示態様の変更処理が行われる（ステップＳ１２）。即ち、図２３（Ｂ）、図２４（Ｂ）に示すような消去処理、半透明化処理又は追従の解除処理などが行われる。

次に、表示態様の変更処理が行われた後、所与の時間が経過したか否か、或いは、表示態様の変更処理が行われた後、所与の時間の間、ユーザの視線方向の変化が非検出か否か、或いは、表示態様の変更処理が行われた後、ユーザによるオブジェクトの注視が検出されたか否かが判断される（ステップＳ１３）。即ち、復帰条件が満たされたか否かが判断される。そして、所与の時間が経過した場合、或いは、所与の時間の間、視線方向の変化が非検出の場合、或いは、ユーザによるオブジェクトの注視が検出された場合に、復帰条件が満たされたと判断する。そして表示態様の変更処理の復帰処理が行われる（ステップＳ１４）。即ち、図２３（Ｃ）、図２４（Ｃ）に示すような復帰処理が行われる。

例えば、表示態様の変更処理が行われた後、所与の時間が経過した場合には、通常表示に戻しても問題無いため、表示態様の変更処理の復帰処理を行う。例えば、ユーザがＶＲ空間を見回す動作を行った場合にも、十分に時間が経過した後は、情報表示物を通常表示に戻しても、ユーザのＶＲ空間の見回しの妨げとはならないと考えられる。

また表示態様の変更処理が行われた後、所与の時間の間、ユーザの視線方向の変化が非検出である場合には、ユーザが、ＶＲ空間の所望の場所を、所与の期間の間、視線方向を動かさずに見続けていたと考えられる。従って、この場合には、ユーザが所望の場所を十分に見たと考えられるため、表示態様の変更処理の復帰処理を行う。例えば、消去された情報表示物を再表示したり、半透明になった情報表示物を通常表示に戻す。

また、表示態様の変更処理が行われた後、ユーザによるオブジェクトの注視が検出された場合には、ユーザが、ＶＲ空間の所望のオブジェクト（周辺方向にあるオブジェクト）を注視していたと考えられる。従って、この場合には、ユーザが所望のオブジェクトを十分に見たと考えられるため、表示態様の変更処理の復帰処理を行う。このように、種々の復帰条件を判断して、復帰処理を行うようにすれば、ユーザの様々な状況に対応した適切な復帰条件を判定して、復帰処理を実行できるようになる。

また本実施形態では、情報表示物の表示態様の変更処理が行われていない時と、情報表示物の表示態様の変更処理が行われている時とで、ＨＭＤの表示画像の明るさを異ならせてもよい。例えば情報表示物が通常表示されている場合と通常表示されていない場合とで、表示画像の明るさを変更する。

例えば図２６（Ａ）は、情報表示物の表示態様の変更処理が行われていない場合の状態を示している。この場合には、情報表示物の消去処理や半透明化処理などが行われておらず、情報表示物が通常表示されている。この時には、ＨＭＤの表示画像ＩＭＧを例えば暗い設定にする。即ち、表示画像ＩＭＧの全体の明るさを暗い設定にする。

一方、図２６（Ｂ）は、情報表示物の表示態様の変更処理が行われている場合の状態を示している。図２６（Ｂ）では、ユーザＰＬが視線方向ＶＬを上方向や下方向に変化させて、ＶＲ空間を見回す動作を行っている。このように視線方向ＶＬが変化することで、変更条件が満たされて、情報表示物の消去処理や半透明化処理などの表示態様の変更処理が行われている。この時には、ＨＭＤの表示画像ＩＭＧを例えば明るい設定にする。即ち、表示画像ＩＭＧの全体の明るさ（全体の輝度）を、図２６（Ａ）に比べて明るい設定にする。

例えば図２６（Ａ）に示すようにユーザＰＬが視線方向ＶＬを正面方向に向けている場合には、図４〜図６に示すように多数の情報表示物を表示して、様々な情報をユーザＰＬに伝達することが適切である。このため図２６（Ａ）では、情報表示物の表示態様の変更処理を行わず、情報表示物を通常表示している。

一方、図２６（Ｂ）に示すように、ユーザＰＬが視線方向ＶＬを上下左右に変化させて、ＶＲ空間を見回している場合には、ユーザＰＬの視界を確保することが適切である。このため図２６（Ｂ）では、情報表示物の消去処理や半透明化処理を行って、情報表示物が、ＶＲ空間を見回しているユーザＰＬの視界の妨げにならないようにしている。

そして、図２６（Ｂ）では、更に、表示画像ＩＭＧを全体的に明るい設定にしている。このようにすれば、ユーザＰＬは、明るい設定の表示画像ＩＭＧにより、ＶＲ空間を見回すことが可能になり、より適切なＨＭＤの表示画像の生成が可能になる。

３．５ コマンド処理
次に図６で説明した本実施形態のコマンド処理の詳細について説明する。これまでのキャラクタ等を用いたコミュニケーションゲームでは、いわゆる２次元のゲームが主流であり、ユーザとキャラクタとの位置関係や視線関係等の関係は考慮されていなかった。従って、例えば図６の「声をかける」というコマンドＣＭ３をユーザが行使した場合に、ユーザとキャラクタの距離が近くても、或いは遠くても、このコマンドＣＭ３により発動される効果が、同じになってしまう。このため、ユーザは、キャラクタとの距離感等を感じることができず、ユーザの仮想現実感を向上できないという課題がある。

そこで本実施形態では、ユーザとキャラクタとの位置関係や視線関係や注視状況などに応じて、コマンドの効果を変化させる手法を採用している。例えば本実施形態では、ユーザのゲームプレイの対象となるキャラクタの情報とユーザの視点情報とに応じたコマンドの効果を、発動させる。例えば、キャラクタの情報とユーザの視点情報とに応じて、コマンドの効果の度合いや、効果の内容を変化させる。具体的には、キャラクタの位置情報、方向情報、ゲームパラメータ情報、部位情報、姿勢情報又は種類情報であるキャラクタの情報と、ユーザの視点位置情報、視線方向情報又は仮想カメラ属性情報である視点情報とに応じたコマンドの効果を、発動させる。

図２７（Ａ）〜図２８（Ｂ）は、ユーザＰＬとキャラクタＣＨとの位置関係情報に応じたコマンドの効果を、発動させる手法の説明図である。

例えば図２７（Ａ）、図２７（Ｂ）では、ユーザＰＬとキャラクタＣＨとの位置関係情報に応じて、コマンドの効果の度合いを変化させている。ここでは、位置関係情報は、ユーザＰＬとキャラクタＣＨとの距離ＬＣであり、この距離ＬＣは、ユーザＰＬの視点情報である視点ＶＰと、キャラクタＣＨの情報である位置ＰＣに基づき求められるものである。なお位置関係情報は、ユーザＰＬの方向とキャラクタＣＨの方向の関係を表す情報であってもよい。

そして図２７（Ａ）、図２７（Ｂ）では、ユーザは「もっと集中！」というコマンドＣＭ１を選択して、行使しているが、図２７（Ａ）ではユーザＰＬとキャラクタＣＨの距離ＬＣは遠い。一方、図２７（Ｂ）では距離ＬＣは近い。

この場合に本実施形態では、図２７（Ａ）、図２７（Ｂ）のようにユーザが同じコマンドＣＭ１を行使したとしても、距離ＬＣに応じて、コマンドＣＭ１により発動される効果の度合いを変化させている。例えば、図２７（Ａ）では距離ＬＣが遠いため、これに応じてコマンドＣＭ１の効果の度合いは低くなり、図２７（Ｂ）では距離ＬＣが近いため、これに応じてコマンドＣＭ１の効果の度合いは高くなる。

具体的には、「もっと集中！」というコマンドＣＭ１が行使された場合に、図２７（Ａ）では、距離ＬＣが遠いため、Ａ１に示すように、キャラクタＣＨの集中力のゲームパラメータの上昇の度合いが小さい。これに対して図２７（Ｂ）では、距離ＬＣが近いため、Ａ２に示すように、キャラクタＣＨの集中力のゲームパラメータの上昇の度合いが大きくなる。

このようにすれば、ユーザは、「もっと集中！」というコマンドＣＭ１を行使する際に、キャラクタＣＨの近くに行って、当該コマンドＣＭ１を行使することで、キャラクタＣＨの集中力を、より高めることが可能になる。従って、「もっと集中」という言葉を、キャラクタＣＨの近くに行って言ったような感覚を、ユーザに与えることができ、ユーザの仮想現実感を向上できる。

図２８（Ａ）、図２８（Ｂ）は、ユーザＰＬとキャラクタＣＨとの位置関係情報に応じて、コマンドの効果の内容を変化させている。即ち図２７（Ａ）、図２７（Ｂ）では効果の度合いを変化させていたが、図２８（Ａ）、図２８（Ｂ）では効果の内容を変化させている。

例えば図２８（Ａ）では、ユーザは、キャラクタＣＨとの距離ＬＣが遠い状態で、「声をかける」というコマンドＣＭ３を行使している。この場合には、ユーザの「声をかける」言葉として、例えば「おーい！」という音声が出力されたり、「おーい！」のテロップ（吹き出し）がゲーム画面上に表示される。

一方、図２８（Ｂ）では、ユーザは、キャラクタＣＨとの距離ＬＣが近い状態で、「声をかける」というコマンドＣＭ３を行使している。この場合には、ユーザの「声をかける」言葉として、例えば「だいじょうぶか！」「頑張ってるか？」という言葉の音声が出力されたり、これらの言葉のテロップがゲーム画面上に表示される。

即ち、図２８（Ａ）では、「声をかける」というコマンドＣＭ３の効果の内容が、「おーい！」という言葉の音声出力（テロップ表示）という内容になっている。これに対して、図２８（Ｂ）では、距離ＬＣが近づくことで、「だいじょうぶか！」「頑張ってるか？」という言葉の音声出力という内容に変化している。

このようにすれば、同じ「声をかける」というコマンドＣＭ３であっても、ユーザＰＬとキャラクタＣＨとの位置関係に応じて、そのコマンドの効果の内容が変化するようになる。従って、ユーザの仮想現実感やゲーム表現のバラエティ度の向上等を図れる。

図２９（Ａ）、図２９（Ｂ）は、ユーザＰＬとキャラクタＣＨとの視線関係情報に応じたコマンドの効果を、発動させる手法の説明図である。

例えば図２９（Ａ）、図２９（Ｂ）では、ユーザＰＬとキャラクタＣＨとの視線関係情報に応じて、コマンドの効果の度合いや効果の内容を変化させている。図２９（Ａ）、図２９（Ｂ）では、視線関係情報は、ユーザＰＬの視線方向ＶＬと、キャラクタＣＨの位置ＰＣや視線方向ＶＬＣとの関係を表す情報である。

そして図２９（Ａ）、図２９（Ｂ）では、ユーザは「アドバイスをする」というコマンドＣＭ５を選択して、行使しているが、図２９（Ａ）では、ユーザＰＬの視線方向ＶＬはキャラクタＣＨの位置ＰＣの方向を向いていない。これに対して、図２９（Ｂ）では、ユーザＰＬの視線方向ＶＬはキャラクタＣＨの位置ＰＣの方向を向いている。また図２９（Ａ）では、ユーザＰＬの視線方向ＶＬとキャラクタＣＨの視線方向ＶＬＣは合っていない。これに対して図２９（Ｂ）では、視線方向ＶＬとＶＬＣが合っている。

この場合に本実施形態では、図２９（Ａ）、図２９（Ｂ）のようにユーザが同じコマンドＣＭ５を行使したとしても、視線関係情報に応じて、コマンドＣＭ２により発動される効果の度合いや効果の内容を変化させている。

例えば、図２９（Ａ）の視線関係の場合には、「アドバイスをする」というコマンドＣＭ５の発動による効果の内容として、「普通のアドバイス」が行われる。例えば、普通の口調で、平凡な内容のアドバイスが行われる。そして、コマンドＣＭ５による「普通のアドバイス」の効果として、キャラクタＣＨのゲームパラメータであるモチベーションは上昇するが、図２９（Ａ）では、Ｂ１に示すようにその上昇の度合いは小さい。

一方、図２９（Ｂ）の視線関係の場合には、「アドバイスをする」というコマンドＣＭ５の効果の内容として、「優しいアドバイス」が行われる。例えば、優しい口調で、やる気を出させるような内容のアドバイスが行われる。そして、コマンドＣＭ５による「優しいアドバイス」の効果として、キャラクタＣＨのモチベーションが上昇するが、図２９（Ｂ）では、Ｂ２に示すようにその上昇の度合いが大きい。

このようにすれば、図２９（Ａ）のように、ユーザがキャラクタＣＨの方を見ずに、目をそらして、「アドバイスする」のコマンドＣＭ５を行使した場合に比べて、図２９（Ｂ）に示すように、ユーザがキャラクタＣＨの方をちゃんと見て、コマンドＣＭ５を行使した場合の方が、より良い内容のアドバイスになると共に、アドバイスによる効果であるモチベーションの上昇度合いも大きくなる。従って、ユーザは、あたかも目の前にいる異性に向かって、アドバイスの言葉をかけているような感覚を感じることができ、ユーザの仮想現実感を大幅に向上できる。

図３０は、ユーザの注視情報に応じたコマンドの効果を、発動させる手法の説明図である。例えば図３０では、ユーザが注視しているキャラクタＣＨの部位の情報である注視部位情報に応じたコマンドの効果を、発動させている。

具体的には図３０では、「つつく」というコマンドＣＭ４を行使している。ここで、図３０のＣ１に示すように、ユーザがキャラクタＣＨの部位である肩を注視しながら、「つつく」というコマンドＣＭ４を行使したとする。この場合には、ユーザがキャラクタＣＨの肩をつつく場面を表現した画像（映像）が表示されるようになる。例えば、ユーザの手（オブジェクト）が画面上に現れ、この手がキャラクタＣＨの肩をつつくという画像が表示される。一方、図３０のＣ２に示すように、ユーザがキャラクタＣＨの部位である頭（おでこ）を注視しながら、「つつく」というコマンドＣＭ４を行使したとする。この場合には、ユーザがキャラクタＣＨの頭をつつく場面を表現した画像が表示されるようになる。例えば、ユーザの手が画面上に現れ、この手がキャラクタＣＨの頭をつつくという画像が表示される。

このようにすれば、同じ「つつく」というコマンドＣＭ４を行使した場合にも、ユーザが注視するキャラクタＣＨの部位に応じて、異なる内容の動作の「つつく」が行われるようになる。そして、ユーザが注視する部分に対して、ユーザの動作が行われるようになるため、ユーザは、実際にキャラクタＣＨをつついているような感覚を感じることができ、ユーザの仮想現実感を向上できる。

以上のような本実施形態のコマンド処理の手法によれば、ユーザの仮想現実感を、より向上できるようになる。一方、本実施形態のようなコマンド処理の手法では、図６、図３０に示すように多数の情報表示物が配置されて表示される。従って、ユーザがＶＲ空間を見回す場合などにおいて、これらの多数の情報表示物が通常表示されてしまうと、ユーザの視界の妨げとなってしまう。この点、本実施形態では、視線方向の変化により変更条件が満たされると、情報表示物の表示態様を変更する処理が行われるため、より適切な表示画像をＨＭＤに表示することが可能になる。

３．６ 処理例
次に本実施形態の処理例について図３１のフローチャートを用いて説明する。まず、ユーザの視点情報のトラッキング情報を取得する（ステップＳ２１）。例えば図２（Ａ）〜図３（Ｂ）等で説明したトラッキング処理により得られたトラッキング情報を取得する。そして、取得されたトラッキング情報に基づいて、ユーザの視点変化に追従するように仮想カメラを制御する（ステップＳ２２）。例えば現実世界においてユーザが上下左右方向に視線方向を向けた場合に、それに対応して仮想空間での仮想カメラの視線方向も上下左右方向に向くように、仮想カメラを制御する。また現実世界においてユーザの視点位置が上下左右方向に移動した場合に、それに対応して仮想空間での仮想カメラの視点位置も上下左右方向に移動するように、仮想カメラを制御する。

次に、ユーザの視線方向の変化により所与の変更条件が満たされたか否かを判定する（ステップＳ２３）。例えば図１５（Ａ）、図１５（Ｂ）、図１７（Ａ）、図１７（Ｂ）で説明した手法により、変更条件が満たされたか否かを判定する。そして、変更条件が満たされた場合には、情報表示物の表示態様の変更処理を行う（ステップＳ２４）。例えば図９（Ａ）〜図１２（Ｂ）等で説明した表示態様の変更処理を行う。そして仮想空間において仮想カメラから見える画像を生成して、ＨＭＤに表示する（ステップＳ２５）。例えば、仮想カメラから見える画像として、立体視の左目用、右目用の画像を生成して、ＨＭＤに表示する。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（視点変化、移動体、アイテム等）と共に記載された用語（視線方向の変化、キャラクタ、本等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また仮想空間の設定処理、仮想カメラの制御処理、情報表示物の配置処理、表示態様の変更処理、変更条件の判定処理、復帰条件の判定処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲーム装置、家庭用ゲーム装置、又は多数のユーザが参加する大型アトラクションシステム等の種々のシミュレーションシステムに適用できる。

ＤＳＡ、ＤＳＢ、ＤＳＣ、ＤＳＤ１、ＤＳＤ２、ＤＳＥ１〜ＤＳＥ３ 情報表示物、
ＤＳ、ＤＳ１〜ＤＳ５ 情報表示物、ＲＧ、ＲＧ１〜ＲＧ３ 判定範囲、
ＣＨ キャラクタ（移動体）、ＢＫ 本（アイテム）、ＣＴ カーテン（固定物）、
ＷＬ 壁（背景）、ＰＬ ユーザ、ＶＰ 視点、ＶＬ 視線方向、ＩＭＧ 表示画像、
１００ 処理部、１０２ 入力処理部、１１０ 演算処理部、１１２ ゲーム処理部、
１１４ 移動体処理部、１１５ 判定部、１１６ 仮想空間設定部、
１１８ 仮想カメラ制御部、１２０ 表示処理部、１３０ 音処理部、
１４０ 出力処理部、１５０ 撮像部、１５１、１５２ 第１、第２のカメラ、
１６０ 操作部、１６６、１６７ ゲームコントローラ、
１７０ 記憶部、１７２ オブジェクト情報記憶部、１７８ 描画バッファ、
１８０ 情報記憶媒体、１９２ 音出力部、１９４ Ｉ／Ｆ部、
１９５ 携帯型情報記憶媒体、１９６ 通信部、
２００ ＨＭＤ（頭部装着型表示装置）、２０１〜２０９ 受光素子、２１０ センサ部、
２２０ 表示部、２３１〜２３８ 発光素子、２４０ 処理部、２６０ ヘッドバンド、
２７０ ヘッドホン、２８０、２８４ ベースステーション

本実施形態のシミュレーションシステムの構成例を示すブロック図。 図２（Ａ）、図２（Ｂ）は本実施形態に用いられるＨＭＤの一例。 図３（Ａ）、図３（Ｂ）は本実施形態に用いられるＨＭＤの他の例。 本実施形態により生成されるゲーム画像の例。 本実施形態により生成されるゲーム画像の例。 本実施形態により生成されるゲーム画像の例。 キャラクタのステータスの表示についての説明図。 図８（Ａ）〜図８（Ｄ）は情報表示物の表示手法の説明図。 図９（Ａ）、図９（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１０（Ａ）、図１０（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１１（Ａ）、図１１（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１２（Ａ）、図１２（Ｂ）は本実施形態の表示態様変更手法の説明図。 図１３（Ａ）、図１３（Ｂ）は情報表示物の種類、優先度、重要度に応じた表示態様変更手法の説明図。 情報表示物の表示からの経過時間に応じた表示態様変更手法の説明図。 図１５（Ａ）、図１５（Ｂ）は変化角度、変化速度又は変化加速度を用いた変更条件の判定手法の説明図。 変化角度、変化速度又は変化加速度に応じて表示態様の変更処理の内容を異ならせる手法の説明図。 図１７（Ａ）、図１７（Ｂ）は判定範囲を用いた変更条件の判定手法の説明図。 複数の情報表示物への判定範囲の設定手法の説明図。 中央部の情報表示物に対して表示態様の変更処理を行う手法の説明図。 情報表示物に応じて変更条件又は変更処理の内容を異ならせる手法の説明図。 図２１（Ａ）、図２１（Ｂ）は情報表示物の奥行き値に応じて表示態様の変更処理を行う手法の説明図。 図２２（Ａ）〜図２２（Ｃ）は変更条件が満たされてからの経過時間に応じた表示態様変更手法の説明図。 図２３（Ａ）〜図２３（Ｃ）は表示態様の変更処理の復帰処理の説明図。 図２４（Ａ）〜図２４（Ｃ）は表示態様の変更処理の復帰処理の説明図。 表示態様の変更処理の復帰処理の詳細例を示すフローチャート。 図２６（Ａ）、図２６（Ｂ）は表示態様の変更処理の非実行時と実行時とで表示画像の明るさを異ならせる手法の説明図。 図２７（Ａ）、図２７（Ｂ）はユーザとキャラクタの位置関係情報に応じたコマンドの効果の発動処理の説明図。 図２８（Ａ）、図２８（Ｂ）はユーザとキャラクタの位置関係情報に応じたコマンドの効果の発動処理の説明図。 図２９（Ａ）、図２９（Ｂ）はユーザとキャラクタの視線関係情報に応じたコマンドの効果の発動処理の説明図。 ユーザの注視情報に応じたコマンドの効果の発動処理の説明図。 本実施形態の詳細な処理例を示すフローチャート。

Claims (16)

1. 複数のオブジェクトが配置される仮想空間の設定処理を行う仮想空間設定部と、
   頭部装着型表示装置を装着するユーザの視点に対応する仮想カメラの制御処理を行う仮想カメラ制御部と、
   前記頭部装着型表示装置の表示画像として、前記仮想空間において前記仮想カメラから見える画像を生成する表示処理部と、
   を含み、
   前記仮想空間設定部は、
   前記ユーザの視線方向に少なくとも１つの情報表示物を配置し、
   前記表示処理部は、
   前記ユーザの視点変化により所与の変更条件が満たされたと判断された場合に、前記情報表示物の表示態様の変更処理を行うことを特徴とするシミュレーションシステム。
2. 請求項１において、
   前記仮想空間設定部は、
   前記ユーザの視点変化に追従するように制御される前記情報表示物を前記仮想空間に配置することを特徴とするシミュレーションシステム。
3. 請求項１又は２において、
   前記表示処理部は、
   前記情報表示物の種類、優先度又は重要度に応じた前記表示態様の変更処理を行うことを特徴とするシミュレーションシステム。
4. 請求項１乃至３のいずれかにおいて、
   前記表示処理部は、
   前記情報表示物が表示されてからの経過時間に応じた前記表示態様の変更処理を行うことを特徴とするシミュレーションシステム。
5. 請求項１乃至４のいずれかにおいて、
   前記表示処理部は、
   前記表示態様の変更処理として、
   前記情報表示物の消去処理、前記情報表示物の半透明化処理、前記ユーザの視点変化への前記情報表示物の追従の解除処理、前記情報表示物の移動処理、前記情報表示物のサイズ変更処理、或いは前記情報表示物の色情報変更処理を行うことを特徴とするシミュレーションシステム。
6. 請求項１乃至５のいずれかにおいて、
   前記所与の変更条件が満たされたかを判定する判定部を含み、
   前記判定部は、
   前記ユーザの視点変化情報に基づいて、前記所与の変更条件が満たされたか否かを判定することを特徴とするシミュレーションシステム。
7. 請求項１乃至６のいずれかにおいて、
   前記所与の変更条件が満たされたかを判定する判定部を含み、
   前記情報表示物には判定範囲が設定されており、
   前記判定部は、
   前記ユーザの視線方向の注視位置が前記判定範囲を越えた場合に、前記所与の変更条件が満たされたと判定することを特徴とするシミュレーションシステム。
8. 請求項７において、
   第１の情報表示物に対しては、前記判定範囲として第１の判定範囲が設定され、第２の情報表示物に対しては、前記判定範囲として、前記第１の判定範囲とは異なる第２の判定範囲が設定されていることを特徴とするシミュレーションシステム。
9. 請求項１乃至８のいずれかにおいて、
   複数の前記情報表示物が前記仮想空間に配置される場合に、
   前記表示処理部は、
   前記ユーザの視点から見て中央部に位置する前記情報表示物に対して、前記表示態様の変更処理を行うことを特徴とするシミュレーションシステム。
10. 請求項１乃至９のいずれかにおいて、
    複数の前記情報表示物が前記仮想空間に配置される場合に、
    前記表示処理部は、
    第１の情報表示物と第２の情報表示物とで、前記所与の変更条件の内容又は前記表示態様の変更処理の内容を異ならせることを特徴とするシミュレーションシステム。
11. 請求項１乃至１０のいずれかにおいて、
    前記表示処理部は、
    前記情報表示物の奥行き値に応じた前記表示態様の変更処理を行うことを特徴とするシミュレーションシステム。
12. 請求項１乃至１１のいずれかにおいて、
    前記表示処理部は、
    前記所与の変更条件が満たされてからの経過時間に応じた前記表示態様の変更処理を行うことを特徴とするシミュレーションシステム。
13. 請求項１乃至１２のいずれかにおいて、
    前記所与の変更条件が満たされたかを判定する判定部を含み、
    前記表示処理部は、
    前記判定部により前記所与の変更条件が満たされたと判定された場合に、前記情報表示物の前記表示態様の変更処理を行い、
    前記情報表示物の前記表示態様の変更処理が行われた後、前記判定部により所与の復帰条件が満たされたと判定された場合に、前記情報表示物の前記表示態様の変更処理の復帰処理を行うことを特徴とするシミュレーションシステム。
14. 請求項１３において、
    前記判定部は、
    前記表示態様の変更処理が行われた後、所与の時間が経過した場合、或いは、前記表示態様の変更処理が行われた後、所与の時間の間、前記ユーザの視線方向の変化が検出されなかった場合、或いは、前記表示態様の変更処理が行われた後、前記ユーザによる所与のオブジェクトの注視が検出された場合に、前記所与の復帰条件が満たされたと判定することを特徴とするシミュレーションシステム。
15. 請求項１乃至１４のいずれかにおいて、
    前記表示処理部は、
    前記情報表示物の前記表示態様の変更処理が行われていない時と、前記情報表示物の前記表示態様の変更処理が行われている時とで、前記頭部装着型表示装置の前記表示画像の明るさを異ならせることを特徴とするシミュレーションシステム。
16. 複数のオブジェクトが配置される仮想空間の設定処理を行う仮想空間設定部と、
    頭部装着型表示装置を装着するユーザの視点に対応する仮想カメラの制御処理を行う仮想カメラ制御部と、
    前記頭部装着型表示装置の表示画像として、前記仮想空間において前記仮想カメラから見える画像を生成する表示処理部として、
    コンピュータを機能させ、
    前記仮想空間設定部は、
    前記ユーザの視線方向に少なくとも１つの情報表示物を配置し、
    前記表示処理部は、
    前記ユーザの視点変化により所与の変更条件が満たされたと判断された場合に、前記情報表示物の表示態様の変更処理を行うことを特徴とするプログラム。

Images