JP2017184048A - プログラム及び仮想現実体験提供装置 - Google Patents

Abstract

【課題】仮想現実空間内にてユーザに仮想の小道具を使わせる場面における臨場感をより高めることができるＶＲに係る音響制御技術を提供すること。
【解決手段】仮想現実空間に、プレーヤの手に対して追従制御される仮想基準体１０と、プレーヤの耳に対して追従制御される仮想身体部位１４と、小道具としての仮想オブジェクトである仮想スマートフォン１２を配置する。仮想基準体１０が仮想スマートフォン１２に接近して以降は、仮想スマートフォン１２が把持されたと見なし両者を一体的に移動させる。そして、仮想基準体１０又は仮想スマートフォン１２が仮想身体部位１４に接近するまでは、仮想スマートフォン１２の発生音を着信音として立体音響制御をし、接近すると発生音を通話音に切り換えて立体音響制御をし、ヘッドフォン５で立体音響をプレーヤに聴かせる。
【選択図】図８

Description

本発明は、コンピュータに、仮想現実空間と実空間とを対応づけさせて、ユーザが装着するヘッドトラッキング型のＨＭＤ（Head Mounted Display）に仮想現実空間の画像を表示させ、ユーザが装着するヘッドフォンに仮想現実空間の音響を出力させるためのプログラム等に関する。

ユーザに立体視可能な映像とともに立体音響を提供して仮想現実空間に居るかのような体感をもたらす所謂ＶＲ（Virtual Reality）技術が公知である。

また、音声による仮想現実を表現する技術として、特許文献１には、移動音源が多数ある場合の処理負荷の低減技術が開示されている。また、特許文献２には、移動音源との相対位置を検出して、音像定位におけるパラメータを逐次変更することで移動音源の動きに連動した正確な音像定位を実現する技術が開示されている。

特開２００２−５１３９９号公報 特開２００７−５０２６７号公報

現状の技術レベルで、民生用に比較的安価に提供できるＶＲ環境は、プレーヤに、ヘッドトラッキング機能付きのＶＲ型のＨＭＤを頭部に装着させ、ゲームコントローラを手に持たせるのが精一杯で、触覚や力覚の再現提供には至っていない。

一方で、仮想現実体験を、ゲームなりのエンターテインメントとして提供する場合、何らかのストーリーを用意する必要がでてくる。また、ストーリーを円滑に進めるうえで小道具の存在もまた重要であり、仮想現実空間内でプレーヤにその小道具を使わせて、当該小道具に係る音響をどのようにリアルに再現するかが没入感を向上させる上で重要な技術課題となる。

例えば、仮想現実空間内でプレーヤに仮想の携帯電話機を手にとって使わせる場面を想像するとよい。この仮想電話機は勿論実際には存在せず、プレーヤは実体の無い携帯電話機を手に取るかのような動作をして、さらに耳元に寄せ、仮想的に通話することになる。仮想電話機を手に持ったときの力覚や通話ボタンを押すなどの細かな触覚を再現できない分、ＶＲ体験としてのリアリティは仮想電話機に係る音響を如何にリアルに再現するかにかかってくる。

また、他の例として、金属探知機のような仮想のレーダーセンサーをプレーヤに手にとって使わせる場面や、仮想の指向性マイクをプレーヤに手にとって使わせる場面なども同様である。

本発明は、仮想現実空間内にてユーザに仮想の小道具を使わせる場面における臨場感をより高めることができるＶＲに係る音響制御技術を提供することを目的に考案されたものである。

上述した課題を解決するための第１の発明は、コンピュータに、仮想現実空間と実空間とを対応づけさせて、ユーザが装着するヘッドトラッキング型のＨＭＤ（ヘッドマウントディスプレイ）に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させるためのプログラムであって、
前記ユーザの第１の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段（例えば、図９のサーバ処理部２００ｓ、ゲーム進行制御部２１０、基準体トラッキング部２１２、図１２のステップＳ４）、
前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段（例えば、図９のサーバ処理部２００ｓ、ゲーム進行制御部２１０、仮想オブジェクト位置制御部２２６、図１２のステップＳ３０）、
前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段（例えば、図９のサーバ処理部２００ｓ、ゲーム進行制御部２１０、音響出力制御部２３０、図１３のステップＳ７０〜Ｓ７４）、
として前記コンピュータを機能させるためのプログラムである。

第１の発明によれば、ユーザの第１の身体部位又はコントローラを基準体としてその実空間における位置をトラッキングする一方で、仮想現実空間内に所与の役割が設定された一種の小道具として利用可能な仮想オブジェクトを配置し、トラッキングしている基準体の移動に追従制御させることができる。そして、基準体の実空間における位置、又は仮想オブジェクトの仮想現実空間における位置が、ある位置条件を満たすと、仮想オブジェクトに割り当てられた役割に応じた音響をヘッドフォンから放音させることができる。
よって、ユーザに仮想の小道具を手にとって使わせるような場面の音響を仮想現実空間内にてリアルに再現できる。

第２の発明は、前記音響出力制御手段が、前記位置条件を満たさない場合には、前記役割に応じた音響を出力せずに前記仮想現実空間の環境音を出力させる、又は、前記役割に応じた音響よりも前記仮想現実空間の環境音の方を大きくして出力させ、前記位置条件を満たす場合には、前記仮想現実空間の前記環境音を出力せずに前記役割に応じた音響を出力させる、又は、前記仮想現実空間の前記環境音よりも前記役割に応じた音響の方を大きくして出力させる、第１の発明のプログラムである。

第２の発明によれば、ある位置条件を満たすまでは役割に応じた音響よりも環境音を主としてプレーヤに聞かせ、位置条件を満たすと逆に役割に応じた音響を主として聞かせることができる。つまり、現実世界において実際に使われているときに有るような位置関係を満たすと、仮想オブジェクトが役割を果たし始めて機能しているように思わせる音響を提供できる。よって、仮想現実空間内にてユーザに仮想の小道具を手にとって使わせるような場面の音響のリアリティをより高めることができる。

第３の発明は、前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて前記環境音を変化させる環境音変更制御手段（例えば、図９の音響出力制御部２３０）、として前記コンピュータを更に機能させる第１又は第２の発明のプログラムである。

第３の発明によれば、基準体の実空間内の位置や仮想オブジェクトの仮想現実空間内の位置に基づいて環境音を変化させことも可能になる。

第４の発明は、前記音響出力制御手段が、前記実空間において所与の実対象物と前記基準体とが接近したことを示す距離条件、又は、前記実対象物に対応する前記仮想現実空間内の仮想対象物と前記仮想オブジェクトとが接近したことを示す距離条件を、前記位置条件として前記判定を行う（例えば、図１３のステップＳ７０）、第１〜第３の何れかの発明のプログラムである。

第４の発明によれば、実空間において実対象物と基準体とが接近した場合、或いは、仮想現実空間において仮想対象物と仮想オブジェクトとが接近した場合に、仮想オブジェクトの役割に応じた音響が発生して仮想オブジェクトの役割が機能したかのように演出することができる。

第５の発明は、前記仮想オブジェクトは、前記仮想現実空間において音響を発する音響発生物（例えば、図３のスマートフォン１２）として前記役割が設定されており、前記音響出力制御手段は、前記実対象物を前記ユーザの耳として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響発生物が前記ユーザの耳に接近したかのような音響を前記ヘッドフォンから出力させる、第４の発明のプログラムである。

第５の発明によれば、仮想オブジェクトを、音を発生する小道具に仕立て、当該小道具が実際のユーザの耳に接近したかのような音響を実現できる。

第６の発明は、前記仮想オブジェクトが、電話機能を有する音響出力機器として前記役割が設定されており、前記音響出力制御手段は、前記役割に応じた音響として前記電話機能による通話音声を出力させる、第５の発明のプログラムである。

第６の発明によれば、仮想オブジェクトに電話機能を有する仮想の音響出力機器としての役割を果たさせることができる。プレーヤにしてみれば、音響出力機器を耳元まで持ってくるアクションをすれば、当該音響出力機器が通話モードになり通話音声が聞こえてくると言ったＶＲ体験を実現できる。携帯電話機（スマートフォンも含む意。）のように現実世界に存在するモノの実際の使用状況をリアルに再現した臨場感溢れるＶＲ体験を提供できる。

第７の発明は、前記音響出力制御手段が、前記位置条件を満たさない場合には、前記電話機能による前記通話音声を出力させず、前記電話機能による着信音を出力させ、前記位置条件を満たす場合には、前記電話機能による前記着信音を出力させず、前記電話機能による前記通話音声を出力させる、第６の発明のプログラムである。

第７の発明によれば、音響出力機器を耳元に寄せるまでは着信音を放ち、耳元に寄せると通話音に切り替わるように音響制御できる。よって、より一層リアルなＶＲ体験を提供できる。

第８の発明は、前記音響出力制御手段が、前記位置条件を満たさない場合には、前記仮想現実空間の環境音を出力させ、前記位置条件を満たす場合には、前記仮想現実空間の環境音の大きさを小さくし、且つ、前記環境音の高音域を減衰させて出力させる（例えば、図１３のステップＳ４２）、第６又は第７の発明のプログラムである。

第８の発明によれば、音響出力機器を耳の近くに近づけることで環境音が幾分遮蔽され、こもったような音になると言った実空間でも良く体験する音響の変化を疑似再現できる。

第９の発明は、前記音響出力制御手段が、前記位置条件を満たす場合に、所与の反響音を更に出力させる（例えば、図１３のステップＳ４４）、第６〜第８の何れかの発明のプログラムである。

第９の発明によれば、音響出力機器を耳の近くに近づけることで反響音が生じると言った実空間でも良く体験する音響の変化を疑似再現できる。

第１０の発明は、前記音響出力制御手段が、前記位置条件を満たす場合に、所与のノイズ音を更に出力させる、第６〜第９の何れかの発明のプログラムである。

第１０の発明によれば、音響出力機器を耳の近くに近づけることでノイズ音が聞こえてくると言った実空間でも良く体験する音響の変化を疑似再現できる。

第１１の発明は、前記音響出力制御手段が、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たしたほうの耳に対応する出力から、あたかも前記仮想現実空間における前記音響発生物が当該耳に接近したかのような音響を出力させる（例えば、図１３のステップＳ７２）、第５〜第１０の何れかの発明のプログラムである。

第１１の発明によれば、音響発生物を左右何れの耳に寄せるかによって左右の聞こえ方の違いが生じる事象を体感させることができる。

第１２の発明は、前記音響出力制御手段が、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たさなかったほうの耳に対応する出力からの出力音響を低減させる（例えば、図１３のステップＳ７４）、第１１の発明のプログラムである。

第１２の発明によれば、位置条件が満たされなかった側（すなわち音響発生物が寄せられなかった側）の音量を、位置条件が満たされた側（すなわち音響発生物が寄せられた側）より下げることで、プレーヤが、仮想オブジェクトの役割に応じた音響に集中して聞き入ることを可能に演出できる。

なお、仮想オブジェクトの役割は、音響発生物に限らない。第１３の発明として、前記仮想オブジェクトは、前記仮想現実空間において音響を入力する音響入力機器として前記役割が設定されており、前記音響出力制御手段は、前記実対象物を前記ユーザの第２の身体部位として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響入力機器が前記ユーザの前記第２の身体部位での発生音響を入力したかのような前記発生音響を前記ヘッドフォンから出力させる、第４の発明のプログラムを構成することもできる。

第１４の発明は、前記音響出力制御手段が、所与のイベントの発生済み、実行済み又は達成済みであることを示すイベントクリア条件を満たしているか否かで、前記位置条件を満たした場合の前記音響を変更する、第１〜第１３の何れかの発明のプログラムである。

第１４の発明によれば、発生するイベントとの関係で音響の変更を制御できるようになる。

第１５の発明は、前記仮想現実空間内に、前記基準体の位置に追従する仮想基準体を配置制御する仮想基準体位置制御手段（例えば、図９のサーバ処理部２００ｓ、ゲーム進行制御部２１０、仮想基準体位置制御部２１４、図１２のステップＳ６）、
前記仮想現実空間に前記仮想オブジェクトを初期配置する初期配置手段（例えば、図９のサーバ処理部２００ｓ、ゲーム進行制御部２１０、仮想オブジェクト初期配置制御部２２０、図１２のステップＳ２）、
前記ユーザに対して、前記仮想基準体を前記初期配置の位置に近づけるように指示する指示手段（例えば、図９のサーバ処理部２００ｓ、ゲーム進行制御部２１０、指示制御部２２２、図１２のステップＳ２４）、
前記指示の後、前記仮想基準体の位置と前記初期配置の位置とが所定条件を満たした場合に、前記仮想オブジェクトと前記基準体との対応付けを設定する対応付け設定手段（例えば、図９のサーバ処理部２００ｓ、ゲーム進行制御部２１０、対応付け設定部２２４、図１２のステップＳ３０）、として前記コンピュータを更に機能させ、前記仮想オブジェクト位置制御手段は、前記対応付け設定手段による設定後に、前記仮想オブジェクトの位置を前記基準体の位置に対応づけて追従させる、第１〜第１４の何れかの発明のプログラムである。

第１５の発明によれば、仮想基準体と初期配置された仮想オブジェクトとが所定の位置関係をなして以降は、仮想基準体の移動に追従させて仮想オブジェクトを移動させることができる。例えば、仮想基準体で仮想オブジェクトを持つ、仮想基準体に仮想オブジェクトを付着させる・装備させる・装着させるといった状態を実現できる。

第１６の発明は、仮想現実空間と実空間とを対応づけて、ユーザが装着するヘッドトラッキング型のＨＭＤ（ヘッドマウントディスプレイ）に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させる仮想現実体験提供装置であって、
前記ユーザの第１の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段（例えば、図１のＨＭＤ６、トラッキング用カメラ７、コントローラ８、制御基板１１５０）と、
前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段（例えば、図１の制御基板１１５０、図９の仮想オブジェクト位置制御部２２６）と、
前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段（例えば、図１の制御基板１１５０、図９の音響出力制御部２３０、音生成部２９０ｓ）と、を備えた仮想現実体験提供装置である。

第１６の発明によれば、第１の発明と同様の効果を奏する仮想現実体験提供装置を実現できる。

ゲームシステム（仮想現実体験提供装置）の構成の一例を示す図。 コントローラの構成例を示す図。 ゲーム内の小道具をプレーヤに手にとって使わせる場面における音響制御の原理について説明するための概念図。 テーブルの上に置かれている仮想スマートフォンが鳴っている状態の、仮想現実空間と実空間それぞれの状況を示す図。 テーブルの上に置かれていた仮想スマートフォンをプレーヤが手に取った状態の、仮想現実空間と実空間それぞれの状況を示す図。 手に取った仮想スマートフォンをプレーヤの頭部に近づける過程の仮想現実空間と実空間それぞれの状況を示す図。 手に取った仮想スマートフォンをプレーヤの耳元に近づける過程の仮想現実空間と実空間それぞれの状況を示す図。 手に取った仮想スマートフォンをヘッドフォン越しにプレーヤの耳に寄せきった状態の仮想現実空間と実空間それぞれの状況を示す図。 サーバシステムの機能構成例を示す機能ブロック図。 サーバ記憶部が記憶するプログラムやデータの例を示す図。 プレイデータのデータ構成例を示す図。 サーバシステムにおける処理の流れを説明するためのフローチャートのデータ構成例を示す図。 図１２より続くフローチャート。 ゲームシステムの変形例を示す図。 音響入力機器の役割を与えられた小道具をプレーヤに手にとって使わせる場面における音響制御の原理について説明するための概念図。

図１は、本実施形態におけるゲームシステム１０００の構成の一例を示す図である。本実施形態のゲームシステム１０００は、仮想現実体験（ＶＲ体験）をユーザに提供する仮想現実体験提供装置である。ゲームシステム１０００は、プレーヤがヘッドトラッキング機能付きのＶＲ（Virtual Reality）型のＨＭＤを頭部に装着するとともにコントローラを把持して、実空間である所定のプレイフィールド内を移動しながらプレイするゲームを実行するためにデザインされたコンピュータシステムである。

具体的には、ゲームシステム１０００は、プレイフィールドの床面に敷き詰められる保護シート４と、プレーヤ２が頭部に装着するヘッドフォン５及びＨＭＤ６と、プレーヤ２が把持するコントローラ８と、ＨＭＤ６やコントローラ８の位置や姿勢のトラッキングをするための複数のトラッキング用カメラ７と、これら（ＨＭＤ６・コントローラ８・トラッキング用カメラ７）とデータ通信可能に接続されたサーバシステム１１００と、を備える。

本実施形態のゲームシステム１０００は、シングルプレイ用を想定しており、保護シート４とＨＭＤ６とコントローラ８とトラッキング用カメラ７のセット（図示の例では３台で１セット）とはそれぞれ１つずつ備えられているとする。しかし、ゲームシステム１０００を、マルチプレイ用として運用する場合には、適宜、ＨＭＤ６とコントローラ８とトラッキング用カメラ７のセットとを１組として、複数組をサーバシステム１１００に接続すればよい。

なお、ゲーム操作のデザインによっては１人当たりのコントローラ８は複数でもよい。また、１セットとされるトラッキング用カメラ７の台数や配置位置関係は、採用するトラッキング技術によって適宜設定可能であり、図示の例に限定されるものではない。例えば、マルチプレイであっても、トラッキング用カメラ７のセットを兼用とし、１組で実現するとしてもよい。

保護シート４は、ＨＭＤ６を装着したプレーヤ２が転倒しても怪我をしないように床面を被う保護材である。例えば、人が立つなどの静的荷重に対しては適度な硬さを示すが、衝撃は適切に吸収する弾性体シートである。なお、保護シート４の代わりに、プレーヤ２にヘルメットの装着や、肩・肘・膝などへの保護パッドの装着を義務づけるとしてもよい。

ヘッドフォン５は、プレーヤ２の左右の耳をそれぞれ被う左右のスピーカ部を備える。１つのスピーカ部が備えるスピーカの数は適宜設定可能である。

ＨＭＤ６は、頭部の向きと方向とがトラッキング可能なＶＲ型のヘッドマウントディスプレイである。本実施形態では、装着すると両眼が被われて周囲の様子が見えなくなる没入型（非透過型）とするが、透過制御により透過／非透過を制御できるタイプでもよい。その場合、非常時を除くゲームプレイ中は基本的に非透過に制御されるものとする。

なお、本実施形態のＨＭＤ６は、３軸加速度センサと、ジャイロセンサと、トラッキング用のマーカとして機能する単数又は複数の発光部と、ヘッドフォン５と、を一体に有するタイプとする。ただし、３軸加速度センサ・ジャイロセンサ・発光部は、ＨＭＤ６のプレイフィールド内での位置や姿勢を追跡するヘッドトラッキングを実現するために使用されるので、採用するトラッキング技術によって不要な要素は適宜省略できる。

図２は、コントローラ８の構成例を示す図である。本実施形態のコントローラ８は、人が片手で把持できるサイズの棒状の把持部８１と、その先端に設けられた先端発光体８２と、を有する。

把持部８１は、コントローラ制御基板８５と、バッテリー８６とを内蔵する。適宜その表面に、操作スイッチやダイヤルスイッチなどを設けても良い。

コントローラ制御基板８５は、ＣＰＵ８５１と、ＩＣメモリ８５２と、インターフェースＩＣ８５３と、無線通信モジュール８５４と、３軸加速度センサ８５５と、ジャイロセンサ８５６と、を備える。勿論、これら以外の電子部品も適宜備えることができる。

ＣＰＵ８５１は、ＩＣメモリ８５２に記憶されているプログラムを実行することにより、先端発光体８２の発光制御と、ダイヤルスイッチ８４の切り換え状態信号や３軸加速度センサ８５５及びジャイロセンサ８５６による検出信号を無線通信モジュール８５４を介してサーバシステム１１００へ送信する制御と、を実行する。

なお、３軸加速度センサ８５５と、ジャイロセンサ８５６と、先端発光体８２とは、コントローラ８のプレイフィールド内での位置や姿勢を追跡するコントローラトラッキングを実現するために使用されるので、採用するトラッキング技術によって不要な要素は適宜省略できる。

また、コントローラ８の外観形状は、これに限らず適宜設定可能である。家庭用据置型ゲーム装置のゲームコントローラをコントローラ８として使用してもよいし、専用のコントローラ８を設けることとしてもよい。専用のコントローラ８を設ける場合には、その形状は適宜設定でき、例えば指輪型や、腕輪型、指サック型、などでもよい。

図１に戻って、トラッキング用カメラ７は、プレイフィールド（本実施形態では保護シート４の上）を撮影範囲に収め、ＨＭＤ６やコントローラ８を撮影した画像の信号やデータを、サーバシステム１１００へ送信する。そして、撮影した画像は、公知のモーションキャプチャ技術と同様にして、ＨＭＤ６のプレイフィールド内での位置や姿勢を追跡するヘッドトラッキングや、コントローラ８のプレイフィールド内での位置や姿勢を追跡するコントローラトラッキングに使用される。なお、採用するトラッキング技術によっては、トラッキング用カメラ７を省略してもよい。或いは、カメラに代えて深度センサを採用するとしてもよい。

サーバシステム１１００は、ゲームシステム１０００に含まれるコンピュータシステムの１つである。本実施形態のサーバシステム１１００は、本体装置１１０１と、タッチパネル１１０８と、を有し、本体装置１１０１は、プレイ対価支払部１１１０と、制御基板１１５０とを搭載する。

プレイ対価支払部１１１０は、ゲームプレイの対価の支払いを受け付け、支払操作の検知信号を制御基板１１５０へ出力する。プレイ対価支払部１１１０は、例えば硬貨投入装置や、仮想通貨に紐付けられた情報を記憶する媒体（例えば、クレジットカード、プリペイドカード、電子マネーカード、ユーザカードなど）の読み取り装置で実現され、現金やクレジット、仮想通貨による支払いに対応する。

制御基板１１５０には、ＣＰＵ（Central Processing Unit）１１５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１１５２、通信装置１１５３が搭載されている。なお、制御基板１１５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（field-programmable gate array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。

そして、サーバシステム１１００は、制御基板１１５０が所定のプログラム及びデータに基づいて演算処理することにより、１）ユーザ登録等に係るユーザ管理機能と、２）ヘッドトラッキング及びコントローラトラッキングの機能と、３）ＨＭＤ６及びコントローラ８を１組のユーザ端末と見なしたゲーム進行に係る各種制御を実行するゲーム管理機能と、を実現する。つまり、本実施形態におけるゲームは、一種のクライアント・サーバ型のオンラインゲームとして実現される。

なお、制御基板１１５０が実行する制御は、これらに限らず、クレジットや仮想通貨によるプレイ対価の支払いに係る制御を、適宜含む。マルチプレイ用にデザインした場合には、他のサーバシステム１１００を使用する他プレーヤとのマッチング機能を行うとしてもよい。

また、本実施形態ではサーバシステム１１００を単体として記しているが、それら各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であっても良い。或いは、離れた場所に設置された独立した複数のサーバを、通信回線（有線／無線を問わない）を介してデータ通信させることで、全体としてサーバシステム１１００として機能させる構成であっても良い。

［原理の説明］
図３は、ゲーム内の小道具をプレーヤに手にとって使わせる場面における音響制御の原理について説明するための概念図である。

本実施形態のゲームは、仮想現実空間（ＶＲ空間）に配置された様々な小道具を使用して仮想現実空間の住人とコミュニケーションしながらミッションをクリアするゲームである。

以降では、小道具として電話機能を有する仮想の音響入出力装置である「仮想スマートフォン」を例示する。そして、プレーヤは、ゲーム開始直後に当該仮想スマートフォンを介して通話相手から自身が置かれている状況を理解するための前提情報を得て、通話終了後にゲーム終了条件を達成すべく本格的なゲームプレイに入るものとして説明する。
勿論、本実施形態を実際に運用するに当たっては、小道具とその役割は、音響発生物であればゲーム内容によって適宜設定可能である。例えば、オルゴールや、昆虫、想像の生物、装備品、などであってもよい。

本実施形態では、コントローラ８、又は当該コントローラを持つ手（第１の身体部位；図示の例ではプレーヤ２の右手２ｈ）は、小道具を使用するうえで位置や姿勢の参照基準となる基準体とされ、実空間におけるその位置や姿勢はトラッキング用カメラ７やコントローラ８のトラッキングにより把握される。

そして、仮想現実空間には、当該仮想現実空間における基準体に対応付けられる仮想基準体１０が用意され、実空間における基準体の位置や姿勢を追従するように制御される。本実施形態における仮想基準体１０はプレーヤ２の仮想の右手とするが、左手であってもゲーム進行には影響しない。また、ゲーム内容によっては脚でも良い。

さて、本実施形態における小道具である仮想スマートフォン１２は、仮想基準体１０との相対位置が所定の「把持状態認識条件」を満たすと、仮想基準体１０により把持されたものと見なされる。それ以降、仮想スマートフォン１２は仮想基準体１０と対応づけられ、仮想基準体１０と一体的に仮想現実空間内を移動制御されることになる。なお、一体的とは、仮想基準体１０と仮想スマートフォン１２とが一体に密着又は結合している状態に限らず、少しの距離がある近接状態にある場合も含む意味である。小道具が、仮想基準体１０にまとわりつくように移動する妖精などであれば、仮想基準体１０との間で所定の相対位置関係を維持してまとわりつくように移動する状態も一体的と言える。

また、本実施形態では、プレーヤ２の第２の身体部位として左右の耳２Ｅの位置や姿勢が、音響制御に係る基準としてトラッキングの対象とされる。具体的には、ＨＭＤ６のトラッキングにより求められるプレーヤ２の頭部の所定位置に耳２Ｅがあるものとして位置や姿勢が把握される。

そして、仮想現実空間には、当該仮想現実空間における第２の身体部位である仮想身体部位１４（本実施形態では、仮想右耳１４Ｒと仮想左耳１４Ｌ）が用意され、実空間における耳２Ｅの位置や姿勢を追従するように制御される。

さて、仮想スマートフォン１２に係る基本的な音は、仮想現実空間内に設定された立体音響場に組み込まれ、音源毎に頭外音像定位を有するように（音源までの方向と距離とを立体的に認識できるように）コントロールされた立体音響がヘッドフォン５にて放音される。つまり、仮想スマートフォン１２が音を発している状態でプレーヤ２が頭の向きを変えると、仮想スマートフォン１２の音像定位が補正される。

加えて、本実施形態では、仮想スマートフォン１２に係るリアルな使用感を演出するための各種の効果音が、仮想基準体１０又は仮想スマートフォン１２と、仮想身体部位１４との相対位置関係に応じて選択され立体音響に付加される。

では、プレーヤ２がテーブルの上に置かれている仮想スマートフォン１２を手にとって通話を開始するまでの流れに沿って、仮想スマートフォン１２に係る効果音の付加について具体的に述べる。

図４は、テーブルの上に置かれている仮想スマートフォン１２が鳴っている（着信音を発している）状態の、仮想現実空間と実空間それぞれの状況を示す図である。
仮想現実空間に配置された仮想テーブル１６の上に置かれている仮想スマートフォン１２が着信音を発している。この段階では、仮想基準体１０と仮想スマートフォン１２との距離は、所定の「把持状態認定距離条件」を満たさず、よって仮想スマートフォン１２は仮想テーブル１６の上に単に置かれており、把持されていないものと見なされる。

「把持状態認定距離条件」は、仮想スマートフォン１２（仮想オブジェクト）の仮想現実空間内の位置に基づいて定められた音響を変化させる第１の位置条件である。

この状況の音響制御としては、仮想スマートフォン１２に係る音データから「非把持状態着信音」が選択され、仮想スマートフォン１２を仮想現実空間において音響を発する音響発生物すなわち仮想音源として、環境音を含む立体音響場に組み込まれる。

ここで言う「環境音」は、仮想スマートフォン１２（仮想オブジェクト）以外を起源にする音を言う。音源不明で空間に満ちている音は勿論のこと、プレーヤ２が移動することにより発生する音も含まれる。例えば、移動により生じる歩行音、プレーヤ２が金属製の鎧を着用している設定ならば、身体を動かすことにより生じる金属が摺れたりぶつかって生じる音も含まれる。手に持っているモノを床に落としたり、手に持っているモノを他のモノにぶつけて生じる衝突音、或いは他のモノにめり込む音なども含めることができる。

つまり、仮想スマートフォン１２が音を発している状態でプレーヤ２が頭の向きを変えると、ヘッドフォン５からは、環境音を背景にして仮想スマートフォン１２の着信音が、頭の向きを変えるのに対応して音像定位補正されて聞こえてくることになる。例えば、プレーヤ２が仮想スマートフォン１２を正面に見ている状態から、頭を左９０°に向けると、仮想スマートフォン１２の音像定位は右９０°補正される。

なお、本実施形態の非把持状態着信音は、仮想スマートフォン１２から直接発せられる着信音そのものだけでなく、当該着信音（更にはバイブレータによる振動）が仮想テーブル１６に伝達してその表面から間接的に発せられる音を含んでいるようにデザインされている。

図５は、テーブルの上に置かれていた仮想スマートフォン１２をプレーヤ２が手に取った状態の、仮想現実空間と実空間それぞれの状況を示す図である。

プレーヤ２が仮想スマートフォン１２を取ろうとコントローラ８を持った手を伸ばすと、やがて仮想基準体１０と仮想スマートフォン１２との距離が把持状態認定距離条件を満たし、仮想スマートフォン１２がプレーヤ２に把持されたものと見なされる。これ以降、仮想スマートフォン１２は、仮想基準体１０に対応づけられ、以降は一緒に仮想現実空間内を移動することになる。

この状況の音響制御としては、仮想スマートフォン１２が発する音は「非把持状態着信音」から「把持状態着信音」へ切り換えられる。ここで言う「把持状態着信音」とは、着信音そのものである。

なお、把持状態認定距離条件は、仮想スマートフォン１２（仮想オブジェクト）を基準点とする位置関係を定義する位置条件と読み替えることができる。すなわち、仮想スマートフォン１２の位置を基準点として、基準体である右手２ｈ或いはコントローラ８の実空間の位置、又は当該基準体に対応する仮想基準体１０の仮想現実空間内の位置が、所与の位置関係を満たす条件、と読み替えることができる。以降の説明においても、他の「距離条件」が登場するが、同様に仮想オブジェクトを基準点とする位置関係を定義する位置条件と読み替えできる。

図６は、手に取った仮想スマートフォン１２をプレーヤ２の頭部に近づける過程の仮想現実空間と実空間それぞれの状況を示す図である。
手に取った仮想スマートフォン１２を頭部に近づける過程においては、ヘッドフォン５では、仮想スマートフォン１２を移動音源とする「把持状態着信音」と、仮想スマートフォン１２以外の音源からの音の混合音である環境音とが、立体音響制御されて放音される。つまり、ヘッドフォン５からは、プレーヤ２が手に取った仮想スマートフォン１２を耳元に近づけるにつれて、ＨＤＭ６では仮想スマートフォン１２が近づく様子が映し出され、それに応じてヘッドフォン５から聞こえてくる着信音の位置が変化しつつ、近づいた分だけ着信音の音量が徐々に大きくなってくるように音が聞こえてくる。

この状況の音響制御としては、ヘッドフォン５の左右で聞こえる音に差が生じる。すなわち、本実施形態ではプレーヤ２は右手で仮想スマートフォン１２を持って右耳に寄せるので、環境音については略左右同じ音量であるが、仮想スマートフォン１２の着信音については、立体音響制御されることによってヘッドフォン５の左側スピーカから聞こえる音量よりも右側スピーカから聞こえる音量の方が大きくなる。

図７は、手に取った仮想スマートフォン１２をプレーヤ２の耳元に近づける過程の仮想現実空間と実空間それぞれの状況を示す図である。
仮想現実空間では、仮想基準体１０及び仮想スマートフォン１２が、仮想身体部位１４（仮想右耳１４Ｒ）に、「反響音発生距離条件」を満たすほどに近づく。

「反響音発生距離条件」は、「反響音」が聞こえるようになる距離条件であって、実空間において所与の実対象物（本実施形態ではプレーヤ２の右耳）と基準体（本実施形態ではプレーヤ２の右手又はコントローラ８）とが接近したことを示す第１の距離条件である。なお、「反響音発生距離条件」は、後述する通話認定距離条件と同じとしてもよい。

また、ここで言う「反響音」とは、仮想スマートフォン１２の着信音（仮想音源を起源とする音）や環境音が、仮想身体部位１４と仮想スマートフォン１２との間で反射して生じる音である。

この状況の音響制御としては、反響音発生距離条件を満たした側のヘッドフォン５のスピーカから放音される環境音の音量は低減され、更にローパスフィルタ処理が施されて当該環境音に含まれる所定の高周波成分が低減又は削減される。これにより、仮想スマートフォン１２が仮想右耳１４Ｒに近づいたことにより環境音がこもったような感じになる現象を再現することができる。

また、仮想スマートフォン１２に関連して用意されている音データのなかから「反響音」が選択され立体音響に付加される。具体的には、反響音発生距離条件を満たした側のヘッドフォン５のスピーカから放音される立体音響に反響音が加えられる。反対側のヘッドフォン５のスピーカから放音される立体音響には反響音は加えられない。加えられる反響音の音量は、所定の上限音量まで仮想スマートフォン１２と仮想身体部位１４（仮想右耳１４Ｒ）との距離が近づくにつれて徐々に大きくなるように変更される。

図８は、手に取った仮想スマートフォン１２をヘッドフォン越しにプレーヤ２の耳に寄せきった状態の仮想現実空間と実空間それぞれの状況を示す図である。
プレーヤ２が仮想スマートフォン１２を更に仮想身体部位１４（仮想右耳１４Ｒ）へ近づけるようにアクションすると、やがて両者の距離が所定の「通話認定距離条件」を満たすほどに接近する。すると、仮想スマートフォン１２は、着信状態から通話状態に状態設定が変更され、仮想スマートフォン１２を音源とする音は、把持状態着信音から通話内容を再生する「通話音声」に変更される。

「通話認定距離条件」は、実空間において所与の実対象物（本実施形態ではプレーヤ２の右耳）と基準体（本実施形態ではプレーヤ２の右手又はコントローラ８）とが接近したことを示す第２の距離条件である。通話状態設定距離は適宜設定可能であるが、本実施形態ではヘッドフォン５が耳を被う厚さより少し大きい値とする。これにより、ヘッドフォン越しではあるが、あたかも見えないスマートフォンを耳に十分寄せると、自動的に通話状態になったかのように演出することができる。

この状況の音響制御としては、通話音声は、通話認定距離条件を満たした側のヘッドフォン５のスピーカから放音される立体音響に加えられるが、反対側のスピーカから放音される立体音響には加えられない。本実施形態では、ヘッドフォン５の右側スピーカから放音される音に加えられるが、左側スピーカから放音される音には加えられないことになる。

また、通話認定距離条件を満たした側のヘッドフォン５のスピーカから放音される立体音響では、環境音及び反響音の音量は、通話音声に切り替わる前よりも低減される。これにより、リアリティを損なわずに、ゲーム進行に重要な通話音声が明確にプレーヤ２に聞き取られるようにする。なお、低減後の環境音及び反響音の音量は「０」でもよい。

また、本実施形態では通話認定距離条件は「ノイズ発生距離条件」を兼ねており、仮想スマートフォン１２がノイズ発生距離条件を満たすほどに仮想身体部位１４（仮想右耳１４Ｒ）に接近すると、仮想スマートフォン１２に関連して用意されている音データのなかから「ノイズ音」が選択され、ノイズ発生距離条件を満たした側のヘッドフォン５のスピーカから放音される立体音響に加えられる。なお、ノイズ発生距離条件と通話認定距離条件とを違えても良い。

ここで言う「ノイズ音」とは、耳穴近傍に硬質の物体が密接すると聞こえてくる「シャー」と表現される高周波いわゆるホワイトノイズである。ゲーム内容や、小道具の設定、演出目的によっては、プレーヤの心音（例えば、ドキドキ音）などであってもよい。

また、通話認定距離条件を満たさなかった側のヘッドフォン５のスピーカから放音される立体音響では、通話音声以外の音の音量が、通話音声が再生されている間、一時的に低減されるように又は全く含まれないように制御される。これにより、プレーヤが通話音声に集中して聞き入っている状況を演出する。

このように、本実施形態では、ＨＭＤ６では見えているが、生身の手の感覚としてその重さも触感も感じられない仮想スマートフォン１２を「手に取り→頭に近づけ→耳元へ寄せ→使用開始する」までの過程の音をリアルに再現できる。すなわち、プレーヤには、仮想スマートフォン１２の相対方位や相対距離が徐々に変わってゆくように聞こえ、ある位置からは物体を耳に近づけた時に聞こえる反響音やノイズ音までも聞こえてくる。そして更に、仮想スマートフォン１２が所定の使用ポジション（実世界におけるスマートフォンを使う時と同様のポジション）に到達すると、自動的に通話音声を再生させるとともに、その他の音の音量を下げる（或いは出力しないとしても良い。）ことで、通話音声に聞き入っている状況をリアルに再現し聴かせることができる。よって、触覚やモノを持った重さの力覚を再現できないＶＲ環境であっても、リアルでリッチなＶＲ体験を提供できる。

しかも、反響音やノイズ音などの演出音は、仮想スマートフォン１２を近づけた側のヘッドフォン５のスピーカから放音する立体音響に対して適当な音量で追加するに過ぎないので少ない演算付加で実現できる。立体音響場を物理的にシミュレートできる程のリッチな演算リソースが無いゲーム装置でも実現できる。

［機能構成の説明］
図９は、本実施形態におけるサーバシステム１１００の機能構成例を示す機能ブロック図である。本実施形態におけるサーバシステム１１００は、操作入力部１００ｓと、サーバ処理部２００ｓと、音出力部３９０ｓと、画像表示部３９２ｓと、通信部３９４ｓと、サーバ記憶部５００ｓとを備える。

操作入力部１００ｓは、サーバシステム１１００の管理やゲームプレイのための各種操作を入力するための手段である。本実施形態では、図１のＨＭＤ６及びトラッキング用カメラ７は、プレーヤ２が見ている位置や方向、第２の身体部位の位置を入力する機能を果たし、トラッキング用カメラ７及びコントローラ８は、第１の身体部位の位置を入力する機能を果たす。

サーバ処理部２００ｓは、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＡＳＩＣ、ＩＣメモリなどの電子部品によって実現され、操作入力部１００ｓやサーバ記憶部５００ｓを含む各機能部との間でデータの入出力制御を行う。図１の制御基板１１５０がこれに該当する。そして、サーバ処理部２００ｓは、所定のプログラムやデータ、操作入力部１００ｓからの操作入力信号、ＨＭＤ６やコントローラ８、トラッキング用カメラ７などから受信したデータに基づいて各種の演算処理を実行して、サーバシステム１１００の動作を統合的に制御する。

具体的には、本実施形態のサーバ処理部２００ｓは、ユーザ管理部２０２と、ゲーム進行制御部２１０と、計時部２８０と、音生成部２９０ｓと、画像生成部２９２ｓと、通信制御部２９４ｓとを含む。勿論、これら以外の機能部も適宜含めることができる。

ユーザ管理部２０２は、ユーザ登録手続きに係る処理及びアカウント（ユーザＩＤ）に紐付けられるデータの記憶管理を行う。本実施形態では、１）アカウントの付与制御と、２）ゲーム内課金に使用される当該アカウントに紐付けられる仮想口座の設定と入出金制御すなわち電子決済に関する制御と、３）ログイン／ログアウトの管理と、４）ユーザに関する個人情報の登録管理と、を行う。勿論、これら以外のデータについての管理を適宜含めることもできる。

ゲーム進行制御部２１０は、ゲームの実行管理に係る各種処理を行う。具体的には、ゲーム進行制御部２１０は、基準体トラッキング部２１２と、仮想基準体位置制御部２１４と、第２身体部位トラッキング部２１６と、仮想身体部位位置制御部２１８と、仮想オブジェクト初期配置制御部２２０と、指示制御部２２２と、対応付け設定部２２４と、仮想オブジェクト位置制御部２２６と、音響出力制御部２３０と、を有する。

なお、本実施形態のゲームは、シングルプレイを前提としているが、もしＰｖＰ（Player versus Player）形式でゲームを実行する場合には、ゲーム進行制御部２１０に対戦者のマッチングに関する制御を実行させることとしてもよい。

基準体トラッキング部２１２は、ユーザの第１の身体部位又はコントローラを基準体として、その実空間における位置をトラッキングする。本実施形態では、第１の身体部位としてプレーヤ２の右手２ｈ又はコントローラ８を基準体とする（図３参照）。なお、第１身体部位は、ゲーム内容や小道具の役割によっては、左手は勿論のこと、手指、関節、脚、頭部、腹部、背、肩、額、口、鼻、などその他の部位でもよい。

仮想基準体位置制御部２１４は、仮想現実空間内に、基準体の位置に追従する仮想基準体１０（図３、図４参照）を配置し、基準体トラッキング部２１２によるトラッキングの結果に応じて、実空間内の基準体の位置や姿勢を追従するように仮想基準体１０を制御する。

第２身体部位トラッキング部２１６は、ユーザの第２の身体部位の実空間における位置をトラッキングする。本実施形態では、左右の耳２Ｅを第２の身体部とする（図３参照）。

仮想身体部位位置制御部２１８は、仮想現実空間内に、第２の身体部位の位置に追従する仮想身体部位１４を配置し、第２身体部位トラッキング部２１６によるトラッキングの結果に応じて、実空間内の第２の身体部位の位置や姿勢を追従するように仮想身体部位１４を制御する（図３参照）。

仮想オブジェクト初期配置制御部２２０は、仮想現実空間において所与の役割が設定された仮想オブジェクトを初期配置する。本実施形態では、仮想オブジェクトとして、音響発生物であり、音響入出力装置である仮想スマートフォン１２を仮想テーブル１６の上に初期配置する（図４参照）。

指示制御部２２２は、ユーザに対して、仮想基準体１０を初期配置の位置に近づけるように指示する制御を行う。

対応付け設定部２２４は、指示制御部２２２による指示の後、仮想基準体１０の位置と、仮想オブジェクトの位置又はその初期配置の位置と、が所定条件を満たした場合に、仮想オブジェクトと仮想基準体１０との対応付けを設定する。つまり、対応付け以降は、仮想オブジェクトが仮想基準体１０と一体的に移動する付帯状態にあると見なす。

仮想オブジェクト位置制御部２２６は、仮想オブジェクトの位置や姿勢を制御する。仮想オブジェクトが妖精のように自律的に行動する設定の場合は、その行動制御を実行する。本実施形態の仮想オブジェクトは仮想スマートフォン１２すなわち静物なので、対応付け設定部２２４に対応付けが設定された状態においてのみ仮想オブジェクトの位置を、基準体の位置又は仮想基準体１０の位置に対応づけて追従させる（図５〜図８参照）。

音響出力制御部２３０は、仮想現実空間の立体音響場を管理して、プレーヤが居る仮想現実空間の位置にて立体音響場から聞こえる音の出力制御を行う。特に、本実施形態では仮想オブジェクトに係り、基準体の実空間内の位置、又は、仮想オブジェクトの仮想現実空間内の位置に基づいて定められた音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って役割に応じた音響のヘッドフォン５からの出力を制御させるように音響出力制御する。

より具体的には、実空間において所与の実対象物（左右の耳２Ｅ）と基準体（右手２ｈ）とが接近したことを示す距離条件、又は、実対象物に対応する仮想現実空間内の仮想対象物（仮想身体部位１４）と仮想オブジェクト（仮想スマートフォン１２）とが接近したことを示す距離条件を、音響を変化させる位置条件として判定する（図３参照）。

そして、音響出力制御部２３０は、ユーザの左右の耳それぞれについて位置条件を満たすかを判定し、満たす場合に、ヘッドフォン５の左右出力のうちの満たしたほうの耳に対応する出力から、あたかも仮想現実空間における音響発生物が当該耳に接近したかのような立体音響を出力させる。

また、環境音の扱いに着目すると、音響出力制御部２３０は、基準体の実空間内の位置、又は、仮想オブジェクトの仮想現実空間内の位置に基づいて環境音を変化させる環境音変更制御部として機能する。
すなわち、音響を変化させる位置条件を満たさない場合には、仮想オブジェクトの役割に応じた音響を出力せずに仮想現実空間の環境音を出力させる、又は、役割に応じた音響よりも仮想現実空間の環境音の方を大きくして出力させることができる。そして、音響を変化させる位置条件を満たす場合には、仮想現実空間の前記環境音を出力せずに役割に応じた音響を出力させる、又は、仮想現実空間の環境音よりも役割に応じた音響の方を大きくして出力させる。

そしてその一環として、音響出力制御部２３０は、音響を変化させる位置条件を満たさない場合には、仮想現実空間の環境音を出力させ、位置条件を満たす場合には、仮想現実空間の環境音の大きさを小さくし、且つ、環境音の高音域を減衰させて出力させる。

また、ヘッドフォン５の左右それぞれの音量に着目すると、音響出力制御部２３０は、ユーザの左右の耳それぞれについて音響を変化させる位置条件を満たすかを判定し、満たす場合に、ヘッドフォン５の左右出力のうちの満たさなかったほうの耳に対応する出力からの出力音響を低減させる。

加えて、音響出力制御部２３０は、所与の反響音を更に出力させたり、所与のノイズ音を更に出力させることができる。

計時部２８０は、システムクロックを利用して現在日時や制限時間等の計時を行う。

音生成部２９０ｓは、音声データの生成や合成、デコードなどをする回路やＩＣ、ソフトウェアの実行により実現され、サーバシステム１１００のシステム管理やゲームプレイに係る立体音響や、操作音、ＢＧＭなどの音声データを生成或いはデコードする。そして、システム管理に関する音声やゲームプレイに係る音声の信号を音出力部３９０ｓへ出力する。

音出力部３９０ｓは、音声信号から音声を再生して放音する。図１の例ではヘッドフォン５や、タッチパネル１１０８に一体的に備えられたスピーカ（不図示）がこれに該当する。

画像生成部２９２ｓは、サーバシステム１１００のシステム管理に関する画像や、ゲームプレイに必要な画像等を生成し、画像表示部３９２ｓへ出力することができる。

画像表示部３９２ｓは、画像生成部２９２ｓから入力される画像信号に基づいてシステム管理のための各種画像や、ゲームプレイに必要な画像を表示する。例えば、フラットパネルディスプレイ、ブラウン管（ＣＲＴ）、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。図１の例では、ＨＭＤ６及びタッチパネル１１０８がこれに該当する。

通信制御部２９４ｓは、データ通信に係るデータ処理を実行し、通信部３９４ｓを介して外部装置（本実施形態では、ヘッドフォン５、ＨＭＤ６、トラッキング用カメラ７、コントローラ８）とのデータのやりとりを実現する。

通信部３９４ｓは、通信回線９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。図１の例では通信装置１１５３が該当する。

サーバ記憶部５００ｓは、サーバ処理部２００ｓにサーバシステム１１００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部２００ｓの作業領域として用いられ、サーバ処理部２００ｓが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。図１の例ではＩＣメモリ１１５２がこれに該当する。

図１０は、本実施形態のサーバ記憶部５００ｓに記憶されるプログラムやデータの例を示す図である。サーバ記憶部５００ｓは、サーバシステムプログラム５０１と、サーバプログラム５０３と、ゲーム初期設定データ５１０と、を予め記憶する。また、逐次生成・管理されるデータとして、ユーザ管理データ６００と、プレイデータ７００と、現在日時８００と、を記憶する。その他、タイマや、カウンタ、各種フラグなどの情報を適宜記憶できる。

サーバシステムプログラム５０１は、サーバ処理部２００ｓが読み出して実行することでサーバシステム１１００にコンピュータとして必要な基本的な入出力機能を実現するためのシステムプログラムである。

サーバプログラム５０３は、サーバ処理部２００ｓが読み出して実行することで、ユーザ管理部２０２、ゲーム進行制御部２１０、計時部２８０などの機能を実現させるためのプログラムである。

ゲーム初期設定データ５１０は、ゲームに関する各種初期設定データを格納する。
本実施形態では、仮想現実空間初期設定データ５１２と、仮想基準体初期設定データ５１４と、仮想スマートフォン初期設定データ５１６と、環境音データ５２０と、反響音データ５２２と、ノイズ音データ５２４と、仮想スマートフォン起源音定義データ５３０と、を含む。勿論、これら以外のデータも適宜含めることができる。

仮想現実空間初期設定データ５１２は、仮想現実空間を構成する各種オブジェクト（例えば、図４の仮想テーブル１６など）のモデルデータ、テクスチャデータ、初期配置位置データなどを格納する。

仮想基準体初期設定データ５１４は、仮想基準体１０（図４参照）のモデルデータ、テクスチャデータ、初期配置位置データなどを格納する。

仮想スマートフォン初期設定データ５１６は、仮想スマートフォン１２（図４参照）のモデルデータ、テクスチャデータ、初期配置位置データなどを格納する。

環境音データ５２０は、環境音（図６参照）の音データ又は当該音データを生成することができる基礎データである。

反響音データ５２２は、反響音（図７参照）の音データ又は当該音データを生成することができる基礎データである。

ノイズ音データ５２４は、ノイズ音（図８参照）の音データ又は当該音データを生成することができる基礎データである。

仮想スマートフォン起源音定義データ５３０は、仮想スマートフォン１２を起源とする音、逆に言えば仮想スマートフォン１２が発する各種音を定義するデータを格納する。
本実施形態では、１）非把持状態着信音（図４参照）の音データ又は当該音データを生成することができる基礎データである非把持状態着信音データ５３１と、２）把持状態着信音（図５参照）の音データ又は当該音データを生成することができる基礎データである把持状態着信音データ５３２と、３）通話音声（図８参照）の音データ又は当該音データを生成することができる基礎データである通話音声データ５３３と、４）通話終了後の音の音データ又は当該音データを生成することができる基礎データである通話終了音データ５３４と、５）当該定義データが使用される条件を定義する発音条件５３５と、を含む。

仮想スマートフォン起源音定義データ５３０に格納される起源音のデータは、非把持状態着信音データ５３１、把持状態着信音データ５３２、通話音声データ５３３、通話終了音データ５３４以外にも適宜設定可能である。仮想スマートフォン１２を音源とする音であれば、例えば、仮想スマートフォン１２が他のモノと接触や衝突した場合に生じる効果音も適宜含めることができる。仮想スマートフォン１２に精霊が宿っている設定ならば、その精霊の声も含めることができる。

発音条件５３５は、適宜設定可能である。本実施形態では、ゲーム内の所与のイベントが発生済み、実行済み又は達成済みであること（イベントクリア条件）を発音条件５３５として設定するので、イベントとの対応づけを定義する情報ともなる。具体的には、例えば、プレーヤ２がゲーム開始から所定時間仮想現実空間を歩き回って所与のキャラクタの存在を知ったこと又は知人となったことをイベントクリア条件としてこの条件を発音条件５３５としてもよい。或いは、ゲーム中で所与の状況に至ったこと（例えば通話イベントが発生したことや、所与の出来事が発生したこと等）をイベントクリア条件として発音条件５３５としてもよい。

なお、本実施形態では理解を容易にするために仮想スマートフォン起源音定義データ５３０を１つとして図示・説明しているが、実際には異なる発音条件５３５を設定し、それぞれで仮想スマートフォン起源音定義データ５３０を用意することで、１つの仮想オブジェクト（仮想スマートフォン１２）にて、様々な状況に応じて異なる内容の音（通話）を実現させることができる。

ユーザ管理データ６００は、登録ユーザ毎に用意され、固有の識別情報であるアカウントと紐付けられる各種データを格納する。一つのユーザ管理データ６００には、例えば、固有のアカウントや、登録日時、アイテム購入などの課金の支払に使用される仮想通貨口座残高、ログイン履歴データ、などを適宜含めることができる。

プレイデータ７００は、ゲームプレイ毎に用意され、ゲーム進行状況を記述する各種データを格納する。１つのプレイデータ７００は、例えば図１１に示すように、プレーヤアカウント７０１と、プレイ開始日時７０２と、ヘッドトラッキングデータ７１０と、コントローラトラッキングデータ７１２と、仮想現実空間制御データ７３０と、仮想立体音場制御データ７６０と、を含む。

仮想現実空間制御データ７３０は、仮想現実空間に設定される各種要素の制御データを格納する。本実施形態では、右眼用仮想カメラ制御データ７３２と、左眼用仮想カメラ制御データ７３３と、仮想右耳制御データ７３５と、仮想左耳制御データ７３６と、仮想右手制御データ７３７と、仮想左手制御データ７３８と、仮想スマートフォン制御データ７４０と、仮想スマートフォン起源音設定７４２と、を格納する。

プレーヤアカウント７０１は、ログインしたプレーヤの登録アカウントに設定される。
プレイ開始日時７０２は、ログイン時の現在日時８００に設定される。

ヘッドトラッキングデータ７１０及びコントローラトラッキングデータ７１２は、それぞれＨＭＤ６及びコントローラ８のプレイフィールド内の位置と姿勢の追跡データであって、トラッキング処理により逐一更新される。

右眼用仮想カメラ制御データ７３２と、左眼用仮想カメラ制御データ７３３は、仮想現実空間内におけるプレーヤ２の頭部に設定された右眼用仮想カメラ及び左眼用仮想カメラの制御データであって、それぞれ、仮想現実空間内における配置位置座標と姿勢データとを含み、ヘッドトラッキングデータ７１０に基づいて逐一変更される。右眼用仮想カメラ及び左眼用仮想カメラは、それぞれＨＭＤ６にて右眼／左眼用として表示する仮想現実空間の画像を撮影する。

仮想右耳制御データ７３５と、仮想左耳制御データ７３６は、仮想現実空間内におけるプレーヤ２の頭部に設定された仮想右耳１４Ｒ及び仮想左耳１４Ｌの制御データであって（図３参照）、それぞれ、仮想現実空間内における配置位置座標と姿勢データとを含み、ヘッドトラッキングデータ７１０に基づいて逐一変更される。本実施形態における、仮想身体部位１４の制御データに該当する。

仮想右手制御データ７３７と、仮想左手制御データ７３８は、プレーヤ２の仮想現実空間内における仮想右手及び仮想左手の制御データであって、それぞれ、仮想現実空間内における配置位置座標と姿勢データとを含み、ヘッドトラッキングデータ７１０に基づいて逐一変更される。前者が、本実施形態における仮想基準体１０（図３参照）の制御データに該当する。

仮想スマートフォン制御データ７４０は、仮想スマートフォン１２の制御データであって仮想現実空間内における配置位置座標と姿勢データとを含む。

仮想スマートフォン起源音設定７４２は、仮想スマートフォン１２を音源として発せられる音の種類の設定を格納する。本実施形態では「無音」「非把持状態着信音」「把持状態着信音」「通話音声」「通話終了音」の何れかが設定される。

仮想立体音場制御データ７６０は、仮想現実空間内の仮想立体音場を制御するための各種データを格納する。例えば、音源毎の仮想現実空間内における音源位置座標、放音方向、音量設定値、などを格納する。

［動作の説明］
次に、サーバシステム１１００における処理の流れについて説明する。ここで説明する処理の流れは、サーバ処理部２００ｓがサーバシステムプログラム５０１とサーバプログラム５０３とを実行することにより実現される。

図１２〜図１３は、プレーヤ２が仮想スマートフォン１２を手にとって通話し、ゲーム世界における自分の置かれている状況を把握し、本格的なゲーム進行が始まるまでのゲーム進行の冒頭部分の処理の流れを説明するためのフローチャートである。

先ず図１２に示すように、先ず、サーバシステム１１００は、ログインしたユーザ向けに新たなプレイデータ７００を用意して、仮想現実空間初期設定データ５１２（図１０参照）に基づいて各種オブジェクトを配置して仮想現実空間を形成し、当該仮想現実空間の立体音場を設定する（ステップＳ２）。なお、立体音響場には、環境音を生み出す音源が初期設定される。また、仮想スマートフォン１２はこの時点で仮想テーブル１６の上に未着信の状態で初期配置される。

次に、サーバシステム１１００は、プレーヤにプレイフィールドに入って、ＨＭＤ６を頭部に装着し、コントローラ８を片手で持つように促し、ヘッドトラッキングとコントローラトラッキングとを開始する（ステップＳ４）。そして、ヘッドトラッキングに応じた、仮想右眼用カメラ・仮想左眼用カメラ・仮想右耳・仮想左耳の追従制御を開始し、コントローラトラッキングに応じた、仮想右手・仮想左手の追従制御を開始する（ステップＳ６）。

次に、サーバシステム１１００は、ＨＭＤ６にて仮想空間画像（ＶＲ画像）を表示させる制御と、ヘッドフォン５にて立体音響を放音させる制御を開始する（ステップＳ８）。これにより、プレーヤ２へ仮想現実空間に居るかのような視界とサラウンド音響を提供できるようになる。

ゲームを開始したならば（ステップＳ１０）、サーバシステム１１００は発音条件５３５を満たしているかを判定する（ステップＳ２０）。

そして、発音条件５３５が満たされている場合（ステップＳ２０のＹＥＳ）、サーバシステム１１００は、仮想スマートフォン１２にて「非把持状態着信音」の発生を開始する（ステップＳ２２；図４参照）。これにより、仮想立体音場には仮想スマートフォン１２が追加され、プレーヤ２にはヘッドフォン５を介して、仮想スマートフォン１２の着信音が聞こえる。

次に、サーバシステム１１００は、プレーヤに仮想スマートフォン１２の電話にでるように促す表示を行う（ステップＳ２４）。具体的には、コントローラ８の位置に追従表示させている仮想基準体１０を仮想スマートフォン１２に近づけるように促す表示をする。なお、当該表示は省略することもできる。

プレーヤ２が仮想スマートフォン１２を取るように手を延ばし、やがて仮想基準体１０と仮想スマートフォン１２との距離が把持状態認定距離条件を満たすかを判定する（ステップＳ２６）。
当該判定は、仮想基準体１０と仮想スマートフォン１２の距離に基づいて判定するに限らず、仮想スマートフォン１２の仮想現実空間内の現在位置（本実施形態では、仮想スマートフォン１２が静物なので初期配置位置に同じ）を基準点として設定される所定範囲に、仮想基準体１０が到達したかの位置条件の判定としてもよい。

そして、当該判定の結果が肯定の場合（ステップＳ２６のＹＥＳ）、サーバシステム１１００は仮想スマートフォン１２にて発せられる音を「把持状態着信音」に変更する（ステップＳ２８）。また、仮想スマートフォン１２は仮想基準体１０（本実施形態では仮想右手）で把持されたものと見なして、両者を対応付け、仮想スマートフォン１２の位置及び姿勢を仮想基準体１０に対して所定の相対位置関係を維持するように追従させる対応付け後追従処理を開始する（ステップＳ３０；図５〜図６参照）。

また、サーバシステム１１００は、プレーヤ２が仮想スマートフォン１２を頭部に近づけるアクションを続け、やがて仮想身体部位１４（仮想右耳１４Ｒ）と、仮想スマートフォン１２又は仮想基準体１０（仮想右手）との距離Ｌが反響音発生距離条件を満たすほどに接近したかを判定する（ステップＳ４０）。

当該判定は、仮想身体部位１４と、仮想スマートフォン１２又は仮想基準体１０との距離に基づいて判定するに限らず、仮想スマートフォン１２又は仮想基準体１０が仮想身体部位１４を基準点として設定される所定範囲に到達したかの位置条件の判定としてもよい。

そして、当該判定の結果が肯定の場合（ステップＳ４０のＹＥＳ）、サーバシステム１１００は、反響音発生距離条件を満たした側（本実施形態では右側）のヘッドフォン５のスピーカから放音される立体音響の環境音について、その音量を低減するとともにローパスフィルタ処理を施して所定の高周波成分の削除を開始する（ステップＳ４２；図７参照）。そして、反響音発生距離条件を満たした側のヘッドフォン５のスピーカから放音する音に、反響音を追加する制御を開始する（ステップＳ４４）。

逆に、仮想身体部位１４と、仮想スマートフォン１２又は仮想基準体１０との距離Ｌが反響音発生距離条件を満たさなくなるように離れると（ステップＳ４０のＮＯ）、サーバシステム１１００はステップＳ４４の環境音の音量低減及び高周波成分の削除を止め（ステップＳ４６）、反響音の追加も止める（ステップＳ４８）。

更に、サーバシステム１１００は、プレーヤ２が仮想スマートフォン１２を耳元に近づけるアクションを続け、やがて仮想身体部位１４と、仮想スマートフォン１２又は仮想基準体１０との距離Ｌがノイズ発生距離条件を満たすほどに接近したかを判定する（ステップＳ６０）。

当該判定は、仮想身体部位１４と、仮想スマートフォン１２又は仮想基準体１０との距離に基づいて判定するに限らず、仮想スマートフォン１２又は仮想基準体１０が仮想身体部位１４を基準点として設定される所定範囲に到達したかの位置条件の判定としてもよい。

そして、当該判定の結果が肯定の場合（ステップＳ６０のＹＥＳ）、サーバシステム１１００は、ヘッドフォン５の右側スピーカから放音する立体音響にノイズ音を追加する制御を開始する（ステップＳ６２；図８参照）。逆に、ノイズ発生距離条件を満たさなくなると（ステップＳ６０のＮＯ）、ノイズ音を追加する制御を止める（ステップＳ６４）。

次いで、サーバシステム１１００は、仮想身体部位１４と、仮想スマートフォン１２又は仮想基準体１０との距離Ｌが通話認定距離条件を満たすかを判定する（ステップＳ７０）。
換言すると、プレーヤ２の右の耳２Ｅ（第２の身体部位；図２参照）と言う実対象物に対応する仮想現実空間内の仮想対象物である仮想身体部位１４（仮想右耳１４Ｒ）と、仮想オブジェクトである仮想スマートフォン１２とがある閾値以上に接近したことを判定する。

また、当該判定は、仮想身体部位１４と、仮想スマートフォン１２又は仮想基準体１０との距離に基づいて判定するに限らず、仮想スマートフォン１２又は仮想基準体１０が仮想身体部位１４を基準点として設定される所定範囲に到達したかの位置条件の判定としてもよい。

そして、当該判定の結果が肯定の場合（ステップＳ７０のＹＥＳ）、サーバシステム１１００は、仮想スマートフォン１２から発する音を「通話音声」に切り換える（ステップＳ７２；図８参照）。

更に、サーバシステム１１００は、通話音声以外の音量を低減させる（ステップＳ７４）。具体的には、通話音声の内容は、ゲーム内容に応じて適宜設定される。本実施形態では、通話相手が電話越しにプレーヤが置かれている状況とゲーム終了条件を理解するための情報を提供する内容とする。そして、サーバシステム１１００は、ヘッドフォン５の仮想スマートフォン１２を近づけた側（本実施形態では右側）のスピーカから放音される立体音響のうち、通話音声以外の音成分を通話音声開始前の状態より低減させて通話音声が主に聞こえるようにする。また、ヘッドフォン５の仮想スマートフォン１２を近づけたのとは反対側（本実施形態では左側）のスピーカから放音される立体音響全体の音量を、右側よりも小さくなるように低減する。

通話音声が終了すると（ステップＳ８０）、サーバシステム１１００は仮想スマートフォン１２が発する音を「通話終了音」に切り換え（ステップＳ８２）、ステップＳ７４で開始した音量低減を解除する（ステップＳ８４）。そして、先の仮想の通話によりプレーヤには十分な前提情報が提供されたものと見なし、サーバシステム１１００はゲーム終了まで本格的なゲーム進行制御を行う（ステップＳ８６）。

ゲーム終了が満たされれば（ステップＳ８８のＹＥＳ）、サーバシステム１１００は一連の処理を終了する。

以上、本実施形態によれば、仮想現実空間内にてユーザに仮想の小道具を使わせる場面における臨場感をより高めることができるＶＲに係る音響制御技術を提供することができる。

なお、本実施形態では、ゲームに登場させる小道具は仮想スマートフォンと仮定して説明したが、実際に運用するに当たっては様々な種類の小道具を登場させることができる。その場合でも、それぞれの小道具について本実施形態の仮想スマートフォン１２と同様に処理すれば何れの小道具を登場させても同様の効果を得ることができる。

〔変形例〕
以上、本発明を適用した実施形態の一例について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。

［その１］
例えば、上記実施形態では、仮想現実空間に配置された様々な小道具を使用して仮想現実空間の住人とコミュニケーションしながらミッションをクリアするゲームとして説明したが、ゲームのジャンルや内容は適宜設定可能である。また、ゲームではなく、仮想の世界を旅したり探索するといったＶＲ体験を提供するものであってもよい。

［その２］
また、登場させる仮想オブジェクトの種類や数は適宜設定可能である。仮想現実空間におけるモノとしての役割に応じて、その仮想現実空間におけるサイズや特性も適宜設定可能である。

もし、複数種類の仮想オブジェクトを登場させる場合には、その初期設定データと当該仮想オブジェクトの起源音定義データを登場させる種類別に用意すればよい。上記実施形態の例で言えば、機種違いの複数台の仮想スマートフォン１２を登場させる場合には、仮想スマートフォン初期設定データ５１６と、仮想スマートフォン起源音定義データ５３０とにそれぞれ固有の仮想オブジェクトＩＤのデータを含ませ、機種毎に紐付けられるように用意すればよい（図１０参照）。

また、仮想オブジェクトは仮想スマートフォン１２に限らない。仮想オブジェクトのサイズは手で持てるサイズであっても良いし、プレーヤが動かすことができないものであってもよい。具体的には、仮想オブジェクトを仮想現実空間における壁に設定し、基準体及び第２の身体部位を左右の耳に設定すれば、プレーヤが当該壁に耳を当てると或いは壁に接近すると、あたかも壁の向こうの音が聞こえてくるかのような音響をヘッドフォン５で再現することもできる。

［その３］
また、トラッキング技術は適宜選定可能であると述べたが、例えば図１４で示すゲームシステム１０００Ｂのように、プレーヤ２を正面から撮影するカメラや、プレーヤ２の正面各部までの距離を測定する測距センサを備えたセンサユニット７０を用いて、プレーヤ２の骨格の動作を認識するタイプのジェスチャー認識技術を用いて、上記実施形態のヘッドトラッキング及びコントローラトラッキングの代用とすることができる。この場合、コントローラ８をトラッキングするというよりも、コントローラ８を持つ第１の身体部位（手）をトラッキングすることになる。

そして、ジェスチャー認識により全身骨格の動作が認識できるならば、上記実施形態における仮想右耳１４Ｒに該当する第２の身体部位は、耳に限らず適宜設定可能である。
また、小道具の役割は、移動可能な音源に限らず、仮想現実空間において音響を入力する音響入力機器としての役割を設定してもよい。例えば、マイクのような持ち運び可能で集音した音をヘッドフォン５で聴くことができる小道具（例えば仮想集音装置１７）を設定することもできる。

より具体的には、図１５に示すように、第２の身体部位をプレーヤ２の心臓２ｔとして、仮想現実空間に仮想身体部位として不可視の仮想心臓１４ｔを設定する。また、仮想集音装置１７が集音する音は「無音」を初期設定しておく。
ゲームが開始され、仮想集音装置１７がプレーヤ２によって胸元に移動され、仮想集音装置１７と仮想心臓１４ｔとの相対位置が集音可能距離条件を満たすほどに近接すると、仮想集音装置１７が集音した音を所定の「心音（第２の身体部位での発生音響）」に切り換えて、ヘッドフォン５にて心音を再生させるとしてもよい。環境音、反響音、ノイズ音の扱いは上記実施形態と同様でもよい。

また、別の例として次のような割り当ての構成も可能である。
第１の基準体＝プレーヤの右手（第１の身体部位Ａ）
第２の基準体＝プレーヤの左手（第１の身体部位Ｂ）
第１の仮想基準体＝仮想の右手
第２の仮想基準体＝仮想の左手
第２の身体部位＝プレーヤの胴体
仮想オブジェクトと役割＝変身機能を内蔵したベルトバックル型アイテム

そして、仮想オブジェクトに係る音響を次のように制御すると、変身ヒーローの変身ベルトを仮想現実空間で再現できる。
１）初期状態の音響は無音（仮想オブジェクトは未作動を意味する）。
２）仮想オブジェクトと仮想の右手又は仮想の左手とが接近すると、仮想オブジェクトと仮想の右手又は仮想の左手とを対応づけ、以降、仮想オブジェクトは仮想の右手又は仮想の左手に合わせて追従移動させる。
３）仮想オブジェクトが第２の身体部位に接近すると、仮想オブジェクトと仮想の右手又は仮想の左手との対応づけを解除。新たに、仮想オブジェクトと第２の身体部位とを対応づけ、仮想オブジェクトはプレーヤの腰部前面に密着配置させ、音響を作動準備音に変更。
４）仮想右手と仮想左手をそれぞれ仮想オブジェクトの右側と左側に寄せると、音響を作動音に変更し、変身機能を仮想現実空間内で発揮。

２…プレーヤ
２Ｅ…耳
２ｈ…右手
２ｔ…心臓
５…ヘッドフォン
６…ＨＭＤ（Head Mounted Display）
７…トラッキング用カメラ
８…コントローラ
１０…仮想基準体
１２…仮想スマートフォン
１４…仮想身体部位
１４Ｒ…仮想右耳
１４ｔ…仮想心臓
１７…仮想集音装置
７０…センサユニット
２００ｓ…サーバ処理部
２１０…ゲーム進行制御部
２１２…基準体トラッキング部
２１４…仮想基準体位置制御部
２１６…第２身体部位トラッキング部
２１８…仮想身体部位位置制御部
２２０…仮想オブジェクト初期配置制御部
２２２…指示制御部
２２４…対応付け設定部
２２６…仮想オブジェクト位置制御部
２３０…音響出力制御部
５００ｓ…サーバ記憶部
５０３…サーバプログラム
５１０…ゲーム初期設定データ
５１２…仮想現実空間初期設定データ
５１４…仮想基準体初期設定データ
５１６…仮想スマートフォン初期設定データ
５２０…環境音データ
５２２…反響音データ
５２４…ノイズ音データ
５３０…仮想スマートフォン起源音定義データ
５３１…非把持状態着信音データ
５３２…把持状態着信音データ
５３３…通話音声データ
５３４…通話終了音データ
７００…プレイデータ
７１０…ヘッドトラッキングデータ
７１２…コントローラトラッキングデータ
７２８…仮想左手制御データ
７３０…仮想現実空間制御データ
７３２…右眼用仮想カメラ制御データ
７３３…左眼用仮想カメラ制御データ
７３５…仮想右耳制御データ
７３６…仮想左耳制御データ
７３７…仮想右手制御データ
７４０…仮想スマートフォン制御データ
７４２…仮想スマートフォン起源音設定
７６０…仮想立体音場制御データ
１０００、１０００Ｂ…ゲームシステム
１１００…サーバシステム
１１５０…制御基板
Ｌ…距離

Claims (16)

1. コンピュータに、仮想現実空間と実空間とを対応づけさせて、ユーザが装着するヘッドトラッキング型のＨＭＤ（ヘッドマウントディスプレイ）に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させるためのプログラムであって、
   前記ユーザの第１の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段、
   前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段、
   前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段、
   として前記コンピュータを機能させるためのプログラム。
2. 前記音響出力制御手段は、前記位置条件を満たさない場合には、前記役割に応じた音響を出力せずに前記仮想現実空間の環境音を出力させる、又は、前記役割に応じた音響よりも前記仮想現実空間の環境音の方を大きくして出力させ、前記位置条件を満たす場合には、前記仮想現実空間の前記環境音を出力せずに前記役割に応じた音響を出力させる、又は、前記仮想現実空間の前記環境音よりも前記役割に応じた音響の方を大きくして出力させる、
   請求項１に記載のプログラム。
3. 前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて前記環境音を変化させる環境音変更制御手段、
   として前記コンピュータを更に機能させる請求項１又は２に記載のプログラム。
4. 前記音響出力制御手段は、前記実空間において所与の実対象物と前記基準体とが接近したことを示す距離条件、又は、前記実対象物に対応する前記仮想現実空間内の仮想対象物と前記仮想オブジェクトとが接近したことを示す距離条件を、前記位置条件として前記判定を行う、
   請求項１〜３の何れか一項に記載のプログラム。
5. 前記仮想オブジェクトは、前記仮想現実空間において音響を発する音響発生物として前記役割が設定されており、
   前記音響出力制御手段は、前記実対象物を前記ユーザの耳として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響発生物が前記ユーザの耳に接近したかのような音響を前記ヘッドフォンから出力させる、
   請求項４に記載のプログラム。
6. 前記仮想オブジェクトは、電話機能を有する音響出力機器として前記役割が設定されており、
   前記音響出力制御手段は、前記役割に応じた音響として前記電話機能による通話音声を出力させる、
   請求項５に記載のプログラム。
7. 前記音響出力制御手段は、前記位置条件を満たさない場合には、前記電話機能による前記通話音声を出力させず、前記電話機能による着信音を出力させ、前記位置条件を満たす場合には、前記電話機能による前記着信音を出力させず、前記電話機能による前記通話音声を出力させる、
   請求項６に記載のプログラム。
8. 前記音響出力制御手段は、前記位置条件を満たさない場合には、前記仮想現実空間の環境音を出力させ、前記位置条件を満たす場合には、前記仮想現実空間の環境音の大きさを小さくし、且つ、前記環境音の高音域を減衰させて出力させる、
   請求項６又は７に記載のプログラム。
9. 前記音響出力制御手段は、前記位置条件を満たす場合に、所与の反響音を更に出力させる、
   請求項６〜８の何れか一項に記載のプログラム。
10. 前記音響出力制御手段は、前記位置条件を満たす場合に、所与のノイズ音を更に出力させる、
    請求項６〜９の何れか一項に記載のプログラム。
11. 前記音響出力制御手段は、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たしたほうの耳に対応する出力から、あたかも前記仮想現実空間における前記音響発生物が当該耳に接近したかのような音響を出力させる、
    請求項５〜１０の何れか一項に記載のプログラム。
12. 前記音響出力制御手段は、前記ユーザの左右の耳それぞれについて前記位置条件を満たすかを判定し、満たす場合に、前記ヘッドフォンの左右出力のうちの満たさなかったほうの耳に対応する出力からの出力音響を低減させる、
    請求項１１に記載のプログラム。
13. 前記仮想オブジェクトは、前記仮想現実空間において音響を入力する音響入力機器として前記役割が設定されており、
    前記音響出力制御手段は、前記実対象物を前記ユーザの第２の身体部位として前記位置条件を満たすかを判定することで、あたかも前記仮想現実空間における前記音響入力機器が前記ユーザの前記第２の身体部位での発生音響を入力したかのような前記発生音響を前記ヘッドフォンから出力させる、
    請求項４に記載のプログラム。
14. 前記音響出力制御手段は、所与のイベントの発生済み、実行済み又は達成済みであることを示すイベントクリア条件を満たしているか否かで、前記位置条件を満たした場合の前記音響を変更する、
    請求項１〜１３の何れか一項に記載のプログラム。
15. 前記仮想現実空間内に、前記基準体の位置に追従する仮想基準体を配置制御する仮想基準体位置制御手段、
    前記仮想現実空間に前記仮想オブジェクトを初期配置する初期配置手段、
    前記ユーザに対して、前記仮想基準体を前記初期配置の位置に近づけるように指示する指示手段、
    前記指示の後、前記仮想基準体の位置と前記初期配置の位置とが所定条件を満たした場合に、前記仮想オブジェクトと前記基準体との対応付けを設定する対応付け設定手段、
    として前記コンピュータを更に機能させ、
    前記仮想オブジェクト位置制御手段は、前記対応付け設定手段による設定後に、前記仮想オブジェクトの位置を前記基準体の位置に対応づけて追従させる、
    請求項１〜１４の何れか一項に記載のプログラム。
16. 仮想現実空間と実空間とを対応づけて、ユーザが装着するヘッドトラッキング型のＨＭＤ（ヘッドマウントディスプレイ）に前記仮想現実空間の画像を表示させ、前記ユーザが装着するヘッドフォンに前記仮想現実空間の音響を出力させる仮想現実体験提供装置であって、
    前記ユーザの第１の身体部位又はコントローラを基準体として前記実空間内の前記基準体の位置をトラッキングする基準体トラッキング手段と、
    前記仮想現実空間において所与の役割が設定された仮想オブジェクトの位置を、前記基準体の位置に対応づけて追従させる仮想オブジェクト位置制御手段と、
    前記基準体の前記実空間内の位置、又は、前記仮想オブジェクトの前記仮想現実空間内の位置に基づいて定められた前記音響を変化させる位置条件を満たすか否かを判定し、判定結果に従って前記役割に応じた音響の前記ヘッドフォンからの出力を制御させる音響出力制御手段と、
    を備えた仮想現実体験提供装置。

Images