JP2018011193A - 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】仮想空間内における音声を利用したユーザ間のコミュニケーションを工夫することで、仮想空間のエンターテイメント性を向上させる。【解決手段】情報処理方法は、仮想カメラ３００と、マイク１１８に入力される音声を発生する音源オブジェクトＭＣと、集音オブジェクトＨＣとを含む仮想空間２００を示す仮想空間データを生成するステップと、ＨＭＤ１１０の動きに応じて、仮想カメラ３００の視野ＣＶを決定するステップと、仮想カメラ３００の視野ＣＶと仮想空間データに基づいて、視野画像データを生成するステップと、視野画像データに基づいて、ＨＭＤ１１０に視野画像Ｖを表示させるステップと、マイク１１８に入力された音声を示す音声データを取得するステップと、前記音声データを加工するステップと、マイク１１８に音声が入力されてから所定期間経過後に、前記加工された音声データに対応する音声をヘッドフォン１１６に出力させるステップとを含む。【選択図】図１１

Description

本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

特許文献１には、ゲームプログラムの実行中に、ゲーム空間内の視点となる移動体が移動した場合又は音源が移動した場合に、移動体と音源との間の相対位置関係を算出し、算出された相対位置関係に基づいた定位パラメータにより音源から出力される音声を加工する処理（音像定位処理）が開示されている。

特開２００７−０５０２６７号公報

しかしながら、特許文献１では、仮想空間（ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間ともいう。）内において、音声入力部（例えば、マイク）に入力された音声を利用したユーザ間のコミュニケーション（換言すれば、自己が操作する自己アバターオブジェクトと他のユーザが操作する他のアバターオブジェクトとの間の音声コミュニケーション）を実現する手段については何ら開示されていない。

本開示は、仮想空間内における音声を利用したユーザ間のコミュニケーションを工夫することで、仮想空間のエンターテイメント性を向上させることが可能な情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示が示す一態様によれば、ヘッドマウントディスプレイと、音声入力部と、音声出力部とを有するユーザ端末を備えたシステムにおける情報処理方法が提供される。
当該情報処理方法は、
（ａ）仮想カメラと、前記音声入力部に入力される音声を発生する音源オブジェクトと、集音オブジェクトとを含む仮想空間を示す仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
（ｃ）前記仮想カメラの視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
（ｄ）前記視野画像データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｅ）前記音声入力部に入力された音声を示す音声データを取得するステップと、
（ｆ）前記音声データを加工するステップと、
（ｇ）前記音声入力部に前記音声が入力されてから所定期間経過後に、前記加工された音声データに対応する音声を前記音声出力部に出力させるステップと、
を含む。

本開示によれば、仮想空間内における音声を利用したユーザ間のコミュニケーションを工夫することで、仮想空間のエンターテイメント性を向上させることが可能な情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラムを提供することができる。

ゲームシステムの構成を示す概略図である。 本ヘッドマウントディスプレイ（ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 （ａ）は、図６に示す仮想空間のｙｘ平面図である。（ｂ）は、図６に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 音反射オブジェクトが生成される前の仮想空間を示す図である。 本実施形態に係る情報処理方法を説明するためのフローチャートである。 音反射オブジェクトを含む仮想空間を示す図である。

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ヘッドマウントディスプレイと、音声入力部と、音声出力部とを有するユーザ端末を備えたシステムにおける情報処理方法であって、
（ａ）仮想カメラと、前記音声入力部に入力される音声を発生する音源オブジェクトと、集音オブジェクトとを含む仮想空間を示す仮想空間データを生成するステップと、
（ｂ）前記ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
（ｃ）前記仮想カメラの視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
（ｄ）前記視野画像データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
（ｅ）前記音声入力部に入力された音声を示す音声データを取得するステップと、
（ｆ）前記音声データを加工するステップと、
（ｇ）前記音声入力部に前記音声が入力されてから所定期間経過後に、前記加工された音声データに対応する音声を前記音声出力部に出力させるステップと、
を含む、情報処理方法。

上記方法によれば、音声入力部に音声が入力されてから所定期間経過後に、加工された音声データに対応する音声が音声出力部に出力される。このように、例えば、ユーザ端末のユーザ（以下、単に第１ユーザという。）が、仮想空間上に配置された味方アバターオブジェクトを操作するユーザ（以下、単に第２ユーザという。）と音声を通じてコミュニケーションを図っているときに、第１ユーザの音声が音声出力部から所定期間経過後に出力される。この結果、第１ユーザは、音声出力部から出力された自身の音声によって、第２ユーザとの音声コミュニケーションを妨害される。従って、仮想空間内における音声を利用したユーザ間のコミュニケーションを工夫することで、仮想空間のエンターテイメント性を向上させることが可能な情報処理方法を提供することができる。

（２）前記仮想空間は、敵オブジェクトをさらに含み、
前記方法は、
（ｈ）前記敵オブジェクトが前記ユーザ端末に関連付けられたアバターオブジェクトに所定の作用を及ぼしたかどうかを判定するステップをさらに含み、
前記敵オブジェクトが前記アバターオブジェクトに前記所定の作用を及ぼしたと判定された場合に、前記ステップ（ｆ）及び前記ステップ（ｇ）が実行される、項目（１）に記載の情報処理方法。

上記方法によれば、敵オブジェクトがアバターオブジェクトに所定の作用を及ぼしたときに、音声データが加工されて、音声入力部に音声が入力されてから所定期間経過後に、加工された音声データに対応する音声が音声出力部に出力される。このように、例えば、敵オブジェクトがアバターオブジェクトに所定の作用を及ぼしたときに（例えば、敵オブジェクトがアバターオブジェクトに攻撃を仕掛けたときに）、第１ユーザは、音声出力部から出力された自身の音声によって、第２ユーザとの音声コミュニケーションを妨害される。このように、仮想空間内における音声を利用したユーザ間のコミュニケーションを工夫することで、仮想空間のエンターテイメント性を向上させることが可能な情報処理方法を提供することができる。

（３）前記仮想空間は、
前記仮想空間内を伝搬する音声を反射する反射体として規定されると共に、前記音源オブジェクトと前記集音器オブジェクトとを囲うように配置された音反射オブジェクトをさらに含み、
前記ステップ（ｆ）では、前記音反射オブジェクトの特性に基づいて、前記音声データが加工される、項目（１）又は（２）に記載の情報処理方法。

上記方法によれば、仮想空間内に配置された音反射オブジェクトの特性に基づいて、音声データが加工されて、当該加工された音声データに対応する音声が音声出力部に出力される。このように、音反射オブジェクトによって規定された閉空間を多重反射した反響音を音声出力部に出力することができる。

（４）前記音反射オブジェクトの反射率は、第１の値に設定されていると共に、前記音反射オブジェクトの透過率は、第２の値に設定されている、項目（３）に記載の情報処理方法。

上記方法によれば、音反射オブジェクトの反射率が第１の値に設定されていると共に、音反射オブジェクトの透過率が第２の値に設定されている。このため、第１ユーザは、自身の音声により、第２ユーザとの音声コミュニケーションを妨害される。一方、第２ユーザは、第１ユーザが発した音声を聞くことができる共に、第１ユーザは、第２ユーザが発した音声を聞くことができる。このように、仮想空間のエンターテイメント性を向上させることができる。さらに、第１ユーザは、他の音源オブジェクトが発する音声を聞くことができるので、仮想空間への第１ユーザの没入感（仮想空間に対する臨場感）が過度に損なわれることが防止される。

（５）前記音反射オブジェクトの中心位置は、前記音源オブジェクト及び前記集音器オブジェクトのうちの少なくとも一つの中心位置と一致しており、
前記音反射オブジェクトは、所定の直径を有する球状に形成され、
前記ステップ（ｆ）では、前記音反射オブジェクトの反射率と前記音反射オブジェクトの直径に基づいて、前記音声データが加工される、項目（４）に記載の情報処理方法。

上記方法によれば、音反射オブジェクトの反射率と音反射オブジェクトの直径に基づいて、音声データが加工され、当該加工された音声データに対応する音声が音声出力部に出力される。このように、音反射オブジェクトによって規定された閉空間を反射した反響音を音声出力部に出力することができる。

（６）前記音反射オブジェクトは、透明であって、前記視野画像内に表示されない、項目（３）から（５）のうちいずれか一項に記載の情報処理方法。

上記方法によれば、音反射オブジェクトが視野画像内に表示されないので、仮想空間への第１ユーザの没入感（仮想空間に対する臨場感）が損なわれることを防止することができる。

（７）項目（１）から（６）のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。

上記によれば、仮想空間内における音声を利用したユーザ間のコミュニケーションを工夫することで、仮想空間のエンターテイメント性を向上させることが可能なプログラムを提供することができる。

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

本開示の実施形態（以下、単に本実施形態という。）に係る情報処理方法を実現するゲームシステム１００の構成について図１を参照して説明する。図１は、ゲームシステム１００の構成を示す概略図である。図１に示すように、ゲームシステム１００は、ユーザＸが操作するヘッドマウントディスプレイ（以下、単にＨＭＤという。）システム１Ａ（第１ユーザ端末の一例）と、ユーザＹが操作するＨＭＤシステム１Ｂ（第２ユーザ端末の一例）と、ユーザＺが操作するＨＭＤシステム１Ｃ（第３ユーザ端末の一例）と、ＨＭＤシステム１Ａ〜１Ｃを同期制御するゲームサーバ２を備える。ＨＭＤシステム１Ａ，１Ｂ，１Ｃとゲームサーバ２は、インターネット等の通信ネットワーク３を介して互いに通信可能に接続されている。尚、本実施形態では、ＨＭＤシステム１Ａ〜１Ｃとゲームサーバ２とからなるクライアントサーバシステムが構築されているが、ゲームサーバ２を設けずに、ＨＭＤシステム１ＡとＨＭＤシステム１ＢとＨＭＤシステム１Ｃが相互に直接通信（Ｐ２Ｐ通信）を行ってもよい。また、説明の便宜上、ＨＭＤシステム１Ａ，１Ｂ，１Ｃを単にＨＭＤシステム１という場合がある。また、ＨＭＤシステム１Ａ，１Ｂ，１Ｃは、同一の構成を備えているものとする。

次に、図２を参照してＨＭＤシステム１の構成について説明する。図２は、ＨＭＤシステム１を示す概略図である。図２に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、ユーザＵの両耳に装着されたヘッドフォン１１６（音声出力部の一例）と、ユーザＵの口の周辺に位置するマイク１１８（音声入力部の一例）と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。

ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備えている。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用の表示部とユーザＵの右目に画像を提供するように構成された右目用の表示部から構成されてもよい。

ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。

注視センサ１４０は、ユーザＵの視線方向を検出するアイトラッキング機能を有する。
注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。

ヘッドフォン１１６は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドフォン１１６の右耳用のスピーカに出力される音声は、ヘッドフォン１１６の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置１２０は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを生成し、当該異なる２つの音声データをヘッドフォン１１６の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。尚、音声出力部の他の一例として、独立した２つの据置型スピーカやイヤホンを設けてもよい。

マイク１１８は、ユーザＵから発声された音声を収集し、当該収集された音声に基づいて音声データ（電気信号）を生成するように構成されている。さらに、マイク１１８は、音声データを制御装置１２０に送信するように構成されている。マイク１１８は、音声データをＡＤ（Ａｎａｌｏｇ−ｔｏ―Ｄｉｇｉｔａｌ）変換する機能を有してもよい。また、マイク１１８は、ヘッドフォン１１６に物理的に接続されてもよい。制御部１２１は、受信した音声データを加工し、加工された音声データを通信ネットワーク３を介して他のＨＭＤシステムに送信してもよい。

位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。

外部コントローラ３２０は、例えば、仮想空間内に表示される手指オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵが右手に持って使用する右手用外部コントローラと、ユーザＵが左手に持って使用する左手用外部コントローラを有してもよい。右手用外部コントローラは、ユーザＵの右手の位置や右手の手指の動きを検出する装置である。左手用外部コントローラは、ユーザＵの左手の位置や左手の手指の動きを検出する装置である。外部コントローラ３２０は、複数の操作ボタンと、複数の検知点と、センサと、トランシーバとを備えてもよい。例えば、外部コントローラ３２０の操作ボタンがユーザＵに操作されることで、仮想空間内にメニューオブジェクトが表示されてもよい。さらに、外部コントローラ３２０の操作ボタンがユーザＵに操作されることで、仮想空間上におけるユーザＵの視野が変更されてもよい（つまり、視野画像が変更されてもよい）。この場合、外部コントローラ３２０から出力される操作信号に基づいて、制御装置１２０は、仮想カメラを所定の位置に移動させてもよい。

制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０から取得された情報に基づいて、外部コントローラ３２０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間内に表示される手指オブジェクトの位置と現実空間における外部コントローラ３２０とＨＭＤ１１０との間の相対関係位置を正確に対応付けることができる。

また、制御装置１２０は、注視センサ１４０から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの視線方向を特定することができる。ここで、ユーザＵの視線方向は、ユーザＵの両目の視線方向であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。

次に、図３を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図３は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。

次に、図４を参照することで、制御装置１２０のハードウェア構成について説明する。図４は、制御装置１２０のハードウェア構成を示す図である。図４に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。

制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。

制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるためのプログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーションプログラム（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を表示する。これにより、ユーザＵは、表示部１１２に表示された仮想空間に没入することができる。

記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法をコンピュータに実行させるプログラムを格納してもよい。また、ユーザＵの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。

Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とのそれぞれと無線接続されていてもよい。

通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してゲームサーバ２等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。

次に、図５から図８を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図５は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図６は、仮想空間２００の一例を示すｘｙｚ空間図である。図７（ａ）は、図６に示す仮想空間２００のｙｘ平面図である。図７（ｂ）は、図６に示す仮想空間２００のｚｘ平面図である。図８は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。

図５に示すように、ステップＳ１において、制御部１２１（図４参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図６では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図８参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。

次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図７参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。また、視野ＣＶは、図７（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図７（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、ユーザＵの視線方向を特定し、ユーザＵの視線方向に基づいて仮想カメラ３００の向きを決定してもよい。

このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを変化させることができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを変化させることができる。同様に、ユーザＵの視線方向が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、仮想カメラ３００の視野ＣＶを移動させることができる。つまり、制御部１２１は、ユーザＵの視線方向の変化に応じて、視野ＣＶを変化させることができる。

次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。

次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図７参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。

尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データと右目用視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に左目用視野画像と右目用視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像から、視野画像を３次元画像として視認することができる。尚、本明細書では、説明の便宜上、仮想カメラ３００の数は一つとする。勿論、本開示の実施形態は、仮想カメラの数が２つの場合でも適用可能である。

次に、本実施形態に係る情報処理方法について図９から図１１を参照して説明する。図９は、音反射オブジェクト４００（図１１参照）が生成される前の仮想空間２００を示す図である。図１０は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図１１は、音反射オブジェクト４００を含む仮想空間２００を示す図である。

最初に、図９に示すように、仮想空間２００は、仮想カメラ３００と、音源オブジェクトＭＣと、自己アバターオブジェクト（図示せず）と、集音オブジェクトＨＣと、味方アバターオブジェクトＦＣと、敵アバターオブジェクトＥＣとを含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。

仮想カメラ３００は、ユーザＸが操作するＨＭＤシステム１Ａに関連付けられている。つまり、ユーザＸが装着するＨＭＤ１１０の動きに応じて仮想カメラ３００の位置や向き（つまり、仮想カメラ３００の視野ＣＶ）が変更される。本実施形態では、ユーザＸに提供される仮想空間の視点は一人称視点であるため、仮想カメラ３００は、図示しない自己アバターオブジェクトと一体的に構成されている。一方、ユーザＸに提供される仮想空間の視点が三人称視点である場合、仮想カメラ３００の視野内に自己アバターオブジェクトが表示される。

音源オブジェクトＭＣは、マイク１１８に入力されたユーザＸ（図１参照）の音声の音源として規定されており、仮想カメラ３００と一体的に構成されている。音源オブジェクトＭＣと仮想カメラ３００が一体的に構成されている場合、仮想カメラ３００は、音源の機能を有すると解釈してもよい。また、音源オブジェクトＭＣは透明であってもよい。この場合、音源オブジェクトＭＣは視野画像Ｖ上には表示されない。尚、音源オブジェクトＭＣは、仮想カメラ３００と分離していてもよい。例えば、音源オブジェクトＭＣは、仮想カメラ３００に近接していると共に、仮想カメラ３００に追従してもよい（つまり、音源オブジェクトＭＣは、仮想カメラ３００の動きに応じて移動してもよい）。

同様に、集音オブジェクトＨＣは、仮想空間２００上を伝搬する音声を集音する集音器として規定されており、仮想カメラ３００と一体的に構成されている。集音オブジェクトＨＣと仮想カメラ３００が一体的に構成されている場合、仮想カメラ３００は、集音器の機能を有すると解釈してもよい。また、集音オブジェクトＨＣは透明であってもよい。尚、集音オブジェクトＨＣは、仮想カメラ３００と分離していてもよい。例えば、集音オブジェクトＨＣは、仮想カメラ３００に近接していると共に、仮想カメラ３００に追従してもよい（つまり、集音オブジェクトＨＣは、仮想カメラ３００の動きに応じて移動してもよい）。

味方アバターオブジェクトＦＣは、ユーザＹが操作するＨＭＤシステム１Ｂに関連付けられている。つまり、味方アバターオブジェクトＦＣは、ユーザＹのアバターオブジェクトであって、ユーザＹの操作により制御される。また、味方アバターオブジェクトＦＣは、マイク１１８に入力されたユーザＹの音声の音源および仮想空間２００上を伝搬する音声を収集する集音器として機能してもよい。換言すれば、味方アバターオブジェクトＦＣは、音源オブジェクト及び集音オブジェクトと一体的に構成されてもよい。

敵アバターオブジェクトＥＣは、ユーザＺの操作により制御される。つまり、敵アバターオブジェクトＥＣは、ユーザＺの操作により制御される。また、敵アバターオブジェクトＥＣは、マイク１１８に入力されたユーザＺの音声の音源および仮想空間２００上を伝搬する音声を収集する集音器として機能してもよい。換言すれば、敵アバターオブジェクトＥＣは、音源オブジェクト及び集音オブジェクトと一体的に構成されてもよい。本実施形態では、ユーザＸ〜Ｚが、多人数が参加可能なオンラインゲームをプレイしている場合、ユーザＸとユーザＹが味方同士である一方、ユーザＺはユーザＸ，Ｙに対して敵となることを前提としている。尚、本実施形態では、敵アバターオブジェクトＥＣは、ユーザＺにより操作されているが、敵アバターオブジェクトＥＣはコンピュータプログラム（ＣＰＵ）によって制御されていてもよい。

次に、本実施形態に係る情報処理方法について図１０を参照して説明する。図１０に示すように、ステップＳ１０において、ＨＭＤシステム１Ａの制御部１２１（以下、単に制御部１２１という。）は、図示しない自己アバターオブジェクトが敵アバターオブジェクトＥＣから所定の攻撃を受けたかどうか判定する。制御部１２１は、自己アバターオブジェクトが敵アバターオブジェクトＥＣから所定の攻撃を受けたと判定した場合（ステップＳ１でＹＥＳ）、音反射オブジェクト４００を生成する（ステップＳ１１）。一方、制御部１２１は、自己アバターオブジェクトが敵アバターオブジェクトＥＣから所定の攻撃を受けていないと判定した場合（ステップＳ１でＮＯ）、処理は再びステップＳ１０に戻る。尚、本実施形態では、自己アバターオブジェクトが敵アバターオブジェクトＥＣから攻撃を受けたときに音反射オブジェクト４００が生成されるが、攻撃以外の所定の作用を及ぼした場合に、音反射オブジェクト４００が生成されてもよい。

図１１に示すように、仮想空間２００は、図９に示す仮想空間２００上に配置されたオブジェクトに追加して音反射オブジェクト４００を含む。音反射オブジェクト４００は、仮想空間２００内を伝搬する音声を反射する反射体として規定されており、音源オブジェクトＭＣと集音オブジェクトＨＣと一体的に構成された仮想カメラ３００を囲うように配置されている。尚、音源オブジェクトＭＣと集音オブジェクトＨＣが仮想カメラ３００から分離している場合も同様に、音反射オブジェクト４００は、音源オブジェクトＭＣと集音オブジェクトＨＣを囲うように配置される。

音反射オブジェクト４００は、所定の反射特性及び透過特性を有する。例えば、音反射オブジェクト４００の反射率は所定の値に設定されていると共に、音反射オブジェクト４００の透過率は所定の値に設定されている。例えば、音反射オブジェクト４００の反射率と透過率がそれぞれ５０％であって、音反射オブジェクト４００に入射する入射音の音量（音圧レベル）が９０ｄＢであるとすれば、音反射オブジェクト４００によって反射された反射音の音量と音反射オブジェクト４００を透過した透過音の音量は、それぞれ８７ｄＢとなる。

また、音反射オブジェクト４００は、音源オブジェクトＭＣと集音オブジェクトＨＣと一体的に構成された仮想カメラ３００の中心位置と一致しており、直径Ｒを有する球状に形成されている。つまり、仮想カメラ３００は、球状に形成された音反射オブジェクト４００の内部に配置されているため、音反射オブジェクト４００に完全に覆われている。尚、音源オブジェクトＭＣと集音オブジェクトＨＣが仮想カメラ３００から分離している場合、音反射オブジェクト４００の中心位置は、音源オブジェクトＭＣと集音オブジェクトＨＣのうちの少なくとも一方の中心位置と一致している。

また、音反射オブジェクト４００は、透明であってもよい。この場合、音反射オブジェクト４００は視野画像Ｖ上には表示されないので、仮想空間へのユーザＸの没入感（仮想空間に対する臨場感）が損なわれることを防止することができる。

図１０に戻ると、ステップＳ１０の処理が実行された後に、ユーザＸの音声がマイク１１８に入力された場合（ステップＳ１２でＹＥＳ）、ステップＳ１３において、マイク１１８は、ユーザＸの音声に対応する音声データを生成した上で、当該生成された音声データを制御装置１２０の制御部１２１に送信する。このようにして、制御部１２１は、ユーザＸの音声に対応する音声データを取得する。一方、ユーザＸの音声がマイク１１８に入力されない場合（ステップＳ１２でＮＯ）、処理は再びステップＳ１２に戻る。

次に、ステップＳ１４において、制御部１２１は、音反射オブジェクト４００の直径Ｒと反射率に基づいて音声データを加工する。ここで、仮想空間２００において、点音源である音源オブジェクトＭＣから全方位（３６０度）に向けて出力された音声は、音反射オブジェクト４００によって一回反射又は多重反射された後に、集音オブジェクトＨＣによって集音される。さらに、本実施形態では、音反射オブジェクト４００の中心位置は、音源オブジェクトＭＣと集音オブジェクトＨＣの中心位置と一致しているため、制御部１２１は、音反射オブジェクト４００の特性（つまり、反射率と直径Ｒ）とに基づいて音声データを加工する。ここで、音反射オブジェクト４００の反射率が大きい程、音声データの音量は大きくなる。一方、音反射オブジェクト４００の反射率が小さい程、音声データの音量は小さくなる。さらに、音反射オブジェクト４００の直径Ｒが大きい程、距離減衰によって音声データの音量は小さくなると共に、マイク１１８に音声が入力された時刻ｔ１とヘッドフォン１１６に音声が出力される時刻ｔ２との間の時間間隔Δｔ（＝ｔ２−ｔ１）が大きくなる。一方、音反射オブジェクト４００の直径Ｒが小さい程、距離減衰による音声データの減衰量は小さくなる（つまり、音声データの音量が大きくなる）と共に、時間間隔Δｔが小さくなる。つまり、時間間隔Δｔは、音反射オブジェクト４００の直径Ｒに応じて決定される。

その後、ステップＳ１５において、制御部１２１は、加工された音声データに対応する音声をＨＭＤシステム１Ａのヘッドフォン１１６に出力する。ここで、制御部１２１は、マイク１１８にユーザＸの音声が入力されてから所定期間経過後（例えば、０.２から０．３秒後）に、加工された音声データに対応する音声をユーザＸの両耳に装着されたヘッドフォン１１６に出力する。ここで、仮想カメラ３００（音源オブジェクトＭＣと集音オブジェクトＨＣ）は球状の音反射オブジェクト４００によって完全に囲まれているので、音反射オブジェクト４００により規定された閉空間を多重反射した反響音がヘッドフォン１１６に出力される。

その後、所定時間（例えば、数秒間から１０秒間）経過した場合（ステップＳ１６でＹＥＳ）、制御部１２１は、音反射オブジェクト４００を仮想空間から消去する（ステップＳ１７）。所定時間が経過していない場合（ステップＳ１６でＮＯ）、処理はステップＳ１２に戻る。尚、ステップＳ１６で規定された所定時間を長くしてもよい（例えば、１分間）。この場合、所定の回復アイテムが使用された場合に、音反射オブジェクト４００は消去されてもよい。

本実施形態によれば、マイク１１８にユーザＸの音声が入力されてから所定期間経過後に、加工された音声データに対応する音声（反響音）がユーザＸに装着されたヘッドフォン１１６に出力される。このように、ユーザＸが仮想空間２００上に配置された味方アバターオブジェクトＦＣを操作するユーザＹと音声を通じてコミュニケーションを図っているときに、ユーザＸの音声が音反射オブジェクト４００によってヘッドフォン１１６から所定期間経過後に出力される。この結果、ユーザＸは、ヘッドフォン１１６から出力された自身の音声によってユーザＹとのコミュニケーションを妨害される。従って、仮想空間内における音声を利用したユーザ間のコミュニケーションを工夫することで、仮想空間のエンターテイメント性を向上させることが可能な情報処理方法を提供することができる。

本実施形態によれば、敵アバターオブジェクトＥＣが自己アバターオブジェクトに攻撃を仕掛けたときに、ユーザＸは、マイク１１８から出力された自身の音声によって、ユーザＹとの音声コミュニケーションを妨害される。このように、仮想空間のエンターテイメント性を向上させることができる。特に、仮想空間２００内に配置された音反射オブジェクト４００の反射率と直径Ｒに基づいて音声データが加工され、当該加工された音声データに対応する音声がヘッドフォン１１６に出力される。このように、音反射オブジェクト４００により閉空間を多重反射した反響音をヘッドフォン１１６に出力することができる。

また、本実施形態によれば、音反射オブジェクト４００の反射率が所定の値に設定されていると共に、音反射オブジェクト４００の透過率が所定の値に設定されている。このため、ユーザＸは自身の音声により、ユーザＹとの音声コミュニケーションを妨害される。一方、ユーザＹは、ユーザＸが発した音声を聞くことができると共に、ユーザＸはユーザＹが発した音声を聞くことができる。このとき、ＨＭＤシステム１Ａは、ユーザＸの音声に対応する音声データを通信ネットワーク３とゲームサーバ２を介してＨＭＤシステム１Ｂに送信する。また、ＨＭＤシステム１Ｂは、ユーザＹの音声に対応する音声データを通信ネットワーク３とゲームサーバ２を介してＨＭＤシステム１Ａに送信する。このように、仮想空間のエンターテイメント性を向上させることができる。さらに、ユーザＸはユーザＹ等の他の音源オブジェクトから発せられる音声を聞くことができるので、仮想空間へのユーザＸの没入感が過度に損なわれることが防止される。

制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部１２３又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る表示制御方法を実行する。

また、表示制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

本実施形態では、敵アバターオブジェクトＥＣからの攻撃に応じて音反射オブジェクト４００が生成され、生成された音反射オブジェクト４００の特性に基づいて、マイク１１８に音声が入力されてから所定期間経過後に、加工された音声に対応する音声（反響音）がヘッドフォン１１６に出力されているが、本実施形態はこれには限定されない。例えば、制御部１２１は、音反射オブジェクト４００を生成せずに、反響音を所定期間経過後にヘッドフォン１１６に出力してもよい。具体的には、敵アバターオブジェクトＥＣからの攻撃等の所定のイベントが発生した際に、制御部１２１は、ユーザＸの音声が反響音となるように所定のアルゴリズムに基づいて音声データを加工し、当該加工された音声データに対応する音声を所定期間経過後にヘッドフォン１１６に出力してもよい。

また、本実施形態では、音反射オブジェクト４００の形状を球状として説明しているが、本実施形態はこれには限定されない。音反射オブジェクトの形状は、円柱形状でも直方体形状でもよく、音源オブジェクトＭＣと集音オブジェクトＨＣと一体的に構成された仮想カメラ３００が音反射オブジェクトに囲まれていれば、音反射オブジェクトの形状は特に限定されない。

１，１Ａ，１Ｂ，１Ｃ：ＨＭＤシステム
２：ゲームサーバ
３：通信ネットワーク
２１：中心位置
１００：ゲームシステム
１１２：表示部
１１４：センサ
１１６：ヘッドフォン
１１８：マイク
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００：仮想空間
３００：仮想カメラ
３２０：外部コントローラ
４００：音反射オブジェクト
ＭＣ：音源オブジェクト
ＨＣ：集音オブジェクト
ＦＣ：味方アバターオブジェクト
ＥＣ：敵アバターオブジェクト

Claims (7)

1. ヘッドマウントディスプレイと、音声入力部と、音声出力部とを有するユーザ端末を備えたシステムにおける情報処理方法であって、
   （ａ）仮想カメラと、前記音声入力部に入力される音声を発生する音源オブジェクトと、集音オブジェクトとを含む仮想空間を示す仮想空間データを生成するステップと、
   （ｂ）前記ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
   （ｃ）前記仮想カメラの視野と前記仮想空間データに基づいて、視野画像データを生成するステップと、
   （ｄ）前記視野画像データに基づいて、前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
   （ｅ）前記音声入力部に入力された音声を示す音声データを取得するステップと、
   （ｆ）前記音声データを加工するステップと、
   （ｇ）前記音声入力部に前記音声が入力されてから所定期間経過後に、前記加工された音声データに対応する音声を前記音声出力部に出力させるステップと、
   を含む、情報処理方法。
2. 前記仮想空間は、敵オブジェクトをさらに含み、
   前記方法は、
   （ｈ）前記敵オブジェクトが前記ユーザ端末に関連付けられたアバターオブジェクトに所定の作用を及ぼしたかどうかを判定するステップをさらに含み、
   前記敵オブジェクトが前記アバターオブジェクトに前記所定の作用を及ぼしたと判定された場合に、前記ステップ（ｆ）及び前記ステップ（ｇ）が実行される、請求項１に記載の情報処理方法。
3. 前記仮想空間は、
   前記仮想空間内を伝搬する音声を反射する反射体として規定されると共に、前記音源オブジェクトと前記集音器オブジェクトとを囲うように配置された音反射オブジェクトをさらに含み、
   前記ステップ（ｆ）では、前記音反射オブジェクトの特性に基づいて、前記音声データが加工される、請求項１又は２に記載の情報処理方法。
4. 前記音反射オブジェクトの反射率は、第１の値に設定されていると共に、前記音反射オブジェクトの透過率は、第２の値に設定されている、請求項３に記載の情報処理方法。
5. 前記音反射オブジェクトの中心位置は、前記音源オブジェクト及び前記集音器オブジェクトのうちの少なくとも一つの中心位置と一致しており、
   前記音反射オブジェクトは、所定の直径を有する球状に形成され、
   前記ステップ（ｆ）では、前記音反射オブジェクトの反射率と前記音反射オブジェクトの直径に基づいて、前記音声データが加工される、請求項４に記載の情報処理方法。
6. 前記音反射オブジェクトは、透明であって、前記視野画像内に表示されない、請求項３から５のうちいずれか一項に記載の情報処理方法。
7. 請求項１から６のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。