JP2018010480A - 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム Download PDF

Info

Publication number
JP2018010480A
JP2018010480A JP2016138832A JP2016138832A JP2018010480A JP 2018010480 A JP2018010480 A JP 2018010480A JP 2016138832 A JP2016138832 A JP 2016138832A JP 2016138832 A JP2016138832 A JP 2016138832A JP 2018010480 A JP2018010480 A JP 2018010480A
Authority
JP
Japan
Prior art keywords
avatar object
virtual space
virtual camera
attenuation coefficient
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016138832A
Other languages
English (en)
Other versions
JP6190497B1 (ja
Inventor
集平 寺畑
Shuhei Terahata
集平 寺畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016138832A priority Critical patent/JP6190497B1/ja
Priority to US15/647,396 priority patent/US20180015362A1/en
Application granted granted Critical
Publication of JP6190497B1 publication Critical patent/JP6190497B1/ja
Publication of JP2018010480A publication Critical patent/JP2018010480A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間内において音源として規定されたオブジェクトから出力される音声に指向性を持たせる情報処理方法を提供する。【解決手段】情報処理方法は、仮想カメラ３００と、マイクに入力された音声の音源として規定される音源オブジェクトＭＣとを含む仮想空間２００を規定する仮想空間データを生成するステップと、ＨＭＤの動きに応じて、仮想カメラ３００の視野ＣＶを決定するステップと、仮想カメラ３００の視野ＣＶと仮想空間データとに基づいて、視野画像データを生成するステップと、視野画像データに基づいて、ＨＭＤに視野画像を表示させるステップと、仮想空間２００の仮想カメラ３００の視野ＣＶ内において、仮想空間２００内を伝搬する音声の単位距離当たりの減衰量を規定する減衰係数を減衰係数α１に設定すると共に、仮想カメラ３００の視野ＣＶ外において、減衰係数を減衰係数α１とは異なる減衰係数α２に設定するステップと、を含む。【選択図】図１０

Description

本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。
特許文献１には、ゲームプログラムの実行中に、ゲーム空間内の視点となる移動体が移動した場合又は音源が移動した場合に、移動体と音源との間の相対的位置関係を算出し、算出された相対位置関係に基づいた定位パラメータにより音源から出力される音声を加工する処理（音像定位処理）が開示されている。
特開２００７−０５０２６７号公報
しかしながら、特許文献１では、仮想空間（ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間）内において、音源として規定されたオブジェクトから出力される音声に指向性を持たせる技術については何ら開示されていない。
本発明は、仮想空間内において音源として規定されたオブジェクトから出力される音声に指向性を持たせる情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、第１ヘッドマウントディスプレイと、音声入力部とを有する第１ユーザ端末を備えたシステムにおける情報処理方法が提供される。
当該情報処理方法は、
仮想カメラと、前記音声入力部に入力された音声の音源として規定される音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
前記第１ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
前記仮想カメラの視野と仮想空間データとに基づいて、視野画像データを生成するステップと、
前記視野画像データに基づいて、前記第１ヘッドマウントディスプレイに視野画像を表示させるステップと、
前記仮想空間の第１領域において、前記仮想空間内を伝搬する音声の単位距離当たりの減衰量を規定する減衰係数を第１減衰係数に設定すると共に、前記第１領域とは異なる前記仮想空間の第２領域において、前記減衰係数を第２減衰係数に設定するステップと、
を含む。
前記第１減衰係数と前記第２減衰係数は互いに異なる。
本開示によれば、仮想空間内において音源として規定されたオブジェクトから出力される音声に指向性を持たせる情報処理方法を提供することができる。さらに、当該情報処理方法をコンピュータに実行させるためのプログラムを提供することができる。
ゲームシステムの構成を示す概略図である。 本ヘッドマウントディスプレイ（ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 （ａ）は、図６に示す仮想空間のｙｘ平面図である。（ｂ）は、図６に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 第１実施形態に係る情報処理方法を説明するためのフローチャートである。 仮想カメラと音源オブジェクトが一体的に構成された場合における、仮想カメラの視野内（第１領域の一例）に位置する味方アバターオブジェクトと仮想カメラの視野外（第２領域の一例）に位置する敵アバターオブジェクトを示す図である。 自己アバターオブジェクトと音源オブジェクトが一体的に構成された場合における、仮想カメラの視野内に位置する自己のアバターオブジェクト及び味方アバターオブジェクトと仮想カメラの視野外に位置する敵アバターオブジェクトとを示す図である。 第１実施形態の第２変形例に係る情報処理方法を説明するためのフローチャートである。 仮想カメラと音源オブジェクトが一体的に構成された場合における、注視領域内（第１領域の一例）に位置する味方アバターオブジェクトと当該注視領域以外の仮想カメラの視野内（第２領域の一例）に位置する敵アバターオブジェクトを示す図である。 第１実施形態の第３変形例に係る情報処理方法を説明するためのフローチャートである。 仮想カメラと音源オブジェクトが一体的に構成された場合における、視軸領域内（第１領域の一例）に位置する味方アバターオブジェクトと当該視軸領域以外の仮想カメラの視野内（第２領域の一例）に位置する敵アバターオブジェクトを示す図である。 第１実施形態の第４変形例に係る情報処理方法を説明するためのフローチャートである。 自己アバターオブジェクトと音源オブジェクトが一体的に構成された場合における、減衰オブジェクトの内側（仮想カメラの視野内）に位置する味方アバターオブジェクト及び自己アバターオブジェクトと、減衰オブジェクトの外側（仮想カメラの視野外）に位置する敵アバターオブジェクトを示す図である。 第２実施形態に係る情報処理方法を説明するためのフローチャートである。 第２実施形態の第１変形例に係る情報処理方法を説明するためのフローチャートである。 仮想カメラと音源オブジェクトが一体的に構成された場合における、減衰オブジェクトの内側に位置する味方アバターオブジェクトと、減衰オブジェクトの外側に位置する敵アバターオブジェクトを示す図である。
［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）第１ヘッドマウントディスプレイと、音声入力部とを有する第１ユーザ端末を備えたシステムにおける情報処理方法であって、
仮想カメラと、前記音声入力部に入力された音声の音源として規定される音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
前記第１ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
前記仮想カメラの視野と仮想空間データとに基づいて、視野画像データを生成するステップと、
前記視野画像データに基づいて、前記第１ヘッドマウントディスプレイに視野画像を表示させるステップと、
前記仮想空間の第１領域において、前記仮想空間内を伝搬する音声の単位距離当たりの減衰量を規定する減衰係数を第１減衰係数に設定すると共に、前記第１領域とは異なる前記仮想空間の第２領域において、前記減衰係数を第２減衰係数に設定するステップと、
を含み、
前記第１減衰係数と前記第２減衰係数は互いに異なる、情報処理方法。
上記方法によれば、仮想空間の第１領域において、減衰係数が第１減衰係数に設定されると共に、仮想空間の第２領域において、減衰係数が第１減衰係数とは異なる第２減衰係数に設定される。このように、第１，２領域の各々において異なる減衰係数が設定されるので、仮想空間内において音源オブジェクトから出力される音声に指向性を持たせることができる。
（２）前記システムは、第２ヘッドマウントディスプレイと、音声出力部とを有する第２ユーザ端末をさらに備え、
前記仮想空間は、前記第２ユーザ端末に関連付けられたアバターオブジェクトをさらに含み、
前記情報処理方法は、
前記音声入力部に入力された音声を示す音声データを取得するステップと、
前記音源オブジェクトと前記アバターオブジェクトとの間の相対位置関係を特定するステップと、
前記アバターオブジェクトが前記第１領域に位置しているかどうかを判定するステップと、
前記特定された相対位置関係と、前記減衰定数とに基づいて、前記音声データを加工するステップと、
前記加工された音声データに対応する音声を前記音声出力部に出力させるステップと、
をさらに含み、
前記アバターオブジェクトが前記第１領域に位置していると判定された場合、前記減衰係数が前記第１減衰係数に設定され、その後、前記音声データは、前記相対位置関係と前記第１減衰定数とに基づいて加工され、
前記アバターオブジェクトが前記第２領域に位置していると判定された場合、前記減衰係数が前記第２減衰係数に設定され、その後、前記音声データは、前記相対位置関係と前記第２減衰係数とに基づいて加工される、
項目（１）に記載の情報処理方法。
上記方法によれば、アバターオブジェクトが第１領域に位置していると判定された場合に、減衰係数が第１減衰係数に設定され、その後、音声データは、相対位置関係と第１減衰定数とに基づいて加工される。一方、アバターオブジェクトが第２領域に位置していると判定された場合に、減衰係数が第２減衰係数に設定され、その後、音声データは、相対位置関係と第２減衰係数とに基づいて加工される。
このように、仮想空間上におけるアバターオブジェクトの存在位置に応じて、音声出力部から出力される音声の音量（音圧レベル）が異なる。例えば、第１減衰係数が第２減衰係数よりも小さいと仮定したとき、アバターオブジェクトが第１領域に存在する場合における音声出力部から出力される音声の音量は、アバターオブジェクトが第２領域に存在する場合における音声出力部から出力される音声の音量よりも大きくなる。このため、味方アバターオブジェクトが第１領域に存在しつつ、敵アバターオブジェクトが第２領域に存在する場合、第１ユーザ端末のユーザは、敵アバターオブジェクトを操作するユーザに気付かれずに味方アバターオブジェクトを操作するユーザに音声により指示を出すことが可能となる。従って、仮想空間のエンターテイメント性を向上させることができる。
（３）前記第１領域は、前記仮想カメラの視野内であり、
前記第２領域は、前記仮想カメラの視野外である、
項目（１）又は（２）に記載の情報処理方法。
上記方法によれば、アバターオブジェクトが視野内に位置していると判定された場合に、減衰係数が第１減衰係数に設定され、その後、音声データは、相対位置関係と第１減衰定数とに基づいて加工される。一方、アバターオブジェクトが視野外に位置していると判定された場合に、減衰係数が第２減衰係数に設定され、その後、音声データは、相対位置関係と第２減衰係数とに基づいて加工される。
このように、仮想空間上におけるアバターオブジェクトの存在位置に応じて、音声出力部から出力される音声の音量（音圧レベル）が異なる。例えば、第１減衰係数が第２減衰係数よりも小さいと仮定したとき、アバターオブジェクトが視野内に存在する場合における音声出力部から出力される音声の音量は、アバターオブジェクトが視野外に存在する場合における音声出力部から出力される音声の音量よりも大きくなる。このため、味方アバターオブジェクトが視野内に存在しつつ、敵アバターオブジェクトが視野外に存在する場合、第１ユーザ端末のユーザは、敵アバターオブジェクトを操作するユーザに気付かれずに味方アバターオブジェクトを操作するユーザに音声により指示を出すことが可能となる。従って、仮想空間のエンターテイメント性を向上させることができる。
（４）前記第１領域は、前記第１ヘッドマウントディスプレイを装着したユーザの視線方向によって規定される注視領域であり、
前記第２領域は、前記注視領域以外の前記仮想カメラの視野内である、
項目（１）又は（２）に記載の情報処理方法。
上記方法によれば、アバターオブジェクトが注視領域に位置していると判定された場合に、減衰係数が第１減衰係数に設定され、その後、音声データは、相対位置関係と第１減衰定数とに基づいて加工される。一方、アバターオブジェクトが注視領域以外の仮想カメラの視野内（以下、単に注視外領域という。）に位置していると判定された場合に、減衰係数が第２減衰係数に設定され、その後、音声データは、相対位置関係と第２減衰係数とに基づいて加工される。
このように、仮想空間上におけるアバターオブジェクトの存在位置に応じて、音声出力部から出力される音声の音量（音圧レベル）が異なる。例えば、第１減衰係数が第２減衰係数よりも小さいと仮定したとき、アバターオブジェクトが注視領域内に存在する場合における音声出力部から出力される音声の音量は、アバターオブジェクトが注視外領域に存在する場合における音声出力部から出力される音声の音量よりも大きくなる。このため、味方アバターオブジェクトが注視領域に存在しつつ、敵アバターオブジェクトが注視外領域に存在する場合、第１ユーザ端末のユーザは、敵アバターオブジェクトを操作するユーザに気付かれずに味方アバターオブジェクトを操作するユーザに音声により指示を出すことが可能となる。従って、仮想空間のエンターテイメント性を向上させることができる。
（５）前記第１領域は、前記仮想カメラの視軸によって規定される視軸領域であり、
前記第２領域は、前記視軸領域以外の前記仮想カメラの視野内である、
項目（１）又は（２）に記載の情報処理方法。
上記方法によれば、アバターオブジェクトが視軸領域に位置していると判定された場合に、減衰係数が第１減衰係数に設定され、その後、音声データは、相対位置関係と第１減衰定数とに基づいて加工される。一方、アバターオブジェクトが視軸領域以外の仮想カメラの視野内（以下、単に視軸外領域という。）に位置していると判定された場合に、減衰係数が第２減衰係数に設定され、その後、音声データは、相対位置関係と第２減衰係数とに基づいて加工される。
このように、仮想空間上におけるアバターオブジェクトの存在位置に応じて、音声出力部から出力される音声の音量（音圧レベル）が異なる。例えば、第１減衰係数が第２減衰係数よりも小さいと仮定したとき、アバターオブジェクトが視軸領域内に存在する場合における音声出力部から出力される音声の音量は、アバターオブジェクトが視軸外領域に存在する場合における音声出力部から出力される音声の音量よりも大きくなる。このため、味方アバターオブジェクトが視軸領域に存在しつつ、敵アバターオブジェクトが視軸外領域に存在する場合、第１ユーザ端末のユーザは、敵アバターオブジェクトを操作するユーザに気付かれずに味方アバターオブジェクトを操作するユーザに音声により指示を出すことが可能となる。従って、仮想空間のエンターテイメント性を向上させることができる。
（６）第１ヘッドマウントディスプレイと、音声入力部とを有する第１ユーザ端末を備えたシステムにおける情報処理方法であって、
仮想カメラと、前記音声入力部に入力された音声の音源として規定された音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
前記第１ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
前記仮想カメラの視野と前記仮想空間データとに基づいて、視野画像データを生成するステップと、
前記視野画像データに基づいて、前記第１ヘッドマウントディスプレイに視野画像を表示させるステップと、
を含み、
前記仮想空間は、前記仮想空間の第１領域と第２領域との間の境界に配置されると共に、前記仮想空間内を伝搬する音声の減衰量を規定する減衰オブジェクトをさらに含む、
情報処理方法。
上記方法によれば、仮想空間内を伝搬する音声の減衰量を規定する減衰オブジェクトが仮想空間の第１領域と第２領域との間の境界に配置される。このため、例えば、音源として規定された音源オブジェクトから出力される音声の減衰量は、仮想空間の第１領域と第２領域のそれぞれにおいて異なる。このように、仮想空間内において音源オブジェクトから出力される音声に指向性を持たせることができる。
（７）前記減衰オブジェクトは、透明であって、前記視野画像内に表示されない、項目（６）に記載の情報処理方法。
上記方法によれば、減衰オブジェクトが視野画像内に表示されないので、仮想空間へのユーザの没入感（仮想空間に対する臨場感）を損なわずに音源オブジェクトから出力された音声に指向性を持たせることができる。
（８）前記音源オブジェクトは、前記仮想空間の第１領域に配置される、項目（６）又は（７）に記載の情報処理方法。
上記方法によれば、音源オブジェクトは、仮想空間の第１領域に配置される。このため、仮想空間の第２領域では、音源オブジェクトから出力される音声は、仮想空間の第１領域と比較して、減衰オブジェクトにより規定される減衰量だけ更に減衰する。このように、音源オブジェクトから出力される音声に指向性を持たせることができる。
（９）前記システムは、第２ヘッドマウントディスプレイと、音声出力部とを有する第２ユーザ端末をさらに備え、
前記仮想空間は、前記第２ユーザ端末に関連付けられたアバターオブジェクトをさらに含み、
前記情報処理方法は、
前記音声入力部に入力された音声を示す音声データを取得するステップと、
前記音源オブジェクトと前記アバターオブジェクトとの間の相対位置関係を特定するステップと、
前記アバターオブジェクトが前記仮想空間の第１領域に位置しているかどうかを判定するステップと、
前記音声データを加工するステップと、
前記加工された音声データに対応する音声を前記音声出力部に出力させるステップと、
をさらに含み、
前記アバターオブジェクトが前記仮想空間の第１領域に位置していると判定された場合、前記音声データは、前記相対位置関係に基づいて加工され、
前記アバターオブジェクトが前記仮想空間の第２領域に位置していると判定された場合、前記音声データは、前記相対位置関係と前記減衰オブジェクトによって規定された減衰量に基づいて加工される、
項目（８）に記載の情報処理方法。
上記方法によれば、アバターオブジェクトが、音源が位置する仮想空間の第１領域に位置していると判定された場合、音声データは、相対位置関係に基づいて加工される。一方、アバターオブジェクトが仮想空間の第２領域に位置していると判定された場合、音声データは、相対位置関係と減衰オブジェクトによって規定された減衰量に基づいて加工される。
このように、仮想空間上におけるアバターオブジェクトの存在位置に応じて、音声出力部から出力される音声の音量（音圧レベル）が異なる。アバターオブジェクトが仮想空間の第１領域に存在する場合における音声出力部から出力される音声の音量は、アバターオブジェクトが仮想空間の第２領域に存在する場合における音声出力部から出力される音声の音量よりも大きくなる。このため、味方アバターオブジェクトが仮想空間の第１領域に存在しつつ、敵アバターオブジェクトが仮想空間の第２領域に存在する場合、第１ユーザ端末のユーザは、敵アバターオブジェクトを操作するユーザに気付かれずに味方アバターオブジェクトを操作するユーザに音声により指示を出すことが可能となる。従って、仮想空間のエンターテイメント性を向上させることができる。
（１０）前記第１領域は、前記仮想カメラの視野内であり、
前記第２領域は、前記仮想カメラの視野外である、
項目（８）又は（９）に記載の情報処理方法。
上記方法によれば、音源オブジェクトが仮想カメラの視野内に配置されると共に、減衰オブジェクトは、仮想カメラの視野の境界に配置される。このため、仮想カメラの視野外では、仮想カメラから出力される音声は、仮想カメラの視野内と比較して、減衰オブジェクトにより規定される減衰量だけ更に減衰する。このように、仮想空間内において音源オブジェクトから出力される音声に指向性を持たせることができる。
（１１）項目（１）から（１０）のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラムを提供する。
上記によれば、仮想空間内において音源として規定された音源オブジェクトから出力される音声に指向性を持たせることができるプログラムを提供することができる。
［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
本開示の実施形態（以下、単に本実施形態という。）に係る情報処理方法を実現するゲームシステム１００の構成について図１を参照して説明する。図１は、ゲームシステム１００の構成を示す概略図である。図１に示すように、ゲームシステム１００は、ユーザＸが操作するヘッドマウントディスプレイ（以下、単にＨＭＤという。）システム１Ａ（第１ユーザ端末の一例）と、ユーザＹが操作するＨＭＤシステム１Ｂ（第２ユーザ端末の一例）と、ユーザＺが操作するＨＭＤシステム１Ｃ（第３ユーザ端末の一例）と、ＨＭＤシステム１Ａ〜１Ｃを同期制御するゲームサーバ２を備える。ＨＭＤシステム１Ａ，１Ｂ，１Ｃとゲームサーバ２は、互いにインターネット等の通信ネットワーク３を介して互いに通信可能に接続されている。尚、本実施形態では、ＨＭＤシステム１Ａ〜１Ｃとゲームサーバ２とからなるクライアントサーバシステムが構築されているが、ゲームサーバ２を設けずに、ＨＭＤシステム１ＡとＨＭＤシステム１ＢとＨＭＤシステム１Ｃが相互に直接通信（Ｐ２Ｐ通信）を行ってもよい。また、説明の便宜上、ＨＭＤシステム１Ａ，１Ｂ，１Ｃを単にＨＭＤシステム１という場合がある。また、ＨＭＤシステム１Ａ，１Ｂ，１Ｃは、同一の構成を備えているものとする。
次に、図２を参照してＨＭＤシステム１の構成について説明する。図２は、ＨＭＤシステム１を示す概略図である。図２に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、ユーザＵの両耳に装着されたヘッドフォン１１６（音声出力部の一例）と、ユーザＵの口の周辺に位置するマイク１１８（音声入力部の一例）と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。
ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備えている。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用の表示部とユーザＵの右目に画像を提供するように構成された右目用の表示部から構成されてもよい。
ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。
注視センサ１４０は、ユーザＵの視線方向を検出するアイトラッキング機能を有する。
注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。
ヘッドフォン１１６は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドフォン１１６の右耳用のスピーカに出力される音声は、ヘッドフォン１１６の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置１２０は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを取得し、当該異なる２つの音声データをヘッドフォン１１６の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。尚、音声出力部の他の一例として、独立した２つの据置型スピーカやイヤホンを設けてもよい。
マイク１１８は、ユーザＵから発声された音声を収集し、当該収集された音声に基づいて音声データ（電気信号）を生成するように構成されている。さらに、マイク１１８は、音声データを制御装置１２０に送信するように構成されている。マイク１１８は、音声データをＡＤ（Ａｎａｌｏｇ−ｔｏ―Ｄｉｇｉｔａｌ）変換する機能を有してもよい。また、マイク１１８は、ヘッドフォン１１６に物理的に接続されてもよい。制御装置１２０は、受信した音声データを加工し、加工された音声データを通信ネットワーク３を介して他のＨＭＤシステムに送信してもよい。
位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。
外部コントローラ３２０は、例えば、仮想空間内に表示される手指オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵが右手に持って使用する右手用外部コントローラと、ユーザＵが左手に持って使用する左手用外部コントローラを有してもよい。右手用外部コントローラは、ユーザＵの右手の位置や右手の手指の動きを検出する装置である。左手用外部コントローラは、ユーザＵの左手の位置や左手の手指の動きを検出する装置である。外部コントローラ３２０は、複数の操作ボタンと、複数の検知点と、センサと、トランシーバとを備えてもよい。例えば、外部コントローラ３２０の操作ボタンがユーザＵに操作されることで、仮想空間内にメニューオブジェクトが表示されてもよい。さらに、外部コントローラ３２０の操作ボタンがユーザＵに操作されることで、仮想空間上におけるユーザＵの視野が変更されてもよい（つまり、視野画像が変更されてもよい）。この場合、外部コントローラ３２０から出力される操作信号に基づいて、制御装置１２０は、仮想カメラを所定の位置に移動させてもよい。
制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０から取得された情報に基づいて、外部コントローラ３２０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間内に表示される手指オブジェクトの位置と現実空間における外部コントローラ３２０とＨＭＤ１１０との間の相対関係位置を正確に対応付けることができる。
また、制御装置１２０は、注視センサ１４０から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの視線方向を特定することができる。ここで、ユーザＵの視線方向は、ユーザＵの両目の視線方向であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。
次に、図３を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図３は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。
次に、図４を参照することで、制御装置１２０のハードウェア構成について説明する。図４は、制御装置１２０のハードウェア構成を示す図である。図４に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。
制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。
制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。
特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるためのプログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーションプログラム（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を表示する。これにより、ユーザＵは、表示部１１２に表示された仮想空間に没入することができる。
記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法をコンピュータに実行させるプログラムを格納してもよい。また、ユーザＵの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。
Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６と、マイク１１８とのそれぞれと無線接続されていてもよい。
通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介してゲームサーバ２等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。
次に、図５から図８を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図５は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図６は、仮想空間２００の一例を示すｘｙｚ空間図である。図７（ａ）は、図６に示す仮想空間２００のｙｘ平面図である。図７（ｂ）は、図６に示す仮想空間２００のｚｘ平面図である。図８は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。
図５に示すように、ステップＳ１において、制御部１２１（図４参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図６に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図６では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図８参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、制御部１２１は、仮想カメラ３００を仮想空間２００内で移動させてもよい。
次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図７参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。また、視野ＣＶは、図７（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図７（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、ユーザＵの視線方向を特定し、ユーザＵの視線方向に基づいて仮想カメラ３００の向きを決定してもよい。
このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを変化させることができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを変化させることができる。同様に、ユーザＵの視線方向が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、仮想カメラ３００の視野ＣＶを移動させることができる。つまり、制御部１２１は、ユーザＵの視線方向の変化に応じて、視野ＣＶを変化させることができる。
次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。
次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図７参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。
尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データと右目用視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に左目用視野画像と右目用視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像から、視野画像を３次元画像として視認することができる。尚、本明細書では、説明の便宜上、仮想カメラ３００の数は一つとする。勿論、本開示の実施形態は、仮想カメラの数が２つの場合でも適用可能である。
（第１実施形態）
次に、本実施形態に係る情報処理方法について図９及び図１０を参照して説明する。図９は、第１実施形態に係る情報処理方法を説明するためのフローチャートである。図１０は、仮想カメラ３００と音源オブジェクトＭＣが一体的に構成された場合における、仮想カメラ３００の視野ＣＶ内（第１領域の一例）に位置する味方アバターオブジェクトＦＣと、仮想カメラ３００の視野ＣＶ外（第２領域の一例）に位置する敵アバターオブジェクトＥＣを示す図である
最初に、図１０に示すように、仮想空間２００は、仮想カメラ３００と、音源オブジェクトＭＣと、味方アバターオブジェクトＦＣと、敵アバターオブジェクトＥＣとを含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。
仮想カメラ３００は、ユーザＸが操作するＨＭＤシステム１Ａに関連付けられている。つまり、ユーザＸが装着するＨＭＤ１１０の動きに応じて仮想カメラ３００の位置や向き（つまり、仮想カメラ３００の視野ＣＶ）が変更される。音源オブジェクトＭＣは、マイク１１８に入力されたユーザＸ（図１参照）の音声の音源として規定されており、仮想カメラ３００と一体的に構成されている。音源オブジェクトＭＣと仮想カメラ３００が一体的に構成されている場合、仮想カメラ３００は、音源の機能を有すると解釈してもよい。また、音源オブジェクトＭＣは透明であってもよい。この場合、音源オブジェクトＭＣは視野画像Ｖ上には表示されない。尚、音源オブジェクトＭＣは、仮想カメラ３００と分離していてもよい。例えば、音源オブジェクトＭＣは、仮想カメラ３００に近接していると共に、仮想カメラ３００に追従してもよい（つまり、音源オブジェクトＭＣは、仮想カメラ３００の動きに応じて移動してもよい）。
味方アバターオブジェクトＦＣは、ユーザＹが操作するＨＭＤシステム１Ｂに関連付けられている。つまり、味方アバターオブジェクトＦＣは、ユーザＹのアバターオブジェクトであって、ユーザＹの操作により制御される。また、味方アバターオブジェクトＦＣは、仮想空間２００上を伝搬する音声を収集する集音器として機能してもよい。換言すれば、味方アバターオブジェクトＦＣは、仮想空間２００上を伝搬する音声を収集する集音オブジェクトと一体的に構成されてもよい。
敵アバターオブジェクトＥＣは、ユーザＺの操作により制御される。つまり、敵アバターオブジェクトＥＣは、ユーザＺの操作により制御される。また、敵アバターオブジェクトＥＣは、仮想空間２００上を伝搬する音声を収集する集音器として機能してもよい。換言すれば、敵アバターオブジェクトＥＣは、仮想空間２００上を伝搬する音声を収集する集音オブジェクトと一体的に構成されてもよい。本実施形態では、ユーザＸ〜Ｚが、多人数が参加可能なオンラインゲームをプレイしている場合、ユーザＸとユーザＹが味方同士である一方、ユーザＺはユーザＸ，Ｙに対して敵となることを前提としている。
次に、ユーザＸが発声した音声がどのようにユーザＹのヘッドフォン１１６から出力されるかについて図９を参照して説明する。図９に示すように、ユーザＸがマイク１１８に向けて音声を発したとき、ＨＭＤシステム１Ａのマイク１１８は、ユーザＸから発せられた音声を収集して、当該収集された音声を示す音声データを生成する（ステップＳ１０）。その後、マイク１１８は、音声データを制御部１２１に送信し、制御部１２１は、ユーザＸの音声に対応する音声データを取得する。ＨＭＤシステム１Ａの制御部１２１は、仮想カメラ３００の位置と向きに関する情報と音声データとを通信ネットワーク３を介してゲームサーバ２に送信する（ステップＳ１１）。
ゲームサーバ２は、ＨＭＤシステム１ＡからユーザＸの仮想カメラ３００の位置と向きに関する情報と音声データを受信した後に、当該情報と音声データをＨＭＤシステム１Ｂに送信する（ステップＳ１２）。その後、ＨＭＤシステム１Ｂの制御部１２１は、通信ネットワーク３と通信インターフェース１２５を介して、ユーザＸの仮想カメラ３００の位置と向きに関する情報と音声データを受信する（ステップＳ１３）。
次に、ＨＭＤシステム１Ｂの制御部１２１（以下、単に制御部１２１という。）は、ユーザＹのアバターオブジェクト（つまり、味方アバターオブジェクトＦＣ）の位置を特定する（ステップＳ１４）。その後、制御部１２１は、ユーザＸの仮想カメラ３００（音源オブジェクトＭＣ）と味方アバターオブジェクトＦＣとの間の距離Ｄ（相対位置関係の一例）を特定する（ステップＳ１５）。距離Ｄは、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の最短距離であってもよい。また、本実施形態では、仮想カメラ３００と音源オブジェクトＭＣが一体的に構成されているため、仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄは、音源オブジェクトＭＣと味方アバターオブジェクトＦＣとの間の距離に相当する。
次に、制御部１２１は、ユーザＸの仮想カメラ３００の位置と向きに基づいて、ユーザＸの仮想カメラ３００の視野ＣＶを特定する（ステップＳ１６）。ステップＳ１７において、制御部１２１は、味方アバターオブジェクトＦＣがユーザＸの仮想カメラ３００の視野ＣＶ内に位置しているかどうかを判定する。
制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ内（第１領域の一例）に位置していると判定した場合（ステップＳ１７でＹＥＳ）、仮想空間２００内を伝搬する音声の単位距離当たりの減衰量を規定する減衰係数を減衰係数α１（第１減衰係数の一例）に設定すると共に、仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α１に基づいて、音声データを加工する（ステップＳ１８）。ここで、味方アバターオブジェクトＦＣが視野ＣＶ内に位置する場合、図１０に示すように味方アバターオブジェクトＦＣは実線で表示される。
一方、制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外（第２領域の一例）に位置していると判定した場合（ステップＳ１７でＮＯ）、減衰係数を減衰係数α２（第２減衰係数の一例）に設定すると共に、仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α２に基づいて、音声データを加工する（ステップＳ１９）。ここで、味方アバターオブジェクトＦＣが視野ＣＶ外に位置する場合、図１０に示すように味方アバターオブジェクトＦＣは破線で表示される。ここで、減衰係数α１と減衰係数α２は異なり、α１＜α２である。
次に、ステップＳ２０において、制御部１２１は、加工された音声データに対応する音声をＨＭＤシステム１Ｂのヘッドフォン１１６に出力させる。
本実施形態では、仮想カメラ３００と音源オブジェクトＭＣが一体的に構成されていると共に、味方アバターオブジェクトＦＣは集音機能を有するので、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄが大きい場合、ＨＭＤシステム１Ｂのヘッドフォン１１６に出力される音声の音量（音圧レベル）は小さくなる（換言すれば、音声の減衰量（ｄＢ）は大きい）。その反対に、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄが小さい場合、ＨＭＤシステム１Ｂのヘッドフォン１１６に出力される音声の音量（音圧レベル）は大きくなる（つまり、音声の減衰量（ｄＢ）は小さい）。
さらに、減衰係数が大きい場合、ＨＭＤシステム１Ｂのヘッドフォン１１６に出力される音声の音量（音圧レベル）は小さくなる（換言すれば、音声の減衰量（ｄＢ）は大きい）。その反対に、減衰係数が小さい場合、ＨＭＤシステム１Ｂのヘッドフォン１１６に出力される音声の音量（音圧レベル）は大きくなる（換言すれば、音声の減衰量（ｄＢ）は小さい）。このように、制御部１２１は、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数とに基づいて、音声データの音量（音圧レベル）を決定する。
この点において、制御部１２１は、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと、減衰係数αと、音声データとの音量Ｌとの関係を示す関数を参照することで、音声データの音量を決定してもよい。例えば、基準距離Ｄ０における音量が既知である場合、制御部１２１は、例えば、以下の式（１）を参照して音声データの音量Ｌを決定してもよい。尚、式（１）はあくまでも一例であって、他の式を用いて音声データの音量Ｌを決定してもよい。

Ｌ＝Ｌ０−２０ｌｏｇ（Ｄ／Ｄ０）−８．７α（Ｄ−Ｄ０）・・・（１）

Ｄ：ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離
Ｄ０：ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の基準距離
Ｌ：距離Ｄにおける音声データの音量（ｄＢ）
Ｌ０：基準距離Ｄ０における音声データの音量（ｄＢ）
α：減衰係数（ｄＢ／距離）
味方アバターオブジェクトＦＣが視野ＣＶ内に存在する場合、減衰係数αは、減衰係数α１となる一方、味方アバターオブジェクトＦＣが視野ＣＶ外に存在する場合、減衰係数αは、減衰係数α２となる。また、減衰係数α１は、減衰係数α２よりも小さい。このため、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄ１であって、味方アバターオブジェクトＦＣが視野ＣＶ内に存在する場合における音声データの音量は、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄ１であって、味方アバターオブジェクトＦＣが視野ＣＶ外に存在する場合における音声データの音量よりも大きくなる。つまり、視野ＣＶの内側と外側の各々において異なる減衰係数α１，α２が設定されるので、仮想空間２００内において音源オブジェクトＭＣ（仮想カメラ３００）から出力される音声に指向性を持たせることができる。
さらに、制御部１２１は、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の相対位置関係から所定の頭部伝達関数を決定し、決定された頭部伝達関数と音声データとに基づいて音声データを加工してもよい。
本実施形態によれば、味方アバターオブジェクトＦＣが視野ＣＶ内に位置していると判定された場合に、減衰係数αが減衰係数α１に設定され、その後、音声データは、距離Ｄと減衰係数α１とに基づいて加工される。一方、味方アバターオブジェクトＦＣが視野ＣＶ外に位置していると判定された場合に、減衰係数αが減衰係数α２に設定され、その後、音声データは、距離Ｄと減衰係数α２とに基づいて加工される。このように、仮想空間２００上における味方アバターオブジェクトＦＣの存在位置に応じて、ヘッドフォン１１６から出力される音声の音量（音圧レベル）が異なる。本実施形態では、α１＜α２であるため、図１０に示すように、味方アバターオブジェクトＦＣが視野ＣＶ内に存在しつつ、敵アバターオブジェクトＥＣが視野ＣＶ外に存在する場合、味方アバターオブジェクトＦＣを操作するユーザＹに装着されたヘッドフォン１１６から出力される音声の音量は、敵アバターオブジェクトＥＣを操作するユーザＺに装着されたヘッドフォン１１６から出力される音声の音量よりも大きい。このため、ユーザＸは、敵アバターオブジェクトＥＣを操作するユーザＺに気付かれずに味方アバターオブジェクトＦＣを操作するユーザＹに音声により指示を出すことが可能となる。従って、仮想空間２００のエンターテイメント性を向上させることができる。
（第１実施形態の第１変形例）
次に、図１１を参照することで第１実施形態の第１変形例について説明する。図１１は、自己アバターオブジェクト４００と音源オブジェクトＭＣが一体的に構成された場合における、仮想カメラ３００の視野ＣＶ内に位置する自己アバターオブジェクト４００及び味方アバターオブジェクトＦＣと仮想カメラ３００の視野ＣＶ外に位置する敵アバターオブジェクトＥＣとを示す図である。
最初に、図１１に示すように、仮想空間２００Ａは、仮想カメラ３００と、音源オブジェクトＭＣと、自己アバターオブジェクト４００と、味方アバターオブジェクトＦＣと、敵アバターオブジェクトＥＣとを含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。ここで、自己アバターオブジェクト４００は、ユーザＸの操作によって制御されるアバターオブジェクト（つまり、ユーザＸに関連付けられたアバターオブジェクト）である。
図１１に示す仮想空間２００Ａは、自己アバターオブジェクト４００が配置されていると共に、音源オブジェクトＭＣが自己アバターオブジェクト４００と一体的に構成されている点で図１０に示す仮想空間２００と相違する。このように、図１０に示す仮想空間２００では、ユーザに提供される仮想空間の視点は一人称視点である一方、図１１に示す仮想空間２００Ａでは、ユーザに提供される仮想空間の視点は三人称視点である。第１変形例のように自己アバターオブジェクト４００と音源オブジェクトＭＣが一体的に構成されている場合、自己アバターオブジェクト４００は音源の機能を有すると解釈してもよい。
次に、第１実施形態の第１変形例に係る情報処理方法について図９を参照して説明する。以下では、既に説明した第１実施形態に係る情報処理方法と第１変形例に係る情報処理方法との間の相違点についてのみ詳細に説明する。第１変形例に係る情報処理方法では、図９に示すステップＳ１０からＳ１３の処理が実行される。ステップＳ１４において、ＨＭＤシステム１Ｂの制御部１２１（以下、単に制御部１２１という。）は、ユーザＹのアバターオブジェクト（味方アバターオブジェクトＦＣ）の位置とユーザＸのアバターオブジェクト（自己アバターオブジェクト４００）の位置をそれぞれ特定する。ここで、ＨＭＤシステム１Ａは自己アバターオブジェクト４００の位置情報等をゲームサーバ２に所定の時間間隔で送信しつつ、ゲームサーバ２は自己アバターオブジェクト４００の位置情報等をＨＭＤシステム１Ｂに所定の時間間隔で送信してもよい。
次に、ステップＳ１５において、制御部１２１は、自己アバターオブジェクト４００（音源オブジェクトＭＣ）と味方アバターオブジェクトＦＣとの間の距離Ｄａ（相対位置関係の一例）を特定する。距離Ｄａは、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の最短距離であってもよい。また、第１変形例では、自己アバターオブジェクト４００と音源オブジェクトＭＣが一体的に構成されているため、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａは、音源オブジェクトＭＣと味方アバターオブジェクトＦＣとの間の距離に相当する。
その後、制御部１２１は、ステップＳ１７で規定される判定処理を実行し、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ内に位置していると判定した場合（ステップＳ１７でＹＥＳ）、減衰係数を減衰係数α１に設定した上で、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａと減衰係数α１に基づいて、音声データを加工する（ステップＳ１８）。
一方、制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置していると判定した場合（ステップＳ１７でＮＯ）、減衰係数を減衰係数α２に設定した上で、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａと減衰係数α２に基づいて、音声データを加工する（ステップＳ１９）。
次に、ステップＳ２０において、制御部１２１は、加工された音声データに対応する音声をＨＭＤシステム１Ｂのヘッドフォン１１６に出力させる。
（第１実施形態の第２変形例）
次に、図１２を参照することで第１実施形態の第２変形例に係る情報処理方法について説明する。第２変形例に係る情報処理方法は、音声データがＨＭＤシステム１Ａで加工される点で、第１実施形態に係る情報処理方法とは相違する。図１２は、第１実施形態の第２変形例に係る情報処理方法を説明するためのフローチャートである。
図１２に示すように、ステップＳ３０において、ＨＭＤシステム１Ａのマイク１１８は、ユーザＸから発せられた音声を収集して、当該収集された音声を示す音声データを生成する。次に、ＨＭＤシステム１Ａの制御部１２１（以下、単に制御部１２１という。）は、ユーザＸの仮想カメラ３００の位置と向きに基づいて、ユーザＸの仮想カメラ３００の視野ＣＶを特定する（ステップＳ３１）。その後、制御部１２１は、ユーザＹのアバターオブジェクト（味方アバターオブジェクトＦＣ）の位置を特定する（ステップＳ３２）。ここで、ＨＭＤシステム１Ｂは味方アバターオブジェクトＦＣの位置情報等をゲームサーバ２に所定の時間間隔で送信しつつ、ゲームサーバ２は味方アバターオブジェクトＦＣの位置情報等をＨＭＤシステム１Ｂに所定の時間間隔で送信してもよい。
ステップＳ３３において、制御部１２１は、ユーザＸの仮想カメラ３００（音源オブジェクトＭＣ）と味方アバターオブジェクトＦＣとの間の距離Ｄを特定する。次に、制御部１２１は、味方アバターオブジェクトＦＣがユーザＸの仮想カメラ３００の視野ＣＶ内に位置しているかどうかを判定する。制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ内に位置していると判定した場合（ステップＳ３４でＹＥＳ）、減衰係数を減衰係数α１に設定した上で、仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α１に基づいて、音声データを加工する（ステップＳ３５）。一方、制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置していると判定した場合（ステップＳ３４でＮＯ）、減衰係数を減衰係数α２に設定した上で、仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α２に基づいて、音声データを加工する（ステップＳ３６）。
その後、制御部１２１は、加工された音声データを通信ネットワーク３を介してゲームサーバ２に送信する（ステップＳ３７）。ゲームサーバ２は、ＨＭＤシステム１Ａから加工された音声データを受信した後に、当該加工された音声データをＨＭＤシステム１Ｂに送信する（ステップＳ３８）。次に、ＨＭＤシステム１Ｂの制御部１２１は、ゲームサーバ２から加工された音声データを受信した上で、当該加工された音声データに対応する音声をＨＭＤシステム１Ｂのヘッドフォン１１６に出力させる（ステップＳ３９）。
（第１実施形態の第３変形例）
次に、図１３及び図１４を参照することで第１実施形態の第３変形例に係る情報処理方法について説明する。図１３は、仮想カメラ３００と音源オブジェクトＭＣが一体的に構成された場合における、注視領域Ｒ１内（第１領域の一例）に位置する味方アバターオブジェクトＦＣと注視領域Ｒ１以外の仮想カメラ３００の視野ＣＶ内（第２領域の一例）に位置する敵アバターオブジェクトＥＣを示す図である。図１４は、第１実施形態の第３変形例に係る情報処理方法を説明するためのフローチャートである。
第１実施形態に係る情報処理方法では、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ内に位置している場合に、減衰係数が減衰係数α１に設定される。一方、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置している場合に、減衰係数が減衰係数α２に設定される。
その一方、第３変形例に係る情報処理方法では、図１３に示すように、味方アバターオブジェクトＦＣがユーザＸの視線方向Ｓによって規定される注視領域Ｒ１（第１領域の一例）に位置している場合に、減衰係数が減衰係数α３（第１減衰係数の一例）に設定される。一方、味方アバターオブジェクトＦＣが注視領域Ｒ１以外の仮想カメラ３００の視野ＣＶ内（第２領域の一例）に位置している場合に、減衰係数が減衰係数α１（第２減衰係数の一例）に設定される。また、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置している場合に、減衰係数が減衰係数α２に設定されてもよい。ここで、減衰係数α１と、減衰係数α２と、減衰係数α３はそれぞれ異なっており、例えば、α３＜α１＜α２である。このように、第３変形例に係る情報処理方法は、仮想カメラ３００の視野ＣＶ内において異なる２つの減衰係数α３，α１が設定されている点で第１実施形態に係る情報処理方法と相違する。
また、ＨＭＤシステム１Ａの制御部１２１は、ＨＭＤシステム１Ａの注視センサ１４０から送信されたユーザＸの視線方向Ｓを示すデータに基づいて、ユーザＸの視線方向Ｓを特定する。注視領域Ｒ１は、ｘｙ平面において視線方向Ｓを中心とした所定の極角の角度範囲として設定される第１領域と、ｘｚ平面において視線方向Ｓを中心とした所定の方位角の角度範囲として設定される第２領域とを有する。尚、所定の極角と所定の方位角は、ゲームプログラムの仕様に応じて適宜設定されてもよい。
次に、第３変形例に係る情報処理方法について図１４を参照して以下説明する。尚、以下では、既に説明した第１実施形態に係る情報処理方法と第３変形例に係る情報処理方法との間の相違点についてのみ詳細に説明する。
ステップＳ４０の処理の後、ＨＭＤシステム１Ａは、仮想カメラ３００の位置と向きに関する情報と、視線方向Ｓに関する情報と、音声データとを通信ネットワーク３を介してゲームサーバ２に送信する（ステップＳ４１）。ゲームサーバ２は、ＨＭＤシステム１ＡからユーザＸの仮想カメラ３００の位置と向きに関する情報と、視線方向Ｓに関する情報と、音声データとを受信した後に、当該情報と音声データをＨＭＤシステム１Ｂに送信する（ステップＳ４２）。その後、ＨＭＤシステム１Ｂの制御部１２１は、通信ネットワーク３と通信インターフェース１２５を介して、ユーザＸの仮想カメラ３００の位置と向きに関する情報と、視線方向Ｓに関する情報と、音声データとを受信する（ステップＳ４３）。
次に、ＨＭＤシステム１Ｂの制御部１２１（以下、単に制御部１２１という。）は、ステップＳ４４からＳ４６の処理を実行した後に、ユーザＸの視線方向Ｓに関する情報に基づいて、注視領域Ｒ１を特定する（ステップＳ４７）。次に、制御部１２１は、味方アバターオブジェクトＦＣが注視領域Ｒ１内に位置しているかどうかを判定する（ステップＳ４８）。制御部１２１は、味方アバターオブジェクトＦＣが注視領域Ｒ１内に位置していると判定した場合（ステップＳ４８でＹＥＳ）、減衰係数を減衰係数α３に設定した上で、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α３とに基づいて、音声データを加工する（ステップＳ４９）。
一方、制御部１２１は、味方アバターオブジェクトＦＣが注視領域Ｒ１以外に位置していると判定した場合（ステップＳ４８でＮＯ）、味方アバターオブジェクトＦＣが視野ＣＶ内に位置しているかどうかを判定する（ステップＳ５０）。制御部１２１は、味方アバターオブジェクトＦＣが視野ＣＶ内に位置していると判定した場合（ステップＳ５０でＹＥＳ）、減衰係数を減衰係数α１に設定した上で、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α１とに基づいて、音声データを加工する（ステップＳ５１）。一方、制御部１２１は、味方アバターオブジェクトＦＣが視野ＣＶ外に位置していると判定した場合（ステップＳ５０でＮＯ）、減衰係数を減衰係数α２に設定した上で、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α２とに基づいて、音声データを加工する（ステップＳ５２）。
次に、ステップＳ５３において、制御部１２１は、加工された音声データに対応する音声をＨＭＤシステム１Ｂのヘッドフォン１１６に出力させる。
第３変形例によれば、味方アバターオブジェクトＦＣが注視領域Ｒ１内に位置していると判定された場合に、減衰係数αが減衰係数α３に設定され、その後、音声データは、距離Ｄと減衰係数α３とに基づいて加工される。一方、味方アバターオブジェクトＦＣが注視領域Ｒ１以外の仮想カメラ３００の視野ＣＶ内に位置していると判定された場合に、減衰係数αが減衰係数α１に設定され、その後、音声データは、距離Ｄと減衰係数α１とに基づいて加工される。
このように、仮想空間２００上における味方アバターオブジェクトＦＣの存在位置に応じて、ヘッドフォン１１６から出力される音声の音量（音圧レベル）が異なる。本変形例では、α３＜α１であるため、図１３に示すように、味方アバターオブジェクトＦＣが注視領域Ｒ１内に存在しつつ、敵アバターオブジェクトＥＣが注視領域Ｒ１以外の視野ＣＶ内に存在する場合、味方アバターオブジェクトＦＣを操作するユーザＹに装着されたヘッドフォン１１６から出力される音声の音量は、敵アバターオブジェクトＥＣを操作するユーザＺに装着されたヘッドフォン１１６から出力される音声の音量よりも大きい。このため、ユーザＸは、敵アバターオブジェクトＥＣを操作するユーザＺに気付かれずに味方アバターオブジェクトＦＣを操作するユーザＹに音声により指示を出すことが可能となる。従って、仮想空間２００のエンターテイメント性を向上させることができる。
（第１実施形態の第４変形例）
次に、図１５及び図１６を参照することで第１実施形態の第４変形例に係る情報処理方法について説明する。図１５は、仮想カメラ３００と音源オブジェクトＭＣが一体的に構成された場合における、視軸領域Ｒ２内（第１領域の一例）に位置する味方アバターオブジェクトＦＣと視軸領域Ｒ２以外の仮想カメラ３００の視野ＣＶ内（第２領域の一例）に位置する敵アバターオブジェクトＥＣを示す図である。図１６は、第１実施形態の第４変形例に係る情報処理方法を説明するためのフローチャートである。
第１実施形態に係る情報処理方法では、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ内に位置している場合に、減衰係数が減衰係数α１に設定される。一方、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置している場合に、減衰係数が減衰係数α２に設定される。
その一方、第４変形例に係る情報処理方法では、図１５に示すように、味方アバターオブジェクトＦＣが仮想カメラ３００の視軸Ｌによって規定される視軸領域Ｒ２（第１領域の一例）に位置している場合に、減衰係数が減衰係数α３（第１減衰係数の一例）に設定される。一方、味方アバターオブジェクトＦＣが視軸領域Ｒ２以外の仮想カメラ３００の視野ＣＶ内（第２領域の一例）に位置している場合に、減衰係数が減衰係数α１（第２減衰係数の一例）に設定される。また、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置している場合に、減衰係数が減衰係数α２に設定されてもよい。ここで、減衰係数α１と、減衰係数α２と、減衰係数α３はそれぞれ異なっており、例えば、α３＜α１＜α２である。このように、第４変形例に係る情報処理方法は、第３変形例に係る情報処理方法と同様に、仮想カメラ３００の視野ＣＶ内において異なる２つの減衰係数α３，α１が設定されている点で第１実施形態に係る情報処理方法と相違する。
また、ＨＭＤシステム１Ａの制御部１２１は、仮想カメラ３００の位置と向きに基づいて、仮想カメラ３００の視軸Ｌを特定する。視軸領域Ｒ２は、ｘｙ平面において視線方向Ｓを中心とした所定の極角の角度範囲として設定される第１領域と、ｘｚ平面において視線方向Ｓを中心とした所定の方位角の角度範囲として設定される第２領域とを有する。尚、所定の極角と所定の方位角は、ゲームプログラムの仕様に応じて適宜設定されてもよい。当該所定の極角は、仮想カメラ３００の視野ＣＶを特定するための極角αよりも小さいと共に、当該所定の方位角は、仮想カメラ３００の視野ＣＶを特定するための方位角βよりも小さい。
次に、第４変形例に係る情報処理方法について図１６を参照して以下説明する。尚、以下では、既に説明した第１実施形態に係る情報処理方法と第４変形例に係る情報処理方法との間の相違点についてのみ詳細に説明する。
ステップＳ６０からＳ６６の処理は、図９に示すステップＳ１０からＳ１６の処理と対応しているので、これらの処理についての説明は割愛する。ステップＳ６７において、制御部１２１は、仮想カメラ３００の視軸Ｌに基づいて、視軸領域Ｒ２を特定する（ステップＳ６７）。次に、制御部１２１は、味方アバターオブジェクトＦＣが視軸領域Ｒ２内に位置しているかどうかを判定する（ステップＳ６８）。制御部１２１は、味方アバターオブジェクトＦＣが視軸領域Ｒ２内に位置していると判定した場合（ステップＳ６８でＹＥＳ）、減衰係数を減衰係数α３に設定した上で、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α３とに基づいて、音声データを加工する（ステップＳ６９）。
一方、制御部１２１は、味方アバターオブジェクトＦＣが視軸領域Ｒ２以外に位置していると判定した場合（ステップＳ６８でＮＯ）、味方アバターオブジェクトＦＣが視野ＣＶ内に位置しているかどうかを判定する（ステップＳ７０）。制御部１２１は、味方アバターオブジェクトＦＣが視野ＣＶ内に位置していると判定した場合（ステップＳ７０でＹＥＳ）、減衰係数を減衰係数α１に設定した上で、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α１とに基づいて、音声データを加工する（ステップＳ７１）。一方、制御部１２１は、味方アバターオブジェクトＦＣが視野ＣＶ外に位置していると判定した場合（ステップＳ７０でＮＯ）、減衰係数を減衰係数α２に設定した上で、ユーザＸの仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰係数α２とに基づいて、音声データを加工する（ステップＳ７２）。
次に、ステップＳ７３において、制御部１２１は、加工された音声データに対応する音声をＨＭＤシステム１Ｂのヘッドフォン１１６に出力させる。
第４変形例によれば、味方アバターオブジェクトＦＣが視軸領域Ｒ２内に位置していると判定された場合に、減衰係数αが減衰係数α３に設定され、その後、音声データは、距離Ｄと減衰係数α３とに基づいて加工される。一方、味方アバターオブジェクトＦＣが視軸領域Ｒ２以外の仮想カメラ３００の視野ＣＶ内に位置していると判定された場合に、減衰係数αが減衰係数α１に設定され、その後、音声データは、距離Ｄと減衰係数α２とに基づいて加工される。
このように、仮想空間２００上における味方アバターオブジェクトＦＣの存在位置に応じて、ヘッドフォン１１６から出力される音声の音量（音圧レベル）が異なる。本変形例では、α３＜α１であるため、図１５に示すように、味方アバターオブジェクトＦＣが視軸領域Ｒ２内に存在しつつ、敵アバターオブジェクトＥＣが視軸領域Ｒ２以外の視野ＣＶ内に存在する場合、味方アバターオブジェクトＦＣを操作するユーザＹに装着されたヘッドフォン１１６から出力される音声の音量は、敵アバターオブジェクトＥＣを操作するユーザＺに装着されたヘッドフォン１１６から出力される音声の音量よりも大きい。このため、ユーザＸは、敵アバターオブジェクトＥＣを操作するユーザＺに気付かれずに味方アバターオブジェクトＦＣを操作するユーザＹに音声により指示を出すことが可能となる。従って、仮想空間２００のエンターテイメント性を向上させることができる。
（第２実施形態）
次に、図１７及び図１８を参照することで第２実施形態に係る情報処理方法について説明する。図１７は、自己アバターオブジェクト４００と音源オブジェクトＭＣが一体的に構成された場合における、減衰オブジェクトＳＡの内側（仮想カメラ３００の視野ＣＶ内）に位置する味方アバターオブジェクトＦＣ及び自己アバターオブジェクト４００と、減衰オブジェクトＳＡの外側（仮想カメラ３００の視野ＣＶ外）に位置する敵アバターオブジェクトＥＣを示す図である。図１８は、第２実施形態に係る情報処理方法を説明するためのフローチャートである。
最初に、図１７に示すように、仮想空間２００Ｂは、仮想カメラ３００と、音源オブジェクトＭＣと、自己アバターオブジェクト４００と、味方アバターオブジェクトＦＣと、敵アバターオブジェクトＥＣと、減衰オブジェクトＳＡとを含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。第２実施形態に係る情報処理方法は、減衰オブジェクトＳＡが配置されている点で第１実施形態に係る情報処理方法とは相違する。
減衰オブジェクトＳＡは、仮想空間２００Ｂ内を伝搬する音声の減衰量を規定するオブジェクトであって、仮想カメラ３００の視野ＣＶ内（第１領域の一例）と視野ＣＶ外（第２領域の一例）との境界に配置されている。また、減衰オブジェクトＳＡは、透明であって、ＨＭＤ１１０に表示される視野画像Ｖ（図８参照）内に表示されなくてもよい。この場合、仮想空間２００Ｂへのユーザの没入感（仮想空間２００Ｂに対する臨場感）を損なわずに音源オブジェクトＭＣから出力された音声に指向性を持たせることができる。
また、図１７に示す仮想空間２００Ｂでは、音源オブジェクトＭＣが自己アバターオブジェクト４００と一体的に構成されており、これらのオブジェクトは、仮想カメラ３００の視野ＣＶ内に配置されている。
次に、第２実施形態に係る情報処理方法について図１８を参照して説明する。図１８に示すステップＳ８０からＳ８３の処理は、図９に示すＳ１０からＳ１３の処理にそれぞれ相当するので、その説明は割愛する。ステップＳ８４において、ＨＭＤシステム１Ｂの制御部１２１（以下、単に制御部１２１という。）は、ユーザＹのアバターオブジェクト（味方アバターオブジェクトＦＣ）の位置とユーザＸのアバターオブジェクト（自己アバターオブジェクト４００）の位置をそれぞれ特定する。
次に、ステップＳ８５において、制御部１２１は、自己アバターオブジェクト４００（音源オブジェクトＭＣ）と味方アバターオブジェクトＦＣとの間の距離Ｄａ（相対位置関係の一例）を特定する。距離Ｄａは、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の最短距離であってもよい。自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａは、音源オブジェクトＭＣと味方アバターオブジェクトＦＣとの間の距離に相当する。次に、制御部１２１は、ステップＳ８６とＳ８７の処理を実行する。ここで、ステップＳ８６とＳ８７の処理は、図９に示すステップＳ１６とＳ１７の処理にそれぞれ相当する。
その後、制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置している判定した場合（ステップＳ８７でＮＯ）、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａと減衰オブジェクトＳＡにより規定された減衰量Ｔに基づいて音声データを加工する。この場合、図１７に示すように、音源オブジェクトＭＣが減衰オブジェクトＳＡの内側に位置しつつ、味方アバターオブジェクトＦＣ（破線表示）が減衰オブジェクトＳＡの外側に位置している。このため、音源オブジェクトＭＣから味方アバターオブジェクトＦＣに向かう音声は減衰オブジェクトＳＡを通過するため、当該音声の音量（音圧レベル）は、距離Ｄａと減衰オブジェクトＳＡにより規定された減衰量Ｔにより決定される。
一方、制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ内に位置している判定した場合（ステップＳ８７でＹＥＳ）、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａに基づいて音声データを加工する。この場合、図１７に示すように、音源オブジェクトＭＣと味方アバターオブジェクトＦＣ（実線表示）は、減衰オブジェクトＳＡの内側に位置している。このため、音源オブジェクトＭＣから味方アバターオブジェクトＦＣに向かう音声は減衰オブジェクトＳＡを通過しないため、当該音声の音量（音圧レベル）は、距離Ｄａにより決定される。
次に、ステップＳ９０において、制御部１２１は、加工された音声データに対応する音声をＨＭＤシステム１Ｂのヘッドフォン１１６に出力させる。
本実施形態によれば、音源オブジェクトＭＣが仮想カメラ３００の視野ＣＶ内（減衰オブジェクトＳＡの内側）に配置された場合、仮想カメラ３００の視野ＣＶ外では、音源オブジェクトＭＣから出力される音声は、視野ＣＶ内と比較して減衰オブジェクトＳＡにより規定される減衰量Ｔだけ更に減衰する。このように、音源オブジェクトＭＣから出力される音声に指向性を持たせることができる。
さらに、味方アバターオブジェクトＦＣが、音源オブジェクトＭＣが位置する視野ＣＶ内（第１領域）に位置していると判定された場合、音声データは、距離Ｄａに基づいて加工される。一方、味方アバターオブジェクトＦＣが視野ＣＶ外（第２領域）に位置していると判定された場合、音声データは、距離Ｄａと減衰オブジェクトＳＡによって規定された減衰量Ｔに基づいて加工される。
このように、仮想空間２００Ｂ上における味方アバターオブジェクトＦＣの存在位置に応じて、ヘッドフォン１１６から出力される音声の音量（音圧レベル）が異なる。味方アバターオブジェクトＦＣが視野ＣＶ内に存在する場合におけるヘッドフォン１１６から出力される音声の音量は、味方アバターオブジェクトＦＣが視野ＣＶ外に存在する場合におけるヘッドフォン１１６から出力される音声の音量よりも大きくなる。このため、味方アバターオブジェクトＦＣが視野ＣＶ内に存在しつつ、敵アバターオブジェクトＥＣが視野ＣＶ外に存在する場合、自己アバターオブジェクト４００を操作するユーザＸは、敵アバターオブジェクトＥＣを操作するユーザＺに気付かれずに味方アバターオブジェクトＦＣを操作するユーザＹに音声により指示を出すことが可能となる。従って、仮想空間２００Ｂのエンターテイメント性を向上させることができる。
（第２実施形態の第１変形例）
次に、図１９を参照することで第２実施形態の第１変形例に係る情報処理方法について説明する。第２変形例に係る情報処理方法は、音声データがＨＭＤシステム１Ａで加工される点で、第１実施形態に係る情報処理方法とは相違する。図１９は、第２実施形態の第１変形例に係る情報処理方法を説明するためのフローチャートである。
図１９に示すように、ステップＳ１００において、ＨＭＤシステム１Ａのマイク１１８は、ユーザＸから発せられた音声を収集して、当該収集された音声を示す音声データを生成する。次に、ＨＭＤシステム１Ａの制御部１２１（以下、単に制御部１２１という。）は、ユーザＸの仮想カメラ３００の位置と向きに基づいて、ユーザＸの仮想カメラ３００の視野ＣＶを特定する（ステップＳ１０１）。その後、制御部１２１は、ユーザＹのアバターオブジェクト（味方アバターオブジェクトＦＣ）の位置とユーザＸのアバターオブジェクト（自己アバターオブジェクト４００）の位置を特定する（ステップＳ１０２）。
ステップＳ１０３において、制御部１２１は、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａを特定する。次に、制御部１２１は、味方アバターオブジェクトＦＣがユーザＸの仮想カメラ３００の視野ＣＶ内に位置しているかどうかを判定する（ステップＳ１０４）。制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ外に位置している判定した場合（ステップＳ１０４でＮＯ）、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａと減衰オブジェクトＳＡにより規定された減衰量Ｔに基づいて音声データを加工する。一方、制御部１２１は、味方アバターオブジェクトＦＣが仮想カメラ３００の視野ＣＶ内に位置している判定した場合（ステップＳ１０４でＹＥＳ）、自己アバターオブジェクト４００と味方アバターオブジェクトＦＣとの間の距離Ｄａに基づいて音声データを加工する（ステップＳ１０６）。
その後、制御部１２１は、加工された音声データを通信ネットワーク３を介してゲームサーバ２に送信する（ステップＳ１０７）。ゲームサーバ２は、ＨＭＤシステム１Ａから加工された音声データを受信した後に、当該加工された音声データをＨＭＤシステム１Ｂに送信する（ステップＳ１０８）。次に、ＨＭＤシステム１Ｂの制御部１２１は、ゲームサーバ２から加工された音声データを受信した上で、当該加工された音声データに対応する音声をＨＭＤシステム１Ｂのヘッドフォン１１６に出力させる（ステップＳ１０９）。
（第２実施形態の第２変形例）
次に、図２０を参照することで第２実施形態の第２変形例に係る情報処理方法について説明する。図２０は、仮想カメラ３００と音源オブジェクトＭＣが一体的に構成された場合における、減衰オブジェクトＳＢの内側に位置する味方アバターオブジェクトＦＣと、減衰オブジェクトＳＢの外側に位置する敵アバターオブジェクトＥＣを示す図である。図２０に示すように、仮想空間２００Ｃにおいて、減衰オブジェクトＳＢは、仮想カメラ３００（音源オブジェクトＭＣ）を囲うように配置されている。味方アバターオブジェクトＦＣ（実線表示）が減衰オブジェクトＳＢの内側領域Ｒ３内に配置されている場合、音声データは、仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄに基づいて加工される。一方、味方アバターオブジェクトＦＣ（破線表示）が減衰オブジェクトＳＢの外側領域に配置されている場合、音声データは、仮想カメラ３００と味方アバターオブジェクトＦＣとの間の距離Ｄと減衰オブジェクトＳＢにより規定される減衰量Ｔに基づいて加工される。
制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部１２３又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る表示制御方法を実行する。
また、表示制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
１，１Ａ，１Ｂ，１Ｃ：ＨＭＤシステム
２：ゲームサーバ
３：通信ネットワーク
２１：中心位置
１００：ゲームシステム
１１２：表示部
１１４：センサ
１１６：ヘッドフォン
１１８：マイク
１２０：制御装置
１２１：制御部
１２３：記憶部（ストレージ）
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００：仮想空間
３００：仮想カメラ
３２０：外部コントローラ
４００：自己アバターオブジェクト
ＣＶ：視野
ＥＣ：敵アバターオブジェクト
ＦＣ：味方アバターオブジェクト
ＭＣ：音源オブジェクト
Ｒ１：注視領域
Ｒ２：視軸領域
Ｒ３：内側領域
Ｓ：視線方向
ＳＡ，ＳＢ：減衰オブジェクト

Claims (11)

  1. 第１ヘッドマウントディスプレイと、音声入力部とを有する第１ユーザ端末を備えたシステムにおける情報処理方法であって、
    仮想カメラと、前記音声入力部に入力された音声の音源として規定される音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
    前記第１ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
    前記仮想カメラの視野と仮想空間データとに基づいて、視野画像データを生成するステップと、
    前記視野画像データに基づいて、前記第１ヘッドマウントディスプレイに視野画像を表示させるステップと、
    前記仮想空間の第１領域において、前記仮想空間内を伝搬する音声の単位距離当たりの減衰量を規定する減衰係数を第１減衰係数に設定すると共に、前記第１領域とは異なる前記仮想空間の第２領域において、前記減衰係数を第２減衰係数に設定するステップと、
    を含み、
    前記第１減衰係数と前記第２減衰係数は互いに異なる、情報処理方法。
  2. 前記システムは、第２ヘッドマウントディスプレイと、音声出力部とを有する第２ユーザ端末をさらに備え、
    前記仮想空間は、前記第２ユーザ端末に関連付けられたアバターオブジェクトをさらに含み、
    前記情報処理方法は、
    前記音声入力部に入力された音声を示す音声データを取得するステップと、
    前記音源オブジェクトと前記アバターオブジェクトとの間の相対位置関係を特定するステップと、
    前記アバターオブジェクトが前記第１領域に位置しているかどうかを判定するステップと、
    前記特定された相対位置関係と、前記減衰定数とに基づいて、前記音声データを加工するステップと、
    前記加工された音声データに対応する音声を前記音声出力部に出力させるステップと、
    をさらに含み、
    前記アバターオブジェクトが前記第１領域に位置していると判定された場合、前記減衰係数が前記第１減衰係数に設定され、その後、前記音声データは、前記相対位置関係と前記第１減衰定数とに基づいて加工され、
    前記アバターオブジェクトが前記第２領域に位置していると判定された場合、前記減衰係数が前記第２減衰係数に設定され、その後、前記音声データは、前記相対位置関係と前記第２減衰係数とに基づいて加工される、
    請求項１に記載の情報処理方法。
  3. 前記第１領域は、前記仮想カメラの視野内であり、
    前記第２領域は、前記仮想カメラの視野外である、
    請求項１又は２に記載の情報処理方法。
  4. 前記第１領域は、前記第１ヘッドマウントディスプレイを装着したユーザの視線方向によって規定される注視領域であり、
    前記第２領域は、前記注視領域以外の前記仮想カメラの視野内である、
    請求項１又は２に記載の情報処理方法。
  5. 前記第１領域は、前記仮想カメラの視軸によって規定される視軸領域であり、
    前記第２領域は、前記視軸領域以外の前記仮想カメラの視野内である、
    請求項１又は２に記載の情報処理方法。
  6. 第１ヘッドマウントディスプレイと、音声入力部とを有する第１ユーザ端末を備えたシステムにおける情報処理方法であって、
    仮想カメラと、前記音声入力部に入力された音声の音源として規定された音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
    前記第１ヘッドマウントディスプレイの動きに応じて、前記仮想カメラの視野を決定するステップと、
    前記仮想カメラの視野と前記仮想空間データとに基づいて、視野画像データを生成するステップと、
    前記視野画像データに基づいて、前記第１ヘッドマウントディスプレイに視野画像を表示させるステップと、
    を含み、
    前記仮想空間は、前記仮想空間の第１領域と第２領域との間の境界に配置されると共に、前記仮想空間内を伝搬する音声の減衰量を規定する減衰オブジェクトをさらに含む、
    情報処理方法。
  7. 前記減衰オブジェクトは、透明であって、前記視野画像内に表示されない、請求項６に記載の情報処理方法。
  8. 前記音源オブジェクトは、前記仮想空間の第１領域に配置される、請求項６又は７に記載の情報処理方法。
  9. 前記システムは、第２ヘッドマウントディスプレイと、音声出力部とを有する第２ユーザ端末をさらに備え、
    前記仮想空間は、前記第２ユーザ端末に関連付けられたアバターオブジェクトをさらに含み、
    前記情報処理方法は、
    前記音声入力部に入力された音声を示す音声データを取得するステップと、
    前記音源オブジェクトと前記アバターオブジェクトとの間の相対位置関係を特定するステップと、
    前記アバターオブジェクトが前記仮想空間の第１領域に位置しているかどうかを判定するステップと、
    前記音声データを加工するステップと、
    前記加工された音声データに対応する音声を前記音声出力部に出力させるステップと、
    をさらに含み、
    前記アバターオブジェクトが前記仮想空間の第１領域に位置していると判定された場合、前記音声データは、前記相対位置関係に基づいて加工され、
    前記アバターオブジェクトが前記仮想空間の第２領域に位置していると判定された場合、前記音声データは、前記相対位置関係と前記減衰オブジェクトによって規定された減衰量に基づいて加工される、
    請求項８に記載の情報処理方法。
  10. 前記第１領域は、前記仮想カメラの視野内であり、
    前記第２領域は、前記仮想カメラの視野外である、
    請求項８又は９に記載の情報処理方法。
  11. 請求項１から１０のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2016138832A 2016-07-13 2016-07-13 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム Active JP6190497B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016138832A JP6190497B1 (ja) 2016-07-13 2016-07-13 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US15/647,396 US20180015362A1 (en) 2016-07-13 2017-07-12 Information processing method and program for executing the information processing method on computer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016138832A JP6190497B1 (ja) 2016-07-13 2016-07-13 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017148811A Division JP2018020115A (ja) 2017-08-01 2017-08-01 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Publications (2)

Publication Number Publication Date
JP6190497B1 JP6190497B1 (ja) 2017-08-30
JP2018010480A true JP2018010480A (ja) 2018-01-18

Family

ID=59720377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016138832A Active JP6190497B1 (ja) 2016-07-13 2016-07-13 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Country Status (1)

Country Link
JP (1) JP6190497B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111744192B (zh) * 2020-06-28 2024-02-02 网易（杭州）网络有限公司 声音的传播方法、装置、电子设备及计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299135A (ja) * 2007-05-31 2008-12-11 Nec Corp 音声合成装置、音声合成方法、および音声合成用プログラム
JP2012141826A (ja) * 2010-12-29 2012-07-26 Namco Bandai Games Inc プログラム、情報記憶媒体、画像生成システム及びサーバシステム
JP2013017568A (ja) * 2011-07-08 2013-01-31 Square Enix Co Ltd 反響処理装置
JP2013538593A (ja) * 2010-06-21 2013-10-17 マイクロソフト コーポレーション インタラクティブ・ストーリーを駆動するための自然ユーザー入力

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299135A (ja) * 2007-05-31 2008-12-11 Nec Corp 音声合成装置、音声合成方法、および音声合成用プログラム
JP2013538593A (ja) * 2010-06-21 2013-10-17 マイクロソフト コーポレーション インタラクティブ・ストーリーを駆動するための自然ユーザー入力
JP2012141826A (ja) * 2010-12-29 2012-07-26 Namco Bandai Games Inc プログラム、情報記憶媒体、画像生成システム及びサーバシステム
JP2013017568A (ja) * 2011-07-08 2013-01-31 Square Enix Co Ltd 反響処理装置

Also Published As

Publication number Publication date
JP6190497B1 (ja) 2017-08-30

Similar Documents

Publication Publication Date Title
US9875079B1 (en) Information processing method and system for executing the information processing method
JP6266814B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6462059B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
WO2017115635A1 (ja) 情報処理方法及び情報処理プログラム
US20180015362A1 (en) Information processing method and program for executing the information processing method on computer
US10504296B2 (en) Information processing method and system for executing the information processing method
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP6207691B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6298874B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6289703B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP6190497B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6266823B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2018195172A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2018109940A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018007227A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018120583A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019036239A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2018020115A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018011193A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP7041484B2 (ja) プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6205047B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6941130B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
WO2022149496A1 (ja) エンタテインメントシステムおよびロボット
JP2018163649A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170804

R150 Certificate of patent or registration of utility model

Ref document number: 6190497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250