JP2018089351A - 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents
情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP2018089351A JP2018089351A JP2017173568A JP2017173568A JP2018089351A JP 2018089351 A JP2018089351 A JP 2018089351A JP 2017173568 A JP2017173568 A JP 2017173568A JP 2017173568 A JP2017173568 A JP 2017173568A JP 2018089351 A JP2018089351 A JP 2018089351A
- Authority
- JP
- Japan
- Prior art keywords
- avatar object
- information processing
- processing method
- visual field
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】ユーザの没入感を損なうことなく、周囲から何らかの作用を受ける可能性をユーザに容易に認識させる情報処理方法を提供する。
【解決手段】仮想カメラと、第一アバターオブジェクトECと、第二アバターオブジェクトNCと、集音オブジェクトTCとを含む仮想空間200を定義するデータを生成し、仮想カメラ300の視野CV及び仮想空間データに基づいてHMDに視野画像を表示させ、第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定する。所定の作用を受ける可能性があると判定された場合、第一アバターオブジェクトと集音オブジェクトとの相対位置関係を特定し、特定された相対位置関係に基づいて、第二アバターオブジェクトの位置を設定し、位置が設定された第二アバターオブジェクトから出力された所定の音声データを集音オブジェクトにより収集し、当該音声データに対応する音声を音声出力部から出力する。
【選択図】図9
【解決手段】仮想カメラと、第一アバターオブジェクトECと、第二アバターオブジェクトNCと、集音オブジェクトTCとを含む仮想空間200を定義するデータを生成し、仮想カメラ300の視野CV及び仮想空間データに基づいてHMDに視野画像を表示させ、第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定する。所定の作用を受ける可能性があると判定された場合、第一アバターオブジェクトと集音オブジェクトとの相対位置関係を特定し、特定された相対位置関係に基づいて、第二アバターオブジェクトの位置を設定し、位置が設定された第二アバターオブジェクトから出力された所定の音声データを集音オブジェクトにより収集し、当該音声データに対応する音声を音声出力部から出力する。
【選択図】図9
Description
本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。
特許文献1には、FPSゲーム(First Person Shooter)において、プレイヤキャラクタが相手キャラクタから攻撃を受けた際に、プレイヤキャラクタの周囲に、攻撃を受けた方向を示すダメージマークを表示させる方法が開示されている。
近年、ヘッドマウントディスプレイ(HMD:Head‐Mounted Display)を装着して仮想現実(VR:Virtual Reality)空間に没入できるゲーム(以下、VRゲームと称することがある)が知られている。 しかしながら、特許文献1の方法をVRゲームに採用した場合、ダメージマークの表示態様が現実離れしているため、VR空間へのユーザの没入体験を損なう恐れがある。
本開示は、ユーザの没入感を損なうことなく、周囲から何らかの作用を受ける可能性があることをユーザに容易に認識させることができる情報処理方法を提供することを目的とする。また、本開示は、当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
(a)仮想カメラと、第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
(b)前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
(c)前記第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定するステップと、
(d)前記所定の作用を受ける可能性があると判定された場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
(e)前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
(f)前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、を含む。
当該情報処理方法は、
(a)仮想カメラと、第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
(b)前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
(c)前記第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定するステップと、
(d)前記所定の作用を受ける可能性があると判定された場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
(e)前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
(f)前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、を含む。
本開示によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受ける可能性があることをユーザに容易に認識させることができる情報処理方法を提供することができる。
[本開示が示す実施形態の説明]
本開示が示す実施形態の概要を説明する。
(1)ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
(a)仮想カメラと、第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
(b)前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
(c)前記第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定するステップと、
(d)前記所定の作用を受ける可能性があると判定された場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
(e)前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
(f)前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、を含む。
本開示が示す実施形態の概要を説明する。
(1)ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
当該情報処理方法は、
(a)仮想カメラと、第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
(b)前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
(c)前記第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定するステップと、
(d)前記所定の作用を受ける可能性があると判定された場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
(e)前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
(f)前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、を含む。
上記方法によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受ける可能性があることをユーザに容易に認識させることができる。
(2)前記ステップ(e)において、前記第一アバターオブジェクトと前記第二アバターオブジェクトとが同一視野画像内に含まれるように、前記第二アバターオブジェクトの
位置を指定しても良い。
位置を指定しても良い。
上記方法によれば、例えばナビゲータキャラクタである第二アバターオブジェクトに視線を送ったとき、例えば敵キャラクタである第一アバターオブジェクトが必ず視野内に収まっていることで、第二アバターオブジェクトの発する音に基づいて容易に第一アバターオブジェクトを視認することができる。
(3)前記ステップ(e)において、前記第一アバターオブジェクトが前記視野内に含まれた場合に、前記視野画像において前記第一アバターオブジェクトと重複しない位置に前記第二アバターオブジェクトを配置しても良い。
上記方法によれば、第二アバターオブジェクトによって第一アバターオブジェクトの視認性が損なわれることが無い。
(4)前記ステップ(d)では、前記第二アバターオブジェクトを、前記集音オブジェクトを中心とした一定距離の位置に配置しても良い。
上記方法によれば、集音オブジェクトを中心とする球体の表面上の所定位置に第二アバターオブジェクトが配置されるため、音声データ生成時等の情報処理量を抑制することができるとともに、集音オブジェクトと第二アバターオブジェクトとの位置関係により例えば左右の各イヤホンから出力される音声の調整を行うことで立体音響の再現を適切に実現することができる。
(5)前記集音オブジェクトは、前記仮想カメラと一体的に構成されていても良い。
上記方法によれば、特に一人称視点の場合に、よりリアルな音声を提供することができる。
(6)前記仮想空間は、前記ヘッドマウントディスプレイのユーザに関連付けられた第三アバターオブジェクトをさらに含み、
前記集音オブジェクトは、前記第三アバターオブジェクトと一体的に構成されていても良い。
前記集音オブジェクトは、前記第三アバターオブジェクトと一体的に構成されていても良い。
上記方法によれば、ユーザの感覚により近い音声を提供することができ、直感的にユーザが状況を把握することができる。
(7)上記(1)から(6)のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラムである。
この構成によれば、ユーザの没入感を損なうことなく、周囲から何らかの作用を受けたことをユーザに容易に認識させることができるプログラムを提供することができる。
[本開示が示す実施形態の詳細]
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
図1は、本開示が示す実施形態(以下、単に本実施形態という。)に係る情報処理方法を実現するヘッドマウントディスプレイ(以下、単にHMDという。)システム1を示す概略図である。図1に示すように、HMDシステム1は、ユーザUの頭部に装着されたHMD110と、位置センサ130と、制御装置120と、外部コントローラ320とを備える。
HMD110は、表示部112と、HMDセンサ114と、ヘッドホン116(音声出力部の一例)とを備えている。
表示部112は、HMD110を装着したユーザUの視界(視野)を覆うように構成された非透過型の表示装置を備えている。HMD110は、透過型表示装置を備えており、当該透過型表示装置の透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。これにより、ユーザUは、表示部112に表示された視野画像のみを見ることで仮想空間に没入することができる。なお、表示部112は、ユーザUの左眼に投影される左眼用の表示部とユーザUの右眼に投影される右眼用の表示部とから構成されてもよい。
HMDセンサ114は、HMD110の表示部112の近傍に搭載される。HMDセンサ114は、地磁気センサ、加速度センサ、傾きセンサ(角速度センサやジャイロセンサ等)のうちの少なくとも1つを含み、ユーザUの頭部に装着されたHMD110の各種動きを検出することができる。
ヘッドホン116は、ユーザUの左耳と右耳にそれぞれ装着されている。ヘッドホン116は、制御装置120から音声データ(電気信号)を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドホン116の右耳用のスピーカに出力される音声は、ヘッドホン116の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置120は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを取得し、当該異なる2つの音声データをヘッドホン116の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。なお、HMD110にヘッドホン116を設けずに、HMD110とは独立したスピーカ(例えば、2つの据置型スピーカ)やイヤホンを設けてもよい。
位置センサ130は、例えば、ポジション・トラッキング・カメラにより構成され、HMD110の位置を検出するように構成されている。位置センサ130は、制御装置120に無線または有線により通信可能に接続されており、HMD110に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。また、位置センサ130は、赤外線センサや複数の光学カメラを含んでもよい。
制御装置120は、位置センサ130から取得された情報に基づいて、HMD110の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるHMD110を装着したユーザUの位置を正確に対応付けることができる。
次に、図2を参照して、HMD110の位置や傾きに関する情報を取得する方法について説明する。図2は、HMD110を装着したユーザUの頭部を示す図である。HMD110を装着したユーザUの頭部の動きに連動したHMD110の位置や傾きに関する情報は、位置センサ130および/またはHMD110に搭載されたHMDセンサ114により検出可能である。図2に示すように、HMD110を装着したユーザUの頭部を中心として、3次元座標(uvw座標)が規定される。ユーザUが直立する垂直方向をv軸として規定し、v軸と直交し表示部112の中心とユーザUとを結ぶ方向をw軸として規定し、v軸およびw軸と直交する方向をu軸として規定する。位置センサ130および/またはHMDセンサ114は、各uvw軸回りの角度(すなわち、v軸を中心とする回転を示すヨー角、u軸を中心とした回転を示すピッチ角、w軸を中心とした回転を示すロール角で決定される傾き)を検出する。制御装置120は、検出された各uvw軸回りの角度変化に基づいて、視野情報を定義する仮想カメラの視軸を制御するための角度情報を決定する。
次に、図3を参照して、制御装置120のハードウェア構成について説明する。図3に示すように、制御装置120は、制御部121と、記憶部123と、I/O(入出力)インターフェース124と、通信インターフェース125と、バス126とを備える。制御部121と、記憶部123と、I/Oインターフェース124と、通信インターフェース125とは、バス126を介して互いに通信可能に接続されている。
制御装置120は、HMD110とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、HMD110の内部に搭載されていてもよい。また、制御装置120の一部の機能がHMD110に搭載されると共に、制御装置120の残りの機能がHMD110とは別体の他の装置に搭載されてもよい。
制御部121は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたROM(Read Only Memory)やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するRAM(Random Access Memory)等から構成される。プロセッサは、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)および/またはGPU(Graphics Processing Unit)であって、ROMに組み込まれた各種プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されている。
特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるための情報処理プログラム(後述する)をRAM上に展開し、RAMとの協働で当該プログラムを実行することで、制御部121は、制御装置120の各種動作を制御してもよい。制御部121は、メモリや記憶部123に格納された所定のアプリケーション(ゲームプログラム)を実行することで、HMD110の表示部112に仮想空間(視野画像)を提供する。これにより、ユーザUは、表示部112に提供された仮想空間に没入することができる。
記憶部(ストレージ)123は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、USBフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部123には、情報処理プログラムが組み込まれてもよい。また、ユーザの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部123には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。
I/Oインターフェース124は、位置センサ130と、HMD110と、ヘッドホン116と、外部コントローラ320と、をそれぞれ制御装置120に通信可能に接続するように構成されており、例えば、USB(Universal Serial Bus)端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High―Definition Multimedia Interface)端子等により構成されている。なお、制御装置120は、位置センサ130と、HMD110と、ヘッドホン116と、外部コントローラ320とのそれぞれと無線接続されていてもよい。
通信インターフェース125は、制御装置120をLAN(Local Area Network)、WAN(Wide Area Network)またはインターネット等の通信ネットワーク3に接続させるように構成されている。通信インターフェース125は、通信ネットワーク3を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク3を介して通信するための通信規格に適合するように構成されている。
次に、図4から図6を参照することで視野画像をHMD110に表示するための処理について説明する。図4は、視野画像をHMD110に表示するための処理を示すフローチャートである。図5は、仮想空間200の一例を示すxyz空間図を示す。図6(a)は、図5に示す仮想空間200のyx平面図であって、図6(b)は、図5に示す仮想空間200のzx平面図である。
図4に示すように、ステップS1において、制御部121(図3参照)は、仮想カメラ300を含む仮想空間200を定義する仮想空間データを生成する。図5および図6に示すように、仮想空間200は、中心位置21を中心とした全天球として規定される(図5および図6では、上半分の天球のみが図示されている)。また、仮想空間200には、中心位置21を原点とするxyz座標系が設定されている。HMDシステム1の初期状態では、仮想カメラ300が仮想空間200の中心位置21に配置されている。 仮想カメラ300の視野を定義するuvw座標系は、現実空間におけるユーザUの頭部を中心として規定されたuvw座標系に連動するように決定される。また、HMD110を装着したユーザUの現実空間における移動に連動して、仮想カメラ300を仮想空間200内で移動させてもよい。
次に、ステップS2において、制御部121は、仮想カメラ300の視野CV(図6参照)を特定する。具体的には、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の状態を示すデータに基づいて、HMD110の位置や傾きに関する情報を取得する。次に、制御部121は、HMD110の位置や傾きに関する情報に基づいて、仮想空間200内における仮想カメラ300の位置や向きを決定する。次に、制御部121は、仮想カメラ300の位置や向きから仮想カメラ300の視軸に相当する基準視線Lを決定し、決定された基準視線Lから仮想カメラ300の視野CVを特定する。ここで、仮想カメラ300の視野CVは、HMD110を装着したユーザUが視認可能な仮想空間200の一部の領域と一致する。換言すれば、視野CVは、HMD110に表示される仮想空間200の一部の領域に一致する。また、視野CVは、図6(a)に示すxy平面において、基準視線Lを中心とした極角θαの角度範囲として設定される第1領域CVaと、図6(b)に示すxz平面において、基準視線Lを中心とした方位角θβの角度範囲として設定される第2領域CVbとを有する。
このように、制御部121は、位置センサ130および/またはHMDセンサ114からのデータに基づいて、仮想カメラ300の視野CVを特定することができる。ここで、HMD110を装着したユーザUが動くと、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の動きを示すデータに基づいて、仮想カメラ300の視野CVを特定することができる。つまり、制御部121は、HMD110の動きに応じて、視野CVを移動させることができる。
次に、ステップS3において、制御部121は、HMD110の表示部112に表示される視野画像を示す視野画像データを生成する。具体的には、制御部121は、仮想空間200を規定する仮想空間データと、仮想カメラ300の視野CVとに基づいて、視野画像データを生成する。すなわち、仮想カメラ300の視野CVにより、仮想空間データのうち視野画像データとして描画される範囲が定まる。
次に、ステップS4において、制御部121は、視野画像データに基づいて、HMD110の表示部112に視野画像を表示する。このように、HMD110を装着しているユーザUの動きに応じて、仮想カメラ300の視野CVが変化し、HMD110に表示される視野画像Vが変化するので、ユーザUは仮想空間200に没入することができる。
次に、本実施形態に係る情報処理方法について、図7から図12を参照して説明する。図7は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図8から図10は、本実施形態に係る情報処理方法を説明するための模式図である。図11は、本実施形態に係る情報処理方法に関する視野画像を示す図である。図12は、ナビゲーターオブジェクトから音声メッセージが出力された場合の模式図である。
最初に、図8に示すように、仮想空間200は、仮想カメラ300と、自己アバターオブジェクトSC(第三アバターオブジェクトの一例)と、相手アバターオブジェクトEC(第一アバターオブジェクトの一例)と、ナビゲーターオブジェクトNC(第二アバターオブジェクトの一例)と、集音オブジェクトTCと、を含む。制御部121は、これらのオブジェクトを含む仮想空間200を規定する仮想空間データを生成している。
仮想カメラ300は、ユーザUが操作するHMDシステム1に関連付けられている。すなわち、ユーザUが装着するHMD110の動きに応じて仮想カメラ300の位置や向き(すなわち、仮想カメラ300の視野CV)が変更される。
自己アバターオブジェクトSCは、ユーザUが操作するHMDシステム1に関連付けられている。すなわち、自己アバターオブジェクトSCは、ユーザUに関連付けられたアバターオブジェクトであって、ユーザUの操作により制御される。本実施形態では、自己アバターオブジェクトSCは、仮想カメラ300と一体的に構成されている。仮想カメラ300は、例えば、自己アバターオブジェクトSCの頭部の位置に配置されていることが好ましい。
相手アバターオブジェクトECは、自己アバターオブジェクトSCに対して所定の作用(例えば、攻撃や問いかけ、など)を及ぼすことができるアバターオブジェクトである。相手アバターオブジェクトECは、ユーザ同士の対戦型ゲームの場合にはユーザUとは異なる他のユーザにより制御され、ユーザ対コンピュータの対戦型ゲームの場合には制御装置120(制御部121)により制御される。
ナビゲーターオブジェクトNCは、例えば、ユーザUのゲーム進行をサポートするためのアバターオブジェクトであって、制御部121により制御される。ナビゲーターオブジェクトNCは、原則として、集音オブジェクトTCを中心とした一定距離の位置に配置されるよう、その移動経路400が設定されている。移動経路400は、例えば、集音オブジェクトを中心とする球体(真円状でも楕円状でも良い)として設定され得る。
集音オブジェクトTCは、仮想空間200上を伝搬する音声、例えば相手アバターオブジェクトECやナビゲーターオブジェクトNCが発する音声を収集する集音器として機能する。集音オブジェクトTCは、仮想カメラ300に付随するオブジェクトである。集音オブジェクトTCは、仮想カメラ300と一体的に構成され、例えば、仮想カメラ300の略中心位置に配置されている。
次に、自己アバターオブジェクトSCが相手アバターオブジェクトECから所定の作用を受ける可能性があると判定された場合における、ナビゲーターオブジェクトNCの挙動について図7を参照して説明する。
まず、図7に示すように、制御部121は、自己アバターオブジェクトSCが相手アバターオブジェクトECから攻撃等の所定の作用を受ける可能性があるか否かを判定する(ステップS10)。例えば、制御部121は、ゲームの進行に応じて、他のユーザあるいは制御部121自体によってなされた相手アバターオブジェクトECに対する所定の入力操作を受け付けた場合に、当該入力操作が攻撃等の作用に関するものであるか否かや、当該入力操作の方向が自己アバターオブジェクトSCに向けたものであるか否かを判定する。入力操作の攻撃等の作用に関するものであり、且つ、当該入力操作の方向が自己アバターオブジェクトSCに向けたものである場合には、制御部121は、自己アバターオブジェクトSCが相手アバターオブジェクトECから所定の作用を受ける可能性があると判定する(ステップS10のYes)。そして、制御部121は、仮想カメラ300と一体的に構成されている集音オブジェクトTCと、相手アバターオブジェクトECとの間の相対位置関係を特定する(ステップS12)。すなわち、制御部121は、集音オブジェクトTCに対して、相手アバターオブジェクトECが仮想空間200内のどの方向に位置しているかを特定する。
次に、制御部121は、ステップS12で特定された相対位置関係に基づいて、ナビゲーターオブジェクトNCの位置を決定する(ステップS14)。例えば、制御部121は、ナビゲーターオブジェクトNCを、移動経路400上において、図8に示す位置から図9へ示す位置へと移動させる。この移動後のナビゲーターオブジェクトNCの位置は、図10に示すように、仮想カメラ300の視野CV内に相手アバターオブジェクトECが含まれた場合に、同一の視野CV内にナビゲーターオブジェクトNCが含まれる位置となるように規定される。すなわち、制御部121は、相手アバターオブジェクトECとナビゲーターオブジェクトNCとが同一視野画像内に含まれるように、ナビゲーターオブジェクトNCの位置を指定する。
なお、図11に示すように、制御部121は、相手アバターオブジェクトECが仮想カメラ300の視野CV内に含まれた場合に、ナビゲーターオブジェクトNCを、相手アバターオブジェクトECと同一の視野画像V内であって、且つ、相手アバターオブジェクトECと重複しない位置に配置することが好ましい。さらに、制御部121は、ナビゲーターオブジェクトNCが仮想カメラ300の視野CVの水平方向または上下方向における中心に配置された場合に、相手アバターオブジェクトECが当該視野画像V内に含まれるように、ナビゲーターオブジェクトNCの配置位置を特定することが好ましい。これにより、ユーザUはナビゲーターオブジェクトNCから発せられる音声に基づいてナビゲーターオブジェクトNCを視野CVの中心に捉えた場合に、相手アバターオブジェクトECを容易に視認することができる。
次に、制御部121は、ナビゲーターオブジェクトNCに、相手アバターオブジェクトECから受ける可能性のある所定の作用に関連付けられた音声メッセージを生成させる(ステップS16)。すなわち、ナビゲーターオブジェクトNCは、相手アバターオブジェクトECの動作に起因する所定の作用に関連付けられた音声データを生成する。例えば、図12に示すように、ナビゲーターオブジェクトNCは、「敵(相手)アバターオブジェクトECが攻撃してきます」というメッセージMに対応する音声データを生成する。
次に、制御部121は、集音オブジェクトTCに、ナビゲーターオブジェクトNCで生成された音声データを収集させる(ステップS18)。そして、集音オブジェクトTCは、収集した音声データを制御部121に送信する。
次に、制御部121は、仮想カメラ300の向きを特定する(ステップS20)。そして、制御部121は、ステップS20で特定された仮想カメラ300の向きに基づいて、集音オブジェクトTCから取得した音声データに対応する音声(例えば、図12のメッセージM)を、HMDシステム1のヘッドホン116から出力させる(ステップS22)。ヘッドホン116から出力された音声により、ユーザUが音声が発せられた方向に視線を向ける、すなわち、仮想カメラ300の向きが変更されることで、ユーザUは相手アバターオブジェクトECの存在を認識可能となる。
以上説明したように、本実施形態によれば、制御部121は、自己アバターオブジェクトSCが相手アバターオブジェクトECから所定の作用を受ける可能性があるか否かを判定し、所定の作用を受ける可能性があると判定された場合には相手アバターオブジェクトECと集音オブジェクトTCとの間の相対位置関係を特定し、特定された相対位置関係に基づいて、ナビゲーターオブジェクトNCの位置を決定する。そして、制御部121は、ナビゲーターオブジェクトNCから出力された音声データを集音オブジェクトTCにより収集し、当該音声データに対応する音声をヘッドホン116に出力させる。これにより、例えば、ユーザUは、ヘッドホン116から出力される音声の方向に基づいて相手アバターオブジェクトECから受ける可能性のある作用(攻撃)の方向を直感的に認識することができる。このように、本実施形態の構成によれば、ユーザUの没入感を損なうことなく、相手アバターオブジェクトECから攻撃等の何らかの作用を受ける可能性があることをユーザUに容易に認識させることができる。
また、制御部121は、相手アバターオブジェクトECとナビゲーターオブジェクトNCとが同一視野画像V内に含まれるように、ナビゲーターオブジェクトNCの位置を指定する。これにより、ナビゲーターオブジェクトNCに視線を送ったとき、相手アバターオブジェクトECが必ず視野画像V内に収まっていることで、ナビゲーターオブジェクトNCが発する音声に基づいてユーザUは容易に相手アバターオブジェクトECを視認することができる。
また、制御部121は、相手アバターオブジェクトECが視野CV内に含まれた場合に、視野画像Vにおいて相手アバターオブジェクトECと重複しない位置にナビゲーターオブジェクトNCを配置する。これにより、ナビゲーターオブジェクトNCによって相手アバターオブジェクトECの視認性が損なわれることが無い。
また、制御部121は、ナビゲーターオブジェクトNCを、集音オブジェクトTCを中心とした一定距離の位置に配置しても良い。これにより、音声メッセージ生成時等の情報処理量を抑制することができる。さらに、集音オブジェクトTCとナビゲーターオブジェクトNCの位置関係により、例えば左右のヘッドホン116から出力される音声の調整を行うことで、立体音響の再現を適切に実現することができる。
また、集音オブジェクトTCは、仮想カメラ300と一体的に構成されているため、特に一人称視点の場合に、よりリアルな音声を提供することができる。
なお、上記の実施形態では、集音オブジェクトTCは仮想カメラ300と一体的に構成されているが、この例に限られない。例えば、図13に示すように、集音オブジェクトTCは、仮想カメラ300ではなく自己アバターオブジェクトSCと一体的に構成されていても良い。この場合、ナビゲーターオブジェクトNCは、自己アバターオブジェクトSCを中心として一定距離となる位置に配置され得る。これにより、例えば、自己アバターオブジェクトSCの下方にいる相手アバターオブジェクトECから攻撃を受ける可能性がある場合などに、ユーザUの感覚により近い音声メッセージをナビゲーターオブジェクトNCから提供することができ、ユーザUがより直感的に状況を把握することができる。なお、図13では、仮想カメラ300が自己アバターオブジェクトSCの頭部と一体的に構成された一人称視点の場合を示しているが、仮想カメラ300が自己アバターオブジェクトSCと離隔して配置された三人称視点の構成であっても良い。
また、上記の実施形態では、ナビゲーターオブジェクトNCを、集音オブジェクトTCを中心とした一定距離の位置、すなわち移動経路400上に配置しているが、この例に限られない。ナビゲーターオブジェクトNCは、集音オブジェクトTC(または、仮想カメラ300)の周囲の任意の位置に配置可能としても良い。
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
制御部121によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る情報処理方法をコンピュータ(プロセッサ)に実行させるための情報処理プログラムが記憶部123またはROMに予め組み込まれていてもよい。または、情報処理プログラムは、磁気ディスク(HDD、フロッピーディスク)、光ディスク(CD−ROM,DVD−ROM、Blu−rayディスク等)、光磁気ディスク(MO等)、フラッシュメモリ(SDカード、USBメモリ、SSD等)等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置120に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部123に組み込まれる。そして、記憶部123に組み込まれた情報処理プログラムがRAM上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部121は本実施形態に係る情報処理方法を実行する。
また、情報処理プログラムは、通信ネットワーク3上のコンピュータから通信インターフェース125を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部123に組み込まれる。
1:HMDシステム
3:通信ネットワーク
21:中心位置
110:ヘッドマウントディスプレイ(HMD)
112:表示部
114:HMDセンサ
116:ヘッドホン
120:制御装置
121:制御部
123:記憶部
124:I/Oインターフェース
125:通信インターフェース
126:バス
130:位置センサ
200:仮想空間
300:仮想カメラ
400:移動経路
CV:視野
U:ユーザ
SC:自己アバターオブジェクト(第三アバターオブジェクトの一例)
EC:相手アバターオブジェクト(第一アバターオブジェクトの一例)
NC:ナビゲーターオブジェクト(第二アバターオブジェクトの一例)
TC:集音オブジェクト
3:通信ネットワーク
21:中心位置
110:ヘッドマウントディスプレイ(HMD)
112:表示部
114:HMDセンサ
116:ヘッドホン
120:制御装置
121:制御部
123:記憶部
124:I/Oインターフェース
125:通信インターフェース
126:バス
130:位置センサ
200:仮想空間
300:仮想カメラ
400:移動経路
CV:視野
U:ユーザ
SC:自己アバターオブジェクト(第三アバターオブジェクトの一例)
EC:相手アバターオブジェクト(第一アバターオブジェクトの一例)
NC:ナビゲーターオブジェクト(第二アバターオブジェクトの一例)
TC:集音オブジェクト
Claims (7)
- ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
(a)仮想カメラと、第一アバターオブジェクトと、第二アバターオブジェクトと、集音オブジェクトとを含む仮想空間を定義する仮想空間データを生成するステップと、
(b)前記仮想カメラの視野および前記仮想空間データに基づいて前記ヘッドマウントディスプレイに視野画像を表示させるステップと、
(c)前記第一アバターオブジェクトから所定の作用を受ける可能性があるか否かを判定するステップと、
(d)前記所定の作用を受ける可能性があると判定された場合に、前記第一アバターオブジェクトと前記集音オブジェクトとの間の相対位置関係を特定するステップと、
(e)前記特定された相対位置関係に基づいて、前記第二アバターオブジェクトの位置を設定するステップと、
(f)前記位置が設定された前記第二アバターオブジェクトから出力された所定の音声データを前記集音オブジェクトにより収集し、当該所定の音声データに対応する音声を前記音声出力部から出力するステップと、を含む、情報処理方法。 - 前記ステップ(e)において、前記第一アバターオブジェクトと前記第二アバターオブジェクトとが同一視野画像内に含まれるように、前記第二アバターオブジェクトの位置を指定する、請求項1に記載の情報処理方法。
- 前記ステップ(e)において、前記第一アバターオブジェクトが前記視野内に含まれた場合に、前記視野画像において前記第一アバターオブジェクトと重複しない位置に前記第二アバターオブジェクトを配置する、請求項1または2に記載の情報処理方法。
- 前記ステップ(d)では、前記第二アバターオブジェクトを、前記集音オブジェクトを中心とした一定距離の位置に配置する、請求項1から3のいずれか一項に記載の情報処理方法。
- 前記集音オブジェクトは、前記仮想カメラと一体的に構成されている、請求項1から4のいずれか一項に記載の情報処理方法。
- 前記仮想空間は、前記ヘッドマウントディスプレイのユーザに関連付けられたアバターオブジェクトをさらに含み、
前記集音オブジェクトは、前記アバターオブジェクトと一体的に構成されている、請求項1から4のいずれか一項に記載の情報処理方法。 - 請求項1から6のいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017173568A JP2018089351A (ja) | 2017-09-08 | 2017-09-08 | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017173568A JP2018089351A (ja) | 2017-09-08 | 2017-09-08 | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016232434A Division JP6223533B1 (ja) | 2016-11-30 | 2016-11-30 | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018089351A true JP2018089351A (ja) | 2018-06-14 |
Family
ID=62563913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017173568A Pending JP2018089351A (ja) | 2017-09-08 | 2017-09-08 | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018089351A (ja) |
-
2017
- 2017-09-08 JP JP2017173568A patent/JP2018089351A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6223533B1 (ja) | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム | |
EP3396511A1 (en) | Information processing device and operation reception method | |
JP6058855B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
WO2017115635A1 (ja) | 情報処理方法及び情報処理プログラム | |
JP6087453B1 (ja) | 仮想空間の提供方法、およびプログラム | |
JP6228640B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2017138973A (ja) | 仮想空間の提供方法、およびプログラム | |
JP6207691B1 (ja) | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018171455A (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP6113337B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP6342448B2 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP6298874B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6266823B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 | |
JP6289703B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置 | |
JP2018109940A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018195172A (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP6190497B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018089351A (ja) | 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6275809B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2019020905A (ja) | 情報処理方法、情報処理プログラム及び情報処理装置 | |
JP2018011193A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
US20240121569A1 (en) | Altering audio and/or providing non-audio cues according to listener's audio depth perception | |
US20240041319A1 (en) | Eye tracking for accessibility and visibility of critical elements as well as performance enhancements | |
JP6205047B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6332658B1 (ja) | 表示制御装置、及びプログラム |