JP2021043697A - プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ - Google Patents

Abstract

【課題】通信遅延が生じたとしても、対象ユーザのプレイの快適性が損なわれることを低減する。【解決手段】情報処理装置１において、プロセッサは、ヘッドマウントディスプレイ及びコントローラの位置及び／又は回転角度を検出するためのセンサから、コントローラ及びヘッドマウントディスプレイの位置及び／又は回転角度を含むトラッキング情報を取得する取得部、トラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、取得したヘッドマウントディスプレイのトラッキング情報を用いて、仮想カメラの位置及び／又は回転角度を決定し、決定した仮想カメラの位置及び／又は回転角度を用いて仮想空間の描画を実行する描画処理部、他ユーザのトラッキング情報を受信するよう制御する通信制御部及び対象ユーザのトラッキング情報と、他ユーザのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部として機能する。【選択図】図３

Description

本発明は、プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイに関する。

従来、協力型オンラインゲームの場合は、通信遅延による同期のズレがあっても、プレーヤ側に有利になるように結果の補間を行えば大きな問題は生じていなかった。対戦型オンラインゲームであってもファーストパーソン・シューター（ＦＰＳ）のようなジャンルであれば、例えば銃撃のように当たり判定まで一定の時間があるため、あらかじめ弾道を計算することでリアルタイムのようなプレイ感覚を提供することができていた。

例えば、特許文献１に記載されているように、従来の非バーチャルリアリティのオンライン格闘ゲームの場合は、タイミングに応じた各プレーヤからの入力情報が揃った段階で順次ゲーム演算を行い、各キャラクタを動作させている。

特開２００９−３１２号公報

一方、バーチャルリアリティ（以下、ＶＲという）のキャラクタ同士が近接する近接ゲーム（例えば、対戦剣戟ゲーム、対戦格闘ゲームなど）においても、対象ユーザ（自ユーザともいう）の動きと、対戦相手（他ユーザともいう）の動きを、リアルタイムでゲームに反映する必要がある。
しかしながら、通信遅延が生じた場合に、対戦相手（他ユーザ）の動きの情報が受信できるまで自端末は何も処理をせずに待っていると、いつまでも映像が変わらず、対象ユーザが酔ってしまう場合があり、対象ユーザが快適にプレイできないという問題がある。

本発明は、上記問題に鑑みてなされたものであり、通信遅延が生じたとしても、対象ユーザのプレイの快適性が損なわれることを低減することを可能とするプログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイを提供することを目的とする。

本発明の第１の態様に係るプログラムは、ヘッドマウントディスプレイを介して対象ユーザに仮想空間を提供する情報処理装置または当該ヘッドマウントディスプレイを、対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、他ユーザのトラッキング情報を受信する通信制御部と、前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、として機能させるためのプログラムである。

この構成によれば、通信遅延が生じたとしても、対象ユーザ自身のヘッドマウントディスプレイの位置及び／または回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。これにより、通信遅延が生じたとしても、対象ユーザが酔ってしまう可能性を抑制でき、対象ユーザのプレイの快適性が損なわれることを低減することができる。

本発明の第２の態様に係るプログラムは、第１の態様に係るプログラムであって、前記描画処理部は、前記取得された前記ヘッドマウントディスプレイのトラッキング情報を用いて、仮想空間の描画に使用する仮想カメラの位置を決定し、決定された仮想カメラの位置及び前記ヘッドマウントディスプレイの回転角度を用いて、仮想空間の描画を実行する。

この構成によれば、対象ユーザ自身のヘッドマウントディスプレイの位置及び回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。

本発明の第３の態様に係るプログラムは、第１または２の態様に係るプログラムであって、前記取得部によってトラッキング情報が取得された場合、ゲーム演算実行済みのフレーム番号と当該取得されたトラッキング情報のフレーム番号とを比較し、比較の結果、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れているか否か判定する判定部として更に機能させるためのプログラムであって、前記通信制御部は、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れている場合、当該取得されたトラッキング情報を他ユーザのヘッドマウントディスプレイシステムへ送信せず、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れていない場合、当該取得されたトラッキング情報を前記他ユーザのヘッドマウントディスプレイシステムへ送信するよう制御する。

この構成によれば、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れている場合に、取得されたトラッキング情報を他ユーザのヘッドマウントディスプレイシステムへ送信しないようにして、取得されたトラッキング情報がゲーム演算に反映されないようにすることにより、トラッキング情報がゲーム演算に反映されるまでの遅延が徐々に大きくなるのを防止し、ゲーム操作の快適性を維持することができる。

本発明の第４の態様に係る情報処理装置は、ヘッドマウントディスプレイを介してユーザに仮想空間を提供する情報処理装置であって、対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、他ユーザのトラッキング情報を受信するよう制御する通信制御部と、前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、を備える。

この構成によれば、通信遅延が生じたとしても、対象ユーザ自身のヘッドマウントディスプレイの位置及び／または回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。これにより、通信遅延が生じたとしても、対象ユーザが酔ってしまう可能性を抑制でき、対象ユーザのプレイの快適性が損なわれることを低減することができる。

本発明の第５の態様に係る情報処理システムは、ヘッドマウントディスプレイを介してユーザに仮想空間を提供する情報処理システムであって、対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、他ユーザのトラッキング情報を受信するよう制御する通信制御部と、前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、を備える。

この構成によれば、通信遅延が生じたとしても、対象ユーザ自身のヘッドマウントディスプレイの位置及び／または回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。これにより、通信遅延が生じたとしても、対象ユーザが酔ってしまう可能性を抑制でき、対象ユーザのプレイの快適性が損なわれることを低減することができる。

本発明の第６の態様に係る情報処理方法は、ヘッドマウントディスプレイを介してユーザに仮想空間を提供する情報処理方法であって、対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得するステップと、前記取得するステップによってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行するステップと、他ユーザのトラッキング情報を受信するよう制御するステップと、前記取得するステップによって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するステップと、を有する。

この構成によれば、通信遅延が生じたとしても、対象ユーザ自身のヘッドマウントディスプレイの位置及び／または回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。これにより、通信遅延が生じたとしても、対象ユーザが酔ってしまう可能性を抑制でき、対象ユーザのプレイの快適性が損なわれることを低減することができる。

本発明の第７の態様に係るヘッドマウントディスプレイは、ユーザに仮想空間を提供するヘッドマウントディスプレイであって、対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、他ユーザのトラッキング情報を受信するよう制御する通信制御部と、前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、を備える。

この構成によれば、通信遅延が生じたとしても、対象ユーザ自身のヘッドマウントディスプレイの位置及び／または回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。これにより、通信遅延が生じたとしても、対象ユーザが酔ってしまう可能性を抑制でき、対象ユーザのプレイの快適性が損なわれることを低減することができる。

本発明の一態様によれば、通信遅延が生じたとしても、対象ユーザ自身のヘッドマウントディスプレイの位置及び／または回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。これにより、通信遅延が生じたとしても、対象ユーザが酔ってしまう可能性を抑制でき、対象ユーザのプレイの快適性が損なわれることを低減することができる。

本実施形態に係るゲームシステムの概略構成の一例を示す図である。 本実施形態に係るＨＭＤシステムの概略構成の一例を示す図である。 本実施形態に係る情報処理装置の概略構成の一例を示す図である。 本実施形態に係る情報処理方法の一例を示すフローチャートである。

以下、各実施形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

図１は、本実施形態に係るゲームシステムの概略構成の一例を示す図である。図１に示すように、本実施形態に係るゲームシステム１０は、対象ユーザが使用するＨＭＤ（Head Mount Display）システムＳ１と、対戦相手（他ユーザともいう）が使用するＨＭＤシステムＳ２と、サーバ３とを備える。ＨＭＤシステムＳ１、ＨＭＤシステムＳ２、サーバ３は通信回路網ＮＷに接続されている。ＨＭＤシステムＳ１は、サーバ３を介してＨＭＤシステムＳ２と通信可能である。

なお、図１の構成は一例であって、ＨＭＤシステムＳ１と、ＨＭＤシステムＳ２とがピアツーピアで通信してもよい。

本実施形態において、ＨＭＤシステムＳ１とＨＭＤシステムＳ２の構成は同様であるから、代表して、ＨＭＤシステムＳ１の構成について図２を用いて説明する。
図２は、本実施形態に係るＨＭＤシステムの概略構成の一例を示す図である。図2に示すように、ＨＭＤシステムＳ１は、情報処理装置１と、ユーザの頭Ｈに装着されるヘッドマウントディスプレイ２と、ユーザが手で使用するコントローラＣ１、Ｃ２と、センサ３１、３２とを備える。情報処理装置１は、ヘッドマウントディスプレイ２を介してユーザに仮想空間を提供する。本実施形態では一例として情報処理装置１は、コンピュータであるものとして説明する。なお、情報処理装置１は、多機能携帯端末（いわゆるスマートフォン）であってもよく、その場合、情報処理装置１は、ヘッドマウントディスプレイ２に挿入されて使用される。

ヘッドマウントディスプレイ２は、センサ２１とモニタ２２を備える。センサ２１は例えば、３軸の加速度センサ及び／または３軸のジャイロセンサを含むモーションセンサである。センサ２１は、ヘッドマウントディスプレイ２の回転角度を取得し、ヘッドマウントディスプレイ２は、このヘッドマウントディスプレイ２の回転角度を情報処理装置１へ送信する。これにより、情報処理装置１の後述する取得部１６１は、ヘッドマウントディスプレイ２の回転角度を取得することができる。モニタ２２には、ユーザに提供する視界映像が表示される。

コントローラＣ１は、センサＣ１２を備える。ここで、センサＣ１２は、例えば、３軸の加速度センサ及び／または３軸のジャイロセンサを含むモーションセンサである。センサＣ１２は、コントローラＣ１の回転角度を取得し、コントローラＣ１は、このコントローラＣ１の回転角度を情報処理装置１へ送信する。これにより、情報処理装置１の後述する取得部１６１は、コントローラＣ１の回転角度を取得することができる。

コントローラＣ２は、センサＣ２２を備える。ここで、センサＣ２２は、例えば、３軸の加速度センサ及び／または３軸のジャイロセンサを含むモーションセンサである。センサＣ２２は、コントローラＣ２の回転角度を取得し、コントローラＣ２は、このコントローラＣ２の回転角度を情報処理装置１へ送信する。これにより、情報処理装置１の後述する取得部１６１は、コントローラＣ２の回転角度を取得することができる。

センサ３１、３２は、ヘッドマウントディスプレイ２またはユーザの頭Ｈの位置及び／または回転、及びコントローラＣ１、Ｃ２の位置及び／または回転を検出するためのセンサである。センサ３１、３２は例えば、赤外線センサであり、赤外線の光源を更に備えてもよい。その場合、プロセッサ１６によって赤外線の出射が制御されずに一定の時間間隔または設定されたスケジュールで赤外線を出射してもよいし、情報処理装置１の後述するプロセッサ１６によって赤外線の出射が制御されてもよい。例えば、センサ３１、３２は、光源から出射された赤外線がヘッドマウントディスプレイ２によって反射され、反射された赤外線をそれぞれ検出する。その際例えばセンサ３１、３２は、反射された赤外線を検出した場合、出力電圧が上がるので、情報処理装置１の後述するプロセッサ１６は、反射された赤外線を検出したタイミングを検出することができる。

この場合、情報処理装置１の後述するプロセッサ１６は、センサ３１、３２が赤外線を出射してから反射された赤外線を検出する時間差に応じて、センサ３１、３２それぞれからヘッドマウントディスプレイ２までの距離を決定する。ここで、センサ３１、３２間の距離は既知であるものとする。プロセッサ１６は、これらの距離に基づいて、三角測量の原理を用いて、ヘッドマウントディスプレイ２またはヘッドマウントディスプレイ２を装着したユーザの頭Ｈの位置を決定してもよい。

図３は、本実施形態に係る情報処理装置の概略構成の一例を示す図である。情報処理装置１は一例としてコンピュータである。図３に示すように情報処理装置１は、ストレージ１１と、メモリ１２と、入力インタフェース１３と、出力インタフェース１４と、通信インタフェース１５と、プロセッサ１６を備える。
ここでストレージ１１には、プロセッサ１６が読み出して実行するための本実施形態に係るプログラム及び各種のデータが格納されている。メモリ１２は、データ及びプログラムを一時的に保持する。メモリ１２は、揮発性メモリであり、例えばＲＡＭ（Random Access Memory）である。

入力インタフェース１３は、ヘッドマウントディスプレイ２、コントローラＣ１、Ｃ２及びセンサ３１、３２から信号が入力される。
出力インタフェース１４は、ヘッドマウントディスプレイ２へ信号（例えば視覚映像を示す信号）を出力する。
通信インタフェース１５は、ネットワークに接続されて、ネットワークに接続されているサーバ３、他のコンピュータ（図示せず）と通信する。

プロセッサ１６は、ストレージ１１から本実施形態に係るプログラムをメモリ１２にロードし、当該プログラムに含まれる一連の命令を実行することによって、取得部１６１、描画処理部１６２、通信制御部１６３、ゲーム演算部１６４及び判定部１６５として機能する。

取得部１６１は例えば、ヘッドマウントディスプレイ（以下、ＨＭＤともいう）２及びコントローラＣ１、Ｃ２の３点のトラッキング情報を含む操作情報を取得し、通信制御部１６３は例えば、これら３点のトラッキング情報を含む操作情報を送信する。ここでヘッドマウントディスプレイ２のトラッキング情報には、ゲームに応じて、位置だけが含まれる場合と、回転角度だけが含まれる場合と、位置及び回転角度の両方が含まれる場合がある。同様にコントローラＣ１、Ｃ２のトラッキング情報にはゲームに応じて、位置だけが含まれる場合と、回転角度だけが含まれる場合と、位置及び回転角度の両方が含まれる場合がある。本実施形態では一例としてヘッドマウントディスプレイ２のトラッキング情報、コントローラＣ１、Ｃ２のトラッキング情報もいずれも、互いに直交するＸ軸、Ｙ軸、Ｚ軸それぞれの位置（すなわち３次元位置）、及び、Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度を含むものとして説明する。このように、本実施形態ではトラッキング情報は一例として６次元の自由度がある情報である。
なお、操作情報には、コントローラＣ１、Ｃ２のボタン（図示せず）が押されことを示す情報（あるいはコントローラＣ１、Ｃ２のボタンが押されたか否かを示す情報）、スティック操作の情報も含まれてもよい。

本実施形態では、描画処理とゲーム演算（シミュレーション）を分離することで、描画に使用するＨＭＤ２のトラッキング情報は、仮想カメラの位置及び向きに即座に反映させ、ゲーム演算に使用するＨＭＤ２のトラッキング情報は、対戦相手（他ユーザ）のトラッキング情報の受信を待ってから反映させる。ここで、仮想カメラの位置及び向きは、ヘッドマウントディスプレイ２に表示される仮想空間の描画に使用するものである。

続いて、図４を用いて、本実施形態に係る情報処理方法の流れについて説明する。図４は、本実施形態に係る情報処理方法の一例を示すフローチャートである。プロセッサ１６は、以下のステップＳ１０１〜Ｓ１０４の描画処理と、ステップＳ２０１〜Ｓ２０２のゲーム演算処理を並列に実行する。

（ステップＳ１０１）まず、取得部１６１は、対象ユーザのＨＭＤシステムＳ１（自ＨＭＤシステムともいう）のＮフレーム目（Ｎは正の整数）のトラッキング情報を取得する。

（ステップＳ１０２）判定部１６５は、ステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）と、自ＨＭＤシステムにおいてゲーム演算実行済みのフレーム番号に閾値以上の差があるか否か判定する。これにより、ゲーム演算実行済みのフレーム番号が、ステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）より閾値以上遅れたフレーム番号になっているか否かを判定することができる。

（ステップＳ１０３）ステップＳ１０２においてステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）と自ＨＭＤシステムにおいてゲーム演算実行済みのフレーム番号に閾値以上の差がない場合（すなわち、その差が閾値未満の場合）、通信制御部１６３は、ステップＳ１０１で取得した自ＨＭＤシステムのＮフレーム目のトラッキング情報を他ユーザのＨＭＤシステムＳ２（他ＨＭＤシステムともいう）へ送信する。

一方、ステップＳ１０２においてステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）と自ＨＭＤシステムにおいてゲーム演算実行済みのフレーム番号に閾値以上の差がある場合、後述するステップＳ１０３をスキップして、後述するステップＳ１０４を実行する。

ここで、上記閾値以上の差がある場合に、仮にステップＳ１０３をスキップしない場合、Ｎフレーム目のトラッキング情報がゲーム演算に反映されるまでの遅延が徐々に大きくなり、ゲーム操作の快適性を損なう結果となる。これに対して、本実施形態では上述したように、ステップＳ１０３をスキップすることによって、上記閾値以上の差がある場合に、ステップＳ１０３をスキップしてＮフレーム目のトラッキング情報を他ＨＭＤシステムへ送信しないようにして、Ｎフレーム目のトラッキング情報がゲーム演算に反映されないようにすることにより、トラッキング情報がゲーム演算に反映されるまでの遅延が徐々に大きくなるのを防止し、ゲーム操作の快適性を維持することができる。

（ステップＳ１０４）次に、描画処理部１６２は、自ＨＭＤシステムのトラッキング情報のうち、ヘッドマウントディスプレイ２の位置を用いて、ヘッドマウントディスプレイ２に表示される仮想空間における仮想カメラの位置を決定し、決定された仮想カメラの位置及びヘッドマウントディスプレイ２の回転角度を用いて仮想空間の描画を実行する。これにより、この仮想カメラの位置においてこの仮想カメラの向きに仮想空間を見た場合の仮想空間が描画される。ここで、現実空間におけるヘッドマウントディスプレイ２の現実空間の基準点からの位置と、仮想空間における仮想カメラの仮想空間における原点からの位置とは、予め対応関係が決められているので、現実空間におけるヘッドマウントディスプレイ２の位置から、仮想空間における仮想カメラの位置を決定することができる。また、ヘッドマウントディスプレイ２の回転角度は、そのまま仮想空間における仮想カメラの向きを表す。

なお、ステップＳ１０２における、ステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）と自ＨＭＤシステムにおいてゲーム演算実行済みのフレーム番号との差分は、ゲーム演算実行済みのフレーム番号とステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）とを比較する処理の一例であって、これに限ったものではない。ゲーム演算実行済みのフレーム番号、トラッキング情報のフレーム番号、及び「ゲーム演算実行済みのフレームが当該取得されたトラッキング情報のフレームに対して設定基準以上遅れているか否かの判定結果」との組がテーブルなどによってストレージ１１に蓄積されており、そのストレージ１１を参照することによって、ゲーム演算実行済みのフレーム番号とステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）とを比較してもよい。

すなわち判定部１６５は、ゲーム演算実行済みのフレーム番号とステップＳ１０１で取得されたトラッキング情報のフレーム番号（すなわちＮの値）とを比較し、比較の結果、ゲーム演算実行済みのフレームが、ステップＳ１０１で取得されたトラッキング情報のフレームに対して設定基準（ステップＳ１０２の例では、閾値）以上遅れているか否かを判定してもよい。その場合、通信制御部１６３は、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れている場合、当該取得されたトラッキング情報を他ユーザのヘッドマウントディスプレイシステムへ送信せず、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れていない場合、当該取得されたトラッキング情報を前記他ユーザのヘッドマウントディスプレイシステムへ送信するよう制御してもよい。

この構成により、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れている場合に、取得されたトラッキング情報を他ユーザのヘッドマウントディスプレイシステムへ送信しないようにして、取得されたトラッキング情報がゲーム演算に反映されないようにすることにより、トラッキング情報がゲーム演算に反映されるまでの遅延が徐々に大きくなるのを防止し、ゲーム操作の快適性を維持することができる。

上述したようにプロセッサ１６は、上述のステップＳ１０１〜Ｓ１０４の描画処理に並行して、以下のステップＳ２０１〜Ｓ２０２のゲーム演算処理を実行する。
（ステップＳ２０１）判定部１６５は、他ユーザのＨＭＤシステムＳ２（他ＨＭＤシステムともいう）のＮフレーム目のトラッキング情報を受信したか否か判定する。他ＨＭＤシステムのトラッキング情報を受信していない場合、判定部１６５はそのまま待機する。

（ステップＳ２０２）ステップＳ１０４で他ＨＭＤシステムのトラッキング情報を受信したと判定された場合、ゲーム演算部１６４は、自ＨＭＤシステムのＮフレーム目のトラッキング情報と他ＨＭＤシステムのＮフレーム目のトラッキング情報を用いて、ゲーム演算を実行する。ここで用いられる、自ＨＭＤシステムのＮフレーム目のトラッキング情報には、対象ユーザのコントローラの位置及び／または回転角度（ここでは一例として両方）及び対象ユーザのヘッドマウントディスプレイの位置及び／または回転角度（ここでは一例として両方）が含まれる。同様に、ここで用いられる、他ＨＭＤシステムのＮフレーム目のトラッキング情報には、他ユーザのコントローラの位置及び／または回転角度（ここでは一例として両方）及び他ユーザのヘッドマウントディスプレイの位置及び／または回転角度（ここでは一例として両方）が含まれる。

なお、本実施形態では、コントローラは二つであるものとして説明したが、一つ以下であってもよく、三つ以上であってもよい。なお、本実施形態のコントローラは、ボタンがあってもなくてもよいし、スティックがあってもなくてもよい。また、本実施形態のコントローラには、ボタンもスティックも付いておらずトラッキング情報のみが取得できるデバイス（例えば、VIVEトラッカーなど）も含まれる。このデバイスを、肘や膝や足先などの複数関節に装着することで、全身のモーションキャプチャが可能である。

以上、本実施形態に係るプログラムは、ヘッドマウントディスプレイを介してユーザに仮想空間を提供する情報処理装置１を、取得部１６１、描画処理部１６２、通信制御部１６３、及びゲーム演算部１６４として機能させるためのプログラムである。

取得部１６１は、対象ユーザがヘッドマウントディスプレイ２を頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、ヘッドマウントディスプレイ２及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及びヘッドマウントディスプレイ２の位置及び回転角度を含むトラッキング情報を取得する。

描画処理部１６２は、取得部１６１によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、取得されたヘッドマウントディスプレイ２のトラッキング情報を用いて、仮想空間の描画を実行する。その際、描画処理部１６２は例えば、取得されたヘッドマウントディスプレイ２のトラッキング情報を用いて、仮想空間の描画に使用する仮想カメラの位置を決定し、決定された仮想カメラの位置及びヘッドマウントディスプレイ２の回転角度を用いて、仮想空間の描画を実行する。

通信制御部１６３は、他ユーザのトラッキング情報を受信するよう制御する。
ゲーム演算部１６４は、取得部１６１によって取得された対象ユーザのトラッキング情報と、受信された他ユーザの略同じタイミング（ここでは一例として同じフレーム）のトラッキング情報とを用いて、ゲーム演算を実行する。

この構成により、通信遅延が生じたとしても、対象ユーザ自身のヘッドマウントディスプレイ２の位置及び／または回転角度に応じて、即座に対象ユーザが見える映像が切り替わる。これにより、通信遅延が生じたとしても、対象ユーザが酔ってしまう可能性を抑制でき、対象ユーザのプレイの快適性が損なわれることを低減することができる。

また、通信制御部１６３は、取得部１６１によってトラッキング情報が取得された場合、当該トラッキング情報を送信するよう制御する。この構成により、取得部１６１によってトラッキング情報が取得された場合、即座にトラッキング情報を送信するので、他ユーザのゲーム演算の実行が遅れることを抑制することができる。

なお、ヘッドマウントディスプレイ２は、情報処理装置１を内蔵する構成であってもよい。この場合、本実施形態に係るプログラムは、ヘッドマウントディスプレイ２を、取得部１６１、描画処理部１６２、通信制御部１６３、及びゲーム演算部１６４として機能させるためのプログラムである。これにより、ヘッドマウントディスプレイ２は、ユーザに仮想空間を提供する。

なお、センサ３１、３２の数は、一例として二つとして説明したが、一つであってもよいし三つ以上あってもよい。またセンサ３１、３２は一例として赤外線センサであるものとして説明したが、これに限らず、ユーザを撮像するイメージセンサであってもよい。この場合、ＴＯＦ（Time Of Flight）方式でユーザまでの距離を測定してもよい。

なお、上述した実施形態で説明した情報処理装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ハードウェアで構成する場合には、情報処理装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、情報処理装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

さらに、一つまたは複数の情報処理機を備える情報処理システムによって情報処理装置１を機能させてもよい。複数の情報処理機を用いる場合、情報処理機のうちの１つをコンピュータとし、当該コンピュータが所定のプログラムを実行することにより情報処理装置１の少なくとも１つの手段として機能が実現されてもよい。

また、方法の発明においては、全ての工程（ステップ）をコンピュータによって自動制御で実現するようにしてもよい。また、各工程をコンピュータに実施させながら、工程間の進行制御を人の手によって実施するようにしてもよい。また、さらには、全工程のうちの少なくとも一部を人の手によって実施するようにしてもよい。

以上、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 情報処理装置
１０ ゲームシステム
１１ ストレージ
１２ メモリ
１３ 入力インタフェース
１４ 出力インタフェース
１５ 通信インタフェース
１６ プロセッサ
１６１ 取得部
１６２ 描画処理部
１６３ 通信制御部
１６４ ゲーム演算部
１６５ 判定部
２ ヘッドマウントディスプレイ
２１ センサ
２２ モニタ
３ サーバ
３１、３２ センサ
Ｃ１、Ｃ２ コントローラ
Ｃ１２、Ｃ２２ センサ
Ｓ１、Ｓ２ ＨＭＤシステム

Claims (7)

1. ヘッドマウントディスプレイを介して対象ユーザに仮想空間を提供する情報処理装置または当該ヘッドマウントディスプレイを、
   対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、
   前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、
   他ユーザのトラッキング情報を受信するよう制御する通信制御部と、
   前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、
   として機能させるためのプログラム。
2. 前記描画処理部は、前記取得された前記ヘッドマウントディスプレイのトラッキング情報を用いて、仮想空間の描画に使用する仮想カメラの位置を決定し、決定された仮想カメラの位置及び前記ヘッドマウントディスプレイの回転角度を用いて、仮想空間の描画を実行する
   請求項１に記載のプログラム。
3. 前記取得部によってトラッキング情報が取得された場合、ゲーム演算実行済みのフレーム番号と当該取得されたトラッキング情報のフレーム番号とを比較し、比較の結果、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れているか否か判定する判定部として更に機能させるためのプログラムであって、
   前記通信制御部は、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れている場合、当該取得されたトラッキング情報を他ユーザのヘッドマウントディスプレイシステムへ送信せず、ゲーム演算実行済みのフレームが、当該取得されたトラッキング情報のフレームに対して設定基準以上遅れていない場合、当該取得されたトラッキング情報を前記他ユーザのヘッドマウントディスプレイシステムへ送信するよう制御する
   請求項１または２に記載のプログラム。
4. ヘッドマウントディスプレイを介してユーザに仮想空間を提供する情報処理装置であって、
   対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、
   前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、
   他ユーザのトラッキング情報を受信するよう制御する通信制御部と、
   前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、
   を備える情報処理装置。
5. ヘッドマウントディスプレイを介してユーザに仮想空間を提供する情報処理システムであって、
   対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、
   前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、
   他ユーザのトラッキング情報を受信するよう制御する通信制御部と、
   前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、
   を備える情報処理システム。
6. ヘッドマウントディスプレイを介してユーザに仮想空間を提供する情報処理方法であって、
   対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得するステップと、
   前記取得するステップによってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行するステップと、
   他ユーザのトラッキング情報を受信するよう制御するステップと、
   前記取得するステップによって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するステップと、
   を有する情報処理方法。
7. ユーザに仮想空間を提供するヘッドマウントディスプレイであって、
   対象ユーザが前記ヘッドマウントディスプレイを頭に装着し且つ少なくとも一つのコントローラを保持または装着している場合において、前記ヘッドマウントディスプレイ及び前記コントローラの位置及び／または回転角度を検出するためのセンサから、前記コントローラ及び前記ヘッドマウントディスプレイの位置及び／または回転角度を含むトラッキング情報を取得する取得部と、
   前記取得部によってトラッキング情報が取得された場合、他ユーザのトラッキング情報の受信を待たずに、前記取得された前記トラッキング情報に含まれるヘッドマウントディスプレイの位置及び／または回転角度を用いて、仮想空間の描画を実行する描画処理部と、
   他ユーザのトラッキング情報を受信するよう制御する通信制御部と、
   前記取得部によって取得された対象ユーザのトラッキング情報と、前記受信された他ユーザの略同じタイミングのトラッキング情報とを用いて、ゲーム演算を実行するゲーム演算部と、
   を備えるヘッドマウントディスプレイ。

Images