JP6672508B2 - 仮想空間体感システム - Google Patents

Description

本発明は、３Ｄモデルで表示された仮想空間にプレイヤー自身が存在していると認識させるための仮想空間体感システムに関する。

従来、仮想空間を生成し、その仮想空間の画像をヘッドマウントディスプレイ等でプレイヤーに認識させ、プレイヤー自身がその仮想空間に存在していると認識させる仮想空間体感システムが知られている。

この種の仮想空間体感システムとしては、モーションキャプチャー装置等によってプレイヤーの現実空間における動作を検出し、その検出した動作に応じてプレイヤーに対応するアバターを仮想空間で動作させるものがある（例えば、特許文献１参照）。

特開２０１０−２５７４６１号公報

ところで、特許文献１に記載の従来の仮想空間体感システムで、プレイヤー自身が仮想空間に存在しているとの認識をより確かなものとするためには、プレイヤーの現実空間における座標の移動量とアバターの仮想空間における座標の移動量とを、できるだけ近づけることが好ましい。

しかし、そのようにプレイヤーとアバターの座標の移動量を近づけようとすると、仮想空間の広さが現実空間の広さによって制限されてしまうという問題があった。

この問題を解消する方法としては、複数の現実空間のそれぞれに対応して生成された複数の仮想空間同士を、仮想空間の内部で接続するという方法がある。例えば、２つの仮想空間を生成し、その２つの仮想空間を仮想空間にのみ存在する階段で接続する方法等である。

しかし、このような方法によって仮想空間を広げた場合には、プレイヤーは仮想空間の接続部分において、現実空間とのズレを強く感じさせてしまい、プレイヤーに強い違和感を覚えさせてしまうという問題があった。

例えば、上記のように階段によって仮想空間を接続した場合には、一方の仮想空間から他方の仮想空間へ移動する際に、現実空間では平坦な地面となっている場所で、階段の昇り降りのような動作を行わなければならず、仮想空間における認識と現実空間における感覚とがずれてしまい、プレイヤーに強い違和感を覚えさせてしまうという問題があった。

本発明は以上の点に鑑みてなされたものであり、プレイヤーに覚えさせる違和感を抑えつつ、プレイヤーに現実空間よりも拡張された仮想空間を認識させることができる仮想空間体感システムを提供することを目的とする。

上記目的を達成するために、本発明の仮想空間体感システムは、
第１のプレイヤー及び第２のプレイヤーが存在する現実空間に対応する仮想空間を生成する仮想空間生成部と、
１つの前記仮想空間に、前記第１のプレイヤーの動作に対応して前記仮想空間で動作する第１のアバター、及び、前記第２のプレイヤーの動作に対応して前記仮想空間で動作する第２のアバターを生成するアバター生成部と、
前記第１のプレイヤー及び前記第２のプレイヤーの座標を検出するプレイヤー座標検出部と、
検出された前記第１のプレイヤーの座標に基づいて、前記第１のアバターの座標を決定し、前記第２のプレイヤーの座標に基づいて、前記第２のアバターの座標を決定するアバター座標決定部と、
前記第１のアバターの座標及び前記第２のアバターの座標に基づいて、前記第１のプレイヤー及び前記第２のプレイヤーに認識させる前記仮想空間の画像を決定する仮想空間画像決定部と、
前記第１のプレイヤー及び前記第２のプレイヤーに、決定された前記仮想空間の画像を認識させる仮想空間画像表示器とを備え、
前記仮想空間画像決定部は、前記第１のプレイヤーの座標と前記第１のアバターの座標との対応関係にズレを生じさせるように前記第１のアバターの座標が補正された場合に、前記第１のアバターと前記第２のアバターとの相対座標の変化に基づいて、前記第２のプレイヤーに認識させる前記第１のアバターの画像を変化させるように構成されていることを特徴とする。

ここで、「仮想空間の画像」とは、仮想空間の背景の画像の他、他のアバターの画像、仮想空間にのみ存在するオブジェクトの画像、現実空間に対応して仮想空間に存在するオブジェクトの画像等、プレイヤーが自らに対応するアバターの仮想空間における座標を推認し得る画像をいう。

また、ここで、プレイヤーの座標とアバターの座標との対応関係にズレを生じさせる「補正」とは、アバターの座標そのものをプレイヤーの座標の移動に関連させずに移動させることの他、プレイヤーの座標の移動量に対するアバターの座標の移動量を変化させること等をいう。

第１のプレイヤー対応する第１のアバターと第２のプレイヤーに対応する第２のアバターが１つの仮想空間に存在している場合には、一方のプレイヤーにとって、他方のプレイヤーに対応するアバターの画像が、仮想空間の広さを認識するための１つの基準となる。

そこで、本発明の仮想空間体感システムでは、第１のアバターの座標が補正された場合に、第１のアバターと第２のアバターとの相対座標の変化に基づいて、第２のアバターに対応する第２のプレイヤーに認識させる第１のアバターの画像を変化させるように構成している。

これにより、この仮想空間体感システムでは、第２のプレイヤーにとって仮想空間の広さの基準となる第１のアバターの画像が変化したことによって、第２のプレイヤーに、現実空間よりも拡張された仮想空間を覚えさせる違和感を抑えつつ認識させることができる。

また、本発明の仮想現実体感システムにおいては、
前記第１のアバターの座標及び前記第２のアバターの座標に基づいて、前記第１のプレイヤー及び前記第２のプレイヤーに認識させる音声を決定する仮想空間音声決定部と、
前記第１のプレイヤー及び前記第２のプレイヤーに、決定された音声を認識させる仮想空間音声発生器を備えていることが好ましい。

このように、プレイヤーにアバターの座標に応じた画像だけでなく音声（例えば、座標に応じた位置から聞こえる他のプレイヤーの声）を認識させるようにすると、アバターの座標が補正された際には、プレイヤーの認識する音声も変化することになる。これにより、プレイヤーは、プレイヤーの座標とアバターの座標との対応関係のズレを、さらに違和感なく受け入れることができる。

実施形態に係る仮想空間体感システムの概略構成を示す模式図。 図１の仮想空間体感システム構成を示すブロック図。 図１の仮想空間体感システムがゲームのスタート時の段階及びトリガーイベントが認識されていない段階で実行する処理を示すフローチャート。 ゲームのスタート時における状態を示す斜視図であり、図４Ａはプレイヤーの状態を示す図、図４Ｂはアバターの状態を示す図。 図１の仮想空間体感システムがゲームの第１段階で実行する処理を示すフローチャート。 ゲームの第１段階開始時における状態を示す斜視図であり、図６Ａはプレイヤーの状態を示す図、図６Ｂはアバターの状態を示す図。 ゲームの第１段階進行時における状態を示す斜視図であり、図７Ａはプレイヤーの状態を示す図、図７Ｂはアバターの状態を示す図。 ゲームの第１段階完了時における状態を示す斜視図であり、図８Ａは現実空間の状態を示す図、図８Ｂは仮想空間の状態を示す図。 図１の仮想空間体感システムがゲームの第２段階で実行する処理を示すフローチャート。 ゲームの第２段階開始時における状態を示す斜視図であり、図１０Ａは現実空間の状態を示す図、図１０Ｂは仮想空間の状態を示す図。 ゲームの第２段階進行時における状態を示す斜視図であり、図１１Ａは現実空間の状態を示す図、図１１Ｂは仮想空間の状態を示す図。 ゲームの第２段階完了時における状態を示す斜視図であり、図１２Ａは現実空間の状態を示す図、図１２Ｂは仮想空間の状態を示す図。 図１の仮想空間体感システムがゲームの第３段階で実行する処理を示すフローチャート。 ゲームの第３段階開始時における状態を示す斜視図であり、図１４Ａは現実空間の状態を示す図、図１４Ｂは仮想空間の状態を示す図。 ゲームの第３段階進行時における状態を示す斜視図であり、図１５Ａは現実空間の状態を示す図、図１５Ｂは仮想空間の状態を示す図。 ゲームの第３段階完了時における状態を示す斜視図であり、図１６Ａは現実空間の状態を示す図、図１６Ｂは仮想空間の状態を示す図。

以下、図面を参照して、実施形態に係る仮想空間体感システムＳについて説明する。

まず、図１を参照して、仮想空間体感システムＳの概略構成について説明する。

図１に示すように、仮想空間体感システムＳは、現実空間ＲＳに存在するプレイヤーＰに取り付けられる複数の標識１と、プレイヤーＰ（すなわち、標識１）を撮影するカメラ２と、仮想空間ＶＳ（図４Ｂ等参照）の画像及び音声を決定するサーバ３と、決定された画像及び音声をプレイヤーに認識させるヘッドマウントディスプレイ（以下、「ＨＭＤ４」という。）とを備えている。カメラ２、サーバ３及びＨＭＤ４は、無線で相互に情報を送受信可能となっている。

複数の標識１は、プレイヤーＰの装着するＨＭＤ４、手袋及び靴を介して、プレイヤーＰの頭部、両手及び両足のそれぞれに取り付けられている。

カメラ２は、プレイヤーＰの存在する現実空間ＲＳのプレイヤーＰが移動し得る範囲を多方向から撮影可能なように、複数設置されている。

サーバ３は、カメラ２が撮影した複数の画像から標識１を検出し、その検出された標識１の現実空間ＲＳにおける位置に基づいて、プレイヤーＰの座標及び姿勢を認識し、その座標及び姿勢に基づいて、プレイヤーＰに認識させる画像及び音声を決定する。

ＨＭＤ４は、プレイヤーＰの頭部に装着される。ＨＭＤ４には、プレイヤーＰに、サーバ３によって決定された仮想空間の画像をプレイヤーＰの認識させるためのモニタ４１（仮想空間画像表示器）と、サーバ３によって決定された仮想空間の音声をプレイヤーＰに認識させるためのスピーカ４２（仮想空間音声発生器）と、プレイヤーＰの声を集音するためのマイク（不図示）が設けられている（図２参照）。

この仮想空間体感システムＳを用いてゲーム等を行う場合、プレイヤーＰは、仮想空間の画像と音声のみを認識して、プレイヤーＰ自身が仮想空間に存在していると認識する。

なお、仮想空間体感システムＳでは、プレイヤーＰの現実空間における座標を認識するシステムとして、標識１とカメラ２とサーバ３とによって構成された、いわゆるモーションキャプチャー装置を備えている。しかし、本発明の仮想空間体感システムは、このような構成に限定されるものではない。

例えば、モーションキャプチャー装置を使用する場合には、上記の構成のものの他、カメラとサーバとが有線で接続されたものを用いてもよいし、標識及びカメラの数が上記構成とは異なる（例えば、それぞれ１つずつ設けられている）ものを用いてもよい。また、モーションキャプチャー装置に代わり、プレイヤーの座標のみを検出する装置を用いてもよい。

次に、図２を用いて、サーバ３の構成を詳細に説明する。

サーバ３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。サーバ３は、実装されたハードウェア構成又はプログラムにより実現される機能として、図２に示すように、表示画像生成部３１と、プレイヤー情報検出部３２と、トリガーイベント認識部３３と、アバター座標決定部３４と、仮想空間画像決定部３５と、仮想空間音声決定部３６とを備えている。

表示画像生成部３１は、ＨＭＤ４のモニタ４１を介してプレイヤーＰに認識させる画像を生成する。表示画像生成部３１は、仮想空間生成部３１ａと、アバター生成部３１ｂと、移動体生成部３１ｃとを有している。

仮想空間生成部３１ａは、仮想空間の背景となる画像及び仮想空間に存在するオブジェクトの画像を生成する。

アバター生成部３１ｂは、仮想空間に、プレイヤーＰの動作に対応して動作するアバターを生成する。アバター生成部３１ｂは、複数のプレイヤーＰが存在する場合には、それぞれのプレイヤーＰに対応するようにして複数のアバターを生成する。このアバターは、対応するプレイヤーＰの現実空間における動作（すなわち、座標の移動及び姿勢の変化）に対応して、仮想空間において動作する。

移動体生成部３１ｃは、仮想空間に、現実空間ＲＳには対応する物体が存在せず、仮想空間にアバターと接続可能な移動体を生成する。

ここで、「移動体」とは、アバターが接続した際に、プレイヤーＰの現実の移動とは異なるアバターの移動を、（意識している、意識していないに関わらず）プレイヤーに予測させるものであればよい。例えば、エレベータ等の現実空間で移動に使われるものの他、飛び乗ることが可能な川を流れる丸太、上に立った際に崩れそうな床、ジャンプ台、跳躍を補助する翼等が該当する。

また、ここで、アバターと移動体との「接続」とは、移動体の移動、移動体の形状の変化等がアバターの座標に影響することを、プレイヤーが予測し得る状態になることをいう。例えば、アバターがエレベータに乗り込む、アバターが川を流れる丸太に乗る、アバターが崩れそうな床の上に立つ、ジャンプ台の上に立つ、跳躍を補助する翼をアバターが装着する等が該当する。

プレイヤー情報検出部３２には、カメラ２が撮影した標識１を含むプレイヤーＰの画像データが入力される。このプレイヤー情報検出部３２は、プレイヤー姿勢検出部３２ａと、プレイヤー座標検出部３２ｂとを有している。

プレイヤー姿勢検出部３２ａは、入力されたプレイヤーＰの画像データから標識１を抽出し、その抽出結果に基づいて、プレイヤーＰの姿勢を検出する。

プレイヤー座標検出部３２ｂは、入力されたプレイヤーＰの画像データから標識１を抽出し、その抽出結果に基づいて、プレイヤーＰの座標を検出する。

トリガーイベント認識部３３は、プレイヤーＰが現実空間において所定の動作を行った際に（すなわち、プレイヤーＰに対応するアバターが仮想空間において所定の動作を行った際に）、その動作に基づくトリガーイベントが発生したと認識する。トリガーイベントは、プレイヤーＰが所定の座標に移動する、プレイヤーＰが所定の姿勢をとる等、プレイヤーＰの動作に応じて発生するものであれば、プレイヤーＰがその発生を認識していないものであってもよい。

アバター座標決定部３４は、プレイヤー座標検出部３２ｂによって検出されたプレイヤーＰの現実空間ＲＳにおける座標に基づいて、そのプレイヤーＰに対応するアバターの仮想空間における座標を決定する。

また、アバター座標決定部３４は、トリガーイベント認識部３３がトリガーイベントを認識した際には、認識されたトリガーイベントの種類に応じて、所定期間若しくは所定範囲、又は、所定期間及び所定範囲において、アバターの座標を、プレイヤーの座標とアバターの座標との対応関係にズレを生じさせるように補正する。

また、ここで、プレイヤーの座標とアバターの座標との対応関係にズレを生じさせる「補正」とは、アバターの座標そのものをプレイヤーの座標の移動に関連させずに移動させることの他、プレイヤーの座標の移動量に対するアバターの座標の移動量を変化させること等をいう。

仮想空間画像決定部３５は、アバターの座標に基づいて、ＨＭＤ４のモニタ４１を介して、そのアバターに対応するプレイヤーＰに認識させる仮想空間の画像を決定する。

ここで、「仮想空間の画像」とは、仮想空間の背景の画像の他、他のアバターの画像、仮想空間にのみ存在するオブジェクトの画像、現実空間に対応して仮想空間に存在するオブジェクトの画像等、プレイヤーが自らに対応するアバターの仮想空間における座標を推認し得る画像をいう。

仮想空間音声決定部３６は、アバターの座標に基づいて、ＨＭＤ４のスピーカ４２を介して、そのアバターに対応するプレイヤーＰに認識させる音声を決定する。

次に、図２〜図１６を参照して、仮想空間体感システムＳを用いてゲームを行う際に、仮想空間体感システムＳの実行する処理について説明する。図３、図５、図９及び図１３は、ゲームの各段階において仮想空間体感システムＳで行われる処理を示すフローチャートである。ここで、本実施形態において行われるゲームは、二人のプレイヤーが協力して移動し、それぞれのスタート地点からそれぞれのゴール地点を目指すゲームである。

まず、図２、図３及び図４を参照して、仮想空間体感システムＳがゲームのスタート時の段階及びトリガーイベントが認識されていない段階で実行する処理について説明する。

ゲームの開始を指示する信号を認識したときには、まず、サーバ３の表示画像生成部３１が、仮想空間ＶＳ、第１アバターＡ１及び第２アバターＡ２、並びに、移動体を生成する（図３／ＳＴＥＰ０１）。

具体的には、表示画像生成部３１の仮想空間生成部３１ａが、仮想空間ＶＳ及び仮想空間ＶＳに存在する各種オブジェクトを生成する。表示画像生成部３１のアバター生成部３１ｂが、第１プレイヤーＰ１（第１のプレイヤー）に対応する第１アバターＡ１（第１のアバター）及び第２プレイヤーＰ２（第２のプレイヤー）に対応する第２アバターＡ２（第２のアバター）を生成する。表示画像生成部３１の移動体生成部３１ｃが、後述するエレベータＶＳ１等の移動体を生成する。

このＳＴＥＰ０１の処理により生成された仮想空間ＶＳには、図４Ｂに示すように、第１アバターＡ１及び第２アバターＡ２、移動体であるエレベータＶＳ１、床ＶＳ２及びジャンプ台ＶＳ３の他、現実空間ＲＳに設置されているホワイトボードＲＳ１（図４Ａ参照）に対応する位置に生成されたボタンＶＳ４等のトリガーイベントに関連するオブジェクトが設置されている。

次に、サーバ３のプレイヤー情報検出部３２が、カメラ２によって撮影された画像データを取得し、その画像データに基づいて、第１プレイヤーＰ１及び第２プレイヤーＰ２（以下、総称する場合は「プレイヤーＰ」という。）の現実空間ＲＳにおける座標及び姿勢（図４Ａ参照）を検出する（図３／ＳＴＥＰ０２）。

次に、サーバ３のアバター座標決定部３４が、プレイヤー情報検出部３２が検出した第１プレイヤーＰ１の現実空間ＲＳにおける座標に基づいて、第１アバターＡ１の仮想空間ＶＳにおける座標を決定し、第２プレイヤーＰ２の現実空間ＲＳにおける座標に基づいて、第２アバターＡ２の仮想空間ＶＳにおける座標を決定する（図３／ＳＴＥＰ０３）。

次に、サーバ３の仮想空間画像決定部３５及び仮想空間音声決定部３６が、プレイヤーＰに認識させる画像及び音声を、第１アバターＡ１及び第２アバターＡ２の仮想空間ＶＳにおける座標及び姿勢に基づいて決定する（図３／ＳＴＥＰ０４）。

次に、プレイヤーＰの装着しているＨＭＤ４が、モニタ４１に決定された画像を表示し、スピーカ４２に音声を発生する（図３／ＳＴＥＰ０５）。

次に、サーバ３のプレイヤー情報検出部３２が、第１プレイヤーＰ１又は第２プレイヤーＰ２の現実空間ＲＳにおける座標の移動又は姿勢の変化が検出されたか否かを判定する（図３／ＳＴＥＰ０６）。

第１プレイヤーＰ１又は第２プレイヤーＰ２の現実空間ＲＳにおける座標の移動又は姿勢の変化が検出された場合（ＳＴＥＰ０６でＹＥＳの場合）には、ＳＴＥＰ０３に戻り、再度、ＳＴＥＰ０３以降の処理を実行する。

第１プレイヤーＰ１又は第２プレイヤーＰ２の現実空間ＲＳにおける座標の移動又は姿勢の変化が検出されなかった場合（ＳＴＥＰ０６でＮＯの場合）には、サーバ３が、ゲームの終了を指示する信号を認識したか否かを判定する（図３／ＳＴＥＰ０７）。

ゲームの終了を指示する信号を認識できなかった場合（ＳＴＥＰ０７でＮＯの場合）には、ＳＴＥＰ０６に戻り、再度、ＳＴＥＰ０６以降の処理を実行する。ゲームの終了を指示する信号を認識した場合（ＳＴＥＰ０７でＹＥＳの場合）には、仮想空間体感システムＳは、今回の処理を終了する。

以上の処理により、ゲームが開始された後には、仮想空間ＶＳに、第１プレイヤーＰ１に対応する第１アバターＡ１及び第２プレイヤーＰ２に対応する第２アバターＡ２と、移動体であるエレベータＶＳ１、床ＶＳ２及びジャンプ台ＶＳ３を含む複数のオブジェクトが設置される。

そして、第１プレイヤーＰ１及び第２プレイヤーＰ２は、それぞれが装着したＨＭＤ４に表示される画像及び発生される音声によって、それぞれに対応する第１アバターＡ１及び第２アバターＡ２を介して、自身が仮想空間ＶＳに存在し、自由に動作することができると認識するようになる。

次に、図２、図５〜図８を参照して、仮想空間体感システムＳがゲームの第１段階で実行する処理について説明する。この第１段階では、仮想空間ＶＳの状態が図６Ｂに示す状態となること（すなわち、第１アバターＡ１が、エレベータＶＳ１のマークＶＳ１ａ上に移動すること）がトリガーイベントの発生に該当する。

この第１段階においては、まず、サーバ３のトリガーイベント認識部３３が、第１プレイヤーＰ１の動作に基づくトリガーイベントの発生を認識したか否かを判定する（図５／ＳＴＥＰ１１）。

具体的には、トリガーイベント認識部３３は、仮想空間ＶＳで、第１プレイヤーＰ１に対応する第１アバターＡ１がエレベータＶＳ１のマークＶＳ１ａ上に移動するように（図６Ｂ参照）、現実空間ＲＳで、第１プレイヤーＰ１がＹ軸方向に移動したか否か（図６Ａ参照）を判定する。

そして、第１プレイヤーＰ１の座標が所定の位置に位置したときには、トリガーイベント認識部３３が、トリガーイベントが発生したと認識する。

このとき、エレベータＶＳ１は移動体であるので、第１プレイヤーＰ１及び第２プレイヤーＰ２は、第１プレイヤーに対応する第１アバターＡ１が移動体と接続したと認識することになる。

トリガーイベントの発生が認識された場合（ＳＴＥＰ１１でＹＥＳの場合）には、サーバ３のアバター座標決定部３４が、移動体であるエレベータＶＳ１の移動に伴って、エレベータＶＳ１に乗っている第１アバターＡ１の座標を移動する（図５／ＳＴＥＰ１２）。

具体的には、アバター座標決定部３４が、トリガーイベントの発生をトリガーとして、アバター座標決定部３４が、移動体であるエレベータＶＳ１の移動に伴って、第１アバターＡ１の座標を所定方向に所定量移動させる。

次に、サーバ３の仮想空間画像決定部３５及び仮想空間音声決定部３６は、移動後の第１アバターＡ１の座標に基づいて、プレイヤーＰに認識させる仮想空間の画像及び音声を決定する（図５／ＳＴＥＰ１３）。

次に、プレイヤーＰの装着しているＨＭＤ４が、モニタ４１に決定された画像を表示し、スピーカ４２に音声を発生する（図５／ＳＴＥＰ１４）。

ＳＴＥＰ１４の処理を実行した後、又は、トリガーイベントの発生が認識されなかった場合（ＳＴＥＰ１１でＮＯの場合）には、仮想空間体感システムＳは、今回の処理を終了する。

上記のＳＴＥＰ１２〜ＳＴＥＰ１４の処理中、現実空間ＲＳでは、第１アバターＡ１に対応する第１プレイヤーＰ１の座標は、第１段階開始時（図６Ａ）、第１段階進行時（図７Ａ）及び第１段階終了時（図８Ａ）において、移動していない。

一方、仮想空間ＶＳでは、第１プレイヤーＰ１に対応する第１アバターＡ１の座標は、第１段階開始時（図６Ｂ）、第１段階進行時（図７Ｂ）及び第１段階終了時（図８Ｂ）において、移動体であるエレベータＶＳ１の移動に伴って、Ｘ軸方向において第２アバターＡ２から離れる方向に移動するとともに、Ｚ軸方向において上方向に移動する。ここで、第１アバターＡ１の座標の移動速度は、Ｘ軸方向における移動速度よりもＺ軸方向における移動速度の方が遅くなっている。

すなわち、ＳＴＥＰ１２〜ＳＴＥＰ１４の処理によって、第１アバターＡ１の座標は第１プレイヤーＰ１の座標の移動とは独立して移動し、第１プレイヤーＰ１の現実空間ＲＳにおける座標と第１アバターＡ１の仮想空間ＶＳにおける座標との対応関係にズレが生じることになる。

そして、その対応関係のズレに応じて、プレイヤーＰの認識している仮想空間ＶＳの画像が変化する。

具体的には、第１プレイヤーＰ１の認識する仮想空間ＶＳの画像では、第２アバターＡ２の画像は、第１アバターＡ１と第２アバターＡ２の相対座標の変化に基づいて、その大きさ、角度、姿勢等が変化する。また、第２アバターＡ２以外の画像は、第１アバターＡ１の座標の移動に基づいて、その大きさ、角度等が変化する。

また、第２プレイヤーＰ２の認識する仮想空間ＶＳの画像では、移動体であるエレベータＶＳ１の画像は、エレベータＶＳ１の移動に基づいて、その大きさ、角度等が変化する。また、第１アバターＡ１の画像は、エレベータＶＳ１の移動に伴う第１アバターＡ１と第２アバターＡ２の相対座標の変化基づいて、その大きさ、角度、姿勢等が変化する。また、エレベータＶＳ１及び第１アバターＡ１以外の画像は変化しない。

また、仮想空間ＶＳの音声（例えば、他のプレイヤーの声に基づいて決定されるアバターの声や、移動体から発生する音）も、仮想空間ＶＳの画像と同様に、第１アバターＡ１がエレベータＶＳ１とともに移動に応じて変化する。

そして、プレイヤーＰは、仮想空間ＶＳの画像及び音声の変化を介して、その対応関係のズレを認識することによって、現実空間ＲＳよりも拡張された仮想空間ＶＳを認識する。具体的には、プレイヤーＰは、第１アバターＡ１がＸ軸方向及びＺ軸方向に移動したことによって、第１アバターＡ１がそのように移動できるほど、仮想空間ＶＳがＸ軸方向及びＺ軸方向に現実空間ＲＳよりも拡張されていると認識する。

また、第１段階におけるトリガーイベントは、第１アバターＡ１と移動体であるエレベータＶＳ１に乗りこんだ（接続した）状態で、第１アバターＡ１がマークＶＳ１ａの上に立つように第１プレイヤーＰ１が移動することとなっている。

すなわち、対応関係にズレを生じさせるための第１アバターＡ１の座標の移動は、移動体であるエレベータＶＳ１の移動が第１アバターＡ１の座標に影響することを、プレイヤーＰが予測し得る状態で発生する。

この予測によって、プレイヤーＰは、第１プレイヤーＰ１の現実空間ＲＳにおける座標と第１アバターＡ１の仮想空間ＶＳにおける座標との対応関係のズレを違和感なく受け入れることができる。

ところで、上記したように、エレベータＶＳ１の移動に伴って生じる第１アバターＡ１の座標の移動速度は、Ｘ軸方向における移動速度よりもＺ軸方向における移動速度の方が遅くなっている。

これにより、対応関係のズレは、Ｘ軸方向において大きく、Ｚ軸方向において小さくなっている。その結果、プレイヤーＰは、現実空間ＲＳに対して、Ｘ軸方向において、第２アバターＡ２から第１アバターＡ１が離れる方向に大きく拡張し、Ｚ軸方向において、Ｘ軸方向における拡張の度合いよりも小さく拡張した仮想空間ＶＳを認識する。

また、対応関係にズレを生じさせるための第１アバターＡ１の座標のＸ方向における移動とＺ軸方向における移動は、同時に行われている。これにより、対応関係にズレを生じさせる過程の時間（すなわち、プレイヤーＰが違和感を覚えやすい時間）が集中している。その結果、プレイヤーＰは、頻繁に違和感を覚えることがなくなっている。

次に、図２、図９〜図１２を参照して、仮想空間体感システムＳがゲームの第２段階で実行する処理について説明する。この第２段階では、仮想空間ＶＳの状態が図１１Ｂに示す状態となること（すなわち、第２アバターＡ２がボタンＶＳ４を押す動作を行うこと）がトリガーイベントの発生に該当する。

この第２段階においては、まず、サーバ３のアバター座標決定部３４が、第１アバターＡ１が移動体に接続したか否かを判定する（図９／ＳＴＥＰ２１）。

具体的には、アバター座標決定部３４が、仮想空間ＶＳで、第１プレイヤーＰ１に対応する第１アバターＡ１の座標が移動体である崩れそうな床ＶＳ２の上に移動するように（図１０Ｂ参照）、現実空間ＲＳで、第１プレイヤーＰ１の座標がＹ軸方向に移動したか否か（図１０Ａ参照）を判定する。

第２段階では、床ＶＳ２は移動体であるので、第１プレイヤーＰ１及び第２プレイヤーＰ２は、第１アバターＡ１が床ＶＳ２の上に移動したことを認識することによって、第１アバターＡ１が移動体と接続したと認識することになる。

このＳＴＥＰ２１の判定は、第１アバターＡ１が移動体に接続した（床ＶＳ２の上に移動した）と判定されるまで（ＳＴＥＰ２１でＮＯとなるたびに）、所定の周期で繰り返される。

第１アバターＡ１が移動体に接続した場合（ＳＴＥＰ２１でＹＥＳの場合）には、サーバ３のトリガーイベント認識部３３が、第２プレイヤーＰ２の動作に基づくトリガーイベントの発生を認識したか否かを判定する（図９／ＳＴＥＰ２２）。

具体的には、トリガーイベント認識部３３は、仮想空間ＶＳで、第２プレイヤーＰ２に対応する第２アバターＡ２がボタンＶＳ４近傍の位置でそのボタンＶＳ４に触れる姿勢となるように（図１０Ｂ参照）、現実空間ＲＳで、第２プレイヤーＰ２がＹ軸方向に移動して所定の姿勢となったか否か（図１０Ａ参照）を判定する。

そして、第２プレイヤーＰ２の座標が所定の位置まで移動して、第２プレイヤーＰ２の姿勢が所定の姿勢となったときには、トリガーイベント認識部３３は、第２プレイヤーＰ２の動作に基づいたトリガーイベントが発生したと認識する。

トリガーイベントの発生が認識された場合（ＳＴＥＰ２２でＹＥＳの場合）には、サーバ３のアバター座標決定部３４が、床ＶＳ２の崩落（すなわち、移動体の移動）に伴って、床ＶＳ２に立っていた第１アバターＡ１の座標を移動する（図９／ＳＴＥＰ２３）。

具体的には、アバター座標決定部３４が、第２プレイヤーＰ２の動作に基づいたトリガーイベントの発生をトリガーとして、第１アバターＡ１の座標のみを所定方向に所定量移動させる。

次に、サーバ３の仮想空間画像決定部３５及び仮想空間音声決定部３６は、移動後の第１アバターＡ１の座標に基づいて、プレイヤーＰに認識させる仮想空間の画像及び音声を決定する（図９／ＳＴＥＰ２４）。

次に、プレイヤーＰの装着しているＨＭＤ４が、モニタ４１に決定された画像を表示し、スピーカ４２に音声を発生する（図９／ＳＴＥＰ２５）。

ＳＴＥＰ２５の処理を実行した後、又は、トリガーイベントの発生が認識されなかった場合（ＳＴＥＰ２２でＮＯの場合）には、仮想空間体感システムＳは、今回の処理を終了する。

上記のＳＴＥＰ２３〜ＳＴＥＰ２５の処理中、現実空間ＲＳでは、第１アバターＡ１に対応する第１プレイヤーＰ１の座標は、第２段階開始時（図１０Ａ）、第２段階進行時（図１１Ａ）及び第２段階終了時（図１２Ａ）において、移動していない。

一方、仮想空間ＶＳでは、第１プレイヤーＰ１に対応する第１アバターＡ１の座標は、第２段階開始時（図１０Ｂ）、第２段階進行時（図１１Ｂ）及び第２段階終了時（図１２Ｂ）において、移動体である床ＶＳ２の崩落に伴って、Ｚ軸方向において下方向に移動する。

すなわち、ＳＴＥＰ２３〜ＳＴＥＰ２５の処理によって、第１アバターＡ１の座標は第１プレイヤーＰ１の座標の移動とは独立して移動し、第１プレイヤーＰ１の現実空間ＲＳにおける座標と第１アバターＡ１の仮想空間ＶＳにおける座標との対応関係にズレが生じることになる。

このとき、第１段階において対応関係にズレが生じた際の処理（ＳＴＥＰ１２〜ＳＴＥＰ１４）と同様に、プレイヤーＰの認識している仮想空間ＶＳの画像が変化する。

そして、プレイヤーＰは、仮想空間ＶＳの画像及び音声の変化を介して、その対応関係のズレを認識することによって、仮想空間ＶＳは現実空間ＲＳよりも拡張されていると認識する。具体的には、プレイヤーＰは、第１アバターＡ１がＺ軸方向下向きに移動したことによって、第１アバターＡ１がそのように移動できるほど、仮想空間ＶＳがＺ軸方向下向きに現実空間ＲＳよりも拡張されていると認識する。

また、第２段階のトリガーイベント（第２アバターＡ２がボタンＶＳ４を押す動作。ＳＴＥＰ２２の処理）は、第１アバターＡ１が移動体である崩れそうな床ＶＳ２の上に立った（接続した）状態（ＳＴＥＰ２１の処理）を前提としている。

すなわち、対応関係にズレを生じさせるための第１アバターＡ１の座標の移動は、移動体である床ＶＳ２ｂの崩落（変化）が第１アバターＡ１の座標に影響することを、プレイヤーＰが予測し得る状態で発生する。

この予測によって、プレイヤーＰは、第１プレイヤーＰ１の現実空間ＲＳにおける座標と第１アバターＡ１の仮想空間ＶＳにおける座標との対応関係のズレを違和感なく受け入れることができる。

ところで、第２段階におけるトリガーイベントは、移動する第１アバターＡ１が床ＶＳ２の上に移動したことではなく、第２アバターＡ２がボタンＶＳ４を押す動作を行うこととなっている。すなわち、対応関係にズレを生じさせるために座標が移動するアバターと、トリガーイベントを発生させるアバターとが一致していない。

しかし、そのように一致していない場合であっても、第１プレイヤーＰ１及び第２プレイヤーＰ２のいずれにも、現実空間ＲＳよりも拡張された仮想空間ＶＳを認識させることができる。

次に、図２、図１３〜図１６を参照して、仮想空間体感システムＳがゲームの第３段階で実行する処理について説明する。この第３段階では、仮想空間ＶＳの状態が図１４Ｂに示す状態となること（すなわち、第１アバターＡ１が、ジャンプ台ＶＳ３の上に移動すること）がトリガーイベントの発生に該当する。

この第３段階においては、まず、サーバ３のトリガーイベント認識部３３が、第１プレイヤーＰ１の動作に基づくトリガーイベントの発生を認識したか否かを判定する（図１３／ＳＴＥＰ３１）。

具体的には、トリガーイベント認識部３３は、仮想空間ＶＳで、第１プレイヤーＰ１に対応する第１アバターＡ１がジャンプ台ＶＳ３の上に移動するように（図１４Ｂ参照）、現実空間ＲＳで、第１プレイヤーＰ１がＹ軸方向に移動したか否か（図１４Ａ参照）を判定する。

そして、第１プレイヤーＰ１の座標が所定の位置に位置したときには、トリガーイベント認識部３３が、トリガーイベントが発生したと認識する。

このとき、ジャンプ台ＶＳ３は移動体であるので、第１プレイヤーＰ１及び第２プレイヤーＰ２は、第１プレイヤーに対応する第１アバターＡ１が移動体と接続したと認識することになる。

トリガーイベントの発生が認識された場合（ＳＴＥＰ３１でＹＥＳの場合）には、サーバ３のアバター座標決定部３４が、移動体による移動の対象となる第１アバターＡ１の座標の所定方向の移動速度を、所定範囲において変更する（図１３／ＳＴＥＰ３２）。

具体的には、アバター座標決定部３４が、第１プレイヤーＰ１の座標の移動速度に対する第１アバターＡ１の座標の移動速度を、ジャンプ台ＶＳ３の上方となる範囲のみにおいて、Ｚ軸方向上向きのみ大きくなるように変更する。

次に、第１プレイヤーＰ１の座標の移動に伴って、第１アバターＡ１の座標を移動させる（図１３／ＳＴＥＰ３３）。

次に、サーバ３の仮想空間画像決定部３５及び仮想空間音声決定部３６は、移動後の第１アバターＡ１の座標に基づいて、プレイヤーＰに認識させる仮想空間の画像及び音声を決定する（図１３／ＳＴＥＰ３４）。

次に、プレイヤーＰの装着しているＨＭＤ４が、モニタ４１に決定された画像を表示し、スピーカ４２に音声を発生する（図１３／ＳＴＥＰ３５）。

ＳＴＥＰ３５の処理を実行した後、又は、トリガーイベントの発生が認識されなかった場合（ＳＴＥＰ３１でＮＯの場合）には、仮想空間体感システムＳは、今回の処理を終了する。

上記のＳＴＥＰ３２〜ＳＴＥＰ３５の処理中、現実空間ＲＳでは、第１アバターＡ１に対応する第１プレイヤーＰ１の座標は、第３段階開始時（図１４Ａ）から第３段階進行時（図１５Ａ）において、Ｙ軸方向前向き且つＺ軸方向上向きに移動し、第３段階進行時（図１５Ａ）から第３段階終了時（図１６Ａ）において、Ｙ軸方向前向き且つＺ軸方向下向きに移動する。

一方、仮想空間ＶＳでは、第１プレイヤーＰ１に対応する第１アバターＡ１の座標も、第３段階開始時（図１４Ｂ）から第３段階進行時（図１５Ｂ）において、Ｙ軸方向前向き且つＺ軸方向上向きに移動し、第３段階進行時（図１５Ｂ）から第３段階終了時（図１６Ｂ）において、Ｙ軸方向前向き且つＺ軸方向下向きに移動する。

しかし、第３段階開始時（図１４Ｂ）から第３段階進行時（図１５Ｂ）における第１アバターＡ１の座標は、移動速度を変更させる範囲（ＳＴＥＰ３２の処理の対象となる範囲）であるジャンプ台ＶＳ３の上となる範囲であるので、Ｚ軸方向上向きの移動のみ他の方向の移動よりも、大きくなっている（すなわち、第１プレイヤーＰ１の座標の移動量に対する第１アバターＡ１の座標の移動量を変化させている。）。

その結果、着地した際（第３段階終了時（図１６Ｂ））には、Ｚ軸方向において、第１プレイヤーＰ１の現実空間における座標と第１アバターＡ１の仮想空間における座標との対応関係にズレが生じることになる。具体的には、現実空間ＲＳでは、第１プレイヤーＰ１は平坦な地面で前方にジャンプしたに過ぎないが、仮想空間ＶＳでは、第１プレイヤーＰ１に対応する第１アバターＡ１が、低い位置から高い段差を飛び乗ったことになる。

このとき、第１段階及び第２段階において対応関係にズレが生じた際の処理（ＳＴＥＰ１２〜ＳＴＥＰ１４、ＳＴＥＰ２３〜ＳＴＥＰ２５）と同様に、プレイヤーＰの認識している仮想空間ＶＳの画像が変化する。

そして、プレイヤーＰは、仮想空間ＶＳの画像及び音声の変化を介して、その対応関係のズレを認識することによって、現実空間ＲＳよりも拡張された仮想空間ＶＳを認識する。具体的には、プレイヤーＰは、第１アバターＡ１が段差を飛び乗るように移動したことによって、所定の範囲（ジャンプ台ＶＳ３の存在している範囲）で、仮想空間ＶＳがＺ軸方向下向きに現実空間ＲＳよりも拡張されていると認識する。

また、第３段階におけるトリガーイベントは、第１アバターＡ１と移動体であるジャンプ台ＶＳ３の上に立つように第１プレイヤーＰ１が移動することとなっている。

すなわち、対応関係にズレを生じさせるための第１アバターＡ１の座標の移動は、移動体であるジャンプ台ＶＳ３が第１アバターＡ１の座標に影響することを、プレイヤーＰが予測し得る状態で発生する。

この予測によって、プレイヤーＰは、第１プレイヤーＰ１の現実空間ＲＳにおける座標と第１アバターＡ１の仮想空間ＶＳにおける座標との対応関係のズレを違和感なく受け入れることができる。

ところで、第３段階においては、対応関係にズレを生じさせるための第１アバターＡ１の座標の移動は、ジャンプ（すなわち、上昇とその上昇の直後の下降とを含む往復運動）となっている。

これにより、対応関係にズレを生じさせる過程の時間（すなわち、プレイヤーＰが違和感を覚えやすい時間）が集中している。その結果、プレイヤーＰが、頻繁に違和感を覚えることがなくなっている。また、往復運動を介して対応関係にズレを生じさせているので、プレイヤーＰが、ズレが生じている過程を認識しにくくなっている。

以上説明したように、仮想空間体感システムＳによれば、第１プレイヤーＰ１の現実空間ＲＳにおける座標と第１アバターＡ１の仮想空間ＶＳにおける座標との対応関係をずらすための補正を、第１プレイヤーＰ１及び第２プレイヤーＰ２に予測させることができるので、第１プレイヤーＰ１及び第２プレイヤーＰ２が覚える違和感を抑えつつ、現実空間よりも拡張された仮想空間をプレイヤーに認識させることができる。

以上、図示の実施形態について説明したが、本発明はこのような形態に限られるものではない。

例えば、上記実施形態においては、現実空間ＲＳに第１プレイヤーＰ１及び第２プレイヤーＰ２が存在し、仮想空間ＶＳに第１プレイヤーＰ１に対応する第１アバターＡ１及び第２プレイヤーＰ２に対応する第２アバターＡ２が存在している。しかし、本発明の仮想空間認識システムは、２人のプレイヤーにのみ対応するものではなく、プレイヤーの数は３人以上でもよい。

また、上記実施形態では、仮想空間音声発生器であるＨＭＤ４のスピーカ４２で発生する音声は、サーバ３の仮想空間音声決定部３６によって決定されている。しかし、本発明の仮想空間体感システムでは、仮想空間音声決定部及び仮想空間音声発生器を省略して、音声についての処理を省略してもよい。

また、上記実施形態では、仮想空間ＶＳを現実空間ＲＳよりもＸ軸方向及びＺ軸方向において拡張している。しかし、本発明の仮想空間体感システムにおける仮想空間は、このようなものに限定されるものではなく、いずれの方向に対しても、現実空間よりも拡張させてもよい。

また、上記実施形態では、第１アバターＡ１の所定位置への移動や第２アバターＡ２の所定位置における所定動作をトリガーイベントとしている。しかし、本発明の仮想空間体感システムにおけるトリガーイベントは、このようなものに限定されるものではない。

例えば、仮想空間で川を流れる丸太にアバターを飛び乗らせて、丸太とともにアバターを移動させて対応関係にズレを生じさせる場合には、川を流れる丸太に飛び乗るという動作が、アバターと移動体の接続及びトリガーイベントの発生を認識させるための動作となる。

また、上記実施形態では、対応関係にズレを生じさせるためのアバターの座標の補正として、第１段階では、所定期間、移動体であるエレベータＶＳ１をＸ軸方向及びＺ軸方向上側に移動させている。また、第２段階では、第１アバターＡ１がＺ軸方向の所定の位置（低くなっている床）に到達するまで、Ｚ軸方向下向きに移動させている。また、第３段階では、第３段階では、移動体であるジャンプ台ＶＳ３の上方の範囲のみで移動量の補正を行っている。

しかし、本発明の仮想空間体感システムのアバターの座標の補正は、そのような期間及び範囲に限定されるものではなく、プレイヤーの現実空間における座標とアバターの仮想空間における座標との対応関係にズレを生じさせる補正であればよい。そのため、補正の範囲や期間は、仮想空間を拡張する方向及び拡張する量に応じて、適宜変更してよい。

１…標識、２…カメラ、３…サーバ、４…ＨＭＤ、３１…表示画像生成部、３１ａ…仮想空間生成部、３１ｂ…アバター生成部、３１ｃ…移動体生成部、３２…プレイヤー情報検出部、３２ａ…プレイヤー姿勢検出部、３２ｂ…プレイヤー座標検出部、３３…トリガーイベント認識部、３４…アバター座標決定部、３５…仮想空間画像決定部、３６…仮想空間音声決定部、４１…モニタ（仮想空間画像表示器）、４２…スピーカ（仮想空間音声発生器）、Ａ１…第１アバター（第１のアバター）、Ａ２…第２アバター（第２のアバター）、Ｐ…プレイヤー、Ｐ１…第１プレイヤー（第１のプレイヤー）、Ｐ２…第２プレイヤー（第２のプレイヤー）、ＲＳ…現実空間、ＲＳ１…ホワイトボード、Ｓ…仮想空間体感システム、ＶＳ…仮想空間、ＶＳ１…エレベータ（移動体）、ＶＳ１ａ…マーク、ＶＳ２…床（移動体）、ＶＳ３…ジャンプ台、ＶＳ４…ボタン。

Claims (2)

1. 第１のプレイヤー及び第２のプレイヤーが存在する現実空間に対応する仮想空間を生成する仮想空間生成部と、
   １つの前記仮想空間に、前記第１のプレイヤーの動作に対応して前記仮想空間で動作する第１のアバター、及び、前記第２のプレイヤーの動作に対応して前記仮想空間で動作する第２のアバターを生成するアバター生成部と、
   前記第１のプレイヤー及び前記第２のプレイヤーの座標を検出するプレイヤー座標検出部と、
   検出された前記第１のプレイヤーの座標に基づいて、前記第１のアバターの座標を決定し、前記第２のプレイヤーの座標に基づいて、前記第２のアバターの座標を決定するアバター座標決定部と、
   前記第１のアバターの座標及び前記第２のアバターの座標に基づいて、前記第１のプレイヤー及び前記第２のプレイヤーに認識させる前記仮想空間の画像を決定する仮想空間画像決定部と、
   前記第１のプレイヤー及び前記第２のプレイヤーに、決定された前記仮想空間の画像を認識させる仮想空間画像表示器とを備え、
   前記仮想空間画像決定部は、前記第１のプレイヤーの座標と前記第１のアバターの座標との対応関係にズレを生じさせるように前記第１のアバターの座標が補正された場合に、前記第１のアバターと前記第２のアバターとの相対座標の変化に基づいて、前記第２のプレイヤーに認識させる前記第１のアバターの画像を変化させるように構成されていることを特徴とする仮想空間体感システム。
2. 請求項１に記載の仮想空間体感システムにおいて、
   前記第１のアバターの座標及び前記第２のアバターの座標に基づいて、前記第１のプレイヤー及び前記第２のプレイヤーに認識させる音声を決定する仮想空間音声決定部と、
   前記第１のプレイヤー及び前記第２のプレイヤーに、決定された音声を認識させる仮想空間音声発生器を備えていることを特徴とする仮想空間体感システム。

Images