JP2018064836A - バーチャルゲーム装置 - Google Patents

Abstract

【課題】 ＣＧの仮想物体を操作しているバーチャルな感覚を得ることができ、ゲームの進行状況に応じて仮想物体を変更することができるバーチャルゲーム装置を得る。【解決手段】 ＨＭＤと、オブジェクトとプレーヤの位置情報及び視線方向情報とを取得する測位手段と、ＨＭＤへの映像を提供する映像提供手段と、映像提供手段がフィールド映像と予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、フィールド映像が現実空間撮像手段により得られた現実空間映像を基に作成され尚且つプレーヤ毎の存在位置と視線方向に応じたＣＧ映像であり、映像提供手段が測位手段によって計測されたプレーヤ毎の存在位置及び視線方向に応じた仮想物体映像をフィールド映像に重畳してＨＭＤへ提供するものであり、重畳された仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備えるもの。【選択図】 図１

Description

本発明は例えばゲームフィールド内にヘッドマウントディスプレイ（Head Mounted Display、以下、「ＨＭＤ」とも記す）を装備したプレーヤによって行われるバーチャルゲーム装置に関するものである。

近年、現実世界の映像と、三次元的に描画されたＣＧ（コンピュータグラフィックス）による仮想物体の映像とを重畳して表示し、あたかも現実世界の中に仮想物体が存在しているかのように見せることができるようなバーチャル画像提示装置が存在している。特に、コンピュータグラフィックス画像を重畳する位置を検知するための位置センサから得られる位置に重畳すべきコンピュータグラフィックスの種類を動的に判断するＣＧ選択手段によって、センサの位置関係に応じて、重畳するＣＧを動的に変化させることが可能とした複合現実感提示装置が提案されている（例えば、特許文献１参照）。

これは、ＣＧ選択手段によって、センサの位置関係に応じて重畳するＣＧを動的に変化させるものであり、これにより、例えば、手にブーツのＣＧが重畳され、足にはグローブのＣＧが重畳されてしまうことが避けられるものであった。

特開２００４−１３３０９号公報

しかしながら、提案された複合現実感提示装置としては、プレイ中に重畳するＣＧを動的に変化させることが可能となったが、単純に位置センサの対応付けに基づいたＣＧを合成するものである。

本発明は、特に、ゲームフィールド映像に仮想物体を重畳して複合現実映像を生成することによって、ＣＧの仮想物体を操作しているバーチャルな感覚を得ることができることは元より、ゲームの進行状況に応じて仮想物体を変更することができるバーチャルゲーム装置を得ることを目的とする。

請求項１に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるＨＭＤと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ＨＭＤを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のＨＭＤへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ＨＭＤへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備えたことを特徴とするものである。

請求項２に記載された発明に係るバーチャルゲーム装置は、請求項１に記載の測位手段が、深度センサであることを特徴とするものである。

請求項３に記載された発明に係るバーチャルゲーム装置は、請求項１に記載の現実空間撮像手段が、前記ゲームフィールドを俯瞰する位置に配設されたカメラであることを特徴とするものである。

請求項４に記載された発明に係るバーチャルゲーム装置は、請求項１に記載の仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とするものである。

請求項５に記載された発明に係るバーチャルゲーム装置は、請求項４に記載のコントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とするものである。

請求項６に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるヘッドマウントディスプレイと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ヘッドマウントディスプレイを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のヘッドマウントディスプレイへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、現実空間撮像手段で撮影された前記現実空間映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ヘッドマウントディスプレイへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備えたことを特徴とするものである。

請求項７に記載された発明に係るバーチャルゲーム装置は、請求項６に記載の測位手段が、深度センサであることを特徴とするものである。

請求項８に記載された発明に係るバーチャルゲーム装置は、請求項６に記載の現実空間撮像手段が、前記プレーヤのヘッドマウントディスプレイに装着されたカメラであることを特徴とするものである。

請求項９に記載された発明に係るバーチャルゲーム装置は、請求項６に記載の仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とするものである。

請求項１０に記載された発明に係るバーチャルゲーム装置は、請求項９に記載のコントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とするものである。

請求項１１に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるヘッドマウントディスプレイと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ヘッドマウントディスプレイを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のヘッドマウントディスプレイへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、ハーフミラー越しの前記現実空間映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ヘッドマウントディスプレイへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備えたことを特徴とするものである。

請求項１２に記載された発明に係るバーチャルゲーム装置は、請求項１１に記載の測位手段が、深度センサであることを特徴とするものである。

請求項１３に記載された発明に係るバーチャルゲーム装置は、請求項１１に記載の仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とするものである。

請求項１４に記載された発明に係るバーチャルゲーム装置は、請求項１３に記載のコントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とするものである。

本発明は、特に、ゲームフィールド映像に仮想物体を重畳して複合現実映像を生成することによって、ＣＧの仮想物体を操作しているバーチャルな感覚を得ることができることは基より、ゲームの進行状況に応じて仮想物体を変更することができるという効果がある。

本発明のバーチャルゲーム装置の一実施例の構成を示す説明図である。 ＨＭＤに配信される一映像を示す説明図である。 ＨＭＤに配信される別の映像を示す説明図である。 ＨＭＤに配信される更に別の映像を示す説明図である。 図４の映像の銃型コントローラに装飾した仮想物体を重畳したＨＭＤに配信される映像を示す説明図である。

本発明においては、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるＨＭＤ（ヘッドマウントディスプレイ）と、前記ゲームフィールド内のオブジェクトの位置情報と、前記ＨＭＤを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、前記個々のプレーヤ毎のＨＭＤへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置である。

このようなバーチャルゲーム装置であって、映像提供手段がゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、ゲームフィールド映像が、ハーフミラー越しの現実空間映像、現実空間撮像手段で撮影された現実空間映像、又は、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像であり、映像提供手段が測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像をゲームフィールド映像に重畳して、プレーヤ毎の前記ＨＭＤへ提供するものであり、重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備える。これにより、簡便な構成要素でバーチャルゲームを行うことができ、ＣＧの仮想物体を操作しているバーチャルな感覚を得ることができることは基より、ゲームの進行状況に応じて仮想物体を変更することができる。

本発明のＨＭＤとしては、目を完全に覆う非透過型や透過型の何れでも使用可能であるが、非透過型のものの方が、現実空間の余分な情報がカットされる分、より高いバーチャル感覚を得ることができ、より深い没入感をプレーヤに与えることができる。また、装着するプレーヤの左右両目に同じ平面映像を配信されるものでもよいが、左右の目に配信されるゲームフィールド映像を、左右の視差を与えて立体映像をプレーヤに与えるため、より深い没入感が得られより好ましい。

このＨＭＤとしては、透過型のものでは、ハーフミラー越しの現実空間映像のゲームフィールド映像を提供するものが挙げられる。非透過型のものでは、現実空間撮像手段で撮影された現実空間映像のゲームフィールド映像、又は、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像のゲームフィールド映像を提供するものが挙げられる。

本発明の測位手段としては、ＨＭＤを装備した個々のプレーヤの位置情報を取得するものであればよく、具体的には、ゲームフィールド内に存在するプレーヤの位置情報とプレーヤの視線方向の情報とを取得するものが好ましい。この位置情報と視線方向を含めた情報とを取得することにより、ＨＭＤに映し出されたゲームフィールド映像がプレーヤにとって現実味を帯びる。

この測位手段としては、種々のものが採用される。例えば、ステレオカメラ又は深度センサを採用することができる。詳しくは、ステレオカメラは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラである。ステレオ映像から距離を求める場合には、三角測量の原理を用いる。また、深度センサは、深度情報を取得するものである。詳しくは、ある一定の範囲に赤外線を照射して細かい点が分布した状態とし、そこに存在する物体によって点の模様が変化するので、それを捉えて奥行き情報を得るものである。

この他にも、プレーヤが装備するＨＭＤや同じくプレーヤが装備するコントローラに位置センサを装備してこの位置センサの位置情報を読み取ることによりプレーヤの位置やプレーヤの装備しているコントローラの位置を把握してもよい。また、プレーヤの手及び／又は足に位置センサを装備させてプレーヤの四肢の位置情報を読み取ってもよい。

後述する通り、プレーヤが装備するコントローラは仮想物体として重畳されるため、更には、よりリアルなゲームフィールド映像及び複合現実映像とするため、プレーヤの位置情報、プレーヤの四肢の位置情報及びコントローラの位置情報は、より正確な位置情報が必要となる。このため、前述のステレオカメラ、深度センサ、位置センサ等を複数組み合わせて使用してもよい。

本発明のゲームフィールド映像としては、具体的には、ハーフミラー越しの現実空間映像と、現実空間撮像手段で撮影された現実空間映像と、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像とから選ばれる。

詳しくは、前述の通り、ＨＭＤの種類によって、プレーヤに提供されるゲームフィールド映像としては幾つかの種類のものが挙げられる。ＨＭＤが透過型のものでは、ハーフミラー越しの現実空間映像のゲームフィールド映像を提供するものが挙げられる。ＨＭＤが非透過型のものでは、現実空間撮像手段で撮影された現実空間映像のゲームフィールド映像、又は、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像のゲームフィールド映像を本発明の映像提供手段が提供する。

本発明の映像提供手段としては、ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであればよい。重畳される仮想物体映像としては、ゲームフィールド内に存在する物体を基に装飾したものを始めとして、プレーヤが装備したコントローラを基に装飾した剣や銃のような武器等が挙げられる。これにより、コントローラを刀としたり、銃としたりしてゲームを行うことができる。コントローラはプレーヤにとって現実に手に持っており、ＨＭＤ越しのプレーヤの目には重畳して剣や銃を装備しているように見えるため、よりゲームに没頭しやすい効果を奏する。

また、プレーヤの四肢に装着した位置センサを用いる場合には、プレーヤの腕や足自体を剣や銃などの武器として重畳させてもよい。これにより、プレーヤに取ってみれば、例えば、手刀でなぎ払う動作を行うだけで自身の手が剣となったり、腕自体にミサイルや弾丸や光線が発射させる様に重畳させてもよいため、自身がサイボーグヒーロのように演じることも可能となる。

本発明の仮想物体記録手段としては、仮想物体をゲームの途中で変更可能なように選択可能なデータを１つ以上備えるものであればよい。これにより、ゲームの途中で仮想物体のデザインを変更することができる。例えば、所定の条件をクリアすれば、より威力の大きな剣や銃の設定の別のデザインの武器に変化することができ、プレーヤに取ってみれば、バージョンアップする楽しみや武器を相違させて別のステージでのゲームを引き続いて楽しむことができる。

本発明のゲームフィールド映像が、ハーフミラー越しの現実空間映像を用いる場合には、プレーヤの目線となる必要がある。このため、重畳される仮想物体は、現実空間上の所定位置に正確に重畳される必要がある。このため好ましくは、コントローラ等の所定位置に位置センサを装着させる。

また、現実空間を撮像する現実空間撮像手段で撮影された現実空間映像をゲームフィールド映像として用いる場合には、プレーヤの目線に近いカメラで撮影されるものが好ましい。このため、プレーヤのＨＭＤ（ヘッドマウントディスプレイ）に装着されるカメラが好ましい。このため、好ましくは、個々のＨＭＤの各々にステレオカメラを装着する。

更に、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像を用いる場合には、前述のプレーヤのＨＭＤに装着されるカメラでもよいが、一旦ＣＧ映像として加工されるため、左右の目への映像に視差を与えて立体視とする加工も可能となるため、少なくともゲームフィールドを俯瞰する位置に配設された１つ以上のカメラを用いることができる。

これにより、ゲームフィールド全体を予めＣＧ映像としたゲームフィールド映像とすることができるため、個々のプレーヤの位置情報が確定し、個々のプレーヤの目線方向が確定された場合には、その位置での該当方向のゲームフィールド映像を提供することができる。このため、カメラの数を少なくとも一つとすることができ、尚且つ、ゲームのゲームフィールド映像の自由度が増す利点を奏する。

より具体的には、本発明のゲームフィールド映像は、好ましくは、現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像のゲームフィールド映像をＨＭＤに配信し、更に、仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものである。このため、ゲームの進行状況に応じて仮想物体をより簡便に変更することができる。

尚、本発明におけるプレーヤの視線方向としては、非透過型のＨＭＤであれば、ＨＭＤの平面映像に向かう方向、装着したプレーヤの顔が向いているＨＭＤの方向であればよい。透過型のＨＭＤでも装着したプレーヤの顔が向いているＨＭＤの方向であればよいが、プレーヤのＨＭＤの方向とプレーヤの目線方向とにズレが生じる場合がある。このため、より好ましくはＨＭＤに装着者の目線の方向を認識するカメラを取付け、ＨＭＤの方向に微細な修正を加えて仮想物体映像を重畳させる。

本発明のコントローラは、好ましくは、測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラである。即ち、位置追跡センサを有するため、例えばこの位置追跡センサに映像を当て嵌める重畳映像生成手段等で重畳される仮想物体が実際のコントローラに重畳し易く、機械的に重畳可能なため、プレーヤは自信の動きに応じて銃型コントローラや剣型コントローラを違和感なく動かすことができる。

図１は本発明のバーチャルゲーム装置の一実施例の構成を示す説明図である。図２はＨＭＤに配信される一映像を示す説明図であり、ａ図は左目に提供される映像、ｂ図は右目に提供される映像である。図３はＨＭＤに配信される別の映像を示す説明図であり、ａ図は左目に提供される映像、ｂ図は右目に提供される映像である。図４はＨＭＤに配信される更に別の映像を示す説明図であり、ａ図は左目に提供される映像、ｂ図は右目に提供される映像である。図５は図４の映像の銃型コントローラに装飾した仮想物体を重畳したＨＭＤに配信される映像を示す説明図であり、ａ図は左目に提供される映像、ｂ図は右目に提供される映像である。

図１に示す通り、本実施例のバーチャルゲーム装置は、出力装置としてのＨＭＤ１１と、入力装置としてのＨＭＤ１１を装備した個々のプレーヤ１０の位置情報を取得する測位手段としての深度センサ１４と、現実空間を撮像する現実空間撮像手段としてのデジタルカメラ１３と、プレーヤ１０が装備するコントローラとしての銃型コントローラ１２と、情報処理部としてのゲーム装置本体１５とを備える。

これら入力手段の個々の情報が、ゲーム装置本体１５に有線ケーブルで送付され、ゲーム装置本体１５内で種々の情報の処理が行われる。即ち、映像提供手段のゲームフィールド映像を与える手段としてのゲームフィールド映像処理部１６で、デジタルカメラ１３の現実空間映像を基に作成され、尚且つ、前記プレーヤ毎の存在位置と視線方向に応じたＣＧ映像として作成される。尚、本実施例では有線ケーブルによって各機器とを用いて情報信号を送信しているが、当然ではあるが無線で行ってもよい。

一方、深度センサ１４によって、ゲームフィールド内の種々の構成材の位置情報が確定され、ゲームフィールド映像処理部１６で個々の位置情報が付加され、ゲームフィールド映像の３次元映像が作製される。具体的には、撮影した映像の奥行を計測できる深度センサ１４と、一般的な撮影を行うデジタルカメラ１３との色情報をもとにして、周辺環境を３次元ＣＧ映像として再現している。

得られたゲームフィールド映像の３次元映像は、ゲームフィールド内に存在するプレーヤ１０が装着したＨＭＤ１１に映像が配信される。この際、映像提供手段の重畳映像を与える手段としての重畳映像処理部１７によって、ゲームフィールド映像の一部をデータ保存部１８で予め保存された仮想物体の３次元映像データを重畳して表示される。

即ち、図２に示す通り、ゲームフィールド映像処理部１６で作製した３次元ＣＧ映像をＨＭＤ１１の位置追跡の起点と、深度センサ１４の位置の相対距離を合わせた状態で表示し、仮想のバーチャルリアリティ空間（以下、「ＶＲ空間」とも記す）のゲームフィールド内に、プレーヤ１０の身体を含めた現実の環境を再現する。これにより、プレーヤ１０はＣＧ映像で再現された自分の身体の一部と周辺環境をＶＲ空間内で見ることができる。尚、図の背景にはゲームフィールド内に配置されたオブジェクトに基づくＣＧオブジェクト２１である。

具体的には、このＨＭＤ１１に配信される映像は、深度センサ１４、デジタルカメラ１３によって得られたプレーヤ１０の存在位置とプレーヤの視線方向とから３次元ＣＧ映像から切り取ったゲームフィールド映像である。従って、プレーヤ１０の存在位置と視線方向とが変更するに応じて、ＨＭＤ１１に配信されるゲームフィールド映像が変更する。尚、本実施例では、ａ図及びｂ図に示す通り、左右の目への映像に視差を与えて立体視とするＣＧ映像をプレーヤ１０に提供している。

尚、プレーヤ１０の存在位置と視線方向とは深度センサ１４、デジタルカメラ１３のみによって得てもよいが、本実施例では、ＨＭＤ１１自体に位置センサを内蔵させて、この位置センサの情報を加味して確定させている。この位置センサによって正確なプレーヤの存在位置と視線方向との情報が得られるため、ゲーム中のプレーヤに与える矛盾が少なく、より深い没入感が得られる。

プレーヤ１０のＨＭＤ１１に配信するゲームフィールド映像は、その一部をデータ保存部１８で予め保存された仮想物体の３次元映像データを重畳して表示される。例えば、重畳映像処理部１７でプレーヤ自身が装備している武器として使用する銃型コントローラ１２の動作の結果をゲームフィールド映像内で重畳して表示することができる。

更に、銃型コントローラ１２の存在位置と銃口方向とも深度センサ１４、デジタルカメラ１３のみによって得てもよいが、本実施例では、銃型コントローラ１２自体に位置センサを内蔵させて、この位置センサの情報を加味して確定させている。この位置センサによって正確な銃型コントローラ１２の存在位置と銃口方向との情報が得られるため、ゲーム中のプレーヤに与える矛盾が少なく、より深い没入感が得られる。

即ち、図３及び図４に示される通り、位置センサを搭載した銃型コントローラ１２を図２に示したＶＲ空間であるゲームフィールド内に再現させ、これを周辺環境のゲームフィールド内に位置と銃口方向とを同期して現実と同等の形状のＣＧ映像を重畳して表示させる。これにより、プレーヤ１０はゲームフィールド内で、あたかも現実空間にいる時と同じように自分の手で銃型コントローラ１２を持ち、操作することができる。

本実施例のバーチャルゲーム装置では、デジタルカメラ１３と深度センサ１４から再現した３次元ＣＧモデルを位置と姿勢を追跡できるＨＭＤに同期して表示することで、ＨＭＤを装着したプレーヤ１０の身体や周辺環境をゲームフィールド内に再現する。更に、銃型コントローラ１２の中に姿勢追跡可能な位置センサを組み込み、ゲームフィールド内でＣＧのオブジェクトと同期させることで、あたかもＣＧの銃を自身の手で握り、操作しているような体験を提供している。具体的には、ＨＭＤの両眼に対し、１秒間に９０回程度の更新毎に行われる処理の流れとなっている。

さて、具体的なゲームでは、ゲームフィール内でプレーヤ１０がスイッチとしての引き金（トリガー）を引いた時点の銃型コントローラの位置と銃口方向とで発射された弾丸の弾道軌道や光線の放射光が確定される。このため、重畳映像処理部１７によって、その軌跡又は光路上のゲームフィールド内の敵キャラクターを含む構造物について、着弾のＣＧを重畳することにより、プレーヤ１０により深い没入感を与えることができる。

尚、着弾前の弾道上の弾丸や光線を標示させることも可能である。特に、ＨＭＤ１１へのゲームフィールド映像が夜間の映像であれば、着弾前の弾道上の弾丸の起動を表示させることにより、プレーヤ１０により深い没入感を与えることができる。また、敵キャラクターからの弾丸についても、プレーヤ１０の近くに着弾した場合に、着弾の音響と共に破裂する映像を加味することにより、プレーヤ１０により深い没入感を与えることができる。

この重畳映像処理部１７については、ゲームフィールド内に配置した柱や壁等の構造物や同じゲームフィールド内に居る敵キャラクターについても、現実映像にない仮想の模様や仮想の物体を重畳して表示することもできる。例えば、柱をジャングルの木の幹、壁を断崖絶壁の縁等に重畳したり、対戦する敵キャラクターをエイリアンの頭部と四肢とを重畳して表示したり、敵キャラクター自体を予めデータ保存部に３次元データを保存したＣＧ映像とすることも可能となる。

更には、重畳映像処理部１７で重畳された銃型コントローラ１２のＣＧ映像をゲーム中に予め保存された別のＣＧ映像に変更することも可能となる。即ち、ＶＲ空間のゲームフィールド内で銃型コントローラ１２のＣＧ映像を変形、拡張させることができ、これにより、プレーヤーに現実では体験できない表現を体験させることが可能となる。図５に示す通り、銃型コントローラ１２のＣＧ映像はプレーヤ１０が現実に持っているコントローラ１２の上に３次元ＣＧを重畳してあるため、ＶＲ空間内でも銃型コントローラ１２自体の触感、重さは現実のものであるため、ＶＲ空間内で、より深い没入感、操作感を可能にする。

この銃型コントロール１２で、特筆すべきは、プレーヤはＶＲ空間内で照準を合わせる動作ができることである。具体的には、銃型コントローラ１２はＶＲ空間内で重畳されており、例えば照星(Front sight)及び照門(Rear sight) 等の照準器を描画した３次元ＣＧ画像の銃を重畳する。ＨＭＤを装着したプレーヤは銃型コントローラ１２を持ち上げ、ＨＭＤのＶＲ空間内で目標と、３次元ＣＧ画像の銃の照星と、照門とを合わせて引き金（トリガー）を引く。この時点の銃型コントローラの位置と銃口方向とで発射された弾丸の弾道軌道や光線の放射光が確定される。即ち、現実世界と同等の照準動作を行い、その結果がＶＲ空間で実現されるため、より深い没入感、操作感を可能にする。

尚、照準器として、照星(Front sight)及び照門(Rear sight) を例としたが、スコープのような光学照準器等を搭載した３次元ＣＧ画像を重畳してもよい。当然ではあるが、光学照準器内の画像は目標の画像を拡大し、中央に十字線が現れるようにすることにより、ＶＲ空間であっても、現実世界と同等のものと認識され、より深い没入感、操作感を可能にする。この場合には、銃型コントローラをライフル型コントローラとしてもよい。

例えば、シューティングゲームをゲームフィールド内で行っている場合に、所定の点数を超えた場合に、使用している銃の見た目（性能）がバージョンアップするようにしたり、剣型コントローラの場合には、ライトサーベルやビームサーベルのような刃部分が光っている光線剣として表示したりすることも可能となる。

本実施例では、プレーヤの目を完全に覆う非透過型のＨＭＤに、現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像のゲームフィールド映像を配信される例を示したが、同じくプレーヤの目を完全に覆う非透過型のＨＭＤに、現実空間撮像手段で撮影された現実空間映像が配信されてもよいし、透過型のＨＭＤに、ハーフミラー越しの現実空間映像が配信されてもよい。

１０…プレーヤ、
１１…ＨＭＤ、
１２…銃型コントローラ（仮想物体バージョンアップ前）、
１３…デジタルカメラ（現実空間撮像手段）、
１４…深度センサ（測位手段）、
１５…ゲーム装置本体、
１６…ゲームフィールド映像処理部（映像提供手段）、
１７…重畳映像処理部（映像提供手段）、
１８…データ保存部、
２１…ＣＧオブジェクト、
２２…仮想物体（バージョンアップ後）、

請求項１に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるＨＭＤと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ＨＭＤを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のＨＭＤへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ＨＭＤへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備え、
前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とするものである。

請求項４に記載された発明に係るバーチャルゲーム装置は、請求項１に記載のコントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とするものである。

請求項５に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるヘッドマウントディスプレイと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ヘッドマウントディスプレイを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のヘッドマウントディスプレイへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、現実空間撮像手段で撮影された前記現実空間映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ヘッドマウントディスプレイへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備え、
前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたことを特徴とするものである。

請求項６に記載された発明に係るバーチャルゲーム装置は、請求項５に記載の測位手段が、深度センサであることを特徴とするものである。

請求項７に記載された発明に係るバーチャルゲーム装置は、請求項５に記載の現実空間撮像手段が、前記プレーヤのヘッドマウントディスプレイに装着されたカメラであることを特徴とするものである。

請求項８に記載された発明に係るバーチャルゲーム装置は、請求項５に記載のコントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とするものである。

請求項９に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるヘッドマウントディスプレイと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ヘッドマウントディスプレイを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のヘッドマウントディスプレイへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、ハーフミラー越しの前記現実空間映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ヘッドマウントディスプレイへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備え、
前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とするものである。

請求項１０に記載された発明に係るバーチャルゲーム装置は、請求項９に記載の測位手段が、深度センサであることを特徴とするものである。

請求項１１に記載された発明に係るバーチャルゲーム装置は、請求項９に記載のコントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とするものである。

請求項１に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるＨＭＤと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ＨＭＤを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のＨＭＤへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ＨＭＤへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備え、
前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであり、
前記コントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラであり、
前記銃型コントローラには照準器が重畳され、
前記プレーヤによるゲームフィールド映像内での目標と前記照準器とを合わせる照準動作を行った上で、前記銃型コントローラの引き金を引く動作で前記銃型コントローラの位置と銃口方向とで発射される弾丸の弾道軌道や光線の放射光を確定することを特徴とするものである。

請求項４に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるＨＭＤと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ＨＭＤを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のＨＭＤへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、現実空間撮像手段で撮影された前記現実空間映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ＨＭＤへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備え、
前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳され、
前記コントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラであり、
前記銃型コントローラには照準器が重畳され、
前記プレーヤによるゲームフィールド映像内での目標と前記照準器とを合わせる照準動作を行った上で、前記銃型コントローラの引き金を引く動作で前記銃型コントローラの位置と銃口方向とで発射される弾丸の弾道軌道や光線の放射光を確定することを特徴とするものである。

請求項５に記載された発明に係るバーチャルゲーム装置は、請求項４に記載の測位手段が、深度センサであることを特徴とするものである。

請求項６に記載された発明に係るバーチャルゲーム装置は、請求項４に記載の現実空間撮像手段が、前記プレーヤのＨＭＤに装着されたカメラであることを特徴とするものである。

請求項７に記載された発明に係るバーチャルゲーム装置は、ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるＨＭＤと、
前記ゲームフィールド内のオブジェクトの位置情報と、前記ＨＭＤを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
前記個々のプレーヤ毎のＨＭＤへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
前記ゲームフィールド映像が、ハーフミラー越しの前記現実空間映像であり、
前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ＨＭＤへ提供するものであり、
重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備え、
前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであり、
前記コントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラであり、
前記銃型コントローラには照準器が重畳され、
前記プレーヤによるゲームフィールド映像内での目標と前記照準器とを合わせる照準動作を行った上で、前記銃型コントローラの引き金を引く動作で前記銃型コントローラの位置と銃口方向とで発射される弾丸の弾道軌道や光線の放射光を確定することを特徴とするものである。

請求項８に記載された発明に係るバーチャルゲーム装置は、請求項７に記載の測位手段が、深度センサであることを特徴とするものである。

Claims (14)

1. ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるヘッドマウントディスプレイと、
   前記ゲームフィールド内のオブジェクトの位置情報と、前記ヘッドマウントディスプレイを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
   前記個々のプレーヤ毎のヘッドマウントディスプレイへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
   前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
   前記ゲームフィールド映像が、現実空間撮像手段により得られた現実空間映像を基に作成され、尚且つ、プレーヤ毎の存在位置と視線方向に応じたＣＧ映像であり、
   前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ヘッドマウントディスプレイへ提供するものであり、
   重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備えたことを特徴とするバーチャルゲーム装置。
2. 前記測位手段が、深度センサであることを特徴とする請求項１に記載のバーチャルゲーム装置。
3. 前記現実空間撮像手段が、前記ゲームフィールドを俯瞰する位置に配設されたカメラであることを特徴とする請求項１に記載のバーチャルゲーム装置。
4. 前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とする請求項１に記載のバーチャルゲーム装置。
5. 前記コントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とする請求項４に記載のバーチャルゲーム装置。
6. ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるヘッドマウントディスプレイと、
   前記ゲームフィールド内のオブジェクトの位置情報と、前記ヘッドマウントディスプレイを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
   前記個々のプレーヤ毎のヘッドマウントディスプレイへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
   前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
   前記ゲームフィールド映像が、現実空間撮像手段で撮影された前記現実空間映像であり、
   前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ヘッドマウントディスプレイへ提供するものであり、
   重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備えたことを特徴とするバーチャルゲーム装置。
7. 前記測位手段が、深度センサであることを特徴とする請求項６に記載のバーチャルゲーム装置。
8. 前記現実空間撮像手段が、前記プレーヤのヘッドマウントディスプレイに装着されたカメラであることを特徴とする請求項６に記載のバーチャルゲーム装置。
9. 前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とする請求項６に記載のバーチャルゲーム装置。
10. 前記コントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とする請求項９に記載のバーチャルゲーム装置。
11. ゲームフィールドとなる現実空間に存在する一人以上のプレーヤ毎に装備されるヘッドマウントディスプレイと、
    前記ゲームフィールド内のオブジェクトの位置情報と、前記ヘッドマウントディスプレイを装備した個々のプレーヤの位置情報及び視線方向情報とを取得する測位手段と、
    前記個々のプレーヤ毎のヘッドマウントディスプレイへの映像を提供する映像提供手段とを備えたバーチャルゲーム装置であって、
    前記映像提供手段が、前記ゲームフィールド映像と、予め作成されたＣＧ映像よりなる仮想物体映像とを重畳された動画映像を提供するものであり、
    前記ゲームフィールド映像が、ハーフミラー越しの前記現実空間映像であり、
    前記映像提供手段が、前記測位手段によって計測されたプレーヤ毎の存在位置及びプレーヤ毎の視線方向に応じた仮想物体映像を前記ゲームフィールド映像に重畳して、プレーヤ毎の前記ヘッドマウントディスプレイへ提供するものであり、
    重畳された前記仮想物体がゲームの途中で変更可能なデータを１つ以上備えた仮想物体記録手段を更に備えたことを特徴とするバーチャルゲーム装置。
12. 前記測位手段が、深度センサであることを特徴とする請求項１１に記載のバーチャルゲーム装置。
13. 前記仮想物体が、前記プレーヤが装備するコントローラを基にしてこれを装飾して重畳されたものであることを特徴とする請求項１１に記載のバーチャルゲーム装置。
14. 前記コントローラが、前記測位手段で位置情報を取得可能な位置追跡センサを配した銃型コントローラ又は剣型コントローラであることを特徴とする請求項１３に記載のバーチャルゲーム装置。

Images