JP2010257461A - ネットワークゲーム用の共有ゲーム空間を創出する方法およびシステム - Google Patents

Abstract

【課題】１つまたは複数の現実の世界空間に基づいて共有仮想空間を創出する技術を提供する。
【解決手段】１つの現実の世界領域には、ユーザならびにユーザの環境を捉えたビデオデータを生成するために１つまたは複数のビデオカメラが設けられている。それぞれの現実の世界空間を参照して共有仮想空間が創出される（３４０）。特定の用途に応じて、共有仮想空間に様々な仮想オブジェクトおよび表示オブジェクトが組み込まれている。ゲーム空間で複数のプレイヤによってプレイされ得るビデオゲームでは様々なルールおよび採点機構と共に、そのような共有仮想空間が使用されてもよく、その空間では、プレイヤの動きは、ネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。
【選択図】図３Ｄ

Description

本発明は一般に、コンピュータビデオゲームの分野に関し、より詳細には、ネットワークによって共有される三次元（３Ｄ）ゲーム空間を創出しかつその空間と対話するための技術に関する。３Ｄゲーム空間は、プレイヤの形態および場合によりプレイヤの現実の世界環境に関する情報から創出および維持される。この空間では、現実の世界におけるプレイヤの動きは、ネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。プレイヤは、３Ｄゲーム空間の仮想のエンティティおよびオブジェクトと一緒に対話することができる。

任天堂のＷｉｉリモコン（登録商標）無線コントローラは、コンピュータディスプレイゲームシステム用のユーザ対話型コントローラの最先端技術における進歩の一例である。当該コントローラは、ユーザが手に持つことができる移動可能な無線リモートコントローラである。このコントローラは動きを検知する内蔵式の加速度計を使用しており、赤外線検出と組み合わせると、センサバーが到達する範囲内でＬＥＤをポイントした際に３Ｄ空間における位置情報が得られる。この設計によって、ユーザは身体のジェスチャ、ポインティングおよび従来のボタンの押下によってゲームを制御することができる。当該コントローラは、ブルートゥースによってコンソールに接続し、コントローラを振動させることができる「振動パック（rumble pack）」ならびに内蔵スピーカを特徴とする。ユーザがディスプレイに反応してコントローラを移動させると、コントローラは、従来の短距離無線ＲＦ通信を介してセンサデータをコンソールに送信してユーザと、表示されているゲームとの対話をシミュレートする。

任天堂Ｗｉｉビデオゲームシステムの人気によって、プレイヤをプレイ中のゲームに深く引き込むために、より高度なビデオゲームシステムが求められている。本明細書に提示されている開示内容は、ネットワークによって共有される三次元（３Ｄ）仮想ゲーム空間を創出しかつその空間と対話する方法およびシステムに関するものである。３Ｄ仮想ゲーム空間は、カメラおよび慣性センサの機能および構成を含む情報および／またはプレイヤおよびプレイヤの現実の世界環境に関するカメラおよび慣性センサから得られる情報から創出、組み合わせ、あるいは統合される。現実の世界におけるプレイヤの動きは、カメラおよび／または慣性センサによって検知され、これらの動きは、ネットワーク上の他のプレイヤの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。そのような動きは通常見ることができ、それにより３Ｄ仮想プレイエリア内の仮想のエンティティおよびオブジェクトとの共同および独りでの対話が可能となる。

当該箇所は、本発明のいくつかの態様を要約し、いくつかの好ましい実施形態を簡単に説明するためのものである。当該箇所ならびに要約書での簡略化または省略は、当該箇所および要約書の目的を曖昧にすることを回避するためになされている。そのような簡略化または省略は、本発明の範囲を限定することを意図するものではない。

本発明は一般に、離れているプレイヤの１つまたは複数の現実の世界空間に基づいてゲーム空間を創出することに関し、ここでは、現実の世界空間が異なる方法で組み合わせられてゲーム空間が創出され、このゲーム空間では、現実の世界におけるプレイヤの動きは、ネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。

本発明の一態様によれば、１人または複数のプレイヤが存在し得る１つのプレイエリアには少なくとも１つのビデオカメラがある。ビデオカメラの機能および構成（例えば、その光学特性および照明感度）は、許容可能な持続期間にわたって所定のレベルの許容可能な信頼性およびいくらかの許容可能な忠実度でプレイヤの動きを追跡することができる有効なプレイエリアを画定する。有効なプレイエリアは、プレイヤおよびプレイヤの動きの追跡および特定を支援するためのＩＮＳセンサを用いて場合により強化および／または拡張することができる。現実の世界空間における有効なプレイエリアから得られるデータに適用されるマッピングは、有効なプレイエリアの仮想化された３Ｄ表示を創出する。３Ｄ表示は、ゲーム空間に組み込まれる。ネットワーク上でビデオゲームをプレイしているプレイヤの数が増えるにつれ、それぞれの現実の世界空間の３Ｄ表示も増える。従って、共有ゲーム空間は、様々な方法で組み合わされ得る現実の世界空間のそれぞれの３Ｄ表示に基づいて創出される。カメラは、プレイヤならびにプレイヤの環境を捉えたビデオデータを生成する。このデータは、現実の世界空間におけるプレイヤおよび／または他のオブジェクトの仮想化された３Ｄ表示オブジェクトを生成するために使用されてもよい。特定のビデオゲームに応じて、ゲーム空間には様々な仮想オブジェクトおよび表示オブジェクトが組み込まれている。様々なルールおよび採点機構と共に、そのようなビデオゲームは、各プレイヤの動きがネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈されるゲーム空間では、複数のプレイヤによってプレイすることができる。

本発明の別の態様によれば、現実の世界空間の３Ｄ表示は、異なる方法で組み合わされ得、現実の世界空間を画定するマッピングも変更され得るため、３Ｄ表示は、ゲームのための新しい興味深い場面を創出するために、ビデオゲームの間に修正またはモーフィングすることができる。典型的なグループビデオゲームでは、複数のゲームコンソールがあり、それぞれがビデオデータおよびセンサデータを提供する。ホスト装置（ゲームコンソールのうちの１つまたは専用の計算装置のうちのいずれか）は、データを受け取りかつビデオゲーム用のゲーム空間を創出するように構成されており、ここでは、表示およびプレイヤによる対話のために、ゲーム空間が参加中のゲームコンソールに送り戻される。あるいは、ゲーム空間は、いくつかの分散形態で、例えば、ピアツーピアネットワークによって複数の計算装置上に格納され得る。

そのため、ゲーム空間は、仮想オブジェクトと、現実の世界空間における１人または複数のプレイヤおよび／またはレイアウトおよび家具を表す表示オブジェクトとを含み得、オブジェクト間の対話を可能にする。表示オブジェクトのいくつかは、現実の世界空間におけるプレイヤの動きに従って移動する。例えば、プレイヤは、ゲーム空間ではアバターによって表わされ得、ゲーム空間でのアバターの動きは、プレイヤ自身の現実の世界空間におけるプレイヤの動きの解釈である。その解釈は、欠落しているデータを補うか、ゲームに適合しない動きを修正するか、動きをスムーズにするか、動きをより見た目に美しいものとするか、あるいは、いくつかの動きをより印象的なものとするように設計された様々な変換、強調、追加および拡張を含み得る。

また、単一のプレイエリアは、非視覚的な方法でレンダリングされ得る。例えば、ゲーム空間に仮想の音源がある場合、プレイヤが耳にする音は、プレイヤに対応するアバターが音源に近付くにつれて大きくなり、遠ざかるにつれて小さくならなければならない。プレイヤが耳にする音は、（例えば、ディスプレイスクリーンに一体化されているか取り付けられている）スピーカから、あるいは、プレイヤが使用しているコントローラから届くものである。その音は、コントローラの位置および向きによっても調節することができる。例えば、コントローラは、ゲーム空間の仮想のマイクロホンの位置および方向を決める役割を担うことができる。

また、本発明は、現実の世界環境において音の位置を特定するために使用することもできる。本発明は、ゲームに、プレイヤの少なくともおおよその場所に関する情報を与え得る。例えば、２人のプレイヤが１つのカメラの前にいる場合、カメラからのデータとゲームコントローラからのデータとを相関させることによって、プレイヤの場所をおおよそ決定することができる。次に、マイクロホン配列を使用して環境からの音を捉えることができ、場所情報を使用して、２人のプレイヤの別々の話し声および音を、互いにそして他の背景ノイズから分離させることができる。この機能は、音声認識のためのものとするか、遠く離れているプレイヤに、２人のプレイヤがいる場所においてプレイヤのうちの一方のみの声を聞くように選択させることができる。

コントローラは多くの場合、コントローラを振動させる「振動パック」を含む。その振動は、プレイヤによって使用されているコントローラの位置および向きによって調節することができる。また、その振動は、プレイヤを表わすオブジェクトの位置および向きによって修正することもできる。例えば、剣戦闘ゲームでは、２つの仮想の刃が交差した場合のみコントローラを振動させることができ、その際、振動の程度は仮想の刃に伝わったように計算された仮想の力の関数である。

実装に応じて、本発明は、方法、装置またはシステムの一部として実装され得る。一実施形態によれば、本発明は、ネットワークビデオゲーム用の共有ゲーム空間を創出する方法であり、この方法は、必ずしも同一の場所に位置していない１つまたは複数の現実の世界空間に関する１つまたは複数のデータストリームを受け取るステップであって、データストリームはそれぞれ少なくとも１人のプレイヤがネットワークビデオゲームをプレイする現実の世界空間のうちの１つに関するビデオデータを含み、このビデオデータはプレイヤの様々な動きを得るために使用されるステップと、現実の世界空間の三次元表示を参照して共有ゲーム空間を創出するステップであって、ビデオゲームにおける少なくともいくつかのオブジェクトの動きがそれぞれ現実の世界空間におけるプレイヤのそれぞれの動きに反応するステップとを含む。

別の実施形態によれば、本発明は、ネットワークビデオゲーム用の共有ゲーム空間を創出するシステムであり、このシステムは、必ずしも同一の場所に配置されておらず、それぞれのデータストリームを提供する複数のプレイエリアであって、プレイエリアにはそれぞれ、少なくとも１つのカメラおよびコンソールが備えられており、カメラは、共有ゲームをプレイするためのコントローラを握持する少なくとも１人のプレイヤがいるプレイエリアを監視するように設置されており、コンソールは、プレイヤの様々な動きを捉えたビデオデータおよびセンサデータの両方を含むデータストリームのうちの１つを提供するプレイエリアと、プレイエリアからデータストリームを受け取り、プレイエリアの現実の世界空間の三次元表示を参照して共有ゲーム空間を創出するように構成されたホスティングマシンであって、ビデオゲームにおける少なくともいくつかのオブジェクトの動きがそれぞれ現実の世界空間におけるプレイヤのそれぞれの動きにそれぞれ反応するホスティングマシンとを含む。

さらに別の実施形態によれば、本発明は、互いに離れている少なくとも２人のプレイヤによってプレイされているネットワークビデオゲーム用の共有ゲーム空間において２つ以上のオブジェクトの動きを制御する方法であって、この方法は、第１の場所にいる少なくとも第１のプレイヤの動きを捉える第１の場所に関連付けられた少なくとも第１のカメラから少なくとも第１のビデオストリームを受け取り、かつ第２の場所にいる少なくとも第２のプレイヤの動きを捉える第２の場所に関連付けられた少なくとも第２のカメラから第２のビデオストリームを受け取るステップと、第１および第２のビデオデータストリームからそれぞれ第１および第２のプレイヤの動きを得るステップと、共有ゲーム空間における少なくとも第１のオブジェクトを第１のプレイヤの得られた動きに反応させ、共有ゲーム空間における少なくとも第２のオブジェクトを第２のプレイヤの得られた動きに反応させるステップであって、第１および第２の場所は必ずしも同一の場所に位置していないステップと、第１および第２の場所それぞれの少なくとも１つのディスプレイ上に共有空間の描写を表示するステップとを含む。

さらに別の実施形態によれば、本発明は、ビデオゲームにおいてオブジェクトの動きを制御する方法であり、この方法は、ビデオゲームのプレイヤの様々な動きを捉えるビデオカメラから少なくとも１つのビデオストリームを受け取るステップと、ビデオデータからプレイヤの動きを得るステップと、オブジェクトをプレイヤの動きに反応させるステップとを含む。当該方法は、プレイヤの動きをビデオゲームにおける所定のルールに従ってオブジェクトの動作にマッピングすることをさらに含む。

上記と共に、他の目的、特徴、利益および利点が、以下に記載される本発明の実施において達成され、添付の図面に図示されている実施形態に至る。

本発明のこれらおよび他の特徴、態様、および利点は、以下の記載、特許請求の範囲および添付の図面を参照してさらに理解されるであろう。

本発明の一実施形態の典型的な構成を示す。 ２人のプレイヤが１つの場所で一緒にビデオゲームをプレイしている様子を示す。 場合により、拡張された現実をサポートするディスプレイを有するバーチャルリアリティ（ＶＲ）ゴーグル／眼鏡を着用しているプレイヤを示す。 単一のプレイヤがいる現実の世界空間に似せて構成された典型的なゲーム空間を示す。 １人または複数のプレイヤを含みかつそのプレイヤを囲む現実の世界空間に類似するゲーム空間を生成するフローチャートすなわちプロセス２１０である。 本発明の一実施形態に係る構成を示す。 少なくとも２つのゲームコンソールから送信される複数のデータストリームからのデータに基づいてゲーム空間を創出するために使用され得るシステム構成を示す。 物理的に遠く離れているか、同じ建物内の別々の部屋にいる２人の参加プレイヤの２つの現実の世界空間が組み込まれた典型的なゲーム空間を示す。 参加プレイヤをそれぞれ囲む１つまたは複数の現実の世界空間を組み合わせてゲーム空間を生成するフローチャートすなわちプロセスである。 ２つの別々のプレイエリアの２つの現実の世界空間に基づいてゲーム空間を創出する説明図である。 表示オブジェクトが対応するプレイヤの動きに従って移動するネットワークゲームにおいて表示オブジェクトを制御するフローチャートすなわちプロセスである。 ゲーム空間の人工的に追加された要素が２人のプレイヤまたはプレイヤの対応する表示画面のうちの一方をプレイヤの現実の世界空間の後方に移動させる事例を示す。 ２つの現実の世界空間に類似するか、あるいは、向かい合わせに組み合わせられたプレイヤの対応する表示画面によって表わされたゲーム空間を示す。 本発明の一実施形態に係るシステム構成５００を示す。

発明を実施するための形態は、主として、ネットワークに接続されたデータ処理装置の動作に直接または間接的に類似する手順、ステップ、論理ブロック、処理、および他の記号表示の観点から示されている。これらのプロセスの記載および表示は通常、彼らの仕事内容を他の当業者に最も有効に伝えるために当業者によって使用されている。本明細書における「一実施形態(one embodiment)」または「一実施形態(an embodiment)」という言及は、実施形態に関連させて記載される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書中の様々な場所で「一実施形態では」という言葉が出現するが、これらは必ずしも全てが同じ実施形態を指すものではなく他の実施形態と相互排他的な関連のない実施形態または他の実施形態を指すものでもない。さらに、本発明の１つまたは複数の実施形態を示すプロセスフローチャートまたは図におけるブロックの順番は、本質的に任意の特定の順番を示すものではなく、本発明におけるいかなる限定を示唆するものでもない。

ここで図面を参照するが、図面では、複数の図にわたって同様の符号は同様の部分を指している。図１Ａは、本発明の一実施形態の典型的な構成１００を示す。構成１００は、居間に似ており、ここではプレイヤ１０５がゲームコンソール１０２およびディスプレイ１０３を介してビデオゲームをプレイしている。カメラ１０１は、プレイヤ１０５を監視している。カメラ１０１は、能動的または受動的な赤外線カメラ、あるいは可視光にのみ反応するカメラであってもよい（あるいは、カメラ１０１は異なるモードで動作可能であってもよい）。また、カメラ１０１は、当該場面を照らすのを支援する通常光または赤外線光を含んでいてもよく、あるいは、カメラ１０１によって監視されている場面を照らすために別個の光が設けられていてもよい。カメラ１０１は、立体情報を決定するための飛行時間情報を測定する機能を含んでいてもよい。カメラ１０１は、立体映像技術を適用することができるように１つまたは複数のカメラで構成されていてもよい。カメラ１０１は、所定の範囲内でプレイヤを追跡してプレイヤの動きを捉えることができるように（場合により、オートフオーカス機能を有する）モーターを備えていてもよい。

実装に応じて、ゲームコンソール１０２は、専用のコンピュータ装置（例えば、Ｗｉｉシステムなどのビデオゲームシステム）であってもよく、または、ビデオゲームシステムとして動作するように構成された通常のコンピュータであってもよい。ゲームコンソール１０２は、ＰＣの他の場所で実行されている仮想マシンであってもよい。一実施形態では、コントローラとして使用される動作検知装置１０４には、ゲームを実行するのに必要な機能が組み込まれていてもよい。当該プレイヤは、片手に１つずつ、２つの別々の動作検知コントローラを有していてもよい。別の実施形態では、携帯電話／ＰＤＡが、動作検知装置として機能するように構成されていてもよい。さらに別の実施形態では、動作検知装置は、プレイヤが着用している衣服の中に組み込まれていてもよく、それは帽子の中であってもよく、あるいは、身体にストラップで固定されていてもよく、様々な手段で身体に取り付けられていてもよい。あるいは、複数の動作検知装置が身体の異なる部分に取り付けられていてもよい。

特に記載がない限り、本明細書では、本開示内容において使用されるゲームコンソールは、ビデオゲーム専用の親機、ゲームソフトモジュールを実行する一般的なコンピュータ、またはビデオゲームの親機として機能するように構成された携帯機器のうちのいずれか１つを意味し得る。実際には、ゲームコンソール１０２は、ディスプレイ１０３の近くに存在している必要はなく、有線または無線ネットワークを介してディスプレイ１０３と通信してもよい。例えば、ゲームコンソール１０２は、無線ＨＤＭＩなどのプロトコルを使用して無線でディスプレイ１０３と通信する計算装置上で実行される仮想のコンソールであってもよい。一実施形態によれば、ゲームコンソールは、各種データ（例えば、画像およびセンサデータ）を受け取り、サーバにデータを送るネットワーク接続可能なボックスである。他方、当該ゲームコンソールは、データを統合し、複数の他の参加中のゲームコンソールによってプレイされているネットワークゲーム用のゲーム空間を創出／更新するように構成されたサーバから、常時更新されたディスプレイデータを受け取る。

本発明は、ビデオゲームについて記載されていることに留意されたい。当業者であれば、本発明の実施形態は、実際には遠く離れている１人または複数の人々の間でネットワークによって物理的近さおよび物理的対話についての共感を生じさせる他のゲーム以外の用途にも適用可能であり得ることが分かるであろう。例えば、様々な活動のためのソーシャルネットワーキング用ウェブサイトに登録されている幾人かのユーザ間での会合が創出される。その場にいない人物が本発明の一実施形態によって創出された仮想の３Ｄ空間に存在しているかのような感情を与えることによって、ビデオ会議が促進されたり、友人および家族間での電話が促進される可能性がある。同様に、３Ｄの仮想世界の構築および工学的設計などの仮想のプロジェクトに関する様々なコラボレーションを本発明の一実施形態によって創出された仮想の３Ｄ空間に実現させることができる。いくつかの用途では、動作検知コントローラが不要な場合もあり、カメラによる動作追跡のみで十分である可能性もある。

図１Ｂは、２人のプレイヤ１２２および１２４がビデオゲームを一緒にプレイしている様子を示す。カメラ１２６は、プレイヤ１２２および１２４の両方を監視している。一実施形態によれば、プレイヤ１２２および１２４はそれぞれ、片手に１つずつ、２つのコントローラを握持している。互いに区別し易いように、コントローラにはそれぞれ１つまたは複数の（赤外線）ＬＥＤが上に設けられている。また、カメラ１２６は、赤外線（または、他の非可視光）カメラであってもよい。別の実施形態では、より多くのカメラが使用される。カメラの例としては、赤外線（または、他の非可視光）カメラおよび可視光カメラが挙げられる。あるいは、異なるモード、すなわち、可視光モードおよび／または赤外線モード（または、他の非可視光）で動作可能な単一のカメラも使用され得る。さらに別の実施形態では、問題となる光の変化を改善するために当該場面を照らすのを支援する光１２８が存在する。光１２８は赤外線（または、他の非可視光）であってもよい。光１２８は、同じ場面において異なる照明を創出するためのストロボであってもよい。コントローラの動きは、ビデオゲームにおいて対応するオブジェクトの動きを制御するように使用され、かつ／または、プレイヤの動きは、プレイヤにそれぞれ対応するオブジェクトの動きを制御するために使用される。

図１Ｃは、プレイヤ１０５が（例えば、ｗｗｗ．ｖｕｚｉｘ．ｃｏｍウェブサイトから入手可能な）ディスプレイ／拡張された現実を有するバーチャルリアリティ（ＶＲ）ゴーグル／眼鏡を着用している一実施形態を示す。プレイヤ１０５は、ディスプレイ１０３を見る代わりに、ゴーグル／眼鏡の中に表示されるビデオゲームと対話し得る。また、プレイヤ１０５は、外部ディスプレイを見るために３Ｄ眼鏡を使用してもよい。あるいは、ディスプレイ１０５は、裸眼立体(autostereoscopic)ディスプレイまたは３Ｄホログラフィックディスプレイであってもよい。一実施形態によれば、ゲームコンソール、ディスプレイおよびコントローラは全て、同じ装置またはシステムの一部である。

図１Ａを再度参照すると、動作検知装置１０４、すなわち簡単に言えばコントローラは、一方が三軸加速度計であり、他方が三軸ジャイロスコープである少なくとも２つの慣性センサを含んでいてもよい。加速度計は、移動しているオブジェクト上の一点における１つまたは複数の軸に沿った加速度を測定する装置である。ジャイロスコープは、回転しているオブジェクト上の一点における１つまたは複数の軸の周りの角速度を測定する装置である。加速度計およびジャイロスコープに加えて、コントローラ１０４内に使用され得る他の慣性センサも存在する。そのような慣性センサの例としては、コンパスおよび磁力計が挙げられる。一般に、慣性センサからの信号（すなわち、センサデータ）は、電子的に捉えられ、親機（例えば、ゲームコンソール１０２）に送信されて、コントローラ１０４の一種の相対運動が得られる。

実装に応じて、慣性センサからのセンサ信号は、動作検知装置１０４の６つの相対的な並進および角運動の全てを得るのに十分な場合もあれば、十分でない場合もある。一実施形態では、動作検知装置１０４は、６つの相対的な並進および角運動の全てを得るのに必要な数の慣性センサよりも少ない慣性センサを含み、この場合、動作検知装置１０４は、６つの並進および角運動のうちの一部のみを検出および追跡し、全てを検出および追跡しないこともある（例えば、この中には３つの慣性センサのみが存在する）。別の実施形態では、動作検知装置１０４は、６つの相対的な並進および角運動の全てを得るのに必要とされる慣性センサの要求数と少なくとも同じか、またはそれよりも多い慣性センサを含み、この場合、動作検知装置１０４は、６つの並進および角運動の全てを検出および追跡し得る（例えば、この中には少なくとも６つの慣性センサが存在する）。

いずれの場合も、プレイヤ１０５およびプレイヤの周囲環境を撮像するためにカメラ１０１が設けられている。画像データは、有効なプレイエリアを実験的に得るために使用されてもよい。例えば、プレイヤが有効なプレイエリア外にいる場合には、最大限の有効なプレイエリアを決定することができる。有効なプレイエリアを使用して、プレイヤがビデオゲームをプレイする現実の世界空間の３Ｄ表示を決定することができる。

有効なプレイエリア、例えば、視野を決定する際には、カメラについて以前から知られている他の要因を使用してもよい。あるいは、有効なプレイエリアを画定するために実験的データに基づいて別々に位相較正を行なってもよい。

当業者であれば、画像データから３Ｄ空間の３Ｄ表示を得るための様々な方法が存在することを知っており、そのうちの１つを使用して、そのような３Ｄ表示を得てもよい。さらに、画像データは、慣性センサからのセンサデータと共に、コントローラの絶対運動を容易に決定するために使用してもよい。一実施形態によれば、プレイヤに、複数の特別な色のタグ、またはドットあるいは光を身に付けさせるか取り付けて、画像データからプレイヤの動きを容易に決定してもよい。

図２Ａは、プレイヤがいる現実の世界空間に似せて構成された典型的なゲーム空間２００を示す。図１Ａの現実の世界に類似するゲーム空間２００は、複数のオブジェクト２０３〜２０７を含み、それらのうちのいくつか（例えば、２０３および２０５を参照）は、現実の世界空間に実在するオブジェクトに対応するが、それ以外（例えば、２０４および２０７を参照）は、ゲーム目的のためにゲーム空間２００に人工的に配置されている。また、ゲーム空間２００は、コントローラを握持しているプレイヤに対応し得る、物２０１を握持するオブジェクト２０２を含む。３Ｄ仮想世界とも呼ばれるゲーム空間２００での動きは、プレイヤがいる現実の世界での動きに類似しているが、ビデオゲーム用のゲーム空間を構成する様々なオブジェクトを含む。

図２Ｂは、１人または複数のプレイヤを含み、それらのプレイヤを囲む現実の世界空間に類似するゲーム空間を生成するフローチャートすなわちプロセス２１０を示す。プロセス２１０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、プロセス２１０は、２１２においてプレイヤがビデオゲームの開始を決定すると開始される。図１Ａに示す設定によれば、２１４では、カメラは、プレイヤを囲む環境を撮像するように動作する。カメラは、２１６においてプレイヤの現実の世界の３Ｄ画像または表示を再構築するために使用することができるデータを生成する３Ｄカメラまたはステレオカメラシステムであってもよい。当業者であれば、３Ｄの現実の世界または３Ｄの現実の世界空間におけるプレイヤの動きの３Ｄ表示を生成するための異なる方法があることを知っているが、その詳細については、本発明の態様を曖昧にすることを回避するためにここでは省略する。

２１８では、現実の世界の３Ｄ表示によって、仮想オブジェクトと表示オブジェクトとを含むようにゲーム空間が創出される。仮想オブジェクトとは、現実の世界にあるいずれの物にも対応しないオブジェクトであり、仮想オブジェクトの例としては、採点のために取得され得るアイコンあるいは他のオブジェクトまたは形状と対戦するために取得され得る様々な武器が挙げられる。表示オブジェクトとは、現実の世界にあるいずれかの物に対応するオブジェクトであり、表示オブジェクトの例としては、プレイヤ（複数可）（例えば、アバター（複数可））またはプレイヤの現実の世界にある主要な物（例えば、テーブル）に対応するオブジェクトが挙げられる。表示オブジェクトは、事前に定義されていてもよい。例えば、ゲームには、プレイヤのアバターとなるように指定されているゲームキャラクターが標準装備されている。アバターは、プレイヤの現実の世界の動きに反応して動くが、それ以外には、他の対応は全く存在しない。あるいは、事前に定義されているアバターは、ビデオデータによって修正され得る。例えば、プレイヤの顔をテクスチャとしてアバターに適用してもよく、あるいは、アバターは、プレイヤ自身の体の寸法に応じて縮尺されたものであってもよい。２２０では、特定のゲームに応じて、様々なルールまたは採点機構が、目標を設定するためのゲーム空間、異なるオブジェクト間で生じ得る様々な対話、およびスコアをカウントするため、あるいは結果を示すための方法を用いてビデオゲームに組み込まれる。２２２では、プレイヤの現実の世界に何とか類似するように創出されたゲーム空間を用いるビデオゲームは、プレイの準備を整えている。プロセス２１０は、ビデオゲームを実行するゲームコンソールまたは任意の他の計算装置、例えば携帯電話、ＰＣまたはリモートサーバで実行され得ることに留意されたい。

本発明の特徴、目的および利点のうちの１つは、例えば、１つまたは複数のアクション、動き、場所および向きの点で、ゲームオブジェクトとプレイヤ自身の現実の世界空間における対応するプレイヤとの少なくとも近い対応が存在するゲーム空間を創出することが可能なことである。ゲーム空間には、プレイヤの動きに伴って、あるいは他の人々の動きに伴って移動するアバターが追加されている可能性がある。図３Ａは、本発明の一実施形態に係る構成３００を示す。カメラ３０１は、１人のプレイヤを囲むプレイエリアに配置されており、プレイエリアは、居間または寝室あるいは任意の好適なエリア内であってもよい。一構成では、プレイヤは、プレイヤの家に複数のカメラ、例えば、居間に１つのカメラ、寝室にもう１つのカメラを有していてもよい。プレイヤが家中を動き回り、異なるカメラで観察可能なものとして認識されると、ゲーム空間は、現実の世界空間の変化に従って更新され、プレイヤの現在の場所をある程度反映することができる。

カメラ３０１は視野３０２を有する。カメラのパラメータ、カメラの配置、カメラ較正、および照明条件を含む要因に応じて、許容可能な持続期間にわたって所定のレベルの信頼性および忠実度によりプレイヤの動きを追跡することができる有効なプレイエリア３０３がある。有効なプレイエリア３０３は、プレイヤおよびプレイヤの動きを追跡および特定するのを支援するＩＮＳセンサを用いて、場合により強化および／または拡張３０４することができる。有効なプレイエリア３０３は、プレイヤが移動できる空間を本質的に画定し、その動きは、ビデオゲームと対話するために撮像および取得される。有効なプレイエリア３０３は通常、単一のプレイヤを含むが、ゲームおよび追跡能力に応じて、１人または複数のプレイヤを含み得ることに留意されたい。

有効なプレイエリア３０３は経時的に変化し得る。例えば、照明条件が変化する場合や、カメラが移動されて再較正される場合である。有効なプレイエリア３０３は、カメラの単純な光学的特性（例えば、視野または焦点）などの多くの要因から決定され得る。また、可能性のある有効なプレイエリアを事前に決定するために実験が必要な場合もある。あるいは、有効なプレイエリアは、ゲーム中に暗黙的に決定され得るか、位相較正中に明示的に決定され得、位相較正では、有効なプレイエリアを緻密にマップするためにプレイヤは様々な点で様々な作業を行なうように求められる。

マッピング３０５は、有効なプレイエリア３０３を有効なプレイエリア３０３の仮想化された３Ｄ表示３０７へのいくつかの変換、ワーピングまたはモーフィングを指定する。３Ｄ表示３０７は、いくらか理想的な規則的形状にスナップまたはクリッピングされ得るか、あるいは、存在すれば、元の現実の世界のプレイエリアの不規則形状の一部を維持してもよい。また、２つ以上の３Ｄ表示が存在することもある。例えば、異なるプレイヤ、異なる追跡精度を有する異なるプレイエリア部分、あるいは、異なるゲームまたはゲームの異なる部分に対して異なる表示があってもよい。また、単一のプレイヤの２つ以上の表示があってもよい。例えば、プレイヤは、ゲームの一部ではヒーローの役を演じ、ゲームの異なる部分ではヒーローの敵の役を演じることがあり、あるいは、プレイヤは、ゲームがプレイされている間、キャラクター群の中の異なるメンバー間を自由に行き来しながら、それらを制御するように選択する場合もある。

３Ｄ表示は、共有ゲーム空間３０６に組み込まれている。他の現実の世界空間の別の３Ｄ表示３０８もゲーム空間３０６に組み込まれている。これらの他の３Ｄ表示（３Ｄ表示３０８のみが示されている）は通常、遠く離れている、すなわち、物理的に互いに遠く離れているか、同じ建物内で物理的に離れている現実の世界空間のものである。

当業者であれば、３Ｄ表示および／または組み込みは、画像および／またはセンサデータストリームに適用されるいくつかの機能では暗黙的に行われ得ることに気付くであろう。その機能は、ゲーム空間との関連で、データストリームを有効に再解釈する。例えば、プレイヤに対応するアバターは、ａ×ｂ×ｃの寸法を有する部屋の中にいて、次に、これが単位寸法を有するプレイヤの周りの四角い枠に対応するように作製可能であることが想定される。従って、プレイヤがｘ次元内の有効なプレイエリアを半分だけ横切るように移動すると、アバターはゲーム空間を１／２単位だけ移動する。

図３Ｂは、少なくとも２つのゲームコンソールから送信される複数のデータからのデータに基づいてゲーム空間を創出するために使用され得るシステム構成３１０を示す。図３Ｂには、３つの典型的なゲームコンソール３１２、３１４および３１６がある。ゲームコンソール３１２、３１４および３１６はそれぞれ、少なくとも１つのカメラおよび場合により動作検知コントローラに接続されており、それにより画像データおよびセンサデータが提供される。一実施形態によれば、ゲームコンソール３１２、３１４および３１６はそれぞれ、データネットワークに接続されている。一実施形態では、ゲームコンソール３１２、３１４および３１６にはそれぞれ、インターネットへの無線接続を可能にするＷｉＦｉインタフェースが備えられている。別の実施形態では、ゲームコンソール３１２、３１４および３１６にはそれぞれ、インターネットへの有線接続を可能にするイーサネット（登録商標）インタフェースが備えられている。動作中、ゲームコンソール３１２、３１４および３１６のうちの１つは、本発明の一実施形態を実装するソフトウェアモジュールを実行するホスティングマシンとして構成されている。

プレイエリアの３Ｄ表示を創出するために必要とされる有効なプレイエリアからのマッピングは、１つまたは複数の参加中のコンソールまたは専用の計算装置に適用され得る。一実施形態では、関連のあるパラメータ（例えば、カメラのパラメータ、カメラ較正、照明）は、マッピングが行なわれるホスティングマシンに通信される。ホスティングマシンは、各３Ｄ表示をゲーム空間に組み込む方法を決定するように構成されている。

ホスティングマシンは、全ての参加中のゲームコンソールから（画像および／またはセンサ）データストリームを受け取り、受け取ったデータに基づいてゲーム空間を更新する。マッピングが行なわれる場所に応じて、データストリームは、コンソール上ですでに変換されているか、あるいは、ホスティングマシン上で変換されなければならない。本発明に関しては、ゲーム空間は、現実の世界空間の少なくとも仮想化された３Ｄ表示を含み、そこでは、現実の世界におけるプレイヤの動きが、プレイヤのゲームコンソールが参加しているネットワークゲーム上で、プレイヤの動きに類似するゲーム世界のオブジェクトの動きとして解釈される。どのゲームがプレイされているかに応じて、あるいは、同じゲーム中の異なる時点のためにでさえ、現実の世界空間の３Ｄ表示は、異なるルールを有する異なる方法、例えば、現実の世界空間の利用可能な３Ｄ表示をスティッチング、マージまたはワーピングして組み合わせられる。また、創出されたゲーム空間にはゲームのテーマに従って予め定められ得る様々なルールおよび採点機構が組み込まれている。ホストゲームコンソールは、プレイヤがビデオゲームをプレイするために参加中のゲームコンソールのそれぞれに、創出されたゲーム空間を送る。当業者であれば、本発明における利点、利益および利点のうちの１つは、プレイヤの現実の世界空間における全てのプレイヤの動きが、物理的近さおよび物理的対話についての共感を生じさせるようにゲーム空間に自然に解釈されることであることが分かるであろう。

図３Ｃは、物理的に遠く離れているか、あるいは同じ建物内の同じ建物内の別々の部屋に存在し得る２人の参加プレイヤの２つの現実の世界空間が組み込まれた典型的なゲーム空間３２０を示す。２人の参加プレイヤの２つの現実の世界空間の組み合わせに基づいて創出されたゲーム空間３２０は、様々なオブジェクトを含み、それらのオブジェクトには現実の世界空間に実在するオブジェクトに対応するものもあれば、様々なアクションまたは対話のためにゲーム空間３２０を拡張するように人工的に追加されたものもある。一例では、ゲーム空間３２０は２つの異なる階を含み、１階の設定は、１つの現実の世界空間からのものであってもよく、２階の設定は、別の現実の世界空間からのものであってもよく、２つの階を繋ぐために階段が人工的に創出されている。ゲーム空間３２０は、２つのオブジェクトすなわちアバター３２２および３２４をさらに含み、それぞれがプレイヤのうちの一人に対応している。アバター３２２および３２４はそれぞれ、プレイヤの動きに従って移動する。一実施形態では、アバター３２２および３２４のうちの１つは、ウィジェット（例えば、武器または剣）を握持し得、対応するプレイヤによるコントローラの動きに従ってウィジェットを振り回し得る。ゲーム空間２３０であれば、アバター３２２および３２４をそれぞれ２つの各階に進入または移動させて、互いに、そして２つの階のいずれかにある他のオブジェクトと対話するように操作し得る。

再び図３Ｂを参照すると、別の実施形態によれば、ホスティングマシンとして機能するゲームコンソール３１２、３１４および３１６のうちの１つを有する代わりに、全ての（画像およびセンサ）データストリームを参加中のゲームコンソール３１２、３１４および３１６から受け取るためのホスティングマシンとして、サーバコンピュータ３１８が設けられている。サーバコンピュータ３１８は、ソフトウェアモジュールを実行して受け取ったデータストリームに基づいてゲーム空間を創出および更新する。また、参加中のコンソール３１２、３１４および３１６は、いくつかの他のリモートサーバ上または他の場所に位置するいくつかの計算装置上で実行されていてもよい。本発明に関しては、ゲーム空間における動きは、プレイヤのゲームコンソールが参加している、各プレイヤの現実の世界空間のいくつかまたは全てを組み合わせた現実の世界空間におけるプレイヤの動きに類似している。特定のゲームまたはさらにゲームにおける特定の段階に応じて、現実の世界空間の３Ｄ表示が、ゲームのための異なるルールを有する異なる方法で、例えば、現実の世界空間の２つ以上の３Ｄ表示をスティッチング、マージまたはワーピングすることで組み合わせられる。サーバコンピュータ３１８は、一緒にビデオゲームをプレイするために、参加中のゲームコンソールまたは他の関係者のそれぞれに、創出されたゲーム空間を送る。そのため、これらの参加プレイヤだけが物理的近さおよび物理的対話についての共感を持ってビデオゲームをプレイするだけでなく、他のゲームプレイヤもビデオゲームを鑑賞またはプレイするように勧誘され得る。

図３Ｄは、参加プレイヤをそれぞれ囲む１つまたは複数の現実の世界空間が組み込まれたゲーム空間を生成するフローチャートすなわちプロセス３３０を示す。プロセス３３０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、プロセス３３０は、３３２において１つまたは複数のプレイヤがビデオゲームの開始を決定すると開始される。

上述のように、各プレイヤは、プレイヤおよびプレイヤの周囲空間（現実の世界空間）を撮像するために設置されている少なくとも１つのカメラの前でビデオゲームをプレイする準備を整えている。各プレイヤが動作検知コントローラを握持しているか、少なくとも１組の慣性センサを身に付けているか、あるいはそれらがプレイヤの体に取り付けられていることが想定される。いくつかの実施形態では、動作検知装置すなわちセンサが不要な場合も想定される。２人以上のプレイヤが１つの場所にいる事例もあり得、その場合、プレイヤの識別を容易にするために特別な設定を使用してもよく、例えば、各プレイヤが１つまたは複数の特別に色付けされたタグを身に付けていたり、それらが体に取り付けられていてもよく、あるいは、プレイヤのコントローラが外観的に異なるように標識されていてもよく、コントローラが異なる色で輝く光を含んでいてもよい。

３３４では、ゲームプレイヤの数が決定される。ゲームプレイヤの数は、プレイヤ自身の現実の世界空間に参加しているプレイヤの数とは異なる場合もあることに留意されたい。例えば、３人のゲームプレイヤがいて、２人は、参加している１つの現実の世界空間で一緒に撮像されているが、３人目は一人である場合もある。そのため、ビデオゲーム用のゲーム空間を創出するために２つの現実の世界空間が使用される。従って、３３６では、そのような複数の現実の世界空間が決定される。

３３８では、現実の世界空間を表示するデータストリームが受け取られなければならない。一実施形態では、２つのゲームコンソールが使用され、それぞれが１つの場所にあり、プレイヤ（複数可）を囲む１つの現実の世界空間を撮像するカメラに接続されている。ゲームコンソールのうちの１つは、一方がリモートサイトからのデータストリームであり、他方がそのゲームコンソール自体からのデータストリームである２つのデータストリームを受け取るためのホストゲームコンソールとして設定されていることが想定される。あるいは、各コンソールは、適度に近い対応を維持するために可能な限り頻繁に他のコンソールからの情報によって更新されるゲーム空間の別々のコピーを維持するように構成されている。２つのデータストリームのうちの一方が受け取られない場合には、プロセス３３０は待機するか、あるいは１つのデータストリームのみで進行され得る。１つのデータストリームのみしか届かない場合には、ゲーム空間は１つの現実の世界空間に基づいて仮に構築される。データが欠落している場合、例えば、プレイヤが剣を振り回し、胴体の動きのためのデータが欠落しているか不完全な場合には、ゲームは、好適であるとみなされたいくつかの状況依存的な動作の動きによって補われ、剣の一撃をより迫力あるものにするように動作を強化してもよく、あるいは、その一撃が標的を逃した場合には敵のキャラクターと接触させるように一撃を僅かに修正してもよい。

３４０では、３Ｄ表示のスティッチング、スーパインポーズまたはモーフィングすること、あるいは任意の他の数学的変換を行なうことのうちの１つまたはそれらの任意の組み合わせを含み得る様々な可能な方法で、現実の世界空間のそれぞれの３Ｄ表示を組み込むことによってゲーム空間が創出される。変換（例えば、モーフィング）は、３Ｄ表示が組み込まれる前に適用され得、場合により、その後にゲーム空間をスムーズにかつよりリアルに見せるための画像処理が施される。典型的な変換としては、平行移動、射影、任意の軸周りの回転、拡大縮小、ずらし変換、反転または任意の他の数学的変換が挙げられる。組み合わせられた３Ｄ表示は、３次元のうちの２つの次元に射影されていてもよい。２次元の射影は、組み合わせ前の３Ｄ表示にも適用し得る。ゲーム空間には、様々な他の構造物または場面、仮想または表示オブジェクト、およびオブジェクト間での対話のためのルールも組み込まれている。この時点で、ゲーム空間がゲームコンソールに送り戻されかつビデオゲームを一緒にプレイするように登録されると、ビデオゲームがプレイされる準備が整う。

ビデオゲームがプレイされている間、画像およびセンサデータが、それぞれのゲームコンソールから、３４２においてデータを参照してゲーム空間を更新するホストゲームコンソールに送られ続け、表示されているゲーム空間がタイミングよく更新される。３４４においてそれぞれのゲームコンソールからデータが受け取られている間、３４２ではゲーム空間が常時更新される。図３Ｅは、２つの離れたプレイエリアの２つの現実の世界空間に基づいてゲーム空間を創出するステップを説明するものであり、これは、複数の現実の世界空間を統合するように容易に修正され得る。

図３Ｆは、ネットワークゲームにおいて表示オブジェクトを制御するフローチャートすなわちプロセス３５０を示し、ここでは、少なくともいくつかの表示オブジェクトが、対応するプレイヤの動きに従って移動する。プロセス３５０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、３５２において１つまたは複数のプレイヤがビデオゲームの開始を決定すると、プロセス３５０が開始される。

上述のように、各プレイヤは、プレイヤおよびプレイヤの周囲空間（現実の世界空間）を撮像するために設置されている少なくとも１つのカメラの前でビデオゲームをプレイする準備を整えている。各プレイヤは、動作検知コントローラを握持しているか、少なくとも１組の慣性センサを身に付けているか、あるいはそれらがプレイヤの体に取り付けられていることが想定される。いくつかの実施形態では、動作検知装置すなわちセンサが不要な場合も想定される。２人以上のプレイヤが１つの場所にいる事例もあり得、その場合、プレイヤの識別を容易にするために特別な設定を使用してもよく、例えば、各プレイヤが１つまたは複数の特別に色付けされたタグを身に付けたり、それらが体に取り付けられてもよく、あるいは、プレイヤのコントローラが外観的に異なるように標識されていてもよく、コントローラが異なる色で輝く光を含んでいてもよい。

３５４では、ゲームプレイヤの数が決定され、それにより、制御できるゲーム中の表示オブジェクトの数が決定される。どこでゲームがレンダリングされているかに関わらず、複数のビデオデータストリームがプレイヤから届く。但し、ゲームプレイヤの数は、そのゲームに参加しているビデオデータストリームの数とは異なる場合もあることに留意されたい。例えば、３人のゲームプレイヤがいて、２人は１つのビデオカメラで一緒に撮像されており、１人でいる３人目は、別のビデオカメラで撮像されている。そのため、３人のプレイヤからの２つのビデオデータストリームが存在する。一実施形態では、プレイヤは自身のプレイエリアを撮像するために２つ以上のカメラを使用するため、当該ビデオゲームのためにプレイヤから複数のビデオストリームが得られる。従って、ゲームプレイヤの数ならびにビデオデータストリームの数は３５４で決定される。

３５６では、全ての参加プレイヤの動きを表示する上記数のビデオデータストリームが受け取られなければならない。例えば、互いに遠く離れている２人のプレイヤがいる。２つのゲームコンソールが使用され、それぞれが１つの場所にあり、プレイヤを撮像するカメラに接続されている。ゲームコンソールのうちの１つは、一方がリモートサイトからのデータストリームであり、他方がそのゲームコンソール自体からのデータストリームである２つのデータストリームを受け取るためのホストゲームコンソールとして設定されていることが想定される（あるいは、別個の専用の計算機が存在していてもよい）。あるいは、各コンソールは、適度に近い対応を維持するために可能な限り頻繁に他のコンソールからの情報によって更新されるゲーム空間の別々のコピーを維持するように構成されている。２つのデータストリームのうちの一方が受け取られない場合には、プロセス３５６は待機するか、あるいは１つのデータストリームのみで進行され得る。１つのデータストリームのみしか届かない場合には、対応する表示オブジェクトの動きは、表示オブジェクトをプレイヤにとって最も利益になるように移動させるように構成されたホストゲームコンソールによって一時的に支配される。データが欠落している場合、例えば、プレイヤが剣を振り回し、胴体の動きのためのデータが欠落しているか不完全な場合には、ゲームは、公知のデータと可能な限り一貫しているとみなされたいくつかの状況依存的な動作の動きによって補われる。例えば、人間の身体の生体力学的に近そうなモデルおよびその可能な動かし方は、知られていない要素の可能な動作を制限するために使用され得る。その後に近そうな一組の動作から特定の動作を選択するための多くの公知の技術があり、例えば、エネルギー消費を最小にする動作または雑音のある筋肉アクチュエータよって忠実に実行される可能性が最も高い動作などを選択する技術がある。

３５７では、共有ゲーム空間をマッピングすることが決定される。プレイヤの動きをゲーム空間に何らかの方法で組み込まれなければならず、その組み込みが決定される。例えば、２人のプレイヤ、プレイヤＡおよびプレイヤＢがいると想定される。プレイヤＡはプレイヤＡの居間でプレイしているが、プレイヤＢは遠く離れており、プレイヤＢ自身の居間でプレイしている。プレイヤＡが、（例えば、上部にカメラを有する）ディスプレイに向かって移動すると、ゲームは、その動作を共有ゲーム空間に解釈させる方法を先に決定しなければならない。剣戦闘ゲームでは、ゲームは、現実の世界空間におけるプレイヤＡの前進運動を共有ゲーム空間における右方向運動に、後方運動を左方向運動などにマップすることを決定し得る。同様に、ゲームは、プレイヤＢの前進運動を左方向運動に、後方運動を右方向運動などにマップすることを決定し得る。さらに、ゲームは、プレイヤＡの代わりであるオブジェクト（例えば、プレイヤＡのアバター）を共有ゲーム空間の左側に、プレイヤＢのアバターをその空間の右側に配置することも決定し得る。その結果、プレイヤＡがプレイヤＡのカメラに向かって移動すると、対応するアバターがディスプレイ上で右側に移動し、プレイヤＢにより近づく。プレイヤＢがそれに応じてカメラから離れる方向に移動すると、プレイヤＡからは、プレイヤＢのアバターがディスプレイ上で右側に移動し、プレイヤＡの前進するアバターから遠ざかるように見える。

ゲーム世界における前進運動を共有ゲーム空間における右方向運動または左方向運動にマップすることは多くの可能性のうちの１つにすぎない。ゲームにおける任意の方向の動作が当該共有ゲーム空間において一方向にマップされ得る。また、動作は多種多様な他の方法で修正することができる。例えば、動作は、現実の世界の僅かな移動がゲーム世界における大きな移動に対応するように、あるいはその逆になるように拡大縮小することができる。その拡大縮小は、小さな動作はほぼ忠実にマップされるが、大きな動作は減衰させるように非線形なものとすることもできる。

現実の世界の動作のあらゆる他の態様もマップすることができる。プレイヤは、肘関節の周りでプレイヤの前腕を肩に向かって回転させる場合があり、対応するアバターもその前腕を肩に向かって回転させることができる。あるいは、アバターは魔法の呪文による「反対の動作」作用を受ける場合もあるため、プレイヤがプレイヤの前腕を肩に向かって回転させると、アバターはその前腕を肩から離れる方向に回転させる。

プレイヤの現実の世界の動作は、他のオブジェクトにマップすることもできる。例えば、プレイヤが肩から横方向に腕を回すと、それにより、巨大なカエルがその舌を突き出すように制御される可能性がある。プレイヤの巨視的レベルの重心の並進運動は、カエルの巨視的レベルの重心の並進運動を直接的に制御し得る。

当業者に知られている１つの空間から別の空間への他の標準的な数学的変換を使用することができ、これらの例としては、任意の種類の反射、拡大縮小、平行移動、回転、ずらし変換、射影またはワーピングが挙げられるが、それらに限定されない。

また、現実の世界の動作に適用される変換は、ゲーム内容およびプレイヤによって決定することができる。例えば、ゲームの１つのレベルでは、プレイヤのアバターが、磁気ブーツで天井を歩かなければならない場合もあるため、プレイヤの実際の動作が反転される。しかし、そのレベルが一旦終了すると、その反転マッピングは、プレイヤの現実の世界の動作にはもはや適用されない。また、プレイヤは、自身の動作がマップされる方法に対する好みを表現できる場合もある。例えば、プレイヤは前進運動が右方向運動にマップされることを好み、別のプレイヤは、動作が左方向運動にマップされることを好む場合もある。あるいは、プレイヤは、自身のアバターがゲーム空間の左側にいることを決定し、このようにして、暗黙的に前進運動が右方向運動に対応することを決定する場合がある。２人のプレイヤ用のゲームにいる両プレイヤが同じ好みを有する場合、例えば、どちらのプレイヤも共有ゲーム空間の左側にいることを望む場合には、プレイヤのそれぞれのディスプレイ上では、プレイヤのアバターの位置および動きが所望通りに表示されるように、２つの別々のマッピングによってプレイヤの望みに応じることが可能な場合もある。

あるいは、当該ゲームは、プレイヤの身長、スキルまたは過去の好みの決定に基づいて、これらの決定の一部または全てを自動的に行なってもよい。あるいは、当該ゲームの状況によってマッピングを暗黙的に決定してもよい。例えば、２人以上のプレイヤが、共通の敵のモンスターと戦う同じチームにいる場合には、現実の世界におけるプレイヤの全ての前進運動を、各プレイヤの対応するアバターのモンスターに向かう動作にマップすることができる。モンスターに向かう方向は、アバターごとに異なっていてもよい。この例では、左または右への動きは、ゲームの状況によって必ずしも決定し得ないため、態様はプレイヤの選択によって決まるか、いくつかの基準に基づいてゲームによって割り当てられ得る。但し、全ての動作を一貫させなければならない。例えば、現実の世界空間における左への動きによってプレイヤのアバターがその瞬間にさらに遠くに移動するように見せる場合には、理由もなく、別の瞬間に、現実の世界における同じプレイヤの左方向運動によって、対応するアバターが近くに移動するように見せるといったことが起こってはならない。

当該ゲームは、各プレイヤおよび当該ゲームの異なる部分に対して別々のマッピングを維持することができる。また、このマッピングは、照明条件などの現実の世界の特性の関数であってもよいため、薄暗い所での動作は、不正確な追跡によって引き起こされる任意の激しい変動を緩和するように、高い減衰係数でマップされる。

当業者であれば、現実の世界における動作とゲーム空間における動作とのマッピングのために多種多様な可能な表現があることが分かるであろう。選択される特定の表現は、本発明の中核をなすものではない。いくつかの可能性としては、現実の世界の追跡からの位置および向きの情報と共に積算される行列として変換を表すことが挙げられる。回転は、行列、四元数、オイラー角、または角度および軸として表すことができる。平行移動、反射、拡大縮小およびずらし変換は全て行列として表すことができる。ワーピングおよび他の変換は、陽の方程式または陰の方程式として表すことができる。別の態様では、プレイヤの周りの空間を３Ｄ空間（例えば、四角い枠）として明示的に表すことができ、マッピングは、この３Ｄ空間がゲーム世界に組み込まれると対応する３Ｄ空間に導かれる変換として表現される。現実の世界の３Ｄ空間の形状は、推測的であってもよく、あるいは、カメラの特性、いくつかの較正ステップまたは動的にデータストリームから推定される明示的に決定された有効なプレイエリアであってもよい。

当業者であれば、現実の世界の動作からゲーム世界の動作へのマッピングは、潜在的に様々な時点に適用されるか、さらに広がって２つ以上の時点に部分的に適用される可能性があることが分かるであろう。例えば、カメラおよび動作センサからの生データは、任意の他の処理の前に変換することができる。好ましい実施形態では、人間のプレイヤの動作は、最初に生データから抽出され、次に、典型的な人間の動作に関する知識を用いて仕上げられる。現実の世界の動作が十分に決定された後にのみ、同等のゲーム空間にそれがマップされる。その後、さらなるゲーム依存性マッピングを適用してもよい。例えば、プレイヤが蜘蛛を制御している場合、現実の世界の代わりに、その空間に組み込まれた場合にプレイヤが移動したと思われる方法についてゲーム空間における動作が最初に決定される。その際にのみ、任意のゲーム特異的マッピング、例えば、二足歩行運動が８つの脚にマップされる方法、または特定の手の動作が特別な攻撃にマップされ得る方法等が適用される。

３５８では、データストリームが送られてくると、ホストゲームコンソールは、ビデオデータを分析してプレイヤのそれぞれの動きを推測し、かつ同時に、プレイヤを表わす対応するオブジェクトを適宜移動させるように構成されている。特定のゲームおよび／またはそのルールに応じて、表示オブジェクトの動きは、ゲームをより刺激的に見せるか、あるいは、プレイヤに深いめり込みを感じさせるように強化または修正され得る。例えば、当該ゲームは、剣の一撃をより迫力あるものに見せるように動作を強化させるか、あるいは、その一撃が標的を逃した場合には、敵のキャラクターと接触させるように一撃を僅かに修正することができる。

ビデオゲームがプレイされている間、ビデオデータは、それぞれのゲームコンソールから、３６０および３６２において対応するオブジェクトを更新／修正／制御するホストゲームコンソールに供給され続ける。

ここで図４Ａを参照すると、事例４００が示されており、この事例では、ゲーム空間に人工的に追加された要素４０８によって２人のプレイヤのうちの一人４１１を有効なプレイエリア内の後方の新しい場所４１２に物理的に移動させている。ゲーム空間は、図示のように最初は統合されている現実の世界のプレイエリアの２つの３Ｄ表示４０２および４０３を含むと想定される。要素４０８（例えば、モンスター）がプレイヤに対応するアバター４１３に接近するにつれて、プレイヤは（ディスプレイから）モンスターの接近を目にすると、モンスターを避けるように後退し、それによりアバターを３Ｄ表示内の再位置４１４に移動させる。３Ｄ表示４０２で表わされる空間にいるプレイヤは、（ディスプレイから）他のプレイヤのアバターが後退するのを目にし、実際に一緒に同じ仮想の空間に存在しているかのような感情を抱くであろう。プレイヤの動きにより、対応する３Ｄ表示を変化させることもでき、例えば、その変化を、そのプレイヤの現実の世界の動きの作用を減衰させるように長引かせることもできる。

図４Ｂは、向かい合わせに組み合わせられた２つのそれぞれの現実の世界のプレイエリア４１２および４１４の２つの３Ｄ表示が組み込まれたゲーム空間４１０を示す。４１２内のアバターを制御するプレイヤがカメラに向かって移動すると、アバターが（ディスプレイ内で）右に移動する様子が見られ、その逆も見られる。４１４内のアバターを制御するプレイヤがカメラから離れる方向に移動すると、対応するアバターは右に移動する様子が見られ、その逆も見られる。別のビデオゲーム、あるいは、恐らく同じビデオゲームの後半で、３Ｄ表示４１２および４１４を異なる方法で組み合わせることができ、そこでは一方が回転され、他方が鏡映しに反転される。鏡映しに反転される場合には、プレイヤが自身のカメラに向かって移動すると、プレイヤのアバターは予期せずに、プレイヤの期待とは反対の方向に移動する場合もある。回転される場合には、その回転は、任意の軸の周りであってもよく、空間を上下ならびに左右に回転することも含まれる。正確に３Ｄ表示をゲーム空間に組み込む方法、および、存在すれば、ゲーム空間およびデータストリームを修正するためにどの機能が適用されるかについてはゲームおよびゲーム内の特定の時点によって決まる。

図５は、本発明の一実施形態に係るシステム構成５００を示す。システム５００は、記憶装置５０１、１つまたは複数のコントローラ５０２、データ処理装置５０３、１組の慣性センサ５０４、１つまたは複数のカメラ５０５、およびディスプレイドライバ５０６を含む。２種類のデータ、すなわち、慣性センサ５０４からのデータとカメラ５０５からのデータがあり、両データがデータ処理装置５０３に入力される。上述のように、慣性センサ５０４は、データ処理装置５０３にセンサデータを提供して、カメラ５０５からのセンサデータの有無に関わらず最大６°の自由度の角運動および並進運動が得られる。

データ処理装置５０３は、ディスプレイドライバ５０６を介してビデオシーケンスを表示するように構成されている。動作中、データ処理装置５０３は記憶装置５０１に格納されているコードを実行し、記憶装置５０１には、本明細書に記載されている発明の一実施形態に従ってコードが実装されている。コントローラ上のプレイヤのアクションおよびまたはプレイヤによって操作されているコントローラの所望の動きを解釈する制御装置５０２からの信号と共に、データ処理装置５０３はビデオ信号を更新してそのアクションまたは動きを反映させる。一実施形態では、ビデオ信号またはデータがホストゲームコンソールまたは別の計算装置に送られ、ゲーム空間を創出または更新し、次に、そのゲーム空間がディスプレイドライバ５０６を介してディスプレイスクリーンに表示される。［必須：この箇所は熟読されたい］

一実施形態によれば、１つまたは複数のゲームコンソールからデータストリームが受け取られ、プレイヤを囲む環境のそれぞれの３Ｄ表示が得られる。デジタル処理され、かつＣＧ画像を追加することによって「拡張された」ライブビデオ画像の使用に関係している拡張された現実を用いて、様々なオブジェクトが、現実の世界の人々またはオブジェクト（表示オブジェクトと呼ぶ）または他の仮想オブジェクトと対話可能なように、場面すなわちゲーム空間が創出される。プレイヤは、仮想オブジェクトの前にオブジェクトを配置し得、当該ゲームは、当該オブジェクトが何であるのかを解釈してそれに反応する。例えば、プレイヤがコントローラを介して仮想オブジェクト（例えば、仮想のペット）に向かってボールを転がす場合、そのオブジェクトは怪我を避けるように道の外に飛び出すであろう。また、そのオブジェクトは、プレイヤのアクションに対して反応し、プレイヤに、例えば、そのペットをくすぐったり、驚かせるように手を叩いたりさせることができる。

一実施形態によれば、センサデータをカメラからの画像データと相関させ、現実の世界空間におけるプレイヤの手などの要素をより容易に特定することができる。当業者には公知であるように、カメラから純粋に生成されたデータからは、ある程度の精度でコントローラの向きを追跡することは難しい。コントローラの相対的な向きの追跡は、慣性センサのいくつかを用いて行なわれ得、カメラからの立体情報によって場所の変化を得た後に、角運動が変化している可能性があるため、その場所を慣性センサからの計測値から除外して、コントローラの絶対的な向きを得ることができる。

当業者であれば、本発明の要素をソフトウェアに実装し得るが、ハードウェアまたはハードウェアとソフトウェアとの組み合わせにも実装可能であることが分かるであろう。本発明は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具現化することもできる。コンピュータ読み取り可能な媒体は、後からコンピュータシステムによって読み出し可能なデータを格納することができる任意のデータ記憶装置であってもよい。コンピュータ読み取り可能な媒体の例としては、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、ハードディスク、光データ記憶装置または搬送波が挙げられるがそれらに限定されない。コンピュータ読み取り可能な媒体はコンピュータ読み取り可能なコードが分散式に格納および実行されるように、ネットワーク結合型コンピュータシステム上に分散させることができる。

本発明を、ある程度の特殊性と共に十分詳細に説明してきた。当業者であれば、この実施形態の開示が単に一例としてなされており、特許請求の範囲に記載の本発明の精神および範囲を逸脱せずに、その構成の多くの変形および部分の組み合わせが可能であることが分かる。本明細書で論じられている実施形態は、形式および構成の点で情報単位の提示についていくらかの制限を含むように見えるが、本発明は、そのような実施形態よりもはるかに優れた適用性を有し、それは当業者であれば理解することができる。従って、本発明の範囲は、上記実施形態の記載内容によってではなく、添付の特許請求の範囲によって定義されるものである。

Claims (15)

1. 複数のプレイヤによってプレイされるネットワークビデオゲーム用の共有ゲーム空間を創出する方法であって、
   必ずしも同一の場所に位置していない１つまたは複数の現実の世界空間に関する１つまたは複数のデータストリームを受け取るステップであって、前記データストリームがそれぞれ、前記プレイヤのうちの少なくとも１人が前記ネットワークビデオゲームをプレイする前記現実の世界空間のうちの１つに関するビデオデータを含み、前記データストリームが前記現実の世界空間および前記プレイヤの様々な動きの三次元表示を得るために使用されるステップと、
   前記現実の世界空間の前記三次元表示を参照して前記共有ゲーム空間を創出するステップであって、前記共有ゲーム空間におけるいくつかのオブジェクトが前記現実の世界空間における前記プレイヤのそれぞれの動きに対応して反応するステップと、
   を含む方法。
2. 前記現実の世界空間のそれぞれが、そこでのプレイヤの動きが少なくとも１つのカメラによって捉えられかつ前記共有ゲーム空間における対応するオブジェクトを制御するように使用される有効なプレイエリアを含む、請求項１に記載の方法。
3. 前記有効なプレイエリアが前記カメラの視野を超え、前記カメラの前記視野を超える前記有効なプレイエリアの一部に含まれる前記プレイヤの前記動きが前記プレイヤによって握持されているコントローラ内の慣性センサによって追跡される、請求項１または２に記載の方法。
4. 前記現実の世界空間の前記三次元表示を参照して前記共有ゲーム空間を創出する前記ステップが、
   所定の基準に従って、前記現実の世界空間の前記三次元表示の少なくとも一部を前記共有ゲーム空間に組み込むステップと、
   前記ビデオゲームに係る前記共有ゲーム空間に１つまたは複数の仮想オブジェクトを創出するステップと、
   １つまたは複数の表示オブジェクトを組み込むステップであって、前記表示オブジェクトのいくつかはそれぞれ、前記プレイヤのうちの一人に対応しかつ前記プレイヤに従って移動し、前記表示オブジェクトの他のいくつかはそれぞれ、前記現実の世界空間のうちの１つにおける静止オブジェクトに対応しているステップと、
   を含む、請求項１または２に記載の方法。
5. 前記共有ゲーム空間に、前記仮想および表示オブジェクト間での様々な対話を可能にするゲームルールを組み込むステップをさらに含み、
   前記データストリームの前記それぞれが、前記ビデオデータと共に前記プレイヤの前記様々な動きを得るためのセンサデータをさらに含む、請求項４に記載の方法。
6. 前記ビデオデータが、前記現実の世界空間のうちの１つにおいて、前記コントローラの最大６つの絶対角運動および並進運動を得るために前記センサデータと共に使用される、請求項５に記載の方法。
7. 前記現実の世界空間の前記三次元表示を参照して前記共有ゲーム空間を創出する前記ステップが、
   前記現実の世界空間の前記三次元表示をそれぞれ得るステップと、
   １つまたは複数のスティッチング、マージ、モーフィング、スーパインポーズまたは組み込み技術によって前記三次元表示を組み合わせるステップと、
   所定の要求に従って前記共有ゲーム空間を処理するステップと、
   前記オブジェクト間の対話のために前記ゲーム空間に様々なルールおよび採点機構を組み込むステップと、
   を含む、請求項１に記載の方法。
8. 前記共有ゲーム空間に仮想の音源があり、前記プレイヤに対応するオブジェクトが前記仮想の音源に近づくと、前記プレイヤに聞こえる音が大きくなる、請求項７に記載の方法。
9. １つまたは複数の現実の世界空間に関する１つまたは複数のデータストリームを受け取る前記ステップが、前記ネットワークビデオゲームに参加しているゲームコンソールのうちの１つである専用の装置または前記インターネット上の専用の計算装置において行なわれ、
   前記更新された共有ゲーム空間を前記専用の装置から前記参加中のゲームコンソールに供給するステップと、
   前記参加中のゲームコンソールのそれぞれに前記更新された共有ゲーム空間のコピーをキャッシングするステップと、
   適度に近い対応を維持するように可能な限り頻繁に他の参加中のゲームコンソールからの情報によって前記ゲーム空間の前記コピーを更新するステップと、
   をさらに含む、請求項１に記載の方法。
10. ネットワークビデオゲーム用の共有ゲーム空間を創出するシステムであって、
    必ずしも同一の場所に位置しておらずかつそれぞれのデータストリームを提供する複数のプレイエリアであって、前記プレイエリアのそれぞれには少なくとも１つのカメラおよびコンソールが備えられ、前記カメラが、前記共有ゲームをプレイするためにコントローラを握持している少なくとも１人のプレイヤがいる前記プレイエリアのうちの１つを監視するために設置されており、前記コンソールが、前記プレイヤの様々な動きを捉えたビデオデータおよびセンサデータの両方を含む前記データストリームのうちの１つを提供するプレイエリアと、
    前記プレイエリアから前記データストリームをそれぞれ受け取りかつ前記プレイエリアの三次元表示を参照して前記共有ゲーム空間を創出するように構成されたホスティングマシンであって、前記共有ゲーム空間におけるオブジェクトの少なくともいつくかの動きが前記プレイエリアにおけるプレイヤのそれぞれの動きに反応するホスティングマシンと、
    を含むシステム。
11. 前記現実の世界空間がそれぞれ、前記プレイヤの動きが前記カメラによって捉えられかつ前記共有ゲーム空間において対応するオブジェクトを制御するために使用される有効なプレイエリアを含み、前記有効なプレイエリアが、前記カメラの１つまたは複数の視野、前記カメラの光学パラメータおよび周囲照明条件によって画定される、請求項１０に記載のシステム。
12. 前記ホスティングマシンが、
    所定の基準に従って前記共有ゲーム空間に前記現実の世界空間の前記三次元表示の少なくとも一部を組み込む操作と、
    前記ビデオゲームに係る前記共有ゲーム空間において１つまたは複数の仮想オブジェクトを創出する操作と、
    １つまたは複数の表示オブジェクトを組み込む操作であって、前記表示オブジェクトのいくつかがそれぞれ前記プレイヤのうちの一人と対応しかつ前記プレイヤに従って移動し、前記表示オブジェクトの他のいくつかがそれぞれ前記現実の世界空間の１つにおける静止オブジェクトに対応している操作と、
    を行なうように構成されている、請求項１０または１１に記載のシステム。
13. 前記ホスティングマシンが、前記共有ゲーム空間に前記仮想および表示オブジェクト間での様々な対話を可能するためのゲームルールを組み込む操作を行なうように構成されている、請求項１２に記載のシステム。
14. 前記ホスティングマシンが、前記ネットワークビデオゲームに参加しているゲームコンソールのうちの１つである専用の装置またはネットワーク上の専用の計算装置である、請求項１３に記載のシステム。
15. 前記ビデオデータおよびセンサデータが前記プレイヤの前記動きを推測するように処理される、請求項１０〜１４のいずれか１項に記載のシステム。

Images