JP2017516186A - 空間感知を備えるゲーム機 - Google Patents

Abstract

【解決手段】頭部装着型ディスプレイ（ＨＭＤ）に対するユーザの手の検出を強化するための方法を説明する。方法は、エネルギーの乱れた部分を、パッドデバイス内に一体化されたセンサによって感知することを含む。エネルギーの乱れた部分は、ユーザの手がエネルギーと関わった時に生成される。エネルギーの乱れた部分を感知する複数のセンサは、手の現在の位置を映し出すエネルギー画像を生成する。方法は、感知することを継続的に繰り返して、エネルギー画像のストリームを生成することを含む。方法は、エネルギー画像の各々を処理して、手のモデルと手のモデルの動きとを生成するために、エネルギー画像のストリームをゲーム機に通信することを含む。手のモデルは、ＨＭＤ内に表示される仮想環境内の仮想の手として、少なくとも部分的に描画される。【選択図】図６Ａ

Description

本発明は、ゲーム機を用いた空間感知（ｖｏｌｍｅｔｒｉｃ ｓｅｎｓｉｎｇ）のための方法とシステムとに関する。

ゲームをするためにユーザの手を活用するゲームシステムは、通常、ユーザの手と指とを追跡する。ユーザは、手袋または他のデバイスを装着してゲームをする。しかしながら、ゲームをしたい時に毎回、手に手袋を付けたり、デバイスを付けたりしたくないユーザもいる。さらに、これらの手に付けるデバイスは、繰り返して使用された時、長期間に渡って使用された時、または異なるユーザ間で共有された時に、衛生の問題がある。

このような状況において、本開示で説明する実施形態が発生する。

本開示で説明する実施形態は、空間感知のためのシステムと方法とを、ゲーム機に提供する。

仮想現実（ＶＲ）または拡張現実（ＡＲ）では、いくつかのアプリケーションは、ユーザの身体部分、たとえば、手、足、指、親指、手と指の組み合わせ、手と親指の組み合わせ、などが追跡される場合、イマージョンを増加させ、または現実を綿密に再現することができる。

身体部分は、パッドデバイス、たとえば、タブレット、マット、センサを有するパッドデバイス、エネルギーセンサとエネルギーエミッタとを有するパッドデバイス、センサとエミッタとマーカーなどを有するパッドデバイスの表面の上にある空間（ｖｏｌｕｍｅ）と関わる。身体部分の位置及び向きは、身体部分によって乱されるエネルギー、たとえば、身体部分から反射するエネルギー、身体部分によって干渉されるエネルギー、などに基づいて判断される。身体部分の位置と向きとを使用して、頭部装着型ディスプレイに表示される画像内の仮想オブジェクトの位置と向きとを判断する。身体部分の位置と向きとを判断するために、手袋または他の手に付けるデバイスの代わりにパッドデバイスを使用することは、より便利で、より衛生的な体験を提供する。

さまざまな実施形態では、色、たとえば、緑、青、などを有するパッシブパッドデバイスを使用する。パッシブパッドデバイスは、あらゆる電子機器を排除しており、木製のブロック、１枚の布、または机の表面、またはマット、などであってよい。ユーザは、手を、パッシブパッドの上に置き、パッシブパッドに対する手の位置及び／または向きを判断するために、手が、頭部装着型ディスプレイ（ＨＭＤ）のカメラによって映される。

いくつかの実施形態では、パッドデバイスは、深さ情報を生成するために手を映す複数のカメラを含み、深さ情報は、パッドデバイスの上面の上の基準点からの手の距離を含む。さまざまな実施形態では、ＨＭＤのカメラとパッドデバイスのカメラとを相互連携させて使用して、深さ情報を生成し、深さ情報は、パッドデバイスの上面の上の基準点からの手の距離と、ＨＭＤの外面の上の基準点からの手の距離とを含む。ＨＭＤの外面は、ＨＭＤの前の現実環境に面しており、ＨＭＤを装着しているユーザの顔に隣接していない。

いくつかの実施形態では、ユーザは、手を、パッドデバイスの上に置いて、ＨＭＤまたは表示デバイス、たとえば、テレビ、コンピュータ、などに表示される、仮想現実シーンまたは拡張現実シーン内の仮想オブジェクトを操作、たとえば、掴む、動かす、押す、引く、などを行う。たとえば、ゲーム内の仮想の手は、ユーザが自身の手をパッドデバイスの上で動かすと、動く。さらに、別の例として、ゲーム内の仮想の手の指は、ユーザが自身の指を動かすと、動く。

大まかに言うと、本開示で説明するいくつかの実施形態は、デバイスの上のある大きさの空間（ｓｐａｃｅ）を監視するセンサの配列を有するパッドデバイスに関する。パッドデバイスは、センサの配列を有する。深さ情報、たとえば、センサの配列上の基準点からのユーザの身体部分の深さ、などを使用して、身体部分のしぐさを判断するための位置及び／または向きを計算する。パッドデバイスは、支持体、たとえば、テーブル、などの上に置かれ、またはユーザの手に持たれ、またはユーザの足の下に置かれている。パッドデバイスは、ＨＭＤ及び／またはゲーム機に接続されている。ユーザが自身の身体部分をパッドデバイスの上に置くと、パッドデバイスのセンサは、身体部分によって乱されたエネルギー信号、たとえば、身体部分から反射したエネルギー信号、身体部分によって干渉されたエネルギー信号、などを感知する。

一実施形態では、乱されたエネルギー及び変化したエネルギーは、本明細書では、交換可能に使用される。たとえば、エネルギーは、エネルギーがユーザの身体部分からの干渉によって変化した時に、乱れる。

さまざまな実施形態では、エネルギーセンサに加えて、パッドデバイスは、パッドデバイスの上の空間中に信号を発する、エネルギーエミッタの配列を含む。エネルギーエミッタとエネルギーセンサとの配列の例は、容量センサの配列、または超音波エミッタとマイクとの配列、または赤外線（ＩＲ）エミッタとＩＲ光感知ダイオードとの配列、またはこれらの２つ以上の組み合わせ、などを含む。発せられた信号は、身体部分によって乱される。たとえば、電磁エネルギーが発せられると、電磁エネルギーが身体部分によって干渉され、乱された電磁エネルギーの一部が、パッドデバイスのセンサによって感知される。別の例として、光または音を使用すると、光または音の一部は、感知のためのパッドデバイスのセンサに向かって反射する。身体部分によって乱され、センサによって感知された信号に基づいて、基準点からの、空間内の身体部分の位置及び／または空間内の身体部分の向きが、プロセッサ、たとえば、ゲーム機のプロセッサ、ＨＭＤのプロセッサ、などによって判断される。たとえば、空間センサは、空間内の手を上手く追跡することと、手の各指の動きを上手く追跡することとを、それらがパッドデバイスの上にある時に可能にする。いくつかの実施形態では、位置及び／または向きに基づいて、ユーザによって行われるしぐさは、プロセッサによって判断される。

いくつかの実施形態では、しぐさをプロセッサによって使用して、ＶＲ画像またはＡＲ画像を生成する。たとえば、しぐさを特定して、ＨＭＤまたはゲーム機に接続された表示デバイス、たとえば、テレビ、などで行われているゲームの、次のゲーム状態を生成する。ＶＲ画像またはＡＲ画像は、ゲームのゲーム状態を表示する。

さまざまな実施形態では、ＨＭＤは、パッドデバイスの画像を取得するためのカメラを含む。カメラは、ＨＭＤの内部にあり、またはＨＭＤの外部にある。たとえば、カメラは、ＨＭＤ内に一体化されており、または外部でＨＭＤの上に配置されており、または外部でＨＭＤの下、たとえば、ＨＭＤのレンズの下に配置されている。カメラは、身体部分の画像を取得し、画像は、ユーザの頭部に対する身体部分の位置及び／または向きを特定するために、ゲーム機またはＨＭＤのプロセッサによって解析される。ＨＭＤは、ユーザの頭部に装着される。頭部に対する身体部分のこの位置及び／または向きは、ＨＭＤ内に表示されているＶＲ画像またはＡＲ画像内に描画された手の、拡大縮小、たとえば、距離の変化、向きの変化、などを提供する。

いくつかの実施形態では、ＨＭＤまたはゲーム機に関連付けられたカメラは、身体部分の影の画像を取得する。影は、身体部分がパッドデバイスの上の空間内に位置する時に、パッドデバイス上に形成される。画像をプロセッサによって解析して、身体部分の位置及び／または向きを判断する。

さまざまな実施形態では、ＨＭＤまたはゲーム機のカメラで取得した身体部分の画像または身体部分の影の画像を、空間内の身体部分の位置及び／または向きと併せて使用して、しぐさを判断または確認し、ＶＲ画像またはＡＲ画像を生成する。ＶＲ画像またはＡＲ画像は、ＨＭＤの画面上に、またはゲーム機に接続された表示デバイス、たとえば、テレビ、コンピュータモニタ、などの画面上に、表示される。

いくつかの実施形態では、パッドデバイスは、マーカー、たとえば、パターンコード、または反射体、または発光ダイオード、またはクイックレスポンス（ＱＲ）コード、またはこれらの２つ以上の組み合わせ、などの配列を含み、ユーザの身体部分によって塞がれているパッドデバイスの表面上のマーカーが、身体部分の輪郭を画定できるようにする。ＨＭＤのカメラは、パッドデバイスの表面上の、塞がれている領域と塞がれていない領域との間の差分を示す画像データを生成する。プロセッサ、たとえば、ゲーム機のゲームプロセッサ、などは、塞がれている領域の信号と塞がれていない領域の信号とを受信して、身体部分の輪郭を判断する。たとえば、身体部分の輪郭は、塞がれている領域と塞がれていない領域との間の境界である。

いくつかの実施形態では、ＨＭＤに関連付けられたカメラの代わりに、またはそれに加えて、ゲーム機の内部または外部、たとえば、ゲーム機の上部、側部、などに配置されたカメラ、またはゲーム機が置かれている現実世界環境内のカメラを使用して、身体部分の画像を取得する、ということに留意すべきである。

さまざまな実施形態では、ＨＭＤまたはゲーム機は、エミッタ、たとえば、赤外光エミッタ、可視光エミッタ、などを含む。エミッタは、光を、身体部分に向けて発する。ＨＭＤまたはゲーム機に関連付けられたカメラ、たとえば、赤外線カメラ、などを使用して、身体部分から反射した光から画像を生成し、プロセッサがユーザの身体部分の位置及び／または向きを判断することを可能にする。

いくつかの実施形態では、パッドデバイスは、緑の画面色などの色を含み、ＨＭＤまたはゲーム機のカメラがユーザの身体部分を容易に特定できるようにし、身体部分の画像をＶＲ空間またはＡＲ空間に溶け込ませるようにする。ＶＲ空間またはＡＲ空間は、ＨＭＤを介して、または表示デバイスを介して表示され、表示デバイスの例を上記に提供している。

いくつかの実施形態では、パッドデバイスは、コンピューティングデバイス、たとえば、タブレットコンピュータ、携帯電話、またはタッチ型デスクトップモニタ及び中央処理装置（ＣＰＵ）、などである。コンピューティングデバイスは、たとえば、ユーザに自身の手をコンピューティングデバイスの画面上で移動させることなどによって、身体部分の位置及び／または向きを追跡し、コンピューティングデバイスは、緑、青、赤、などの異なる色を表示して、身体部分の追跡と、身体部分の画像をＶＲ空間またはＡＲ空間に組み込むことと、を可能にする。

パッドデバイスは、ＨＭＤ及び／またはゲーム機と通信する。たとえば、パッドデバイスは、ゲーム機と、媒体、たとえば、有線媒体または無線媒体を介して通信する。媒体の例は、Ｂｌｕｅｔｏｏｔｈ（登録商標）と、Ｗｉ−Ｆｉと、ユニバーサルシリアルバス（ＵＳＢ）と、シリアル転送と、パラレル転送と、イーサネット（登録商標）とを含む。センサによって感知される信号は、媒体を介してゲーム機に送信され、ゲームプロセッサが、身体部分の位置及び／または向き、及び／または身体部分によって行われるしぐさを判断することを可能にする。ゲーム機は、ＨＭＤまたは表示デバイスと通信して、ＨＭＤまたは表示デバイスでゲームを行うために使用されるゲーム信号を提供する。

パッドデバイス、たとえば、空間感知タッチパッド、などを活用することによって、ユーザの身体部分を追跡し、身体部分を、実行可能なＶＲ制御方法として使用することを容易にする。

いくつかの実施形態では、パッドデバイスは、表示デバイスを排除しており、ＨＭＤを装着しているユーザの前にある支持体、たとえば、机、コーヒーテーブル、などの上に置かれている。

一実施形態では、パッドデバイスは、パッドデバイスの上面の上に停止している身体部分の深さ及び／または色を感知するセンサの配列を含む。身体部分の深さ及び／または色をゲームプロセッサによって使用して、身体部分の全体的な位置、及び／または身体部分の向き、及び／または身体部分のしぐさを判断する。

さまざまな実施形態では、パッドデバイスは、知られている色、たとえば、緑、青、などで覆われており、ＨＭＤに付けられたカメラは、知られている色を使用して、身体部分をカメラのビデオ入力から分割すること、たとえば、緑画面効果、などを補助する。これは、身体部分のビデオ入力が、ＨＭＤ内でユーザに表示される画像を拡大することを可能にする。

いくつかの実施形態では、パッドデバイスは、ＨＭＤに対するパッドデバイスの三次元（３Ｄ）位置、たとえば、ｘ位置、ｙ位置、及びｚ位置、などを判断するために、ＨＭＤのカメラによって追跡されるパターン、たとえば、単純な印刷マーカー、発光ダイオード（ＬＥＤ）パターン、などを含む。また、いくつかの実施形態では、身体部分によってパッドデバイス上に投じられる妨害物及び／または影は、パッド上の身体部分のより正確な３Ｄ表現を取得するために、空間センサに加えてカメラ、たとえば、ＨＭＤに関連付けられたカメラまたはゲーム機に関連付けられたカメラ、などによって追跡される。

パッドデバイスのアプリケーションの例は、ホログラフィックディスプレイ、たとえば、チェスボードのホログラフィックディスプレイ、などの仮想表現と、ＶＲ内のさまざまなデスクトップ型またはボード型のゲームまたはアプリケーションと、を含む。

一実施形態では、ＨＭＤに対するユーザの手の検出を強化するための方法が説明される。方法は、エネルギー、たとえば、可視光線、赤外光、電磁場、などの乱された部分を、パッドデバイス内に一体化され、配列に配置されたセンサによって感知することを含む。エネルギーの乱れた部分は、ユーザの手によって、手がパッドデバイスの近くに置かれた時に乱される。エネルギーの乱れた部分を感知する複数のセンサは、手の現在の位置を映し出すエネルギー画像を生成する。方法は、感知することを継続的に繰り返して、エネルギー画像のストリーム、たとえば、電磁エネルギー場におけるユーザの身体部分による乱れを示す電気信号、可視光エネルギーまたは赤外光エネルギーにおける身体部分による干渉を示す電気信号、エネルギー画像フレーム、などを生成することを含む。エネルギー画像のストリームは、感知することを繰り返す間、手の位置の変化を表示する。たとえば、電磁エネルギー場または光エネルギーにおける手の動きによる乱れを使用して、手の位置の変化を判断する。方法は、エネルギー画像の各々を処理して、手のモデルと手のモデルの動きとを生成するために、エネルギー画像のストリームをゲーム機に通信することを含む。手のモデルは、ＨＭＤ内に表示される仮想環境内の仮想の手として、少なくとも部分的に描画される。

一実施形態では、ＨＭＤに対するユーザの手の検出を強化するためのパッドデバイスが説明される。パッドデバイスは、エネルギーの乱れた部分を感知するための複数のセンサを含む。センサは、パッドデバイスの表面上に、配列に配置される。エネルギーの乱れた部分は、手がパッドデバイスの近くに置かれた時に、ユーザの手によって乱される。センサは、手の現在の位置を映し出すエネルギー画像を生成するために、エネルギーの乱れた部分を感知するように構成されている。センサは、さらに、感知することを継続的に繰り返して、エネルギー画像のストリームを生成するように構成されている。エネルギー画像のストリームは、感知することを繰り返す間、手の位置の変化を示す。パッドデバイスは、センサに連結された通信デバイスを含む。通信デバイスは、エネルギー画像の各々を処理して、手のモデルと手のモデルの動きとを生成するために、エネルギー画像のストリームをゲーム機に通信する。手のモデルは、ＨＭＤ内に表示される仮想環境内の仮想の手として、少なくとも部分的に描画される。

一実施形態では、パッドデバイスを含むシステムが説明される。パッドデバイスは、身体部分が発せられたエネルギーと関わった時にセンサによって感知されるエネルギー部分を受信するための、パッドデバイスの表面上に置かれた複数のセンサを含む。センサは、身体部分が現在の位置にある時の乱れたエネルギー部分を感知することによって、エネルギー画像を乱れたエネルギー部分から生成するように構成されている。センサは、さらに、感知することを継続的に繰り返して、エネルギー画像のストリームを生成するように構成されている。エネルギー画像のストリームは、感知することを繰り返す間、手の位置の変化を示す。システムは、さらに、エネルギー画像のストリームを通信するための、センサに連結されたパッド通信デバイスを含む。システムは、また、パッドデバイスに連結されたゲーム機を含む。ゲーム機は、エネルギー画像のストリームをパッド通信デバイスから受信するための、パッド通信デバイスに連結されたゲーム通信デバイスを含む。ゲーム機は、さらに、身体部分の動きをエネルギー画像のストリームに基づいて判断するための、ゲーム通信デバイスに連結されたゲームプロセッサを含む。ゲームプロセッサは、仮想環境内の仮想オブジェクトの状態を、身体部分の動きに基づいて判断するように構成されている。ゲーム通信デバイスは、仮想オブジェクトの状態に関するデータを送信するように構成されている。システムは、さらに、ゲーム機に連結されたＨＭＤを含む。ＨＭＤは、仮想画像の状態に関するデータをゲーム通信デバイスから受信するための、ゲーム通信デバイスに連結されたＨＭＤ通信デバイスを含む。ＨＭＤは、その状態を有する仮想オブジェクトを画像内に表示するための、ＨＭＤ通信デバイスに連結されたプロセッサを含む。

上述の実施形態のいくつかの利点は、ユーザの身体部分の位置と向きとを判断するためにパッドデバイスを使用することを含む。パッドデバイスは、ゲームをしている間に使用される手袋よりも、使用がより衛生的である。たとえば、パッドデバイスは、着用されるのではなく、持たれて、パッドデバイスの周りにオープンな空間を形成する。手袋内に形成される閉鎖空間は、パッドデバイスの周りのオープンな空間と比較して、細菌が生まれ、増殖することを容易にする。また、細菌を除去するために、パッドデバイスを洗浄するほうが、手袋を洗浄するよりも容易である。さらに、パッドデバイスを使用して仮想環境とやり取りを行うほうが、手袋を使用して仮想環境とやり取りを行うよりも容易である。たとえば、ユーザにとっては、パッドデバイスを掴むよりも手袋を装着するほうがより時間がかかり、パッドデバイスを戻すよりも手袋を脱ぐほうがより時間がかかる。また、一実施形態では、パッドデバイスは、ユーザの身体部分の位置と向きとを判断するためのカメラを含む。そのようなカメラは、手袋内に一体化することが困難である。

本開示で説明する他の態様は、添付の図面と併せて、以下の発明を実施するための形態から明白になり、本開示で説明する原理を一例として示す。

本開示のさまざまな実施形態は、添付の図面と併せて、以下の説明を参照することによって最も良く理解される。

本開示の一実施形態による、空間内の手の位置を感知するために、ユーザの手の下に置かれたパッドデバイスの図である。

本開示の一実施形態による、別のパッドデバイスの図である。

本開示の一実施形態による、頭部装着型ディスプレイ（ＨＭＤ）がパッドデバイスと併せて使用されるシステムの図である。

本開示の一実施形態による、ゲーム機のカメラが、ＨＭＤとパッドデバイスと共に使用されるシステムの図である。

本開示の一実施形態による、エミッタとセンサとを含むパッドデバイスの図である。

本開示の一実施形態による、ユーザによって自身の手に持たれているパッドデバイスの図である。

本開示の一実施形態による、エネルギー画像の生成と、エネルギー画像のストリームの生成を用いた手の動きとを示すために使用される図である。

本開示の一実施形態による、エネルギーセンサを含むＨＭＤを示した図である。

本開示の一実施形態による、ＨＭＤのカメラと併せて使用されるパッドデバイスの一実施形態の図である。

本開示の一実施形態による、カメラを含むパッドデバイスの図である。

本開示の一実施形態による、ユーザの手の位置と向きとを判断するためにテレビを使用するシステムの図である。

本開示の一実施形態による、手及び／またはＨＭＤを見るために、パッドデバイスが、支持体、たとえば、テーブル、椅子、台、机、などに対してある角度で置かれているシステムの側面図である。

本開示の一実施形態による、パッドデバイスに対するユーザの身体部分の位置と向きとに基づいて、ＨＭＤの表示画面上の画像内に表示される仮想オブジェクトの図である。

本開示の一実施形態による、マーカーが置かれているパッドデバイスの図である。

本開示の一実施形態による、２つのパッドデバイスを使用するシステムの図である。

本開示の一実施形態による、ユーザが自身の両足をパッドデバイスの上に置く、方法の一実施形態の図である。

本開示の一実施形態による、ユーザが、自身の右足をパッドデバイスの上に置き、自身の左足をパッドデバイスの上に置く、方法の一実施形態の図である。

本開示の一実施形態による、マーカーの配列と、センサの配列と、エミッタの配列とを含むパッドデバイスの図である。

本開示の一実施形態による、ユーザの両手を覆うある量の光信号または音信号または電磁信号を発する、細長いパッドデバイスの等角図である。

本開示の一実施形態による、エネルギーエミッタとエネルギーセンサとを含むＨＭＤの図である。

本開示の一実施形態による、その中ではユーザの手の動きが検出される、空間の境界があることを示す図である。

本開示の一実施形態による、ユーザによって行われるしぐさに基づいた仮想オブジェクトの生成を示すために使用される図である。

本開示の一実施形態による、パッドデバイスのブロック図である。

本開示の一実施形態による、ＨＭＤの表示画面上に表示される画像内の仮想オブジェクトの位置及び／または向きの変化を、ユーザの身体部分の位置及び／または向きの変化と連携して示すシステムのブロック図である。

本開示の一実施形態による、ＨＭＤの等角図である。

本開示の一実施形態による、ＨＭＤとハンドヘルドコントローラとを使用することによって、ユーザが仮想環境とやり取りを行うことを示すシステムの図である。

本開示の一実施形態による、別のＨＭＤの等角図である。

本開示の一実施形態による、コンピュータネットワークを介した仮想環境へのアクセスを示すために使用される図である。

本開示の一実施形態による、仮想環境にアクセスするためにＨＭＤを装着したユーザを示した図である。

本開示の一実施形態による、ＨＭＤの例示的な構成要素を示した図である。

本開示の一実施形態による、情報サービスプロバイダアーキテクチャを示した図である。

ゲームデバイスを用いた空間感知のためのシステムと方法とを説明する。本開示で説明するさまざまな実施形態を、これらの具体的な詳細の一部または全部なしに実施することができる、ということに留意すべきである。他の例では、良く知られているプロセス動作は、本開示で説明するさまざまな実施形態を不必要に分かりにくくしないために、詳細には説明されていない。

一実施形態では、パッドデバイスは、ユーザの身体部分の位置と向きとを判断するために使用される。ユーザは、パッドデバイスを自身の手に持ち、手のしぐさをパッドデバイスの上で行う。手のしぐさは、１つまたは複数の機構、たとえば、カメラ、エミッタ及びセンサ、などを使用して追跡される。手のしぐさを特定するためのデータは、機構から、ゲーム機のゲームプロセッサに通信される。ゲームプロセッサは、手の位置と向きとをデータから特定して、しぐさを特定する。しぐさをゲームプロセッサによって使用して、頭部装着型ディスプレイ（ＨＭＤ）の表示デバイス内に表示される仮想オブジェクトの位置と向きとを特定する。

図１は、ユーザの手の下に置かれたパッドデバイス１０２の一実施形態の図である。パッドデバイス１０２は、現実世界環境、たとえば、部屋、オープンな空間、などの中に置かれている。パッドデバイスは、センサ、たとえば、センサＳ１、センサＳ２、センサＳ３、などを含み、それらは、エネルギー、たとえば、手から反射した光エネルギー、手から反射した超音波エネルギー、手によって乱された電磁場エネルギー、手から反射した周辺光、などを、雲で示された、中に手が置かれている空間から感知する。センサの例は、超音波センサ、赤外光センサ、電荷結合素子（ＣＣＤ）配列センサ、プレタッチセンサ、電磁エネルギーセンサ、などを含む。一実施形態では、周辺光は、ユーザを囲む現実世界環境内に置かれた発光体によって生成される。パッドデバイスは、プレタッチ信号を感知して、パッドデバイスと手との間の距離と、パッドと手の各指との間の距離と、を判断する能力を有する。パッドデバイスと手との間の距離は、パッドデバイスに対する手の位置を提供する。さらに、パッドデバイスと手の各指、たとえば、親指ＲＨＦ１、人差し指ＲＨＦ２、中指ＲＨＦ３、薬指ＲＨＦ４、小指ＲＨＦ５、などとの間の距離を使用して、パッドデバイスに対する各指の位置を判断する。

手の位置は、ゲーム機のゲームプロセッサによって、図１に示す現実世界環境の基準座標システム、たとえば、ｘｙｚ座標システム、などに対して定められる。たとえば、手の位置は、現実世界環境の基準座標システムの基準座標（０、０、０）に対して定められる。一実施形態では、現実世界環境の基準座標システムの基準座標（０、０、０）は、ゲーム機のゲームプロセッサによって、パッドデバイス１０２の頂点に定められる。一実施形態では、現実世界環境の基準座標システムの基準座標（０、０、０）は、ゲーム機のゲームプロセッサによって、パッドデバイス１０２の上面の任意の点に定められる。

一実施形態では、パッドデバイスは、プラスチック、またはゴム、または金属、または布、またはこれらの２つ以上の組み合わせから作られている。

一実施形態では、パッドデバイス１０２は、平らであり、たとえば、以下で説明するエネルギーセンサとエネルギーエミッタとを収容するための厚さを有する。たとえば、パッドデバイス１０２の厚さは、パッドデバイス１０２内に一体化されたエネルギーセンサの厚さ及び／エネルギーエミッタの厚さと同じであり、または実質的に同じである。別の例として、パッドデバイス１０２の厚さは、パッドデバイス１０２内に一体化されたセンサ及び／またはエネルギーエミッタの厚さの２倍以下である。

一実施形態では、パッドデバイス１０２は、任意の数のセンサを含む。

一実施形態では、センサは、パッドデバイス１０２の表面上で、パターン、たとえば、水平パターン、垂直パターン、斜線パターン、ジグザグパターン、曲線パターン、などに配置されている。

一実施形態では、パッドデバイス１０２は、５インチ×５インチ、３インチ×５インチ、５インチ×７インチ、１０インチ×１０インチ、１２インチ×１２インチ、１２インチ×１０インチ、１４インチ×１４インチ、３インチ×５インチ、などの、寸法、たとえば、長さ掛ける幅を有している。一実施形態では、パッドデバイス１０２は、ユーザ３１２の手の寸法よりも大きい寸法、たとえば、長さ掛ける幅、などを有している。一実施形態では、大人の代わりに、ユーザ３１２は子供である。

一実施形態では、パッドデバイス１０２のセンサは、ユーザ３１２の指の指関節からのエネルギー信号を取得することを容易にするために、間隔を開けられている。たとえば、パッドデバイス１０２の２つの連続したセンサは、ｘ軸に沿ったｘ方向に、０．５インチの間隔を開けられている。別の例として、パッドデバイス１０２の２つの連続したセンサは、ｘ方向に１インチの間隔を開けられている。さらに別の例として、パッドデバイス１０２の２つの連続したセンサは、ｘ方向に１．５インチの間隔を開けられている。さらに別の例として、パッドデバイス１０２の２つの連続したセンサは、ｚ軸に沿ったｚ方向に、０．５インチの間隔を開けられている。別の例として、パッドデバイス１０２の２つの連続したセンサは、ｚ方向に１インチの間隔を開けられている。さらに別の例として、パッドデバイス１０２の２つの連続したセンサは、ｚ方向に１．５インチの間隔を開けられている。

図２は、パッドデバイス１０２（図１）の一実施例である、パッドデバイス１０４の一実施形態の図である。パッドデバイス１０４は、センサアレイを含み、センサアレイは、ユーザの身体部分、たとえば、手、指関節、指、足、指の一部、手の一部、足の一部、などによって乱された、光信号または音信号または電磁信号を検出するために使用される。

図３は、ＨＭＤ１０５がパッドデバイス１０２と併せて使用されるシステムの一実施形態の図である。ＨＭＤ１０５は、ユーザ３１２の頭部に装着される。ＨＭＤ１０５を装着している時、ユーザ３１２の目は覆われている。ユーザ３１２は、ＨＭＤ１０５がユーザ３１２の頭部上で支えられるまで、ＨＭＤ１０５を自身の頭部上で滑らせる。たとえば、ＨＭＤ１０５の表示デバイスに付けられたストラップを、ユーザ３１２の頭部の後ろにかかるように締め、ＨＭＤ１０５をユーザ３１２の頭部上で支えることを容易にする。

ＨＭＤ１０５は、カメラ３１０を有し、カメラ３１０は、ユーザ３１２の手及び／または手の影の画像と、パッドデバイス１０２の少なくとも一部の画像とを生成するために使用される画像データを取得する。画像データは、パッドデバイス１０２に対するユーザ３１２の手及び／または手の影の位置と、パッドデバイス１０２に対する手及び／または手の影の向きと、を含む。画像データは、ＨＭＤ１０５の通信デバイスから、ゲーム機の通信デバイスに通信される。画像データは、有線または無線の転送プロトコルを使用して通信され、それらの両方を以下に説明する。ゲーム機の通信デバイスは、画像データをゲーム機のゲームプロセッサに提供する。

ゲームプロセッサは、現実世界環境におけるユーザ３１２の手の位置と向きとを、画像データから判断する。たとえば、プロセッサ３１２は、画像データ内のユーザ３１２の手の位置、たとえば、（ｘ、ｙ、ｚ）座標、などを、ｘｙｚ座標システムの基準点、たとえば、原点（０、０、０）、などから特定する。

別の例として、ゲームプロセッサは、画像データ内のユーザ３１２の手の向き、たとえば、ユーザ３１２の手の軸によってｘ軸に対して形成される角度、その軸によってｙ軸に対して形成される角度、その軸によってｚ軸に対して形成される角度、これらの２つ以上の組み合わせ、などを使用して、現実世界環境におけるユーザ３１２の手の向きを特定する。ｘｙｚ座標システムを以下にさらに説明する。

ｘｙｚ座標システムの基準点に対するユーザ３１２の身体部分の位置は、ｘｙｚ座標システムのｘ軸に沿ったｘ方向の距離と、ｘｙｚ座標システムのｙ軸に沿ったｙ方向の距離と、ｘｙｚ座標システムのｚ軸に沿ったｚ方向の距離と、を含む、ということに留意すべきである。さらに、ｘｙｚ座標システムに対するユーザ３１２の身体部分の向きは、ユーザ３１２の身体部分によってｘ軸に対して形成される角度と、身体部分によってｙ軸に対して形成される角度と、身体部分によってｚ軸に対して形成される角度と、を含む。たとえば、ユーザ３１２の身体部分がｘｙｚ座標システムのある軸に対して回転すると、その軸に対する角度が変化する。

一実施形態では、ユーザの手の影のｘ位置は、ユーザの手のｘ位置と同じであり、影のｚ位置は、手のｚ位置と同じである、ということに留意すべきである。

本明細書で説明する実施形態のうちのいくつかを使用して、ユーザ３１２の手の位置と向きとを判断するが、その実施形態は、ユーザ３１２の別の身体部分または身体部分の影の位置と向きとを判断するために同様に適用される、ということにも留意すべきである。

一実施形態では、カメラ３１０を使用して手の画像とパッドデバイス１０２の画像とを取得する時、ｘｙｚ座標システムの基準点は、カメラ３１０が固定されているＨＭＤ１０５上の一点、たとえば、カメラ３１０のレンズの位置、などに配置されている。

一実施形態では、カメラ、たとえば、ゲーム機のカメラ、ＨＭＤのカメラ、独立して置かれたカメラ、テレビのカメラ、テレビの上に置かれたカメラ、などを使用して取得した身体部分の位置及び向きは、パッドデバイスのセンサを使用して取得した身体部分の位置と向きとを確認または否定するために使用される。たとえば、ゲーム機１０８のゲームプロセッサは、カメラを使用して取得した画像データから判断した位置が、パッドデバイスのセンサによって生成された電気信号から判断した、所定の範囲内の位置にあるかどうかを判断する。例示するために、電気信号は、センサがエネルギー、たとえば、可視光、赤外光、電磁場、などの乱れを感知した時に、パッドデバイスのセンサによって生成される。乱れは、ユーザの身体部分の動きによって作られる。画像データから判断した位置が、センサによって生成された電気信号から判断した、所定の範囲内の位置にあると判断すると、ゲームプロセッサは、身体部分の位置が正確であると確認する。一方で、画像データから判断した位置が、センサによって生成された電気信号から判断した、所定の範囲内の位置にないと判断すると、ゲームプロセッサは、身体部分の位置が正しくないと判断する。同様に、ユーザ３１２の身体部分の向きは、カメラを使用して取得した画像データからゲームプロセッサによって判断された身体部分の向きと、パッドデバイスのセンサによって生成された電気信号からゲームプロセッサによって判断された身体部分の向きと、の比較から、正確であることが確認または否定される。

一実施形態では、パッドデバイス１０２は、パッシブパッドデバイスであり、ＨＭＤ１０５のカメラ３１０がパッドデバイス１０２の表面の画像を取得する時、パッシブパッドデバイスは、ユーザ３１２の手に面しているその表面上に、パターン、または色、または表面質感、または印刷された色パターン、または色合い、またはそれらの２つ以上の組み合わせ、などを有する。たとえば、パッドデバイス１０２は、電気回路、たとえば、センサ、カメラ、エミッタ、プロセッサ、メモリデバイス、などを有さないパッシブデバイスである。別の例として、パッドデバイス１０２は、エネルギーセンサ及び／またはエネルギーエミッタを有し、ユーザ３１２の身体部分の位置と向きとを判断するためのカメラまたはプロセッサを有さない、パッシブデバイスである。

図４は、ゲーム機１０８のカメラ４１０が、ＨＭＤ１０６とパッドデバイス１０２と共に使用されるシステムの一実施形態の図である。ＨＭＤ１０５（図３）は、ＨＭＤ１０６の一実施例である。ゲーム機１０８のカメラ４１０は、画像データを、現実世界環境内のｘｙｚ座標システムに対する手及び／または手の影の相対位置及び／または相対向きに基づいて、生成する。画像データは、ｘｙｚ座標システムに対する、ユーザ３１２の手及び／または手の影の位置と向きとを含む。画像データ内のｘｙｚ座標システムに対するユーザ３１２の手及び／または手の影の位置と向きを、ゲーム機１０８のゲームプロセッサによって使用して、手のしぐさを判断し、しぐさをゲーム機のゲームプロセッサによって使用して、次の状態、たとえば、仮想環境の状態、ゲーム状態、などを判断する。たとえば、ユーザ３１２の手の複数の位置及び向きは、あるしぐさに対応する。しぐさデータと、身体部分の１つまたは複数の位置及び／または身体部分の１つまたは複数の向きと、の間の対応、たとえば、マップ、リンク、関連性、などは、ゲーム機１０８のゲームメモリデバイス内に格納されている。

身体部分のしぐさは、身体部分の、複数の位置及び／または複数の向きによって定められる。たとえば、仮想の銃をユーザ３１２が持っていることを示すしぐさは、ユーザ３１２の手の人差し指及び親指がまっすぐであり、手の残りの指が曲がっており、手が水平の向きを有している時に、形成される。別の例として、仮想の剣をユーザ３１２が持っていることを示すしぐさは、ユーザ３１２の手の人差し指及び親指がまっすぐであり、手の残りの指が曲がっており、手が垂直の向きを有している時に、形成される。

仮想環境画像データは、ゲームプロセッサによって、ゲームプロセッサによる次の状態に基づいて生成され、仮想環境画像データは、媒体、たとえば、有線媒体、無線媒体、などを介して、ＨＭＤ１０６に送信される。仮想環境画像データは、仮想環境をＨＭＤ１０６の表示画面に表示するために、ＨＭＤ１０６のプロセッサによって描画される。仮想環境を以下にさらに説明する。

いくつかの実施形態では、仮想環境画像データは、媒体、たとえば、有線媒体、無線媒体、などを介して、テレビの表示デバイスに送信される。仮想環境画像データは、仮想環境をテレビの表示画面に表示するために、テレビのプロセッサによって描画される。

一実施形態では、カメラ４１０を使用してパッドデバイス１０２上の手及び／または手の影の画像を取得する時、ｘｙｚ座標システムの基準点は、カメラ４１０が固定されているゲーム機１０８上の一点、たとえば、カメラ４１０の位置、カメラ４１０のレンズの位置、などに配置されている。

図５は、配列に配置されたエミッタとセンサとを含む、パッドデバイス１１０の一実施形態の図である。たとえば、パッドデバイス１１０は、ｘ軸のｘ方向に沿って水平に並んだ、エミッタＥＥ１と、エミッタＥＥ２と、エミッタＥＥ３と、エミッタＥＥ４と、を含む。別の例として、パッドデバイス１１０は、ｘ軸のｘ方向に沿って水平に並んだ、センサＳ１と、センサＳ２と、センサＳ３と、を含む。パッドデバイス１１０は、パッドデバイス１０２（図１）の一実施例である。

センサには、パッドデバイス１１０のエミッタが交ざっている。たとえば、エミッタＥＥ１、エミッタＥＥ２、エミッタＥＥ３、及びエミッタＥＥ４は、センサＳ１と、センサＳ２と、センサＳ３と並んでいる。さらに、本実施例では、エミッタＥＥ１にはセンサＳ１が続き、センサＳ１にはエミッタＥＥ２が続き、エミッタＥＥ２にはセンサＳ２が続き、センサＳ２にはエミッタＥＥ３が続き、エミッタＥＥ３にはセンサＳ３が続き、センサＳ３にはエミッタＥＥ４が続いている。

エミッタ及び／またはセンサは、パッドデバイス１１０内に一体化、たとえば、結合され、組み合わされ、統合され、組み込まれ、均一にされる、などし、パッドデバイス１１０の表面５０３上で可視である。

エミッタの例は、発光ダイオード（ＬＥＤ）、電磁エネルギー送信機、超音波トランシーバ、などを含む。センサの例は、光ダイオード、フォトレジスタ、フォトトランジスタ、光感知器、電磁エネルギーレシーバ、超音波センサ、マイク、などを含む。

パッドデバイス１１０のエミッタは、たとえば、光の形態、音の形態、電磁信号の形態、これらの２つ以上の組み合わせ、などのエネルギー、を、パッドデバイス１１０の上部の空間に向けて発する。空間は、図５では、破線とパッドデバイス１１０とによって囲まれている。一例として、空間の境界は、エネルギーエミッタによって発せられたエネルギーが徐々になくなる地点にある。ユーザ３１２の身体部分が、表面５０３の上の空間と関わると、パッドデバイス１１０のエミッタによって発せられたエネルギーは、身体部分に入射し、身体部分は、エネルギーの一部を反射する。一例として、ユーザ３１２は、手のしぐさを行うことによって、または自身の手を空間内で動かすことによって、または自身の指を空間内で動かすことによって、などして空間と関わる。パッドデバイスのセンサは、身体部分によって乱された、たとえば、光の形態、音の形態、電磁信号の形態、などのエネルギーを、感知、たとえば、検出、などして、パッドデバイス１１０に対する空間内での身体部分の位置を判断する。

一実施形態では、身体部分の影は、身体部分が表面５０３の上の空間と関わった時に、表面５０３上に作られる、ということに留意すべきである。影は、パッドデバイス１１０のセンサのうちのいくつかを覆い、パッドデバイス１１０のセンサの残りは覆わない。影は、上に影が形成されるパッドデバイス１１０のセンサによって測定される光の強度を、減少させる。

身体部分が空間と関わる時、身体部分は表面５０３に触れない、ということにも留意すべきである。

空間の形は、図５に示すものに限定されない、ということもさらに留意すべきである。たとえば、空間は、他の形、たとえば、四角形、雲形、円形、楕円形、などを使用して例示される。

一実施形態では、空間は、形がない。

一実施形態では、パッドデバイス１１０は、任意の数のエミッタ、たとえば、１つのエネルギーエミッタ、複数のエネルギーエミッタ、などを含む。

一実施形態では、パッドデバイス１１０のエネルギーエミッタ、たとえば、赤外光エミッタ、可視光エミッタ、電磁場生成器、などは、パッドデバイス１１０の表面積を覆うパターンに配置されており、パッドデバイス１１０の表面上に密度を作るように配置されている。電磁場生成器の一例は、中を通って電流が移動する導体を含む。エミッタのパターンの例は、マトリックスパターン、斜線パターン、ジグザグパターン、ランダムパターン、星形パターン、垂直配向パターン、水平配向パターン、などを含む。別の例として、パッドデバイス１１０のエネルギーエミッタ、たとえば、赤外光エミッタ、可視光エミッタ、電磁場生成器、などは、パッドデバイス１１０の縁に沿って配置されている。

一実施形態では、パッドデバイス１１０は、任意の数のセンサを含む。

一実施形態では、パッドデバイス１１０のセンサは、パッドデバイス１１０の表面積を覆うパターンに配置されており、パッドデバイス１１０の表面上に密度を作るように配置されている。センサのパターンの例は、マトリックスパターン、斜線パターン、ジグザグパターン、ランダムパターン、星形パターン、垂直配向パターン、水平配向パターン、などを含む。

一実施形態では、パッドデバイス１１０のセンサは、パッドデバイス１１０のエミッタとは異なるパターンを形成する配列に配置されている。たとえば、パッドデバイス１１０のセンサは、パッドデバイス１１０の表面上で斜線パターンに配置されており、パッドデバイス１１０のエミッタは、表面上で、水平パターンまたは垂直パターンに配置されている。

一実施形態では、エミッタをパッドデバイス１１０に一体化する代わりに、エミッタは、表面５０３に、付けられ、たとえば、糊付け、接着、などされる。

一実施形態では、各エミッタまたは各センサの電極は、パッドデバイス１１０内に組み込まれており、電源、たとえば、バッテリ、などに接続されている。一実施形態では、電力をパッドデバイス１１０のエミッタ及び／またはセンサに提供するための電源は、パッドデバイス１１０内に一体化されている。

一実施形態では、パッドデバイス１１０の各エミッタ及び／または各センサは、電力を、交流（ＡＣ）電源から、たとえば、ワイヤ、たとえば、導体、などを介して電気コンセントに接続された、パッドデバイス１１０の電力ポートを介して、受信する。

一実施形態では、スイッチ、たとえば、トグルスイッチ、手動制御スイッチ、などは、電源と、パッドデバイス１１０のセンサとエミッタとのグループとの間に置かれている。スイッチをオンにして、電力が、電源からパッドデバイス１１０のエミッタとセンサとに提供されることを可能にする。

一実施形態では、パッドデバイス１１０のエミッタ及びセンサは、任意の他の様式で交ざっている。たとえば、１つのエミッタには２つのセンサが続き、または２つのエミッタには１つのセンサが続く。本実施例では、任意または全部のエミッタは、任意または全部のセンサに並んでいる。

一実施形態では、エミッタは、パッドデバイス１１０のセンサに並んでいない。たとえば、パッドデバイス１１０のエミッタ及びセンサは、パッドデバイス１１０の表面５０３で、ランダムパターンまたは疑似ランダムパターンに配置されている。

センサとエミッタとを使用してユーザ３１２の身体部分の位置と向きとを判断する一実施形態では、ｘｙｚ座標システムの基準点は、パッドデバイス１１０上の一点、たとえば、センサの位置、エミッタの位置、などに配置されている。

図６Ａは、ユーザ３１２によって自身の手に持たれているパッドデバイス１１０の一実施形態の図である。パッドデバイス１１０は、エミッタとセンサとを含む。センサは、電気信号を生成し、電気信号は、ユーザ３１２の手の位置と向きとを判断するために、ＨＭＤ１０６のプロセッサまたはゲーム機１０８のゲームプロセッサに通信される。

ユーザ３１２の手がパッドデバイス１１０の上面の上の空間に入ると、ユーザ３１２の手を表す仮想の手６０２が、ＨＭＤ１０６の表示画面に表示される仮想環境６０６に入る。ユーザ３１２は、自身の手を空間の中に入れて、仮想の手６０２を使用することによって、仮想環境６０６内の仮想の子犬６０４に触れる。ユーザ３１２は、自身の手をパッドデバイス１１０上で滑らせて、仮想の手６０２を使用することによって、仮想環境６０６内の仮想の子犬６０４をなでる。仮想の子犬６０４は、ユーザ３１２の接触に反応する。たとえば、仮想の子犬６０４は、仮想の手６０２が仮想の子犬６０４に触れ、またはなでると、その尾を振り、または起き上がり、または転がる、などする。

図６Ｂは、エネルギー画像６１０の生成と、ユーザ３１２の手の動きを用いた複数のエネルギー画像の生成と、を例示するために使用される図である。パッドデバイス１１０のセンサは、ユーザ３１２の左腕の一部によって乱されたエネルギー信号を感知して、エネルギー画像６１０を生成する。エネルギー画像６１０は、左腕の一部の輪郭を含む。輪郭は、パッドデバイス１１０の、ユーザ３１２の左腕の一部によって乱されたエネルギーを感知する、センサによって占められた領域を囲む。

ユーザ３１２が自身の左腕を期間ｔに渡って動かすと、左腕の一部の動きを追うために、複数のエネルギー画像がパッドデバイス１１０のセンサによって生成される。エネルギー画像６１０は、パッドデバイス１１０の通信デバイスから、有線媒体または無線媒体を介して、ゲーム機１０８の通信デバイスに提供される。エネルギー画像６１０は、パッドデバイス１１０のセンサによって生成された電気信号の強度を含む。エネルギー画像６１０内に提供される強度をゲーム機１０のゲームプロセッサによって使用して、ユーザ３１２の左腕の一部の位置と向きとを判断する。

同様に、複数のエネルギー画像が、ユーザ３１２の左腕の一部の位置と向きとを判断するために、ゲーム機１０６のゲームプロセッサによって解析される。位置と向きとを使用して、ユーザ３１２により行われたしぐさを判断し、しぐさをゲームプロセッサによって使用して、仮想環境６０６内の１つまたは複数の仮想オブジェクトの１つまたは複数の状態、たとえば、仮想の手６０２の状態、仮想の子犬６０４の状態、これらの組み合わせ、などに関するデータを特定する。

１つまたは複数の状態に関するデータは、ゲーム機１０８の通信デバイスからＨＭＤ１０６の通信デバイスに提供される。ＨＭＤ１０６のプロセッサは、１つまたは複数の状態に関するデータを描画して、対応する１つまたは複数の状態を有する１つまたは複数の仮想オブジェクトを、ＨＭＤ１０６の表示画面に表示する。

図６Ｃは、エネルギーセンサＳＳ１からエネルギーセンサＳＳ３を含むＨＭＤ６７０を例示した図である。ＨＭＤ６７０は、ＨＭＤ１０６（図６Ａ）の一実施例である。パッドデバイス１１０のエネルギーエミッタによって発せられたエネルギー、たとえば、光エネルギー、などは、電気信号を生成するために、エネルギーセンサＳＳ１からエネルギーセンサＳＳ３によって感知される。信号は、ゲーム機１０８のゲームプロセッサによって受信されるために、ＨＭＤ６７０の通信デバイスからゲーム機１０８の通信デバイスに通信される。ＨＭＤ６７０に配置された基準座標システムに対する、ユーザの手の位置及び／または向きは、ゲームプロセッサによって、パッドデバイス１１０のセンサによる手の位置及び／または向きの判断と同様の方法で、判断される。

一実施形態では、パッドデバイス１１０のエミッタは、第１の周波数の光を第１の期間に渡って発し、第２の周波数の光を、第１の期間に続く第２の期間に渡って発するように、予めプログラムされている。ＨＭＤ６７０のセンサは、第１の周波数で発せられた光を感知するように予めプログラムされ、パッドデバイス１１０のセンサは、第２の周波数で発せられた光を感知する。たとえば、ＨＭＤ６７０のセンサは、パッドデバイス１１０の発光タイミングと同期する、たとえば、有効になる、オンになる、作動する、などして、第１の期間に渡って発せられた光を感知する。

一実施形態では、パッドデバイス１１０のエミッタは、第１のパターン、たとえば、ジグザグパターン、行パターン、列パターン、などの光を、第１の期間に渡って発し、第２のパターンの光を、第１の期間に続く第２の期間に渡って発するように、予めプログラムされている。第２のパターンは、第１のパターンとは異なる。ＨＭＤ６７０のセンサは、第１のパターンを使用して発せられた光を感知するように予めプログラムされており、パッドデバイス１１０のセンサは、第２のパターンを使用して発せられた光を感知するように予めプログラムされている。たとえば、ＨＭＤ６７０のセンサは、パッドデバイス１１０の発光タイミングと同期して、第１のパターンを使用して発せられた光を感知する。

一実施形態では、パッドデバイス１１０のエミッタは、光を第１の期間に渡って発するように予めプログラムされており、エミッタのうちのいくつか、たとえば、１つまたは複数は、光を、第１の期間に続く第２の期間に渡って発する。ＨＭＤ６７０のセンサは、エミッタのうちのいくつかによって発せられた光を感知するように予めプログラムされており、パッドデバイス１１０のセンサは、パッドデバイス１１０の全てのエミッタによって発せられた光を感知するように予めプログラムされている。たとえば、ＨＭＤ６７０のセンサは、パッドデバイス１１０の発光タイミングに同期して、エミッタのうちのいくつかによって第２の期間に渡って発せられた光を感知する。

一実施形態では、パッドデバイス１１０のエミッタは、光を第１の期間に渡って発するように予めプログラムされており、エミッタのうちのいくつかは、光を、第１の期間に続く第２の期間に渡って発する。ＨＭＤ６７０のセンサは、エミッタの全部によって第１の期間に渡って発せられた光を感知し、パッドデバイス１１０のセンサは、パッドデバイス１１０のいくつかのエミッタによって第２の期間に渡って発せられた光を感知する。たとえば、ＨＭＤ６７０のセンサは、パッドデバイス１１０の発光タイミングに同期して、第１の期間に渡って発せられた光を感知する。

一実施形態では、ＨＭＤ６７０は、任意の数のセンサを含む。

図７Ａは、ＨＭＤ１０５のカメラと併せて使用されるパッドデバイス１１０の一実施形態の図である。パッドデバイス１１０は、ユーザ３１２の手に持たれており、ユーザ３１２の他方の手は、パッドデバイス１１０の上の空間内にある。

図７Ｂは、カメラを含むパッドデバイス１１２の一実施形態の図である。一実施形態では、パッドデバイス１１２は、アクティブパッドデバイスの一実施例であり、パッドデバイス１１２は、パッシブパッドデバイスの一実施例である。パッドデバイス１１２は、パッドデバイス１０２（図１）の代わりに使用される。パッドデバイス１１２の例は、タブレットと、スマートフォンと、ファブレットと、スクリーンディスプレイとを含む。パッドデバイス１１２は、色付きの背景、たとえば、緑色の背景、青色の背景、などを生成する表示画面を有する。ユーザ３１２は、自身の他方の手をパッドデバイス１１２の上にある空間内に置いて、手によって乱された信号を感知することを可能にする。パッドデバイス１１２のカメラ７１０は、ユーザ３１２の手の画像データを生成し、画像データは、パッドデバイス１１２に対する手の相対位置、及び／またはパッドデバイス１１２に対する手の相対向きを判断するために、ＨＭＤ１０６のプロセッサまたはゲーム機１０８（図４）のゲームプロセッサによって、本明細書で説明した方法と同様の方法で解析される。

一実施形態では、ユーザ３１２は、パッドデバイス１１２の表示画面に触れて、しぐさを形成し、しぐさデータは、パッドデバイス１１２に提供される。本実施形態では、パッドデバイス１１２は、ユーザ３１２によるパッドデバイス１１２の表示画面への接触の量を感知する、容量センサを含む。

一実施形態では、表示画面の例は、液晶ディスプレイ（ＬＣＤ）画面、ＬＥＤディスプレイ画面、プラズマディスプレイ画面、などを含む。

カメラ７１０を使用してユーザ３１２の身体部分の位置と向きとを判断する一実施形態では、ｘｙｚ座標システムの基準点は、パッドデバイス１１２上の一点、たとえば、カメラ７１０の位置、カメラ７１０のレンズの位置、などに配置されている、ということに留意すべきである。

一実施形態では、パッドデバイス１１２のカメラ７１０によって生成された画像データを、ＨＭＤ１０５のカメラ３１０によって生成された画像データと併せて使用して、身体部分の位置及び／または向きの正確さを確認または否定する。たとえば、カメラ７１０を使用して取得した画像データを、ゲーム機１０８のゲームプロセッサによって使用して、ユーザ３１２の身体部分の第１の位置及び／または第１の向きを判断する。さらに、本実施例では、カメラ３１０によって取得した画像データを、ゲーム機１０８のゲームプロセッサによって使用して、ユーザ３１２の身体部分の第２の位置及び／または第２の向きを判断する。ゲームプロセッサは、第１の位置が第２の位置の所定の範囲内にあるかどうかと、第１の向きが第２の向きの所定の範囲内であるかどうかと、を判断する。第１の位置が第２の位置の所定の範囲内にあり、第１の向きが第２の向きの所定の範囲内であると判断すると、ゲームプロセッサは、第１の位置と第１の向きとの正確さを確認し、第１の位置と第１の向きとに対応する仮想オブジェクトの状態を特定する。一方で、第１の位置が第２の位置の所定の範囲内にないと判断すると、ゲームプロセッサは、第１の位置が正確でないと判断し、第１の向きが第２の向きの所定の範囲内でないと判断すると、ゲームプロセッサは、第１の向きが正確でないと判断する。ゲームプロセッサは、第１の不正確な位置と第１の不正確な向きとに対応する仮想オブジェクトの状態を特定せず、身体部分の位置と向きとが正確であると確認されるまで待機する。仮想オブジェクトの状態を、以下にさらに説明する。

一実施形態では、パッドデバイスは、色付きの光を発して、ＨＭＤ１０５のカメラ３１０による、身体部分の画像データの取得を容易にする、ということに留意すべきである。

一実施形態では、パッドデバイス１１２は、タッチセンサ、たとえば、パッドデバイス１１２の表示画面内に組み込まれた、コンデンサ、抵抗、などを含む。ユーザが表示画面に触れると、コンデンサによって格納されている電荷の量、または抵抗を通過する電流の量が変化して、電気信号を生成する。電気信号は、パッドデバイス１１２の通信デバイスとゲーム機の通信デバイスとを介して、ゲーム機のプロセッサに通信される。ゲーム機のプロセッサは、電気信号を生成し、受信する、表示画面上のタッチセンサの位置から、ユーザの指の位置を特定する。たとえば、指の位置は、タッチセンサの位置と同じである。

図８は、テレビ１１４を使用してユーザ３１２の手の位置と向きを判断するシステムの一実施形態の図である。テレビ１１４のカメラは、画像データを生成するために、ユーザ３１２の手の画像を取得する。画像データは、本明細書で説明する媒体を介して、ＨＭＤ１０６及び／またはゲーム機１０８に送信される。本明細書で説明する方法と同様の方法では、ＨＭＤ１０６のプロセッサまたはゲーム機１０８のゲームプロセッサは、画像データに基づいて、現実世界環境におけるユーザ３１２の手の位置と向きとを判断する。

一実施形態では、カメラがテレビ１１４内に一体化されている代わりに、カメラは、ユーザ３１２がＨＭＤの表示画面に表示された仮想環境とやり取りを行う、現実世界、たとえば、部屋、オープン空間、などの中に独立して置かれている。

一実施形態では、カメラ、たとえば、ＨＭＤのカメラ、ゲーム機のカメラ、テレビのカメラ、独立して置かれたカメラ、などは、ユーザの手の画像データを取得する。画像データは、カメラに接続された通信デバイスから、ゲーム機の通信デバイスに提供される。ゲーム機のプロセッサは、ユーザがパッドデバイスと関わったかどうか、たとえば、パッドデバイスの表面の上でしぐさをしたかどうか、表面に接したかどうか、表面を軽く叩いたかどうか、表面を複数回軽く叩いたかどうか、などを判断する。ユーザがパッドデバイスと関わったと判断すると、プロセッサは、制御信号を、ゲーム機の通信デバイスを介して、パッドデバイスの通信デバイスに送信する。パッドデバイスのプロセッサは、制御信号を、パッドデバイスの通信デバイスを介して受信し、オン信号をスイッチに送信し、スイッチは、パッドデバイスのセンサ及び／またはエミッタを、パッドデバイスの電源、たとえば、バッテリ、などに接続するために、オンになる。オン信号を受信すると、スイッチは、センサによるエネルギーの感知、及び／またはエネルギーエミッタによるエネルギーの放出を可能にするために、センサ及び／またはエミッタを電源に接続する。スイッチの例は、トランジスタ、またはトランジスタのグループを含む。

図９は、パッドデバイス１１２が、手及び／またはＨＭＤ１０６を見るために、支持体、たとえば、テーブル、椅子、台、机、などに対して角度σで置かれているシステムの一実施形態の側面図である。パッドデバイス１１２のカメラ７１０によって生成された画像データ、及び感知された信号は、媒体を介して、ゲーム機のゲームプロセッサに送信される。

一実施形態では、パッドデバイス１１２の後向きカメラ９０２は、現実世界環境、たとえば、パッドデバイス１１２の後ろの壁、パッドデバイス１１２の後ろの背景、パッドデバイス１１２の後ろの絵画、パッドデバイス１１２の後ろのライティングボード、などの画像データを取得する。後向きカメラ９０２は、カメラ７１０が配置されているパッドデバイス１１２の表面とは反対の、パッドデバイス１１２の表面９０２上に配置されている。後向きカメラによって取得された画像データは、パッドデバイス１１２上に表示する色を判断するために、パッドデバイスのプロセッサ１１２によって解析される。その色は、その色を、パッドデバイス１１２の後ろの現実世界環境の色と対比するために表示される。対比は、手がパッドデバイス１１２の表示画面の前、または上、または下に置かれた時に、ユーザ３１２によって装着されたＨＭＤのカメラが、ユーザ３１２の手の位置と向きとを現実世界環境から区別することを容易にする。手が、パッドデバイス１１２の表示画面の前、または上、または下に置かれた時、手は、表示画面に向いている。

一実施形態では、パッドデバイス１１２の後ろの現実世界環境の色と対比する色を表示する代わりに、またはそれに加えて、パッドデバイス１１２は、パッドデバイス１１２の下の現実世界環境、たとえば、部屋の床、などの色、またはパッドデバイス１１２の上の現実世界環境、たとえば、部屋の天井、などの色、またはパッドデバイス１１２の前の現実世界環境の色、またはこれらの２つ以上の組み合わせ、と対比する色を表示する。

一実施形態では、現実世界環境の色と対比する色を表示する代わりに、またはそれに加えて、パッドデバイス１１２は、現実世界環境の陰影と対比する陰影を表示し、または現実世界環境の質感と対比する質感を表示し、または現実世界環境のパターンと対比するパターンを表示し、またはこれらの２つ以上の組み合わせを表示する。

図１０は、パッドデバイス１０２に対するユーザ３１２の手の位置、及び／またはパッドデバイス１０２に対する手の１つまたは複数の指の位置、及び／またはパッドデバイス１０２に対するユーザ３１２の手の向き、及び／またはパッドデバイス１０２に対する手の１つまたは複数の指の向きに基づいて、ＨＭＤ１０６の表示画面上の画像１０１２内に表示された仮想オブジェクト１０１０の一実施形態の図である。仮想オブジェクトは、フットボールのボールであり、ＨＭＤ１０６のプロセッサによって生成される、ということに留意すべきである。仮想オブジェクトの他の例は、仮想の銃、仮想の車両、ユーザ３１２の仮想の手、仮想ユーザ、ユーザ３１２のアバター、仮想の木、仮想の静止物、仮想の兵士、仮想の爬虫類、仮想の恐竜、などを含む。

仮想オブジェクト１０１０の位置及び向きは、ゲームプロセッサによって、仮想世界にあるＸＹＺ座標システムに対して判断される。たとえば、仮想オブジェクト１０１の位置は、ＸＹＺ座標システムのＸ軸に沿った、ＸＹＺ座標システムの基準点（０、０、０）からの距離と、ＸＹＺ座標システムのＹ軸に沿った、ＸＹＺ座標システムの基準点（０、０、０）からの距離と、ＸＹＺ座標システムのＺ軸に沿った、ＸＹＺ座標システムの基準点（０、０、０）からの距離と、を含む。別の例として、仮想オブジェクト１０１の向きは、Ｘ軸に対して仮想オブジェクト１０１の軸によって形成される角度と、Ｙ軸に対して仮想オブジェクト１０１の軸によって形成される角度と、Ｚ軸に対して仮想オブジェクト１０１の軸によって形成される角度と、を含む。

いくつかの実施形態では、仮想オブジェクトは、テレビの表示画面上に、ゲーム機から受信した画像データに基づいて描画される。

ｘｙｚ座標システムは、現実世界におけるユーザ３１２の身体部分の位置と向きとを測定するために使用され、ＸＹＺ座標システムは、仮想環境における仮想オブジェクトの位置と向きとを測定するために使用される、ということにさらに留意すべきである。たとえば、ユーザ３１２が、自身の手を、パッドデバイス１０２に近づくようにｙ方向に動かすと、仮想オブジェクト１０１０は、Ｙ方向に下がる。別の例として、ユーザ３１２が、自身の手を、パッドデバイス１０２から離れるようにｙ方向に動かすと、仮想オブジェクト１０１０は、Ｙ方向に上がる。さらに別の例として、ユーザ３１２が、ｙ軸に対する角度を形成するために自身の手の向きを変えると、仮想オブジェクト１０１は、その向きを変えて、仮想オブジェクトの軸が、Ｙ軸に対して同じ角度または別の比例する角度を形成するようにする。

図１１は、マーカーＭ１、マーカーＭ２、及びマーカーＭ３が上に置かれている、パッドデバイス１１６の一実施形態の図である。マーカーの例は、反射テープ、発光ダイオード、発光体、赤外光発光体、再帰反射テープ、コード、記号、などを含む。マーカーは、パッドデバイス１１６の上面に、取り付けられ、たとえば、糊付けされ、内部に組み込まれている、などである。

マーカーは、ユーザ３１２の手によって、カメラ３１０から塞がれている。ＨＭＤ１０５のカメラ３１０は、ユーザ３１２の手と、ユーザ３１２の手によって塞がれていないマーカーとの画像データを生成し、画像データを、ゲーム機１０６のゲームプロセッサによって使用して、パッドデバイス１１６に対する手の相対位置及び／またはパッドデバイス１１６に対する手の相対向きを判断する。一例として、カメラ３１０によって取得される画像データは、パッドデバイス１１６上のマーカーと、ユーザ３１２の手の指との間の距離を含む。別の例として、カメラ３１０によって取得される画像データは、パッドデバイス１１６の上面の上のマーカーを通過する軸に対する、ユーザ３１２の手の指の向きを含む。

一実施形態では、パッドデバイス１１６は、任意の数のマーカーを含む。

一実施形態では、マーカーは、パターン、たとえば、マーカーの平行な行及び垂直な列、マーカーの斜めの行及び斜めの列、ランダムパターン、湾曲パターン、楕円パターン、円形パターン、正方形パターン、多角形パターン、ジグザグパターン、などでパッドデバイス１１６に付けられる。

一実施形態では、マーカーは、任意の色、たとえば、緑、青、赤、などであって、ユーザの手によって塞がれているマーカーを、手によって塞がれていないマーカーから容易にする。

図１２は、２つのパッドデバイス１１８Ａと１１８Ｂとを使用するシステムの一実施形態の図である。各パッドデバイス１１８Ａ及び１１８Ｂは、パッドデバイス１０２（図１）の一実施例である。ユーザ３１２は、自身の左手をパッドデバイス１１８Ａの上に置き、自身の右手をパッドデバイス１１８Ｂの上に置く。各パッドデバイス１１８Ａ及び１１８Ｂは、ユーザ３１２の対応する手によって乱された信号に関連するデータを、ゲーム機１０８のゲームプロセッサに通信する。ゲーム機１０８のゲームプロセッサは、対応するパッドデバイスに対する各手の位置及び／または向きを、パッドデバイス１０２に対して本明細書で説明したものと同様の方法で生成する。

さまざまな実施形態では、ＨＭＤ１０５は、対応するパッドデバイス１１８Ａとパッドデバイス１１８Ｂとに対する、ユーザ３１２の両手の画像データを生成する広角カメラを有する。

いくつかの実施形態では、ゲーム機１０８のカメラは、対応するパッドデバイス１１８Ａとパッドデバイス１１８Ｂとに対する、ユーザ３１２の両手の画像データを生成する広角を有する。

図１３は、ユーザ３１２が自身の両足をパッドデバイス１２０の上に置く、方法の一実施形態の図であり、パッドデバイス１２０は、本明細書で説明したパッドデバイス１０２とは異なる種類のうちの任意のものの一実施例である。パッドデバイス１２０は、媒体を介して、ＨＭＤ１０４及び／またはゲーム機と通信する。パッドデバイス１２０の一例は、現実世界環境の床の上に置かれた、マット、たとえば、ヨガマット、滑り止め付きマット、滑り止め加工マット、粘着マット、などを含む。例示すると、ユーザ３１２は、ＨＭＤ１０６に表示されるヨガポーズに従ってヨガを行うために、パッドデバイス１２０を使用する。

図１４は、ユーザ３１２が、自身の右足をパッドデバイス１２２Ａ上に置き、自身の左足をパッドデバイス１２２Ｂ上に置いている一実施形態の図である。各パッドデバイス１２２Ａ及び１２２Ｂは、本明細書で説明したパッドデバイス１０２とは異なる種類のものうちの任意のものの一実施例である。各パッドデバイス１２２Ａ及び１２２Ｂは、対応する媒体を介して、ＨＭＤ１０４及び／またはゲーム機１０８と、本明細書で説明したものと同様の方法で通信する。ゲーム機１０８のゲームプロセッサは、パッドデバイス１２２Ａのｘｙｚ座標システムに対するユーザ３１２の左足の位置及び／または向きを、ユーザ３１２の身体部分に対するパッドデバイス１１０の位置及び／または向きを判断した、本明細書で説明したものと同様の方法で判断する。同様に、ゲーム機１０８のゲームプロセッサは、パッドデバイス１２２Ｂのｘｙｚ座標システムに対するユーザ３１２の右足の位置及び／または向きを、ユーザ３１２の身体部分に対するパッドデバイス１１０の位置及び／または向きを判断した、本明細書で説明したものと同様の方法で判断する。

図１５は、マーカー、たとえば、Ｍ１、Ｍ２、などの配列と、エネルギーセンサ、たとえば、Ｓ１、Ｓ２、などの配列と、エネルギーエミッタ、ＥＥ１、ＥＥ２、などの配列と、を含むパッドデバイス１２４の一実施形態の図である。パッドデバイス１２４は、パッドデバイス１０２（図１）の一実施例である。

マーカー、エネルギーセンサ、及び／またはエネルギーエミッタは、パッドデバイス１２４上であるパターンに配置されており、またはランダムに配置されている。たとえば、マーカー、エネルギーセンサ、及び／またはエネルギーエミッタは、縦に、たとえば、縦の列に並んでいる。別の例として、マーカー、エネルギーセンサ、及び／またはエネルギーエミッタは、パッドデバイス１２４に斜めに並んでいる。さらに別の例として、マーカー、エネルギーセンサ、及び／またはエネルギーエミッタは、パッドデバイス１２４上に、湾曲パターンに配置されている。別の例として、マーカー、エネルギーセンサ、及び／またはエネルギーエミッタは、パッドデバイス１２４上に、ジグザグパターンに配置されている。

一実施形態では、任意の数のマーカーが、パッドデバイス１２４上で、センサの前にある。たとえば、２つ以上のマーカーが、センサＳ１の前にある。

一実施形態では、任意の数のセンサが、パッドデバイス１２４上で、エネルギーエミッタの前にある。たとえば、２つ以上のセンサが、エネルギーエミッタＥＥ１の前にある。

一実施形態では、任意の数のエネルギーエミッタが、パッドデバイス１２４上で、マーカーの前にある。たとえば、２つ以上のエネルギーエミッタが、マーカーＭ１の前にある。

一実施形態では、マーカーとセンサとエミッタとの順序は、図１５に示したものと比較して、変更されている。たとえば、センサは、エネルギーエミッタが後に続き、エネルギーエミッタは、さらにマーカーが後に続く。別の例として、エネルギーエミッタは、マーカーが後に続き、マーカーは、さらにセンサが後に続く。

いくつかの実施形態では、パッドデバイス１２４は、マーカーの配列とセンサの配列とを含むが、エミッタの配列は含まない。

図１６は、ユーザ３１２の両手を覆うある量の光または音または電磁信号を発する、細長いパッドデバイス１２６の一実施形態の等角図である。パッドデバイス１２６の一例は、マットを含み、マットは、ユーザ３１２によって、折り畳まれ、まっすぐ伸ばされることができる。パッドデバイス１２６は、パッドデバイス１０２（図１）の一実施例であり、ゲーム機１０８及び／またはＨＭＤ１０６に接続されている。

図１７は、ＨＭＤ１２８の一実施形態の図であり、ＨＭＤ１２８は、ＨＭＤ１０４の一実施例である。ＨＭＤ１２８は、複数のエネルギーエミッタ、たとえば、ＥＥ１、ＥＥ２、などと、複数のエネルギーセンサ、たとえば、Ｓ１、Ｓ２、などと、を含む。たとえば、エネルギーエミッタ及びエネルギーセンサは、ＨＭＤ１２８の下面に、取り付けられ、たとえば、糊付けされ、組み込まれ、はんだ付けされ、などされている。ＨＭＤ１２８のエネルギーエミッタは、エネルギー、たとえば、電磁エネルギー、可視光、赤外光、などを、ユーザ３１２の手に向けて発する。ユーザ３１２の手によって乱されたエネルギーは、電気信号、たとえば、電磁エネルギー場の乱れを示す電気信号、光との干渉を示す電気信号、などを生成するために、ＨＭＤ１２８のエネルギーセンサによって感知される。同様に、ＨＭＤ１２８の他のエネルギーセンサは、他の電気信号を生成する。電気信号は、デジタル形式に変換され、ＨＭＤ１２８のセンサから、ＨＭＤ１２８の通信デバイスとゲーム機１０８の通信デバイスとを介して、ゲーム機１０８のゲームプロセッサに通信される。デジタル信号から、ゲーム機１０８のゲームプロセッサは、ＨＭＤ１２８のｘｙｚ座標システムに対する、手の相対位置及び／または相対向きを判断する。

さまざまな実施形態では、ＨＭＤ１２８のエミッタによって発せられたエネルギーは、パッドデバイス１０２のｘｙｚ座標システムに対するユーザ３１２の手の位置と向きとを判断するために、パッドデバイス１０２のセンサによって感知される。

ＨＭＤ１２８のエネルギーエミッタとエネルギーセンサとを使用してユーザ３１２の身体部分の位置と向きとを判断する一実施形態では、ｘｙｚ座標システムの基準点は、ＨＭＤ１２８上の一点、たとえば、エネルギーエミッタの位置、エネルギーセンサの位置、などに配置されている、ということに留意すべきである。

図１８は、そこよりも内側でユーザ３１２の手の動きが検出される、空間の境界１８０２がある、ということを例示するための図である。たとえば、手が境界１８０２の内部にある、たとえば、境界１８０２の下にある、などの時、パッドデバイス１０２のセンサは、手から反射した光または音を感知する。一方で、手が境界１８０２の外にある、たとえば、境界１８０２の上にある、などの時、パッドデバイス１０２のセンサが、手から反射した光または音を感知することは困難である。

一実施形態では、境界１８０２は、パッドデバイス１０２の向きに基づいて定められる。たとえば、パッドデバイス１０２が直立して置かれている時、境界１８０２は、パッドデバイス１０２の上面に対して、垂直、または実質的に垂直、または平行、または実質的に平行であり、パッドデバイス１０２の長さと幅とに沿って伸びる。たとえば、表面５０３（図５）は、パッドデバイス１１０（図５）の上面である。ユーザ３１２の手は、手がパッドデバイス１０２の上面と境界１８０２との間にある時、境界１８０２内にある。手は、手がパッドデバイス１０２の上面と境界１８０２との間にない時、境界の外にある。

一実施形態では、手がパッドデバイス１０２からの境界１８０２内にある時、手は、パッドデバイス１０２の近くに置かれている。たとえば、手がパッドデバイス１０２から、０．５インチから１２インチ内に置かれている時、手は、パッドデバイス１０２の近くに置かれている。別の例として、手がパッドデバイス１０２から、０．２５インチから１８インチ内に置かれている時、手は、パッドデバイス１０２の近くに置かれている。さらに別の例として、手が、パッドデバイス１０２のエネルギーエミッタから発せられるエネルギーの空間Ｖ内に置かれている時、手は、パッドデバイス１０２の近くに置かれている。

図１９は、ユーザ３１２によって行われたしぐさに基づいた、仮想オブジェクト１９１０、たとえば、仮想のキーボード、などの生成を例示するために使用される図である。ユーザ３１２は、自身の指で、パッドデバイス１２６を軽く叩く。パッドデバイス１２６は、パッドデバイス１０２に対して本明細書で説明した方法で、ゲーム機１０６のゲームプロセッサと通信する。ゲーム機１０６のゲームプロセッサは、仮想オブジェクトデータを生成し、仮想オブジェクトデータをＨＭＤ１０４に提供し、ＨＭＤ１０４は、仮想オブジェクト１９１０を、ＨＭＤ１０４の表示画面に表示する。仮想のキーボードは、パッドデバイス１２６を表している、ということに留意すべきである。たとえば、仮想のキーボードは、パッドデバイス１２６の形に類似の形を有している。ゲーム機１０６のゲームプロセッサは、パッドデバイス１２６の形に類似の形を有する仮想オブジェクト１９１０を表示するようにプログラムされている。

さまざまな実施形態では、軽く叩くことの代わりに、他のしぐさ、たとえば、ダブルタップ、フリック、ウェービング、スライド、などを使用して、仮想オブジェクトを生成する。

いくつかの実施形態では、複数のしぐさを使用して、仮想オブジェクトを生成する。

しぐさによって生成される仮想オブジェクトの他の例は、仮想のマウス、仮想の電話、仮想のペン、などを含む。

図２０Ａは、パッドデバイス１３０の一実施形態のブロック図であり、パッドデバイス１３０は、パッドデバイス１０２（図１）の一実施例である。パッドデバイス１３０は、１つまたは複数のエネルギーエミッタと、１つまたは複数のエネルギーセンサと、カメラと、通信デバイスとを含む。通信デバイスの例は、別の通信デバイスと通信するために、Ｗｉ−Ｆｉ通信プロトコルを使用する通信デバイス、またはイーサネット通信プロトコルを使用する通信デバイス、またはユニバーサルシリアルバス（ＵＳＢ）通信プロトコルを使用する通信デバイス、またはシリアル通信プロトコルまたはパラレル通信プロトコルを使用する通信デバイス、またはＢｌｕｅｔｏｏｔｈ通信プロトコルを使用する通信デバイスを含む。カメラの例は、画像を後で再生または処理するために、メモリデバイス内に格納するための画像、または別の場所に転送するための画像、を取得する光学機器を含む。例示すると、カメラは、デジタルカメラ、デプスカメラ、電荷結合素子（ＣＣＤ）カメラ、相補型金属酸化膜半導体（ＣＭＯＳ）カメラ、などである。

パッドデバイス１３０のセンサは、ユーザ３１２の身体部分によって乱されたエネルギーを受信すると、電気信号を生成する。電気信号は、全体で、エネルギー画像を、パッドデバイス１３０の表面の上に形成する。エネルギー画像は、パッドデバイス１３０のセンサによって感知されるための、ユーザ３１２の身体部分の位置及び／または向きによって乱されたエネルギーの強度を含む。エネルギー画像は、ユーザ３１２の手の現在の位置と向きとを映し出す。たとえば、エネルギー画像は、手がパッドデバイス３１０の上面の上に置かれた時の、ユーザ３１２の手の位置と向きとの正反射である。

電気信号は、センサからパッドデバイス１３０の通信デバイスに送信される。パッドデバイス１３０の通信デバイスは、通信プロトコル、たとえば、無線通信プロトコル、有線通信プロトコル、などを、電気信号に適用して、電気信号を、ゲーム機１０８の通信デバイスに送信する。

一実施形態では、パッドデバイス１３０の通信デバイスは、電気信号が、アナログデジタル変換器（ＡＤＣ）によって、アナログ形式からデジタル形式に変換されて、デジタル信号をさらに生成した後、電気信号を、パッドデバイス１３０のセンサから受信する。ＡＤＣは、パッドデバイス１３０のセンサとパッドデバイス１３０の通信デバイスとの間に接続されている。パッドデバイス１３０の通信デバイスは、無線通信プロトコルを、ＡＤＣから受信したデジタル信号に適用して無線信号を生成し、無線信号を、ゲーム機１０８の通信デバイスに送信する。たとえば、パッドデバイス１３０の通信デバイスは、それぞれがヘッダとペイロードとを含むパケットを生成し、パケットを、ゲーム機１０８の通信デバイスに送信する。

いくつかの実施形態では、パッドデバイス１３０は、カメラ及び／またはエミッタを排除している。

一実施形態では、手によって乱されたエネルギーは、エネルギーがパッドデバイス１３０のエネルギーエミッタによって常に、たとえば、継続的に発せられている時に、エネルギー画像のストリーム、たとえば、手による電磁エネルギーの乱れを示す電気信号、手による赤外光との干渉と手による赤外光の反射とを示す電気信号、手による可視光との干渉と手による可視光の反射とを示す電気信号、エネルギー画像フレーム、などをフレームレートで生成するために、継続的に、たとえば、感知周波数、などで、パッドデバイス１３０のセンサによって感知される。たとえば、手によってある位置と向きとにおいて乱されたエネルギーは、パッドデバイス１３０のセンサによって、感知周波数で感知され、センサは、エネルギー画像フレームを、感知周波数と同じであるフレームレートで生成する。各エネルギー画像フレームは、手によって乱されたエネルギーの強度を含む。エネルギーが感知されている期間中に生成されたエネルギー画像フレームは、エネルギー画像ストリームを提供し、エネルギー画像ストリームは、ユーザ３１２の手の位置と向きとの変化をさらに提供する。たとえば、第１のエネルギー画像フレームは、ユーザ３１２の手の第１の位置と向きとを含み、第２のエネルギー画像フレームは、ユーザ３１２の手の第２の位置と向きとを含む。第２の位置及び向きは、第１の位置と向きよりも後である。

一実施形態では、センサは、ある周波数でオン・オフされて、センサが感知周波数で感知することを可能にする。たとえば、プロセッサは、電源をセンサに接続するスイッチを制御する。プロセッサは、スイッチを、ある周波数でオン・オフするように制御する。スイッチが、スイッチを閉じるようにオンにされると、電源にスイッチを介して接続されたセンサは、エネルギーを感知する。スイッチが、スイッチを開くようにオフにされると、センサは、電源から切り離され、エネルギーの感知を無効にする。

図２０Ｂは、ユーザ３１２の身体部分の位置及び／または向きの変化に伴う、ＨＭＤ１０６の表示画面２０１２に表示される画像の仮想オブジェクトの位置及び／または向きの変化を例示する、システム２０１０の一実施形態のブロック図である。表示画面２０１２の例を上記に提供した。デジタル信号は、有線信号または無線信号を生成するために、パッドデバイス１３０の通信デバイスによって受信される。デジタル信号を組み込んだ有線信号または無線信号は、パッドデバイス１３０の通信デバイスから送信され、ゲーム機１０８の通信デバイス２０２２によって受信される。通信デバイス２０２２は、有線通信プロトコルを有線信号に適用して有線信号を解析し、または無線通信プロトコルをパッドデバイス１３０の通信デバイスから受信した無線信号に適用して無線信号を解析して、パッドデバイス１３０のＡＤＣによって生成されたデジタル信号をさらに抽出する。

ゲーム機１０８のゲームプロセッサ２０２０は、デジタル信号を通信デバイス２０２２から受信し、現実世界環境におけるユーザ３１２の身体部分の位置と向きとを判断する。たとえば、ゲームプロセッサ２０２０は、デジタル信号を受信し、基準点、たとえば、ユーザ３１２を囲む現実世界環境におけるｘｙｚ基準座標システムの座標（０、０、０）、などに対する、ユーザ３１２の手の指の、またはユーザ３１２の手の、またはユーザ３１２の足の、またはユーザ３１２の足の指の、位置と向きとを判断する。別の例として、ゲームプロセッサ２０２０は、センサによって生成された電気信号から生成されたデジタル信号の強度を受信し、ユーザ３１２の身体部分のｙ軸に沿った位置を特定する。ゲームプロセッサ２０２０は、ｙ軸に沿った位置を、強度と位置との間の対応、たとえば、マップ、リンク、などから特定する。対応は、ゲーム機１０８のゲームメモリデバイス２０２４内に格納されている。強度は、パッドデバイスのセンサによって測定され、電気信号内で受信される。さらに別の例として、パッドデバイスの各センサのｘｙ位置とセンサの識別との間の対応、たとえば、マップ、リンク、などは、ゲームメモリデバイス２０２４内に格納されている。ゲームプロセッサ２０２０は、センサによって生成された電気信号から生成されたデジタル信号を受信する。デジタル信号は、センサの識別を含む。識別は、パッドデバイス１３０の通信デバイスのプロセッサによって付けられる。通信デバイスの各ピンは、異なるセンサ、たとえば、固有の識別、などを有するセンサに連結されている。センサによって生成された電気信号から生成されたデジタル信号を受信すると、ゲームプロセッサ２０２０は、デジタル信号を解析して、センサの識別を判断し、ゲームメモリデバイス２０２４から、センサのｘｙ位置を特定する。ｘｙ位置は、ユーザ３１２の身体部分のそれと同じである。別の例として、身体部分の２つ以上の指の複数の位置と身体部分の向きとの間の対応は、ゲームメモリデバイス２０２４内に格納されている。身体部分の２つ以上の指の位置を判断すると、ゲームプロセッサ２０２０は、２つ以上の指の複数の位置と身体部分の向きとの間の対応を使用して、ユーザ３１２の身体部分の向きを特定する。別の例として、ゲームプロセッサ２０２０は、ｘｙｚ座標システムの基準点からのユーザ３１２の指の第１の指関節の位置と、基準点からの指の第２の指関節の位置と、を判断する。第１の指関節と第２の指関節との位置は、ゲームプロセッサ２０２０によって、指関節によって乱されたエネルギー信号の強度から特定される。ゲームプロセッサ２０２０は、ｘｙｚ座標システムの基準点からの指の位置を、第１の指関節の位置と第２の指関節の位置とを接続する線の位置として判断する。

ゲームプロセッサ２０２０は、ユーザ３１２の身体部分の位置と向きとを使用して、仮想環境における仮想オブジェクトの位置と向きとを特定する。仮想オブジェクトの位置及び向きは、身体部分の位置と仮想オブジェクトの位置との間の対応、たとえば、関連性、リンク、などと、身体部分の向きと仮想オブジェクトの向きとの間の対応と、から特定される。身体部分の位置と仮想オブジェクトの位置との間の対応、及び身体部分の向きと仮想オブジェクトの向きとの間の対応は、ゲーム機１０８のゲームメモリデバイス２０２４内に格納されている。

ユーザ３１２の身体部分の位置と仮想環境における仮想オブジェクトの位置との間の対応の例は、現実世界環境におけるｘ軸に沿った身体部分の距離と、仮想環境におけるＸ軸に沿った仮想オブジェクトの距離との間の比例と、現実世界におけるｙ軸に沿った身体部分の距離と、仮想環境におけるＹ軸に沿った仮想オブジェクトの距離との間の比例と、現実世界におけるｚ軸に沿った身体部分の距離と、仮想環境におけるＺ軸に沿った仮想オブジェクトの距離との間の比例と、を含む。

さらに、ユーザ３１２の身体部分の向きと仮想環境における仮想オブジェクトの向きとの間の対応の例は、現実世界環境におけるｘ軸に対する身体部分の軸の角度と、仮想環境におけるＸ軸に対する仮想オブジェクトの軸の角度との間の比例と、現実世界環境におけるｙ軸に対する身体部分の軸の角度と、仮想環境におけるＸ軸に対する仮想オブジェクトの軸の角度との間の比例と、現実世界環境におけるｚ軸に対する身体部分の軸の角度と、仮想環境におけるＺ軸に対する仮想オブジェクトの軸の角度との間の比例と、を含む。

仮想オブジェクトの位置及び向きは、ゲームプロセッサ２０２によって、通信デバイス２０２２に提供される。通信デバイス２０２２は、有線プロトコルまたは無線プロトコルを適用して、画像、たとえば、仮想世界環境、などの中の仮想オブジェクトの位置と向きとを、ＨＭＤ１０６の通信デバイス２０２６に通信する。通信デバイス２０２６は、有線プロトコルまたは無線プロトコルを適用して、仮想オブジェクトの位置と向きとを、通信デバイス２０２２によって通信された信号から取得し、位置と向きとを、ＨＭＤ１０６のプロセッサ２０２８に提供する。プロセッサ２０２８は、通信デバイス２０２６から受信した位置と向きとを有する仮想オブジェクトを、ＨＭＤ１０６の表示画面２０１２に描画する。

一実施形態では、仮想オブジェクトは、仮想環境内に境界を有するオブジェクトであり、境界は、線、曲線、またはこれらの組み合わせによって特定される。

一実施形態では、仮想オブジェクトは、オブジェクトモデルによって定められる。たとえば、仮想オブジェクトは、色、または質感、または陰影、または境界、またはパターン、またはそれらの２つ以上の組み合わせ、を有する。別の例として、仮想オブジェクトは、仮想の重力を有し、たとえば、仮想オブジェクトは、仮想環境内では浮かず、仮想オブジェクトは、テーブル、などの上に乗っている。さらに別の例として、仮想オブジェクトは、仮想環境内で、所定の動きを有し、及び／または所定の動作を実行する。例示すると、仮想の人物は、仮想の部屋の仮想の壁を通り抜けられない。別の例示として、仮想オブジェクトは、空気中に浮くことはできず、仮想の水の上に浮くことはできる。さらに別の例示として、仮想の遊泳者は、仮想の水に浮くことができ、または仮想の水の中に潜ることができる。別の例として、仮想環境内の仮想オブジェクトの動きは、仮想環境内の別の仮想オブジェクトの境界によって定められる。例示すると、ユーザのアバターは、仮想の部屋の壁を通り抜けられない。別の例示として、ユーザのアバターは、別のユーザの別のアバターを通り抜けることはできない。

一実施形態では、仮想オブジェクトは、仮想環境、たとえば、仮想オブジェクトを囲む仮想の背景を含む画像の一部である、漫画の人物である。仮想オブジェクトを囲む仮想の背景は、一実施形態では、他の仮想オブジェクト、仮想のシーン、などを含む。

仮想環境の例は、ゲームシーン、仮想現実シーン、拡張現実シーン、コンピュータネットワークを介してアクセスされるデータから生成された環境、ユーザ３１２の代理、たとえば、アバター、などが別のユーザの代理と通信している仮想のシーン、仮想ツアー環境、などを含む。

一実施形態では、仮想現実シーンは、プロセッサを使用して生成された、シミュレーションされた環境である。仮想現実シーンは、現実世界環境または想像上の場所におけるユーザ３１２の存在をシミュレーションする。一実施形態では、仮想現実シーンは、ユーザ３１２が、あたかも自身が本当にそのシーンの中にいるかのように感じるように、生成される。

一実施形態では、拡張現実シーンは、コンピュータで生成された感覚入力、たとえば、音、ビデオ、グラフィックス、などを用いて拡張された、現実世界環境の表現を含む。たとえば、拡張現実シーンを生成するために、カメラは、ユーザ３１２の手の画像を取得し、プロセッサは、仮想オブジェクトを手の上に表示する。現実世界環境では、そのような仮想オブジェクトは、ユーザ３１２の手の上にはない。

メモリデバイスの例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク−ＲＯＭ（ＣＤ−ＲＯＭ）、記録可能ＣＤ（ＣＤ−Ｒ）、書き換え可能ＣＤ（ＣＤ−ＲＷ）、磁気テープ、他の光学データストレージデバイスまたは非光学データストレージデバイス、を含む。

本明細書で使用した通り、プロセッサは、特定用途向け集積回路（ＡＳＩＣ）、またはプログラム可能論理デバイス（ＰＬＤ）、または中央処理装置（ＣＰＵ）、またはコントローラ、またはマイクロプロセッサ、などである、ということに留意すべきである。

一実施形態では、パッドデバイス１３０は、任意の数のセンサ、及び／または任意の数のカメラ、及び／または任意の数のエネルギーエミッタを含む。

一実施形態では、信号をパッドデバイス１３０の通信デバイスからゲーム機１０８の通信デバイス２０２２に通信する代わりに、信号は、パッドデバイス１３０の通信デバイスから通信デバイス２０２６に通信される。通信デバイス２０２６は、通信デバイス２０２２によってゲーム機１０８上で実行される動作に類似の動作を実行して、デジタル信号を取得する。デジタル信号は、仮想環境データを生成するために、プロセッサ２０２８に提供される。仮想環境データは、仮想環境を表示画面２０１２に表示するために、プロセッサ２０２８によって描画される。

一実施形態では、ＨＭＤ１０６は、任意の数の表示画面を含む。

一実施形態では、仮想オブジェクトの位置及び向きは、ゲーム状態を変える。たとえば、ゲームプロセッサ２０２０は、仮想オブジェクトの位置及び向きが、仮想環境の背景を緑から青に変えること、または別の仮想オブジェクトの位置と向きとを変えること、またはゲームプレイ中にユーザ３１２に提供されるように配分された仮想の報酬の追加という結果になること、などを判断する。変更されたゲーム状態、たとえば、変更された仮想環境、変更された仮想オブジェクト、変更された数の仮想の報酬、などに関するデータは、ゲームプロセッサ２０２０によって、通信デバイス２０２２と通信デバイス２０２６とを介して、ＨＭＤ１０６のプロセッサ２０２８に提供される。変更されたゲーム状態に関するデータ、たとえば、色、質感、向き、位置、陰影、などは、プロセッサ２０２８によって、変更された仮想環境の表示を生成するために、表示画面２０１２上に描画される。

一実施形態では、ゲームプロセッサ２０２０は、画像内の、１つまたは複数の仮想オブジェクトと１つまたは複数の仮想の背景との状態に関するデータ、たとえば、色、質感、位置、向き、境界、形、これらの２つ以上の組み合わせ、などを生成する。一実施形態では、仮想オブジェクトの境界は、仮想オブジェクトの形を形成する画像データの画素の輪郭である。状態に関するデータは、ユーザ３１２の身体部分の位置と向きとに基づいて生成される。状態に関するデータは、ゲームプロセッサ２０２０から、通信デバイス２０２２と通信デバイス２０２６とを介して、ＨＭＤ１０６のプロセッサ２０２８に通信される。状態に関するデータは、通信デバイス２０２２と通信デバイス２０２６との間で、有線通信プロトコルまたは無線通信プロトコルを使用して通信される、ということに留意すべきである。プロセッサ２０２８は、仮想環境をＨＭＤ１０６の表示画面２０１２に表示するために、状態に関するデータを描画する。

一実施形態では、身体部分の位置は、身体部分によって乱された、パッドデバイス１３０のセンサに向かうエネルギー信号に基づいて判断される。たとえば、ゲームプロセッサ２０２０は、センサによって生成された電気信号から生成されたデジタル信号を受信する。デジタル信号は、ゲームプロセッサ２０２０によって、電気信号の強度、たとえば、振幅、などが、ｘｙｚ座標システムの基準点からの距離ｄ１、たとえば、座標（ｘ、ｙ、ｚ）に関連付けられている、ということをゲームメモリデバイス２０２４から特定するために、使用される。たとえば、電気信号の強度は、ｘｙｚ座標システムの基準点からの指関節の距離が増加すると、減少する。電気信号は、指関節が空間と関わると、センサによって生成される。電気信号の強度と指関節の距離との間の関連性は、ゲームメモリデバイス２０２４内に格納されている。

一実施形態では、身体部分の所定の形、たとえば、所定の長さ、所定の幅、所定の厚さ、などは、空間と関わる身体部分の特定を容易にするために、ゲームメモリデバイス２０２４内に格納されている、ということに留意すべきである。たとえば、所定の長さの列内のセンサ及び所定の幅の行内のセンサが電気信号を生成すると、ゲームプロセッサ２０２０は、電気信号が指によって乱されたエネルギーから生成されたと判断する。一実施形態では、行は、縦の行、横の行、または斜めの行であり、列は、行に垂直である、ということに留意すべきである。別の例として、パッドデバイス１３０の上面、たとえば、表面５０３（図５）、などの実質的に正方形の部分内のセンサが電気信号を生成すると、ゲームプロセッサ２０２は、電気信号が、手のひらによって乱されたエネルギーから生成されたと判断する。さらに別の例として、パッドデバイス１３０の上面、たとえば、表面５０３（図５）、などの実質的に長方形または楕円形の部分内のセンサが電気信号を生成すると、ゲームプロセッサ２０２は、電気信号が、ユーザ３１２の足によって乱されたエネルギーから生成されたと判断する。

さらに、一実施形態では、他の身体部分に対する身体部分の位置、及び他の身体部分の所定の長さに対する身体の所定の長さは、空間と関わる身体部分の特定を容易にするために、ゲームメモリデバイス２０２４内に格納されている。たとえば、パッドデバイス１３０の上面を映す視点から、電気信号を生成するセンサの行が、電気信号を生成するセンサの全ての他の行の所定の長さのよりも短い所定の長さを有し、その行が他の行の左側に位置していると判断すると、ゲームプロセッサ２０２０は、ユーザ３１２が自身の右手を使用していると判断する。別の例として、パッドデバイス１３０の上面を映す視点から、電気信号を生成するセンサの行が、電気信号を生成するセンサの全ての他の行の所定の長さのよりも短い所定の長さを有し、その行が他の行の右側に位置していると判断すると、ゲームプロセッサ２０２０は、ユーザ３１２が自身の左手を使用していると判断する。

一実施形態では、いったんゲームプロセッサ２０２０が、ユーザ３１２が自身の左側の身体部分、たとえば、左手、左足、などを使用しているかどうか、または右側の身体部分、たとえば、右手、右足、などを使用しているかどうかを判断すると、ゲームプロセッサ２０２０は、身体部分の指を、身体部分の他の指の所定の位置と、身体部分の所定の長さとから特定する。たとえば、ユーザ３１２が左手を使用していると判断すると、ゲームプロセッサ２０２０は、電気信号が、左手の薬指または人差し指によって乱されたエネルギーから生成されたと、電気信号を生成する所定の長さの２つの行のセンサに基づいて、判断する。人差し指と薬指の両方は、同じまたは実質的に同じ所定の長さを有する。さらに、本実施例では、パッドデバイス１３０の上面を映す視点から、電気信号が、最も長い所定の長さを有する行のセンサの左側にある行のセンサから生成されたと判断すると、ゲームプロセッサ２０２０は、電気信号が、ユーザ３１２の左手の薬指によって乱されたエネルギーから生成されたと判断する。

一実施形態では、ユーザ３１２の身体部分の向きは、ゲームプロセッサ２０２０によって、ユーザ３１２の別の身体部分の位置から判断される。たとえば、パッドデバイス１３０の上面を映す視点から、電気信号を生成するパッドデバイスのセンサが実質的に正方形を形成し、人差し指が左手の親指の左側に位置していると判断すると、ゲームプロセッサ２０２０は、ユーザ３１２の左手の親指の腹側が、パッドデバイス１３０の上面に向いていると判断する。別の例として、パッドデバイス１３０の上面を映す視点から、電気信号を生成するパッドデバイスのセンサが実質的に正方形を形成し、人差し指が左手の親指の右側に位置していると判断すると、ゲームプロセッサ２０２０は、ユーザ３１２の左手の親指の背面が、パッドデバイス１３０の上面に向いていると判断する。

一実施形態では、ユーザ３１２の身体部分の位置と向きとをゲーム機１０８のゲームプロセッサ２０２０によって使用して、仮想オブジェクトの状態、たとえば、色、質感、形、陰影、位置、向き、視覚効果、音響効果、これらの２つ以上の組み合わせ、などに関するデータを特定する。たとえば、身体部分が現実世界環境内のある位置にあると判断すると、ゲームプロセッサ２０２０は、ゲームメモリデバイス２０２４から、身体部分に対応する仮想オブジェクトが、緑の代わりに青色を有し、画像内のＸＹＺ座標システムに対するある位置を有している、と特定する。別の例として、身体部分が現実世界環境内のある向きにあると判断すると、ゲームプロセッサ２０２０は、ゲームメモリデバイス２０２４から、身体部分に対応する仮想オブジェクトが、火と共にアニメ化され、画像内である向きを有している、と特定する。さらに別の例として、身体部分が現実世界環境内のある位置とある向きとにあると判断すると、ゲームプロセッサ２０２０は、ゲームメモリデバイス２０２４から、身体部分に対応する仮想オブジェクトが、波のような質感と薄い陰影とを有して表示され、音が、仮想オブジェクトの表示と共に生成される、と特定する。仮想オブジェクトの状態に関するデータは、有線信号または無線信号の形式で、通信デバイス２０２２から、ＨＭＤ１０６の通信デバイス２０２６に送信される。

本実施形態では、通信デバイス２０２６は、状態に関連するデータを、本明細書で説明する方法で、有線信号または無線信号から抽出し、データを、オーディオ／ビデオ（Ａ／Ｖ）セパレータ、たとえば、オーディオエクストラクタ、などに提供する。オーディオデータと画像データの両方が状態に関連するデータ内に含まれており、Ａ／Ｖセパレータは、オーディオデータを画像データから分離し、画像データをプロセッサ２０２８に送信し、オーディオデータを、図２０Ｂでは「ＳＹＮＣ」と例示されている同期装置に送信する。同期装置は、音の再生を、仮想オブジェクトの表示の再生に同期する。たとえば、同期装置は、音を、仮想オブジェクトが、ある位置及び／または向きで表示される時、及び／またはある色を有している時、及び／またはある形を有している時、及び／またはある質感を有している時、と同時に再生する。同期装置は、同期オーディオデータを、オーディオデータをデジタル形式からアナログ形式に変換するデジタル・アナログ変換器（ＤＡＣ）に送信する。アナログオーディオデータは、増幅器（Ａ）によって増幅される。増幅されたアナログオーディオデータは、音に、１つまたは複数のスピーカ（Ｓ）によって変換される。

一実施形態では、仮想環境で表示するための身体部分の位置、仮想環境で表示するための身体部分の向き、仮想環境で表示するための身体部分の色、仮想環境で表示するための身体部分の形、仮想環境で表示するための身体部分の質感、及び仮想環境で表示するための身体部分の陰影は、身体部分のモデルデータの例である。身体部分がｘｙｚ座標システムに対して移動するにつれて、モデルデータは変化する。たとえば、手がｘｙｚ座標システムの原点からの位置（ｘ１、ｙ１、ｚ１）にある時、手の位置は、ＸＹＺ座標システムの原点からの位置（Ｘ１、Ｙ１、Ｚ１）にあり、手がｘｙｚ座標システムの原点からの位置（ｘ２、ｙ２、ｚ２）にある時、手の位置は、ＸＹＺ座標システムの原点からの位置（Ｘ２、Ｙ２、Ｚ２）にある。別の例として、手が、ｘ軸に対する第１の角度と、ｙ軸に対する第２の角度と、ｚ軸に対する第３の角度と、の向きにある時、仮想環境における手の画像は、Ｘ軸に対する第１の角度と、Ｙ軸に対する第２の角度と、Ｚ軸に対する第３の角度と、にある。

一実施形態では、身体部分の複数の位置は、身体部分の動きを提供し、仮想環境における身体部分の対応する複数の位置は、仮想環境における身体部分の動きを提供する。たとえば身体部分が、現実世界環境で、位置（ｘ１、ｙ１、ｚ１）から位置（ｘ２、ｙ２、ｚ２）に移動すると、身体部分の画像、たとえば、モデル、などは、仮想環境で、対応する位置（Ｘ１、Ｙ１、Ｚ１）から対応する位置（Ｘ２、Ｙ２、Ｚ２）に移動する。

一実施形態では、身体部分の複数の向きは、身体部分の動きを提供し、仮想環境における身体部分の対応する複数の向きは、仮想環境における身体部分の動きを提供する。たとえば、身体部分が、現実世界環境で、向き（Ａ１、Ａ２、Ａ３）から向き（Ａ４、Ａ５、Ａ６）に移動すると、身体部分の画像は、仮想環境で、対応する位置（Ａ７、Ａ８、Ａ９）から対応する位置（Ａ１０、Ａ１１、Ａ１２）に移動する。Ａ１とＡ４との各々は、ｘ軸に対して形成される角度であり、Ａ２とＡ５との各々は、ｙ軸に対して形成される角度であり、Ａ３とＡ６との各々は、ｚ軸に対して形成される角度である。さらに、Ａ７とＡ１０との各々は、Ｘ軸に対して形成される角度であり、Ａ８とＡ１１との各々は、Ｙ軸に対して形成される角度であり、Ａ９とＡ１２との各々は、Ｚ軸に対して形成される角度である。

一実施形態では、身体部分の画像は、ＨＭＤのプロセッサによって、ＨＭＤの表示画面に表示される仮想環境内に部分的に描画される。たとえば、ユーザが、自身の手を動かしてパッドデバイスの上の空間に入ると、空間内の手の一部の画像が、ＨＭＤの表示画面に表示される。手が空間の外にある時、その一部の画像も、また、仮想環境の外に移動する。

図２１は、ＨＭＤ２１００の等角図であり、ＨＭＤ２１００は、ＨＭＤ１０６の一実施例である。ＨＭＤ２１００は、ユーザ３１２が装着した時に、ユーザ３１２の頭部の後ろにいく、ベルト２１０２とベルト２１０４とを含む。さらに、ＨＭＤ２１００は、コンピュータプログラム、たとえば、ゲームプログラム、仮想環境生成プログラム、などの実行によって再生される、仮想環境、たとえば、ゲーム環境、仮想ツアー環境、などに関連付けられた音を発する、イヤホン２１０６Ａ及びイヤホン２１０６Ｂ、たとえば、スピーカ、などを含む。ＨＭＤ２１００は、ユーザ３１２がＨＭＤ２１００の表示画面に表示される仮想環境を見ることを可能にする、レンズ２１０８Ａとレンズ２１０８Ｂとを含む。溝２１８０は、ユーザ３１２の鼻の上に乗り、ＨＭＤ２１００を鼻の上で支える。

いくつかの実施形態では、ＨＭＤ２１００は、ユーザ３１２によって、ユーザ３１２がサングラス、眼鏡、または読書用眼鏡をかける方法と同様の方法で、かけられる。

図２２は、本開示で説明する実施形態による、ビデオゲームのインタラクティブゲームプレイのためのシステムを例示している。ユーザ３１２は、ＨＭＤ１０６を装着して示されている。ＨＭＤ１０６は、眼鏡、ゴーグル、またはヘルメットと同様の方法で装着され、ビデオゲームまたは他のコンテンツをユーザ３１２に表示するように構成されている。ＨＭＤ１０６は、ユーザの目のごく近くの表示機構（たとえば、光学画面及び表示画面）と、ＨＭＤ１０６に配信されるコンテンツの形式と、を提供することで、夢中になれる体験をユーザに提供する。一例では、ＨＭＤ１０６は、ユーザ３１２の視野の大部分または全体さえも占める表示領域を、ユーザの目の各々に対して提供する。別の例として、ユーザは、あたかも自身がＨＭＤ１０６に表示される仮想環境の中にいるように、たとえば、その一部であるように、などと感じる。

一実施形態では、ＨＭＤ１０６は、コンピュータ２２０２に接続されている。コンピュータ２２０２への接続は、有線または無線であってよい。コンピュータ２２０２は、一実施形態では、任意の汎用コンピュータまたは専用コンピュータであり、ゲーム機、パーソナルコンピュータ、ノートパソコン、タブレット、モバイルデバイス、スマートフォン、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス、スマートテレビ、などを含むが、これらに限定されない。いくつかの実施形態では、ＨＭＤ１０６は、インターネットに直接接続することができ、これは、別のローカルコンピュータの必要なしに、クラウドゲームを可能にすることができる。一実施形態では、コンピュータ２２０２は、ビデオゲーム（と他のデジタルコンテンツと）を実行し、ビデオゲームからのビデオとオーディオとを、ＨＭＤ１０６による描画のために出力するように構成されている。コンピュータ２２０２は、また、時折、本明細書では、クライアントシステムと呼ばれ、クライアントシステムは、一実施例では、ビデオゲーム機である。

コンピュータ２２０２は、いくつかの実施形態では、ローカルコンピュータまたはリモートコンピュータであって、コンピュータは、エミュレーションソフトウェアを実行する。クラウドゲーム実施形態では、コンピュータ２２０２は、リモートであり、データセンタ内で仮想化され得る複数のコンピューティングサービスによって表され得、そこでは、ゲームシステム／論理は、仮想化され、ユーザ３１２にコンピュータネットワークを介して配信される。

ユーザ３１２は、ハンドヘルドコントローラ２２０６を操作して、仮想環境のための入力を提供する。一実施例では、カメラ２２０４は、ユーザ３１２がいる現実世界環境の画像を取得するように構成されている。これらの取得された画像は、ユーザ３１２とＨＭＤ１０６とコントローラ２２０６との位置と動きとを判断するために解析される。一実施形態では、コントローラ２２０６は、その位置と向きとを判断するために追跡される光（または複数の光）を含む。加えて、以下でより詳細に説明する通り、一実施形態では、ＨＭＤ１０６は、ＨＭＤ１０６の位置と向きとを、仮想環境の表示中に実質的にリアルタイムに判断するためのマーカーとして追跡される、１つまたは複数の光を含む。

カメラ２２０４は、一実施形態では、音を現実世界環境から取得する、１つまたは複数のマイクを含む。マイクの配列によって取得された音は、音源の位置を特定するために処理される。特定された位置からの音は、特定された位置からではない他の音を排除するために、選択的に活用または処理される。さらに、一実施形態では、カメラ２２０４は、複数の画像取得デバイス（たとえば、立体写真カメラ）と、ＩＲカメラと、デプスカメラと、これらの組み合わせと、を含むように構成されている。

いくつかの実施形態では、コンピュータ２２０２は、ゲームを、コンピュータ２２０２の処理ハードウェア上でローカルに実行する。ゲームまたはコンテンツは、物理媒体の形式（たとえば、デジタルディスク、テープ、カード、サムドライブ、半導体チップまたはカード、など）またはコンピュータネットワーク２２１０、たとえば、インターネット、イントラネット、ローカルエリアネットワーク、広域ネットワーク、などからのダウンロードという手段などの、任意の形式で取得される。一実施形態では、コンピュータ２２０２は、コンピュータネットワーク２２１０を介してクラウドゲームプロバイダ２２１２と通信している、クライアントとして機能する。クラウドゲームプロバイダ２２１２は、ユーザ３１２によって行われているビデオゲームを維持し、実行する。コンピュータ２２０２は、ＨＭＤ１０６とコントローラ２２０６とカメラ２２０４とからの入力を、クラウドゲームプロバイダ２２１２に送信し、クラウドゲームプロバイダ２２１２は、実行されているビデオゲームのゲーム状態に影響を与えるために、入力を処理する。ビデオデータ、オーディオデータ、及び触覚フィードバックデータなどの実行しているビデオゲームからの出力は、コンピュータ２２０２に送信される。コンピュータ２２０２は、さらに、データを関連デバイスへの送信の前に処理し、またはデータを関連デバイスに直接送信する。たとえば、ビデオストリーム及びオーディオストリームは、ＨＭＤ１０６に提供され、一方で、振動フィードバックコマンドは、コントローラ２２０６に提供される。

一実施形態では、ＨＭＤ１０６、コントローラ２２０６、及びカメラ２２０４は、コンピュータネットワーク２２１０に接続してクラウドゲームプロバイダ２２１２と通信する、ネットワークデバイスである。たとえば、コンピュータ２２０２は、ビデオゲーム処理を実行しないがネットワークトラフィックの通過を容易にする、ルータなどのローカルネットワークデバイスであってよい。ＨＭＤ１０６とコントローラ２２０６とカメラ２２０４とによるコンピュータネットワーク２２１０への接続は、有線または無線である。いくつかの実施形態では、ＨＭＤ１０６上で実行されるコンテンツ、または表示デバイス２２１４上に表示可能なコンテンツは、コンテンツソース２２１６のうちの任意のものから取得される。例示的なコンテンツソースは、たとえば、ダウンロード可能なコンテンツ及び／またはストリーミングコンテンツを提供する、インターネットのウェブサイトを含むことができる。いくつかの実施例では、コンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト、仮想ツアーコンテンツ、漫画コンテンツ、などの、任意の種類のマルチメディアコンテンツを含むことができる。

一実施形態では、ユーザ３１２は、ゲームをＨＭＤ１０６で行っており、そのようなコンテンツは、没入型３Ｄインタラクティブコンテンツである。ＨＭＤ１０６上のコンテンツは、プレーヤが遊んでいる間は、表示デバイス２２１４に共有される。一実施形態では、表示デバイス２２１４に共有されたコンテンツは、ユーザ３１２の近くまたはリモートの他のユーザが、ユーザ３１２のゲームプレイを共に見ることを可能にする。さらなる実施形態では、ユーザ３１２のゲームプレイを表示デバイス２２１４で見ている別のプレーヤは、ユーザ３１２と、インタラクティブに参加する。たとえば、ゲームプレイを表示デバイス２２１４で見ているユーザは、ゲームシーン内の人物を制御し、フィードバックを提供し、社会的交流を提供し、及び／またはＨＭＤ１０６を装着していないユーザが、ユーザ３１２と社会的に交流することを可能にするコメントを、（テキストを介して、声を介して、動作を介して、しぐさを介して、など）提供する。

図２３は、本開示で説明する実施形態による、頭部装着型ディスプレイ（ＨＭＤ）２３００を例示している。ＨＭＤ２３００は、ＨＭＤ１０５の一実施例である。示す通り、ＨＭＤ２３００は、複数の光２３０２Ａ〜Ｈと、光２３０２Ｊと、光２３０２Ｋとを含む（たとえば、２３０２Ｋ及び２３０２Ｊは、ＨＭＤのヘッドバンドの後部または後側に向かって配置されている）。これらの光の各々は、具体的な形及び／または位置を有するように構成されており、同じ色または異なる色を有するように構成されている。光２３０２Ａ、光２３０２Ｂ、光２３０２Ｃ、及び光２３０２Ｄは、ＨＭＤ２３００の前面に配置されている。光２３０２Ｅ及び光２３０２Ｆは、ＨＭＤ２３００の側面に配置されている。そして、光２３０２Ｇ及び光２３０２Ｈは、ＨＭＤ２３００の前面と側面とに及ぶように、ＨＭＤ２３００の角に配置されている。光は、ユーザがＨＭＤ２３００を使用するインタラクティブ環境の取得された画像内で特定される、ということが理解される。

光の特定と追跡とに基づいて、インタラクティブ環境におけるＨＭＤ２３００の位置及び向きが、判断される。光のうちのいくつかは、画像取得デバイス、たとえば、カメラ、などに対するＨＭＤ２３００の特定の向きにより、可視であり、または可視でない、ということがさらに理解される。また、光の異なる部分（たとえば、光２３０２Ｇ及び光２３０２Ｈ）は、画像取得デバイスに対するＨＭＤ２３００の向きにより、画像の取得のために露出される。いくつかの実施形態では、慣性センサがＨＭＤ２３００内に置かれ、慣性センサは、位置決めに関するフィードバックを、光の必要なしに提供する。いくつかの実施形態では、光及び慣性センサは、共同して、位置／動きデータの混合と選択とを可能にする。

一実施形態では、光は、ＨＭＤ２３００の現在の状態を、現実世界環境内の他のユーザに示すように構成されている。たとえば、光のうちの一部または全部は、色構成、強度構成を有するように構成されており、点滅するように構成されており、ある特定のオン／オフ構成、またはＨＭＤ２３００の現在の状態を示す他の構成を有するように構成されている。一例として、光は、ビデオゲームのアクティブなゲームプレイ（一般的に、アクティブなタイムライン中またはゲームのシーン内で発生しているゲームプレイ）中は、（その間、ゲームのタイムラインまたはシーンが動いていない、または停止している）メニューインターフェースを操作している、またはゲーム設定を行っているなどの、ビデオゲームの他の非アクティブなゲームプレイの状況に対して、異なる構成を表示するように構成されている。

一実施形態では、光は、また、ゲームプレイの相対強度レベルを示すように構成されている。たとえば、光の強度または点滅の速度は、ゲームプレイの強度が増加すると、増加する。

ＨＭＤ２３００は、一実施形態では、加えて、１つまたは複数のマイクを含む。例示の実施形態では、ＨＭＤ２３００は、ＨＭＤ２３００の前面に置かれた、マイク２３０４Ａ及びマイク２３０４Ｂと、ＨＭＤ２３００の側面に置かれたマイクと、を含む。マイクの配列を活用することによって、マイクの各々からの音は、音源の位置を判断するために処理される。この情報は、不必要な音源の排除、音源の視覚識別との関連付け、などを含むさまざまな方法で活用される。

ＨＭＤ２３００は、１つまたは複数の画像取得デバイスを含む。例示の実施形態では、ＨＭＤ２３００は、画像取得デバイス２３０６Ａと画像取得デバイス２３０６Ｂとを含むように示されている。一実施形態では、立体写真画像取得デバイスを活用することによって、現実世界環境の三次元（３Ｄ）画像及びビデオが、ＨＭＤ２３００の視点から取得される。そのようなビデオは、ＨＭＤ２３００を装着している間に、ユーザに「ビデオシースルー」能力を提供するために、ユーザ３１２に提示される。つまり、厳密に言うと、ユーザはＨＭＤ２３００を通して見ることができないが、画像取得デバイス２３０６Ａと画像取得デバイス２３０６Ｂとによって取得されたビデオは、それでもなお、あたかもＨＭＤ２３００を通して見ているようにＨＭＤ２３００の外部の現実世界環境を見ることができる、機能的同等物を提供する。

そのようなビデオは、一実施形態では、拡張現実体験を提供するために、仮想の要素を用いて拡張され、または他の方法で仮想の要素と組み合わされ、または混合される。例示の実施形態では、２つのカメラがＨＭＤ２３００の前面にあると示されているが、任意の数の外向きのカメラがあり得、または１つのカメラがＨＭＤ２３００に取り付けられ、任意の方向に向き得る、ということが理解される。たとえば、別の実施形態では、ＨＭＤ２３００の側面に取り付けられて、環境の追加的なパノラマ画像を取得するカメラがあり得る。

図２４は、ビデオゲームコンテンツをユーザ３１２のＨＭＤ２３００に描画することができるクライアントシステム２４０２を使用した、ゲームプレイの一実施例を例示している。本例示では、ＨＭＤ２３００に提供される仮想オブジェクト、たとえば、ゲームコンテンツ、などの状態は、リッチインタラクティブ３Ｄ空間内である。上記で考察した通り、仮想オブジェクトの状態は、クライアントシステム２４０２にダウンロードされ、または一実施形態では、クラウド処理システムによって実行される。クラウドゲームサービス２２１２は、ユーザ２４０４のデータベースを含み、ユーザ２４０４は、特定のゲーム２４３０にアクセスすること、体験を他の友達と共有すること、コメントを掲載すること、自身のアカウント情報を管理することを許可されている。

クラウドゲームサービス２２１２は、特定のユーザのためのゲームデータ２４０６を、格納し、ゲームデータ２４０６は、ゲームプレイ中、将来のゲームプレイ、ソーシャルメディアネットワークへの共有に使用可能であり得、またはトロフィー、賞、地位、ランク、などの格納のために使用され得る。ソーシャルデータ２４０８は、クラウドゲームサービス２２１２によって管理される。一実施形態では、ソーシャルデータ２４０８は、別のソーシャルメディアネットワークによって管理され、別のソーシャルメディアネットワークは、クラウドゲームサービス２２１２と、コンピュータネットワーク２２１０を介してインターフェース接続している。コンピュータネットワーク２２１０を介して、任意の数のクライアントシステム２４１０が、コンテンツへのアクセスと他のユーザとの交流とのために接続されている。

図２４の実施例で継続すると、ＨＭＤ２３００内で見られている三次元インタラクティブシーンは、３Ｄビューまたは別の仮想環境内に描かれた人物などのゲームプレイを含む。１人の人物、たとえば、Ｐ１、などは、ＨＭＤ２３００を装着しているユーザ３１２によって制御される。本実施例は、２人のプレーヤ間のバスケットボールシーンを示しており、ＨＭＤユーザ３１２は、３Ｄビュー内で、別の人物の上でダンクシュートをしている。他方の人物は、ゲームのＡＩ（人工知能）人物であってよく、または別のプレーヤまたは複数のプレーヤ（Ｐｎ）によって制御され得る。ＨＭＤ２３００を装着しているユーザ３１２は、使用空間内で動いていると示されており、ＨＭＤ２３００は、ユーザの頭部の動きと身体の位置とに基づいて、動き回る。カメラ２４１２は、室内の表示画面の上に置かれていると示されているが、ＨＭＤを使用するために、カメラ２４１２は、ＨＭＤ２３００の画像を取得することができる任意の場所に置かれ得る。したがって、ＨＭＤ２３００に描画されるコンテンツが、カメラ２４１２の視点からのＨＭＤ２３００が置かれる向きに依存し得るため、ユーザ３１２は、カメラ２４１２と表示デバイス２２１２とから約９０度回転していると示されている。もちろん、ＨＭＤの使用中、ユーザ３１２は、ＨＭＤ２３００によって描画される動的な仮想シーンを利用する必要に応じて、動き回り、自身の頭部を回転させ、さまざまな方向を見ている。

図２５は、一実施形態による、ＨＭＤ２３００を装着し、使用中のユーザを例示している。本実施例では、ＨＭＤ２３００は、カメラ２４１２による取得ビデオフレームから取得した画像データを使用して、追跡される２５０２と示されている。加えて、ハンドヘルドコントローラ２２０６は、また、カメラ２４１２による取得ビデオフレームから取得された画像データを使用して、追跡される２５０４と示されている。また、図示されたものは、ＨＭＤ２３００が、コンピューティングシステム２２０２に、ケーブル２５１０を介して接続されている構成である。一実施形態では、ＨＭＤ２３００は、電力を同じケーブルから取得し、または別のケーブルに接続することができる。さらに別の実施形態では、ＨＭＤ２３００は、余分な電源コードを回避するために、再充電可能なバッテリを有している。

図２６を参照すると、図は、本開示で説明する実施形態による、ＨＭＤ２６００の例示的な構成要素を例示して示されている。ＨＭＤ２６００は、ＨＭＤ１０５の一実施例である。ＨＭＤ２６００がカメラを排除している時、ＨＭＤ２６００は、ＨＭＤ１０６の一実施例である。使用可能な構成と機能とにより、より多くの、またはより少ない構成要素が、ＨＭＤ２６００に含まれ得、または排除され得る、ということを理解すべきである。ＨＭＤ２６００は、プログラム命令を実行するためのプロセッサ２６０２を含む。メモリ２６０４は、ストレージ目的のために提供され、一実施形態では、揮発性メモリと非揮発性メモリの両方を含む。ユーザ３１２が見る視覚インターフェースを提供するディスプレイ２６０６が、含まれる。

ディスプレイ２６０６は、１つのシングルディスプレイによって、または各目のための別々の表示画面という形態で、定められる。２つの表示画面が提供されると、左目のビデオコンテンツと右目のビデオコンテンツとを別々に提供することが可能である。ビデオコンテンツを各目に別々に提示することは、たとえば、三次元（３Ｄ）コンテンツのより良い没入型制御を提供することができる。本明細書で説明する通り、一実施形態では、第２の画面は、１つの目の出力を使用し、次いで、コンテンツを表示のための２Ｄ形式にフォーマットすることによって、ＨＭＤ２６００の第２の画面コンテンツを提供される。１つの目は、一実施形態では、左目のビデオフィードであり得るが、他の実施形態では、右目のビデオフィードであり得る。

バッテリ２６０８は、ＨＭＤ２６００の電源として提供される。他の実施形態では、電源は、電力へのコンセントを含む。他の実施形態では、電力へのコンセント及びバッテリ２６０８が、提供される。動き検出モジュール２６１０は、磁力計２６１２、加速度計２６１４、及びジャイロスコープ２６１６などの、さまざまな種類の動きに敏感なハードウェアのうちの任意のものを含む。

加速度計は、加速と、重力により誘発される反力とを測定するためのデバイスである。１軸モデル及び複数軸（たとえば、６軸）モデルは、加速の大きさと方向とを、異なる方向で検出することができる。加速度計を使用して、勾配と振動と衝撃とを感知する。一実施形態では、３つの加速度計を使用して、重力の方向を提供し、重力の方向は、２つの角度（ワールドスペースのピッチ及びワールドスペースのロール）に対する絶対基準を提供する。

磁力計は、ＨＭＤの近くの磁場の強さと方向とを測定する。一実施形態では、３つの磁力計をＨＭＤ内で使用して、ワールドスペースのヨーの角度の絶対基準を保証する。一実施形態では、磁力計は、±８０マイクロテスラである地球の磁場を測るように設計されている。磁力計は、金属によって影響を受け、単調性であるヨー測定を、実際のヨーを用いて提供する。磁場は、環境内の金属によりゆがみ、それは、ヨー測定のゆがみを引き起こす。必要な場合、このゆがみは、ジャイロスコープなどの他のセンサまたはカメラからの情報を使用して較正される。一実施形態では、加速度計２６１４を磁力計２６１２と共に使用して、ＨＭＤ２６００の勾配と方位角とを取得する。

ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持するためのデバイスである。一実施形態では、３つのジャイロスコープは、各軸（ｘ、ｙ、及びｚ）での動きについての情報を、慣性感知に基づいて提供する。ジャイロスコープは、高速回転を検出することを補助する。しかしながら、ジャイロスコープは、絶対基準の存在がないと、時間と共にずれる。ずれを減少させるために、ジャイロスコープは、定期的にリセットされ、リセットは、オブジェクトの視覚追跡に基づいた位置／向き判断、加速度計、磁力計、などの他の利用可能な情報を使用して行われ得る。

カメラ２６１８は、現実世界環境の画像と画像ストリームとを取得するために提供される。一実施形態では、２つ以上のカメラ（任意）がＨＭＤ２６００内に含まれ、それらには、後向きの（ユーザ３１２がＨＭＤ２６００のディスプレイを見ている時、ユーザ３１２ではない方に向けられた）カメラと、前向きの（ユーザがＨＭＤ２６００のディスプレイを見ている時、ユーザ３１２の方に向けられた）カメラと、が含まれる。加えて、一実施形態では、デプスカメラ２６２０が、現実世界環境内のオブジェクトの深さ情報を感知するために、ＨＭＤ２６００内に含まれている。

ＨＭＤ２６００は、オーディオ出力を提供するためのスピーカ２６２２を含む。また、一実施形態では、マイク２６２４が、音声を現実世界環境から取得するために含まれ、音声には、周囲環境からの音、ユーザ３１２によって行われた発言、などが含まれる。一実施形態では、ＨＭＤ２６００は、触感フィードバックをユーザ３１２に提供するための触感フィードバックモジュール２６２６を含む。一実施形態では、触感フィードバックモジュール２６２６は、触感フィードバックをユーザ３１２に提供するために、ＨＭＤ２６００の動き及び／または振動を起こすことができる。

ＬＥＤ２６３０は、ＨＭＤ２６００の状況の視覚インジケータとして提供される。たとえば、ＬＥＤは、バッテリレベル、電力オン、などを示す。カードリーダ２６３２は、ＨＭＤ２６００が情報を、メモリカードから読み、メモリカードに書き込むこと、を可能にするために提供される。ＵＳＢインターフェース２６３４は、周辺デバイスの接続、または他のポータブルデバイス、コンピュータなどの他のデバイスへの接続を可能にするためのインターフェースの一実施例として含まれている。ＨＭＤ２６００のさまざまな実施形態では、さまざまな種類のインターフェースのうちの任意のものを、ＨＭＤ２６００のより良い接続性を可能にするために含むことができる。

一実施形態では、Ｗｉ−Ｆｉモジュール２６３６は、コンピュータネットワークへの無線ネットワーキング技術を介した接続、を可能にするために含まれる。また、一実施形態では、ＨＭＤ２６００は、他のデバイスへの無線接続を可能にするためのＢｌｕｅｔｏｏｔｈモジュール２６３８を含む。通信リンク２６４０は、他のデバイスへの接続のために含まれる。一実施形態では、通信リンク２６４０は、無線通信のために、赤外線送信を活用する。他の実施形態では、通信リンク２６４０は、他のデバイスとの通信のために、さまざまな無線送信プロトコルまたは有線送信プロトコルのうちの任意のものを活用する。

入力ボタン／センサ２６４２は、入力インターフェースをユーザ３１２に提供するために含まれる。ボタン、しぐさ、タッチパッド、ジョイスティック、トラックボール、などのさまざまな種類の入力インターフェースのうちの任意のものを含むことができる。一実施形態では、超音波通信モジュール２６４４は、他のデバイスとの超音波技術を介した通信を容易にするために、ＨＭＤ２６００内に含まれる。

一実施形態では、生物学的センサ２６４６は、ユーザ３１２からの生理学的データの検出を可能にするために含まれる。一実施形態では、生物学的センサ２６４６は、ユーザ３１２の生体電気信号を、ユーザ／プロフィールを特定するユーザの皮膚、声検出、目の網膜検出、などを通して検出するための、１つまたは複数のドライ電極を含む。

ＨＭＤ２６００の前述の構成要素を、ＨＭＤ２６００内に含まれ得る、単に例示的な構成要素として説明した。本開示で説明したさまざまな実施形態では、ＨＭＤ２６００は、さまざまな前述の構成要素のうちのいくつかを含むかもしれず、含まないかもしれない。ＨＭＤ２６００の実施形態は、加えて、現在説明していないが、当技術分野で良く知られた他の構成要素を、本明細書で説明する本発明の態様を容易にする目的のために含むことができる。

当業者は、本開示で説明したさまざまな実施形態では、前述のハンドヘルドデバイスが、さまざまなインタラクティブ機能を提供するためにディスプレイに表示される、インタラクティブアプリケーションと連動して活用される、ということを理解する。本明細書で説明した例示的な実施形態は、限定するものではなく、単に実施例として提供されている。

一実施形態では、クライアント及び／またはクライアントデバイスは、本明細書で参照される通り、頭部装着型ディスプレイ（ＨＭＤ）、端末、パーソナルコンピュータ、ゲーム機、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、独立型デバイス、ハンドヘルドゲームプレイデバイス、及び／または同様なものを含むことができる。通常、クライアントは、符号化されたビデオストリームを受信し、ビデオストリームを復号し、結果として得られたビデオをユーザ、たとえば、ゲームのプレーヤに提示する。符号化されたビデオストリームを受信するプロセス及び／またはビデオストリームを復号するプロセスは、通常、個々のビデオフレームを、クライアントの受信バッファ内に格納することを含む。ビデオストリームは、クライアントと一体化されたディスプレイ、またはモニタまたはテレビなどの別のデバイス上で、ユーザに提示され得る。

クライアントは、任意で、２人以上のゲームプレーヤをサポートするように構成されている。たとえば、ゲーム機は、２人、３人、４人、またはそれ以上の同時プレーヤ（たとえば、Ｐ１、Ｐ２、…Ｐｎ）をサポートするように構成され得る。これらのプレーヤの各々は、ビデオストリームを受信または共有し、または１つのビデオストリームは、各プレーヤに対して特別に生成された、たとえば、各プレーヤの視点に基づいて生成された、フレームの領域を含むことができる。任意の数のクライアントは、ローカルであり（たとえば、同一場所におり）、または地理的に分散している。ゲームシステム内に含まれるクライアントの数は、１人または２人から、数千、数万、またはそれ以上まで、大幅に変化する。本明細書で使用する通り、「ゲームプレーヤ」という用語は、ゲームを行う人物を指すために使用され、「ゲームプレイデバイス」という用語は、ゲームを行うために使用されるデバイスを指すために使用される。いくつかの実施形態では、ゲームプレイデバイスは、協働してゲーム体験をユーザに配信する複数のコンピューティングデバイスを指すことができる。

たとえば、ゲーム機及びＨＭＤは、ビデオサーバシステムと協力して、ＨＭＤを通して見るゲームを配信することができる。一実施形態では、ゲーム機は、ビデオストリームをビデオサーバシステムから受信し、ゲーム機は、描画のために、ビデオストリームをＨＭＤ及び／またはテレビに転送し、またはビデオストリームを更新する。

さらに、ＨＭＤは、ビデオゲームコンテンツ、映画コンテンツ、ビデオクリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、飛び跳ねゲームコンテンツ、会議通話／ミーティングコンテンツ、ソーシャルメディアコンテンツ（たとえば、投稿、メッセージ、メディアストリーム、友達イベント、及び／またはゲームプレイ）、ビデオ部分及び／またはオーディオコンテンツ、インターネット上でブラウザとアプリケーションとを介した供給源から消費用に作成されたコンテンツ、及び任意の種類のストリーミングコンテンツなどの、生成または使用されるコンテンツのうちの任意の種類を見る及び／またはそれとやり取りを行うために使用される。もちろん、任意の種類のコンテンツは、それをＨＭＤで見ることができる限り、またはそれを画面またはＨＭＤの画面に描画することができる限り、描画され得るため、前述のリストのコンテンツは、限定をしていない。

クライアントは、さらに、受信したビデオを変更するために構成されたシステムを含むことができるが、必須ではない。たとえば、クライアントは、あるビデオ画像を別のビデオ画像に重ねるために、ビデオ画像を切り取るために、及び／または同様なことのために、さらなる描画を実行するように構成されている。別の例として、クライアントは、Ｉフレーム、Ｐフレーム、Ｂフレームなどのさまざまな種類のビデオフレームを受信し、これらのフレームを、ユーザに表示するための画像に処理するように構成されている。いくつかの実施形態では、クライアントのメンバーは、さらなる描画、陰影付け、３Ｄへの変換、２Ｄへの変換、ゆがみ除去、サイジング、または同様の操作を、ビデオストリームに対して実行するように構成されている。クライアントのメンバーは、任意で、２つ以上のオーディオストリームまたはビデオストリームを受信するように構成されている。

クライアントの入力デバイスは、たとえば、片手ゲームコントローラ、両手ゲームコントローラ、しぐさ認識システム、注視認識システム、声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動き及び／または位置感知デバイス、マウス、タッチ画面、神経インターフェース、カメラ、まだ開発されていない入力デバイス、及び／または同様なものを含む。

ビデオソースは、ストレージなどのコンピュータ可読媒体に格納された、描画論理、たとえば、ハードウェア、ファームウェア、及び／またはソフトウェアを含む。この描画論理は、ビデオストリームのビデオフレームを、ゲーム状態に基づいて作るように構成されている。描画論理の全部または一部は、任意で、１つまたは複数のグラフィックスプロセシングユニット（ＧＰＵ）内に配置される。描画論理は、通常、ゲーム状態と視点とに基づいて、オブジェクト間の三次元空間関係を判断するために、及び／または適切な質感などを適用するために、構成された処理段階を含む。描画論理は、符号化された未加工のビデオを生成する。たとえば、未加工のビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、ＨＴＭＬ−５、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３、などに従って符号化される。符号化処理は、デバイス上の復号器への配信のために任意でパッケージ化される、ビデオストリームを生成する。ビデオストリームは、フレームサイズとフレームレートとによって特徴付けられる。通常のフレームサイズは、８００ｘ６００、１２８０ｘ７２０（たとえば、７２０ｐ）、１０２４ｘ７６８、１０８０ｐを含むが、任意の他のフレームサイズを使用することができる。フレームレートは、１秒当たりのビデオフレームの数である。一実施形態では、ビデオストリームは、異なる種類のビデオフレームを含む。たとえば、Ｈ．２６４規格は、「Ｐ」フレームと「Ｉ」フレームとを含む。Ｉフレームは、表示デバイス上の全てのマクロブロック／画素をリフレッシュするための情報を含み、一方で、Ｐフレームは、それらのサブセットをリフレッシュするための情報を含む。Ｐフレームは、通常、Ｉフレームよりも、データサイズが小さい。本明細書で使用する「フレームサイズ」という用語は、フレーム内の画素の数を指すように意図されている。「フレームデータサイズ」という用語は、フレームを格納するのに必要なバイト数を指すために使用される。

いくつかの実施形態では、クライアントは、汎用コンピュータ、専用コンピュータ、ゲーム機、パーソナルコンピュータ、ノートパソコン、タブレットコンピュータ、モバイルコンピューティングデバイス、ポータブルゲームデバイス、携帯電話、セットトップボックス、ストリーミングメディアインターフェース／デバイス、スマートテレビまたはネットワークディスプレイ、または本明細書で定めるクライアントの機能を満たすように構成され得る任意の他のコンピューティングデバイスである。一実施形態では、クラウドゲームサーバは、ユーザによって活用されているクライアントデバイスの種類を検出し、ユーザのクライアントデバイスに適切なクラウドゲーム体験を提供するように構成されている。たとえば、画像設定、オーディオ設定、及び他の種類の設定は、ユーザのクライアントデバイスに対して最適化され得る。

図２７は、情報サービスプロバイダアーキテクチャの一実施形態を例示している。情報サービスプロバイダ（ＩＳＰ）２７０２は、多数の情報サービスを、地理的に分散し、コンピュータネットワーク２２１０を介して接続された、ユーザ２７００−１、ユーザ２７００−２、ユーザ２７００−３、ユーザ２７００−４、などに配信する。一実施形態では、ＩＳＰは、株価更新などの１つの種類のサービス、または放送メディア、ニュース、スポーツ、ゲーム、などのさまざまなサービスを配信する。加えて、各ＩＳＰによって提供されるサービスは、動的であり、つまり、サービスは、任意の時点において、追加または除去され得る。したがって、特定の種類のサービスを特定の個人に提供するＩＳＰは、時間と共に変化することができる。たとえば、ユーザは、ユーザが自身の地元にいる間は、ユーザのごく近くのＩＳＰによってサービスを受け、ユーザは、ユーザが別の市に旅行している時は、異なるＩＳＰによってサービスを受ける。地元のＩＳＰは、必要な情報とデータとを新しいＩＳＰに転送し、ユーザ情報が、新しい市までユーザの「後を追っていき」、データをユーザにより近づけ、アクセスし易いようにする。別の実施形態では、マスタ−サーバ関係が、ユーザのための情報を管理するマスタＩＳＰと、マスタＩＳＰの制御下のユーザに直接インターフェース接続するサーバＩＳＰとの間に確立される。別の実施形態では、これらのサービスを配信するＩＳＰがユーザにサービスを提供し易くするために、クライアントが世界中を移動するにつれて、データは、１つのＩＳＰから別のＩＳＰに転送される。

ＩＳＰ２７０２は、コンピュータベースのサービスを顧客にコンピュータネットワーク２２１０を介して提供する、アプリケーションサービスプロバイダ（ＡＳＰ）２７０６を含む。ＡＳＰモデルを使用して提供されるソフトウェアは、また、時折、オンデマンドソフトウェアまたはＳｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ）とも呼ばれる。（顧客関係管理などの）特定のアプリケーションプログラムへのアクセスを提供する簡単な形式は、ＨＴＴＰなどの標準プロトコルを使用することによってである。アプリケーションソフトウェアは、ベンダーのシステム上にあり、ウェブブラウザを通してＨＴＭＬを使用したユーザによって、ベンダーによって提供される特殊目的クライアントソフトウェアによって、またはシンクライアントなどの他のリモートインターフェースによって、アクセスされる。

広域な地理的領域に渡って配信されるサービスは、クラウドコンピューティングを使用することが多い。クラウドコンピューティングは、コンピューティングのスタイルであり、クラウドコンピューティングでは、動的に拡大縮小可能で、しばしば仮想化されている資源が、サービスとして、コンピュータネットワーク２２１０を介して提供される。ユーザは、自身をサポートする「クラウド」内の技術インフラストラクチャの専門家である必要はない。一実施形態では、クラウドコンピューティングは、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＩａａＳ）、Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ（ＰａａＳ）、Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ）などの異なるサービスに分かれている。クラウドコンピューティングサービスは、しばしば、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供するが、ソフトウェア及びデータは、サーバ上に格納されている。クラウドという用語は、インターネットがコンピュータネットワーク図内に描かれる方法に基づいて、（たとえば、サーバとストレージと論理とを使用する）インターネットの隠喩として使用され、それが隠している複雑なインフラストラクチャに対する抽象概念である。

さらに、ＩＳＰ２７０２は、ゲームプロセシングサーバ（ＧＰＳ）２７０８を含み、ゲームプロセシングサーバ（ＧＰＳ）２７０８は、ゲームクライアントによって、シングルプレーヤビデオゲームとマルチプレーヤビデオゲームとを行うために使用される。インターネット上で行われるほとんどのビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、データをプレーヤから集め、それを他のプレーヤに配信する、専用のサーバアプリケーションを使用する。これは、ピアツーピア構成よりも、より効率的かつ効果的であるが、サーバアプリケーションをホストする別のサーバを必要とする。別の実施形態では、ＧＰＳは、通信をプレーヤ間で確立し、自身のそれぞれのゲームプレイデバイスは、集中型のＧＰＳに依存することなしに、情報を交換する。

専用のＧＰＳは、クライアントから独立して動作するサーバである。そのようなサーバは、通常、データセンタ内に置かれた専用ハードウェア上で動作し、より広い帯域幅と専用の処理能力とを提供する。専用サーバは、ほとんどのＰＣベースのマルチプレーヤゲームでは、ゲームサーバをホストする好適な方法である。多人数同時参加型オンラインゲームは、ゲームタイトルを所有するソフトウェア会社によって通常ホストされている専用サーバ上で動作し、コンテンツを制御し、更新することを可能にする。

放送プロセシングサーバ（ＢＰＳ）２７１０は、オーディオ信号またはビデオ信号を、聴衆に配信する。非常に狭い範囲の聴衆への放送は、時折、ナローキャスティングと呼ばれる。放送配信の最後の工程は、信号がリスナーまたはビューアーにどのように届くかということであり、信号は、ラジオ局またはテレビ局が用いるように無線で、アンテナと受信機とまで到達することができ、またはケーブルテレビまたはケーブルラジオ（または「無線ケーブル」）を通して、局を介してまたはネットワークから直接、到達することができる。インターネットは、また、ラジオまたはテレビのいずれかを受信者に、特に、信号と帯域幅とを共有することを可能にする同報通信を用いて、届けることができる。歴史的に、全国放送または地域放送などの放送は、地理的領域によって範囲を定められてきた。しかしながら、高速なインターネットの拡散と共に、コンテンツは世界中のほとんどどの国にも到達することができるため、放送は、地理学によって定められない。

ストレージサービスプロバイダ（ＳＳＰ）２７１２は、コンピュータストレージスペースサービスと関連管理サービスとを提供する。ＳＳＰは、また、定期的なバックアップとアーカイブとを提供する。ストレージをサービスとして提供することによって、ユーザは、必要に応じて、より多くのストレージを注文することができる。別の主要な利点は、ＳＳＰが、バックアップサービスを含み、ユーザは、自身のコンピュータのハードドライブが故障した場合でも、自身の全データを失わない、ということである。さらに、一実施形態では、複数のＳＳＰは、ユーザデータの完全なまたは部分的なコピーを有し、ユーザが、ユーザがいる場所またはデータにアクセスするために使用されているデバイスの場所に依存しない効果的な方法で、ユーザがデータにアクセスすることを可能にする。たとえば、ユーザは、ホームコンピュータ内の個人ファイルと、ユーザが移動している間は携帯電話内の個人ファイルとにアクセスすることができる。

通信プロバイダ２７１４は、ユーザへの接続性を提供する。１つの種類の通信プロバイダは、インターネットへのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、その顧客を、ダイヤルアップ、ＤＳＬ、ケーブルモデム、ファイバ、無線高速相互接続または専用の高速相互接続などの、インターネットプロトコルデータグラムを配信するために適切なデータ送信技術を使用して、接続する。通信プロバイダは、また、Ｅメール、インスタントメッセージ、及びＳＭＳテキストメッセージなどのメッセージサービスを提供することができる。別の種類の通信プロバイダは、ネットワークサービスプロバイダ（ＮＳＰ）であり、ネットワークサービスプロバイダは、インターネットへの直接の基幹回線アクセスを提供することによって、帯域幅またはネットワークアクセスを販売する。ネットワークサービスプロバイダは、一実施形態では、電気通信会社、データキャリア、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ運営会社、などを含む。

データ交換２７０４は、ＩＳＰ２７０２内のいくつかのモジュールを相互接続し、これらのモジュールをユーザ２７００に、コンピュータネットワーク２２１０を介して接続する。データ交換２７０４は、ＩＳＰ２７０２の全てのモジュールがごく近くにある小さな領域を網羅し、または異なるモジュールが地理的に分散している時は、大きな地理的領域を網羅する。たとえば、データ交換２７８８は、データセンタのキャビネット内に高速のギガビットイーサネット（またはより高速なもの）、または大陸間仮想領域ネットワーク（ＶＬＡＮ）を含む。

ユーザ２７００は、リモートサービスに、クライアントデバイス２７２０を用いてアクセスし、クライアントデバイス２７２０は、少なくともＣＰＵと、ディスプレイと、Ｉ／Ｏと、を含む。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、タブレット、ゲームシステム、ＰＤＡ、などであってよい。一実施形態では、ＩＳＰ２７０２は、クライアントによって使用されるデバイスの種類を認識し、用いられる通信方法を調整する。他の場合では、クライアントデバイスは、ｈｔｍｌなどの標準通信方法を使用して、ＩＳＰ２７０２にアクセスする。

実施形態のうちのいくつかを、本明細書で、ユーザ３１２の手に関して説明したが、実施形態が、ユーザ３１２の別の身体部分にも同様に適用される、ということに留意すべきである。

一実施形態では、ゲーム機の代わりに、コンピューティングデバイス、たとえば、タブレット、コンピュータ、スマートテレビ、などを使用して、ゲーム機によって実行されていると本明細書で説明した動作を実行する。

上述の実施形態のうちのいくつかは、信号をパッドデバイスからＨＭＤに送信することに関連するが、さまざまな実施形態では、信号は、パッドデバイスからゲーム機に送信される、ということに留意すべきである。ゲーム機のプロセッサは、信号を解析して、パッドデバイスに対する、ユーザの身体部分の位置及び／または向きを判断し、しぐさを特定する。プロセッサは、しぐさが、ゲームのゲームデータまたは別の環境、たとえば、ビデオ会議環境の環境データに、どのように影響を与えるかを判断する。しぐさは、ゲームデータまたは他の環境データと共に、ＨＭＤまたはテレビまたはコンピューティングデバイスに提供され、ＨＭＤまたはテレビまたはコンピューティングデバイスは、しぐさを組み込んだゲームまたは別の環境、たとえば、ビデオ会議環境、などを表示する。

本開示で説明した実施形態は、さまざまなコンピュータシステム構成を用いて実施され得、それらには、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースの家電またはプログラム可能な家電、ミニコンピュータ、メインフレームコンピュータ、などが含まれる。本開示で説明した実施形態は、また、分散コンピューティング環境で実施され得、分散コンピューティング環境では、タスクは、有線ベースのネットワークまたは無線ネットワークを通して繋がれたリモート処理デバイスによって実行される。

上記の実施形態を考慮すると、本開示で説明した実施形態は、コンピュータシステム内に格納されたデータを伴う、さまざまなコンピュータで実装される動作を用いることができる、ということを理解すべきである。これらの動作は、物理的な量の物理的な操作を必要とするものである。本開示で説明した実施形態の一部を形成する、本明細書で説明した動作のうちの任意のものは、有益なマシン動作である。本開示で説明したいくつかの実施形態は、また、これらの動作を実行するためのデバイスまたは装置に関連する。装置は、必要な目的のために特別に作成され得、または装置は、コンピュータ内に格納されたコンピュータプログラムによって選択的に作動または構成される、汎用コンピュータであってよい。具体的には、さまざまな汎用マシンを、本明細書の教示に従って記述されたコンピュータプログラムと共に使用することができ、または、必要な動作を実行するために、より特殊化した装置を作成することがより便利であり得る。

本開示で説明したいくつかの実施形態は、また、コンピュータ可読媒体上のコンピュータ可読コードとして具現化され得る。コンピュータ可読媒体は、データを格納することができる任意のデータストレージデバイスであり、コンピュータ可読媒体は、その後、コンピュータシステムによって読まれ得る。コンピュータ可読媒体の例は、ハードドライブ、ＮＡＳ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、光学的データストレージデバイス、非光学的データストレージデバイス、などを含む。コンピュータ可読媒体は、コンピュータ可読コードが分散した方法で格納され、実行されるように、ネットワークに連結されたコンピュータシステム上で分散されるコンピュータ可読有形媒体を含むことができる。

いくつかの実施形態では、本明細書で説明した実施形態のうちの任意のものを、残りの実施形態のうちの任意のものと組み合わせることができる、ということに留意すべきである。

さらに、上述の実施形態をゲーム環境に関して説明したが、いくつかの実施形態では、ゲームの代わりに、他の環境、たとえば、ビデオ会議環境を使用する。

方法の動作を具体的な順序で説明したが、オーバーレイ動作の処理が所望の方法で実行される限り、他のハウスキーピング動作を、動作間で実行することができ、または動作がわずかに異なる時間で発生するように、動作を調整することができ、または動作を、処理動作が処理に関連するさまざまな間隔で発生することを可能にするシステム内に分散させることができる、ということを理解すべきである。

本開示で説明した前述の実施形態は、明確に理解するという目的のために、ある程度詳細に説明されたが、ある特定の変更と修正とを、添付の特許請求の範囲内で実施することができる、ということは明白である。したがって、本実施形態は、制限的ではなく、例示的としてみなされるものであり、実施形態は、本明細書で提供した詳細に限定されず、添付の特許請求の範囲で及びその同等物内で修正され得る。

Claims (23)

1. 頭部装着型ディスプレイ（ＨＭＤ）に対するユーザの手の検出を強化するための方法であって、
   エネルギーの乱れた部分を、乱された時に、パッドデバイス内に一体化され、配列に配置された複数のセンサによって、感知することであって、前記エネルギーの前記乱れた部分が、前記ユーザの前記手が前記パッドデバイスの近くに置かれた時に生成され、前記エネルギーの前記乱れた部分を感知する前記複数のセンサが、前記手の現在位置を映し出すエネルギー画像を生成する、前記感知することと、
   前記感知することを、継続的に繰り返して、前記感知することが繰り返されている間の前記手の前記位置の変化を示すエネルギー画像のストリームを生成することと、
   エネルギー画像の前記ストリームを、プロセッサに、前記エネルギー画像の各々を処理して、前記手のモデルと前記手の前記モデルの動きとを生成するために、通信することであって、前記手の前記モデルが、前記ＨＭＤ内に表示される仮想環境内の仮想の手として、少なくとも部分的に描画される、前記通信することと、
   を備える、方法。
2. 前記エネルギーを、前記パッドデバイス内に一体化され、配列に配置された、複数のエネルギーエミッタを使用して発することをさらに備える、請求項１に記載の方法。
3. エネルギー画像の前記ストリームを前記プロセッサに通信して前記手の前記モデルを生成することが、エネルギー画像の前記ストリームを、前記プロセッサに、前記手の位置と向きとの判断を容易にするために通信することを備え、前記手の前記位置が、前記エネルギー画像内の前記エネルギーの前記乱れた部分の強度に少なくとも部分的に基づいて判断される、請求項１に記載の方法。
4. エネルギー画像の前記ストリームを前記プロセッサに通信して前記手の前記モデルを生成することが、エネルギー画像の前記ストリームを、前記プロセッサに、前記手の位置と向きとの判断を容易にするために通信することを備え、前記手の別の位置及び別の向きが、前記プロセッサに接続されたカメラを使用して、または前記ＨＭＤ内のカメラを使用して、または前記パッドデバイス内のカメラを使用して、または前記パッドデバイスが置かれている環境内のカメラを使用して、判断される、請求項１に記載の方法。
5. エネルギー画像の前記ストリームを前記プロセッサに通信して前記手の前記モデルを生成することが、電気信号を、前記プロセッサに、前記手の位置と向きとの判断のために通信することを備え、前記手の前記位置及び前記向きが、ｘｙｚ座標システムに対して判断され、前記パッドデバイスの表面が、前記ｘｙｚ座標システムに対する基準を定める、請求項１に記載の方法。
6. 前記パッドデバイスが、前記パッドデバイスの表面上に置かれたマーカーを含み、前記仮想の手が、前記ＨＭＤの表示デバイスに表示され、前記ＨＭＤが、前記ユーザの頭部に装着され、カメラを有し、前記カメラが、前記ユーザの前記手の位置と向きとの判断を容易にするために、前記マーカーのうちの１つまたは複数の遮蔽を捉えるためのものである、請求項１に記載の方法。
7. 前記エネルギーが、光エネルギーを含み、前記方法は、前記光エネルギーを、複数の赤外光発光体を使用して発することをさらに備え、前記赤外光発光体が、前記パッドデバイス内に一体化され、前記パッドデバイス上で配列に配置されている、請求項１に記載の方法。
8. 前記エネルギーの前記乱れた部分を感知することが、前記ユーザが、前記仮想環境と、前記ＨＭＤを介してやり取りを行っている時に実行される、請求項１に記載の方法。
9. 前記エネルギーの前記乱れた部分を感知することが、前記ユーザが、前記仮想環境と、前記ＨＭＤを介してやり取りを行っている時に実行され、前記エネルギーが、光エネルギー、または超音波エネルギー、または電磁エネルギー、またはそれらの２つ以上の組み合わせを含む、請求項１に記載の方法。
10. 前記パッドデバイスが、上に前記センサが置かれている表面を有し、前記表面が、前記手に向けた向きのためと、前記手が前記パッドデバイスの上のエネルギー空間と関わった時に、前記手の影を受信するためとのものであり、前記影が、前記ユーザの手によって乱された時の前記乱れた部分の強度を定める、請求項１に記載の方法。
11. 前記エネルギーを、前記パッドデバイス内に一体化され、配列に配置された、複数のエネルギーエミッタを使用して発することをさらに備え、前記パッドデバイスが、前記手からの非接触の関わりを受信するために構成されており、発せられた前記エネルギーが、前記パッドデバイスの上のエネルギー境界まで広がり、前記エネルギーの前記乱れた部分が、前記手が前記エネルギー境界内に置かれた時に生成される、請求項１に記載の方法。
12. 前記仮想の手の前記モデルが、前記仮想の手の位置、または前記仮想の手の向き、または前記仮想の手の形、または前記仮想の手の色、または前記仮想の手の境界、または前記仮想の手の質感、またはそれらの２つ以上の組み合わせによって定められ、前記仮想の手の前記境界が、前記仮想の手の輪郭を形成する画像の画素によって定められる、請求項１に記載の方法。
13. 前記乱れた部分を感知することが、前記手の指の第１の指関節によって乱されたエネルギーを感知することと、前記指の第２の指関節によって乱されたエネルギーを感知することと、を、前記ユーザの前記指の位置の判断を容易にするために備え、前記位置の前記判断が、前記第１の指関節の位置を前記第２の指関節の位置に連結する線を使用して実行される、請求項１に記載の方法。
14. 前記仮想の手が、前記ＨＭＤ内で、前記ユーザの頭部に装着された時に表示するためのものであり、または前記ユーザがいる現実世界環境内に置かれたテレビで表示するためのものである、請求項１に記載の方法。
15. エネルギー画像の前記ストリームが、前記センサのフレームレートで生成され、前記フレームレートが、前記エネルギー画像のフレームの生成速度であり、前記フレームレートが、前記エネルギーの前記乱れた部分が前記センサによって感知または取得される周波数である、請求項１に記載の方法。
16. 前記エネルギーを、前記パッドデバイス内に一体化され、配列に配置された、複数のエネルギーエミッタを使用して発することをさらに備え、発せられた前記エネルギーが、エネルギー空間を前記パッドデバイスの上に作成するためのものであり、前記手が、前記エネルギー空間と関わり、前記エネルギー空間を乱すために、前記パッドデバイスの近くに置かれる、請求項１に記載の方法。
17. 前記エネルギー空間が、電磁エネルギー場を含む、請求項１６に記載の方法。
18. 前記手の前記モデルの前記動きが、前記手の指の１つまたは複数の画像の動きを定め、前記仮想の手が、前記仮想環境内の仮想オブジェクトと関わることを可能にされ、前記関わりが、前記仮想オブジェクトのためのオブジェクトモデルによって定められ、前記オブジェクトモデルが、前記仮想環境内の所定の動きまたは動作に対して定められる、請求項１に記載の方法。
19. 頭部装着型ディスプレイ（ＨＭＤ）に対するユーザの手の検出を強化するためのパッドデバイスであって、
    エネルギーの乱れた部分を感知するための、前記パッドデバイスの表面上で配列に配置された複数のセンサであって、前記エネルギーの前記乱れた部分が、前記ユーザの前記手が前記パッドデバイスの近くに置かれた時に生成され、前記手の現在位置を映し出すエネルギー画像を生成するために、前記エネルギーの前記乱れた部分を感知するように構成され、
    前記感知することを継続的に繰り返して、エネルギー画像のストリームを生成するようにさらに構成され、エネルギー画像の前記ストリームが、前記感知することが繰り返されている間の前記手の前記位置の変化を示す、前記センサと、
    前記センサに連結された通信デバイスであって、エネルギー画像の前記ストリームを、プロセッサに、前記エネルギー画像の各々を処理して、前記手のモデルと前記手の前記モデルの動きとを生成するために、通信し、前記手の前記モデルが、前記ＨＭＤで表示される仮想環境内の仮想の手として、少なくとも部分的に描画される、前記通信デバイスと、
    を備える、パッドデバイス。
20. 前記エネルギーを発するための複数のエネルギーエミッタをさらに備え、前記エネルギーエミッタが、前記パッドデバイス内に一体化され、前記パッドデバイスの前記表面上で配列に配置されている、請求項１９に記載のパッドデバイス。
21. パッドデバイスであって、
    前記パッドデバイスの表面上に配置された、身体部分が発せられたエネルギーと関わった時にエネルギーの部分を受信するための複数のセンサであって、
    前記身体部分が現在位置にある時に前記エネルギーの部分を感知することによって、エネルギー画像を、前記エネルギーの部分から生成するように構成され、前記感知することを継続的に繰り返して、エネルギー画像のストリームを生成するようにさらに構成され、エネルギー画像の前記ストリームが、前記感知することが繰り返されている間の手の前記位置の変化を示す、前記センサと、
    前記センサに連結され、エネルギー画像の前記ストリームを通信するためのパッド通信デバイスと、
    を含む前記パッドデバイスと、
    前記パッドデバイスに連結されたゲーム機であって、
    前記パッド通信デバイスに連結され、前記エネルギー画像の前記ストリームを前記パッド通信デバイスから受信するためのゲーム通信デバイスと、
    前記ゲーム通信デバイスに連結され、前記身体部分の動きをエネルギー画像の前記ストリームに基づいて判断するためのゲームプロセッサと、
    を含み、
    前記ゲームプロセッサが、仮想環境内の仮想オブジェクトの状態を、前記身体部分の前記動きに基づいて判断するためのものであり、
    前記ゲーム通信デバイスが、前記仮想オブジェクトの前記状態に関するデータを送信するためのものである、
    前記ゲーム機と、
    前記ゲーム機に連結された頭部装着型ディスプレイ（ＨＭＤ）であって、
    前記ゲーム通信デバイスに連結され、仮想画像の前記状態に関する前記データを、前記ゲーム通信デバイスから受信するためのＨＭＤ通信デバイスと、
    前記ＨＭＤ通信デバイスに連結され、前記状態を有する前記仮想オブジェクトを画像内に表示するためのプロセッサと、
    を備える、前記頭部装着型ディスプレイ（ＨＭＤ）と、
    を備える、システム。
22. 前記ゲームプロセッサが、前記画像内に定められた基準点に対する前記仮想オブジェクトの位置を、前記パッドデバイスの前記表面によって定められた基準に対する前記身体部分の前記位置に比例する、と判断するためのものであり、
    前記ゲームプロセッサが、前記画像に定められた前記基準点に対する前記仮想オブジェクトの向きを、前記パッドデバイスの前記表面によって定められた前記基準に対する前記身体部分の向きに比例すると、判断するためのものである、請求項２１に記載のシステム。
23. 前記パッドデバイスが、光を前記ＨＭＤに向けて発するための複数の発光体を含み、前記ＨＭＤが、ユーザの前記手の位置の判断を容易にするために、前記発光体によって発せられた前記光を感知するための複数のセンサを含む、請求項２１に記載のシステム。