JP2018512643A - 周辺デバイスを伴うグローブの指先の磁気追跡 - Google Patents

Abstract

グローブインタフェースオブジェクト上に配置された複数のグローブエミッタを起動し、グローブインタフェースオブジェクトの指先部分に配置された複数の近接センサを使用して、グローブエミッタまでの指先部分の近接度を特定し、グローブインタフェースオブジェクトの位置が周辺デバイスから所定距離内にあるという判定に応じて、周辺デバイスに配置された複数の周辺エミッタを起動し、近接センサを使用して指先部分のグローブエミッタまでの近接度を特定する構成から、近接センサを使用して指先部分の周辺エミッタまでの近接度を特定する構成へと移行する方法が提供される。【選択図】図７

Description

関連出願
当出願は、２０１５年４月１５日に出願された“Ｍａｇｎｅｔｉｃ Ｔｒａｃｋｉｎｇ ｏｆ Ｇｌｏｖｅ Ｆｉｎｇｅｒｔｉｐｓ”と題する米国特許出願第１４／６８７，５２７号と、２０１４年１０月１７日に出願された“Ｇｌｏｖｅ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔ”と題する米国特許出願第１４／５１７，７４１号と、２０１４年１０月１７日に出願された“Ｔｈｕｍｂ Ｃｏｎｔｒｏｌｌｅｒ”と題する米国特許出願第１４／５１７，７３３号とに対する関連出願であり、これらの開示内容は参照により本出願に組み込まれるものとする。

本発明は、グローブの指先の磁気追跡、ならびに関連方法及びシステムに関する。

関連技術の説明
テレビゲーム産業は、長年にわたり数々の変化を経験してきた。演算能力が拡張したことにより、テレビゲームの開発者も同様に、演算能力の向上を活用したゲームソフトウェアを製作した。この目標を達成するために、テレビゲーム開発者は、非常に現実的なゲーム体験を生み出す高度な動作及び計算を組み込んだゲームをコーディングしてきた。

例示的ゲームプラットフォームには、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ２（登録商標）（ＰＳ２）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）（ＰＳ３）、及びＳｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ４（登録商標）（ＰＳ４）があり、それぞれがゲーム機の形態で販売されている。周知のように、ゲーム機は、モニター（通常はテレビ）に接続して、手持ち型コントローラを介してユーザインタラクションを可能にするように設計される。ゲーム機は、ＣＰＵを含む特別処理ハードウェア、集中的グラフィック動作を処理するグラフィックシンセサイザ、ジオメトリ変換を行うベクトルユニット、ならびに他のグルーハードウェア、ファームウェア及びソフトウェアで設計される。ゲーム機はさらに、ゲーム機を介したローカルプレイ用のゲームコンパクトディスクを受け入れる光ディスクトレイを有するように設計される。オンラインゲームも可能であり、ユーザはインターネットを介して、他のユーザに対して、または他のユーザと共に、インタラクティブにプレイすることが可能である。複雑なゲームはプレーヤの興味を引き付け続けるため、ゲーム及びハードウェアメーカは、さらなるインタラクティブ性及びコンピュータプログラムを可能にするために革新し続けている。

コンピュータゲーム産業における成長傾向は、ユーザとゲームシステム間のインタラクションを増やすゲームの開発である。より豊かなインタラクティブ体験を達成する１つの方法として、ワイヤレスゲームコントローラの使用があり、ワイヤレスゲームコントローラの動きは、プレーヤの動きを追跡し、それらの動きをゲームに対する入力として使用するために、ゲームシステムにより追跡される。一般的にジェスチャ入力は、コンピューティングシステム、テレビゲーム機、スマート家電等の電子機器を、プレーヤにより行われ電子機器により取り込まれるあるジェスチャに対し、反応させることを指す。

さらに臨場感のあるインタラクティブ体験を達成する別の方法として、ヘッドマウントディスプレイの使用がある。ヘッドマウントディスプレイは、ユーザにより装着され、仮想空間の視界等、様々なグラフィックを提示するように構成可能である。ヘッドマウントディスプレイ上で提示されるグラフィックは、ユーザの視野の大部分または全視野にも及ぶことが可能である。よって、ヘッドマウントディスプレイは、視覚的に臨場感のある体験をユーザに提供可能である。

当産業における別の成長傾向は、クラウドベースのゲームシステムの開発に関わる。このようなシステムは遠隔処理サーバを含み、遠隔処理サーバは、ゲームアプリケーションを実行し、ユーザからの入力を受信してディスプレイ上に映像をレンダリングするように構成可能なローカルシンクライアントと通信する。

本発明の実施形態は上記背景の下になされたものである。

本発明の実施形態は、グローブの指先の磁気追跡、ならびに関連方法及びシステムを提供する。

概して、手／指のポーズ（pose）、あるいは姿勢または構えを取り込む入力デバイスを作るために、指先及び指関節を追跡する磁気追跡システムが提供される。一実施形態において、多数の磁気センサ（例えばホール効果センサ）が手の上に（例えば指先ごとに１つずつ）配置され、３つの空間的に離間した電磁石が手首に配置される。センサがそれぞれの電磁石から個別の読み出しを行えるように電磁石は順番に巡回され、それからセンサごとの３つの読み出しは、手首に対する指先の三次元（３Ｄ）位置を計算するために使用され得る。指先の３Ｄ位置を考慮すると、逆運動学を利用して、指のポーズを（例えばどの指関節が曲げられているか、及び曲げ量を特定して）１つの可能な形状（またはいくつかのほぼ同一の形状）に還元することが可能である。さらに、手とデバイス間の正確なインタープレイを示すために、磁気エミッタが物理コントローラデバイス等の他のデバイスに配置可能であり、これらのデバイスに対する指先のポーズを特定するよう指先センサと共に使用され得る（例えば自身の手がコントローラデバイスを握っていることを示す表示レンダリングがユーザに提供され得る）。

一実施形態において、グローブインタフェースオブジェクトが提供され、当該グローブインタフェースオブジェクトは、グローブインタフェースオブジェクトの手首領域に配置された複数の電磁石と、グローブインタフェースオブジェクトの指先領域にそれぞれ配置された複数の磁気センサであって、それぞれの電磁石の起動時、それぞれの電磁石までの距離を示すデータを生成するようにそれぞれ構成される前記磁気センサと、時分割多重化割付で電磁石の起動及び磁気センサの読み出しを制御するように構成されるコントローラであって、それぞれの磁気センサは１つの電磁石の起動中に読み出される前記コントローラと、ヘッドマウントディスプレイ上に提示される仮想環境においてレンダリングされ得る仮想手のポーズを表すデータを生成する処理を行うために、磁気センサの読み出しから導き出されるデータをコンピューティングデバイスへ送信するように構成されるトランスミッタとを備える。

一実施形態において、時分割多重化割付は、個別の時間枠内のそれぞれの電磁石の起動を提供する電磁石の起動の反復パターンと、電磁石のうちの所定の１つの起動時間枠内におけるそれぞれの磁気センサの読み出しとにより規定される。

一実施形態において、複数の電磁石は、手首領域に非同一線上に配置された少なくとも３つの電磁石を規定する。

一実施形態において、複数の磁気センサは、グローブインタフェースオブジェクトの５つの指先領域にそれぞれ配置された５つの磁気センサを規定する。

一実施形態において、複数の磁気センサのそれぞれは、電磁石のうちの１つにより生成される磁場に応じて電圧を生成するように構成される。

一実施形態において、グローブインタフェースオブジェクトはさらに、インタラクティブ環境において取り込まれたグローブインタフェースオブジェクトの画像の分析に基づいて追跡されるように構成される照光追跡可能オブジェクトを備え、照光追跡可能オブジェクトの追跡により、仮想環境内の仮想手の位置が規定される。

一実施形態において、グローブインタフェースオブジェクトはさらに、加速度計、ジャイロスコープ、及び磁力計で構成されるグループから選択される少なくとも１つの慣性センサを備える。

別の実施形態において、方法が提供され、当該方法は、それぞれの電磁石の起動期間を実質的に重複しないよう規定するために、グローブインタフェースオブジェクトの手首部分に配置された複数の電磁石を連続的に起動及び停止することと、それぞれの電磁石の起動中に、グローブインタフェースオブジェクトの指先部分にそれぞれ配置された複数の磁気センサを使用して、起動している電磁石により生成される磁場強度を感知することと、感知された磁場強度を処理して、感知された磁場強度から導き出されるデータを生成することと、ヘッドマウントディスプレイ上に提示される仮想環境においてレンダリングされ得る仮想手のポーズがグローブインタフェースオブジェクトの物理的ポーズと実質的に類似するよう、仮想手のポーズを表すデータを生成する処理を行うために、感知された磁場強度から導き出されるデータをコンピューティングデバイスへ送信することとを含む。

一実施形態において、感知された磁場強度を処理することは、それぞれの磁気センサからそれぞれの電磁石までの距離を特定することと、特定された距離に基づいて複数の電磁石に対する各磁気センサの相対位置を特定することとを含む。

一実施形態において、仮想手のポーズを規定する処理は、各磁気センサの相対位置を処理して、仮想手の対応仮想指のポーズを規定することを含む。

一実施形態において、複数の電磁石は、グローブインタフェースオブジェクトの手首部分に非同一線上に配置された少なくとも３つの電磁石を含む。

一実施形態において、複数の電磁石に対する所定の磁気センサの相対位置は、それぞれの電磁石により規定される原点と、所定の磁気センサからそれぞれの電磁石までの特定された距離により規定される大きさとを有する円弧の交点により規定される。

一実施形態において、複数の電磁石を連続的に起動及び停止することは、電磁石の起動期間の反復サイクルを規定する。

一実施形態において、複数の磁気センサのそれぞれは、電磁石のうちの１つにより生成される磁場に応じて電圧を生成するように構成される。

別の実施形態において、方法が提供され、当該方法は、グローブインタフェースオブジェクトの手首部分に配置された第１電磁石を起動して、第１磁場を生成することと、グローブインタフェースオブジェクトの複数の指先部分のそれぞれにて第１磁場強度を測定することと、第１電磁石を停止することと、グローブインタフェースオブジェクトの手首部分に配置された第２電磁石を起動して、第２磁場を生成することと、グローブインタフェースオブジェクトの複数の指先部分のそれぞれにて第２磁場強度を測定することと、第２電磁石を停止することと、グローブインタフェースオブジェクトの手首部分に配置された第３電磁石を起動して、第３磁場を生成することと、グローブインタフェースオブジェクトの複数の指先部分のそれぞれにて第３磁場強度を測定することと、第３電磁石を停止することと、グローブインタフェースオブジェクトのそれぞれの指先部分に関して、指先部分にて測定された第１、第２、及び第３磁場強度に基づいて指先部分の位置を示す位置データを生成することと、ヘッドマウントディスプレイ上に提示される仮想環境においてレンダリングされ得る仮想手の形状がグローブインタフェースオブジェクトの物理的形状と実質的に類似するよう、仮想手の形状を表すデータを生成する処理を行うために、位置データをコンピューティングデバイスへ送信することとを含む。

一実施形態において、第１電磁石の起動及び停止は、第１磁場強度の測定が行われる第１電磁石の起動期間を規定し、第２電磁石の起動及び停止は、第２磁場強度の測定が行われる第２電磁石の起動期間を規定し、第３電磁石の起動及び停止は、第３磁場強度の測定が行われる第３電磁石の起動期間を規定し、第１、第２、及び第３電磁石の起動期間は、実質的に重複しない。

一実施形態において、方法はさらに、仮想手の形状とグローブインタフェースオブジェクトの物理的形状との間にリアルタイムな一致をもたらすために、方法のそれぞれの動作を巡回的に行うことを含む。

一実施形態において、所定の指先部分の位置は、それぞれの電磁石により規定される原点と、測定された磁場強度から特定される所定の指先部分からそれぞれの電磁石までの距離により規定される大きさとを有する円弧の交点により規定される。

一実施形態において、第１、第２、及び第３電磁石は、グローブインタフェースオブジェクトの手首部分に非同一線上に配置される。

一実施形態において、複数の指先部分のそれぞれにて磁場強度を測定することは、複数の指先部分に配置されたホール効果センサにより行われる。

別の実施形態において、方法が提供され、当該方法は、画像取り込みデバイスを使用して、インタラクティブ環境の画像を取り込むことと、取り込んだ画像を処理して、インタラクティブ環境においてグローブインタフェースオブジェクト上の追跡可能オブジェクトの位置を追跡することであって、追跡可能オブジェクトの追跡された位置は仮想環境内の仮想手の位置を規定する、取り込んだ画像を処理して、インタラクティブ環境においてグローブインタフェースオブジェクト上の追跡可能オブジェクトの位置を追跡することと、グローブインタフェースオブジェクトの指先部分に配置された複数の近接センサから、グローブインタフェースオブジェクト上に配置された複数のエミッタのそれぞれまでの距離を示す指近接度データを受信することと、近接度データを処理して、エミッタに対する指先部分の位置を特定することと、ヘッドマウントディスプレイ上のレンダリングのために、指先部分の位置を適用して、仮想環境内の仮想手の仮想指のポーズを規定することとを含む。

一実施形態において、指近接度データの受信は、時分割多重化割付でのエミッタの起動及び近接センサの読み出しから規定され、それぞれの近接センサは、１つのエミッタの起動中に読み出され、時分割多重化割付は、個別の時間枠内のそれぞれのエミッタの起動を提供するエミッタの起動の反復パターンと、エミッタのうちの所定の１つの起動時間枠内におけるそれぞれの近接センサの読み出しとにより規定される。

一実施形態において、複数のエミッタは、グローブインタフェースオブジェクトの手首部分に非同一線上に配置された少なくとも３つの電磁石を規定する。

一実施形態において、複数の近接センサは、グローブインタフェースオブジェクトの５つの指先部分にそれぞれ配置された５つの磁気センサを規定する。

一実施形態において、追跡可能オブジェクトは、取り込まれた画像において特定されやすいように照光される。

一実施形態において、方法はさらに、グローブインタフェースオブジェクト上に規定される方位センサから方位データを受信することと、方位データを処理して、仮想環境内の仮想手の方位を規定することとを含む。

一実施形態において、方位センサは、加速度計、ジャイロスコープ、及び磁力計で構成されるグループから選択される。

別の実施形態において、方法が提供され、当該方法は、グローブインタフェースオブジェクト上に配置された複数のグローブエミッタを起動することと、グローブインタフェースオブジェクトの指先部分に配置された複数の近接センサを使用して、グローブエミッタまでの指先部分の近接度を特定することと、グローブインタフェースオブジェクトの位置が周辺デバイスから所定距離内にあるという判定に応じて、周辺デバイスに配置された複数の周辺エミッタを起動し、近接センサを使用してグローブエミッタまでの指先部分の近接度を特定することから、近接センサを使用して周辺エミッタまでの指先部分の近接度を特定することへ移行することと、を含む。

一実施形態において、移行は、グローブエミッタの起動を終了することを含む。

一実施形態において、グローブエミッタの起動は、グローブエミッタの巡回的起動順序を規定し、所定のグローブエミッタの１つの起動時間枠内に、それぞれの近接センサから近接度データが読み出される。

一実施形態において、グローブインタフェースオブジェクトの位置が周辺デバイスから所定距離内にあることの判定は、取り込まれたインタラクティブ環境の画像データを処理して、グローブインタフェースオブジェクトの位置と周辺デバイスの位置とを特定することを含む。

一実施形態において、グローブインタフェースオブジェクトの位置の特定は、周辺デバイス上の２次周辺エミッタを起動することと、近接センサを使用して２次周辺エミッタまでの指先部分の近接度を特定することとを含み、移行は２次周辺エミッタの起動を終了することを含む。

一実施形態において、グローブエミッタは、グローブインタフェースオブジェクトの手首部分に配置される。

一実施形態において、グローブエミッタ及び周辺エミッタは電磁石により規定され、近接センサは磁気センサにより規定される。

別の実施形態において、インタラクティブアプリケーションとのインタフェースを行うシステムが提供され、当該システムは、グローブインタフェースオブジェクトと、周辺デバイスとを備え、グローブインタフェースオブジェクトは、複数のグローブエミッタと、グローブインタフェースオブジェクトの指先部分に配置され、かつグローブエミッタまでの指先部分の近接度を示すように構成される複数の近接センサと、複数のグローブエミッタの起動及び近接センサの読み出しを制御するように構成されるグローブコントローラとを含み、周辺デバイスは、複数の周辺エミッタと、グローブインタフェースオブジェクトの位置が周辺デバイスから所定距離内にあるという判定に応じて、周辺エミッタを起動するように構成される周辺コントローラとを含み、近接センサはさらに、グローブインタフェースオブジェクトの位置が所定距離内にあるという判定に応じて、グローブエミッタまでの指先部分の近接度を示すことから、周辺エミッタまでの指先部分の近接度を示すことへ移行する。

一実施形態において、グローブコントローラは、グローブインタフェースオブジェクトの位置が所定距離内にあるという判定に応じて、グローブエミッタの起動を終了するように構成される。

一実施形態において、グローブコントローラは、グローブエミッタの巡回的起動順序を規定するように構成され、所定のグローブエミッタの１つの起動時間枠内に、それぞれの近接センサから近接度データが読み出される。

一実施形態において、周辺デバイスはさらに、２次周辺エミッタを含み、周辺コントローラは、グローブインタフェースオブジェクトの位置を特定するために使用される２次周辺エミッタの起動を制御するように構成され、グローブコントローラは、近接センサを読み出して、グローブインタフェースオブジェクトの位置を規定する２次周辺エミッタまでの指先部分の近接度を特定するように構成され、周辺コントローラは、さらにグローブインタフェースオブジェクトの位置が所定距離内にあるという判定に応じて、２次周辺エミッタの起動を終了するように構成される。

一実施形態において、グローブエミッタは、グローブインタフェースオブジェクトの手首部分に配置される。

一実施形態において、グローブエミッタ及び周辺エミッタは電磁石により規定され、近接センサは磁気センサにより規定される。

本発明の他の態様は、本発明の原理の実施例を示す添付図面と合わせて下記の発明を実施するための形態から明らかとなるであろう。

本発明は、添付図面と合わせて以下の説明を参照することにより、最も良く理解されるであろう。

本発明の実施形態による、テレビゲームのインタラクティブゲームプレイのためのシステムを例示する。 本発明の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を例示する。 本発明の実施形態による、テレビゲームの実施と連動したＨＭＤの機能を概念的に例示する。 本発明の実施形態による、複数のエミッタ及び近接センサがその上に規定されたグローブインタフェースオブジェクトを例示する。 本発明の実施形態による、多数の近接センサがその上に規定されたグローブインタフェースオブジェクトを例示する。 本発明の実施形態による、グローブインタフェースオブジェクトのいくつかのエミッタ及びセンサの時分割多重化割付での動作を概念的に例示する図表である。 本発明の実施形態による、グローブインタフェースオブジェクトの様々な電磁石に対する電源投入を示すいくつかのグラフを例示する。 本発明の実施形態による、周辺デバイスと共に使用されるように構成されるグローブインタフェースオブジェクトを例示する。 本発明の実施形態による、キーボード周辺デバイスとインタラクトするように構成されるペアのグローブインタフェースオブジェクトを例示する。 本発明の実施形態による、近接センサを有する１つまたは複数のグローブインタフェースオブジェクトの粗大追跡及び精密追跡を提供するように構成される長距離及び近距離エミッタを有する周辺デバイスを例示する。 本発明の実施形態による、グローブインタフェースオブジェクトを使用してインタラクティブアプリケーションとインタフェースを行うシステムを概略的に例示する。 本発明の実施形態による、グローブインタフェースオブジェクトを使用してインタラクティブアプリケーションとインタフェースを行うシステムを概略的に例示する。 本発明の実施形態による、グローブインタフェースオブジェクトのコンポーネントを例示する。 本発明の実施形態による、ヘッドマウントディスプレイのコンポーネントを例示する。 本発明の様々な実施形態による、ゲームシステムのブロック図である。

下記の実施形態は、グローブインタフェースオブジェクト、ならびに関連システム、方法、及び装置を提供する。

一実施形態において、方法、システム、画像取り込みオブジェクト、センサ、及び関連インタフェースオブジェクト（例えばグローブ）は、ディスプレイスクリーン上で実質的リアルタイムにレンダリングされるように構成されるデータを処理するように構成される。例えば、ユーザの手が位置を変えた（例えば手が動いた、指が曲がった、多数の指が曲がった、指が他の指に触れた、及び／またはジェスチャが行われた）時、位置の変化はディスプレイ上で実質的リアルタイムに表示されるように構成される。

ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイ、第２スクリーンのディスプレイ、ポータブルデバイスのディスプレイ、コンピュータディスプレイ、ディスプレイパネル、または遠隔接続ユーザのディスプレイ（例えばコンテンツを閲覧、もしくはインタラクティブ体験を共有していてもよい）等であり得る。いくつかの実施形態において、取り込まれたユーザの手の位置、感知された圧力、接触した指、及び／または手／指ジェスチャは、テレビゲーム内で、仮想世界シーン、共有仮想空間、現実世界のユーザの延長であるテレビゲームキャラクタで、インタラクトを行うために利用される、または単純に、ディスプレイスクリーン上に示される仮想オブジェクトもしくは文書、テキスト、及び画像等に対応付けられたオブジェクトに対し、接触、保持、プレイ、インタフェース、または交信を行う方法を提供する。

さらに他の実施形態において、マルチユーザゲームにおいて、多数のユーザにより仮想グローブが装着され得る。このような実施例において、各ユーザは、１つまたは２つのグローブを使用し得る。遠隔地からの共有空間もしくは共有ゲームにおいて、クラウドゲームシステム、ネットワーク型デバイス、及び／またはソーシャルネットワーク型共同作業空間を使用して、ユーザは、共同配置され得る、あるいはインタフェースし得る。いくつかの実施形態において、１人または複数の遠隔ユーザは、文書、スクリーン、アプリケーション、図、またはビジネス情報等を調べるために、グローブを利用して、共同的にインタラクトし得る。このような実施態様において、共同作業するユーザは、自身のグローブを利用して、オブジェクトに触れる、オブジェクトを動かす、表面に接する、オブジェクトに圧力を加える、オブジェクトをぎゅっと握る、オブジェクトを投げる、またはジェスチャ行動もしくは動作を行うことなどができる。

共同作業中、１人のユーザの手による動きは、他のユーザには、共同作業空間において実際のユーザが物、オブジェクトを動かしている、または行動を起こしているように見え得る。さらに共同作業環境内で、２人の遠隔ユーザが文書を調べている場合、グローブを装着しているユーザは、仮想ページ上の物を指す、仮想ホワイトボード上に合わせて描く、仮想紙を持ち上げ動かす、握手する、アイテムを動かす等、行うことが可能である。いくつかの共同作業環境において、ユーザのうちの１人または複数は、ＨＭＤを装着していてもよい。ＨＭＤが１つまたは複数のグローブ（例えば１人または複数のユーザにより装着される）と共に使用される場合、ユーザは自身の手を使って、オブジェクト、ページを動かす、仮想キーボードを打つ、仮想ページを動かす、物を叩く、物に圧力を加える等といった共同作業を行うことが可能な仮想環境をユーザは見ることができる。

従って、１つまたは複数のセンサを含む、及び／または圧力を検出可能である、及び／または指の曲がっている位置を検出可能である、及び／または方位を検出可能である、及び／または慣性移動を検出可能であるといったグローブの使用は、幅広い使用範囲を提供可能であることを理解されたい。例示的使用は、テレビゲーム、娯楽活動、スポーツ関連活動、旅行及び探検関連活動、人と人との交信（例えば遠隔ユーザの握手）、ビジネス活動、ロボット制御（例えばロボット手術）等を非限定的に含み得る。一実施態様において、グローブインタフェースにより提供されるこの種類のインタラクティビティは、人の体の他の部分（例えば腕、脚、足等）に取り付けられ得る、あるいは対応付けられ得る追加のセンサにまで拡張され得る。グローブに加えて、例えばジャケット、ズボン、靴、帽子等の異なる種類の衣類も想定される。

しかしながら、本発明は、これらの具体的な詳細のうちの一部または全てがなくとも実行可能であることは、当業者には明らかであろう。他の事例では、本発明を不必要に曖昧にしないために、周知のプロセス動作は詳細に説明されていない。

図１は、本発明の実施形態による、テレビゲームのインタラクティブゲームプレイのためのシステムを例示する。ヘッドマウントディスプレイ（ＨＭＤ）１０２を装着しているユーザ１００が示される。ＨＭＤ１０２は、眼鏡、ゴーグル、またはヘルメットと同様に装着され、ユーザ１００にテレビゲームまたは他のコンテンツを表示するように構成される。ＨＭＤ１０２の表示機構はユーザの目の極めて近くで提供されるため、ＨＭＤ１０２はユーザに非常に臨場感のある体験を提供する。従って、ＨＭＤ１０２は、ユーザの視野の大部分または全体さえも占める表示領域を、それぞれのユーザの目に提供し得る。

一実施形態において、ＨＭＤ１０２は、コンピュータ１０６に接続され得る。コンピュータ１０６への接続は、有線または無線であり得る。コンピュータ１０６は、当技術分野において周知の任意の汎用または専用コンピュータであり得、ゲーム機、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、セルラー電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、これに限定されない。一実施形態において、コンピュータ１０６は、テレビゲームを実行し、ＨＭＤ１０２によるレンダリングのためにテレビゲームから映像と音声を出力するように構成され得る。

ユーザ１００は、グローブインタフェースオブジェクト１０４を操作して、テレビゲームに対する入力を行い得る。さらに、カメラ１０８は、ユーザ１００が位置するインタラクティブ環境の画像を取り込むように構成され得る。これらの取り込まれた画像は、ユーザ１００、ＨＭＤ１０２、及びグローブインタフェースオブジェクト１０４の位置及び動きを特定するために分析され得る。一実施形態において、グローブインタフェースオブジェクト１０４は、その位置と方位を特定するために追跡可能なライトを含む。さらに、ＨＭＤ１０２は、ＨＭＤ１０２の位置及び方位を特定するために追跡可能な１つまたは複数のライトを含み得る。カメラ１０８は、インタラクティブ環境から音を取り込むために、１つまたは複数のマイクロホンを含み得る。マイクロホンアレイにより取り込まれた音は、音源の位置を特定するように処理され得る。特定された位置からの音は、選択的に使用され得る、または特定された位置以外からの他の音を除外するように処理され得る。さらに、カメラ１０８は、多重画像取り込みデバイス（例えば立体画像カメラ）、ＩＲカメラ、デプスカメラ、及びそれらの組み合わせを含むように規定され得る。

別の実施形態において、コンピュータ１０６は、ネットワークを介したクラウドゲームプロバイダ１１２との通信において、シンクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１０２によりプレイされているテレビゲームを保持及び実行する。コンピュータ１０６は、ＨＭＤ１０２、グローブインタフェースオブジェクト１０４、及びカメラ１０８からの入力をクラウドゲームプロバイダへ送信し、クラウドゲームプロバイダは、入力を処理して、実行中のテレビゲームのゲーム状態に作用する。映像データ、音声データ、及び触覚フィードバックデータ等の実行中のテレビゲームからの出力は、コンピュータ１０６へ送信される。コンピュータ１０６はさらに、送信前にデータを処理し得る、あるいは関連デバイスへデータを直接送信し得る。例えば、映像及び音声ストリームはＨＭＤ１０２に提供されるが、振動フィードバックコマンドはグローブインタフェースオブジェクト１０４に提供される。

一実施形態において、ＨＭＤ１０２、グローブインタフェースオブジェクト１０４、及びカメラ１０８自体が、ネットワーク１１０と接続してクラウドゲームプロバイダ１１２と通信するネットワーク型デバイスであり得る。例えば、コンピュータ１０６は、テレビゲーム処理を行わないがネットワークトラフィックの流れを促進するルータ等のローカルネットワークデバイスであり得る。ＨＭＤ１０２、グローブインタフェースオブジェクト１０４、及びカメラ１０８によるネットワークへの接続は、有線または無線であり得る。

さらに、本開示における実施形態はヘッドマウントディスプレイに関連して説明され得るが、他の実施形態において、テレビ、プロジェクタ、ＬＣＤディスプレイスクリーン、ポータブルデバイススクリーン（例えばタブレット、スマートフォン、ラップトップ等）、あるいは本実施形態に従って映像をレンダリングする及び／またはインタラクティブシーンもしくは仮想環境の表示を提供するように構成され得る任意の他の種類のディスプレイを非限定的に含む非頭部搭載ディスプレイが代用され得ることは理解されよう。

図２は、本発明の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を例示する。示されるように、ＨＭＤ１０２は、複数のライト２００Ａ〜Ｈを含む。これらのライトのそれぞれは、特定の形を有するように構成されてもよく、同一または異なる色を有するように構成可能である。ライト２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄは、ＨＭＤ１０２の前面に配置される。ライト２００Ｅ、及び２００Ｆは、ＨＭＤ１０２の側面に配置される。そしてライト２００Ｇ、及び２００Ｈは、ＨＭＤ１０２の前面及び側面に及ぶように、ＨＭＤ１０２の角に配置される。ユーザがＨＭＤ１０２を使用するインタラクティブ環境の取り込み画像において、ライトが特定され得ることは理解されよう。ライトの特定及び追跡に基づいて、インタラクティブ環境内のＨＭＤ１０２の位置及び方位が特定され得る。ライトのうちのいくつかは、画像取り込みデバイスに対するＨＭＤ１０２の特定の向きによっては、視覚的に取り込み可能または不可能であることが、さらに理解されよう。また、ライトの別の部分（例えばライト２００Ｇ及び２００Ｈ）は、画像取り込みデバイスに対するＨＭＤ１０２の向きによっては、画像取り込みにさらされ得る。

一実施形態において、ライトは、付近にいる他の人に対し、ＨＭＤの現行状態を示すように構成され得る。例えば、ライトの一部または全ては、点滅し、あるオン／オフ構造を有するように構成されるある色装置、強度装置、またはＨＭＤ１０２の現行状態を示す他の装置を有するように構成され得る。実施例として、ライトは、メニューインタフェースを移動する、またはゲーム設定を行うといったテレビゲームの他の非アクティブゲームプレイ態様（その間ゲームタイムラインまたはゲームシーンは停止または一時停止され得る）に対し、テレビゲームのアクティブゲームプレイ（一般にアクティブタイムライン内またはゲームシーン内に起こるゲームプレイ）中には、異なる形状を表示するように構成され得る。ライトはまた、ゲームプレイの相対強度レベルを示すように構成され得る。例えば、ゲームプレイの強度が高まると、ライトの強度、または点滅速度も高まり得る。このように、ユーザの周りにいる人は、ＨＭＤ１０２上のライトを見て、ユーザが激しいゲームプレイに活発に参加しており、今の時点では邪魔されたくないであろうことを理解し得る。

ＨＭＤ１０２は加えて、１つまたは複数のマイクロホンを含み得る。例示される実施形態において、ＨＭＤ１０２は、ＨＭＤ１０２の前面に規定されたマイクロホン２０４Ａ及び２０４Ｂと、ならびにＨＭＤ１０２の側面に規定されたマイクロホン２０４Ｃとを含む。マイクロホンのアレイを使用して、それぞれのマイクロホンからの音は処理され、音源の位置が特定され得る。この情報は、不要な音源の除外、音源と視覚識別との対応付け等を含む様々な方法で利用され得る。

ＨＭＤ１０２はまた、１つまたは複数の画像取り込みデバイスを含み得る。例示される実施形態において、ＨＭＤ１０２は、画像取り込みデバイス２０２Ａ及び２０２Ｂを含むように示される。立体画像取り込みデバイスを使用して、環境の三次元（３Ｄ）画像及び映像が、ＨＭＤ１０２の観点から取り込まれ得る。このような映像はユーザに提示され、ＨＭＤ１０２を装着している間、「ビデオシースルー」能力がユーザに提供され得る。すなわち、厳密に言えばユーザはＨＭＤ１０２を通して外部を見ることはできないが、画像取り込みデバイス２０２Ａ及び２０２Ｂにより取り込まれた映像により、ＨＭＤ１０２を通して見ているかのようにＨＭＤ１０２の外部環境を見ることが可能な機能的等価物が提供され得る。このような映像は、拡張現実体験を提供するために仮想要素と共に拡張され得る、または他のやり方で仮想要素と共に合併または融合され得る。例示される実施形態においては、２つのカメラがＨＭＤ１０２の前面に示されているが、ＨＭＤ１０２上に設置され、任意の方向に向けられた外向きカメラは、任意の数存在し得ることは理解されよう。例えば、別の実施形態においては、環境のさらなるパノラマ画像取り込みを提供するために、ＨＭＤ１０２の側面に搭載されたカメラが存在し得る。

図３は、本発明の実施形態による、テレビゲームの実施と連動したＨＭＤ１０２の機能を概念的に例示する。テレビゲームの実施は、入力を受信してテレビゲームのゲーム状態を更新するゲームエンジン３２０により規定される。テレビゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の状況、イベントのトリガ、ユーザプロファイル、表示に対する視点等、現行のゲームプレイの様々な態様を規定するテレビゲームの様々なパラメータの値により、少なくとも部分的に規定され得る。

例示される実施形態において、ゲームエンジンは、実施例として、コントローラ入力３１４、音声入力３１６、及び動作入力３１８を受信する。コントローラ入力３１４は、手持ち型ゲームコントローラ（例えばＳｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４無線コントローラ、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）Ｍｏｖｅ動作コントローラ）、またはグローブインタフェースオブジェクト１０４等、ＨＭＤ１０２とは分離したゲームコントローラの操作から規定され得る。実施例として、コントローラ入力３１４には、方向入力、ボタン押下、トリガ起動、動き、ジェスチャ、またはゲームコントローラの操作から処理される他の種類の入力が含まれ得る。音声入力３１６は、ＨＭＤ１０２のマイクロホン３０２から、または画像取り込みデバイス１０８もしくはローカル環境内の他の場所に含まれるマイクロホンから、処理され得る。動作入力３１８は、ＨＭＤ１０２に含まれる動作センサ３００から、またはＨＭＤ１０２の画像を取り込む画像取り込みデバイス１０８から、処理され得る。ゲームエンジン３２０は、テレビゲームのゲーム状態を更新するためにゲームエンジンの構成に従って処理された入力を受信する。ゲームエンジン３２０は、ゲーム状態データを処理してユーザに提示するコンテンツを規定する様々なレンダリングモジュールに対し、ゲーム状態データを出力する。

例示される実施形態において、映像レンダリングモジュール３２２は、ＨＭＤ１０２上に提示される映像ストリームをレンダリングするように規定される。映像ストリームは、ディスプレイ／プロジェクタ機構３１０により提示され、光学部品３０８を通してユーザの目３０６により見られ得る。音声レンダリングモジュール３０４は、ユーザによる聴聞のために音声ストリームをレンダリングするように構成される。一実施形態において、音声ストリームは、ＨＭＤ１０２に対応付けられたスピーカ３０４を通して出力される。スピーカ３０４は、オープンエア型スピーカ、ヘッドホン、またはその他の種類の音声提供可能なスピーカの形態を取り得ることを理解されたい。

一実施形態において、ユーザの視線の追跡を可能にするために、視線追跡カメラ３１２がＨＭＤ１０２に含まれる。視線追跡カメラは、ユーザの目の画像を取り込み、取り込まれた画像はユーザの視線方向を特定するために分析される。一実施形態において、ユーザの視線方向に関する情報は、映像レンダリングに作用するように使用され得る。例えば、ユーザの目が特定の方向を見ていると判定された場合、ユーザが見ている領域にさらなる詳細またはより早い更新を提供する等、その方向の映像レンダリングは優先され得る、または強調され得る。ユーザの視線方向は、ヘッドマウントディスプレイに相対して、ユーザが置かれる現実環境に相対して、及び／またはヘッドマウントディスプレイ上でレンダリングされている仮想環境に相対して、規定され得ることを理解されたい。

概して、視線追跡カメラ３１２により取り込まれた画像の分析は、単独で考慮される場合、ＨＭＤ１０２に対するユーザの視線方向を規定する。しかしながら、ＨＭＤ１０２の追跡された位置及び方位と組み合わせて考慮される場合、ＨＭＤ１０２の位置及び方位はユーザの頭の位置及び方位と同義であるため、ユーザの現実世界の視線方向が特定され得る。すなわち、ユーザの現実世界の視線方向は、ユーザの目の位置移動の追跡、ならびにＨＭＤ１０２の位置及び方位の追跡から特定され得る。仮想環境の視野がＨＭＤ１０２上にレンダリングされると、仮想環境においてユーザの仮想世界の視線方向を特定するために、ユーザの現実世界の視線方向が適用され得る。

加えて、触覚フィードバックモジュール３２６は、ＨＭＤ１０２、またはコントローラ１０４等のユーザにより操作される別のデバイスに含まれる触覚フィードバックハードウェアに対し、信号を提供するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバック等、様々な種類の触感覚の形態を取り得る。

記されたように、本明細書において説明されるＨＭＤデバイスは、ユーザの視野の大部分または全体でさえ覆って、ユーザに非常に臨場感のある体験を提供することが可能である。このＨＭＤ体験の臨場的態様を踏まえると、特にユーザは自身の手または自身が保持しているオブジェクト（例えばコントローラ）を見ることができないであろうことから、ユーザに対し直感的制御機構を提供することが望ましい。よって、本明細書において説明される発明の実施形態に従って、グローブインタフェースオブジェクトのために、方法、装置、及びシステムが提供される。

本開示を通して、グローブインタフェースオブジェクト、ならびに指、掌、及び他の手の部分を含むユーザの手に関して論及が行われる。説明の簡潔性及び本開示の分かりやすさのために、グローブインタフェースオブジェクトとユーザの手（及び／または手の部分）は、数々の事例において互換的及び／または代替的に論及され得ることが、当業者には理解されよう。すなわち、グローブインタフェースオブジェクトはユーザの手の活動の検出を行う、または検出を容易にするように構成されるため、ユーザの手により規定される活動（例えばポーズ、位置、動き、方位、位置、行動等）は、ユーザの手に装着されているグローブインタフェースオブジェクトにも属する。従って、本開示におけるある態様をユーザの手に属する言葉を使用して議論することが、説明目的では便利であり得る。しかしながら、グローブインタフェースオブジェクトがユーザの手に装着され、その上でユーザの手に属する言葉が適用され得る、あるいは実際にはグローブインタフェースオブジェクトにより規定され得ることは容易に理解され、これは説明の文脈から当業者には明らかである。

図４Ａは、本発明の実施形態による、複数のエミッタ及び近接センサがその上に規定されたグローブインタフェースオブジェクトを例示する。示されるように、グローブインタフェースオブジェクト４００は、親指部分４０２ａ、人差し指部分４０２ｂ、中指部分４０２ｃ、薬指部分４０２ｄ、及び小指部分４０２ｅを含む様々な指部分を含む。複数の近接センサは、グローブインタフェースオブジェクト４００の指先部分／領域に実質的に規定される。すなわち、近接センサは、ユーザの指の末節骨部に対応する、または末節骨部を受けるグローブインタフェースオブジェクト４００の指部分の末端部上／内、あるいは末端部にもしくは近くに規定される。いくつかの実施態様において、指先部分／領域は、末節骨のある遠位部（例えば遠位半分、遠位第三、遠位第四等）に対応するが、他の実施態様においては、指先部分／領域は末節骨全体に対応する。指の指先部分／領域は、指の上面、底面、側面、及び／または先端、ならびに／あるいはそれらの任意の部分的組み合わせを含み得る。例示される実施形態において、近接センサ４０４ａ、４０４ｂ、４０４ｃ、４０４ｄ、及び４０４ｅはそれぞれ、親指部分４０２ａ、人差し指部分４０２ｂ、中指部分４０２ｃ、薬指部分４０２ｄ、及び小指部分４０２ｅの指先／先端に規定される。加えて、近接センサ４０６が、グローブインタフェースオブジェクト４００の手の甲部分または掌部分に規定される。近接センサは、複数のエミッタ４２２ａ、４２２ｂ、及び４２２ｃのそれぞれまでの距離／近接度を示すデータを生成するように構成される。

例示される実施形態において、エミッタは、グローブインタフェースオブジェクト４００の手首部分４２４に規定される。いくつかの実施態様において、手首部分４２４は、グローブインタフェースオブジェクト４００が装着された時にユーザの手首を取り巻くブレスレットとして規定される。手首部分４２４は、指部分及び掌部分等のグローブインタフェースオブジェクト４００の残りの部分がグローブインタフェースオブジェクト４００を装着するユーザの手の動きに従って動いても、ユーザの手首／前腕に対して実質的に動かない状態を維持する（例えば安定した向きを有する）ように構成される。手首部分４２４をユーザの手首／前腕に対し実質的に安定した向きで維持することにより、エミッタも手首／前腕に対し実質的に安定した向きで維持されるため、エミッタに対する指先部分の近接度は一貫して追跡され、ユーザの手首／前腕までのユーザの指先の近接度を確実に示し得る。

いくつかの実施態様において、手首部分４２４は、ユーザの前腕の遠位部上に位置するように構成される。本明細書において使用される用語「手首」は、手首の中央部を備える手首関節に加えて、前腕の遠位部も含み得る。前腕の遠位部は、回内及び回外動作の対象となるが、橈側偏位及び尺側偏位を含む周縁動作、または掌屈及び背屈／伸展等の屈曲動作といった、手首関節により促進される手の他の動作の対象とはならない。よって、手首部分４２４を前腕の遠位部に固定することで、手首部分４２４に規定されたエミッタは、手首関節により促進される前述の手の動きから生じる変化の検出を容易にする基準位置として機能することが可能となる。

様々な実施態様において、手首部分４２４は、手首部分４２４の頑丈な配置を提供する任意の周知のデバイス、構造、または方法により、ユーザの手首／前腕（例えば前腕の遠位端／部）に固定され得るため、手首部分４２４の位置／向きは、ユーザの前腕の遠位端／部と比べてユーザの手／指の動きにより実質的に影響を受けない。いくつかの実施形態において、手首部分４２４は、手首部分をユーザの手首／前腕に固定するゴムバンドを含む。いくつかの実施形態において、手首部分４２４は、留め金、バックル、紐、ストラップ、または手首部分４２４をユーザの手首／前腕に固定する他の機構を含む。いくつかの実施形態において、当機構は、異なるサイズの手首／前腕に対応するために、調整可能であり得る。いくつかの実施形態において、手首部分４２４の内面は、手首部分４２４が滑らないように、ユーザの手首／前腕の皮膚に対し摩擦を提供する素材から規定される。いくつかの実施形態において、内面は、リブ、ディンプル等、滑りを防ぐために構成される三次元面構造または模様を含み得る。

いくつかの実施態様において、エミッタは電磁石により規定され、近接センサはホール効果センサ等の磁気センサにより規定される。概して、ホール効果センサは、磁場に応じてその出力電圧を変える変換器である。ホール効果センサは、電流が流れる矩形ｐ型半導体物質（例えばガリウムヒ素、アンチモン化インジウム、ヒ化インジウム）で構成され得る。センサが磁場内に配置されると、磁束線は、半導体スラブの両側に、電荷キャリア（電子及び正孔）を偏向させる力を及ぼす。電荷キャリアが半導体物質を通して受ける磁力によりもたらされる電荷キャリアの移動は、半導体物質の２側面間に電位差を生じる電荷キャリアの蓄積を引き起こす。出力電圧（ホール電圧）は、半導体物質を通る磁場強度に比例する。ホール効果センサは、磁場を検出するのに使用され得る磁気センサの一例である。他の実施形態においては、磁場を検出及び測定可能な他の種類の磁気センサが使用され得る。

いくつかの実施態様において、エミッタは超音波エミッタにより規定され、近接センサは超音波周波数を検出可能なマイクロホンにより規定される。いくつかの実施態様において、エミッタはＲＦエミッタにより規定され、近接センサはＲＦ検出器により規定される。様々な実施形態において、エミッタ及び近接センサは、信号を発するエミッタと、当該信号を検出可能な近接センサとの任意の組み合わせにより規定され、近接センサは検出された信号に基づいて、エミッタまでの近接センサの近接度／距離を示すデータを生成することは理解されよう。概して、本明細書において論じられる実施形態は、電磁石により規定されるエミッタ、及びホール効果センサ等の磁気センサにより規定される近接センサに関して説明される。しかしながら、他の実施形態において、本開示の範囲から逸脱することなく、同一または同様の機能を達成するために、他の種類のエミッタ及び近接センサが代用可能であることは理解されよう。

グローブインタフェースオブジェクト４００は、近接センサ及びエミッタの動作を制御するように構成されるコントローラ４０８を含む。例示される実施形態において、コントローラ４０８は、手首部分４２４の一部として規定されるが、他の実施形態においては、コントローラ４０８（またはその特定サブコンポーネントのうちのいずれか）は、グローブインタフェースオブジェクト４００上または内の別の場所に配置可能である。一実施形態において、コントローラ４０８は、コントローラ、ならびに近接センサ及びエミッタを作動させる電力を供給する電源４１０と、ゲーム機等の外部コンピューティングデバイスとデータを送受信する有線／無線送受信器４１２と、プログラム命令を実行するプロセッサ４１４と、データ及びプログラム命令を記憶するメモリ４１６と、エミッタの動作を制御するエミッタコントローラ４１８と、近接センサの動作を制御するセンサコントローラ４２０といった様々なコンポーネントを含む。

いくつかの実施態様において、コントローラ４０８は、時分割多重化割付でエミッタの起動及び近接センサの読み出しを制御するように構成される。すなわち、各エミッタの別個の起動期間を規定するために、エミッタは連続的に起動及び停止される。所定のエミッタの各起動期間中、現在起動している所定のエミッタまでの各近接センサの近接度／距離を示すセンサデータを取得するために、それぞれの近接センサが読み出され得る。時分割多重化割付は、下記の具体的実施例の検討を通して、より明確に理解されよう。

引き続き図４Ａを参照すると、いくつかの実施態様において、エミッタ及び近接センサを制御するために以下の時分割多重化割付が使用される。第１時間枠の間に、第１エミッタ４２２ａが起動され、それぞれの近接センサの読み出しが行われ、第１時間枠に続く第２時間枠の間に、第２エミッタ４２２ｂが起動され、それぞれの近接センサの２回目の読み出しが行われ、第２時間枠に続く第３時間枠の間に、第３エミッタ４２２ｃが起動され、それぞれの近接センサの３回目の読み出しが行われる。エミッタの当起動順序は巡回的に繰り返され、エミッタの起動期間のサイクル／順序が規定され得る。いくつかの実施態様において、所定のエミッタの各起動時間枠は、他のエミッタの他の起動時間枠を実質的に含めないことは理解されよう。言い換えると、エミッタの起動時間枠は、お互いに実質的に重複しない。しかしながら、いくつかの実施形態において、エミッタの起動に重複があり得ることは理解されよう。例えば、１つのエミッタが停止されている際に、次のエミッタが同時に起動され得るため、両エミッタの起動時間枠に重複が存在し得る（例えば電磁石のコイル内のインダクタンスによる可能性がある）。いくつかの実施態様において、このような割付は実質的に重複しないように構成され、所定のエミッタが独占的に起動している時間は別のエミッタと重複する時間よりも実質的に長く、近接センサの読み出しはこの独占的起動時間中に起こる。他の実施態様においては、割付は、実質的に重複するように構成され得る。様々な実施形態において、近接センサは各エミッタの独占的起動時間中に読み出されるため、エミッタの起動順序によりそれぞれのエミッタが異なる時間に独占的に起動することが規定されるならば、重複する時間の長さは異なり得ることが理解されよう。

例えば、エミッタが電磁石を備え、近接センサがホール効果センサ等の磁気センサを備える実施態様において、１つの電磁石の停止は、別の電磁石の同時の起動と一致または重複し得る。このように、１つの電磁石の起動状態から次の電磁石の起動状態への遷移に費やされる時間を最小限にするように、電磁石の起動／停止時の時間が節約される。このような実施態様において、ホール効果センサがこのような起動期間中に読み出される時に各電磁石の磁場がお互いに実質的に干渉しないように、お互いを排除した各電磁石の起動期間を規定することが重要であることは理解されよう。

いくつかの実施態様において、エミッタは、非同一線上に配置される。すなわち、全てのエミッタが実質的に単一線上に規定されるとは限らない。実施例として、引き続き図４Ａを参照すると、一実施形態において、エミッタは、ユーザの手首を取り巻く構成で配置されるように、グローブインタフェースオブジェクト４００の手首部分４２４上に配置される。このような配置は、グローブインタフェースオブジェクト４００がユーザの手に装着された時に、ユーザの手首を取り巻く非同一線配列で手首部分４２４に並べられたエミッタ４２２ａ、４２２ｂ、及び４２２ｃを示す断面図Ａに関して示される。

いくつかの実施態様において、非同一線上に配置された少なくとも３つのエミッタが存在する。非同一線上に配置された少なくとも３つのエミッタを有することにより、そして所定の近接センサからそれぞれのエミッタまでの距離を特定することにより、エミッタに対する所定の近接センサの具体的な位置を特定することが可能となる。エミッタに対する所定の近接センサの位置を特定するために必要となる特別計算は、当業者には明らかであるため、ここで詳しく論述されない。しかしながら、概して、このような特定は、それぞれのエミッタから規定される線分の交点を特定することを伴い、各線分は、エミッタのうちの１つで規定される１つの終点と、交点で規定される別の終点とを有する。線分は、所定の近接センサにより生成されるデータから特定されるように、それぞれのエミッタから所定の近接センサまでの近接度／距離により規定される長さを有する。別の方法で説明すると、エミッタに対する所定の近接センサの位置は、エミッタの位置により規定される原点と、所定の近接センサまでのそれぞれのエミッタの距離により規定される大きさとを有する円弧の交点により規定される。

実施例として、図４Ａを参照すると、グローブインタフェースオブジェクト４００の人差し指部分４０２ｂの先端に配置された人差し指近接センサ４０４ｂの位置は、以下の方法で規定され得る。それぞれのエミッタの起動期間中に、人差し指近接センサ４０４ｂは読み出され、近接センサ４０４Ｂからそれぞれのエミッタまでの距離が特定され得る。第１エミッタ４２２ａに位置する原点と、人差し指近接センサ４０４ｂから第１エミッタ４２２ａまでの距離により規定される大きさとを有する第１円弧が規定され得る。第２エミッタ４２２ｂに位置する原点と、人差し指近接センサ４０４ｂから第２エミッタ４２２ｂまでの距離により規定される大きさとを有する第２円弧が規定され得る。第３エミッタ４２２ｃに位置する原点と、人差し指近接センサ４０４ｂから第３エミッタ４２２ｃまでの距離により規定される大きさとを有する第３円弧が規定され得る。当情報に基づいて、エミッタに対する人差し指近接センサの位置は、第１、第２、第３円弧の交点に規定され得る。エミッタに対する他の近接センサの位置の特定にも、同様の手順が適用され得ることは、当業者には明らかであろう。

例示される実施形態に示されるように、近接センサは、グローブインタフェースオブジェクトの指先に提供される。論述される原理に従って、これらの近接センサのそれぞれは、エミッタに対するグローブインタフェースオブジェクトの指先の位置を特定するために使用され得る。他の実施態様において、追加近接センサがグローブインタフェースオブジェクト上または内に配置され、しかも追加近接センサは、エミッタに対するグローブインタフェースオブジェクトの特定部分の具体的位置を特定するために使用され得ることは理解されよう。実施例として、近接センサ４０６が、グローブインタフェースオブジェクトの手の甲部分または掌部分のいずれかに配置されているように示される。近接センサ４０６は、グローブインタフェースオブジェクトの手の甲部分または掌部分の位置を特定するために使用され、これによりユーザの手首の屈曲動作により促進されるユーザの手の屈曲及び偏位も示し得る。

図４Ｂは、本発明の実施形態による、多数の近接センサがその上に規定されたグローブインタフェースオブジェクトを例示する。例示される実施形態において、グローブインタフェースオブジェクト４００の指先部分に規定された近接センサ４０４ａ〜ｅに加えて、グローブインタフェースオブジェクト装着時にユーザの手の指の関節に一致するようにグローブインタフェースオブジェクトの指部分に沿って配置された近接センサが存在する。これらは、遠位指節間関節に一致するように配置された近接センサ４３０ａ〜ｄと、近位指節間関節に一致するように配置された近接センサ４３２ａ〜ｅと、中手指節関節に一致するように配置された近接センサ４３４ａ〜ｅとを含む。グローブインタフェースオブジェクト４００装着時にユーザの手の関節に一致する近接センサを提供することにより、ユーザの手のポーズが高精度で特定され得る。

図５は、本発明の実施形態による、グローブインタフェースオブジェクトのいくつかのエミッタ及びセンサの時分割多重化割付での動作を概念的に例示する図表である。本実施形態を論述するために、エミッタは、複数の電磁石Ｍ１、Ｍ２、及びＭ３で構成される。しかしながら、他の実施形態においては、同様の効果を達成するために他の種類のエミッタが使用され得る。同じように、本実施形態において、複数の磁気センサＳ１、Ｓ２、Ｓ３、Ｓ４、及びＳ５が、グローブインタフェースオブジェクトの指部分（例えば指先）上に規定される。他の実施形態においては、エミッタからの放出を検出可能な任意の種類のセンサが存在し得る。

第１時間枠Ｔ１の間に、電磁石Ｍ１は独占的に起動する。すなわち、第１時間枠Ｔ１の間に、電磁石Ｍ１は起動状態であり、一方電磁石Ｍ２及びＭ３は停止状態である。この起動時間枠Ｔ１の間に、それぞれのセンサＳ１、Ｓ２、Ｓ３、Ｓ４、及びＳ５が読み出される。第１時間枠Ｔ１に続く第２時間枠Ｔ２の間に、電磁石Ｍ２は起動状態であり、一方電磁石Ｍ１及びＭ３は停止状態であるように、電磁石Ｍ２は独占的に起動する。第２時間枠Ｔ２の間に、それぞれのセンサＳ１、Ｓ２、Ｓ３、Ｓ４、及びＳ５が読み出される。第２時間枠Ｔ２に続く第３時間枠Ｔ３の間に、電磁石Ｍ３は起動状態であり、一方電磁石Ｍ１及びＭ２は停止状態であるように、電磁石Ｍ３は独占的に起動する。第３時間枠Ｔ３の間に、それぞれのセンサＳ１、Ｓ２、Ｓ３、Ｓ４、及びＳ５が読み出される。

時間枠Ｔ１、Ｔ２、及びＴ３の１サイクルが終わると、それぞれのセンサは各電磁石の起動中に１度読み出されていることとなる（すなわち本実施例において、各センサは３つの電磁石にそれぞれ対応して３度読み出される）。いくつかの実施態様において、各センサは、電磁石により生成される磁場強度を検出するように構成される。磁場強度は距離により変わるため、検出された磁場強度は、電磁石までの所定センサの距離を示し得る。従って、各センサに対しサイクルごとに行われる３度の読み出しは、それぞれの電磁石までのセンサの距離を示す。論述されたように、これらの距離に基づいて、電磁石に対する所定センサの相対位置が特定され得る。例示される実施形態において、３つの電磁石と５つのセンサが示されるが、しかしながら他の実施形態において、４つ以上の電磁石と６つ以上のセンサが存在し得ることは理解されよう。

従って前述によれば、電磁石に対するそれぞれのセンサの相対位置が特定され得る。センサがグローブインタフェースオブジェクトの指先に配置される実施態様において、グローブインタフェースオブジェクトの指先の位置が、従って特定され得る。それぞれの電磁石の連続的起動は、反復され得る電磁石の起動サイクルを規定する。各サイクルの電磁石の起動中に、センサの位置（及び拡張して言えばユーザの指先の位置）が更新されることは理解されよう。このように、電磁石の起動期間中のセンサの読み出しと組み合わせて電磁石の起動の反復サイクルを生成することにより、センサの位置は継続的に追跡され得る。

センサの位置が継続的に追跡されるため、ユーザの指のリアルタイムな相対位置が提供され得ることは理解されよう。いくつかの実施態様において、グローブインタフェースオブジェクト上のセンサの追跡から特定されるユーザの手のポーズを追跡するポーズを有するように、仮想環境内の仮想手が制御される。これにより、ユーザの手／指の動きはリアルタイムに仮想手により実質的に複製されるため、ユーザは仮想手のポーズのリアルタイムな制御を有することになる。

いくつかの実施態様において、ローカル環境内の他の磁場源により生成され得る周囲磁場の存在を特定し、考慮することが望ましくあり得る。従って、引き続き図５を参照すると、一実施形態において、時間枠Ｔ４中、それぞれの電磁石が停止されている間にそれぞれのセンサが読み出される。電磁石が停止されている間に行われるセンサの読み出しは、ローカル環境内に存在し得る磁場強度を示す。よって、電磁石の起動期間中のセンサの読み出しに基づいてグローブインタフェースオブジェクトの電磁石に対するセンサの位置を特定する際、これらの周囲磁場を考慮するために、これらの読み出しが利用され得る。例えば、所定のセンサに関して、電磁石のうちの１つの起動中に行われた読み出しから、周囲読み出しが差し引かれ得る。

いくつかの実施形態において、周囲センサ読み出し（すなわち電磁石停止時におけるセンサのうちの１つまたは複数の読み出し）は、電磁石の起動サイクルごとに１度行われる。しかしながら、他の実施形態において、周囲センサ読み出しは、電磁石のＮ回の起動サイクルごとに１度行われ、Ｎは任意の自然数である。それぞれの電磁石の起動率より低い率で周囲センサ読み出しを行うことにより、周囲センサ読み出しが同じ率で行われる場合よりも少ない処理リソースが周囲読み出しのために消費されるが、しかしながら、周囲読み出しの追跡の忠実度は低減する。

いくつかの実施態様において、グローブインタフェースオブジェクトが高い割合で動いていると判断されると、周囲読み出しは高い頻度で行われ、グローブインタフェースオブジェクトが低い割合で動いていると判断されると、周囲読み出しは低い頻度で行われるように、周囲読み出しの頻度は、グローブインタフェースオブジェクト全体の動作量に積極的に相関する。例えば、いくつかの実施態様において、グローブインタフェースオブジェクトが所定の時間、静止位置にあると判断されると、周囲読み出しは行われなくなる。グローブインタフェースオブジェクトの位置は、グローブインタフェースオブジェクトに含まれる動作センサから、グローブインタフェースオブジェクトもしくはその特定部分の視覚追跡から、またはグローブインタフェースオブジェクトの位置を追跡するその他の方法からのデータに基づいて特定され得ることは理解されよう。

前述の実施態様において、それぞれの電磁石のそれぞれの起動期間中に、それぞれのセンサが１度読み出されることは、概して説明された。しかしながら、他の実施態様において、それぞれの電磁石の起動期間中に、必ずしも全てのセンサが読み出されるわけではない。言い換えると、いくつかの実施形態において、所定のセンサは電磁石の各起動サイクル中に読み出されるが、他の実施形態において、所定のセンサは電磁石の各起動サイクル中に読み出されなくてもよい。すなわち、所定のセンサは、毎Ｎ番目の起動サイクル中に読み出され、Ｎは任意の自然数である。電磁石の特定の起動サイクル中にセンサを選択的に読み出すことにより、特定のセンサ（及び拡張して言えばユーザのある指先）は、他より優先的に追跡され得る。例えば、特定のテレビゲーム活動に関して、人差し指の動きは親指の動きよりも重要であるという場合もあり得る。従って、人差し指センサの読み出しを親指センサよりも高い頻度で（すなわち所定の時間単位により多くの起動サイクル中に）行うことが望ましくあり得る。このように、人差し指の追跡忠実度が親指よりも高くなるように、システムリソースに優先割り当てが行われ得る。

さらに概念を拡張させると、センサのうちのいずれかを読み出す具体的な割合は、グローブインタフェースオブジェクトが使用されているインタラクティブアプリケーション（例えばテレビゲーム）の状況に従って、システムにより動的に調整され得る。例えば、テレビゲームの実行は、所定のセンサが読み出される割合（起動サイクルごと）を規定するパラメータを設定し、動的に調整し得る。

システムのハードウェア（例えばグローブインタフェースオブジェクト及びグローブインタフェースオブジェクトがデータを送信する送信先であるコンピューティングデバイス）の処理能力に応じて、センサの読み出しは、順番に処理され得る（例えば電磁石の所定の起動期間中に、センサの一部または全てが事前に規定された順序で読み出される）、あるいは並行して処理され得る（例えば電磁石の所定の起動期間中に、センサの一部または全てが同時に読み出される）。例えば、いくつかの実施態様において、グローブインタフェースオブジェクトは、マルチチャネルサンプリング能力を含み得るため、そのセンサの一部または全ては同時に読み出され得る。その後、電磁石に対するセンサの位置を特定及び追跡する読み出しの処理は、並行及び／または順番に行われ得る。

電磁石の起動及びセンサの読み出し（及び指先等のグローブインタフェースオブジェクトの部分の位置を特定及び追跡する関連処理）の時分割多重化割付は、多数のグローブインタフェースオブジェクト（例えば１人のユーザの各手に左と右のグローブ、多数のユーザのそれぞれに左及び／または右のグローブ）が使用されているシナリオにまで拡張され得ることが理解されよう。例えば、左手のグローブインタフェースオブジェクトの電磁石の起動（及びそれに伴うセンサ読み出し）のサイクルは、右手のグローブインタフェースオブジェクトの電磁石の起動（及びそれに伴うセンサの読み出し）のサイクルと、交互に行われ得る。

いくつかの実施形態において、第１グローブインタフェースオブジェクトの起動サイクルの後に、第２グローブインタフェースオブジェクトの起動サイクルが続き、その後第３グローブインタフェースオブジェクトの起動サイクル等が続き、その後第１グローブインタフェースオブジェクトへ戻って全順序を繰り返すように、多数のグローブのそれぞれに関して電磁石の起動（及びそれに伴うセンサの読み出し）のサイクル自体は巡回的に行われ、これによりグローブインタフェースオブジェクトの指先または他の部分の追跡が促進される。

本開示において、ユーザの手首上または近くに配置された電磁石に関して実施形態は説明されるが、他の実施形態において、このような電磁石は、ユーザの掌、手の甲、前腕、胴、もしくは他の体の部分の上または近くといった他の場所、ＨＭＤ上等に配置され得ることを理解されたい。電磁石は、本明細書において論述される実施形態に従って説明される機能を提供する任意の場所に配置され得る。

図６は、本発明の実施形態による、グローブインタフェースオブジェクトの様々な電磁石に対する電源投入を示すいくつかのグラフを例示する。グラフ６００は、いくつかの電磁石Ｍ１、Ｍ２、及びＭ３のそれぞれにより生成される磁場を例示する。示されるように、それぞれの電磁石の磁場は、それぞれの電磁石が独占的に起動する期間を規定する。しかしながら、１つの電磁石の停止及び次の電磁石の起動の間に（例えばＭ１が停止されていてＭ２が起動されている時）、重複が存在する。また、グローブインタフェースオブジェクトのセンサが読み出される時点であるサンプリング時間ＳＴ１、ＳＴ２、ＳＴ３、ＳＴ４、ＳＴ５、及びＳＴ６が、グラフ６００上に記される。例示される実施形態において、センサは、磁場が実質的にピーク強度に達する対応時点に、読み出される。しかしながら、他の実施形態において、センサが読み出される時の磁場強度が一貫しているという条件で、センサは、磁場が他の相対強度に達する対応時点に、読み出され得る。すなわち、電磁石Ｍ１の起動中にセンサが読み出される度に、電磁石Ｍ１の強度は同じである。

グラフ６０２、６０４、及び６０６は、それぞれの電磁石Ｍ１、Ｍ２、及びＭ３に印加される電圧を、それぞれ例示する。示されるように、いくつかの実施態様において、磁場を強める特定の電圧（例えば正電圧）が、所定の電磁石（例えばＭ１）に印加される。特定の時間が経過後、磁場の低減を促進し及び／または任意の誘導／一時磁化効果（または潜在磁場）を相殺するために、特定の電圧は反転され得る（例えば負電圧）。潜在磁場は電磁石コイルのインダクタンスから生じ得る故に、磁場における変化をより早くもたらすために、ダイオードが使用され得る。

図７は、本発明の実施形態による、周辺デバイスと共に使用されるように構成されるグローブインタフェースオブジェクトを例示する。例示される実施形態において、グローブインタフェースオブジェクトは、グローブインタフェースオブジェクトの手首部分に規定されたエミッタ７０２ａ、７０２ｂ、及び７０２ｃを含む。複数のセンサ７０４ａ、７０４ｂ、７０４ｃ、７０４ｄ、及び７０４ｅは、グローブインタフェースオブジェクト７００の指先部分に規定される。また、グローブインタフェースオブジェクトにより、保持または交信され得る周辺デバイス７１０も示される。例示される実施形態において、周辺デバイス７１０は、取り込まれた画像データの分析に基づく追跡を容易にするために照光され得る照光オブジェクト７１２を含む動作コントローラである。さらに、周辺デバイス７１０は、入力を提供するボタン７１４等の様々な種類の入力デバイス、ならびに加速度計、磁力計、ジャイロスコープ等の様々な種類の動作センサを含み得る。特定の動作コントローラが示されるが、他の実施態様において、周辺デバイス７１０は、本明細書において論述される原理に従ってインタラクティブアプリケーションに対し入力を提供するために使用されるその他の種類のインタラクティブ機器であり得ることは理解されよう。周辺デバイスは、ゲーム機等のコンピューティングデバイスと無線で通信し得る。

周辺デバイスは、グローブインタフェースオブジェクト７００上のセンサにより感知され得るエミッタ７１６ａ、７１６ｂ、及び７１６ｃを含み得る。周辺エミッタ７１６ａ、７１６ｂ、及び７１６ｃは、グローブインタフェースオブジェクト上のエミッタに関して説明されたのと同様の方法または同じ方法で操作され得る。より具体的には、センサは、周辺エミッタにより発せられる信号強度を検出し、周辺エミッタまでのセンサの近接度／距離を示すデータを生成し得る。この情報は、周辺デバイスに対するユーザの手の方位／配置を特定するように処理され得る。

さらに、様々な実施態様において、センサ（７０４ａ、７０４ｂ、７０４ｃ、７０４ｄ、及び７０４ｅ）の動作と組み合わせたグローブエミッタ（７０２ａ、７０２ｂ、及び７０２ｃ）及び周辺エミッタ（７１６ａ、７１６ｂ、及び７１６ｃ）の動作は、様々な設定を有し得る。一般的に、センサの一部または全ては、グローブインタフェースオブジェクトまたは周辺デバイス上の特定エミッタの起動中に読み出される。エミッタの起動に関するいくつかの可能な設定が、以下に論述される。

いくつかの実施態様において、グローブエミッタ及び周辺エミッタの両方に対するセンサ位置の追跡を可能にするために、グローブエミッタ及び周辺エミッタは組み合わせて使用される。いくつかの実施態様において、これは、グローブエミッタ及び周辺エミッタの起動順序を、お互いに時分割多重化することを伴い得る。例えば、グローブエミッタと周辺エミッタの起動順序がお互いに混ぜ合わさるように、グローブエミッタの起動は周辺エミッタの起動と交代に行われ得る。別の実施形態において、それぞれのグローブエミッタ及び周辺エミッタは、起動順序を交互に入れ替え得る。

いくつかの実施態様において、空間内のグローブインタフェースオブジェクト及び周辺オブジェクトの位置は追跡され、両デバイス上のエミッタの起動は、空間内のそれらの位置に基づいて特定及び制御される。例えば、一実施形態において、グローブインタフェースオブジェクト及び周辺デバイスが事前に規定された距離を越えて離れた場合、グローブエミッタが使用され、一方周辺エミッタは停止され、使用されない。しかしながら、グローブインタフェースオブジェクトと周辺デバイスの離れている距離が事前に規定された距離以下となった場合、グローブエミッタは停止され、使用されなくなり、一方周辺エミッタは起動され、使用される。従って、センサは、グローブエミッタまでの近接度を感知することから、周辺エミッタまでの近接度を感知することへ移行する。エミッタのうちの１つの集合からもう一方へ移行することにより、多重化されるエミッタの数が削減され（エミッタの両集合を同時に使用することと比べて）、グローブエミッタが停止される場合、例えばグローブインタフェースオブジェクトの消費電力が削減されることで、さらなる利益がもたらされ得ることが理解されよう。

別の実施態様において、グローブエミッタ対周辺エミッタの使用は、デバイスが入力を提供するインタラクティブアプリケーションまたはテレビゲームにより制御され得る。例えば、テレビゲームの一部分間において周辺デバイスは入力に使用されないため、周辺エミッタは停止され、一方グローブエミッタは起動され、使用される。ところが、テレビゲームの別の部分間において周辺デバイスは入力に使用されるため、グローブエミッタは停止され、一方周辺エミッタは起動され、使用される。

ユーザがヘッドマウントディスプレイ（ＨＭＤ）を使用する時、ユーザは、ＨＭＤの外部であるローカル環境を見る能力を有し得ない。しかしながら、グローブインタフェースオブジェクト上のセンサを使用して周辺デバイス上のエミッタを検出することで、グローブインタフェースオブジェクトに対する周辺デバイスの位置は特定され得る。さらに、例えばＨＭＤ上にレンダリングされる仮想空間内に存在する対応仮想手及び仮想オブジェクトの配置を規定するために、ユーザの手及び周辺デバイスの配置は正確に規定され得る。例えば、周辺デバイスは、仮想空間内の仮想オブジェクト（例えば剣または銃等の武器）の位置を規定し、仮想手は、ユーザが周辺デバイスを保持するのと同様のやり方で、仮想オブジェクトを保持しているように表示され得る。周辺デバイスに関するユーザの指の動きは追跡され、仮想オブジェクトに関する仮想手の指の対応する動きとしてレンダリングされ得る。

図８は、本発明の実施形態による、キーボード周辺デバイスとインタラクトするように構成されるペアのグローブインタフェースオブジェクトを例示する。近接センサ８０２ａ〜ｅを含む右手グローブインタフェースオブジェクト８００が示され、左手グローブインタフェースオブジェクト８０４は近接センサ８０６ａ〜ｅを含む。近接センサ８０２ａ〜ｅ及び８０６ａ〜ｅは、それぞれのグローブインタフェースオブジェクト上に規定されるエミッタ（例えばグローブインタフェースオブジェクトの手首部分上に規定される）を検出するように構成され得る。

キーボード周辺デバイス８１０は、インタラクティブアプリケーションに対する入力を提供する様々なキー８１２を含み得る。キーボード８１０は、インタラクティブアプリケーションを実行するコンピューティングデバイスと無線で通信し得る。キーボード８１０はさらに、近接センサ８０２ａ〜ｅ及び８０６ａ〜ｅにより検出可能なエミッタ８１４ａ〜ｃを含む。いくつかの実施態様において、エミッタ８１４ａ〜ｃは磁場を生成する電磁石であり、近接センサは磁場を検出する磁気センサ（例えばホール効果センサ）である。前述のように、エミッタの起動及び近接センサの読み出しは、時分割多重化割付で構成され得る。このような割付により、エミッタに対する近接センサの位置は、特定及び追跡され得る。そしてこの拡張により、近接センサがグローブインタフェースオブジェクトの指先部分に配置される実施態様において、キーボード周辺デバイスに対する指先の位置が、特定及び追跡され得る。

グローブインタフェースオブジェクト上の近接センサを使用して周辺デバイス上に配置されたエミッタを検出する前述の構成により、周辺デバイスに関するユーザの手の非常に正確な追跡が可能となる。従って、実施例として、ユーザの手に対応する仮想手は、仮想空間において高い忠実度で、キーボード周辺デバイス８１０に対応する仮想キーボードとインタラクトしているように表示され得る。例示される実施形態において、キーボードは具体的に示されるが、様々な他の実施形態において、任意の種類の周辺デバイスが、本明細書において説明されるのと同様の機能を提供するように構成され得ることを理解されたい。

別の実施形態において、周辺デバイス８１０は、具体的にキーボードのキーを含まなくてもよいが、ユーザの手がインタラクトし得るインタラクティブ面を規定し得る。周辺デバイスのインタラクティブ面に対するユーザの手（指先を含む）の相対位置は、前述の方法に従って特定及び追跡され得る。さらに、周辺デバイスは、仮想空間内における仮想オブジェクトを規定し、ユーザの手に対応する仮想手は、周辺デバイスとのグローブインタフェースオブジェクトのインタラクションにより規定されるやり方で、仮想オブジェクトとインタラクトしているように表示され得る。仮想オブジェクトは、任意の構成を有するように規定され、非限定的に任意のサブオブジェクトを含み得ることは理解されよう。例えば、仮想オブジェクトは、仮想キーボードの規定に影響し、仮想手は、周辺デバイス８１０に関するグローブインタフェースオブジェクトの指先の動きにより規定される通りに、仮想キーボードとインタラクトしているように表示され得る。

仮想オブジェクトは周辺デバイスのインタラクティブ面に対応する仮想面を有し、仮想面との仮想手のインタラクションは、周辺デバイスのインタラクティブ面とのグローブインタフェースオブジェクトのインタラクションにより規定され得る。この種の仕組みは、ユーザによる仮想オブジェクトとのインタラクションを直感的に容易にし得る。例えば、仮想オブジェクトは、タッチスクリーンインタフェースを有するデバイスであり得、ユーザは従って、周辺デバイスのインタラクティブ面とインタラクトすることにより仮想タッチスクリーンとインタラクトし得る。タッチ、タップ、スワイプ、ジェスチャ、複数指タッチ／ジェスチャ等を含む、周辺デバイスのインタラクティブ面との様々な種類のインタラクションは、検出及び認識され得ることを理解されたい。別の実施例として、仮想オブジェクトは入力デバイスを含み、ユーザは、周辺デバイスとインタラクトすることにより、仮想入力デバイスとインタラクトし得る。

いくつかの実施態様において、周辺デバイス８１０は、さらに長距離エミッタ８１６ａ〜ｃを含み得る。長距離エミッタは、エミッタ８１４ａ〜ｃよりも強い信号を提供するように構成され、よってより遠い距離にあるグローブインタフェースオブジェクトの近接センサによっても検出可能である。いくつかの実施態様において、長距離エミッタは、グローブインタフェースオブジェクトの近接センサが事前に規定された閾値を超える距離にある時に使用されるが、エミッタ８１４ａ〜ｃは、グローブインタフェースオブジェクトの近接センサが事前に規定された閾値以下の距離にある時に使用される。グローブインタフェースオブジェクトが閾値を超える場所から閾値内に移動したと判断される場合、システムは、長距離エミッタ８１６ａ〜ｃの使用から、標準エミッタ８１４ａ〜ｃの使用へ移行し得る。

いくつかの実施態様において、周辺デバイス８１０は、視覚的追跡のために照光され得る照光オブジェクト８１８を含み得る。すなわち、周辺デバイスが位置するインタラクティブ環境の取り込まれた画像の分析に基づいて照光オブジェクトは認識され、よって周辺デバイスの位置及び／または方位は特定及び追跡され得る。

図９は、本発明の実施形態による、近接センサを有する１つまたは複数のグローブインタフェースオブジェクトの粗大追跡及び精密追跡を提供するように構成される長距離及び近距離エミッタを有する周辺デバイスを例示する。下記に論述される実施態様において、エミッタは電磁石として規定され、近接センサはホール効果センサ等の磁気センサであるが、しかしながら、他の実施態様において、他の種類のエミッタ及び対応近接センサが使用され得る。示されるように、デバイス９００は、長距離電磁石（エミッタ）９０２ａ〜ｄ、及び近距離電磁石（エミッタ）９０４ａ〜ｃを含む。長距離及び近距離電磁石は、グローブインタフェースオブジェクトの磁気センサにより感知される磁場を規定するように起動され、デバイス９００に対するグローブインタフェースオブジェクト（例えば指先）の位置及び／または方位の特定及び追跡を提供し得る。デバイス９００に対するグローブインタフェースオブジェクトの相対位置を特定するために電磁石及び磁場センサを使用することは、電磁石の制御及びセンサの読み出しの時分割多重化割付を含む前述の動作原理に従って行われ得る。

いくつかの実施態様において、長距離及び近距離電磁石の起動は距離次第である。例えば、一実施形態において、グローブインタフェースオブジェクトの位置（例えばその上に規定される磁気センサの位置により特定される）がデバイス９００からの事前に規定された距離閾値９１０を超える場合、近距離電磁石９０４ａ〜ｃは停止され、一方長距離電磁石９０２ａ〜ｄが起動される。ところが、グローブインタフェースオブジェクトの位置が事前規定距離閾値９１０内である場合、近距離電磁石は起動され、一方長距離電磁石は停止される。いくつかの実施態様において、グローブインタフェースオブジェクトが閾値９１０に達した場合、システムは、近／長距離電磁石のいずれかを使用することから、電磁石のもう一方の集合を使用することへ移行し、センサ読み出し／データは、電磁石のうちの１つの集合までの近接度／距離を示すことから、電磁石のうちのもう一方の集合までの近接度／距離を示すことへ移行する。いくつかの実施態様において、グローブインタフェースオブジェクト（及び近接センサ）が、事前に規定された時間の長さ、または事前に規定されたサイクル数のセンササンプリングもしくは電磁石の起動の閾値９１０を超えた後に、移行は発生する。

いくつかの実施態様において、追跡精度は、電磁石からの近接センサ（またはグローブインタフェースオブジェクト）の距離に応じて調節される。例えば、いくつかの実施態様において、近接センサのサンプリング率及び電磁石（例えば電磁石９０４ａ〜ｃ及び／または９０２ａ〜ｄ）の起動順序の該当頻度は、電磁石から近接センサの距離が長くなるにつれ、減少する。このように、グローブインタフェースオブジェクトがデバイス９００に近づくと、追跡はより正確かつきめ細かくなり、グローブインタフェースオブジェクトがデバイス９００から離れると、追跡はより粗くなり、より少ない帯域幅及び処理リソースを使用する。

電磁石（またはデバイス９００）からの距離に応じた前述の追跡精度の変化は、長距離及び近距離電磁石と組み合わせて適用され得ることは理解されよう。例えば、一実施形態において、グローブインタフェースオブジェクトがデバイス９００から閾値距離９１０内にあり、近距離電磁石が活動的に使用される場合、近接センサのサンプリング率及び近距離電磁石の起動順序の該当頻度は、第１レベルに設定される。一方、グローブインタフェースオブジェクトがデバイス９００から閾値距離９１０を越え、長距離電磁石が活動的に使用される場合、近接センサのサンプリング率及び近距離電磁石の起動順序の該当頻度は、第１レベルより低い第２レベルに設定される。このように、閾値距離９１０以内の領域は精密追跡領域と規定され、閾値距離９１０を越える領域は粗大追跡領域と規定される。

いくつかの実施態様において、別の距離閾値９１２を越えると、デバイス９００のどの電磁石も起動されないように規定される。従って、このような実施態様において、粗大追跡領域は、距離閾値９１０及び距離閾値９１２により境界を規定される。グローブインタフェースオブジェクトが距離閾値９１２を超える場合、グローブインタフェースオブジェクトの近接センサは、デバイス９００までの近接度を示すために使用されない。

前述の実施態様において、デバイス９００及びその電磁石までのグローブインタフェースオブジェクト及びその近接センサの近接度または距離に関して論及が行われた。グローブインタフェースオブジェクトとデバイス９００のお互いに対する位置の特定は、前述の磁気追跡方法に基づいて、及び／または他の方法、例えば視覚追跡（例えばインタラクティブ環境の画像を取り込み、画像認識を採用してグローブインタフェースオブジェクト及び／またはデバイス９００を認識し追跡する）、ならびにグローブインタフェースオブジェクト及び／またはデバイス９００に含まれる動作センサ（例えば加速度計、ジャイロスコープ、磁力計）の使用により行われ得ると考えられる。

組み合わせて適用される本概念のうちのいくつかを例示する一実施形態において、グローブインタフェースオブジェクトが閾値９１２を超える場合、デバイス９００に対するグローブインタフェースオブジェクトの磁気追跡は行われない。しかしながら、グローブインタフェースオブジェクトの指先によるグローブインタフェースオブジェクト自体に対する磁気追跡（例えばグローブインタフェースオブジェクトの手首部分上の電磁石を使用）は、行われ得る。空間内のグローブインタフェースオブジェクトの位置は、視覚追跡及び／またはグローブインタフェースオブジェクト内の動作センサの使用により特定され、空間内のデバイス９００の位置もまた、視覚追跡及び／またはデバイス９００内の動作センサの使用により特定され得る。グローブインタフェースオブジェクトが閾値９１２を超えて、粗大追跡領域内に移動した場合（視覚追跡及び／または動作センサ追跡から特定）、デバイス９００の長距離電磁石９０２ａ〜ｄが起動され、グローブインタフェースオブジェクトの近接センサが少なくとも部分的に使用され、長距離電磁石に対する近接度及び／または相対位置が特定される。この間、長距離電磁石の起動順序は、グローブインタフェースオブジェクトの手首の電磁石の起動順序と多重化され得るため、近接センサは、異なるサンプリングサイクル中に両電磁石集合に対する近接度／相対位置を示し得る。グローブインタフェースオブジェクトが閾値９１０を超えて精密追跡領域に入った場合、近距離電磁石９０４ａ〜ｃは、長距離電磁石よりも高い起動順序頻度で起動される。グローブインタフェースオブジェクトの手首の電磁石は、この時点で完全に停止され得るため、近接センサは、近距離電磁石に対する近接度を独占的に示す。

粗大及び精密追跡を含む磁気追跡を使用するための構成の具体的な実施例は、追跡に基づいた視覚及び動作センサ等の他の種類の追跡と組み合わせて、単に実施例として非限定的に説明されている。簡潔性のため、これらの追跡方法の全ての可能な組み合わせが詳しく説明されているとは限らない。しかしながら、本明細書において論述される原理及び方法のうちのいずれも、お互いに組み合わせて適用されることで他の実施形態を規定し得るが、これは本開示の一部として考えられることは当業者には明らかであろう。

いくつかの実施態様において、ローカル環境内のグローブインタフェースオブジェクトの位置及び／または方位を特定するために、視覚追跡が使用されるが、ユーザの指の位置を含むユーザの手（複数可）の精密位置を取得するためには、本明細書において説明される磁気追跡スキーマが使用される。この情報は、インタラクティブアプリケーションに対する入力として使用され得る。

別の実施態様において、２つの個別に規定された長距離及び近距離電磁石を有する代わりに、同様の効果を達成するために、１つの電磁石集合が、高力構成（長距離追跡用）及び低力構成（近距離追跡用）で使用され得る。高力構成が使用される場合、起動順序の頻度は低力構成よりも低く設定されてもよく、これによりバッテリ電源が節約される。

様々な実施態様において、長距離及び近距離電磁石の数は異なり得る。異なる実施態様において、長距離電磁石よりも多い、または少ない近距離電磁石が存在し得る。同じ電磁石集合が長距離及び近距離追跡に使用される実施態様において、起動され使用される電磁石の数は、同じように異なり得る。

いくつかの実施態様において、精密追跡はレンダリング（例えば対応仮想手）に利用され、一方粗大追跡はジェスチャ認識に利用される。いくつかのアプリケーションにおいて、またはインタラクティビティの特定の時間（例えば仮想手が現行の視錐台内に存在しない時間）の間に、対応仮想手のレンダリングはあり得ず、このような状況においては、ジェスチャ認識をするために粗大追跡で足りる。一方仮想手が活発にレンダリングされている時、レンダリングの高い忠実度及び応答性を提供するために、精密追跡が採用され得る。

加えて、長距離及び短距離追跡が周辺デバイスに関して説明されているが、任意の数の規定範囲が存在し、ならびに／あるいは近接センサのサンプリング率及び電磁石の起動順序の頻度は、テレビゲームといったインタラクティブアプリケーション等により設定される距離、指の動きの速力、バッテリ寿命に応じて、継続的に変化し得ることは理解されよう。さらに、同様の原理が、グローブインタフェースオブジェクトにのみ適用され、近接センサのサンプリング率及びグローブインタフェースオブジェクトの電磁石の起動頻度は、インタラクティブアプリケーション等により設定されるグローブの位置（例えば事前に規定された範囲／領域／位置内）、グローブの方位に応じて、変化し得る。例えば、ユーザの手が休止位置を示す下向きにある場合、サンプリング率及び起動頻度は下げられ、一方ユーザの手がインタラクティビティのために上げられている場合、サンプリング率及び起動頻度は高められ得る。

論述されたように、ユーザがＨＭＤを装着時、ユーザのローカル環境の視野は妨げられ得るため、ローカル環境内の物理デバイスの場所を見つけインタラクトすることが難しくなる。しかしながら、周囲デバイス上のエミッタ及びグローブインタフェースオブジェクト上の対応近接センサのシステムを使用することで、周辺デバイスに対するユーザの手の近接度及び相対位置は特定可能である。このような情報は、ユーザが周辺デバイスを見ることができない時に、ユーザが周辺デバイスを見つけるのを支援するために使用され得る。例えば、ＨＭＤ上でレンダリングされているユーザの視野（例えば仮想環境のユーザ視野）においてインジケータが表示され、インジケータはローカル環境内の周辺デバイスの位置を示すように構成される。インジケータと仮想手の間の位置関係が、周辺デバイスとユーザの手の間の関係を正確に表すように、ユーザの手に対応する仮想手も表示され得る。従って、ユーザは、ＨＭＤ上に表示されるシーンに基づいて、周辺デバイスまで自分の手を導くことが可能である。

ユーザがＨＭＤ装着時に周辺デバイスを見つける支援に加えて、本明細書において説明される磁気追跡方法は、ＨＭＤ上に表示されている視野（例えば仮想空間の視野）内の周辺デバイスに対するユーザの手及び指の位置を、ユーザが見ることを可能にするために使用され得る。例えば、仮想手は周辺デバイスの表示とインタラクトしているように表示され、仮想手の動きは、グローブインタフェースオブジェクトを介して検出されるユーザの手の動きに対応する。このように、ユーザは、ＨＭＤ上にレンダリングされる仮想空間内の対応インタラクションを見ることができるため、直接の目線を有していないにもかかわらず、直感的に周辺デバイスとインタラクトすることができる。

加えて、実施形態は、ヘッドマウントディスプレイに関して説明されている。しかしながら、他の実施形態において、テレビ、プロジェクタ、ＬＣＤディスプレイスクリーン、ポータブルデバイススクリーン（例えばタブレット、スマートフォン、ラップトップ等）、または本発明の本実施形態に従って映像をレンダリングするように構成され得る任意の他の種類のディスプレイといった非頭部搭載ディスプレイが代用され得ることを理解されたい。

図１０Ａは、本発明の実施形態による、グローブインタフェースオブジェクトを使用してインタラクティブアプリケーションとインタフェースを行うシステムを概略的に例示する。グローブインタフェースオブジェクト１０００は、屈曲センサ１０１０、圧力センサ１０１２、接触スイッチ１０１４、慣性センサ１０１６、及び生体センサ１０１８を含む。データストリームプロセッサ１０２０は、様々なセンサからのデータを処理するように構成される。様々な実施形態において、データストリームプロセッサ１０２０は、感知された活動を数量化する値の決定、ポーズ、ジェスチャ、動きの特定等を含む様々な範囲でセンサデータを処理し得ることは理解されよう。触覚フィードバックコントローラ１０２２は、触覚フィードバックデバイス１０２４の動作を制御するように構成される。ライトコントローラ１０２６は、ライト１０２８の動作を制御するように構成される。通信インタフェースは、他のデバイスへのデータ、または他のデバイスからのデータを通信するように構成される。

グローブインタフェースオブジェクトはさらに、エミッタの起動及び停止を含む、エミッタ１０３４の動作を制御するエミッタコントローラ１０３２を含む。近接センサコントローラ１０３６は、近接センサの起動（例えば近接センサに対し電流を供給する）及び読み出しを含む、近接センサ１０３８の動作を制御する。エミッタコントローラ１０３２及び近接センサコントローラ１０３６は、エミッタの起動／停止及び近接センサの読み出しの時分割多重化を提供するように構成され得る。

コンピューティングデバイス１０４０は、テレビゲームを実行し、グローブインタフェースオブジェクト１０００と通信するように構成される。テレビゲームは、ディスプレイ／ＨＭＤ１０４２上にレンダリングされる。画像／音取り込みデバイス１０４４は、ユーザが置かれるインタラクティブ環境から画像と音を取り込む。本明細書において論述されるグローブインタフェースオブジェクトの機能を発揮させるために、コンピューティングデバイス１０４０は、センサデータ等のグローブインタフェースオブジェクトからのデータ受信し、そしてコンピューティングデバイスはまた、グローブインタフェースオブジェクト１０００の様々なデバイスの動作を制御するコマンドを生成し得ることを理解されたい。

図１０Ｂは、本発明の実施形態による、コンピューティングデバイス１０４０の追加コンポーネントを例示する。グローブインタフェースオブジェクト１０００は、グローブインタフェースオブジェクトの様々なセンサから検出／処理された手ジェスチャデータを、手ジェスチャ識別装置１０５０へ提供する。手ジェスチャ識別装置１０５０は、ユーザの手のポーズを特定する手ポーズ識別子１０５２、ならびにユーザの手のポーズにおける動き及び／または変化等、ユーザの手の動的動きを特定する手動き識別子１０５４を規定し得る。これらは、グローブインタフェースオブジェクト１０００から検出されたジェスチャを規定し、規定されたジェスチャはテレビゲーム１０６０へ入力として供給される。一実施形態において、様々なジェスチャを規定する参考データを含むジェスチャライブラリ１０５６が提供され、参考データは、テレビゲームに対するジェスチャを特定するために使用され得る。

本明細書において説明される実施形態によれば、様々なセンサから様々なエミッタまでの距離を示すデータは、エミッタに対するセンサの相対位置を特定するために、生成され処理され得る。この情報は、ユーザの手のポーズを特定及び／または推測するために使用され得る。例えば、ユーザの手首（エミッタが配置されている手首）に対する指先（センサが配置されている指先）の位置を特定することで、逆運動学処理によりユーザの手のポーズは特定され得る。これには、ユーザの指のポーズ（例えば特定の関節（例えば指関節）の屈曲といったユーザの指の屈曲及び偏位を含む）、ならびにユーザの手首のポーズ（ユーザの手首の屈曲及び偏位を含む）等の様々な態様の特定が含まれ得る。いくつかの実施形態において、参照テーブルの使用等により、センサデータは、手のポーズに関連付けられ得ることは理解されよう。いくつかの実施態様において、ユーザの手のモデルは、コンピューティングデバイスにより生成され、グローブインタフェースオブジェクトからの入力は、モデルを更新するために使用される。

加えて、ゲームシステムは、ゲーム内の状況に基づいて、サンプリング頻度及びグローブインタフェースオブジェクトからの放出を制御し得る。

画像データプロセッサ１０５８は、画像取り込みデバイス１０４４により取り込まれた画像を処理し、グローブインタフェースオブジェクト１０００上のライト等の追跡可能オブジェクトを特定する。手追跡プロセッサ１０６２は、特定された追跡可能オブジェクト、ならびにグローブインタフェースオブジェクト１０００からの慣性データ１０７２に基づいて、ユーザの手の位置追跡１０６４及び方位追跡１０６６を行うように構成される。グローブインタフェースオブジェクトの位置及び方位（ユーザの手により規定される）はまた、テレビゲーム１０６０に対する入力としても提供され得る。テレビゲーム１０６０は、触覚フィードバックデータ１０７４を生成し、グローブインタフェースオブジェクト１０００へ送信し得る。これにより触覚フィードバックが生み出される。テレビゲーム１０７６はまた、グローブインタフェースオブジェクト１０００上のライトを制御するために、ライト制御データ１０７６を生成し得る。加えて、テレビゲーム１０６０は、ディスプレイ／ＨＭＤ１０４２によるレンダリングのために映像／音声データ１０７８を生成する。

いくつかの実施形態において、グローブインタフェースオブジェクトは、内側グローブ及び外側グローブにより規定される。内側グローブは、取り外し可能で洗濯可能であり、一方外側グローブは、本明細書において説明されるグローブインタフェースオブジェクトの機能のためのハードウェアを含む。加えて、内側グローブは、ユーザからグローブインタフェースオブジェクトのハードウェアを絶縁する絶縁体として機能し得る。

いくつかの実施形態において、触覚フィードバックは、ユーザが自身の指を表面に沿って動かすと、生地を刺激するように様々な頻度で指先を振動させることで提供され得る。

いくつかの実施形態において、力フィードバック機構が、グローブインタフェースオブジェクトに含まれ得る。ユーザの手／指の動きが行われた時に生じる抗力を刺激するために、ユーザの手／指の動きに対抗するデバイスが含まれ得る。例えば、力フィードバック機構は、ある人の指を閉じる動作に対抗し、よってオブジェクトを握る／保持する感覚を刺激し得る。

いくつかの実施形態において、フィードバック機構として手の少なくとも一部に圧力を加える圧力フィードバック機構が提供され得る。例えば、仮想オブジェクトを触れる時等、クランプはフィードバックとして指に圧力をかけ得る。

仮想環境内における仮想手または他のオブジェクトのリアルタイムな制御を提供するために、グローブインタフェースオブジェクトにより提供される入力が適用され得ることを理解されたい。いくつかの実施形態において、グローブインタフェースオブジェクトにより提供される入力は、オブジェクトの操作を可能にする等、仮想環境における非手状オブジェクトの制御を提供する。いくつかの実施形態において、グローブインタフェースオブジェクトにより提供される入力は、ユーザにより制御されるキャラクタの腕または手状オブジェクトのリアルタイムな制御を提供する。ＨＭＤデバイス上の演出状況において使用されると、グローブインタフェースオブジェクトは、仮想環境におけるキャラクタの腕／手または同様の付属器官の制御に関して、非常に臨場感があり直感的な体験を提供可能となる。すなわち、グローブインタフェースオブジェクトにより提供されるリアルタイムな制御及び応答性と、ＨＭＤデバイスの臨場感の高い演出とを組み合わせることにより、ユーザは、仮想腕／手または付属器官が本当に自分の腕／手であるかのような感覚を体験し得る。

さらに、インタラクティブアプリケーションのインタラクティブセッション内で、仮想手は、インタラクティブアプリケーションの実行状態に応じて表示され得る、あるいは表示され得ないことは理解されよう。例えば、テレビゲームにおいて、仮想手が表示されることを要求し得る、または要求し得ない様々なステージ／シーン／タスク／レベル／等があり得る。さらに、仮想環境の状況または内容に応じて、仮想手のレンダリングは仮想環境内に表示され得る、あるいは表示され得ない。例えば、特定オブジェクトが仮想シーンに存在する時、またはユーザが特定オブジェクトに近づいてそれを操作する、あるいはそれとインタラクトする時、仮想手は表示され得る（または表示可能な状態にされる）。

いくつかの実施態様において、ユーザの手／指のポーズ及び／または動きは、本明細書において論述される原理に従ってグローブインタフェースオブジェクトの追跡から特定され得るジェスチャを規定し得る。特定されたジェスチャは、仮想環境においてある行動を起こすように構成され得る。すなわち、仮想環境を生成しているインタラクティブアプリケーションに対して特定入力をもたらすように、ジェスチャは認識され関連付けられる。様々な実施形態において、仮想手は、ジェスチャ特定と連動して、表示され得る、あるいは表示され得ない。

図１１を参照すると、本発明の実施形態による、グローブインタフェースオブジェクト１０４のコンポーネントを例示する図が示される。グローブインタフェースオブジェクト１０４は、プログラム命令を実行するプロセッサ１１００を含む。メモリ１１０２は、記憶目的で提供され、揮発性及び不揮発性メモリの両方を含み得る。バッテリ１１０６は、グローブインタフェースオブジェクト１０４の電源として提供される。動作検出モジュール１１０８は、磁力計１１１０、加速度計１１１２、ジャイロスコープ１１１４等の様々な種類の動作感知ハードウェアのうちのいずれかを含み得る。

グローブインタフェースオブジェクト１０４は、音声出力を提供するスピーカ１１２０を含む。また、周辺環境からの音、ユーザによるスピーチ等を含む実環境からの音声を取り込むために、マイクロホン１１２２が含まれ得る。グローブインタフェースオブジェクト１０４は、ユーザに触覚フィードバックを提供する触覚フィードバックモジュール１１２４を含む。一実施形態において、触覚フィードバックモジュール１１２４は、ユーザに触覚フィードバックを提供するために、グローブインタフェースオブジェクト１０４の動き及び／または振動を生じることが可能である。

ＬＥＤ１１２６は、グローブインタフェースオブジェクト１０４の状態の視覚インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、電源の入った状態等を示し得る。ＵＳＢインタフェース１１３０は、周辺デバイスの接続、または他のポータブルデバイス、コンピュータ等の他のデバイスへの接続を可能にするインタフェースの一例として含まれる。グローブインタフェースオブジェクト１０４の様々な実施形態において、グローブインタフェースオブジェクト１０４のより良い接続性を可能にするために、様々な種類のインタフェースのうちのいずれかが含まれ得る。

無線ネットワーク技術を介してインターネットまたはローカルエリアネットワークへの接続を可能にするために、ＷｉＦｉモジュール１１３２が含まれる。また、他のデバイスへの無線接続を可能にするために、グローブインタフェースオブジェクト１０４は、ブルートゥースモジュール１１３４を含む。他のデバイスへの接続のために、通信リンク１１３６も含まれ得る。一実施形態において、通信リンク１１３６は、無線通信のために赤外線通信を使用する。他の実施形態において、通信リンク１１３６は、他のデバイスと通信するために、様々な無線または有線伝送プロトコルのうちのいずれかを使用し得る。

入力インタフェースをユーザに提供するために、入力ボタン／センサ１１３８は含まれる。ボタン、タッチパッド、ジョイスティック、トラックボール等、様々な種類の入力インタフェースのうちのいずれかが含まれ得る。超音波技術を介した他のデバイスとの通信を容易にするために、超音波通信モジュール１１４０がグローブインタフェースオブジェクト１０４に含まれ得る。

ユーザからの生理学的データの検出を可能にするために、生体センサ１１４２が含まれる。一実施形態において、生体センサ１１４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するために、１つまたは複数の乾電極を含む。

グローブインタフェースオブジェクト１０４の前述のコンポーネントは、グローブインタフェースオブジェクト１０４に含まれ得る単なる代表的コンポーネントとして説明されている。本発明の様々な実施形態において、グローブインタフェースオブジェクト１０４は、様々な前述のコンポーネントのうちのいくつかを含み得る、または含み得ない。本明細書において説明される本発明の態様を簡易にするために、現在説明されていないが当技術分野で周知の他のコンポーネントを、グローブインタフェースオブジェクト１０４の実施形態はさらに含み得る。

本発明の様々な実施形態において、前述のグローブインタフェースオブジェクトは、様々なインタラクティブ機能を提供するために、ディスプレイ上に表示されるインタラクティブアプリケーションと連動して使用され得ることが、当業者には理解されよう。本明細書において説明される代表的実施形態は、限定としてではなく、実施例としてのみ提供される。

図１２を参照すると、本発明の実施形態による、ヘッドマウントディスプレイ１０２のコンポーネントを例示する図が示される。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ１３００を含む。メモリ１３０２は、記憶目的で提供され、揮発性及び不揮発性メモリの両方を含み得る。ユーザが見ることができる視覚インタフェースを提供するディスプレイ１３０４が含まれる。バッテリ１３０６は、ヘッドマウントディスプレイ１０２の電源として提供される。動作検出モジュール１３０８は、磁力計１３１０、加速度計１３１２、ジャイロスコープ１３１４等の様々な種類の動作感知ハードウェアのうちのいずれかを含み得る。

加速度計は、加速及び重力誘起反力を測定するデバイスである。単一及び複数軸モデルが、様々な方向における加速の大きさ及び方向を検出するために利用可能である。傾き、振動、及び衝撃を感知するために、加速度計が使用される。一実施形態において、３つの加速度計１３１２は重力の方向を提供するため使用され、２つの角（世界空間ピッチ及び世界空間ロール）の絶対基準を与える。

磁力計は、ヘッドマウントディスプレイ付近の磁場の強度及び方向を測定する。一実施形態において、３つの磁力計１３１０がヘッドマウントディスプレイ内で使用され、世界空間ヨー角の絶対基準を確保する。一実施形態において、磁力計は、±８０マイクロステラである地磁場に範囲設定されるように設計される。磁力計は金属の影響を受け、実際のヨーによる単調なヨー測定を提供する。磁場は環境内の金属により歪み得るものであり、これはヨー測定において歪みを生じる。必要であれば、この歪みは、ジャイロスコープまたはカメラ等の他のセンサからの情報を用いて校正可能である。一実施形態において、加速度計１３１２は、ヘッドマウントディスプレイ１０２の傾き及び方位を取得するために磁力計１３１０と共に使用される。

いくつかの実施態様において、ヘッドマウントディスプレイの磁力計は、他の傍にあるデバイス内の電磁石が起動していない時間の間に読み出されるように構成される。

ジャイロスコープは、角運動量の原理に基づいて、方位を測定または維持するための装置である。一実施形態において、３つのジャイロスコープ１３１４は、慣性感知に基づいてそれぞれの軸（ｘ、ｙ及びｚ）にわたる動きに関する情報を提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対基準の存在なしに経時的にドリフト可能である。これは周期的にジャイロスコープの再設定することを必要とし、オブジェクト、加速度計、磁力計等の視覚追跡に基づいた位置／方位特定といった他の入手可能な情報を用いて行われ得る。

実環境の画像及び画像ストリームを取り込むために、カメラ１３１６が提供される。後方指向のカメラ（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時にユーザから外に向けられている）と、前方指向のカメラ（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時にユーザに向けられている）とを含む複数のカメラが、ヘッドマウントディスプレイ１０２に含まれ得る。加えて、実環境におけるオブジェクトの深度情報を感知するために、デプスカメラ１３１８がヘッドマウントディスプレイ１０２に含まれ得る。

ヘッドマウントディスプレイ１０２は、音声出力を提供するスピーカ１３２０を含む。また、周辺環境からの音、ユーザによるスピーチ等を含む実環境からの音声を取り込むために、マイクロホン１３２２が含まれ得る。ヘッドマウントディスプレイ１０２は、ユーザに触覚フィードバックを提供する触覚フィードバックモジュール１３２４を含む。一実施形態において、触覚フィードバックモジュール１３２４は、ユーザに触覚フィードバックを提供するために、ヘッドマウントディスプレイ１０２の動き及び／または振動を生じることが可能である。

ＬＥＤ１３２６は、ヘッドマウントディスプレイ１０２の状態の視覚インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、電源の入った状態等を示し得る。ヘッドマウントディスプレイ１０２がメモリカードからの情報を読み出し、メモリカードに情報を書き込むことを可能にするために、カードリーダ１３２８が提供される。ＵＳＢインタフェース１３３０は、周辺デバイスの接続、または他のポータブルデバイス、コンピュータ等の他のデバイスへの接続を可能にするインタフェースの一例として含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態において、ヘッドマウントディスプレイ１０２のより良い接続性を可能にするために、様々な種類のインタフェースのうちのいずれかが含まれ得る。

無線ネットワーク技術を介してインターネットまたはローカルエリアネットワークへの接続を可能にするために、ＷｉＦｉモジュール１３３２が含まれる。また、他のデバイスへの無線接続を可能にするために、ヘッドマウントディスプレイ１０２は、ブルートゥースモジュール１３３４を含む。他のデバイスへの接続のために、通信リンク１３３６も含まれ得る。一実施形態において、通信リンク１３３６は、無線通信のために赤外線通信を使用する。他の実施形態において、通信リンク１３３６は、他のデバイスと通信するために、様々な無線または有線伝送プロトコルのうちのいずれかを使用し得る。

入力インタフェースをユーザに提供するために、入力ボタン／センサ１３３８は含まれる。ボタン、タッチパッド、ジョイスティック、トラックボール等、様々な種類の入力インタフェースのうちのいずれかが含まれ得る。超音波技術を介した他のデバイスとの通信を容易にするために、超音波通信モジュール１３４０がヘッドマウントディスプレイ１０２に含まれ得る。

ユーザからの生理学的データの検出を可能にするために、生体センサ１３４２が含まれる。一実施形態において、生体センサ１３４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するために、１つまたは複数の乾電極を含む。

映像入力１３４４は、ＨＭＤ上のレンダリングのために、１次処理コンピュータ（例えば主要ゲーム機）からの映像信号を受信するように構成される。いくつかの実施態様において、映像入力はＨＤＭＩ入力である。

ヘッドマウントディスプレイ１０２の前述のコンポーネントは、ヘッドマウントディスプレイ１０２に含まれ得る単なる代表的コンポーネントとして説明されている。本発明の様々な実施形態において、ヘッドマウントディスプレイ１０２は、様々な前述のコンポーネントのうちのいくつかを含み得る、または含み得ない。本明細書において説明される本発明の態様を簡易にするために、現在説明されていないが当技術分野で周知の他のコンポーネントを、ヘッドマウントディスプレイ１０２の実施形態はさらに含み得る。

図１３は、本発明の様々な実施形態による、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、ネットワーク１４１５を介して１つまたは複数のクライアント１４１０に対し映像ストリームを提供するように構成される。ゲームシステム１４００は通常、映像サーバシステム１４２０と、任意のゲームサーバ１４２５とを含む。映像サーバシステム１４２０は、最小限のサービス品質で、１つまたは複数のクライアント１４１０に対し映像ストリームを提供するように構成される。例えば、映像サーバシステム１４２０は、テレビゲームの状態またはテレビゲーム内の視点を変更するゲームコマンドを受信し、この状況変更を反映する更新された映像ストリームをクライアント１４１０に最小遅延時間で提供し得る。テレビサーバシステム１４２０は、映像ストリームを、まだ規定されていないフォーマットを含む多種多様な代替映像フォーマットで提供するように構成され得る。さらに、映像ストリームは、多種多様なフレームレートでユーザへ提示されるように構成される映像フレームを含み得る。通常のフレームレートは毎秒３０フレーム、毎秒６０フレーム、及び毎秒１２０フレームである。しかし本発明の代替実施形態においては、より高いまたはより低いフレームレートが含まれる。

本明細書において個別に１４１０Ａ、１４１０Ｂ等と称されるクライアント１４１０は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲーム機、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、及び／または手持ち型ゲームプレイデバイス等を含み得る。通常、クライアント１４１０は、符号化された映像ストリームを受信し、映像ストリームを復号化し、復号化の結果映像をユーザ、例えばゲームのプレーヤに提示するように構成される。符号化された映像ストリームを受信し、及び／または映像ストリームを復号化するプロセスは通常、クライアントの受信バッファに個々の映像フレームを記憶することを含む。映像ストリームは、クライアント１４１０と一体のディスプレイ上、またはモニタもしくはテレビ等の分離デバイス上で、ユーザに提示され得る。クライアント１４１０は、任意で複数のゲームプレーヤをサポートするように構成される。例えば、ゲーム機は、２人、３人、４人以上の同時プレーヤをサポートするように構成され得る。これらのプレーヤのそれぞれは、個別の映像ストリームを受信し得る、あるいは単一の映像ストリームは、各プレーヤのために特別に生成された、例えば各プレーヤの視点に基づいて生成されたフレームの領域を含み得る。クライアント１４１０は、任意で地理的に分散される。ゲームシステム１４００に含まれるクライアントの数は、１つまたは２つから数千、数万以上にまで幅広く変化し得る。本明細書において用いられるように、用語「ゲームプレーヤ」は、ゲームをプレイする人を指すために用いられ、用語「ゲームプレイデバイス」は、ゲームをプレイするために使用されるデバイスを指すために用いられる。いくつかの実施形態において、ゲームプレイデバイスは、ユーザにゲーム体験を伝えるために協働する複数のコンピューティングデバイスを指し得る。例えば、ゲーム機及びＨＭＤは、ＨＭＤを通して見られるゲームを伝達するために、映像サーバシステム１４２０と協働し得る。一実施形態において、ゲーム機は、映像サーバシステム１４２０から映像ストリームを受信し、ゲーム機は、レンダリングのためにＨＭＤに対し、映像ストリームを転送する、または映像ストリームを更新する。

クライアント１４１０は、ネットワーク１４１５を介して映像ストリームを受信するように構成される。ネットワーク１４１５には、電話ネットワーク、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／またはプライベートネットワーク等を含む通信ネットワークのうちの任意の種類が含まれ得る。典型的実施形態において、映像ストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準プロトコルにより通信される。あるいは、映像ストリームは、プロプライエタリ規格により通信される。

クライアント１４１０の典型的実施例として、プロセッサと、不揮発性メモリと、ディスプレイと、復号化ロジックと、ネットワーク通信能力と、入力デバイスとを備えるパーソナルコンピュータがある。復号化ロジックは、コンピュータ可読媒体に記憶されたハードウェア、ファームウェア、及び／またはソフトウェアを含み得る。映像ストリームを復号化（及び符号化）するシステムは、当技術分野においてよく知られており、使用されている特定の符号化スキームに応じて変わる。

クライアント１４１０は、必須ではないが、受信した映像を変更するように構成されるシステムをさらに含む。例えば、クライアントは、１つの映像を別の映像上に重ねるために、及び／または映像を切り取るために等、さらなるレンダリングを行うように構成され得る。例えば、クライアント１４１０は、Ｉ‐フレーム、Ｐ‐フレーム、及びＢ‐フレーム等の様々な種類の映像フレームを受信し、かつこれらのフレームをユーザに対し表示する画像へと処理するように構成され得る。いくつかの実施形態において、クライアント１４１０のうちの構成要素は、映像ストリームに対しさらなるレンダリング、シェーディング、または３Ｄ変換等の動作を行うように構成され得る。クライアント１４１０の構成要素は、任意で複数の音声または映像ストリームを受信するように構成される。クライアント１４１０の入力デバイスには、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、位置指示デバイス、力フィードバックデバイス、動作及び／または位置感知デバイス、マウス、タッチスクリーン、神経インタフェース、カメラ、及び／またはまだ開発中の入力デバイス等が含まれ得る。

クライアント１４１０が受信する映像ストリーム（及び任意で音声ストリーム）は、映像サーバシステム１４２０により生成及び提供される。本明細書の別の箇所でさらに説明されるように、この映像ストリームは映像フレームを含む（ならびに音声フレームは音声ストリームを含む）。映像フレームは、ユーザに表示される画像に有意義に寄与するように構成される（例えばそれらは好適なデータ構造のピクセル情報を含む）。本明細書において使用される用語「映像フレーム」は、ユーザに表示される画像に例えば作用する等、寄与するように構成される情報を主として含むフレームを指すために使用される。「映像フレーム」に関する本明細書における教示のうちの大半は、「音声フレーム」にも適用可能である。

クライアント１４１０は通常、ユーザからの入力を受信するように構成される。これらの入力は、テレビゲームの状態を変化する、あるいはゲームプレイに作用するように構成されるゲームコマンドを含み得る。ゲームコマンドは、入力デバイスを用いて受信され、及び／またはクライアント１４１０上で実行されているコンピューティング命令により自動で生成され得る。受信されたゲームコマンドは、ネットワーク１４１５を介してクライアント１４１０から、映像サーバシステム１４２０及び／またはゲームサーバ１４２５へ通信される。例えば、いくつかの実施形態において、ゲームコマンドは、映像サーバシステム１４２０を介してゲームサーバ１４２５へ通信される。いくつかの実施形態において、ゲームコマンドの別個の複製が、クライアント１４１０から、ゲームサーバ１４２５及び映像サーバシステム１４２０へ通信される。ゲームコマンドの通信は、任意でコマンドの識別に依存する。ゲームコマンドは、クライアント１４１０Ａに音声または映像ストリームを提供するために使用されるものとは異なる経路または通信チャネルを通して、クライアント１４１０Ａから任意で通信される。

ゲームサーバ１４２５は任意で、映像サーバシステム１４２０とは異なるエンティティにより運営される。例えば、ゲームサーバ１４２５は、マルチプレーヤゲームの発行者により運営され得る。この実施例において、映像サーバシステム１４２０は、ゲームサーバ１４２５によるクライアントとして任意で見なされ、ゲームサーバ１４２５の視点から、先行技術のゲームエンジンを実行する先行技術のクライアントであると見られるように任意で構成される。映像サーバシステム１４２０とゲームサーバ１４２５間の通信は、ネットワーク１４１５を介して任意で起こる。よって、ゲームサーバ１４２５は、ゲームサーバシステム１４２０を含む多数のクライアントに対しゲーム状態情報を送信する先行技術のマルチプレーヤゲームサーバであり得る。映像サーバシステム１４２０は、ゲームサーバ１４２５の多数のインスタンスと同時に通信するように構成され得る。例えば、映像サーバシステム１４２０は、異なるユーザに対し複数の異なるテレビゲームを提供するように構成され得る。これらの異なるテレビゲームのそれぞれは、異なるゲームサーバ１４２５によりサポートされ、及び／または異なるエンティティにより発行され得る。いくつかの実施形態において、映像サーバシステム１４２０の地理的に分散したいくつかのインスタンスは、複数の異なるユーザにゲーム映像を提供するように構成され得る。映像サーバシステム１４２０のこれらのインスタンスのそれぞれが、ゲームサーバ１４２５の同一インスタンスと通信し得る。映像サーバシステム１４２０と１つまたは複数のゲームサーバ１４２５間の通信は、専用通信チャネルを介して任意で起こる。例えば、映像サーバシステム１４２０はゲームサーバ１４２５に対し、これらの２つのシステム間の通信専用の高帯域幅チャネルを介して接続され得る。

映像サーバシステム１４２０は、映像源１４３０と、入出力デバイス１４４５と、プロセッサ１４５０と、非一時的ストレージ１４５５とを少なくとも備える。映像サーバシステム１４２０は、１つのコンピューティングデバイスを含み得る、あるいは複数のコンピューティングデバイス間に分散され得る。これらのコンピューティングデバイスは、ローカルエリアネットワーク等の通信システムを介して任意で接続される。

映像源１４３０は、例えば動画を形成するストリーミング映像もしくは映像フレーム一式といった映像ストリームを提供するように構成される。いくつかの実施形態において、映像源１４３０は、テレビゲームエンジン及びレンダリングロジックを含む。テレビゲームエンジンは、プレーヤからゲームコマンドを受信し、かつ受信したコマンドに基づいてテレビゲームの状態の複製を保持するように構成される。このゲーム状態は、ゲーム環境内のオブジェクトの位置、ならびに通常では視点を含む。ゲーム状態はまた、プロパティ、画像、色、及び／またはオブジェクトのテクスチャも含み得る。ゲーム状態は、ゲームルール、ならびに移動する、方向転換する、攻撃する、焦点を設定する、インタラクトする、及び／または使用する等のゲームコマンドに基づいて通常維持される。ゲームエンジンの一部は、ゲームサーバ１４２５内に任意で配置される。ゲームサーバ１４２５は、地理的分散クライアントを用いて多数のプレーヤから受信したゲームコマンドに基づいて、ゲームの状態の複製を維持し得る。これらの事例において、ゲーム状態はゲームサーバ１４２５により映像源１４３０に提供され、ゲーム状態の複製が記憶され、レンダリングが行われる。ゲームサーバ１４２５は、ネットワーク１４１５を介してクライアント１４１０から直接ゲームコマンドを受信し、及び／または映像サーバシステム１４２０を介してゲームコマンドを受信し得る。

映像源１４３０は、例えばストレージ１４５５等のコンピュータ可読媒体に記憶されたハードウェア、ファームウェア、及び／またはソフトウェアといったレンダリングロジックを通常含み得る。このレンダリングロジックは、ゲーム状態に基づいて、映像ストリームの映像フレームを作成するように構成される。レンダリングロジックの全てまたは一部は任意で、グラフィック処理ユニット（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて、オブジェクト間の三次元空間関係を特定し、及び／または好適なテクスチャ等を適用するように構成される処理段階を通常含む。レンダリングロジックは、クライアント１４１０へ通信する前に、通常符号化された生の映像を生成する。例えば、生の映像は、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ‐１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ‐ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６‐８、ｒｅａｌｖｉｄｅｏ、またはｍｐ３等に従って符号化され得る。符号化プロセスは、遠隔デバイス上のデコーダへ伝達するために任意でパッケージされる映像ストリームを生成する。映像ストリームは、フレームサイズ及びフレームレートにより特徴付けられる。典型的なフレームサイズは、８００×６００、１２８０×７２０（例えば７２０ｐ）、１０２４×７６８を含むが、その他のフレームサイズも使用可能である。フレームレートは、毎秒の映像フレームの数である。映像ストリームは、様々な種類の映像フレームを含み得る。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ‐フレームは、ディスプレイデバイス上の全てのマクロブロック／ピクセルをリフレッシュする情報を含み、一方Ｐ‐フレームは、そのサブセットをリフレッシュする情報を含む。Ｐ‐フレームは通常、Ｉ‐フレームよりデータサイズが小さい。本明細書において使用される用語「フレームサイズ」は、フレーム内のピクセル数を指すように意図されている。用語「フレームデータサイズ」は、フレームを記憶するために必要となるバイト数を指すように使用される。

代替実施形態において、映像源１４３０は、カメラ等の映像記録デバイスを含む。このカメラは、コンピュータゲームの映像ストリームに含まれ得る遅延またはライブ映像を生成するために使用され得る。その結果の映像ストリームは任意で、レンダリングされた画像、及び静止画または動画カメラを使用して記録された画像の両方を含む。映像源１４３０はまた、映像ストリームに含まれる予定の以前記録した映像を記憶するように構成されるストレージデバイスを含み得る。映像源１４３０はまた、例えば人といったオブジェクトの動作または位置を検出するように構成される動作または位置感知デバイスと、ゲーム状態を特定する、あるいは検出された動作及び／または位置に基づいた映像を生成するように構成されるロジックとを含み得る。

映像源１４３０は任意で、他の映像上に配置されるように構成されたオーバーレイを提供するように構成される。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレーヤへのメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤの配信映像（例えばウェブカメラ映像）を含み得る。クライアント１４１０Ａがタッチスクリーンインタフェースまたは視線検出インタフェースを含む実施形態において、オーバーレイは、仮想キーボード、ジョイスティック、及び／またはタッチパッド等を含み得る。オーバーレイの１つの実施例において、プレーヤの声は音声ストリーム上に重ねられる。映像源１４３０はさらに、１つまたは複数の音声源を任意で含む。

映像サーバシステム１４２０が複数のプレーヤからの入力に基づいてゲーム状態を維持するように構成される実施形態において、各プレーヤは、視野の位置及び方向を含む異なる視点を有し得る。映像源１４３０は任意で、各プレーヤの視点に基づいて、各プレーヤに別個の映像ストリームを提供するように構成される。さらに、映像源１４３０は、それぞれのクライアント１４１０に対し、異なるフレームサイズ、フレームデータサイズ、及び／または符号化を提供するように構成され得る。映像源１４３０は任意で、三次元映像を提供するように構成される。

入出力デバイス１４４５は、映像サーバシステム１４２０のために、映像、コマンド、情報要求、ゲーム状態、視線情報、デバイス動作、デバイス位置、ユーザ動作、クライアント識別、プレーヤ識別、ゲームコマンド、セキュリティ情報、及び／または音声等の情報を、送信及び／または受信するように構成される。入出力デバイス１４４５は通常、ネットワークカードまたはモデム等の通信ハードウェアを含む。入出力デバイス１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／またはクライアント１４１０と通信するように構成される。

プロセッサ１４５０は、本明細書において論述される映像サーバシステム１４２０の様々なコンポーネント内に含まれる、例えばソフトウェアといったロジックを実行するように構成される。例えば、プロセッサ１４５０は、映像源１４３０、ゲームサーバ１４２５、及び／またはクライアント性能特定器１４６０の機能を実行するように、ソフトウェア命令でプログラムされ得る。映像サーバシステム１４２０は、プロセッサ１４５０の複数のインスタンスを任意で含む。プロセッサ１４５０はまた、映像サーバシステム１４２０が受信したコマンドを実行するように、または本明細書において論述されるゲームシステム１４００の様々な要素の動作を調整するように、ソフトウェア命令でプログラムされ得る。プロセッサ１４５０は、１つまたは複数のハードウェアデバイスを含み得る。プロセッサ１４５０は電子プロセッサである。

ストレージ１４５５は、非一時的アナログ及び／またはデジタルストレージデバイスを含む。例えば、ストレージ１４５５は、映像フレームを記憶するように構成されるアナログストレージデバイスを含み得る。ストレージ１４５５は、例えばハードドライブ、光学ドライブ、またはソリッドステートストレージといったコンピュータ可読デジタルストレージを含み得る。ストレージ１４１５は、映像フレーム、人工フレーム、映像フレームと人工フレームの両方を含む映像ストリーム、音声フレーム、及び／または音声ストリーム等を記憶するように構成される（例えば好適なデータ構造またはファイルシステムとして）。ストレージ１４５５は任意で、複数のデバイス間に分散される。いくつかの実施形態において、ストレージ１４５５は、本明細書の別の箇所で論述される映像源１４３０のソフトウェアコンポーネントを記憶するように構成される。これらのコンポーネントは、必要時にいつでも支給可能なフォーマットで記憶され得る。

映像サーバシステム１４２０はさらに、クライアント性能特定器１４６０を任意で備える。クライアント性能特定器１４６０は、クライアント１４１０Ａまたは１４１０Ｂ等のクライアントの性能を遠隔で特定するように構成される。これらの性能には、クライアント１４１０Ａ自体の性能、ならびにクライアント１４１０Ａと映像サーバシステム１４２０間の１つまたは複数の通信チャネルの性能の両方が含まれ得る。例えば、クライアント性能特定器１４６０は、ネットワーク１４１５を通して、通信チャネルを試すように構成され得る。

クライアント性能特定器１４６０は、手動または自動で、クライアント１４１０Ａの性能を特定（例えば発見）し得る。手動特定は、クライアント１４１０Ａと通信して、ユーザに性能を提供するように依頼することを含む。例えば、いくつかの実施形態において、クライアント性能特定器１４６０は、画像及び／またはテキスト等をクライアント１４１０Ａのブラウザ内に表示するように構成される。一実施形態において、クライアント１４１０Ａは、ブラウザを含むＨＭＤである。別の実施形態において、クライアント１４１０Ａは、ＨＭＤ上に表示され得るブラウザを有するゲーム機である。表示されるオブジェクトは、ユーザに、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、映像デコーダの種類、ネットワーク接続の種類、ディスプレイ解像度等の情報を入力するように要求する。ユーザにより入力された情報は、クライアント性能特定器１４６０へ返信される。

自動特定は、例えば、クライアント１４１０Ａ上のエージェントの実行により、及び／またはクライアント１４１０Ａへテスト映像を送信することにより、起こり得る。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされた、ジャバスクリプト等のコンピューティング命令を備え得る。エージェントは任意で、クライアント性能特定器１４６０により提供される。様々な実施形態において、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの復号化及び表示能力、クライアント１４１０Ａと映像サーバシステム１４２０間の通信チャネルの遅延時間信頼性及び帯域幅、クライアント１４１０Ａのディスプレイの種類、クライアント１４１０Ａ上に存在するファイアウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａ上で実行されるソフトウェア、及び／またはクライアント１４１０Ａ内のレジストリエントリ等を見つけ出し得る。

クライアント性能特定器１４６０は、コンピュータ可読媒体に記憶されたハードウェア、ファームウェア、及び／またはソフトウェアを含む。クライアント性能特定器１４６０は任意で、映像サーバシステム１４２０の１つまたは複数の他の要素とは別に、コンピューティングデバイス上に配置される。例えば、いくつかの実施形態において、クライアント性能特定器１４６０は、クライアント１４１０と、映像サーバシステム１４２０の複数のインスタンスとの間の通信チャネルの特性を特定するように構成される。これらの実施形態において、クライアント性能特定器により発見される情報は、クライアント１４１０のうちの１つに対しストリーミング映像を伝達するのに、映像サーバシステム１４２０のどのインスタンスが最適であるかを特定するのに使用され得る。

本発明の実施形態は、手持ちデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのもしくはプログラム可能な一般消費者向け電気製品、小型コンピュータ、及びメインフレームコンピュータ等を含む様々なコンピュータシステム構成により実行され得る。本発明はまた、有線ベースまたは無線のネットワークを通してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実行可能である。

前の実施形態を念頭に、本発明は、コンピュータシステムに記憶されるデータを伴う様々なコンピュータ実施動作を採用可能であることを理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本発明の一部を形成する、本明細書において説明される動作のうちのいずれも、有益な機械動作である。本発明はまた、これらの動作を実行するためのデバイスまたは機器に関する。機器は、必要な目的のために特別に構築され得る、あるいは機器は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータであり得る。特に、様々な汎用機械は、本明細書における教示に従って書かれるコンピュータプログラムと共に使用可能である、あるいは、必要動作を実行するためにより特化された機器を構築するほうがより好都合であり得る。

本発明はまた、コンピュータ可読媒体上のコンピュータ可読コードとしても具現化可能である。コンピュータ可読媒体は、後にコンピュータシステムにより読み出され得るデータを記憶可能な任意のデータストレージデバイスである。コンピュータ可読媒体の実施例には、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、ＣＤ‐ＲＷ、磁気テープ、ならびに他の光学及び非光学データストレージデバイスが含まれる。コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶及び実行されるように、ネットワーク結合されたコンピュータシステム上に分散されたコンピュータ可読有形媒体を含み得る。

方法動作は特定の順序で説明されたが、オーバーレイ動作の処理が所望するやり方で実行される限り、動作の合間に他の維持管理動作が実行され得る、または動作がわずかに異なる時間に起こるように調整され得る、またはシステム内に動作が分散され得ることにより、様々な処理関連間隔で処理動作の発生が可能となることを理解されたい。

前述の発明は、理解の明確化のために若干詳細に説明されたが、ある変形及び変更は、添付の請求項の範囲内で実行可能であることは明らかであろう。従って、本実施形態は、限定するものではなく例示としてみなされるべきであり、本発明は、本明細書において提供される詳細に限定されるべきではないが、本開示の範囲内及び均等物内において変更され得る。

Claims (20)

1. 画像取り込みデバイスを使用して、インタラクティブ環境の画像を取り込み、
   前記取り込んだ画像を処理して、前記インタラクティブ環境においてグローブインタフェースオブジェクト上の追跡可能オブジェクトの位置を追跡し、前記追跡可能オブジェクトの前記追跡された位置は仮想環境内の仮想手の位置を規定するものであり、
   前記グローブインタフェースオブジェクトの指先部分に配置された複数の近接センサから、前記グローブインタフェースオブジェクト上に配置された複数のエミッタのそれぞれまでの距離を示す指近接度データを受信し、
   前記近接度データを処理して、前記エミッタに対する前記指先部分の位置を特定し、
   ヘッドマウントディスプレイ上のレンダリングのために、前記指先部分の前記位置を適用して、前記仮想環境内の前記仮想手の仮想指のポーズを規定する、
   方法。
2. 指近接度データの受信は、時分割多重化割付での前記エミッタの起動及び前記近接センサの読み出しから規定され、それぞれの前記近接センサは、１つのエミッタの起動中に読み出され、前記時分割多重化割付は、個別の時間枠内のそれぞれの前記エミッタの起動を提供する前記エミッタの起動の反復パターンと、前記エミッタのうちの所定の１つの前記起動時間枠内におけるそれぞれの前記近接センサの読み出しとにより規定される、請求項１に記載の方法。
3. 前記複数のエミッタは、前記グローブインタフェースオブジェクトの手首部分に非同一線上に配置された少なくとも３つの電磁石を規定する、請求項１に記載の方法。
4. 前記複数の近接センサは、前記グローブインタフェースオブジェクトの５つの指先部分にそれぞれ配置された５つの磁気センサを規定する、請求項３に記載の方法。
5. 前記追跡可能オブジェクトは、前記取り込まれた画像において特定されやすいように照光される、請求項１に記載の方法。
6. 前記グローブインタフェースオブジェクト上に規定される方位センサから方位データを受信し、
   前記方位データを処理して、前記仮想環境内の前記仮想手の方位を規定する、
   請求項１に記載の方法。
7. 前記方位センサは、加速度計、ジャイロスコープ、及び磁力計で構成されるグループから選択される、請求項６に記載の方法。
8. グローブインタフェースオブジェクト上に配置された複数のグローブエミッタを起動し、
   前記グローブインタフェースオブジェクトの指先部分に配置された複数の近接センサを使用して、前記グローブエミッタまでの前記指先部分の近接度を特定し、
   前記グローブインタフェースオブジェクトの位置が周辺デバイスから所定距離内にあるという判定に応じて、前記周辺デバイスに配置された複数の周辺エミッタを起動し、前記近接センサを使用して前記グローブエミッタまでの前記指先部分の前記近接度を特定することから、前記近接センサを使用して前記周辺エミッタまでの前記指先部分の近接度を特定することへ移行する、
   方法。
9. 移行には、前記グローブエミッタの前記起動を終了することが含まれる、請求項８に記載の方法。
10. 前記グローブエミッタの起動は、前記グローブエミッタの巡回的起動順序を規定し、所定のグローブエミッタの１つの起動時間枠内に、それぞれの前記近接センサから近接度データが読み出される、請求項８に記載の方法。
11. 前記グローブインタフェースオブジェクトの前記位置が前記周辺デバイスから前記所定距離内にあることの判定は、取り込まれたインタラクティブ環境の画像データを処理して、前記グローブインタフェースオブジェクトの前記位置と前記周辺デバイスの位置とを特定する、請求項８に記載の方法。
12. 前記グローブインタフェースオブジェクトの前記位置の特定では、前記周辺デバイス上の２次周辺エミッタを起動し、前記近接センサを使用して前記２次周辺エミッタまでの前記指先部分の近接度を特定し、
    移行には前記２次周辺エミッタの前記起動を終了することが含まれる、
    請求項８に記載の方法。
13. 前記グローブエミッタは、前記グローブインタフェースオブジェクトの手首部分に配置される、請求項８に記載の方法。
14. 前記グローブエミッタ及び前記周辺エミッタは電磁石により規定され、前記近接センサは磁気センサにより規定される、請求項８に記載の方法。
15. インタラクティブアプリケーションとのインタフェースを行うシステムであって、グローブインタフェースオブジェクトと、周辺デバイスとを備え、
    前記グローブインタフェースオブジェクトは、
    複数のグローブエミッタと、
    前記グローブインタフェースオブジェクトの指先部分に配置され、かつ前記指先部分の前記グローブエミッタに対する近接度を示すように構成される複数の近接センサと、
    前記複数のグローブエミッタの起動及び前記近接センサの読み出しを制御するように構成されるグローブコントローラと、を有し、
    前記周辺デバイスは、
    複数の周辺エミッタと、
    前記グローブインタフェースオブジェクトの位置が前記周辺デバイスから所定距離内にあるという判定に応じて、前記周辺エミッタを起動するように構成される周辺コントローラと、を有し、
    前記近接センサはさらに、前記グローブインタフェースオブジェクトの前記位置が前記所定距離内にあるという判定に応じて、前記指先部分の前記グローブエミッタに対する前記近接度を示す構成から、前記指先部分の前記周辺エミッタまでの近接度を示す構成へと移行する、
    システム。
16. 前記グローブコントローラは、前記グローブインタフェースオブジェクトの前記位置が前記所定距離内にあるという判定に応じて、前記グローブエミッタの前記起動を終了するように構成される、請求項１５に記載のシステム。
17. 前記グローブコントローラは、前記グローブエミッタの巡回的起動順序を規定するように構成され、所定のグローブエミッタの１つの起動時間枠内に、それぞれの前記近接センサから近接度データが読み出される、請求項１５に記載のシステム。
18. 前記周辺デバイスはさらに、２次周辺エミッタを含み、
    前記周辺コントローラは、前記グローブインタフェースオブジェクトの前記位置を特定するために使用される前記２次周辺エミッタの前記起動を制御するように構成され、
    前記グローブコントローラは、前記近接センサを読み出して、前記グローブインタフェースオブジェクトの前記位置を規定する前記２次周辺エミッタまでの前記指先部分の近接度を特定するように構成され、
    前記周辺コントローラは、さらに前記グローブインタフェースオブジェクトの前記位置が前記所定距離内にあるという判定に応じて、前記２次周辺エミッタの起動を終了するように構成される、
    請求項１５に記載のシステム。
19. 前記グローブエミッタは、前記グローブインタフェースオブジェクトの手首部分に配置される、請求項１５に記載のシステム。
20. 前記グローブエミッタ及び前記周辺エミッタは電磁石により規定され、前記近接センサは磁気センサにより規定される、請求項１５に記載のシステム。

Images