JP2018514017A - ヘッドマウントディスプレイの追跡システム - Google Patents

Abstract

ユーザが仮想現実シーンに対してインタラクトして動くときにユーザにシームレスな仮想現実体験を提供するために、ヘッドマウントディスプレイの位置を追跡し、付加的な仮想現実シーンデータを生成するシステム及び方法。ＨＭＤの最初の位置及び姿勢は、ＨＭＤ上にまたはＨＭＤ内に取り付けられたカメラまたは類似するセンサを使用して特定される。ＨＭＤが第２の位置及び姿勢へと動かされるとき、ＨＭＤの位置及び姿勢の差を決定するために、２つまたはそれ以上の固定点の画像がカメラまたはセンサによってキャプチャされる。ＨＭＤの位置及び姿勢の差は、仮想現実シーンにおける対応する動作を予測し、ＨＭＤにおけるレンダリングのための対応する付加的な仮想現実シーンデータを生成するために使用される。【選択図】図７Ａ

Description

本発明は、概して仮想環境に関し、より詳細には、ヘッドマウントディスプレイ（ＨＭＤ）を装着及び使用する状況において仮想オブジェクトと連動する方法及びシステムに関する。

関連技術の説明
人間とコンピュータのインタラクションの分野において急速に成長する技術の１つは、様々なヘッドマウントディスプレイ（ＨＭＤ）であり、ユーザの頭に装着され得ると共に、１つまたは２つのユーザの目の前に１つまたは２つのディスプレイを有する。この形式のディスプレイは、ビデオゲーム、医薬、スポーツトレーニング、及びエンターテイメント用途等を含んだ仮想現実のシミュレーションを含む複数の商用用途を有する。ゲーム分野において、これらのディスプレイは、たとえば、３次元（３Ｄ）仮想ゲーム世界をレンダリングするために使用されて良い。

ＨＭＤ分野において多くの進展が生じているが、ＨＭＤにおいて提供される仮想環境においてレンダリングされた仮想オブジェクトとの現実のユーザインタラクションに対する物理的現実性を生じさせるため、技術は未だ進展を必要としている。

この点に関して以下の実施形態が提案される。

概して、ユーザが仮想環境とインタラクトする間にユーザの周りの実環境において動的にＨＭＤを配置するシステム及び方法を提供することによってこれらの必要を本発明が満たすことが、本明細書において説明される。当然のことながら、本発明は処理として、装置、システム、コンピュータ可読媒体、またはデバイスを含む多くの方法で実現され得ることが理解される。本発明に係る複数の発明的実施形態が以下に説明される。

一実施形態は、ＨＭＤにレンダリングされて表示される複数の仮想現実シーンを含む仮想現実環境を生成可能な、コンピューティングデバイスに結合されるヘッドマウントディスプレイを含む仮想現実システムを提供する。コンピューティングデバイスは、ユーザ入力デバイスまたはＨＭＤから入力を受信する入力デバイスインタフェースを含むことができる。入力デバイスインタフェースは、ＨＭＤにおける表示に供されるコンテンツを選択する指令を処理する。コンピューティングデバイスは、仮想現実シーンの形式でのＨＭＤにおいて選択されたコンテンツをレンダリングする仮想現実空間生成モジュールと、ＨＭＤ動作モジュールとをさらに含むことができる。実空間におけるＨＭＤの動作を追跡し、実空間におけるＨＭＤの第１の位置及び姿勢を識別するＨＭＤ動作モジュール、ＨＭＤ動作モジュールは、実空間におけるＨＭＤの第２の位置及び姿勢に対応する仮想現実シーンの付加的なコンテンツをレンダリングする仮想現実空間生成モジュールにＨＭＤ位置及び姿勢の変化データを提供する。

仮想現実システムは、コンピューティングデバイスに結合された実空間マッピングシステムをさらに含むことができる。実空間マッピングシステムは、実空間の少なくとも一部に亘り複数の光の点を投影する光源と、光の点の画像をキャプチャするカメラと、を含む。カメラは、ＨＭＤと統合され、またはユーザまたはコントローラのようなユーザ入力デバイスに固定され得る。ＨＭＤの第２の位置及び姿勢は、カメラによってキャプチャされた画像からの固定点を使用してＨＭＤ動作モジュールによって特定され得る。ＨＭＤ動作モジュールは、カメラによってキャプチャされた画像を分析して実空間における複数の固定点を識別することが可能である。固定点は、一実施態様において光の点の少なくとも一部を含むことができる。別の実施態様において、それは実空間に存在する１つまたは複数の固定オブジェクトに配置された複数の識別点の少なくとも一部を含むことができる。

ＨＭＤ位置及び姿勢の変化データの提供は、第１の位置及び姿勢におけるＨＭＤの識別と、固定点の少なくとも２つの選択と、第１の位置及び姿勢におけるＨＭＤによる選択された固定点の間の第１の相対距離の特定と、第２の位置及び姿勢におけるＨＭＤの識別と、第２の位置及び姿勢におけるＨＭＤによる選択された固定点の間の第２の相対距離の特定と、第１の相対距離及び第２の相対距離の比較による、第１の位置及び姿勢と第２の位置及び姿勢との間の差に等しいＨＭＤ位置及び姿勢の変化データの特定と、を含むことができる。

仮想現実空間生成モジュールは、仮想現実シーンのレンダリングの間にＨＭＤが動かされる少なくとも１つの位置及び姿勢によってＨＭＤに対する付加的なコンテンツを連続的に生成することができる。カメラによってキャプチャされる画像または複数の画像の分析を使用して実空間におけるＨＭＤの位置を検出し、実空間におけるＨＭＤの位置は、仮想現実シーンにおけるＨＭＤの位置へと変換され、ＨＭＤを使用して、ユーザ入力デバイスと仮想現実シーンにおける仮想オブジェクトとの間のインタラクションを識別する。

光源は、実空間における不動の、固定位置であり得るものであり、あるいは、光源は、ＨＭＤまたはユーザ入力デバイスに取り付けられたように可動であり得るものであり、または、その他、ユーザがＨＭＤに表示された仮想シーンとインタラクトするときにユーザによって可動であり得る。光源は、人間に可視である光のスペクトルの、または紫外線もしくは赤外線のような人間以外に可視である光のスペクトルの光の点を投影できる。

別の実施形態は、仮想現実シーンのレンダリングに使用されるヘッドマウントディスプレイ（ＨＭＤ）を追跡する方法であってＨＭＤが仮想現実シーンをレンダリングする表示スクリーンを含む方法を提供する。方法は、ＨＭＤの外部表面において統合された少なくとも１つのデバイスを使用して、ＨＭＤが配置された実空間をキャプチャする画像データをキャプチャすることを含む。画像データは、実空間において表面上に投影された少なくとも２つの光の点を識別するように処理される。キャプチャされた画像データにおける少なくとも２つの光の点の位置の変化を識別するように収集すること及び処理することを継続する。位置の変化が実空間におけるＨＭＤによる位置及び姿勢の変化を識別する。位置及び姿勢の変化は、ＨＭＤの表示スクリーンにおいてレンダリングされる仮想現実シーンに対するレンダリング調整を自動的に制御するように構成され、調整は、仮想現実シーンの視点の変化及び仮想現実シーンに対する付加的なコンテンツのレンダリングの一方または両方を含む。画像データのキャプチャを継続することは、ＨＭＤの追跡が生じている間に継続するフレームレートで実行される。

画像データをキャプチャする、ＨＭＤの外部表面において統合される少なくとも１つのデバイスは、光の３原色（ＲＧＢ）カメラ、赤外線（ＩＲ）カメラ、ビデオカメラ、または位置検知デバイス（ＰＳＤ）の１つであり得る。少なくとも１つのデバイスは、カメラであり得るものであり、外部表面は、ＨＭＤのハウジングの部分またはＨＭＤのストラップであり得る。ＨＭＤにおける慣性センサからの慣性データを実空間における位置及び姿勢の変化の間に使用することもでき、レンダリング調整を自動的に制御するときに使用可能な付加的な追跡変数を提供するように慣性データがＨＭＤにおいて生成される。

別の実施態様は、ヘッドマウントディスプレイ（ＨＭＤ）を含む。ＨＭＤは、仮想現実シーンと関連付けられた画像を表示するスクリーンを含むハウジングを含む。検知デバイスは、ハウジングの外部表面に統合される。検知デバイスによってキャプチャされた画像データのキャプチャを制御するプロセッサも含まれる。画像データは、実空間の表面において放出器によって投影されることが検出された少なくとも２つの光の点または実空間における少なくとも２つの固定点と共にＨＭＤが配置された実空間をキャプチャする。プロセッサは、実空間におけるＨＭＤの位置追跡の間に画像データをコンピューティングデバイスに連続的に送るように構成されている。プロセッサは、画像データにおける少なくとも２つの固定点の少なくとも２つの光の点の位置の変化に基づいてＨＭＤの位置及び姿勢の変化を識別するように構成されている。プロセッサは、識別された位置及び姿勢の変化に基づいてスクリーンにおいてレンダリングされる仮想現実シーンに対するコンテンツを受信することもできる。位置及び姿勢の変化は、仮想現実シーンの視点及び仮想現実シーンに対する付加的なコンテンツのレンダリングの一方または両方に自動調整を生じさせる。

本発明に係る他の態様及び利点は、例示により本発明に係る原理を示す添付の図面と共に以下の詳細な説明から明らかとなる。

本発明は、添付の図面と共に以下の詳細な説明によって容易に理解される。

開示された実施形態によるビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。 開示された実施形態によるＨＭＤを示す。 ユーザのＨＭＤに対してビデオゲームコンテンツをレンダリング可能なクライアントシステムを使用するゲームプレイの一例を示す。 開示された実施形態による、使用中にＨＭＤを装着するユーザを示す。 開示された実施形態による、インサイドアウト追跡処理における使用中にＨＭＤを装着するユーザを示す。 開示された実施形態による、ユーザがＨＭＤを使用する実空間の部屋を示す。 開示された実施形態による、ユーザがＨＭＤを使用する実空間の部屋を示す。 開示された実施形態による、ＨＭＤの位置を特定するために使用される２つの異なる位置及びベクトルにおけるＨＭＤの概略図である。 開示された実施形態による、ＨＭＤの動作及び位置及び姿勢を追跡するためのシステムの簡易化された概略図である。 開示された実施形態による、コンテンツソースの簡易化された概略図である。 開示された実施形態による、ＨＭＤの追跡動作において実行される方法動作を示すフローチャート図である。 開示された実施形態による、ＨＭＤの追跡動作において実行される方法動作を示すより詳細なフローチャート図である。 開示された実施形態による、ヘッドマウントディスプレイの例示的構成要素を示す概略図である。 情報サービスプロバイダアーキテクチャの実施形態を示す。

ユーザが仮想環境とインタラクトする間にＨＭＤをユーザの周りの実環境において動的に配置するためのいくつかの例示的実施形態がここで説明される。本発明は本明細書において説明されるいくつかのまたは全ての特定な詳細を省いて実施されて良いことが当業者に明らかとなる。

ユーザが仮想環境とインタラクトする間にユーザの周りの実環境において複数のオブジェクトを配置するための１つの方法は、ユーザの周りの様々なオブジェクトに複数のスポット光を投影することである。複数のスポット光は、ユーザの周りの実環境の１つまたは複数の写真及び／またはビデオ視野と結合され得る。コンピュータは、オブジェクト及び実環境におけるユーザを追跡するための基準点として、ユーザの周りの実環境の写真及び／またはビデオ視野との組み合わせにおいて光スポットを使用することができる。光スポットは、１つまたは複数の光源から投影され得る。光源（複数可）は、ヘッドマウントディスプレイ（ＨＭＤ）、コンピュータ、またはカメラまたは専用の光源のようなコンピュータに結合された別の周辺機器において配置され得る。光スポットは、手動でまたは自動で実環境におけるオブジェクトを追跡するために選択され得る。選択される光スポットの数は、手動でまたは自動で決定され得る。選択される光スポットの数の増加は、実環境におけるオブジェクトの配置の精度を向上させることができる。光源は、１つまたは複数のレーザーを含むことができる。レーザーの使用の１つの利点は、投影される表面に対する焦点距離の決定またはその他取得が、必要とされ得ないことである。

図１は、開示された実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。ユーザ１００は、ヘッドマウントディスプレイ（ＨＭＤ）１０２を装着して示される。ＨＭＤ１０２は、眼鏡、ゴーグル、またはヘルメットと類似した方法で装着され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成される。ＨＭＤ１０２は、ユーザの目の近傍の表示メカニズム（たとえば、光学機器及び表示スクリーン）及びＨＭＤに伝達されるコンテンツの形式のその構成によって没入体験をユーザに提供するように構成される。一実例において、ＨＭＤ１０２は、ユーザのそれぞれの目に、ユーザの視野の大部分または全体さえ占める表示領域を提供して良い。ＨＭＤ表示スクリーンは、毎秒およそ３０からおよそ５００フレーム（Ｈｚ）のリフレッシュレートを有することができる。一実施態様において、ＨＭＤ表示スクリーンは、およそ６０またはおよそ１２０Ｈｚの選択可能なリフレッシュレートを有することができる。

一実施形態において、ＨＭＤ１０２はコンピュータ１０６に接続されて良い。コンピュータ１０６への接続１２２は、有線または無線であって良い。コンピュータ１０６は、限定されるものではないが、ゲームコンソール、パーソナルコンピュータ、ノートパソコン、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーム配信デバイス等を含む任意の汎用または特定用途のコンピュータであって良い。実施形態によっては、ＨＭＤ１０２は、インターネットのようなネットワーク１１０に直接接続して良く、分離したローカルコンピュータを要さずにクラウドゲームを可能として良い。一実施形態において、コンピュータ１０６は、ゲーム（及び他のデジタルコンテンツ）を実行し、ＨＭＤ１０２によるレンダリングのためにビデオゲームから映像及び音声を出力するように構成されて良い。コンピュータ１０６は、本明細書においてクライアントシステム１０６とも称され、これは１つの実例においてビデオゲームコンソールである。

コンピュータ１０６は、実施形態によってはローカルのまたは遠隔のコンピュータであって良く、コンピュータは、エミュレーションソフトウェアを実行しても良い。クラウドゲームの実施形態において、コンピュータ１０６は遠隔にあり、データセンタにおいて仮想化され得る複数のコンピューティングサービスによって提供されて良く、ゲームシステム／ロジックは、ネットワーク１１０上のユーザに仮想化及び分散されて良い。

ユーザ１００は、ビデオゲームのための入力を提供するためにコントローラ１０４を操作して良い。１つの実例において、カメラ１０８は、ユーザ１００が配置されたインタラクティブな環境の画像をキャプチャするように構成されて良い。これらのキャプチャされた画像は、ユーザ１００、ＨＭＤ１０２、及びコントローラ１０４の位置及び動作を決定するために分析されて良い。一実施形態において、コントローラ１０４は、光であってその位置／配置及び姿勢を特定するために追跡され得る光（または複数の光）を含む。さらに、以下により詳細に説明されるように、ＨＭＤ１０２は、ゲームプレイの間実質的にリアルタイムにＨＭＤ１０２の位置及び姿勢を特定するために、マーカーとして追跡され得る１つまたは複数の光２００Ａ〜Ｋを含んで良い。

カメラ１０８は、インタラクティブな環境から音声をキャプチャするために１つまたは複数のマイクを含んで良い。マイク配列によってキャプチャされる音声は、音源の配置を識別するために処理されて良い。識別された位置からの音声は、識別された位置からではない他の音声を除外するために選択的に使用されまたは処理されて良い。さらに、カメラ１０８は、複数の画像キャプチャデバイス（たとえば、カメラの立体ペア）、ＩＲカメラ、デプスカメラ、及びそれらの組み合わせを含むように定義されて良い。

実施形態によっては、コンピュータ１０６は、コンピュータ１０６の処理ハードウェアにおいてローカルでゲームを実行して良い。ゲームまたはコンテンツは、物理的媒体形式（たとえば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップまたはカード等）のような任意の形式で、またはネットワーク１１０を介したインターネットからのダウンロードによって得られて良い。別の実施形態において、コンピュータ１０６は、クラウドゲームプロバイダ１１２とのネットワーク上の通信におけるクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１００によってプレイされるビデオゲームを管理し、実行して良い。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４及びカメラ１０８からクラウドゲームプロバイダ１１２へと入力を送信し、当該クラウドゲームプロバイダは、実行するビデオゲームのゲーム状態に影響を与えるように入力を処理する。映像データ、音声データ、及び触覚フィードバックデータのような実行するビデオゲームからの出力は、コンピュータ１０６へと送信される。コンピュータ１０６は、送信前にデータをさらに処理して良く、または関連するデバイスにデータを直接送信しても良い。たとえば、映像及び音声ストリームは、ＨＭＤ１０２に提供されるが、振動フィードバック命令はコントローラ１０４または、例えば手袋、服、ＨＭＤ１０２といった他の入力デバイス、またはそれらの２つまたはそれ以上の組み合わせに提供される。

一実施形態において、ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８は、それら自体クラウドゲームプロバイダ１１２と通信するためにネットワーク１１０に接続するネットワーク化されたデバイスである。たとえば、コンピュータ１０６は、ビデオゲーム処理を実行し得ないがネットワークトラフィックの通路を容易にするルーターのようなローカルネットワークデバイスであって良い。ＨＭＤ１０２、コントローラ１０４、及びカメラ１０８によるネットワークへの接続１２４は、有線または無線であって良い。実施形態によっては、ＨＭＤ１０２において実行されるまたはディスプレイ１０７において表示可能なコンテンツは、任意のコンテンツソース１２０から得られて良い。例示的なコンテンツソースは、たとえば、ダウンロード可能なコンテンツ及び／またはストリーム配信コンテンツを提供するインターネットウェブサイトを含んで良い。実施形態によっては、コンテンツは、映画、ゲーム、静的／動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト等のような任意の形式のマルチメディアコンテンツを含んで良い。

以下により詳細に説明されるように、ユーザ１００は、ＨＭＤ１０２においてゲームをプレイして良く、こうしたコンテンツは、没入型３Ｄインタラクティブコンテンツである。ＨＭＤ１０２におけるコンテンツは、プレイヤがプレイする間、ディスプレイ１０７に共有されて良い。一実施形態において、ディスプレイ１０７に共有されるコンテンツは、ユーザ１００近傍のまたは遠隔の他のユーザがユーザのプレイと共に見るのを可能として良い。さらに別の実施形態において、ディスプレイ１０７においてユーザ１００のゲームプレイを見ている別のユーザは、プレイヤ１００とインタラクティブに参加して良い。たとえば、ディスプレイ１０７においてゲームプレイを見ているユーザは、ゲームシーンにおいてキャラクタを制御して良く、フィードバックを提供して良く、ソーシャルインタラクションを提供して良く、及び／またはコメント（テキストにより、音声により、動作により、ジェスチャにより、等）を提供して良く、これは、ＨＭＤ１０２を装着していないユーザが、ユーザ１００、ゲームプレイ、または、ＨＭＤ１０２においてレンダリングされたコンテンツと、ソーシャルインタラクションを行うことを可能とする。

図２は、開示された実施形態による、ＨＭＤ１０２を示す。示されるように、ＨＭＤ１０２は、複数の光２００Ａ〜Ｋを含む（たとえば、２００Ｋ及び２００ＪはＨＭＤヘッドバンド２１０の後部または後方側に向かって配置される）。これらの光のそれぞれは、特定の形状及び／または位置を有するように構成されて良く、同じまたは異なる色を有するように構成されても良い。光２００Ａ、２００Ｂ、２００Ｃ及び２００Ｄは、ＨＭＤ１０２の前面において配置される。光２００Ｅ及び２００ＦはＨＭＤ１０２の側面に配置される。さらに光２００Ｇ及び２００ＨはＨＭＤ１０２の前面及び側面を広げるためにＨＭＤ１０２の角部に配置される。光は、ユーザがＨＭＤ１０２を使用するインタラクティブな環境のキャプチャされた画像において識別されて良いことに留意されたい。

光の識別及び追跡に基づき、インタラクティブな環境におけるＨＭＤ１０２の位置及び姿勢が特定されて良い。さらに画像キャプチャデバイスに対するＨＭＤ１０２の特定の位置及び姿勢によって光２００Ａ〜Ｋの中に可視または不可視のものがあって良いことに留意されたい。さらに、光の異なる部分（たとえば、光２００Ｇ及び２００Ｈ）は、画像キャプチャデバイスに対するＨＭＤ１０２の位置及び姿勢によって画像キャプチャのために露出されて良い。実施形態によっては、慣性センサがＨＭＤ１０２内に配置されて良く、当該慣性センサは光２００Ａ〜Ｋを必要とせずに方向に関するフィードバックを提供する。実施形態によっては、光及び慣性センサは、位置／運動データの合成及び選択を可能とするように協働する。

一実施形態において、光は、ＨＭＤ１０２の現在の状態を近傍の他のものに対して示すように構成されて良い。たとえば、光２００Ａ〜Ｋの一部または全ては、特定の配色、輝度配分を有するように構成されて良く、点滅し、特定のオン／オフ構成、またはＨＭＤ１０２の現在の状態を示す他の構成を有するように構成されて良い。例示により、光２００Ａ〜Ｋは、ビデオゲームのアクティブなゲームプレイの間（概してゲームのアクティブタイムラインの間またはシーン内においてゲームプレイが生じる）、案内メニューインタフェースまたはゲーム設定の調整（この間、ゲームタイムラインまたはシーンは非アクティブになり、または静止され得る）のようなビデオゲームの他の非アクティブゲームプレイの態様に対し、異なる構成を表示するように構成されて良い。光２００Ａ〜Ｋは、ゲームプレイの相対的輝度レベルを示すように構成されても良い。たとえば、光２００Ａ〜Ｋの輝度または点滅速度は、ゲームプレイの白熱度が増加するときに増加して良い。

ＨＭＤ１０２は、付加的に１つまたは複数のマイクを含んで良い。図示された実施形態において、ＨＭＤ１０２は、ＨＭＤ１０２の前面において画定されるマイク２０４Ａ及び２０４Ｂ、及びＨＭＤ１０２の側面において画定されるマイク２０４Ｃを含む。マイク２０４Ａ〜Ｃの配列を利用することによって、それぞれのマイクからの音声が音声源の配置を特定するように処理されて良い。この情報は、望まない音声源の除去、視覚的な識別との音声源の関連付け等を含む様々な方法で利用されて良い。

ＨＭＤ１０２は、１つまたは複数の画像キャプチャデバイスを含んでも良い。図示された実施形態において、ＨＭＤ１０２は画像キャプチャデバイス２０２Ａ及び２０２Ｂを含むように示される。画像キャプチャデバイスの立体ペアを利用することによって、環境の３次元（３Ｄ）画像及び映像がＨＭＤ１０２の視点からキャプチャされて良い。こうした映像は、ＨＭＤ１０２を装着している間ユーザに「映像透視」機能を提供するためにユーザに示されて良い。すなわち、ユーザは厳密な意味においてＨＭＤ１０２を透視することはできないが、それでも画像キャプチャデバイス２０２Ａ及び２０２Ｂによってキャプチャされた映像が、ＨＭＤ１０２を透視しているかのようにＨＭＤ１０２の外部の環境を見ることができるのと同等の機能を提供して良い。

こうした映像は、拡張現実体験を提供する仮想的要素を用いて拡張されて良く、または他の方法で仮想的要素と結合または融合されて良い。図示された実施形態において、ＨＭＤ１０２の前面における２つのカメラが示されたが、任意の数の外部に面するカメラまたは単一のカメラがＨＭＤ１０２に搭載され、任意の方向に向けられても良いことに留意されたい。たとえば、別の実施形態において、環境の付加的なパノラマ画像キャプチャを提供するために、ＨＭＤ１０２の側部に取り付けられたカメラが存在して良い。一実施形態において、前部に面するカメラ（ＲＣＧ、及び／またはデプスカメラ）が、ユーザの手または手袋の位置及び姿勢及び運動を追跡するために使用されて良い。以下により詳細に説明されるように、前部に面するカメラによってキャプチャされた画像データからの情報は、仮想オブジェクトとインタラクトするときに、より精細な解像度、あるいは改良された触覚フィードバックをユーザに提供するために使用され得る。

図３は、ビデオゲームコンテンツをユーザ１００のＨＭＤ１０２にレンダリングすることのできるクライアントシステム１０６を使用するゲームプレイの１つの実例を示す。この図において、ＨＭＤ１０２に提供されるゲームコンテンツは、高度のインタラクティブな３Ｄ空間である。上述のように、ゲームコンテンツは、クライアントシステム１０６にダウンロードされて良く、または一実施形態においてクラウド処理システムによって実行されて良い。クラウドゲームサービス１１２は、ユーザ１４０のデータベースを含んで良く、当該ユーザは特定のゲームにアクセスし、他の友人と体験を共有し、コメントを投稿し、ユーザのアカウント情報を管理することを可能とする。

クラウドゲームサービス１１２は、特定のユーザのためにゲームデータ１５０を保存しても良く、これはゲームプレイの間、将来のゲーム、ソーシャルメディアネットワークへの共有、または賞品、賞、ステータス、ランキング等を保存するために使用可能であって良い。ソーシャルデータ１６０は、クラウドゲームサービス１１２によって管理されても良い。ソーシャルデータ１６０は、分離したソーシャルメディアネットワークによって管理されて良く、これはインターネット１１０上のクラウドゲームサービス１１２とインタフェース接続されて良い。インターネット１１０上で、任意の数のクライアントシステム１０６がコンテンツ及び他のユーザとのインタラクションのためのアクセスのために接続されて良い。

引き続き図３の実例において、ＨＭＤ１０２において視認される３次元のインタラクティブなシーンは、３Ｄ視界で示されたキャラクタのようなゲームプレイを含んで良い。１つのキャラクタ、たとえばＰ１は、ＨＭＤ１０２を装着しているユーザ１００によって制御されて良い。この実例は、２人のプレイヤ間のバスケットボールのシーンを示し、ＨＭＤユーザ１００は、３Ｄ視界の別のキャラクタ上でボールをダンクしている。当該別のキャラクタは、ゲームのＡＩ（人工知能）のキャラクタであって良く、別の１人または複数人のユーザ（Ｐｎ）によって制御されて良い。ＨＭＤ１０２を装着しているユーザ１００は、使用空間において動きまわって示され、ＨＭＤは、ユーザの頭の動き及び体の位置に基づいて動きまわり得る。カメラ１０８は、部屋の表示スクリーン上に配置されて示されるが、ＨＭＤ１０２の使用において、カメラ１０８はＨＭＤ１０２の画像をキャプチャし得る任意の位置に配置されても良い。このように、ユーザ１００は、カメラ１０８及びディスプレイ１０７からおよそ９０度回転されて示され、ＨＭＤ１０２においてレンダリングされるコンテンツは、カメラ１０８の視点からＨＭＤ１０２が配置された方向に依存して良い。当然のことながら、ＨＭＤ１０２の使用中、ユーザ１００は、ＨＭＤによってレンダリングされた動的な仮想シーンを利用するのに必要とされ得るとおりに動きまわり、彼の頭を回転させ、様々な方向を見る。

図４は、開示された実施形態による、使用中にＨＭＤ１０２を装着すユーザを示す。この実例において、カメラ１０８がＨＭＤ１０２配置を追跡する追跡処理における外側を使用してＨＭＤ１０２が追跡される４０２ことが示される。カメラ１０８は、カメラ１０８によってキャプチャされた映像フレームから得られる画像データを使用してＨＭＤ１０２の配置を追跡する。他の実施形態において、追跡は、さらに、または代替的に、ＨＭＤ自体からの慣性データを利用できる。様々な実施形態において、ユーザの頭／ＨＭＤの追跡は画像追跡及び慣性追跡から得られる融合されたデータを含むことができる。さらに、カメラ１０８によってキャプチャされた映像フレームから得られる画像データを使用してコントローラが追跡されて良い４０４ことが示される。さらに示されるのは、ＨＭＤ１０２がケーブル４０６を介してコンピューティングシステム１０６に接続される構成である。一実施形態において、ＨＭＤ１０２は、同じケーブルから電力を得、または別のケーブルに接続しても良い。さらに別の実施形態において、ＨＭＤ１０２は、余分な電力コードを不要とするように、再充電可能なバッテリーを有して良い。さらに別の実施形態において、ユーザの手は、グローブにより、またはグローブなしで追跡され得る。

図５は、開示された実施形態による、インサイドアウト追跡処理における使用中にＨＭＤ１０２を装着するユーザを示す。インサイドアウト追跡処理において、ＨＭＤ１０２の配置は、ＨＭＤ１０２の１つまたは複数のカメラ２０２Ａ、２０２Ｂによってキャプチャされた映像フレームから得られた画像データを使用して追跡される。

ＨＭＤ１０２の正確な追跡動作は、ユーザが仮想環境とインタラクトしながらユーザが動き、回転しまたはＨＭＤを一方向または別の方向に傾けるときにユーザが実質的にシームレスな方法で、仮想環境における仮想シーンの間の移行を体験するように、コンピュータ１０６がＨＭＤに対する好適な付加的仮想環境を予測し、レンダリングするのを可能とする。ＨＭＤ１０２の動作が正確に検出されず、または十分に速い場合、レンダリングされた仮想環境は、ユーザにとって遅延して、不明確に、ぎこちなく、またはその他一貫性なく感じられ得る。

一実施形態において、コンピュータ１０６は、ユーザの周りの全ての方向における全ての仮想環境をレンダリングし得る。しかしながら、全ての方向における仮想環境全体のレンダリングは、相当なコンピューティングパワー及びメモリ資源を要求する。実施形態によっては、全ての方向における完全な空間３６０度があらかじめレンダリングされる。しかしながら、全ての方向における動的なコンテンツ、またはシーンに出入りする付加的なコンテンツは、リアルタイムの計算を必要とし得る。実施形態によっては、ユーザが全ての方向における仮想環境を視認できるように、仮想環境があらかじめレンダリングされる。しかしながら、コンテンツによっては、他の動くキャラクタ、オブジェクト、動くアイコン、テキストまたは、場所から場所へと、または部屋から部屋へとユーザが動くときのような仮想環境の拡張部のように、動的に付加されることを必要とし得る。他の実施形態において、仮想環境を可能な限り少なくしつつも、ユーザが仮想環境を通して回転し、動くときにユーザに対してシームレスな体験を呈するようにレンダリングされなければならない十分な仮想環境をコンピュータ１０６がレンダリングすることがより効率的且つ迅速であり得る。このレンダリングは、ユーザが視認する場所に基づくリアルタイムレンダリングであり得る。ＨＭＤ１０２の動作の正確な検出は、コンピュータ１０６に、付加的な仮想環境を決定し、付加的な仮想環境をレンダリングし、ユーザが動き、または回転するときにＨＭＤにおいてユーザの手の動作に対応する仮想環境を見ることができるように、付加的な環境を提供することを可能とする。

上述のように、ＨＭＤ１０２の配置及び動作は、固定されたカメラ１０８からの画像データ、ＨＭＤにおけるカメラ２０２Ａ、２０２Ｂからの画像データ、及びＨＭＤに含まれる１つまたは複数の慣性センサ２２４及びこれらの組み合わせを使用してコンピュータ１０６によって追跡され得る。ＨＭＤ１０２の動作、位置及び姿勢の正確な特定は、コンピュータ１０６が、仮想環境のそれらの付加的な部分を見るユーザの動作及び回転に対応し、必要に応じて付加的な仮想環境を正確に予測し、レンダリングするのを可能とする。実施形態によっては、付加的なコンテンツは、ユーザが予測された方向に彼の頭を回転させる予測された見通しによりレンダリングされ、バッファされ得る。

図６は、開示された実施形態による、ユーザがＨＭＤ１０２を使用する実空間の部屋を示す。１つまたは複数の固定された放出器６０８は、実空間の部屋の壁６０２、６０４、床６０６、天井（図示せず）及び家具５０４〜５１０及び窓５１２、５１４、ドア５１６、テレビ５０２等のような他の特徴部に複数の固定点を投影できる光源であり得る。固定点は、投影されたグリッド６０９の選択された交差部であり得る。放出器は、可視及び不可視な（たとえば、赤外線、紫外線）スペクトルレーザーを放出可能なレーザー放出器であり得る。実施形態によっては、放出器は人の目を傷つけるのを避けるためにフィルタを有することができる。これに代えて、固定点は、投影された点、形状、象徴、バーコード及びクイックリアクションコードのようなコードであり得る。複数の放出器が複数の光出力を生成するように同期され得る。複数の光出力のそれぞれは、変調され、あるいは独自に符号化され得る。例として、複数の光出力のそれぞれは、時間及び周波数領域において変調され得るものであり、これは、それぞれの投影された点が独自に符号化されるのを可能とし得る。一実施形態において、放出器は、２つまたはそれ以上の放出器を含むことができ、ＨＭＤが動く実空間を覆うようにレーザー光を放出可能である。ＨＭＤ及びまたはストラップにおけるセンサは、実空間の部屋における１つまたは複数の表面から反射された放出器からの光をキャプチャし、反射された光を受信するように起動されまたは検出されるセンサが実空間におけるＨＭＤの位置、姿勢及び動作を計算するために使用される。

カメラ１０８は、グリッドパターンにおける固定点を認識し、交差点またはグリッドパターン内の他の特定の点を識別することができる。当然のことながら、光源６０８が人間に可視なスペクトルまたはマイクロ波、紫外線、赤外線または電磁スペクトルの他の部分のような人間に不可視な部分で、グリッドパターン６０９を投影できることに留意されたい。

グリッドパターンは、ＨＭＤ１０２の使用中連続的に投影され得る。なお、グリッドパターン６０９は、ＨＭＤ１０２の使用の開始において及び／またはＨＭＤの使用中間欠的に生じ得る位置及び姿勢または較正処理の間等にコンピュータ１０６が実空間の部屋をマッピングするのを可能とするように、一時的または周期的に投影され得る。

別の実施態様において、複数の点のそれぞれが一期間に投影され得る、複数の時系列の光投影。例として、複数の点の第１のものは、第１の期間に投影され得るものであり、次いで複数の点の第２のものは、第２の期間に投影され得るものであり、同様に複数の点の次のものは、対応する時間に投影される。同様に、複数の点の第１のサブセットは、第１の期間に投影され得るものであり、次いで複数の点の第２のサブセットは、第２の期間に投影され得る。サブセットは、分離し、個別であり得るものであり、あるいは１つまたは複数のサブセットにおいて共有される投影された点と重なっても良い。さらに別の実施態様において、複数の点のそれぞれの投影は、時間多重されたオン／オフシーケンスで符号化され得る。オン／オフ照明のこれらの変化は、投影された点から反射された光をキャプチャするのに使用されるセンサの形式に応じた高周波（ｋＨｚまたはそれ以上）で生じ得る。

当然のことながら、グリッドパターン６０９は、それぞれのグリッド線の間の選択された距離を有する矩形グリットとして示される。矩形グリッドパターンは、単に例示的なものであり、三角形、または多角形、または台形、または他の形状または球状パターン及びこれらの組み合わせのような任意の適したパターンがグリッド６０９に使用され得る。実空間の部屋における投影された点は、定期的に、周期的に離間されることを要求されず、知られたまたはコンピュータ１０６によって決定され得る不規則な間隔で不規則に離間され得るものである。

グリッドパターン６０９は、コンピュータ１０６が、ＨＭＤが動かされるとき、及びＨＭＤの位置及び姿勢が変化するときにグリッドパターンにおいて選択された固定点Ａ〜Ｈから反射された対応する角度の光を比較することによって、ＨＭＤの正確なまたはおよその位置及び姿勢または動作を決定するように、固定されたカメラ１０８、ＨＭＤ１０２における、カメラ２０２Ａ、２０２Ｂ、及び／またはＰＳＤのような他のセンサからの画像データを分析するのを可能とする。

一実施形態において、コンピュータ１０６は、実空間の部屋における、１つまたは複数の窓５１２、５１４の角部Ａ’〜Ｅ’、または一組の家具５０４〜５１０の線の交差部または固定オブジェクト５０２、５１６における他の選択された物理的線のような実空間の部屋の物理的オブジェクトにおける選択された物理的点Ａ’〜Ｈ’の相対位置を決定するために、固定されたカメラ１０８、及びカメラ２０２Ａ、２０２Ｂ及びＨＭＤ１０２及び／またはＨＭＤのストラップ２１０に取り付けられ得るフォトダイオード及びフォトセンサのような他のセンサからの画像データを使用することができる。計算された点Ａ’〜Ｈ’は、ＨＭＤ１０２の正確な位置及び姿勢または動作を決定するために使用され得る。

図７Ａは、開示された実施形態による、ユーザがＨＭＤ１０２を使用する実空間の部屋を示す。図７Ｂは、開示された実施形態による、２つの異なる位置におけるＨＭＤ１０２の概略図であり、ＨＭＤの配置を特定するためにベクトルが使用される。ＨＭＤ１０２に取り付けられた１つまたは複数のカメラ２０２Ａ、２０２ｂは、ステレオカメラであり得るが、類似する技術が複数のＰＳＤセンサに使用され得る。ステレオカメラ２０２Ａ、２０２Ｂは、中心視野ベクトルＣＶが通過する光学的中心を含み得る。中心視野ベクトルＣＶは、較正及びピクセル及び角偏向の間の関係によって決定され得る。

ステレオカメラ２０２Ａ、２０２Ｂは、立体視を用いる点Ｋのような選択された光スポットまでの距離（たとえば、長さＡＫ）を決定し得る。中心ベクトルＣＶに対するピクセル位置は、立体視によって計測される、長さＡＫ及びＡＦのような、カメラと選択された点との間の距離を付加し、基準フレームに対する点位置を提供する。

時刻ｔ１において、ＨＭＤ１０２は第１の配置／方向Ａにある。点Ｋ及びＦのような少なくとも２つのラベル付与された光の点は、ステレオカメラ２０２Ａ、２０２Ｂの視界にある。２つの点Ｋ及びＦの間の中心視野ベクトルＣＶｔ１は、時刻ｔ１においてカメラの基準フレームにおいて決定され得る。

時刻ｔ２において、ＨＭＤ１０２は新たな配置／方向Ｂに動かされる。同じ２つの選択された光の点Ｋ及びＦは、配置／方向Ｂからのステレオカメラ２０２Ａ、２０２Ｂの視界にある。光の点Ｋ及びＦの間の中心視野ベクトルＣＶｔ２は、時刻ｔ２においてカメラの基準フレームにおいて決定され得る。

時刻ｔ１において、ＨＭＤ１０２は、配置／方向Ａであり、主軸としてのカメラの中心視野ベクトルＣＶｔ１である。選択された点Ｋの位置は、距離ＡＫ×（ピクセル角度θ１のｓｉｎ／ｃｏｓ）によって与えられる。

配置／方向Ａは、配置／方向Ａに対して配置／方向Ｂを特定するための原点として指定され得る。

中心視野ベクトルＣＶｔ１及びＣＶｔ２は、点Ｑにおいて交差する。中心視野ベクトルＣＶｔ１とＣＶｔ２との間のＨＭＤ１０２の角度方向変化αが決定され得る。角度方向変化αは、角度θ１、θ２、ω１、ω２及びαを使用して点Ｋ及びＦの以下の三角法の関係を用いて決定され得る。
Bx=(AKsinθ1)/BK(sinα*cosω1+cosα*sinω1)
By=(AKcosθ1)/BK(cosα*cosω1-sinα*sinω1)
ここでＡＫは時刻ｔ１及び点Ｋの位置／方向ＡにおけるＨＭＤ１０２の間の長さである。ＢＫは時間ｔ２及び点Ｋの位置／方向ＢにおけるＨＭＤ１０２の間の長さである。ＢｘはＸ座標であり、ＢｙはＹ座標であり、それぞれ時間ｔ１の位置／方向Ａに対する時間ｔ２の位置／方向ＢにおけるＨＭＤ１０２のＸ座標、Ｙ座標である。

上述の計算は、配置／方向Ｂに対する位置／方向ＡにおけるＨＭＤの配置／方向を決定するためにさらに適用され得る。両方の計算は、ＨＭＤのより正確な配置／方向を提供し得る。

別の実施態様において、２より多い点が選択され得る。例として、点Ｋ、Ｆ及びＬは、位置／方向Ａ及びＢ並びにそれぞれの時間ｔ１及びｔ２から分析され得る。３より多い点も選択され得る。選択される点の数は、選択可能な点の数及び対応する計算を実行するのに要する処理時間によってのみ制限される。２より多い点の使用は、ＨＭＤの配置／方向の決定の精度を向上することもできる。ＨＭＤの配置／方向は、計算にさらなる精度を付加するために加速度計データを使用することもできる。

一実施態様において、点を独自に識別するために時系列の符号化が使用され得る。上述の技術は、順次的に選択される点の時間差を支持するように変更され得る。上述の処理を使用すると、光の点のような特徴のモデルが経時的に形成され、次いでセンサ２０２Ａ、Ｂが検出可能なそれぞれのフレームに対して、アルゴリズムは、以前の計測及び計算からのもっともらしい変化に基づいてモデルに対する最適マッチングを試行する。

図８は、開示された実施形態による、ＨＭＤ１０２の動作、位置及び姿勢を追跡するシステム８５０の簡易化された概略図である。システム８５０は、クラウドネットワーク１１０及びクラウドゲームプロバイダ１１２及びコンテンツソース１２０に結合されたゲームコンソール１０６を含む。さらにゲームコンソール１０６は、ヘッドマウントディスプレイ１０２、ユーザ入力デバイス８１２（たとえば、手袋、コントローラ、動作コントローラ、慣性センサ、光コントローラ、磁性コントローラ等）のような他の周辺機器に結合される。

ゲームコンソール１０６は、コンテンツ選択モジュール８１６、入力デバイスインタフェース８１４、ＶＲ空間生成モジュール８１８及びＨＭＤ動作モジュール８２０を含む。コンテンツ選択モジュール８１６は、コンテンツインタフェース８１７及び仮想現実コンテンツ選択モジュール８１０を含む。

動作中、コンテンツインタフェース８１７は、仮想現実コンテンツを様々なコンテンツソース１２０から受信する。コンテンツ選択モジュール８１０は、入力デバイスインタフェース８１４及びＨＭＤ動作モジュール８２０を通して様々な入力デバイスから受信された入力によって、仮想現実コンテンツの適した部分をコンテンツインタフェース８１７から選択する。例として、ユーザがＨＭＤを左の方向に回転させるとき、ＨＭＤ動作モジュール８２０はＨＭＤにおける１つまたは複数のセンサから、及び／またはＨＭＤの外部にＨＭＤに向かって取り付けられた、左を向くＨＭＤの動作を検出するカメラから入力を受信し、ＶＲコンテンツ選択モジュール８１０に左回転データを提供する。ＶＲコンテンツ選択モジュール８１０は、コンテンツインタフェース８１７において対応するＶＲコンテンツを選択する。コンテンツインタフェース８１７は、選択されたＶＲコンテンツをＶＲ空間生成モジュール８１８に出力する。ＶＲ空間生成モジュール８１８は、上の図８Ａで示されるようなＨＭＤ１０２に示される仮想環境または空間を生成する。

図９は、開示された実施形態による、コンテンツソース１２０の簡易化された概略図である。コンテンツソース１２０は、ＶＲコンテンツライブラリ９２０を含む複数のモジュールを含む。複数のコンテンツ空間９２２Ａ〜ｎは、ＶＲコンテンツライブラリ９２０内に含まれる。ＶＲコンテンツ９２６は、ＨＭＤ１０２において表示される仮想空間を画定するためにＶＲコンテンツ選択モジュール８１０によって必要とされるデータを提供する。オブジェクト空間マッピングモジュール８２８は、仮想空間に表示される様々な仮想オブジェクトの配置を画定する。

オブジェクト３Ｄ空間構成モジュール９３０は、表示されたオブジェクトの３Ｄ特徴を提供する。これらの３Ｄ特徴は、表示されるオブジェクトの重さ、形状、テクスチャ及び色含むことができる。

オブジェクト音声プロフィール９３２は、表示される仮想オブジェクト及び仮想空間に対応する音声を提供する。たとえば、風が木の葉を擦れさせる音声、遠隔の雷、及び動物の音声がＨＭＤに表示される仮想空間において存在する。オブジェクト物理プロフィール９３４は、仮想空間において表示される様々なオブジェクトの物理的動作及びテクスチャ特性を提供する。オブジェクトの動作、テクスチャ、音声、位置及び姿勢及び配置のそれぞれは、仮想空間内で再生され、ＨＭＤ１０２において表示されるＶＲ空間におけるオブジェクトを生成するためにＶＲコンテンツ選択モジュール８１０及びＶＲ空間生成モジュールによって使用される。

図１０は、開示された実施形態による、ＨＭＤ１０２の追跡動作において実行される方法動作１０００を示すフローチャート図である。動作１００５において、ＨＭＤ１０２を通して仮想空間をユーザに提供する。仮想空間内に存在する様々な仮想オブジェクトも、ユーザに表示される。動作１０１０において、ＨＭＤを実空間において動かす。例として、ユーザは、左または右にＨＭＤを回転させることができる。

動作１０１５において、ゲームコンソール１０６は、ＨＭＤの動作に対応する付加的な仮想環境を提供する。これは、ユーザが仮想環境内で回転及び動くときにユーザに対して仮想環境が提供されたときにユーザに滑らかなスキャン感覚を提供する。一実施形態において、ユーザにとっての知覚は、まるで彼の周りの仮想空間が完全にレンダリングされたかのようである。

図１１は、開示された実施形態による、ＨＭＤ１０２の追跡動作において実行される方法動作１１００を示すより詳細なフローチャート図である。動作１１０５において、実空間をマッピングする。実空間は、部屋、またはＨＭＤ１０２が使用される他の空間である。実空間は、図６Ａ及び６Ｂにおいて説明されるような実空間の表面における複数の固定点を識別することによってマッピングされる。

動作１１１０において、ＨＭＤの最初の位置及び姿勢を特定する。ＨＭＤの最初の位置及び姿勢は、実空間において選択された固定点に対して決定される。ＨＭＤの最初の位置及び姿勢は、動作１１１５においてゲームコンソール１０６に提供される。ＨＭＤの最初の位置及び姿勢は、取り付けられたカメラまたは慣性センサ、またはＨＭＤに取り付けられた光検出器及びフォトダイオードのような他のセンサによってキャプチャされた１つまたは複数の画像を含む。

動作１１２０において、仮想環境をユーザに提供する。仮想環境は、ＨＭＤ１０２を通して示されて良い。ＨＭＤ１０２を通して示される仮想環境は、ＨＭＤの最初の位置及び姿勢に対応する。

動作１１２５において、ＨＭＤ１０２を、実空間においてユーザの回転または傾きまたは前方ステップもしくは後方ステップのように実空間に対して動かす。動作１１３０において、ＨＭＤの動作を検出する。ＨＭＤの動作は、ＨＭＤが動かされるときの１つまたは複数の画像のキャプチャを含むインサイドアウト処理を含む１つまたは複数の処理によって検出され得る。画像は、ＨＭＤに統合されたカメラによってキャプチャされ得る。

動作１１３５において、ＨＭＤの検出された動作を、ＨＭＤ動作モジュールへと送信する。ＨＭＤ動作モジュール８２０は、動作１１４０においてＶＲ空間生成モジュール８１８に出力されるＨＭＤ動作変化データを決定するために、先にキャプチャされた画像と少なくとも１つのあらかじめキャプチャされた画像との間の差を決定する。

動作１１４５において、ＶＲ空間生成モジュールは、ＨＭＤにおいてレンダリングされて提供される付加的な仮想環境を識別し、識別された付加的な仮想環境をコンテンツ選択モジュール８１６においてコンテンツインタフェース８１７に出力する。動作１１５０において、コンテンツ選択モジュール８１６は、付加的な仮想環境をレンダリングし、動作１１５５において、レンダリングされた付加的な仮想環境をＨＭＤに提供する。例として、ＨＭＤが回転されまたは動かされるとき、実空間におけるＨＭＤの動作が仮想環境におけるＨＭＤの動作に滑らかに対応するように、付加的な仮想環境がＨＭＤディスプレイに提供される。

ＨＭＤの動作の連続的な動作は、上述した動作１１２５〜１１５５で継続する。方法動作は、ＨＭＤが実空間において動作しなくなると終了し得る。

図１２を参照すると、開示された実施形態による、ヘッドマウントディスプレイ１０２の例示的構成要素を示す概略図が示される。当然のことながら、程度の差はあるが、構成要素は可能とされる構成及び機能によってＨＭＤ１０２から含まれまたは省かれて良いことが理解される。ヘッドマウントディスプレイ１０２は、プログラム指令を実行するためのプロセッサ２０００を含んで良い。メモリ２００２は、記憶装置の目的のために提供され、揮発性及び不揮発性メモリの両方を含んで良い。ディスプレイ２００４が含まれ、これはユーザが視認し得る視覚的なインタフェースを提供する。

ディスプレイ２００４は、単一のディスプレイまたはそれぞれの目のための分離した形式の表示スクリーンによって定義されて良い。２つの表示スクリーンが提供されるとき、左目映像コンテンツと右目映像コンテンツとを別々に提供することが可能となる。それぞれの目に対する映像コンテンツの分離した提示は、たとえば、３次元（３Ｄ）コンテンツのより好適な没入制御を提供して良い。上述のように、一実施形態において、第２のスクリーン１０７は一方の目のための出力を使用することによってＨＭＤ１０２の第２のスクリーンコンテンツを有し、次いで２Ｄ形式の表示のためにコンテンツをフォーマットする。一方の目は、一実施形態において、左目映像供給であって良いが、他の実施形態において、右目映像供給であって良い。

バッテリー２００６は、ヘッドマウントディスプレイ１０２の電源として提供されて良い。他の実施形態において、電源は、電源供給する出力接続部を含んで良い。他の実施形態において、電源供給する出力接続部及びバッテリー２００６が提供されて良い。動作検出モジュール２００８は、磁力計２０１０、加速度計２０１２、及びジャイロスコープ２０１４のような、任意の様々な種類の動作を検知するハードウェアを含んで良い。

加速度計２０１２は、誘発される反作用の力の加速度及び重力を計測するためのデバイスである。単一及び複数の軸（たとえば、６軸）モデルは異なる方向における加速度の力及び方向を検出可能である。加速度は、傾き、振動、及び衝撃を検知するために使用される。一実施形態において、重力の方向を提供するために３つの加速度計２０１２が使用され、２つの角度のための絶対的基準を付与する（世界空間ピッチ及びワールド空間ロール）。

磁力計２０１０は、ヘッドマウントディスプレイ近傍における磁場の強さ及び方向を計測する。一実施形態において、ヘッドマウントディスプレイ内の３つの磁力計２０１０が使用され、世界空間ヨー角の絶対的基準を確保する。一実施形態において、磁力計は、地磁場を広げるように設計され、これは±８０マイクロテスラである。磁力計は、金属によって影響され、実際のヨーに対して単調なヨー計測を提供する。磁場は、環境における金属によって歪み得るものであり、ヨー計測において歪みを生じさせる。必要な場合、この歪みは、ジャイロスコープまたはカメラのような他のセンサからの情報を用いて較正されて良い。一実施形態において、加速度計２０１２は、ヘッドマウントディスプレイ１０２の傾き及び方位角を得るために磁力計２０１０と共に使用される。

ジャイロスコープ２０１４は、角運動量の原理に基づいて位置及び姿勢を計測または維持するためのデバイスである。一実施形態において、３つのジャイロスコープ２０１４が慣性検知に基づいてそれぞれの軸線（ｘ、ｙ及びｚ）に亘る動作についての情報を提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対的基準がないと経時的にドリフトする。これは、周期的にジャイロスコープのリセットを必要とし、オブジェクト、加速度計、磁力計等の視覚的な追跡に基づいた位置及び姿勢の特定のような他の入手可能な情報を用いてなされて良い。

カメラ２０１６は、実環境の画像及び画像ストリームのキャプチャのために提供される。後方に面する（ユーザがＨＭＤ１０２のディスプレイを見るときにユーザから離れる方に方向付けられた）カメラ、及び前部に面する（ユーザがＨＭＤ１０２のディスプレイを見るときにユーザに向かって方向付けられた）カメラを含む、１つより多いカメラ（付加的に）がＨＭＤ１０２に含まれて良い。さらに、実環境におけるオブジェクトのデプス情報を検知するためにデプスカメラ２０１８がＨＭＤ１０２に含まれて良い。

ＨＭＤ１０２は音声出力を提供するためのスピーカー２０２０を含む。さらに、周囲環境からの音、ユーザによってなされるスピーチ等を含む音声を実環境からキャプチャするためのマイク２０２２が含まれて良い。ＨＭＤ１０２は、触覚フィードバックをユーザに提供するための触覚フィードバックモジュール２０２４を含む。一実施形態において、触覚フィードバックモジュール２０２４は、触覚フィードバックをユーザに提供するようにＨＭＤ１０２の動作及び／または振動を生じさせることができる。

ＬＥＤ２０２６は、ヘッドマウントディスプレイ１０２の状態の視覚的な指示として提供される。たとえば、ＬＥＤは、バッテリーレベル、電力オン等を示して良い。カードリーダー２０２８は、ヘッドマウントディスプレイ１０２が情報をメモリカードに、及びメモリカードから読み書きするのを可能とするように提供される。ＵＳＢインタフェース２０３０は、ハンドヘルド周辺機器の接続または他の携帯可能なデバイス、コンピュータ等のような他のデバイスとの接続を可能とするための、インタフェースの１つの例示として、含まれる。ＨＭＤ１０２の様々な実施形態において、ＨＭＤ１０２のより好適な接続性を可能とするように任意の様々な種類のインタフェースが含まれて良い。

ＷｉＦｉモジュール２０３２は、無線ネットワーク技術を介してインターネットへの接続を可能とするように含まれて良い。さらに、ＨＭＤ１０２は他のデバイスとの無線接続を可能とするためにＢｌｕｅｔｏｏｔｈ（登録商標）モジュール２０３４を含んで良い。他のデバイスとの接続のための通信リンク２０３６が含まれてもよい。一実施形態において、通信リンク２０３６は、無線通信のための赤外線送信を利用する。他の実施形態において、通信リンク２０３６は、他のデバイスとの通信のため、任意の様々な無線または有線伝送プロトコルを利用して良い。

入力ボタン／センサ２０３８は、ユーザのための入力インタフェースを提供するために含まれる。ボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール等のような、任意の様々な種類の入力インタフェースが含まれて良い。超音波技術を介して他のデバイスとの通信を容易とするために、超音波通信モジュール２０４０がＨＭＤ１０２において含まれて良い。

バイオセンサ２０４２は、ユーザからの生理学的データの検出を可能とするために含まれる。一実施形態において、バイオセンサ２０４２は、ユーザ／プロフィール等を識別するため、ユーザの肌、音声検出、目の網膜検出を通してユーザのバイオ電気信号を検出するために１つまたは複数の乾式電極を含んで良い。

ＨＭＤ１０２の前述の構成要素は、ＨＭＤ１０２に含まれ得る単なる例示的構成要素として説明されてきた。本発明に係る様々な実施形態において、ＨＭＤ１０２は、様々な前述の構成要素のいくつかを含み、または含まなくても良い。本明細書に記載の本発明に係る態様を容易化する目的のため、ＨＭＤ１０２の実施形態は、本明細書において説明していないが技術的に知られた他の構成要素を付加的に含んで良い。

本発明に係る様々な実施形態において、前述のハンドヘルドデバイスは、様々なインタラクティブな機能を提供するためにディスプレイにおいて表示されたインタラクティブな用途と共に使用されて良いことが当業者によって理解される。本明細書に記載の例示的実施形態は、例示的にのみ提供され、限定的なものではない。

一実施形態において、本明細書において説明されたようなクライアント及び／またはクライアントデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、及び／またはハンドヘルドゲームプレイデバイス等を含んで良い。概して、クライアントは、符号化された映像ストリーム、ビデオストリームを復号し、結果の映像をユーザ、たとえば、ゲームのプレイヤに提供するように構成される。映像ストリームを符号化する処理及び／または映像ストリームを復号化する処理は、概してクライアントの受信バッファにおける個々の映像フレームの保存を含む。映像ストリームは、モニタまたはテレビのようなクライアントと一体のまたは分離したデバイスにおけるディスプレイにおいてユーザに提供されて良い。

クライアントは、任意に、１より多いゲームプレイヤをサポートするように構成される。たとえば、ゲームコンソールは、２、３、４またはそれ以上の同時ユーザ（たとえば、Ｐ１、Ｐ２、、、Ｐｎ）をサポートするように構成されて良い。これらのユーザのそれぞれは、映像ストリームを受信しまたは共有して良く、または１つの映像ストリームが特に各プレイヤのために生成される、たとえばそれぞれのユーザの視点に基づいて生成されるフレームの領域を含んでも良い。任意の数のクライアントが近位に（たとえば、共に配置され）、または地理的に分散されても良い。ゲームシステムに含まれるクライアントの数は、１または２から数千、数万、またはそれ以上まで大幅に変化して良い。本明細書において使用されるように、「ゲームプレイヤ（ｇａｍｅ ｐｌａｙｅｒ）」または「ユーザ（ｕｓｅｒ）」という語は、ゲームをプレイする人を称するように使用され、「ゲームプレイングデバイス（ｇａｍｅ ｐｌａｙｉｎｇ ｄｅｖｉｃｅ）」という語は、ゲームをプレイするために使用されるデバイスを称するように使用される。実施形態によっては、ゲームプレイングデバイスは、ユーザにゲーム体験を伝えるために協働する複数のコンピューティングデバイスを称して良い。

たとえばゲームコンソール及びＨＭＤは、ＨＭＤを通して見られるゲームを伝えるために映像サーバシステムと協働して良い。一実施形態において、ゲームコンソールは、映像サーバシステムから映像ストリームを受信し、ゲームコンソールは、映像ストリームを進め、またはレンダリングのためにＨＭＤ及び／またはテレビに対する映像ストリームへと更新する。

さらに、ＨＭＤは、ビデオゲームコンテンツ、映画コンテンツ、映像クリップコンテンツ、ウェブコンテンツ、広告コンテンツ、コンテストコンテンツ、ギャンボルゲームコンテンツ、会議電話／ミーティングコンテンツ、ソーシャルメディアコンテンツ（たとえば、投稿、メッセージ配信、メディアストリーム配信、友人イベント及び／またはゲームプレイ）、映像部分及び／または音声コンテンツ、及びブラウザ及びアプリを介したインターネット上のソースからの消費のために作られたコンテンツ、及び任意の形式のストリーム配信コンテンツといった生成されまたは使用される任意の形式のコンテンツを視認し、及び／またはインタラクトするために使用されて良い。当然のことながら、前述のコンテンツは、ＨＭＤにおいて見られ、またはスクリーンまたはＨＭＤのスクリーンにレンダリングされ得る限り、レンダリングされ得るいかなる形式のコンテンツとしても限定するものではない。

クライアントは、必須ではないが、さらに受信された映像を変更するように構成されたシステムを含んで良い。たとえば、クライアントは、映像イメージを切り取る等するために、１つの映像イメージを別の映像イメージに重ねるためにさらなるレンダリングを実行するように構成されて良い。たとえば、クライアントは、Ｉフレーム、Ｐフレーム、及びＢフレームのような様々な形式の映像フレームを受信し、これらのフレームをユーザに対する表示のための画像へと処理するように構成されて良い。実施形態によっては、クライアントのメンバーは、さらに映像ストリームにおいてレンダリング、共有、３Ｄへの変更、２Ｄへの変更、歪み除去、サイジングまたは同等の操作を実行するように構成される。クライアントのメンバーは、任意に１より多い音声または映像ストリームを受信するように構成される。

クライアントの入力デバイスは、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、注視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または配置検知デバイス、マウス、タッチスクリーン、神経インタフェース、カメラ、及び／または今後開発される入力デバイス等を含んで良い。

映像ソースは、たとえば、ハードウェア、ファームウェア、及び／または記憶装置のようなコンピュータ可読媒体に保存されたソフトウェアといったレンダリングロジックを含んで良い。このレンダリングロジックは、ゲーム状態に基づいて映像ストリームの映像フレームを形成するように構成される。レンダリングロジックの全てまたは部分は、任意に１つまたは複数のグラフィックプロセッシングユニット（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいてオブジェクト間の３次元空間関係を決定し、及び／または適したテクスチャ等を適用するように構成された処理段階を概して含む。レンダリングロジックは、符号化される生の映像を生成して良い。たとえば、生の映像は、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）ｓｔａｎｄａｒｄ、ＨＴＭＬ−５、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、またはｍｐ３等によって符号化されて良い。符号化処理は、デバイスにおいてデコーダへの送信のため任意にパッケージ化される映像ストリームを生成する。映像ストリームは、フレームサイズ及びフレームレートによって特徴付けられる。通常のフレームサイズは、８００×６００、１２８０×７２０（たとえば、７２０ｐ）、１０２４×７６８、１０８０ｐを含むが、任意の他のフレームサイズが使用されても良い。フレームレートは毎秒のビデオフレームの数である。映像ストリームは、異なる形式の映像フレームを含んで良い。たとえば、Ｈ．２６４標準は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｐフレームがそのサブセットをリフレッシュするための情報を含む一方で、Ｉフレームは、ディスプレイデバイスにおける全てのマクロブロック／ピクセルをリフレッシュするための情報を含む。Ｐフレームは、概してＩフレームのデータサイズより小さい。本明細書において使用されるように、「フレームサイズ（ｆｒａｍｅ ｓｉｚｅ）」という語は、フレーム内のピクセルの数を意味する。「フレームデータサイズ（ｆｒａｍｅ ｄａｔａ ｓｉｚｅ）」とうい語は、フレームを保存するのに要求されるバイト数を称するように使用される。

実施形態によっては、クライアントは、汎用コンピュータ、特定用途コンピュータ、ゲームコンソール、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、モバイルコンピューティングデバイス、携帯可能なゲームデバイス、携帯電話、セットトップボックス、ストリーム配信メディアインタフェース／デバイス、スマートテレビまたはネットワーク化されたディスプレイまたは上述したようなクライアントの機能を満たすように構成可能な任意の他のコンピューティングデバイスであって良い。一実施形態において、クラウドゲームサーバは、ユーザによって利用されるクライアントデバイスの形式を検出し、ユーザのクライアントデバイスに適したクラウドゲーム体験を提供するように構成される。たとえば、画像設定、音声設定及び他の形式の設定がユーザのクライアントデバイスのために最適化されて良い。

図１３は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）２１７０は、複数の情報サービスを地理的に分散されてネットワーク２１５０を介して接続されたユーザ２１８２に送信する。ＩＳＰは、ストック価格更新といった単一の形式のサービス、またはブロードキャストメディア、ニュース、スポーツ、ゲーム等といった様々なサービスを送信して良い。付加的に、それぞれのＩＳＰによって提供されるサービスは、動的であり、すなわち、サービスは、任意の時点で付加されまたは取り除かれて良い。したがって、特定の個人に対して特定の形式のサービスを提供するＩＳＰは、経時的に変化し得る。たとえば、ユーザは、ユーザが彼の地元にいる間、ユーザの近傍のＩＳＰによってサービスを受けて良く、ユーザが異なる街に旅行するとき、ユーザは、異なるＩＳＰによってサービスを受けても良い。地元のＩＳＰは、ユーザ情報がデータをユーザに近づけてアクセスをより容易として、新しい街へユーザを「フォローする」ように、要求された情報及びデータを新しいＩＳＰに送る。別の実施形態において、マスタサーバ関係がユーザのための情報を管理するマスタＩＳＰとマスタＩＳＰからの制御によりユーザと直接やりとりするサーバＩＳＰとの間で確立されて良い。別の実施形態において、ユーザにサービスを提供するのにより良い位置にあるＩＳＰをこれらのサービスを運ぶ者とするため、世界中をクライアントが移動するときに、データは、１つのＩＳＰから別のＩＳＰへと送信される。

ＩＳＰ２１７０は、ネットワーク上の顧客にコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）２１０６を含む。ＡＳＰモデルを使用して提供されるソフトウェアは、オンデマンドソフトウェアまたはソフトウェアアズアサービス（ＳａａＳ）と称されることもある。特定のアプリケーションプログラム（顧客関係管理のような）へのアクセスの提供の簡易な形式は、ＨＴＴＰのような標準プロトコルによるものである。アプリケーションソフトウェアは、ベンダーのシステムに常駐し、ベンダーによって提供される特定用途のクライアントソフトウェア、またはシンクライアントのような他のリモートインタフェースによって、ＨＴＭＬを用いてウェブブラウザを通してユーザによってアクセスされる。

広域の地理領域に亘って配信されるサービスは、クラウドコンピューティングを用いることが多い。クラウドコンピューティングは、動的にスケール調整可能で仮想化されることの多いリソースがインターネット上のサービスとして提供されるコンピューティングの形態である。ユーザは、彼らをサポートする「クラウド」におけるインフラの技術における専門家になる必要がない。クラウドコンピューティングは、インフラアズアサービス（ＩａａＳ）、プラットフォームアズアサービス（ＰａａＳ）、及びソフトウェアアズアサービス（ＳａａＳ）のような異なるサービスにおいて配信されて良い。クラウドコンピューティングサービスは、ソフトウェア及びデータがサーバ上に保存されながら、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供することが多い。クラウドという語は、インターネットがどのようにコンピュータネットワーク図において示されるかに基づいて（たとえば、サーバ記憶装置及びロジックを使用する）インターネットのためのたとえとして使用され、それが包含する複雑なインフラのための抽象的概念である。

さらに、ＩＳＰ２１７０は、単一及び複数プレイのビデオゲームをプレイするためのゲームクライアントによって使用されるゲーム処理サーバ（ＧＰＳ）２１０８を含む。インターネット上でプレイされる多くのビデオゲームは、ゲームサーバへの接続を介して動作する。概して、ゲームは、プレイヤからデータをキャプチャして他のプレイヤへとそれを配信する専用のサーバアプリケーションを使用する。これはピアツーピア構成より効率的且つ効果的であるが、サーバアプリケーションを管理するための分散したサーバを必要とする。別の実施形態において、ＧＰＳは、プレイヤ間の通信を確立し、それらのゲームプレイングデバイスのそれぞれは、中央ＧＰＳに頼ることなく情報を交換する。

専用ＧＰＳは、クライアントから独立して動作するサーバである。こうしたサーバは、通常データセンタに配置されてより広い帯域幅と専用の処理パワーを提供する専用のハードウェアにおいて動作する。専用サーバは、多くのＰＣベースの複数プレイヤのゲームのための管理ゲームサーバの好適な方法である。大きな複数プレイヤのオンラインゲームは、ゲームタイトルを所有するソフトウェア会社によって通常管理される専用サーバにおいて動作し、それらがコンテンツを制御及び更新するのを可能とする。

ブロードキャストプロセッシングサーバ（ＢＰＳ）２１１０は、音声または映像信号を視聴者に配信する。かなり狭い範囲の視聴者へのブロードキャスティングは、ナローキャスティングと称されることがある。ブロードキャスト配信の最終処理は、いかに信号が視聴者を獲得するかであり、ラジオ局またはＴＶ局によるようなアンテナ及び受信器への無線で配信されて良く、局を介してまたはネットワークから直接ケーブルＴＶまたはケーブルラジオ（または「無線ケーブル」）で配信されても良い。インターネットは、ラジオまたはＴＶのいずれかを受信者に、特に共有される信号及び帯域幅を可能とするマルチキャストによって配信しても良い。歴史的に、ブロードキャストは、全国放送または地域放送のように地理的領域によって区切られてきた。しかしながら、インターネットの普及により、コンテンツが世界中のほとんどいかなる国にも到達し得るため、ブロードキャストは地理によって定義されない。

ストレージサービスプロバイダ（ＳＳＰ）２１１２は、コンピュータストレージ空間と、関連した管理サービスを提供する。ＳＳＰは、定期的なバックアップ及びアーカイヴも提供する。ストレージをサービスとして提供することによって、ユーザは、必要に応じてさらなるストレージをオーダーして良い。別の主要な利点は、ＳＳＰがバックアップサービスを含むことであり、ユーザは、彼らのコンピュータハードドライブが故障しても彼らの全てのデータを失うことがない。さらに、複数のＳＳＰは、ユーザデータの全体または部分的なコピーを有して良く、ユーザが位置する場所によらずに、またはデータにアクセスするためのデバイスが使用される場所によらずにユーザがデータにアクセスするのを可能とする。たとえば、ユーザは、家のコンピュータ内と同様に、ユーザが移動している間に携帯電話内の個人ファイルにアクセスして良い。

通信プロバイダ２１１４は、ユーザへの接続性を提供する。一種の通信プロバイダは、インターネットへのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイアルアップ、ＤＳＬ、ケーブルモデム、ファイバー、無線、または専用の高速相互接続のような、インターネットプロトコルデータグラムの配信に適したデータ伝達技術を用いてその顧客に接続する。通信プロバイダは、ｅメール、インスタントメッセージ、及びＳＭＳテキスト送信のようなメッセージサービスを提供して良い。別の形式の通信プロバイダは、ダイレクトバックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを売買するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダは、テレコミュニケーション会社、データキャリア、ワイヤレス通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビオペレータ等により構成されて良い。

データ交換２１０４は、ＩＳＰ２１７０内の複数のモジュールを相互に接続し、これらのモジュールをネットワーク２１５０を介してユーザ２１８２に接続する。データ交換２１０４は、ＩＳＰの２１７０の全てのモジュールが近くにある小さなエリアをカバーして良く、または、異なるモジュールが地理的に分散されるときに大きな地理的エリアをカバーしても良い。たとえば、データ交換２１０４は、データセンタのキャビネット内で高速ギガビットイーサネット（登録商標）（またはそれより高速の）、または大陸間の仮想エリアネットワーク（ＶＬＡＮ）を含んで良い。

ユーザ２１８２は、クライアントデバイス２１２０によって遠隔サービスにアクセスし、少なくともＣＰＵ、ディスプレイ及びＩ／Ｏを含む。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、タブレット、ゲーミングシステム、ＰＤＡ等であって良い。一実施形態において、ＩＳＰ２１７０は、クライアントによって使用されるデバイスの形式を認識し、使用される通信方法を調整する。他の場合において、クライアントデバイスは、ＩＳＰ２１７０にアクセスするために、ｈｔｍｌのような標準通信方法を使用する。

本発明に係る実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な消費者向け電子機器、マイクロコンピュータ、及びメインフレームコンピュータ等含む、様々なコンピューティングシステム構成によって実現され得る。本発明は、有線ベースまたは無線ネットワークを通してリンクされる遠隔処理デバイスによってタスクが実行される分散コンピューティングにおいて実現されても良い。

上述の実施形態を考慮し、本発明がコンピュータシステムに保存されたデータを含む様々なコンピュータにより実施される動作を使用して良いことが理解される。これらの動作は、物理的量の物理的操作を要する。本発明の部分を形成する本発明に記載のいかなる動作もマシン操作は有用である。本発明は、これらの動作を実行するためのデバイスまたは装置にも関する。装置は、特に要求された目的のために構成されて良く、または装置は、選択的に起動されまたはコンピュータ内に保存されたコンピュータプログラムによって構成される汎用コンピュータであっても良い。特に、様々な汎用マシンが本明細書における教示によるコンピュータプログラムによって使用されて良く、または要求された動作を実行するのにより特化した装置を構成するのにより便利であって良い。

本発明は、コンピュータ可読媒体においてコンピュータ可読コードとして組み込まれても良い。コンピュータ可読媒体は、データを記憶し得る任意のデータ記憶デバイスであって良く、したがってコンピュータシステムによって読まれて良い。コンピュータ可読媒体の実例は、ハードドライブ、ネットワークアタッチドストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的及び非光学的データ記憶デバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが保存されて分散された仕方で実行されるように、コンピュータシステムに結合されたネットワーク上で分散されたコンピュータ可読な実体的媒体を含んで良い。

特定の順序で方法動作が説明されたが、動作の間で他の維持動作が実行されて良く、または、それらがわずかに時間をずらして生じるように動作が調整されて良く、または重複する動作の処理が所望の方法で実行される限り、処理に関連付けられた様々な間隔における処理動作の事象を可能とするシステムにおいて分散されても良いことを理解されたい。

理解の明確化の目的のため、前述の発明がいくつかの詳細において説明されてきたが、添付の特許請求の範囲の範囲内で特定の変化及び変更が実行されて良いことが明らかである。したがって、本実施形態は、例示であり、非限定的なものとみなされるべきものであり、本発明は、本明細書において提示された詳細に限定されず、説明された実施形態の範囲及び均等の範囲内で変更されて良い。

Claims (19)

1. ヘッドマウントディスプレイ（ＨＭＤ）に供される位置コンテンツを処理するシステムであって、
   ユーザ入力デバイス及び前記ＨＭＤとインタフェース接続されたコンピューティングデバイスを有し、前記コンピューティングデバイスは、
   ユーザ入力デバイスまたは前記ＨＭＤから入力を受信する入力デバイスインタフェースであって前記ＨＭＤにおいて表示されるコンテンツを選択する指令を処理する前記入力デバイスインタフェース、
   仮想現実シーンの形式での前記ＨＭＤにおいて前記選択されたコンテンツをレンダリングする仮想現実空間生成モジュール、および、
   実空間における前記ＨＭＤの動作を追跡し、前記実空間における前記ＨＭＤの第１の位置及び姿勢を識別するＨＭＤ動作モジュールであって、前記実空間における前記ＨＭＤの第２の位置及び姿勢に対応する前記仮想現実シーンの付加的なコンテンツをレンダリングするように前記仮想現実空間生成モジュールにＨＭＤ位置及び姿勢の変化データを提供する前記ＨＭＤ動作モジュールを有するものであり、
   前記コンピューティングデバイスに結合された実空間マッピングシステムを有し、実空間マッピングシステムは、
   前記実空間の少なくとも一部に亘り複数の光の点を投影する光源と、
   前記複数の光の点の画像をキャプチャするように前記ＨＭＤと統合されたカメラと、
   を含むものであり、
   前記第２の位置及び姿勢が、前記カメラによってキャプチャされた前記画像からの前記複数の点を使用して前記ＨＭＤ動作モジュールによって特定される、システム。
2. 前記ＨＭＤ動作モジュールが、前記カメラによってキャプチャされた前記画像を分析して前記実空間における複数の固定点を識別することが可能である、請求項１に記載のシステム。
3. ＨＭＤ位置及び姿勢の変化データの提供には、
   前記第１の位置及び姿勢に対する前記ＨＭＤの識別と、
   前記複数の固定点の少なくとも２つの選択と、
   前記第１の位置及び姿勢における前記ＨＭＤによる前記選択された固定点の間の第１の相対距離の特定と、
   前記第２の位置及び姿勢に対する前記ＨＭＤの識別と、
   前記第２の位置及び姿勢における前記ＨＭＤによる前記選択された固定点の間の第２の相対距離の特定と、
   前記第１の相対距離と前記第２の相対距離との比較による、前記第１の位置及び姿勢と前記第２の位置及び姿勢との間の差に等しい前記ＨＭＤ位置及び姿勢の変化データの特定と、
   が含まれる、請求項２に記載のシステム。
4. 前記仮想現実空間生成モジュールは、前記仮想現実シーンのレンダリングの間に前記ＨＭＤが動かされる少なくとも１つの位置及び姿勢によって前記ＨＭＤに対する前記付加的なコンテンツを連続的に生成するように構成された、請求項２に記載のシステム。
5. 前記カメラによってキャプチャされた前記画像または複数の画像の分析を使用して実空間における前記ＨＭＤの位置を検出し、実空間における前記ＨＭＤの前記位置は、前記仮想現実シーンにおける前記ＨＭＤの位置へと変換され、前記ＨＭＤを使用して前記ユーザ入力デバイスと前記仮想現実シーンにおける仮想オブジェクトとの間のインタラクションを識別する、請求項２に記載のシステム。
6. 前記複数の固定点が、前記複数の光の点の少なくとも一部を含む、請求項２に記載のシステム。
7. 前記複数の固定点が、前記実空間内に存在する１つまたは複数の固定オブジェクトに配置された複数の識別点の少なくとも一部を含む、請求項２に記載のシステム。
8. 前記ＨＭＤにおける表示に選択された前記コンテンツが、前記コンピューティングデバイスのローカル記憶装置またはネットワーク上の一方または両方からアクセスされる、請求項１に記載のシステム。
9. 前記光源が、較正動作の部分として前記実空間の少なくとも前記部分に亘り前記複数の光の点を投影し、前記複数の光の点の少なくとも１つの画像が参照画像として保存される、請求項１に記載のシステム。
10. 前記ＨＭＤ内に配置された少なくとも１つの慣性センサをさらに備え、前記慣性センサが、前記仮想現実シーンの視認に使用される運動データであって、前記コンピューティングデバイスによって前記ＨＭＤの対応する位置及び姿勢を決定するのに使用可能な前記運動データを生成し、
    前記対応する位置及び姿勢が、前記実空間マッピングシステムを使用してＨＭＤ位置及び姿勢の変化データによって決定された位置及び姿勢を補完するのに使用される、請求項１に記載のシステム。
11. 仮想現実シーンのレンダリングに使用されるヘッドマウントディスプレイ（ＨＭＤ）を追跡する方法であって、前記ＨＭＤは前記仮想現実シーンのレンダリングに供される表示スクリーンを含むものであり、
    前記ＨＭＤの外部表面において統合された少なくとも１つのデバイスを使用して、前記ＨＭＤが配置された実空間をキャプチャする画像データをキャプチャし、
    前記実空間において表面上に投影される少なくとも２つの光の点を識別するように前記画像データを処理し、
    キャプチャされた前記画像データにおける前記少なくとも２つの光の点の位置の変化を識別するように前記キャプチャ及び前記処理を継続し、前記位置の変化は、前記実空間における前記ＨＭＤによる位置及び姿勢の変化を識別するものであり、
    前記位置及び姿勢の変化は、前記ＨＭＤの前記表示スクリーンにおいてレンダリングされる前記仮想現実シーンに対するレンダリング調整を自動的に制御するように構成され、前記調整には、前記仮想現実シーンの視点の変化及び前記仮想現実シーンに対する付加的なコンテンツのレンダリングの一方または両方が含まれる、方法。
12. 前記実空間において前記表面に投影された前記少なくとも２つの光の点が、光放出部によって投影される、請求項１１に記載の方法。
13. 前記キャプチャの継続は、前記ＨＭＤの前記追跡が生じている間に継続するフレームレートで実行される、請求項１１に記載の方法。
14. 前記位置及び姿勢の変化が、前記ＨＭＤに接続されたコンピューティングデバイスによって特定され、前記コンピューティングデバイスが、前記ＨＭＤの前記表示スクリーンにおいてレンダリングされる前記仮想現実シーンに対する調整の前記レンダリングを制御するように構成される、請求項１１に記載の方法。
15. 前記実空間における前記位置及び姿勢の変化の間、前記ＨＭＤの慣性データを検査し、レンダリング調整を自動的に制御するときに使用可能な付加的な追跡変数を提供するように前記慣性データが前記ＨＭＤにおいて生成される、請求項１１に記載の方法。
16. ヘッドマウントディスプレイ（ＨＭＤ）であって、
    仮想現実シーンと関連付けられた画像を表示するスクリーンを含むハウジングを有し、
    前記ハウジングの外部表面において統合された検知デバイスを有し、
    前記検知デバイスによって画像データのキャプチャを制御するプロセッサを有し、前記画像データは、前記実空間の表面に放出器によって投影されることが検出された少なくとも２つの光の点と共に前記ＨＭＤが配置された実空間をキャプチャし、前記プロセッサが、前記実空間における前記ＨＭＤの位置追跡の間に前記画像データをコンピューティングデバイスに連続的に送るように構成されており、前記プロセッサが、前記画像データにおける前記少なくとも２つの光の点の位置の変化に基づいて前記ＨＭＤの位置の変化並びに位置及び姿勢を識別するように構成されており、前記プロセッサが、識別された前記位置の変化並びに位置及び姿勢に基づいて前記スクリーンにおいてレンダリングされる前記仮想現実シーンに対するコンテンツを受信するようにさらに構成されており、
    前記位置の変化並びに位置及び姿勢が、前記仮想現実シーンの視点及び前記仮想現実シーンに対する付加的なコンテンツのレンダリングの一方または両方に自動調整を生じさせる、ＨＭＤ。
17. 前記ハウジングと統合された慣性センサをさらに備え、前記慣性センサが、位置、位置及び姿勢、または加速度の１つまたは複数を特定する前記プロセッサに運動データを提供する、請求項１６に記載のＨＭＤ。
18. 前記検知デバイスが、カメラ、または光の３原色（ＲＧＢ）カメラ、または赤外線（ＩＲ）カメラ、またはビデオカメラ、またはデプスカメラ、または位置検知デバイス（ＰＳＤ）の１つである、請求項１６に記載のＨＭＤ。
19. 前記放出器が光放出器、またはレーザー光放出器、または赤外線放出器、または可視スペクトルエネルギ放出器の少なくとも１つであり、前記放出器が、前記ＨＭＤから分離し、前記表面に向かって方向付けられ、固定位置において前記実空間内に配置された、請求項１６に記載のＨＭＤ。

Images