JP2017182809A - 頭部装着ディスプレイにおけるオペレーション・モード・スイッチング - Google Patents

Abstract

【課題】頭部装着装置（ＨＭＤ）の画像表示管理のための方法、システム及びコンピュータプログラムが提供する。
【解決手段】方法は、仮想世界の情景を表示しているＨＭＤを着用しているユーザの凝視を追跡するオペレーション及びユーザの凝視が所定エリアで所定時間固定していることを検出するオペレーションを含み、その検出に応答して、領域の外側の表示エリアの仮想世界の場面を維持しながら、ＨＭＤの表示領域をフェードアウトする。更に、ユーザが領域を見通しているときに、ＨＭＤがユーザにとって透明であるかのように現実世界に情景を領域にフェードインするオペレーションを含み、現実世界の情景のフェードインは領域の外側の仮想世界の場面を維持する。
【選択図】図１０

Description

本発明の実施形態は、頭部装着装置（ＨＭＤ）の有用性を改善するための方法に関し、より詳しく記述すると、本発明の実施形態はＨＭＤ内のディスプレイの画像をレンダリングするための方法、システム及びコンピュータプログラムに関するものである。

一般的に、ＨＭＤは、目から短い距離に配置されているディスプレイが、ユーザインタラクションのために画像を提供するように、ユーザの頭部の周りに装着される携帯装置である。ＨＭＤには、ユーザが計算装置で作成された画像と共に実際の画像を見ることができる現実世界と仮想空間の混合環境を提供しているものがある。その他のＨＭＤは、ＨＭＤディスプレイ上の仮想世界を提供しながら、ユーザに外の世界を遮断する没入型の経験を提供している。

しかし、ユーザがＨＭＤのディスプレイを通じて、現実世界や仮想世界を見ている間に、ＨＭＤの計算能力がディスプレイ上の画像をリフレッシュするのに十分ではない可能性があるため、問題が発生する場合がある。これは、ＨＭＤのユーザに乗り物酔いや、めまいを引き起こす可能性がある。この現象は、特に、ユーザが妨げられ（例えば、電話を受けて）、すぐにＨＭＤ環境を去りたい場合に重大である。

ユーザが迅速な注意を特定の事象に払う必要が場合に、ユーザがすぐに現実世界と調和することができるようなＨＭＤが必要とされている。

上述の状況に鑑み実施形態を提供する。

頭部装着装置（ＨＭＤ）における画像の表示を管理するために、方法、装置、システム、及びコンピュータプログラムが提示されている。本実施形態は、方法、装置、システム、デバイスまたはコンピュータ読取可能媒体上のコンピュータプログラムのような多数の方法で実行できることを理解すべきである。いくつかの実施形態を以下に記載する。

一実施形態では、方法は、ＨＭＤが仮想世界の場面を表示しているＨＭＤを装着しているユーザの凝視を追跡するためのオペレーションを含む。さらに、上述の方法は、ユーザの凝視が所定の時間、所定の領域上に固定されていることを検出するためのオペレーションを含む。検出に応答して、表示領域外の領域に仮想世界の場面を維持しながら、上述の方法は、ＨＭＤの表示領域をフェードアウトする。さらに、前述方法は、ユーザが領域を見ている間に、ＨＭＤがユーザにとって透明であるかのように、領域に現実世界の情景をフェードインするオペレーションを含む。現実世界の情景のフェードインは領域外に仮想世界の場面を維持することを含む。

別の実施形態においては、頭部装着装置（ＨＭＤ）における画像の表示を管理するための方法は、ＨＭＤをユーザに順応させるためのコマンドを検出するオペレーションを含む。さらに、この方法は、ＨＭＤが透明であるかのようにディスプレイ上に現実世界の情景を提示するオペレーション、及び拡張現実モードでは、この方法は、現実世界の情景に仮想要素を追加するオペレーションを含む。さらに、この方法は、ディスプレイ上の仮想要素を維持しながら、ディスプレイから現実世界の情景をフェードアウトするための、及び、仮想要素の周囲に仮想世界の情景をフェードインするためのオペレーションを含む。

さらに別の実施形態では、頭部装着装置（ＨＭＤ）上の画像の表示を管理するための、一つ以上のプロセッサによって実行される非一時的なコンピュータ読取可能記憶媒体に埋め込まれたコンピュータプログラムは、仮想世界の場面を表示しているＨＭＤを装着したユーザの凝視を追跡するためのプログラムインストラクションを含む。さらに、コンピュータプログラムは、仮想世界の場面を表示しているＨＭＤを装着したユーザの凝視を追跡するためのプログラムインストラクション及びユーザの凝視が所定の時間の所定の領域上に固定されていることを検出するためのプログラムインストラクションを含む。また、コンピュータプログラムは、表示領域の外側の領域に仮想世界の場面を維持しながら、検出に応答して、ＨＭＤの表示領域をフェードアウトするためのプログラムインストラクションを含む。また、コンピュータプログラムは、ユーザが領域を見ている間に、ＨＭＤがユーザにとって透明であるかのように、領域に現実世界の情景をフェードインするプログラムインストラクションを含み、フェードインは領域外の仮想世界の場面を維持することを含む。

さらに別の実施形態では、頭部装着装置（ＨＭＤ）上の画像の表示を管理するための方法は、凝視がＨＭＤのディスプレイ上に投影されるときに、ユーザの凝視を追跡するためのオペレーションを含む。さらに、この方法は、凝視が追跡される間、凝視のトラジェクトリを特定するためのオペレーションを含む。識別されたトラジェクトリは、ユーザのためのシグネチャと比較され、そのシグネチャは凝視のシグネチャトラジェクトリを含む。さらに、この方法は、識別されたトラジェクトリが、シグネチャのトラジェクトリに対応する場合にＨＭＤ上のリソースへのアクセスを可能にするためのオペレーションを含む。

他の態様は、添付の図面と併せて以下の詳細な説明から明らかになるであろう。

実施形態は、添付の図面と併せて、以下の説明を参照することによって理解できる。

一実施形態による頭部装着装置（ＨＭＤ）を含む複数のデバイスと相互に作用するユーザを図示している。

一実施形態による画像解析を介したＨＭＤの追跡を図示している。

一実施形態によるユーザの凝視を追跡するための内部カメラを有するＨＭＤを示している。

視覚追跡のための照明ポイントを有するＨＭＤの実施形態を示している。

一実施形態による凝視によるパスワードの入力を図示している。

一実施形態によるユーザがＨＭＤを使用開始したときに検出するための方法を図示している。

一実施形態による凝視シグネチャのエントリを図示している。

一実施形態による現実世界の情景から仮想世界の情景への表示遷移を図示している。

一実施形態による現実世界から拡張現実、そして仮想世界の情景への遷移を図示している。

本発明の実施形態を実施するために使用することができるデバイスのアーキテクチャを図示している。

いくつかの実施形態によるＨＭＤ環境から遷移するための入力を図示している。

一実施形態による仮想世界と現実世界の情景の混在表示を図示している。

一実施形態による凝視を介して入力された退出コマンドの検出を図示している。

一実施形態によるＨＭＤ情景の没入の異なる段階を図示している。

一実施形態によるユーザをＨＭＤに順応させるためのフローチャートである。

一実施形態によるユーザをＨＭＤの順応を外すためのフローチャートである。

一実施形態によるＨＭＤ上の画像の表示を管理するためのフローチャートである。

本発明の実施形態を実行するために使用することができるハードウェア及びユーザインタフェイスを図示している。

本発明の様々な実施形態によるゲームシステムのブロック図である。

以下の実施形態は、頭部装着装置（ＨＭＤ）上の画像の表示を管理するための方法、装置、システム、及びコンピュータプログラムを記述する。なお、本実施形態はこれらの特定の詳細の一部または全てがなくても実施できることは、明らかであろう。他の例において、周知のプロセスオペレーションは、不必要に本発明の実施形態を不明瞭にしないために詳細に記載されていない。

図１は、一実施形態による頭部装着装置（ＨＭＤ）を含む複数のデバイスと相互に作用しているユーザを示している。ユーザ１１４は、ユーザの目に近い画像をレンダリングするディスプレイ１１０を含むＨＭＤ１０２を装着している。一実施形態では、画像は、３Ｄでレンダリングされている。

一実施形態では、計算装置１０６は、ＨＭＤ１０２上に表示されるゲームを実行する。したがって、計算装置１０６は、ゲームをプレイするための画像を表示するためにＨＭＤ１０２と協働している。ゲームオペレーションの処理は、計算装置１０６、ＨＭＤ１０２、または計算装置１０６とＨＭＤ１０２両方で実行してもよい。

図１の実施形態では、ＨＭＤ１０２は、計算装置１０６と無線（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）で通信している。他の実施形態（図示せず）では、ＨＭＤ１０２は、計算装置１０６に直接接続されているか、ネットワーク（例えば、インターネット）を介して計算装置１０６と通信している。例えば、計算装置１０６は、ゲームサービスを提供するネットワーク上のサーバであってもよい。実施形態には、ＨＭＤは、独立のゲームプレイ装置であり、ゲームを実行するために外部装置を必要とせず、ＨＭＤで直接実行されるものもある。

一実施形態では、カメラ（または複数のカメラ）が計算装置１０６に接続されている。計算装置１０６はネットワーク上のサーバである場合、カメラ１０４はネットワーク（例えば、インターネット）を介して計算装置に画像を送信するネットワーク接続カメラであってもよい。カメラ１０４は、一つ以上の通常の画像カメラ、ステレオカメラ（すなわち、２つ以上のレンズでプレイエリアから画像を取り込むカメラ）、赤外線カメラ、デプスカメラ、３Ｄカメラなどであってもよい。

カメラ１０４で撮影された画像は、ＨＭＤ１０２の位置及び動きを追跡するために処理されてもよい。また、画像は、ユーザの位置及び動きまたはユーザの特性（例えば、ユーザの頭、口、手、胴体など）、コントローラ（例えば、片手コントローラ１１６、両手コントローラ１１８）、あるいはプレイエレアの他の要素を追跡するために使用されてもよい。

一実施形態では、ユーザは、音声認識を介してコマンドを提供することができる。前述の音声認識は、１つまたは複数のマイクロフォン１２０を使用して音声キャプチャを介して計算装置１０６によって実行されるか、一実施形態では、１つまたは複数のマイクロフォンを含むＨＭＤ１０２によって実行される。別の実施形態において、ユーザ１１４は、計算装置１０６によって分析し、認識されたジェスチャを介して入力を入力できる。

一実施形態では、計算装置１０６は、いくつかのゲームオペレーションを行うことができるディスプレイ１０８に接続されている。例えば、ユーザがＨＭＤ１０２を装着する前に、ディスプレイ１０８は、ユーザに指示を与えることができる。別の実施形態では、ディスプレイ１０８は、近傍の他のプレイヤがユーザ１１４のＨＭＤ１０２に表示されているゲーム上の進捗状況を認識できるように、ＨＭＤに示したものと同じ、または類似の表示を提供できる。

一実施形態では、ユーザは、１つまたは複数のコントローラ１１６を保持する。計算装置１０６は、コントローラの位置及び動きを追跡し、コントローラの動きに関連するオペレーション、またはコントローラで入力された入力をゲームの入力として使用することができる。例えば、コントローラは、剣のハンドルを表すことができ、その剣がゲーム場面に表示されている。ユーザがコントローラを移動すると、剣はコントローラに同期して仮想世界内で移動する。このように、プレイヤは、剣が武器である格闘ゲームオペレーションを行うことができる。

一実施形態では、計算装置１０６は、ＨＭＤ１０２とゲームコントローラ１１６との間の相対位置を計算する。その後、ゲームは相対位置を使用して、ＨＭＤ１０２に同期してゲームオブジェクトを移動する。

また、計算装置は、ＨＭＤのディスプレイ上にレンダリングされたゲームオブジェクトにリンクできる第二のコントローラ１１６を追跡することができる。例えば、第二のコントローラは、楯であってもよく、ユーザは、仮想世界において、剣と楯で戦うことができる。他の実施形態では、コントローラは他の目的のために、武器（例えば、拳銃、ライフルまたは各種の発射する武器、斧、レーザーガン、自動車のハンドルまたはオートバイのハンドルといったステアリングデバイス、懐中電灯、ハンマー、楯など）などとして、ゲームにおいて使用できる。

別の実施形態では、ユーザは、片手コントローラと同様の方法で使用できる両手コントローラと相互作用することができる。例えば、両手コントローラを自動車のハンドルとして使用することができる。

別の実施形態では、コントローラのボタンを押すことなどによってコントローラによって入力された入力は、ゲーム内のコマンドを実行するために使用できる。例えば、ユーザは、ゲーム内のアバターを移動するために、武器を発射するために、物体をつかむためになどコントローラのボタンを使用することができる

なお、図１に示す実施形態は例示的なものである。他の実施形態は、別のデバイスまたは別の数のデバイスを利用できる、異なるデバイス間で多かれ少なかれ相互作用を持っている、他の通信方法（例えば超音波）を使用する、個別にＨＭＤを装着している二人のユーザが同じゲームをプレイするマルチプレイヤゲームを容易にすることなどができる。図１に示す実施形態は唯一でも、限定するものでもなく、典型例または具体例であると解釈すべきである。

図２は一実施形態による画像解析を介したＨＭＤの追跡を示している。一実施形態では、ＨＭＤ２０８は、ＨＭＤの視覚追跡に役立つ要素が含まれている。例えば、ＨＭＤは、赤外光２１０、発光ダイオード（ＬＥＤ）２１４及び画像解析によって容易に認識される特殊な形状の物体を含む。例えば、簡単に追跡できるために、１つ以上の球形オブジェクト２１２をＨＭＤに追加してもよい。また、球形オブジェクト２０２は、ＬＥＤ光、赤外光、または他のタイプの照明で照明できる。

また、ＨＭＤ２０８は、再帰反射領域、特定の色を持つ領域（例えば、青色の長方形など）、またはマーキング（例えば、ＨＭＤの表面上に３本の平行線）などのような特別な視覚的なマーカー（図示せず）を含んでもよい。

実施形態によっては、ＨＭＤは、ＨＭＤの後部（例えば、頭の後ろに触れるＨＭＤの部分）にライトやマーカーを含むものもある。これにより、ユーザが回って、カメラに背を向けても、ＨＭＤの後ろにあるライトまたはマーカーを検出することにより、ＨＭＤの位置を視覚的に追跡することが可能になる。

ＨＭＤの視覚追跡は、異なるタイプのカメラを用いて実行できる。一実施形態では、ＨＭＤは、２つ以上のレンズを含むカメラであるステレオカメラ２０２で追跡される。ＨＭＤ位置の特定を支援するためにＨＭＤにおける特徴の三角測量解析を行うならびに、ＨＭＤのプレイフィールド内の深さの計算（例えば、ＨＭＤからＨＭＤの写真を撮るカメラまでの距離）を行うために、異なるレンズからの画像が比較される。

別の実施形態では、赤外線カメラ２０４は、赤外光（例えば、赤外光２１０）を解析する。赤外光は人間の目には見えないが、赤外光は赤外線カメラに映る。このように、ＨＭＤは、ＨＭＤの外観を損なわない赤外光を含んでもよい。また、一部の環境（例えば、低輝度または高輝度）において、他のタイプのライトよりも赤外光を追跡する方が簡単である。

さらに別の実施形態では、カメラは一つのレンズを有しているので、モノカメラと呼ぶ通常のカメラは、ＨＭＤにおけるライトまたは特徴を追跡するために使用される。通常カメラでプレイフィールド内のＨＭＤの深さを特定するために、ＨＭＤ上のいくつかの特徴のサイズが、深さを検出するために解析される。特徴が小さければ小さいほど、ＨＭＤはカメラからより遠くに離れている。また、追跡は、慣性運動追跡、デッドレコニング、計算装置におけるＨＭＤ間の超音波通信などといった他の種類の追跡と組み合わせることができる。

なお、図２に示す実施形態は例示的なものである。他の実施形態は、一つの異なる種類のカメラまたはプレイフィールド内の複数のカメラなどを利用してもよい。図２に示された実施形態は、唯一でも、限定的なものでもなく、典型的なまたは例示的であると解釈すべきである。

図３は、一実施形態によるユーザの凝視を追跡するための内側カメラ３０２、３０４を有するＨＭＤを示している。一実施形態では、ユーザがＨＭＤ２０８におけるディスプレイ３０６を見ている間に、ＨＭＤは、ユーザの凝視を追跡するために１つまたは複数のカメラ（例えば３０２、３０４）を有している。１つの実施形態では、２つのカメラ３０２、３０４がユーザのビジョンを追跡し、各カメラが異なる目を追跡している。別の実施形態では、ＨＭＤのほぼ中心に位置している単一のカメラは、両目の画像を取得し、凝視を特定するために画像を分析している。

なお、図３の実施形態では、目の前に位置している複数のカメラが含まれているが、カメラはＨＭＤの異なる部分に位置していてもよい。ミラー及びフィルタを使用して、凝視追跡カメラを複数の位置に配置することが可能である。例えば、一実施形態では、カメラが表示の背後に位置し、光を一つの方向（例えば、目からカメラの方へ）に通過させてもよい。別の実施形態では、カメラを片側に位置づけて、カメラのビジョンを目の方向に向け直すＨＭＤの中心にあるミラーの方に向けてもよい。

図４は、視覚追跡のための照明ポイントを含むＨＭＤの実施形態を示している。図４は、プレイフィールド内のＨＭＤの動きの追跡を容易にする複数の特徴を有するＨＭＤを示している。 ＨＭＤ４０２は、ＨＭＤの正面、側面及び背面に位置している赤外光４０４を含む。

ＨＭＤの正面にある４つの赤外光は、ＨＭＤの同じ前頭面に位置している。図４の実施形態では、上部の赤外光との間の距離は下部の赤外光との間の距離より小さくなっている。これにより、前面の赤外光により形成される台形のパターンは、ＨＭＤの追跡を容易にする。例えば、ユーザが頭を片方に傾けた場合、前の赤外光によって形成された台形は、ユーザの頭部と同じ角度に傾斜されることになる。

また、それぞれの側面にある３つの赤外光も追跡を支援する。側面の赤外光のうちの２つはＨＭＤの前面と側面との間で角度をなすように配置されている。そのため、カメラがＨＭＤの前またはＨＭＤの側面にあるとき、これらの２つの赤外光はカメラによって写る。 ＨＭＤの側面のもう一つの赤外光は、頭の側面に向いている。言い換えると、この赤外光はＨＭＤの正面に位置している赤外光を基準として、約９０°になっている。最後に、ＨＭＤの背面にある赤外光は、ユーザがカメラと反対の方向を向いている場合に、ＨＭＤの追跡を可能にする。

ユーザが頭を回転すると、赤外光は異なるパターンを形成し、カメラからの画角に基づいて、赤外光は異なるレベルの明るさで知覚される。これらの距離、赤外光の大きさ、明るさのレベルは、ＨＭＤの位置の追跡において計算装置を支援する。

また、ＨＭＤは、３つのＬＥＤライト４０６を含む。ＨＭＤの正面に位置する２つのＬＥＤライト４０６は、２つの交差する平面を形成するカバーを有している。平面の１つは、ＨＭＤの側面にあり、もう一つの面は、ＨＭＤの正面を基準として傾いている（例えば、４５°）。赤外光の追跡と同様に、計算装置は、カメラで撮影したＬＥＤライトの形状及び強度を分析する。これにより、計算装置は、ＨＭＤの位置を特定することができる。この場合でも、ＨＭＤの背面に位置するＬＥＤライトは、ユーザがカメラと反対の方向を向いている場合に、ＨＭＤの検出を可能にする。

また、ＨＭＤ４０２はＨＭＤをオンまたはオフするスイッチ４０８を含む。なお、図４に示された実施形態は例示的なものである。他の実施形態は、異なる種類のただ一つのライト、一つ以上のタイプのライト、ライトの異なるレイアウト、ライトの異なる数などを利用してもよい。したがって、図４に示す実施形態は、唯一でも、限定的なものでもなく、典型例または具体例として解釈すべきである。

図５は、一実施形態に従って、凝視によるパスワードの入力を図示している。一実施形態では、ユーザに、頭部装着ディスプレイ上の特定の図形を凝視で追跡するための情報または指示を提供できる。ユーザが正しい図形を追跡した場合、ユーザは、入力として使用できる凝視パターンを作成する。凝視入力は、ユーザの検証、ゲームの入力、ユーザの識別、ゲームオブジェクトの選択など複数の目的のために使用できる。

一実施形態では、凝視検出は、パスワード、名前、ＩＤ、コマンドなどを入力するために使用されている。一実施形態では、（標準的なキーボードのすべての文字、数字及び記号、またはそのサブセットを含む）仮想キーボードがディスプレイ上に提示されている。ユーザは、所望の文字上、凝視を一時停止することにより、各文字５０４を選択する。ユーザは所定の時間（例えば、１秒、２秒など）で凝視を文字上に一時停止すると、ユーザがその文字を選択したと仮定される。

例えば、パスワードを入力するときに、ユーザは、順番に、パスワードの文字のそれぞれを選択することができ、すべての文字が入力された後、ユーザはパスワードが処理の準備ができたことを知らせるために、エンターキー、またはその他のコマンドを選択する。本明細書において、以下、凝視を介して入力されたパスワードを「ｇａｚｅｗｏｒｄ」、「ｐａｓｓｇａｚｅ」、「ｐａｓｓｌｏｏｋ」または「ｇａｚｅｐａｓｓ」と呼ぶ。これらの用語を、図６を参照して以下でより詳細に説明するように、凝視シグネチャの入力を参照する場合にも使用できる。

図５の例示的な実施形態では、ユーザは文字Ｆ、Ａ、Ｄ及びＥを順序に選択することで、パスワード「ＦＡＤＥ」を入力する。その後、ユーザは、システムが入力されたパスワードを処理できることを示すために、エンターキー５０６を選択する。一実施形態では、ユーザが各文字を選択すると、インディケータはユーザに文字が入力されたことを知らせる。インディケータは、文字の色を変更する、文字を点滅する、音（例えば、ビープ音）を発生する、文字のサイズを大きくするなどから一つ以上であってもよい。別の実施形態（図示なし）では、ユーザが各文字を入力すると、形成される単語は、ディスプレイの別の領域に表示される。

一実施形態（図示なし）では、１つの文字から次の文字への遷移をユーザに通知するための特別な領域がディスプレイ上に提供されている。これにより、ユーザは、凝視で文字または数字を入力し、選択を入力するために凝視を特別な領域に移動し、追加の文字や数字を選択するプロセスを継続する。別の実施形態では、ユーザが間違いを修正できるようにバックスペースキーが設けられている。

なお、図５に示す実施形態は例示的なものである。他の実施形態は、異なる種類の仮想キーボードを利用してよい、より多くの文字と数字を含んでもよい、特殊文字を使用してよい、または幾何学的図形の部分を選択するための幾何学図形を使用してもよい。したがって、図５に示す実施形態は、唯一でも、限定するものでもなく、典型例または具体例として解釈すべきである。

図６Ａは、ユーザが一実施形態によるＨＭＤを開始したときに検出する方法を示している。 ＨＭＤは、すでに動作している場合に、時々、３-Ｄグラフィックスのような複雑なグラフィックスを表示することがある。ユーザが順応プロセスを経ずに、ＨＭＤを装着する場合、ユーザはめまいを感じることがある。例えば、ゲームをプレイしているユーザは、ＨＭＤを脱いで、そのＨＭＤを他のプレイヤに渡す。 ＨＭＤは、その遷移が検出されない場合は、２番目のプレイヤは、めまいを感じることがある。

一実施形態では、ＨＭＤは、ユーザの凝視を追跡する。ユーザがＨＭＤを脱ぐと、ＨＭＤは、凝視がもはや存在しないと検出し、ディスプレイをオフにするか、セーフモードに変更する。ユーザ、または他のユーザが、ＨＭＤを装着すると、ＨＭＤは（例えば、新規ユーザの目を検出することで）新しいユーザを検出し、ユーザが開始する準備ができていることを検証するプロセスを開始する。

一実施形態では、オブジェクト（例えば、シンボル、単語、ボールなど）が画面上に表示され、ユーザは自分の凝視でそのオブジェクトに追従するように求められる。ユーザがディスプレイを通してそのオブジェクトのトラジェクトリに追従すると、ＨＭＤは、凝視がどのようにオブジェクトに追従しているかを検証できる。これにより、ＨＭＤは人間がディスプレイを見ていることを確認する。そのため、チェックが検証された場合、ＨＭＤは、より洗練されたグラフィックスの表示を開始するために順応プロセスを開始する。

一実施形態では、画面上のオブジェクトに追従すればよいため、凝視でオブジェクトに追従することは非常に正確である必要はない。

別の実施形態では、チェックは、ＨＭＤを使いにくいユーザを検出するために使用できる。ユーザは、実質的に画面上のオブジェクトに追従することができない場合、ユーザは、異なる深さでの視力の焦点を合わせる能力を有する良好な眼の位置を必要とするグラフィックスに換える調整が困難であるかもしれない。

図６Ｂは、一実施形態による凝視シグネチャのエントリを示している。一実施形態では、ユーザの凝視のトラジェクトリは、凝視での入力を生成するために監視される。例えば、所定のパターンに追従することによって、凝視でパスワードを入力するためにトラジェクトリを使用できる。ＨＭＤは複数のユーザが使用するように構成されている場合、凝視パターンは、どのユーザがＨＭＤを装着しているかを識別するために使用できる。

実施形態には、凝視パターンは、ユーザがシステムにアクセスするための凝視シグネチャを入力することができるパスワードとして使用してもよいものもある。システムは、新しいユーザに凝視パターンを入力するオプションを用意している。

図６Ｂの例示的な実施形態では、凝視のシグネチャは３線で構成されている。つまり、ディスプレイの左上から右下に延びる第１線、右下から中央に延びる第２の水平線及びディスプレイの下部からディスプレイの上部に延びる垂直線である。ユーザがこの凝視パターンを入力した場合、ユーザは識別され、一実施形態では、システムへのアクセスが許可される。

実施形態には、パターンが画面上に表示され、ユーザは、そのパターンに従うことが要求されるものもある。図６Ｂの例では、３つの線が画面上に描画され、ユーザは、３つの線に追従するように要求されることになる。このオペレーションは、較正の目的のために、またはユーザがＨＭＤのディスプレイ上のパターンに追従することが可能であることを確認するために用いてもよい。較正は、表示を較正するために、または凝視追跡システムを較正するために、あるいは両方を較正するために使用できる。

一実施形態では、頭部装着装置（ＨＭＤ）の画像表示を管理する方法は、ＨＭＤのディスプレイ上に投影されるユーザの凝視を追跡するためのオペレーションを含む。また、この方法は、凝視追跡される凝視のトラジェクトリを特定するためのオペレーションを含む。識別されたトラジェクトリは、ユーザのシグネチャと比較される。前述シグネチャは凝視のトラジェクトリを含む。さらに、この方法は、識別されたトラジェクトリがシグネチャのトラジェクトリに対応している場合にＨＭＤ上のリソースへのアクセスを可能にするためのオペレーションを含む。

図７Ａは、一実施形態による現実世界の情景から仮想世界の情景への表示遷移を示している。実施形態には、頭部装着ディスプレイが提供する場面からの自動的遷移または場面への自動的遷移を提供するものもある。

前述したように、ＨＭＤを使用した場合、時には人がめまいを感じることがある。その理由の一つは、目が通常の現実の情景からＨＭＤのディスプレイを観察するために必要な視聴メカニックスに調整されるための時間が必要である。この問題を解決するために、ユーザがディスプレイ上の仮想場面に入る際、ユーザの視聴を適応させるために順応プロセスが利用される。本明細書において、このプロセスは、ユーザの「順応プロセス」と呼ぶ。

同様に、ユーザが順応プロセスをせずに、ＨＭＤを脱ぐと、ユーザはめまいを感じる可能性がある。仮想世界の情景から現実世界の情景への遷移のために、ユーザを順応させるための逆のプロセスがある。本明細書において、ユーザがＨＭＤの使用から現実世界に順応させる逆のプロセスは、「順応外しプロセス」と呼ぶ。詳細は、順応プロセス及び順応外しプロセスに関する図１３Ａ及び１３Ｂを参照して以下に記述される。

一実施形態では、仮想世界への遷移は、現実世界情景７０２（例えば、シースルーの情景）で始まり、仮想世界に向けて徐々に遷移が続き、このとき現実世界と仮想世界が重複している７０４。これを達成するために、仮想世界は徐々にフェードインされ、現実世界情景の上に重複される。その結果７０４は、現実世界の要素と仮想世界の要素を有する情景である。

そして、現実世界情景が徐々にフェードアウトされ、仮想世界情景７０６のみが残る。仮想世界のフェードイン及び現実世界のフェードアウトのオペレーション期間は、変化に対するユーザの反応に応じて、１秒または２秒から１５秒以上がかかる。ユーザの反応は、ユーザの凝視を追跡することによって特定できる。

この現実世界情景は、シースルーの情景とも呼ぶ。透視ＨＭＤの様々な方法が存在しており、光学的に駆動する技術及びカメラで駆動されている技術に分類できる。例えば、頭部装着ディスプレイに搭載され、ＨＭＤの正面に向かっているカメラは、居間などユーザが実際にいる場面の画像を表示できる。この正面カメラで撮影された画像は、ＨＭＤが透明であるかのように、ユーザにＨＭＤを通して見ている印象を与えるためにディスプレイに表示される。

光学的駆動技術は、ディスプレイ、またはディスプレイの周りを介して、ユーザの情景を現実世界に導くために、ミラーやシースルーガラスを利用している。例えば、これらの光学的に駆動される方法は、回折光学、ホログラフィック光学、偏光光学及び反射光学を含んでもよい。

ユーザを順応から外すためには、プロセスが逆になる。最初に、ユーザは、仮想世界の表示に没入される。システムは、ユーザが外に出たいか出る必要があることを検出すると、ユーザが順応から外れるプロセスを開始する。一実施形態では、現実世界情景は、フェードインを開始し、仮想世界情景の上に重複される。プレイヤの環境のシースルーの情景を維持しながら、仮想情景が徐々にフェードアウトされる。その時点で、プレイヤは体調変化なしで、ＨＭＤを外すことができる。

実施形態には、仮想世界の情景は、プレイヤがＨＭＤを透視しているように完全に正確ではないものもある。提示された画像がユーザの目をユーザの環境に調整する方法で行われば、現実世界の情景の代わりに、他のいくつかの画像をユーザに提示することができる。例えば、提示された画像は、ユーザの目が数フィートと数ヤードの距離に焦点を合わせなければならないように、部屋の画像を含んでもよい。ユーザの視力が調整されると、ユーザの視力がすでに同様の環境に順応しているため、ユーザは体調を変化せずに、ＨＭＤを外すことができる。

また、一実施形態では、仮想世界の外に遷移するとき、ゲームのオブジェクトが移動を停止し、仮想世界の表示が凍結される。そして、ディスプレイがＨＭＤから外を見るカメラで見られる現実世界を表示するように遷移を開始する。

図７Ｂは、一実施形態による現実世界から拡張現実、そして仮想世界への遷移を示している。拡張現実（ＡＲ）は、要素がサウンド、ビデオ、または画像などのコンピュータで生成された感覚入力によって拡張されている物理的な、現実世界の環境の直接的または間接的なライブ情景である。拡張現実は、現実の情景がコンピュータによって変更（増強より減少している可能性がある）された媒介現実と呼ばれる一般的な概念に関連する。これとは対照的に、仮想現実は現実世界をシミュレートされたものと置き換える。環境とそのオブジェクトについての人工情報を現実世界に重ね合わせることができる。

ＨＭＤには、拡張現実感や複合現実感を作成するために、コンピュータによって生成された画像（ＣＧＩ）の現実世界の情景への重畳を可能とするものもある。現実世界の情景とＣＧＩとの組み合わせは、ＣＧＩを部分反射ミラーを介して投影し、直接現実世界を見ることによって実現できる。この方法は、多くの場合、光学シースルーと呼ばれている。現実世界の情景とＣＧＩとの組み合わせは、カメラからのビデオビデオを受け入れ、受け入れたビデオビデオをＣＧＩと電子的に混合することによって電子的に実現できる。この方法は、多くの場合、ビデオシースルーと呼ばれている。

一実施形態では、ＨＭＤは、ユーザの前にある世界を取り込む前面を向く（ユーザの顔と反対の方向を向く）カメラを含む。カメラで撮影したビデオや画像は、シースルーの情景を作成するためにディスプレイ上に再現することができる。実際の現場に仮想オブジェクトを配置するために、ＨＭＤは、仮想オブジェクトを配置できる現実世界での場所を特定する方法を認知する必要がある。例えば、仮想キャラクタは、テーブルまたはその他の平らな表面上に配置されてもよい。もちろん、他の実施形態では、仮想オブジェクトが部屋に浮いているように配置されてもよい。この場合、ＨＭＤは、現実世界のオブジェクトが配置されていないＨＭＤから離れた場所に仮想オブジェクトを提示することだけである。

一実施形態では、ＨＭＤは、部屋内のオブジェクトの位置を特定するためにビデオ画像を使用している。カメラは、ゲームオブジェクトを参照して距離を特定するために使用されるステレオカメラやデプスカメラであってもよい。 ＨＭＤは、平坦な表面を特定すると、仮想オブジェクトをその表面上に配置することができる。

別の実施形態では、現実世界のオブジェクトの位置は、ＨＭＤと通信中のゲームコンソールなどの計算装置に接続されたカメラによって計算される。計算装置は、ＨＭＤを参照して部屋内のオブジェクトの相対位置を計算することができるように、ＨＭＤの位置を追跡している。計算装置は、現実世界の環境やオブジェクトの位置に関する情報を提供するために、ＨＭＤにこの情報を送信する。

１つの実施形態では、仮想世界の中に入るようにユーザを順応させるために、中間拡張現実情景が提供されている。最初に、シースルーの情景７２０は、ユーザに提示される。その後、ゲームオブジェクト７２８（例えば、キャラクタ、またはその他の仮想オブジェクトを使用してもよい）が拡張現実情景に配置される。例えば、ゲームオブジェクト７２８は、テーブルの上、壁、ＴＶ画面、またはゲームコンソールなどの上に置かれる。

そして、現実世界情景はゲームオブジェクト７２８だけが残る仮想世界７２４まで徐々にフェードアウトする。その後、仮想世界が完全にレンダリングされるまで他のゲームオブジェクトが徐々に情景にフェードインされる。

一実施形態では、ディスプレイ全体が仮想場面で埋まるまで、仮想世界がゲームオブジェクト７２８から円形に拡張される。別の実施形態では、仮想オブジェクトは、すべての仮想オブジェクトが追加されるまで、一つずつ仮想場面に追加される。

実施形態には、全体の仮想場面が埋まり、プレイヤが完全に順応されるまで仮想場面が凍結されている（すなわち、仮想オブジェクトは移動していない）ものもある。

なお、図７Ａ及び７Ｂに示す実施形態は例示的なものである。他の実施形態では、異なる遷移、異なる仮想オブジェクト、オペレーションの異なる順序などを利用されてもよい。したがって、図７Ａ及び７Ｂに例示する実施形態は、唯一でも、限定するものでもなく、典型例または具体例であると解釈すべきである。

図８は、本発明の実施形態を実行するために使用できるデバイスのアーキテクチャを示している。頭部装着ディスプレイは、計算装置であり、プロセッサ８０４、メモリ８１６（ＲＡＭ、ＲＯＭなど）、１つまたは複数のバッテリ８０６あるいはその他の電源、及び永久記憶装置８４８（ハードディスクなど）などからなる通常の計算装置上に見られるモジュールを含む。

通信モジュールは、ＨＭＤが他の携帯機器、他のコンピュータ、他のＨＭＤや他のサーバなどとの情報交換をできるようにする。通信モジュールは、ユニバーサルシリアルバス（ＵＳＢ）コネクタ８４６、通信リンク８５２（イーサーネット（登録商標）、など）、超音波通信８５６、Ｂｌｕｅｔｏｏｔｈ（登録商標）８５８、及びＷｉＦｉ８５４を含む。

ユーザインタフェイスは、入力と出力のためのモジュールを含む。入力モジュールは、入力ボタン及びセンサ８１０、マイクロフォン８３２、タッチに敏感なスクリーン（図示なし、ＨＭＤを初期化または構成するために使用できる）、フロントカメラ８４０、リアカメラ８４２、及び凝視追跡カメラ８４４を含む。キーボードやマウスなどその他の入力または出力装置も、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信リンクを介して携帯デバイスに接続することができる。

出力モジュールは、ユーザの目の前で画像をレンダリングするためのディスプレイ８１４を含む。実施形態には、１つのディスプレイを含むことができ、他の実施形態は、２つのディスプレイ、つまり各眼に対して１つを含むことができるものもある。他の出力モジュールは、発光ダイオード（ＬＥＤ）８３４（ＨＭＤの視覚追跡するために使用することができる）、振動触覚フィードバック８５０、スピーカ８３０、及びのサウンドの音像定位を行い、そのサウンドをスピーカまたはヘッドフォンに提供する音源定位モジュール８１２を含む。ヘッドフォンなどの他の出力装置も、通信モジュールを介してＨＭＤに接続することができる。

動きの追跡を容易にするために含まれ得る要素は、ＬＥＤ８３４、視認のための１つ以上のオブジェクト８３６、及び赤外光８３８を含む。

異なるデバイスからの情報は、ＨＭＤの位置を計算する位置モジュール８２８によって使用される。これらのモジュールは、磁力計８１８、加速度計８２０、ジャイロスコープ８２２、全地球測位システム（ＧＰＳ）モジュール８２４、及びコンパス８２６を含む。また、位置モジュールは、位置を計算するためにカメラ及びマイクロフォンで取り込まれた音や画像データを分析することができる。さらに、位置モジュールは、携帯デバイスの位置または近傍の他のデバイスの位置を特定するためにＷｉＦｉ ＰＩＮＧテストまたは超音波テストなどのテストを実行できる。

仮想現実発生器８０８は、既述の通り、位置モジュールによって計算された位置を使用して、仮想現実または拡張現実を生成する。仮想現実発生器８０８は、スクリーンの画像を生成するために、他の計算装置（例えば、ゲームコンソール、インターネットサーバなど）と協働することができる。遠隔装置は、ゲームオブジェクトをスクリーン上に作成するスクリーン更新またはインストラクションを伝送する。

図８に図示した実施形態は、携帯装置の例示的な実施であると認識すべきである。他の実施形態は、別のモジュールやモジュールサブセットを使用でき、また別のモジュールに関連するタスクを割り当てることもできる。従って、図８に図示した実施形態は、唯一でも、限定するものでもなく、典型例または具体例であると解釈すべきである。

図９Ａ−図９Ｂは、幾つかの実施形態によるＨＭＤ環境の遷移のための、別のタイプの入力を図示している。ユーザを順応から外すプロセスは、ユーザのアクションによって開始するか、他の環境事象を契機にすることができる。例えば、ユーザが困難な状況にあり得るとシステムが検出した場合、順応外しが開始されることになる。

一実施形態では、ユーザの画像（例えば、図１の環境）を撮ったカメラに接続されている計算装置により取り込まれたユーザからのジェスチャによって、その退出プロセスが開始される。図９Ａの例示の実施形態では、ユーザが手を握り、親指を伸ばして、円を描く動作をして、ユーザが退出を求めていることを示すが、他の予め決めたジェスチャを利用することができる。

他の実施形態では、ユーザは所定の時間目を閉じて、退出コマンドを合図する。例えば、ユーザは、３秒を超える時間目を閉じた場合に、退出プロセスが開始され得るが、１秒から１０秒の範囲にある他の時間を利用することができる。目を閉じるユーザの検出は、ＨＭＤ内のユーザの凝視を追跡するカメラ（例えば、図３の実施形態参照）で撮られた画像を分析することによって実行される。

他の実施形態では、ユーザが退出プロセスを開始する所定のコマンドを告げる。例えば、図９Ｂの例示の実施形態では、ユーザが退出のために、「ゲーム休止」という文言を告げる。一実施形態では、そのスピーチはＨＭＤと通信している計算装置によって検出され、他の実施形態では、そのスピーチはＨＭＤ自体によって検出される。ＨＭＤがマイクロフォンを介してスピーチを取り込むのである。

実施形態には、ユーザが困難な状況にあるとシステムが検出したときに、退出プロセスを開始できるものもある。バイオメトリックセンサがユーザの不快さを判断するために使用されてもよい。一実施形態では、ユーザの凝視がある時間不規則であり、ユーザの凝視がゲームプレイに関連する動きと一致しないとシステムが判断したときに、退出シーケンスが開始される。

他の実施形態では、ユーザの動作、より詳しくは、ユーザの頭部の動作が追跡される（ＨＭＤの動きを追跡している計算装置によって追跡される）。ユーザの頭部の動作が不規則となり、ユーザの凝視またはゲーム活動に関連する動きと一致しない場合、システムは、ユーザが身体的に困難な状況にあると判断し、退出プロセスを開始する。

一実施形態において、問題を意味することがある行動を特定するために、ユーザの凝視解析がユーザの頭部の動き解析と組み合わされる。問題行動が特定されると、安全な順応外しのために退出プロセスが開始される。

図１０は、一実施形態に従って、仮想世界と現実の情景が混在した表示を図示したものである。時に、ＨＭＤユーザは、現実の事象によって中断されることがある。例えば、ユーザは、電話の呼び出しを受信したり、他人から話しかけられるなどがあり得る。これらの場合、ユーザは迅速に現実世界と交流する必要があるが、ユーザが順応から外れるプロセスを実行するのは不都合な場合もある。実際、差し迫った緊急性があれば、ユーザはＨＭＤを急いで脱ぐ傾向があり、そうして順応を外すプロセスを避けることになる。これによりユーザは、身体的に不快になりがちとなる。

一実施形態では、現実世界に速やかにアクセスするために、ユーザがＨＭＤを脱がなくても現実世界と交流できるように現実世界への窓が設けられている。例えば、ユーザが２秒以上、下を見ている場合、ＨＭＤは現実世界への窓を開く。

図１０の例示的な実施形態では、ディスプレイ１５２の上半分を仮想情景として残しながら、スクリーンの下半分（又は他の割合）がシースルーの情景１５４を示している。この方法により、ユーザは電話の呼び出しに応え、あるいは電話の発信者ＩＤをチェックすることができる。

他の実施形態では、現実世界への「窓」は、ディスプレイの中央（例えば、長方形）、ディスプレイの片側、またはディスプレイの角などに設けることができる。

一実施形態では、混在情景モードの所定時間後、ＨＭＤは順応外しのプロセスを開始する。例えば、ユーザは電話で通話してもよく、電話で話し始めて１分後に、ユーザはＨＭＤを外したいと思うことがある。しかし、ユーザは電話対応に忙しいために、順応外しを開始するコマンド入力に時間を費やせないこともある。

他の実施形態では、ＨＭＤは他の計算装置と通信し、混在情景は遠隔の計算装置からのメッセージによって開始されることもある。例えば、ＨＭＤはＢｌｕｅｔｈｏｏｔｈを介して電話と通信し、ユーザがかかってきた電話を受信したとき、ＨＭＤは発信者ＩＤをディスプレイ上に示し、混在情景モードを開始する。こうして電話の着信に応えるかどうかを、ユーザは迅速に決断できる。

図１１は、一実施形態に従って、凝視を介して、入力された退出コマンドの検出を図示している。実施形態には、凝視ジェスチャが退出プロセスの開始のために検出できるものもある。例えば、退出の意図を示すために、ユーザは（図１０を参照して既述したように）所定時間下を見たり、ディスプレイ上またはディスプレイの周りの特定ターゲットを見てもよい。

例えば、退出コマンドを検出するターゲットであり得る凝視エリアは、円形ターゲット２６２及び２６４、あるいは、ディスプレイの頂部または上部エリア２５６、ディスプレイの左エリア２５４、ディスプレイの右エリア２５８、ディスプレイの下方エリア２６０などのように大きいエリアである。実施形態には、２以上のこれらのエリアが凝視ターゲットとして使用できる。

他の実施形態では、ユーザがディスプレイを凝視することによって特定トラジェクトリを形成して、退出コマンドを示すことができる。例えば、ユーザは、図６Ｂを参照して既述した同一のトラジェクトリを凝視することによってトレースしてもよい。

図１２は、一実施形態に従って、ＨＭＤ情景に没入する別のフェイズを図示している。ユーザがゲームをしていたところ、中断されたとき、重要なことは、ユーザがゲーム活動を再開したときに、そのゲームの進行を妨げることなく、ユーザがそれまでにいた同じ場所にゲームが復帰することである。例えば、誰かから電話の着信があったからといって、ゲームでのライフを失うことは嫌なことであろう。

一実施形態においては、既に考察したように、システムが退出コマンドを検出し、順応外しを開始する。システム（例えば、ＨＭＤ、ゲームコンソールまたは両方）は、ゲームの状態を保存し、ユーザがゲームに復帰できるようにする。一実施形態においては、ゲームはゲーム活動の経過を保持し、プレイヤが復帰したとき、ユーザが退出プロセスを開始した少し前に対応する箇所で再開する。例えば、ユーザは、実生活のできごとで中断されてしまい、ユーザが退出コマンドを入力するまでに数秒かかってしまうこともある。この遅れは、ゲームの進展がいくらか失われるという犠牲を、ユーザに払わせることになりかねない。ゲームについての不満を避けるために、ゲームは、ユーザがゲームに十分に興じていたと判断しても差しつかえのない箇所に復帰する。実施形態には、回復時刻と退出コマンドが入力された時刻の差と定義されるマージン期間が使用される。復帰時刻とは、プレイヤがゲームに復帰したとき、ゲームが再開される時刻である。

図１２は、プレイヤがいかにゲームに入り退出するかの実施例を図示したものである。記述の目的で、没入レベルは、ユーザのＨＭＤに対する順応度として定義される。完全な順応レベルとは、ユーザがＨＭＤに順応していることを言い、低い順応レベルとは、ユーザがＨＭＤの使用を開始するための順応化プロセスを経験していないことを言う。

最初に、ｔ_０でユーザがＨＭＤを装着し、順応を開始する。少し後で、ｔ_１においてユーザは順応化が済み、ゲームのプレイを開始する。少し経って、ｔ_３でゲーム機は、ユーザがコマンドを入力したか、またはシステムが潜在的な問題を検出したかのいずれかのために、ユーザは順応外しされる必要があることを検出する。

順応外しのプロセスがｔ_４で終了した後、ユーザはＨＭＤを脱ぐことができる。その後のｔ_５で、ユーザは再びＨＭＤを着用し、順応されるよう依頼する。ｔ_６で、ユーザは順応が済み、ゲームを再開する。

一実施形態においては、ユーザが順応外しを開始したｔ_３と全く同一状態で、ゲームが再開する。他の実施形態では、ゲームは、ｔ_２のように、退出プロセスが開始されたときより前の時点に対応するゲーム状態を再開する。

図１３Ａは、一実施形態に従って、ユーザをＨＭＤに順応させるフローチャートである。図１３Ａ−１３Ｃのフローチャートにはいろいろなオペレーションが示され、連続して記述されているが、この分野の通常の知識を有する者は、一部または全てのオペレーションが別の順序で実行され、組み合わされ、省略され、あるいは並列に実行され得ることが理解できよう。

オペレーション１３０２では、ユーザがＨＭＤを着用しておりディスプレイを見ているとシステムは認知する。例えば、図６Ａを参照して上述した実施形態は、ユーザを認知するために使用されてもよい。

この方法は、オペレーション１３０２からオペレーション１３０４へと続き、このとき現実世界の画像がＨＭＤのディスプレイ上に示されている。現実世界の画像はＨＭＤ上に提示されるシースルー画像であり、ＨＭＤがあたかも透明であるかのように、ユーザは現実世界を見ている。

オペレーション１３０６では、仮想オブジェクトがフェードインされ現実世界の画像に重ね合わされる。仮想オブジェクトは、一実施形態では、拡張現実モードで提示される。他の実施形態では、仮想オブジェクトは、拡張現実を必要とせずに、単に現実世界の存在している画像の上に重ねられる。

方法は、オペレーション１３０６からオペレーション１３０８へと続き、このときオペレーション１３０６で加えられた仮想画像はディスプレイ上で保持されながら、現実世界の情景が徐々にフェードアウトされる。従って、オペレーション１３０８の最後で、ディスプレイは仮想オブジェクトのみを示すことになる。

方法は、オペレーション１３０８からオペレーション１３１０へと続き、このときディスプレイ上で既に提示されている仮想オブジェクトの周りで、仮想世界が徐々にフェードインされる。オペレーション１３１０の最後で、ユーザは順応に入ったとみなされ、ＨＭＤオペレーションが開始できる。

図１３Ｂは、一実施形態に従って、ＨＭＤのユーザを順応からはずすフローチャートである。オペレーション１３２０において、システムは、ＨＭＤ上に表示された仮想世界を退出するリクエストを検出する。上述した通り、退出はユーザのアクションによって起こしてもよく、またはシステムによって検出された状況の結果によってもよい。

当該方法は、オペレーション１３２０からオペレーション１３２２に続き、このときディスプレイに残っている１つまたは複数の仮想オブジェクトを除いて、仮想世界が徐々にフェードアウトされる。当該方法は、オペレーション１３２２からオペレーション１３２４に続き、このときオペレーション１３２２で保存された１つまたは複数の仮想オブジェクトを維持しながら、現実世界画像（例えば、シースルーの情景）が徐々にフェードインされる。その１つまたは複数の仮想オブジェクトが、拡張現実モードで表示され、現実世界に重ね合わされる。

当該方法は、オペレーション１３２４からオペレーション１３２６に続き、このとき１つまたは複数の仮想オブジェクトがフェードアウトされる。その結果として、オペレーション１３２６の最後に、シースルーの情景のみがディスプレイに提示される。この時点で、ユーザは、順応から外れ、ＨＭＤを脱ぐことができる。

図１３Ｃは、一実施形態による、ＨＭＤの画像表示を管理するフローチャートである。オペレーション１３５２において、ＨＭＤを着用しているユーザの凝視が追跡される。ＨＭＤは、仮想世界の場面を表示している。

当該方法は、オペレーション１３５２からオペレーション１３５４に続き、このときシステムがユーザの凝視が所定のエリアに所定時間固定されていること（例えば、図１１を参照して上述した実施形態を参照）を検出するオペレーションを実行する。

当該方法は、オペレーション１３５４からオペレーション１３５６に続き、領域の外側の表示エリアの仮想世界の場面を維持しながら、オペレーション１３５４の検出に応答して、ＨＭＤの表示領域をフェードアウトする。実施形態によっては、表示領域が表示の一部のみを範囲として全体の表示を含んでいないものもある。

当該方法は、オペレーション１３５６からオペレーション１３５８に続き、領域を見通しているときにＨＭＤが恰もユーザにとって透明であるかのように（つまり、シースルーの情景モードにおいて）、現実世界の情景を領域にフェードインする。現実世界にフェードインしながら、仮想世界の場面は、領域の外側に維持される。このようにして、ユーザは、現実世界と迅速に交流できる現実世界への窓が提示される。

図１４は、本発明の実施形態を実行するために使用されるハードウェアとユーザインタフェイスを図示している。図１４は、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ（登録商標）３エンターテイメント装置の全体のシステムアーキテクチャの概略を図示している。システムユニット１４００には、システムユニット１４００に接続可能な各種周辺装置が用意される。システムユニット１４００は、Ｃｅｌｌ プロセッサ１４２８、Ｒａｍｂｕｓ（登録商標）ダイナミック・ランダム・アクセス・メモリ（ＸＤＲＡＭ）ユニット１４２６、専用ビデオ・ランダム・アクセス・メモリ（ＶＲＡＭ）ユニット１４３２を有するＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィック・ユニット１４３０及びＩ／Ｏブリッジ１４３４を備えている。システムユニット１４００は、また、Ｉ／Ｏブリッジ１４３４を介してアクセスできる、ディスク１４４０ａを読み取るＢｌｕ−ｒａｙ（登録商標）Ｄｉｓｋ ＢＤ−ＲＯＭ（登録商標）オプティカル・ディスク・リーダ１４４０及び取り外し可能なスロットイン・ハード・ディスク・ドライブ（ＨＤＤ）１４３６を備えている。任意であるが、システムユニット１４００は、また、同様にＩ／Ｏブリッジ１４３４を介してアクセス可能な、コンパクト・フラッシュ・メモリ・カード及びＭｅｍｏｒｙ Ｓｔｉｃｋ（登録商標）メモリカードなどを読み取るメモリ・カード・リーダ１４３８を備えている。

Ｉ／Ｏブリッジ１４３４は、また、６本のユニバーサルシリアルバス（ＵＳＢ）２．０ポート１４２４、ギガビット・イーサーネット・ポート１４２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート１４２０及び最大７個のＢｌｕｅｔｏｏｔｈ（登録商標）接続に対応可能なＢｌｕｅｔｏｏｔｈ（登録商標）無線リンク・ポート１４１８に接続する。

動作中、Ｉ／Ｏブリッジ１４３４は、１つまたは複数のゲームコントローラ１４０２−１４０３及びＨＭＤ１４１７からのデータを含む、全ての無線、ＵＳＢ及びイーサーネットのデータを取り扱っている。例えば、ユーザがゲームをするとき、Ｉ／Ｏブリッジ１４３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクを介して、ゲームコントローラ１４０２−１４０３からデータを受信し、Ｃｅｌｌプロセッサ１４２８に伝え、それに従いゲームの現行状態を更新する。

無線、ＵＳＢ及びイーサーネットは、また、ゲームコントローラ１４０２−１４０３及びＨＭＤ１４１７に加えて、遠隔制御１４０４、キーボード１４０６、マウス１４０８、Ｓｏｎｙ ＰＳＰ（登録商標）エンターテイメント装置のような携帯娯楽装置１４１０、ＰｌａｙＳｔａｔｉｏｎ（登録商標）アイカメラ１４１２、ヘッドフォン１４１４、及びマイクロフォン１４１５などのその他の周辺装置との接続を提供する。そのような周辺装置は、従って、基本的にはシステムユニット１４００に無線で接続されている。例えば、携帯娯楽装置１４１０がＷｉ−Ｆｉのアドホック接続を介して通信する一方、ヘッドフォン１４１４はＢｌｕｅｔｏｏｔｈ（登録商標）リンクを介して通信しえる。

これらのインターフェイスを備えることは、ＰｌａｙＳｔａｔｉｏｎ３装置もまたデジタル・ビデオ・レコーダ（ＤＶＲ）、セット・トップ・ボックス、デジタルカメラ、ポータブル・メディア・プレイヤ、インターネットプロトコル（ＩＰ）電話による音声、モーバイル電話、プリンタ及びスキャナなどの他の周辺装置と潜在的には互換性がある。加えて、旧式のメモリ・カード・リーダ１４１６をＵＳＢポート１４２４を介してシステムユニットに接続し、ＰｌａｙＳｔａｔｉｏｎまたはＰｌａｙＳｔａｔｉｏｎ２装置によって使用される類いのメモリカードを読み込めるようにしてもよい。

ゲームコントローラ１４０２−１４０３は、Ｂｌｕｅｅｔｏｏｔｈリンクを介してシステムユニット１４００へ無線で通信でき、またはＵＳＢポートと接続され、そうすることによって電力を供給し、ゲームコントローラ１４０２−１４０３のバッテリを充電する。ゲームコントローラ１４０２−１４０３は、また、メモリ、プロセッサ、メモリ・カード・リーダ、フラッシュメモリなどのパーマネントメモリ、照明された球状セクションなどの光エミッタ、ＬＥＤ、または、赤外光、超音波通信用マイクロフォン及びスピーカ、音響室、デジタルカメラ、内部クロック、ゲームコンソールに面する認識可能形状、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（商標）などのプロトコルを使用した無線通信を含む。認識可能形状は、球、六面体、平行四辺形、長方形平行六面体、立錐、ピラミッド、不完全球形、サッカボール、アメリカンフットボールまたはラグビボール、球の一部、先端を切ったピラミッド、先端を切った立錐、ベースボールバット、先端を切った六面体、多面体、星形など、または２つ以上のそれらの組み合わせの実質的な形状であってよい。

ゲームコントローラ１４０２は、両手で使用されるように設計され、ゲームコントローラ１４０３は、ボールアッタチメントを備えた片手コントローラである。１つまたは複数のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラは、三次元位置特定ができる。その結果として、ゲームのユーザによるジェスチャ及び動きが従来のボタンまたはジョイスチックコマンドに加えてまたは代わりにゲームの入力として変換される。任意であるが、ＳｏｎｙＰＳＰ（登録商標）ポータブルデバイスなどの無線利用が可能な周辺装置が、コントローラとして使用されてもよい。ＳｏｎｙＰＳＰ（登録商標）ポータブルデバイスの場合、付加的なゲームまたはコントロール情報（例えば、コントロールの指示またはライフの数）が装置のスクリーン上に提供されてもよい。ダンスマット（図示せず）、光線銃（図示せず）、ハンドルまたはペダル（図示せず）あるいは快速応答クイズゲーム用単一または複数の大きなボタンなどの特注のコントローラ（これも図示せず）など、他の代替または補助的制御装置が、また、使用されてもよい。

遠隔制御１４０４も、また、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクを介して、システムユニット１４００と無線で通信できる。遠隔制御１４０４は、Ｂｌｕ−ｒａｙ Ｄｉｓｋ ＢＤ−ＲＯＭリーダ１４４０の操作及びディスクコンテントのナビゲーションに適するコントロールから構成される。

Ｂｌｕ−ｒａｙ Ｄｉｓｋ ＢＤ−ＲＯＭリーダ１４４０は、従来の予め記録されたＣＤ及び記録可能なＣＤ、所謂スーパオーディオＣＤに加えて、ＰｌａｙＳｔａｔｉｏｎ及びＰｌａｙＳｔａｔｉｏｎ２装置と互換性があるＣＤ−ＲＯＭを読むことができる。またリーダ１４４０は、従来の予め記録されたＤＶＤ及び読み取り可能なＤＶＤに加えて、ＰｌａｙＳｔａｔｉｏｎ２及びＰｌａｙＳｔａｔｉｏｎ３装置と互換性のあるＤＶＤ−ＲＯＭを読むことができる。リーダ１４４０は、更に、従来の予め記録されたＢｌｕ−ｒａｙ Ｄｉｓｋ及び読み取り可能のＢｌｕ−ｒａｙ Ｄｉｓｋ、並びにＰｌａｙＳｔａｔｉｏｎ３装置と互換性のあるＢＤ−ＲＯＭを読むことができる。

システムユニット１４００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィック・ユニット（ＲＳＸ）１４３０を介して、ＰｌａｙＳｔａｔｉｏｎ３装置によって生成または復号のいずれかがなされたオーディオ及びビデオを、オーディオ１４５０及びビデオ１４５２コネクタを通して、ディスプレイ１４４４及び１つまたは複数のラウドスピーカ１４４６またはスタンドアローンのスピーカ１４４８を有するモニタまたはテレビジョンセットなどのディスプレイ及びサウンド出力装置１４４２に供給できる。一実施形態において、音声と凝視入力はユーザの凝視ポイント（ＰＯＧ）に従って特定のオーディオスピーカに向けてサウンドをプレイするために使用される。ビデオコネクタ１４５２はコンポーネントビデオ、Ｓ−ビデオ、複合ビデオ及び１つまたは複数の高精細マルチメディアインターフェイス（ＨＤＭＩ（登録商標））出力を各種含むことができるが、オーデイオコネクタ１４５０は、従来のアナログ及びデジタル出力を含むことができる。結果として、ビデオ出力は、ＰＡＬまたはＮＴＳＣのようなフォーマットで、あるいは７２０ｐ、１０８０ｉまたは１０８０ｐ高精細であってよい。

オーディオ処理（生成、復号など）は、Ｃｅｌｌプロセッサ１４２８によって実行される。ＰｌａｙＳｔａｔｉｏｎ３装置のオペレーティングシステムは、Ｄｏｌｂｙ（登録商標）５．１サラウンドサウンド、Ｄｏｌｂｙ（登録商標）シアターサラウンド（ＤＴＳ）及びＢｌｕ−ｒａｙディスクからの７．１サラウンドサウンドの復号に対応している。

本実施形態では、ビデオカメラ１４１２は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインディケータ、ハードウェアベースリアルタイムデータ圧縮及び符号化装置から構成され、圧縮ビデオデータは、復号用イントライメージベースＭＰＥＧ（ムービング・ピクチャー・エクスパーツ・グループ）標準などの適切なフォーマットにして、システムユニット１４００によって送信される。カメラＬＥＤインディケータは、例えば、逆光条件を示すために、システムユニット１４００からの適当な制御データに応答して照明するように配置される。ビデオカメラ１４１２の実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ通信ポートを介して、システムユニット１４００に多様に接続することができる。ビデオカメラの実施形態は、１つまたは複数の付属マイクロフォンを備えてもよく、また、オーディオデータを送信することができる。ビデオカメラの実施形態では、ＣＣＤが高精細ビデオキャプチャに適合する解像度を持つことができる。使用において、ビデオカメラによって撮られた画像は、例えば、ゲーム内に組み込まれてもよく、またはゲーム制御入力として解釈されてもよい。他の実施形態では、カメラは、赤外光の検出に相応しい赤外線カメラである。

一般に、ビデオカメラのような周辺装置またはシステムユニット１４００の通信ポートの１つを介する遠隔制御と成功裏に通信をするために、ビデオドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術は周知であり、この分野の通常の知識を有する者は、デバイスドライバまたは同様なソフトウェアインターフェイスが記述されている本実施形態において必要とされることに気が付いているだろうということを除いて、ここでは記述しない。

図１５は、本発明のいろいろな実施形態によるゲームシステム１１００のブロック図である。ゲームシステム１１００は、ネットワーク１１１５を介して、１つまたは複数のクライアント１１１０にビデオストリームを提供する構成にされている。ゲームシステム１１００は、典型的には、ビデオサーバシステム１１２０及び任意のゲームサーバ１１２５を備えている。ビデオサーバシステム１１２０は、最小限度のサービス品質で、ビデオストリームを１つまたは複数のクライアント１１１０に提供する構成にされている。例えば、ビデオサーバシステム１１２０は、ビデオゲーム内の状態または視点を変えるゲームコマンドを受信することができ、最小の遅延時間で状態変化を反映している更新ビデオストリームをクライアント１１１０に提供する。ビデオサーバシステム１１２０は、これから決められるフォーマットを含む広汎な代替ビデオフォーマットでビデオストリームを提供する構成とされてもよい。更に、ビデオストリームは、広汎なフレーム速度でユーザに提示するよう構成されたビデオフレームを含むことができる。典型的なフレーム速度は、１秒当たり３０フレーム、１秒当たり６０フレーム及び１秒当たり１１２０フレームである。ただし、もっと高い又は低いフレーム速度が、本発明の代替の実施形態に含まれる。

クライアント１１１０は、本明細書では、個別に１１１０Ａ、１１１０Ｂなどと称しているが、頭部装着ディスプレイ、ターミナル、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セット・トップ・ボックス、キオスク、無線装置、デジタルパッド、スタンドアロンデバイス、携帯型ゲームプレイングデバイスなどを含むことができる。典型的には、クライアント１１１０は、符号化ビデオストリームを受信し、ビデオストリームを復号し、結果として生じたビデオを、ユーザ、例えば、ゲームのプレイヤに提示する。符号化ビデオストリームの受信及び／またはビデオストリームの復号のプロセスは、典型的には、個々のビデオフレームをクライアントの受信バッファに格納することを含む。ビデオストリームは、クライアント１１１０と一体化したディスプレイ上で、あるいはモニタまたはテレビのような別の装置上で、ユーザに提示されてもよい。クライアント１１１０は、任意であるが、一人を超えるプレイヤに対応するように構成されてもよい。例えば、ゲームコンソールは、同時に、二人、三人、四人あるいはそれを超えるプレイヤに対応する構成とされることができる。これらのプレイヤのそれぞれは、別のビデオストリームを受信することができ、または単一のビデオストリームは、例えば各プレイヤの視点に基づいて、各プレイヤに個別に生成されるフレームの領域を含むこともできる。クライアント１１１０は、任意であるが、地理的に分散される。ゲームシステムに含まれるクライアント１１００の数は、広汎に変化し、１つまたは２つから、数千、数万またはそれを超える数であってもよい。この明細書で使用されている通り、「ゲームプレイヤ」は、ゲームをする人を言い、「ゲームプレイングデバイス」は、ゲームをするために使用される装置を言う。実施形態には、ゲーム経験をユーザに伝えるために協働する複数の計算装置であってもよいものもある。例えば、ゲームコンソール及びＨＭＤは、ＨＭＤを通して見るゲームを提供するために、ビデオサーバシステム１１２０と協働することができる。一実施形態において、ゲームコンソールはビデオサーバシステム１１２０からビデオストリームを受信し、そしてゲームコンソールはビデオストリームを、またはビデオストリームの更新を、レンダリングのためにＨＭＤに伝送する。

クライアント１１１０は、ネットワーク１１１５を介して、ビデオストリームを受信する構成にされる。ネットワーク１１１５は、電話ネットワーク、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワークなどでどのタイプの通信ネットワークでもよい。典型的な実施形態では、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルを介して、通信される。代替的には、ビデオストリームは、独自の標準を介して、通信される。

クライアント１１１０の典型的な実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号ロジック、ネットワーク通信能力及び入力装置から構成されるパーソナルコンピュータである。復号ロジックは、ハードウェア、ファームウェア、及び／またはコンピュータ読取可能媒体に格納されたソフトウェアを備えてもよい。ビデオストリームを復号（及び符号化）するシステムは、この分野で周知であり、使用される特定の符号化スキームによって変わる。

クライアント１１１０は、必ずしも必要とされないが、更に、受信されたビデオを修正する構成にされたシステムを備えている。例えば、クライアントは、更に、レンダリングを実行する、１つのビデオ画像をもう１つのビデオ画像にオーバーレイする、ビデオ画像の端を切るなどをする構成にされてもよい。例えば、クライアント１１１０は、Ｉ−フレーム、Ｐ−フレーム、Ｂ−フレームなどの各種タイプのビデオフレームを受信し、これらのフレームをユーザに表示する画像にする処理をするように構成にされてもよい。実施形態によっては、クライアント１１１０の構成要素は、さらなるレンダリング、シェーディング、３−Ｄへの変換などのビデオストリームに関するオペレーションを実行する構成にされる。クライアント１１１０の構成要素は、任意であるが、複数のオーディオまたはビデオストリームを受信する構成にされる。クライアント１１１０の入力装置は、例えば、片手のゲームコントローラ、両手のゲームコントローラ、ジェスチャア認識システム、凝視認識システム、音声認識システム、キーボード、ジョイスティック、位置指示装置、強制フィードバック装置、動き及び／または位置感知装置、マウス、タッチスクリーン、ニューラルインターフェイス、カメラ、これから開発される入力装置などを含むことができる。

クライアント１１１０によって受信されたビデオストリーム（及び、任意であるが、オーディオストリーム）は、ビデオサーバシステム１１２０によって生成され、提供される。この明細書の他の箇所で更に記述している通り、このビデオストリームは、ビデオフレームを含む（及びオーディオストリームはオーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に大きく寄与する（例えば、それらは、適当なデータストラクチャにピクセル情報を含む）構成にされる。この明細書に使用されている通り、用語「ビデオフレーム」は、ユーザに示される画像に寄与する、例えば効果を及ぼすように構成される情報を主体として含むフレームに言及するために使用される。この明細書におけるビデオフレームに関する教示の殆どは、オーディオフレームにも、また、適用され得る。

クライアント１１１０は、典型的には、ユーザから入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変え、さもなければゲームプレイに影響するように構成されたゲームコマンドを含むことができる。ゲームコマンドは、入力装置を使用して受信され、及び／またはクライアント１１１０上で実行されるコンピューティングインストラクションによって自動的に生成され得る。受信されたゲームコマンドは、ネットワーク１１１５を介して、クライアント１１１０からビデオサーバシステム１１２０及び／またはゲームサーバ１１２５に通信される。例えば、実施形態によっては、ゲームコマンドは、ビデオサーバシステム１１２０を介して、ゲームサーバ１１２５に通信されるものもある。実施形態には、ゲームコマンドの別のコピーがクライアント１１１０からゲームサーバ１１２５とビデオサーバシステム１１２０に通信されるものもある。ゲームコマンドの通信は、任意であるが、コマンドのアイデンティティに依存する。ゲームコマンドは、任意であるが、オーディオストリームまたはビデオストリームをクライアント１１１０Ａに提供するために使用される別のルートあるいはコミュニケ―ションチャンネルを介して、クライアント１１１０Ａから通信される。

ゲームサーバ１１２５は、任意にビデオサーバシステム１１２０とは別のエンティティによって操作されている。例えば、ゲームサーバ１１２５は、マルチプレイヤゲームのパブリッシャによって操作させ得る。この例では、ビデオサーバシステム１１２０は、任意にゲームサーバ１１２５によってクライアントとしてみなされ、任意に、ゲームサーバ１１２５の視点からは従来技術のゲームエンジンを実行している従来技術のクライアントであるとみえるように構成されている。ビデオサーバシステム１１２０及びゲームサーバ１１２５の間の通信は、任意にネットワーク１１１５を介して行われている。これにより、ゲームサーバ１１２５は、ゲームサーバシステム１１２０がそのうちの１つである複数のクライアントにゲームの状態情報を送信する従来技術のマルチプレイヤゲームサーバであってもよい。ビデオサーバシステム１１２０は、同時にゲームサーバ１１２５の複数のインスタンスと通信するように構成されてもよい。例えば、ビデオサーバシステム１１２０は、異なるユーザに複数の異なるビデオゲームを提供するように構成できる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ１１２５によってサポートされ、及び／または異なるエンティティによって発表されてもよい。実施形態には、ビデオサーバシステム１１２０のいくつかの地理的に分散されたインスタンスが、複数の異なるユーザにゲームビデオを提供するように構成されているものもある。ビデオサーバシステム１１２０のこれらの各インスタンスは、ゲームサーバ１１２５の同じインスタンスと通信することができる。ビデオサーバシステム１１２０と１つまたは複数のゲームサーバ１１２５との通信は、任意に専用の通信チャネルを介して行われる。例えば、ビデオサーバシステム１１２０は、これら２つのシステム間の通信の専用の高帯域幅チャネルを介してゲームサーバ１１２５に接続し得る。

ビデオサーバシステム１１２０は、少なくともビデオソース１１３０、Ｉ／Ｏデバイス１１４５、プロセッサ１１５０及び非一時的ストレージ１１５５を含む。ビデオサーバシステム１１２０は、一つの計算装置を含むか、または複数の計算装置間で分散されてもよい。これらの計算装置は、任意にローカルエリアネットワークのような通信システムを介して接続されている。

ビデオソース１１３０は、ストリーミングビデオまたは動画像を構成する一連のビデオフレームなどのようなビデオストリームを提供するように構成されている。実施形態には、ビデオソース１１３０は、ビデオゲームエンジンとレンダリングロジックを含むものもある。ビデオゲームエンジンは、プレイヤからゲームコマンドを受信し、受信したコマンドに基づいて、ビデオゲームの状態のコピーを維持するように構成されている。このゲームの状態は、ゲーム環境内のオブジェクトの位置だけでなく、一般的に視点を含む。またゲーム状態は、オブジェクトの特性、画像、色及び／またはテクスチャも含む。ゲーム状態は、典型的には、ゲームのルールならびに動き、旋回、攻撃、フォーカス設定、対話、使用及び／またはそのようなゲームコマンドに基づいて維持されている。ゲームエンジンの一部は、任意にゲームサーバ１１２５内に配置されている。ゲームサーバ１１２５は、地理的に分散されているクライアントを使用して、複数のプレイヤから受信したゲームコマンドに基づくゲーム状態のコピーを維持することができる。これらの場合には、ゲーム状態がゲームサーバ１１２５からビデオソース１１３０に提供され、ビデオソース１１３０においてゲーム状態のコピーが格納され、そのコピーがレンダリングされる。ゲームサーバ１１２５は、ネットワーク１１１５を介して、クライアント１１１０からゲームコマンドを直接受信でき、及び／またはビデオサーバシステム１１２０を介してゲームコマンドを受信することができる。

ビデオソース１１３０は、典型的には、ハードウェア、ファームウェア及び／またはストレージ１１５５のようなコンピュータ読取可能媒体に格納されるソフトウェアのようなレンダリングロジックを含む。このレンダリングロジックは、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成するように構成されている。レンダリングロジックの全部または一部は、任意にグラフィックス処理ユニット（ＧＰＵ）内に配置される。レンダリングロジックは、典型的に、オブジェクト間の３次元空間的関係を決定するために構成された処理ステージ及び／またはゲーム状態と視点に基づいて適切なテクスチャを適用するために構成された処理ステージを含む。レンダリングロジックは、生のビデオを生成し、生のビデオはその後、通常は、クライアント１１１０との通信の前に符号化される。例えば、生のビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）標準、.ｗａｖ、Ｈ.２６４、Ｈ.２６３、Ｏｎ２、ＶＰ６、ＶＣ―１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、 ｘ２６４、ＶＰ６―８、ｒｅａｌｖｉｄｅｏ、ｍｐ３などに従って符号化できる。符号化処理は、任意にリモート装置上のデコーダへの配信のためにパッケージ化されたビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。他のフレームサイズを使用してもよいが、典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８を含む。フレームレートは、毎秒のビデオフレームの数である。ビデオストリームは、異なるタイプのビデオフレームを含んでもよい。例えば、Ｈ．２６４規格は、 「Ｐ」フレーム 及び「Ｉ」フレームを含む。 Ｉフレームは、表示デバイス上のすべてのマクロブロック／ピクセルをリフレッシュするための情報を含み、Ｐフレームは、そのサブセットをリフレッシュするための情報を含む。Ｐフレームは、典型的にはＩフレームよりもデータサイズが小さい。本明細書において使用する用語「フレームサイズ」とは、フレーム内のピクセルの数を意味している。「フレームデータサイズ」という用語は、フレームを格納するのに必要なバイト数を指すために使用されている。

代替的な実施形態では、ビデオソース１１３０は、カメラなどのビデオ記録装置を含む。このカメラは、コンピュータゲームのビデオストリームに含める遅延またはライブビデオを生成するために使用できる。得られたビデオストリームは、任意にレンダリングされた画像と静止画またはビデオカメラを使用して記録された画像の両方を含む。ビデオソース１１３０は、ビデオストリームに含まれるように、以前に記録されたビデオを記憶するように構成された記憶装置を含み得る。ビデオソース１１３０は、オブジェクト、例えば人の動きや位置を検出するように構成された動き検出装置または位置検出装置及び検出された動き及び／または位置に基づいて、ゲームの状態を特定またはビデオを生成するように構成されたロジックを含んでもよい。

ビデオソース１１３０は、他のビデオの上に配置されるように構成されたオーバーレイを提供するように任意に構成されている。例えば、これらのオーバーレイは、コマンドインタフェース、ログインインストラクション、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤのビデオフィード（例えば、ウェブカメラのビデオ）などを含んでもよい。タッチスクリーンインターフェースまたは凝視検出インターフェイスを含むクライアント１１１０Ａの実施形態では、オーバーレイは、仮想キーボード、ジョイスティック、タッチパッド及び／または同様のものを含むことができる。オーバーレイの一実施例では、プレイヤの声は、音声ストリームにオーバーレイされている。ビデオソース１１３０は、任意に、さらに１つまたは複数のオーディオソースを含む。

ビデオサーバシステム１１２０は、複数のプレイヤからの入力に基づいて、ゲームの状態を維持するように構成されている実施形態では、各プレイヤは、情景の位置及び方向を含む異なる視点を有することができる。ビデオソース１１３０は、各プレイヤの視点に基づいて、各プレイヤのための別個のビデオストリームを提供するように任意に構成されている。さらに、ビデオソース１１３０は、各クライアント１１１０に異なるフレームサイズ、フレームデータサイズ、及び／または符号化を提供するように構成され得る。ビデオソース１１３０は、３次元ビデオを提供するように任意に構成されている。

Ｉ／Ｏデバイス１１４５は、ビデオ、コマンド、情報のリクエスト、ゲームの状態、凝視情報、デバイスの動き、デバイスの位置、ユーザの動き、クライアントのＩＤ、プレイヤのＩＤ、ゲームコマンド、セキュリティ情報、オーディオ及び／または同様の情報を送信及び／または受信するためにビデオサーバシステム１１２０用に構成されている。 Ｉ／Ｏデバイス１１４５は、典型的には、ネットワークカードやモデムなどの通信ハードウェアを含む。 Ｉ／Ｏデバイス１１４５は、ゲームサーバ１１２５、ネットワーク１１１５、及び／またはクライアント１１１０と通信するように構成されている。

プロセッサ１１５０は、本明細書において記載されたビデオサーバシステム１１２０の様々なコンポーネントに含まれているソフトウェアなどのロジックを実行するように構成されている。例えば、プロセッサ１１５０は、ビデオソース１１３０、ゲームサーバ１１２５、及び／またはクライアント・クオリファイヤ１１６０の機能を実行するためにソフトウェアインストラクションでプログラムされている。ビデオサーバシステム１１２０は、任意にプロセッサ１１５０の複数のインスタンスを含む。また、プロセッサ１１５０は、ビデオサーバシステム１１２０によって受信されたコマンドを実行するため、または本明細書において記載されたゲームシステム１１００の種々の要素のオペレーションを調整するためにソフトウェアインストラクションでプログラムされている。プロセッサ１１５０は、１つまたは複数のハードウェア装置を含んでもよい。プロセッサ１１５０は、電子プロセッサである。

ストレージ１１５５は、非一時的アナログ及び／またはデジタル記憶装置を含む。例えば、ストレージ１１５５はビデオフレームを格納するためのアナログストレージデバイスを含む。ストレージ１１５５は、ハードドライブ、光学ドライブ、またはソリッド・ステート・ストレージなどのようなコンピュータ読み取り可能なデジタル・ストレージを含む。ストレージ１１１５は、ビデオフレーム、人工フレーム、ビデオフレーム及び人工フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム、及び／または同様のものを格納するために（例えば、適切なデータ構造またはファイルシステムの方法によって）構成されている。ストレージ１１５５は、任意に、複数のデバイス間に分散されている。実施形態には、ストレージ１１５５は、本明細書において記載のビデオソース１１３０のソフトウェア・コンポーネントを格納するように構成されているものもある。これらのコンポーネントは、必要なときに提供できるような形式で格納することができる。

ビデオサーバシステム１１２０は、任意に、更に、クライアント・クオリファイヤ１１６０を含む。クライアント・クオリファイヤ１１６０は、リモートでクライアント１１１０Ａや１１１０Ｂなどのクライアントの能力を特定するように構成されている。これらの能力は、クライアント１１１０Ａ自体の能力、ならびにビデオサーバシステム１１２０とクライアント１１１０Ａとの間の１つまたは複数の通信チャネルの能力の両方を含み得る。例えば、クライアント・クオリファイヤ１１６０は、ネットワーク１１１５を介して通信チャネルをテストするように構成されてもよい。

クライアント・クオリファイヤ１１６０は、手動または自動にクライアント１１１０Ａの能力を判断（例えば、発見）することができる。手動の判断は、クライアント１１１０Ａのユーザと通信し、能力を提供するようにユーザに求めることを含む。例えば、実施形態には、クライアント・クオリファイヤ１１６０は、画像、テキストなどをクライアント１１１０Ａのブラウザ内に表示するように構成されているものもある。一実施形態では、クライアント１１１０Ａは、ブラウザが含まれているＨＭＤである。別の実施形態では、クライアント１１１０Ａは、ＨＭＤに表示できるブラウザを有するゲーム機である。表示されるオブジェクトは、ユーザがクライアント１１１０Ａのオペレーティングシステム、プロセッサ、ビデオ・デコーダ・タイプ、ネットワーク接続のタイプ、表示解像度などの情報を入力することを要求する。ユーザが入力した情報は、再びクライアント・クオリファイヤ１１６０に伝達される。

自動の判断は、例えば、クライアント１１１０Ａ上のエージェントを実行することにより、及び／またはクライアント１１１０Ａにテストビデオを送信することによって行われる。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされたＪＡＶＡ（登録商標）スクリプトのような計算インストラクションを含み得る。エージェントは、任意にクライアント・クオリファイヤ１１６０によって提供されている。様々な実施形態では、エージェントは、クライアント１１１０Ａの処理能力、クライアント１１１０Ａの復号及び表示能力、クライアント１１１０Ａとビデオサーバシステム１１２０との間の時間遅延の信頼性と通信チャネルの帯域幅、クライアント１１１０Ａの表示タイプ、クライアント１１１０Ａに存在するファイアウォール、クライアント１１１０Ａのハードウェア、クライアント１１１０Ａ上で実行されるソフトウェア、クライアント１１１０Ａ内のレジストリエントリなどを見つけることができる。

クライアント・クオリファイヤ１１６０は、コンピュータ読取可能媒体に格納されたハードウェア、ファームウェア及び／またはソフトウェアを含む。クライアント・クオリファイヤ１１６０は、任意にビデオサーバシステム１１２０の１つ以上の他の要素とは別の計算装置上に配置されている。例えば、実施形態には、クライアント・クオリファイヤ１１６０は、クライアント１１１０とビデオサーバシステム１１２０の複数のインスタンスとの間の通信チャネルの特性を特定するように構成されているものもある。これらの実施形態では、クライアント・クオリファイヤによって発見された情報は、ビデオサーバシステム１１２０のどのインスタンスがクライアント１１１０の１つにストリーミングビデオを配信するのに最も適しているのかを特定するために使用できる。

本明細書の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能なコンシューマエレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施することができる。実施形態は、タスクがネットワークを介してリンクされているリモート処理装置によって実行される分散コンピューティング環境でも実施することができる。

上記実施形態を留意して、実施形態は、コンピュータシステムに格納されたデータを伴う様々なコンピュータ実装オペレーションを使用できることが理解されるべきである。これらのオペレーションは、物理量の物理的操作を必要とするものである。実施形態の一部を形成する、本明細書に記載のいずれかのオペレーションは、有用なマシンオペレーションである。また、実施形態は、これらのオペレーションを実行するためのデバイスまたは装置に関する。装置は、専用コンピュータなどのように、必要な目的のために特に構築されてもよい。専用コンピュータとして定義すると、コンピュータは、特別な目的のために動作することが可能でありながら、他の処理、プログラムの実行または特別な目的の一部ではないルーチンを実行することができる。また、オペレーションは、コンピュータメモリ、キャッシュに格納されたまたはネットワークを介して取得された１つ以上のコンピュータプログラムによって選択的に起動または構成された汎用コンピュータにより処理されてもよい。データがネットワークを介して取得されるとき、データは、例えば、コンピューティングリソースのクラウドのようなネットワーク上の他のコンピュータによって処理されてもよい。

本明細書の一つ以上の実施形態は、コンピュータ読取可能媒体上のコンピュータ読み取り可能なコードとして生成することもできる。コンピュータ読取可能媒体は、データを記憶できる任意のデータ記憶装置であり、コンピュータシステムによってその後読み取ることができる。コンピュータ読取可能媒体の実施例としては、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ―ＲＯＭ、ＣＤ―Ｒ、ＣＤ―ＲＷ、磁気テープ及び他の光学及び非光学データ記憶装置を含む。コンピュータ読取可能媒体は、コンピュータ読取可能コードが分散方式で格納及び実行されるように、ネットワーク結合型コンピュータシステム上に分散コンピュータ読み取り可能な有形の媒体を含むことができる。

方法オペレーションは特定の順序で記載されたが、オーバーレイ動作の処理が所望の方法で行われる限り、他のハウスキーピングオペレーションはオペレーションの間に行ってもよいし、オペレーションがわずかに異なる時間に発生するように調整されてもよく、処理に関連する様々な間隔で処理オペレーションの発生を許すシステムに分散されてもよいと理解されるべきである。

上述した実施形態は理解を明確にする目的のためにある程度詳細に説明してきたが、特定の変更及び改変が、添付の特許請求の範囲内に実施できることは明らかであろう。従って、本明細書は、例示であって制限的なものではないと考えるべきであり、本発明は、本明細書に提示された詳細事項に限定されるものではなく、添付の特許請求の範囲及び均等物の範囲内で改変することができる。
実施形態をいくつか挙げる。
１．頭部装着装置（ＨＭＤ）の画像表示の管理方法であって、
仮想世界の場面を表示する前記ＨＭＤを着用するユーザの凝視を追跡するステップと、
前記ユーザの前記凝視が所定エリアに所定時間固定されていることを検出するステップと、
前記検出するステップに応答して前記ＨＭＤの表示領域をフェードアウトする一方、前記領域外の表示エリア内の前記仮想世界の前記場面を維持するステップと、
前記領域を見通しているときに前記ＨＭＤが前記ユーザにとって透明であるかのように現実世界の情景を前記領域にフェードインするステップとを含み、
前記フェードインするステップは前記領域外の前記仮想世界の前記場面を維持するステップを含む、方法。
２．前記所定エリアは、前記表示の下方に形成されたエリア、前記表示の片側に形成されたエリア、前記表示の上方に形成されたエリアまたは前記表示の角に形成されたエリアの１つである実施形態１に記載の方法。
３．前記所定エリアは前記表示の下方に形成され、前記領域は前記表示の下半分である実施形態１に記載の方法。
４．前記領域は前記表示の中心にある長方形である実施形態１に記載の方法。
５．前記フェードアウトの前に前記ユーザに確認を求めるステップを更に含む実施形態１に記載の方法。
６．前記現実世界の前記情景を終了するためのコマンドを前記ユーザから受信するステップと、
前記領域の前記現実世界の前記情景をフェードアウトすること及び前記仮想世界の前記情景を前記領域にフェードインするステップとを更に含む実施形態１に記載の方法。
７．前記凝視を追跡するステップは、更に、
前記ユーザの眼の画像を前記ＨＭＤ内のカメラで取り込むステップと、
前記ユーザの前記凝視を判断するために前記取り込んだ画像を分析するステップとを含む実施形態１に記載の方法。
８．前記現実世界の前記情景は前記ＨＭＤの前のカメラによって取り込まれる実施形態１に記載の方法。
９．前記所定の時間が２秒である実施形態１に記載の方法。
１０．頭部装着装置（ＨＭＤ）の画像表示管理方法であって、
ユーザを前記ＨＭＤに順応させるためにオペレーションを検出するステップと、
前記ＨＭＤが透明であるかのようにディスプレイに現実世界の情景を提示するステップと、
仮想要素を拡張現実モードにある前記現実世界の前記情景に加えるステップと、
前記ディスプレイに前記仮想要素を維持しながら前記ディスプレイから前記現実世界をフェードアウトするステップと、
前記仮想要素の周りの仮想世界をフェードインするステップとを含む、方法。
１１．前記拡張現実モードは仮想オブジェクトが前記現実世界に配置されているかのように前記仮想オブジェクトを提示するステップを含み、前記現実世界に関する前記ＨＭＤの動きが前記仮想オブジェクトの同一場所を前記現実世界に収容している実施形態１０に記載の方法。
１２．前記現実世界と前記仮想世界は前記仮想要素を除き前記ディスプレイ上で混合されない実施形態１０に記載の方法。
１３．前記現実世界と前記仮想世界は前記現実世界が、前記フェードアウトの間、混合される実施形態１０に記載の方法。
１４．前記仮想要素を加えるステップは、更に、前記現実世界の前記情景に前記仮想要素をフェードインするステップを含む実施形態１０に記載の方法。
１５．前記方法のオペレーションは１つまたは複数のプロセッサによって稼働されたときにコンピュータプログラムによって実行され、前記コンピュータプログラムは非一時的コンピュータ読取可能媒体に埋め込まれている、実施形態１０に記載の方法。
１６．頭部装着装置（ＨＭＤ）の画像表示を管理するために１つまたは複数のプロセッサによって稼働されているときに非一時的コンピュータ読取可能媒体に埋め込まれているコンピュータプログラムであって、
仮想世界の場面を表示する前記ＨＭＤを着用するユーザの凝視を追跡するプログラムインストラクションと、
仮想世界の情景を表示する前記ＨＭＤを着用するユーザの凝視を追跡するプログラムインストラクションと、
前記ユーザの前記凝視が所定エリアに所定時間固定されていることを検出するプログラムインストラクションと、
前記検出に応答して、前記ＨＭＤの表示領域をフェードアウトする一方、前記領域外の表示エリアの前記仮想世界の前記場面を維持するプログラムインストラクションと、
前記領域を見通しているときに前記ＨＭＤが前記ユーザにとって透明であるかのように現実世界の情景を前記領域にフェードインするプログラムインストラクションとを含み、
前記フェードインするステップは前記領域外の前記仮想世界の前記場面を維持するステップを含む、コンピュータプログラム。
１７．前記所定エリアは、前記表示の下方に形成されたエリア、前記表示の片側に形成されたエリア、前記表示の上方に形成されたエリアまたは前記表示の角に形成されたエリアの１つである実施形態１６に記載のコンピュータプログラム。
１８．前記所定エリアは、前記表示の下方に形成され、前記領域は前記表示の下半分である実施形態１６に記載のコンピュータプログラム。
１９．前記現実世界の前記情景を終了するためのコマンドを前記ユーザから受信するステップと、
前記領域の前記現実世界の前記情景をフェードアウトするステップと、
前記領域の前記仮想世界の情景をフェードインするステップとを更に含む実施形態１６に記載のコンピュータプログラム。
２０．前記凝視を追跡するステップは、更に、
前記ユーザの眼の画像を前記ＨＭＤ内のカメラで取り込むステップと、
前記ユーザの前記凝視を判断するために前記取り込んだ画像を分析するステップとを含む実施形態１６に記載のコンピュータプログラム。
２１．頭部装着装置（ＨＭＤ）の画像表示管理方法であって、
ユーザの凝視が前記ＨＭＤの表示上に投影されるときに前記ユーザの前記凝視を追跡するステップと、
前記凝視の追跡のときに前記凝視のトラジェクトリを識別するステップと、
前記識別されたトラジェクトリと前記ユーザのシグネチャを比較するステップと、
前記シグネチャは凝視のシグネチャトラジェクトリを含んでおり、前記識別されたトラジェクトリが前記シグネチャトラジェクトリに対応するとき前記ＨＭＤのリソースをアクセス可能にするステップとを含む、方法。

Claims (1)

1. 頭部装着装置（ＨＭＤ）の画像表示の管理方法であって、
   仮想世界の場面を表示する前記ＨＭＤを着用するユーザの凝視を追跡するステップと、
   前記ユーザの前記凝視が所定エリアに所定時間固定されていることを検出するステップと、
   前記検出するステップに応答して前記ＨＭＤの表示領域をフェードアウトする一方、前記領域外の表示エリア内の前記仮想世界の前記場面を維持するステップと、
   前記領域を見通しているときに前記ＨＭＤが前記ユーザにとって透明であるかのように現実世界の情景を前記領域にフェードインするステップとを含み、
   前記フェードインするステップは前記領域外の前記仮想世界の前記場面を維持するステップを含む、方法。