JP2014504413A - 理解および意図に基づく拡張現実表示用コンテンツ - Google Patents

Abstract

透視ディスプレイ・デバイスまたは頭部装着ディスプレイ・デバイスというような、ニアアイ・ディスプレイ・デバイスを用いるときに、ユーザーの体験を改良する方法およびシステムを提供する。場面において１つ以上の物体と相互作用するユーザーの意図を判定する。ユーザーの意図に基づいて、ユーザーに最適画像を生成する。この最適画像は、透視ディスプレイ・デバイスを介して、ユーザーに表示される。最適画像は、場面においてユーザーが相互作用しようとする物体の外観を視覚的に強調し、場面においてユーザーが相互作用しようとしない物体の外観を目立たなくする。最適画像は、ユーザーの理解を高める物体の外観を視覚的に強調することができる。
【選択図】図１４

Description

[0001] 拡張現実(augmented reality)とは、仮想形像(virtual imagery)を実世界の物理環境または空間と混合することを可能にする技術である。通例、仮想物体および実物体の混合形像を見るために、ユーザーは透視ニアアイ・ディスプレイ(see through near eye display)を着用する。一般に、ニアアイ・ディスプレイは、光学素子と立体素子(stereopsis)との組み合わせを用いて、仮想形像を空間内において合焦する。

[0002] ある種の状況では、ニアアイ・ディスプレイ・デバイスを介してユーザーに表示される仮想形象が、仮想物体を含んだり、または非常に詳細なグラフィクスを含むオブジェクト(object)を含む場合がある。しかしながら、一般に移動体であるニアアイ・ディスプレイ・デバイスは、計算リソースが限られていることが多く、仮想形象を精度高くユーザーに提示できないことがある。加えて、ニアアイ・ディスプレイ・デバイスを着用しているユーザーには、通例、ユーザーが必ずしも見ることに興味があるとは限らない大量の情報が提示される。

[0003] 本明細書において開示するのは、ユーザーに表示する可視化情報(visualized information)を最適化することによって、透視ディスプレイ・デバイスまたは頭部装着ディスプレイ・デバイスというようなニアアイ・ディスプレイ・デバイスを用いるときに、ユーザーの体験を改良する方法およびシステムである。可視化情報を最適化するには、ユーザーに表示される可視化情報に優先順位を付ける。１つの手法では、可視化情報に優先順位を付ける際に、ユーザーの環境における１つ以上の物体と相互作用する(interact)ユーザーの意図を推論して判定するか、または意図が表現されたことを判定する。一実施形態では、優先順位を付けた視覚情報に基づいて、最適画像を生成する。最適加増は、ユーザーがユーザーの環境において相互作用しようとする物体の外観を視覚的に強調し、および／またはユーザーがユーザーの環境において相互作用しようとしない物体の外観を目立たなくさせる(diminish)。１つの手法では、ユーザーの意図を判定するには、ユーザーの目の動きを分析し、ユーザーの環境における物体上でのユーザーの凝視の強さを分析する。他の手法では、ユーザーの意図は、ユーザーに関係があるユーザー特定情報に基づいて、自動的に判定する。一実施形態では、最適画像は、可視化情報を処理しユーザーに提示する間に頭部装着ディスプレイ・デバイスによって要求される計算リソースを削減する。

[0004] 開示する技術の他の実施形態では、ユーザーの環境における１つ以上の物体を自動的に強調することによって、ユーザーの環境における可視化情報のユーザーの理解を高める。一実施形態では、ユーザーの理解を高める１つ以上の物体の外観を視覚的に強調した最適画像を生成する。他の実施形態では、最適画像において１つ以上の視覚的に強調した物体と相互作用するユーザーの位置を判定する。

[0005] 一実施形態では、拡張現実システムにおけるユーザーの意図に基づいて最適画像を生成する方法を提供する。１つの手法では、この方法は、ユーザーが透視ディスプレイ・デバイスを用いて見ている場面において関心がある物体または人を判定するステップを含む。ユーザーの視野を判定する。視野は、ユーザーが見ている空間または環境の一部である。視野内におけるユーザーの焦点領域を判定する。ユーザーの焦点領域における１つ以上の物体または人と相互作用するユーザーの意図を判定する。一実施形態では、ユーザーの意図に基づいてユーザーに対して最適画像を生成する。最適画像は、透視ディスプレイ・デバイスによってユーザーに表示される。

[0006] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断する際に補助として用いられることを意図するのでもない。更に、特許請求する主題は、本開示のいずれの部分に記されているいずれの欠点を解決する実施態様にも、そして全ての欠点を解決する実施態様にも限定されないものとする。

図１は、ユーザーの意図に基づいて最適コンテンツを生成するシステムの一実施形態のコンポーネント例を示すブロック図である。 図２は、頭部装着ディスプレイ・ユニットの一実施形態の一部の上面図である。 図２Ａは、不透明フィルターの動作を例示する画像例を示す。 図２Ｂは、不透明フィルターの動作を例示する画像例を示す。 図２Ｃは、不透明フィルターの動作を例示する画像例を示す。 図２Ｄは、不透明フィルターの動作を例示する画像例を示す。 図２Ｅは、不透明フィルターの動作を例示する画像例を示す。 図３は、頭部装着ディスプレイ・ユニットのコンポーネントの一実施形態のブロック図である。 図４は、頭部装着ディスプレイ・ユニットと連携する演算装置のコンポーネントの一実施形態のブロック図である。 図５は、頭部装着ディスプレイ・ユニットと共に用いられるハブ計算システムのコンポーネントの一実施形態のブロック図である。 図６は、本明細書に記載するハブ計算システムを実現するために用いることができる計算システムの一実施形態のブロック図である。 図７は、ユーザーの意図に基づいて最適コンテンツを生成するマルチユーザー・システムを示すブロック図である。 図８は、ユーザーの意図に基づいて最適コンテンツを生成するプロセスの一実施形態を説明する。 図９は、ユーザーの空間のモデルを作成するプロセスの一実施形態を説明する。 図１０は、空間のモデルを物体(objects)に区分するプロセスの一実施形態を説明するフローチャートである。 図１１Ａは、物体を特定するプロセスの一実施形態を説明するフロー・チャートである。 図１１Ｂは、動く物体に応答して、図８のプロセスによって作成したモデルを更新するプロセスの一実施形態を説明するフロー・チャートである。 図１２は、ユーザーの視野を追跡し、ユーザーの焦点領域を判定するプロセスの一実施形態を説明するフローチャートである。 図１３Ａは、図１２のプロセスにおいて用いられる追跡情報を提供するためにハブ計算システムによって実行するプロセスの一実施形態を説明するフローチャートである。 図１３Ｂは、目を追跡するプロセスの一実施形態を説明するフローチャートであり、その結果は、 図１２のプロセスによって用いられる。 図１４は、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図を判定するプロセスの一実施形態を説明するフローチャートである。 図１４Ａは、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図を判定するプロセスの他の実施形態を説明するフローチャートである。 図１４Ｂは、ユーザーに１つ以上の物体と相互作用する意図を指定するように促すことによって、１つ以上の物体と相互作用するユーザーの意図を判定するプロセスの他の実施形態を説明するフローチャートである。 図１５Ａは、１つ以上の物体と相互作用するユーザーの意図を判定することに基づいて、最適画像を生成しユーザーに表示するプロセスの一実施形態を説明するフローチャートである。 図１５Ｂは、最適画像内に表示される拡張コンテンツと相互作用するユーザーの意図を判定することに基づいて、追加の拡張コンテンツをユーザーに表示するプロセスの一実施形態を説明するフローチャートである。 図１５Ｃは、 ユーザーの環境における可視化情報のユーザーの理解を高めるプロセスを説明する。 図１６Ａは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の一実施形態を示す。 図１６Ｂは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の一実施形態を示す。 図１６Ｃは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の一実施形態を示す。 図１７Ａは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。 図１７Ｂは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。 図１７Ｃは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。 図１７Ｄは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。 図１８Ａは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。 図１８Ｂは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。 図１８Ｃは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。

[0032] ニアアイ・ディスプレイ・デバイスを用いたときのユーザーの体験を改良する技術を開示する。ユーザーは、頭部装着ディスプレイ・デバイスのようなニアアイ・ディスプレイ・デバイスを介して場面を見る。ユーザーの視野は、ユーザーが観察することができる環境または空間の一部であり、このユーザーの視野を判定する。また、視野内において興味を示す可能性がある物体も判定する。視野は、ユーザーの焦点領域、即ち、ユーザーが実際に視野内において注目しているものを含むことができる。ユーザーの焦点領域を判定するには、視野におけるユーザーの目の位置を追跡する。次いで、視野における１つ以上の物体と相互作用することのユーザーの意図を推論して判定するか、または意図が表現されたことを判定する。１つの手法では、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの位置を判定するには、ユーザーの焦点領域におけるユーザーの目の動きのパターンを検出し、ユーザーの焦点領域においてユーザーによって見られている１つ以上の物体上におけるユーザーの凝視の強さを判定する。他の手法では、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図は、ユーザーに関係するユーザー特定情報にアクセスすることによって自動的に判定する。他の手法では、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図は、音声入力、キーボード入力、接触感応デバイス、またはジェスチャーというようなユーザーの身体的行為によって、１つ以上の物体と相互作用する意図を指定するようにユーザーに促すことによって、判定する。更に他の実施形態では、１つ以上の物体と相互作用する意図を推論して判定するか、または意図が表現されたことを判定際、環境、ならびに１日の時間、位置、および外部入力というような他の要因によって判定する。ユーザーの要望または意図に基づいて、最適画像を生成する。最適画像は、頭部装着ディスプレイ・デバイスを介して、ユーザーに表示される。最適画像は、ユーザーの焦点領域における物体の強調した外観、ユーザーの焦点領域の外側であるがユーザーの視野内にある物体の目立たなくした外観、および仮想画像、またはユーザーの焦点領域においてユーザーが相互作用しようとする物体に関係する仮想物体、というような拡張コンテンツの内１つ以上を含むことができる。このような強調のいずれかの１つ以上を組み合わせて用いてもよい。

[0033] 図１は、ユーザーの意図に基づいて最適画像を生成するシステム１０の一実施形態のコンポーネント例を示すブロック図である。システム１０は、ワイヤ６を通じて演算装置４と通信するニアアイ頭部装着ディスプレイ・デバイス２のような、透視ディスプレイ・デバイスを含む。

[0034] 他の実施形態では、頭部装着ディスプレイ・デバイス２は、ワイヤレス通信によって演算装置４と通信する。頭部装着ディスプレイ・デバイス２は、一実施形態ではめがねの形状であり、ユーザーがディスプレイを透視しこれによってユーザーの前方にある空間の実際の直接視(actual and direct view)を有することができるように、ユーザーの頭部に着用する。「実際の直接視」という用語の使用は、形成された物体の画像表現を見るのではなく、人間の目で直接実世界の物体を見る能力を指す。例えば、ガラスを通して室内を見ると、ユーザーはその部屋の実際の直接視を有することができ、一方テレビジョンにおいて部屋のビデオを見ることは、その部屋の実際の直接視ではない。頭部装着ディスプレイ・デバイス２のこれ以上の詳細については、以下で説明する。

[0035] 一実施形態では、演算装置４は、ユーザーの手首に着用され、頭部装着ディスプレイ・デバイス２を動作させるために用いられる計算パワーの多くを含む。演算装置４は、１つ以上のハブ計算システム１２にワイヤレスで通信する（例えば、ＷｉＦｉ、Bluetooth（登録商標）、赤外線、または他のワイヤレス通信手段）。

[0036] ハブ計算システム１２は、コンピューター、ゲーミング・システムまたはコンソール等であってもよい。一実施形態例によれば、ハブ計算システム１２は、このハブ計算システム１２が、ゲーミング・アプリケーション、ゲーム以外のアプリケーション等のようなアプリケーションを実行するために用いることができるように、ハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができる。一実施形態では、ハブ計算システム１２は、本明細書において記載するプロセスを実行するためにプロセッサー読み取り可能記憶デバイスに格納されている命令を実行することができる、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等のようなプロセッサーを含むことができる。

[0037] 更に、ハブ計算システム１２は、キャプチャー・デバイス２０Ａおよび２０Ｂのような、１つ以上のキャプチャー・デバイスも含む。他の実施形態では、２つよりも多いまたは少ないキャプチャー・デバイスを用いることができる。一実施態様例では、キャプチャー・デバイス２０Ａおよび２０Ｂは、部屋の異なる部分を取り込むように、異なる方向に照準を向けられている。尚、２つのキャプチャー・デバイスの視野が多少重複し、ハブ計算システム１２が、これらのキャプチャー・デバイスの視野が互いにどのように関係するのか把握できるようにすると有利であると考えられる。このように、複数のキャプチャー・デバイスを用いて、部屋全体（または他の空間）を見る(view)ことができる。あるいは、動作中に１つのキャプチャー・デバイスをパンニングすることができ、関連する空間全体が経時的にそのキャプチャー・デバイスによって見ることができるような場合、１つのキャプチャー・デバイスを用いることもできる。重複しないキャプチャー・デバイスであっても、ユーザーが着用している頭部装着ディスプレイの位置というような、他の既知の点に関して視野を判定することができる。

[0038] キャプチャー・デバイス２０Ａおよび２０Ｂは、例えば、１人以上のユーザーおよび周囲の空間を視覚的に監視するカメラとするとよく、周囲の空間の構造だけでなく、１人以上のユーザーによって行われるジェスチャーおよび／または動きも取り込み、分析し、そして追跡して、アプリケーションにおいて１つ以上の制御または動作(action)を実行する、および／またはアバターまたは画面上のキャラクターを動画化することができるとよい。

[0039] ハブ計算システム１２は、ゲームまたはアプリケーションの映像部分を供給することができるテレビジョン、モニター、高品位テレビジョン（ＨＤＴＶ）等のようなオーディオビジュアル・デバイス１６に接続されていてもよい。例えば、ハブ計算システム１２は、ゲーム・アプリケーション、ゲーム以外のアプリケーション等と関連するオーディオビジュアル信号を供給することができる、グラフィクス・カードのようなビデオ・アダプター、および／またはサウンド・カードのようなオーディオ・アダプターを含んでもよい。オーディオビジュアル・デバイス１６は、ハブ計算システム１２からオーディオビジュアル信号を受け取ることができ、次いでこのオーディオビジュアル信号と関連するゲームまたはアプリケーションの映像部分および／またはオーディオを出力することができる。一実施形態によれば、オーディオビジュアル・デバイス１６は、例えば、Ｓ−Ｖｉｄｅｏケーブル、同軸ケーブル、ＨＤＭＩ（登録商標）ケーブル、ＤＶＩケーブル、ＶＧＡケーブル、コンポーネント・ビデオ・ケーブル、ＲＣＡケーブル等によって、ハブ計算システム１２に接続されるとよい。一例では、オーディオビジュアル・デバイス１６は内部スピーカを含む。他の実施形態では、オーディオビジュアル・デバイス１６、別個のステレオ、またはハブ計算システム１２を外部スピーカ２２に接続する。

[0040] ハブ計算デバイス１０は、キャプチャー・デバイス２０Ａおよび２０Ｂと共に、人間（または他のタイプの）ターゲットを認識、分析、および／または追跡するために用いることができる。例えば、キャプチャー・デバイス２０Ａおよび２０Ｂを用いて、頭部装着ディスプレイ・デバイス２を着用しているユーザーを追跡することができ、ユーザーのジェスチャーおよび／または動きを取り込んでアバターまたは画面上のキャラクターを動画化することができ、および／またはハブ計算システム１２が実行しているアプリケーションに作用するために用いることができる制御として、ユーザーのジェスチャーおよび／または動きを解釈することもできる。

[0041] 開示する技術の一実施形態では、以下で詳細に論ずるように、システム１０は、ユーザーの環境において１つ以上の物体と相互作用するユーザーの意図を判定することに基づいて、ユーザーに最適な画像を生成する。この最適画像は、ユーザーが相互作用しようとする物体の強調した外観、ユーザーが相互作用しようとしない物体の目立たなくした外観、または双方を含むことができる。最適画像は、頭部装着ディスプレイ・デバイス２を介して、ユーザーに表示される。

[0042] 図２は、頭部装着ディスプレイ・デバイス２の一部の上面図を示し、弦１０２および鼻ブリッジ１０４を含むフレームの一部を含む。頭部装着ディスプレイ・デバイス２の右側だけが図示されている。鼻ブリッジ１０４の中には、以下で説明するように、音を記録しそのオーディオ・データーを演算装置４に送信するマイクロフォン１１０が組み込まれている。頭部装着ディスプレイ・デバイス２の前方には、ビデオおよび静止画像を取り込むことができるビデオ・カメラ１１３に面する部屋がある。これらの画像は、以下で説明するように、演算装置４に送信される。

[0043] 頭部装着ディスプレイ・デバイス２のフレームの一部が、ディスプレイ（１つ以上の光学エレメントを含む）を包囲する。頭部装着ディスプレイ・デバイス２のコンポーネントを示すために、ディスプレイを包囲するフレームの一部は図示されていない。一実施形態では、このディスプレイは、導光光エレメント１１２、不透明フィルター１１４、透視レンズ１１６、および透視レンズ１１８を含む。一実施形態では、不透明フィルター１１４は、透視レンズ１１６の後ろにあってこれと整列されており、導光光学エレメント１１２は不透明フィルター１１４の後ろにあってこれと整列されており、透視レンズ１１８は、導光光学エレメント１１２の後ろにあってこれと整列されている。透視レンズ１１６および１１８は、めがねに用いられる標準的なレンズであり、いずれの処方(prescription)に合わせてでも（処方がない場合も含む）作成することができる。一実施形態では、透視レンズ１１６および１１８は、可変処方レンズと置き換えることができる。実施形態の中には、頭部装着ディスプレイ・デバイス２が１つの透視レンズしか含まない場合、または透視レンズを含まない場合もある。他の代替案では、処方レンズは導光光学エレメント１１２の内側に入ることができる。不透明フィルター１１４は、自然光（画素毎または均一にのいずれか）を排除して、仮想形像のコントラストを強調する。導光光学エレメント１１２は、人工光を目まで伝える。不透明フィルター１１４および導光光学エレメント１１２のこれ以上の詳細については、以下で説明する。代替実施形態では、不透明フィルター１１４を利用しなくてもよい。

[0044] 弦１０２には、またはその内側には、画像ソースが装着されており、（一実施形態では）仮想画像を投射するマイクロ・ディスプレイ・アセンブリー１２０と、マイクロ・ディスプレイ１２０からの画像を導光光学エレメント１１２に導く連ス１２２とを含む。一実施形態では、レンズ１２２は、平行化レンズである。

[0045] 制御回路１３６は、頭部装着ディスプレイ・デバイス２の他のコンポーネントをサポートする種々の電子回路を設ける。制御回路１３６のこれ以上の詳細については、以下で図３に関して示すことにする。弦１０２の内側には、イヤホン１３０、慣性センサー１３２、および温度センサー１３８があり、またはこれらは弦１０２に取り付けられる。一実施形態では、慣性センサー１３２は、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃ（図３参照）を含む。慣性センサーは、頭部装着ディスプレイ・デバイス２の位置、向き、急激な加速を検知するためにある。

[0046] マイクロ・ディスプレイ１２０は、レンズ１２２を通して画像を投射する。マイクロ・ディスプレイ１２０を実現するために用いることができる、異なる画像生成技術がある。例えば、マイクロ・ディスプレイ１２０は、透過型投射技術を用いて実現することができる。この場合、光源は、白色光によるバックライトを受ける、光学的にアクティブな材料によって変調される。これらの技術は、通常、強力なバックライトおよび高い光エネルギ密度を有するＬＣＤ型ディスプレイを用いて実現されている。また、マイクロ・ディスプレイ１２０は、反射技術を用いて実現することもできる。この場合、外部光が反射され光学的にアクティブな材料によって変調される。技術に応じて、白色光源またはＲＧＢ光源のいずれかによって、照明を前方に発する。ディジタル光処理（ＤＬＰ）、シリコン上液晶（ＬＣＯＳ）、およびQualcomm, inc.（クアルコム社）からのMirasol（登録商標）表示技術は全て、反射技術の例である。これらの技術は、殆どのエネルギーが変調構造(modulated structure)から遠ざかるように反射されるので効率的であり、本明細書において記載するシステムにおいて用いることができる。加えて、マイクロ・ディスプレイ１２０は、発光技術(emissive technology)を用いて実現することもできる。この場合、ディスプレイによって光を生成する。例えば、Microvision, Inc.（マイクロビジョン社）からのPicoP（登録商標）は、レーザー信号を、マイクロ・ミラー制御(steering)によって、透過エレメントとして作用する小さな画面上に出すか、または直接目に向けて放つ（例えば、レーザー）。

[0047] 導光光学エレメント１１２は、マイクロ・ディスプレイ１２０からの光を透過させて、頭部装着ディスプレイ・デバイス２を着用しているユーザーの目１４０に向かわせる。また、導光光学エレメント１１２は、矢印１４２によって示されるように、頭部装着ディスプレイ・デバイス２の前方からの光も、導光光学エレメント１１２を介して目１４０に向けて透過させることができ、これによってユーザーがマイクロ・ディスプレイ１２０からの仮想画像を受け取ることに加えて、頭部装着ディスプレイ・デバイス２の前方にある空間の実際の直接視を有することを可能にする。つまり、導光光学エレメント１１２の壁は、透けて見える(see-through)。導光光学エレメント１１２は、第１反射面１２４（例えば、ミラーまたは他の表面）を含む。マイクロ・ディスプレイ１２０からの光は、レンズ・システム１２２を通過して、反射面１２４に入射する。反射面１２４は、マイクロ・ディスプレイ１２０からの入射光を反射して、導光光学エレメント１１２を構成する平面基板の内側に、内反射によって光が取り込まれるようにする。この基板の表面を数回反射した後、取り込まれた光波は、選択的反射面１２６のアレイに到達する。尚、図面が混みすぎるのを防止するために、５つの表面の内１つだけに１２６を付していることを注記しておく。反射面１２６は、基板の外側からこれらの反射面上に入射した光波を、ユーザーの目１４０に結合する。異なる光線が進行し異なる角度で基板の内側から反射する(bounce off)と、異なる光線が種々の反射面１２６に異なる角度で衝突する。したがって、異なる光線が、反射面の異なる１つ１つによって、基板から反射される。どの光線をどの表面１２６によって基板から反射させるかという選択は、表面１２６の適した角度を選択することによって管理される。一実施形態では、各目がそれ自体の導光光学エレメント１１２を有する。頭部装着ディスプレイ・デバイスが２つの導光光学エレメントを有するとき、各目は、それ自体のマイクロ・ディスプレイ１２０を有し、双方の目で同じ画像を表示すること、または２つの目で異なる画像を表示することができる。他の実施形態では、光を双方の目に反射させる１つの導光光学エレメントを設けることができる。

[0048] 不透明フィルター１１４は、導光光学エレメント１１２と整列されており、選択的に自然光が、均一にまたは画素毎に、導光光学エレメント１１２を通過するのを遮断する。一実施形態では、不透明フィルターは、透視ＬＣＤパネル、エレクトロクロミック・フィルム、または不透明フィルターとして役割を果たすことができる同様のデバイスとすることができる。このような透視ＬＣＤパネルは、従来のＬＣＤから基板、バックライト、およびディフューザーの種々の層を除去することによって得ることができる。ＬＣＤパネルは、光に液晶を通過させる１つ以上の光透過性ＬＣＤチップを含むことができる。このようなチップは、例えば、ＬＣＤプロジェクターにおいて使用されている。

[0049] 不透明フィルター１１４は、密集した画素の格子を含むことができ、各画素の光透過度は、最低透過度および最高透過度の間で個々に制御可能である。透過度の範囲は０〜１００％が理想的であるが、これよりも限られた範囲でも容認可能である。一例として、偏光フィルターが２つしかないモノクロームＬＣＤパネルでも、画素当たり約５０％から９０％の不透明度範囲をＬＣＤの分解能まで与えるには十分である。最低の５０％において、レンズは多少着色した外観を有するが、許容可能である。１００％の透過度は、完全に透明なレンズを表す。「アルファ」スケールを０〜１００％まで定めることができ、０％では光を通過させず、１００％では光を通過させる。アルファの値は、以下で説明する不透明フィルター制御回路２２４によって、画素毎に設定することができる。
[0050] 実世界物体の代用にｚ−バッファリングを行った後、レンダリング・パイプラインからアルファ値のマスクを用いることができる。本システムは、拡張現実表示のために場面をレンダリングするとき、どの実世界物体がどの仮想物体の前にあるか注意を払う。仮想物体が実世界物体の前にある場合、仮想物体が遮るエリアを不透明にしなければならない。仮想物体が（仮想的に）実世界物体の後ろにある場合、ユーザーが実際の光のその対応するエリア（１画素以上のサイズ）の実世界の物体だけを見るように、その画素に対するあらゆる色だけでなく不透明性もオフにする。遮蔽(coverage)は、画素毎であるので、本システムは、仮想物体の一部が実世界の物体の前にある場合、仮想物体の一部が実世界の物体の後ろにある場合、そして仮想物体の一部が実世界の物体と同じ位置にある場合も扱うことができる。０％から１００％まで不透明性を可変にすることができる低コスト、低パワーおよび軽量のディスプレイが、この使用には最も望ましい。更に、不透明フィルターは、カラーＬＣＤによって、または有機ＬＥＤのような他のディスプレイによって、カラーでレンダリングし、広い視野を設けることができる。不透明フィルターについてのこれ以上の詳細は、"Opacity Filter For See-Through Mounted Display"（透視装着ディスプレイ用不透明フィルター）と題し、２０１０年９月２１日に出願された米国特許出願第１２／８８７，４２６号において示されている。この出願をここで引用したことにより、その内容全体が本願にも含まれることとする。

[0051] ＬＣＤのような不透明フィルターは、一般に、本明細書において記載するような透視レンズには用いられなかった。何故なら、このように目に近い距離では、焦点がはずれる可能性があるからである。しかしながら、場合によっては、この結果が望ましいこともあり得る。ユーザーは、焦点が合うように設計された、追加カラーを用いた通常のＨＭＤディスプレイによって、生き生きとしたカラー・グラフィクスによる仮想画像を見る。ＬＣＤパネルは、曖昧な黒い境界があらゆる仮想コンテンツを包囲するように、このディスプレイの「後ろに」配され、これを所望通りに不透明にする。本システムは、自然なぼけという欠点を変換して、アンチエリアシングおよび帯域幅削減という特徴を功利的に獲得する。これらは、低解像度で焦点がはずれた画像を用いることの当然の結果である。ディジタル的にサンプリングした画像には、効果的なスムージングがある。あらゆるディジタル画像にはエリアシングが生じ、サンプリングの離散的性質のために、自然なアナログおよび連続信号と比較すると、光の波長の周りで誤差が生ずる。スムージングが意味するのは、理想的なアナログ信号に視覚的に近づけることである。低解像度にしたことによって失われた情報は復元されないが、結果的に生ずる誤差は、さほど目立たない。

[0052] 一実施形態では、ディスプレイおよび不透明フィルターを同時にレンダリングし、角度−オフセットの問題を補償するために空間におけるユーザーの正確な位置に合わせてディスプレイおよび不透明フィルターを較正する。視野の両端における正しい画像オフセットを計算するために、目追跡を採用することができる。実施形態の中には、不透明フィルターにおいて、不透明量の時間的または空間的衰退(fade)を用いることができる。同様に、仮想画像の時間的または空間的衰退も用いることができる。１つの手法では、不透明フィルターの不透明量の時間的衰退は、仮想画像の時間的衰退に対応する。他の手法では、不透明フィルターの不透明量の空間的衰退が、仮想画像の空間的衰退に対応する。

[0053] １つの手法では、特定したユーザーの目の位置の視界から、仮想画像の後ろに来る不透明フィルターの画素には、不透明性を増大して与える。このように、仮想画像の後ろに来る画素を暗くして、実世界場面の対応部分からの光が、ユーザーの目に達しないように遮断する。これによって、仮想画像が現実的となり、最大範囲の色および輝度を表すことが可能になる。更に、拡張現実エミッタによる電力消費が低減する。何故なら、仮想画像は低い輝度で供給されるからである。不透明フィルターがないと、仮想画像が区別でき透明にならないようにするためには、実世界場面の対応する部分よりも明るい十分高い輝度で、仮想画像を供給しなければならない。一般に、不透明フィルターの画素を暗くする際、仮想画像の閉じた周囲を辿る画素を、その周囲の内部にある画素と共に暗くする。この周囲の直ぐ外側にありこの周囲を包囲する画素も暗くなるように（同じレベルの暗さ、または周囲の内部にある画素よりは暗くない）、多少の重複が得られることが望ましいこともあり得る。周囲の直ぐ外側にあるこれらの重複する画素は、周囲の内側における暗さから周囲の外側における最大量の不透明までの衰退（例えば、徐々に変わる不透明性の推移）を規定することができる。

[0054] 不透明フィルターの動作の一例を挙げるために、図２Ａは、頭部装着ディスプレイ・デバイス２を介して見ているユーザーの目に見ることができる森の実世界場面例を示す。図２Ｂは、仮想画像を示すが、この場合いるかである。図２Ｃは、図２Ｂの仮想画像の形状に基づく不透明フィルターの外形例を示す。不透明フィルターは、不透明性が増大した暗化領域を規定し、この中にいるかをレンダリングする。不透明性の増大とは、一般に、白黒方式における異なるグレー・レベルへの暗化(darkening)、またはカラー方式における異なるカラー・レベルへの暗化を含む、画素の暗化を指す。モノクローム方式では異なるグレー・レベル（または黒）への暗化、またはカラー方式では異なるカラー・レベルへの暗化を用いることができる。図２Ｄは、ユーザーによって見られる画像例を示す。これは、いるかの仮想画像をユーザーの視界に投射し、不透明フィルターを用いて、いるかの仮想画像の位置に対応する画素に対する光を除去した結果である。見て分かるように、背景は、いるかを通して見ることはできない。比較の目的のために、図２Ｅは、不透明フィルターを用いない、仮想画像の実画像への挿入を示す。見て分かるように、実背景は、いるかの仮想画像を通して見ることができる。

[0055] また、頭部装着ディスプレイ・デバイス２は、ユーザーの目の位置を追跡するシステムも含む。以下で説明するが、このシステムは、ユーザーの視野を判定できるようにユーザーの位置および向きを追跡する。しかしながら、人間は、彼らの前にあるあらゆるものを認知する訳ではない。逆に、ユーザーの目は環境の内一部(subset)に向けられる。したがって、一実施形態では、本システムは、ユーザーの視野の測定を厳密に行う(refine)ために、ユーザーの目の位置を追跡する技術を含む。例えば、頭部装着ディスプレイ・デバイス２は、目追跡アセンブリー１３４（図２参照）を含む。目追跡アセンブリー１３４は、目追跡照明デバイス１３４Ａ、および目追跡カメラ１３４Ｂ（図３参照）を含む。一実施形態では、目追跡照明源１３４Ａは、ＩＲ光を目に向けて放出する１つ以上の赤外線（ＩＲ）発光器を含む。目追跡カメラ１３４Ｂは、反射したＩＲ光を検知する１つ以上のカメラを含む。瞳の位置は、角膜の反射を検出する既知の撮像技法によって特定することができる。例えば、２００８年７月２２日にKranz et al.,に発行された"Head Mounted Eye Tracking and Display System"（頭部装着目追跡および表示システム）と題する米国特許第７，４０１，９２０号を参照のこと。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。このような技法は、追跡カメラに対する目の中心の位置を突き止めることができる。一般に、目の追跡には、目の画像を得て、コンピューター映像技法を用いて眼窩内部における瞳の位置を判定する必要がある。一実施形態では、１つの目の位置を追跡すれば十分である。何故なら、目は通常一緒に動くからである。しかしながら、各目を別々に追跡することも可能である。あるいは、目追跡カメラは、照明源を用いてまたは用いずに、いずれかの目の動きに基づく画像を用いて位置を追跡する、代わりの形態の追跡カメラであってもよい。

[0056] 一実施形態では、本システムは、頭部装着ディスプレイ・デバイス２のレンズの角毎に１つずつのＩＲ ＬＥＤおよびＩＲ光検出器があるように、矩形配列とした４つのＩＲＬＥＤおよび４つのＩＲ光検出器を用いる。ＬＥＤからの光は目で反射する。４つのＩＲ光検出器の各々において検出された赤外線光量によって、瞳の方向を判定する。即ち、目における白および黒の量から、その特定の光検出器に対して目から反射する光の量を判定する。こうして、光検出器は白目または黒目の量を測定する。４つのサンプルから、本システムは目の方向を判定することができる。

[0057] 他の代替案は、先に論じたように、４つの赤外線ＬＥＤを用いるが、頭部装着ディスプレイ・デバイス２のレンズの側には１つの赤外線ＣＣＤしか用いないことである。このＣＣＤは、小型のミラーおよび／またはレンズ（魚眼）を用い、このＣＣＤがめがねのフレームから見ることができる目の７５％までを撮像することができるようにしている。次いで、このＣＣＤは、先に論じたのと全く同じように、画像を検知し、コンピューター映像を用いて画像を発見する。つまり、図２は１つのＩＲ発光器を有する１つのアセンブリーを示すが、図２の構造は、４つのＩＲ送信機および／または４つのＩＲセンサーを有するように調節することができる。４つよりも多いまたは少ないＩＲ送信機および／またはＩＲセンサーを用いることもできる。

[0058] 目の方向を追跡する他の実施形態は、電荷追跡に基づく。この概念は、網膜が測定可能な正の電荷を保持し、角膜は負の電荷を有するという観察に基づく。目が動き回る間に電位を検出するために、ユーザーの耳にセンサーを装着し（イヤホン１３０の近く）、これらのセンサーは、目が何をしているのかリアル・タイムで効果的に読み出す。めがねの内部に装着された小型カメラというような、目を追跡するための他の実施形態を用いることもできる。

[0059] 尚、頭部装着ディスプレイ・デバイス２上には、１つ以上の追加の検出器を含めてもよいことは言うまでもない。このような検出器には、限定ではなく、ＳＯＮＡＲ、ＬＩＤＡＲ、構造化光、および／またはデバイスを着用している者が見ているかもしれない情報を検出するように位置付けられた飛行時間距離検出器を含むことができる。

[0060] 図２は、頭部装着ディスプレイ・デバイス２の半分のみを示す。頭部装着ディスプレイ・デバイス全体では、もう１組の透視レンズ、他の不透明フィルター、他の導光光学エレメント、他のマイクロ・ディスプレイ１３６、他のレンズ・システム１２２、部屋に面するカメラ、目追跡アセンブリー、マイクロ・ディスプレイ、イヤホン、および温度センサーを含む。頭部装着ディスプレイ・デバイス２のこれ以上の詳細は、"Fusing Virtual Content Into Real Content"（仮想コンテンツの実コンテンツへの融合）と題し２０１０年１０月１５日に出願された米国特許出願第１２／９０５，９５２号において示されている。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。

[0061] 図３は、頭部装着ディスプレイ・デバイス２の種々のコンポーネントを示すブロック図である。図４は、演算装置４の種々のコンポーネントを説明するブロック図である。頭部装着ディスプレイ・デバイス２は、そのコンポーネントが図３に示されており、ユーザーの環境において１つ以上の物体と相互作用するユーザーの意図を判定することに基づいて、ユーザーに最適画像を表示するために用いられる。加えて、図３の頭部装着ディスプレイ・デバイスのコンポーネントは、種々の状態を追跡する多くのセンサーを含む。頭部装着ディスプレイ・デバイス２は、仮想画像についての命令を演算装置４から受け、逆にセンサー情報を演算装置４に提供する。演算装置４は、そのコンポーネントが図３に示されており、頭部装着ディスプレイ２から、そしてハブ計算デバイス１２（図１参照）からもセンサー情報を受け取る。この情報に基づいて、演算装置４は、仮想画像をどこにそしていつユーザーに供給すべきか判断し、それに応じて命令を図３の頭部装着ディスプレイ・デバイスに送る。

[0062] 尚、図３のコンポーネントの一部（例えば、後部境対面カメラ１１３、目追跡カメラ１３４Ｂ、マイクロ・ディスプレイ１２０、不透明フィルター１１４、目追跡照明１３４Ａ、イヤホン１３０、および温度センサー１３８）は、これらのデバイスが各々２つずつあり、１つが頭部装着ディスプレイ・デバイス２の左側、そして１つが右側にあることを示すために、影を付けて（in shadow)図示されていることを注記しておく。図３は、電力管理回路２０２と通信する制御回路２００を示す。制御回路２００は、プロセッサー２１０、メモリー２１４（例えば、Ｄ−ＲＡＭ）と通信可能なメモリー・コントローラー２１２、カメラ・インターフェース２１６、カメラ・バッファー２１８、ディスプレイ・ドライバー２２０、ディスプレイ・フォーマッター２２２、タイミング・ジェネレーター２２６、ディスプレイ出力インターフェース２２８、およびディスプレイ入力インターフェース２３０を含む。一実施形態では、制御回路２２０のコンポーネントは全て、互いに、専用線または１つ以上のバスを介して通信する。他の実施形態では、制御回路２００のコンポーネントは全て、プロセッサー２１０と通信する。カメラ・インターフェース２１６は、２つの部屋対面カメラ１１３にインターフェースを設け、部屋対面カメラから受け取った画像をカメラ・バッファー２１８に格納する。ディスプレイ・ドライバー２２０は、マイクロ・ディスプレイ１２０を駆動する。ディスプレイ・フォーマッター２２２は、マイクロ・ディスプレイ１２０上に表示されている仮想画像についての情報を、不透明フィルター１１４を制御する不透明制御回路２２４に提供する。タイミング・ジェネレーター２２６は、システムにタイミング・データーを供給するために用いられる。ディスプレイ出力インターフェース２２８は、部屋対面カメラ１１３から演算装置４に画像を供給するためのバッファーである。ディスプレイ入力２３０は、マイクロ・ディスプレイ１２０に表示しようとする仮想画像のような画像を受け取るためのバッファーである。ディスプレイ出力２２８およびディスプレイ入力２３０は、演算装置４に対するインターフェースである帯域インターフェース２３２と通信する。

[0063] 電力管理回路２０２は、電圧レギュレーター２３４、目追跡照明ドライバー２３６、オーディオＤＡＣおよび増幅器２３８、マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０、温度センサー・インターフェース２４２、ならびにクロック・ジェネレーター２４４を含む。電圧レギュレーター２３４は、演算装置４から帯域インターフェース２３２を介して電力を受け、その電力を頭部装着ディスプレイ・デバイス２の他のコンポーネントに供給する。目追跡照明ドライバー２３６は、前述のように、ＩＲ光源を目追跡照明１３４Ａのために設ける。オーディオＤＡＣおよび増幅器２３８は、オーディオ情報をイヤホン１３０から受け取る。マイクロフォン・プリアンプおよびオーディオＡＤＣ２４０は、マイクロフォン１１０に対するインターフェースを設ける。温度センサー・インターフェース２４２は、温度センサー１３８に対するインターフェースである。また、電力管理ユニット２０２は、電力を供給し、三軸磁力計１３２Ａ、三軸ジャイロ１３２Ｂ、および三軸加速度計１３２Ｃからは逆にデーターを受け取る。

[0064] 図４は、演算装置４の種々のコンポーネントを説明するブロック図である。図４は、電力管理回路３０６と通信する制御回路３０４を示す。制御回路３０４は、中央演算装置（ＣＰＵ）３２０、グラフィクス処理ユニット（ＧＰＵ）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリー３３０（例えば、Ｄ−ＲＡＭ）と通信するメモリー制御部３２８、フラッシュ・メモリー３３４（または他のタイプの不揮発性ストレージ）と通信するフラッシュ・メモリー・コントローラー３３２、帯域インターフェース３０２および帯域インターフェース２３２を介して頭部装着ディスプレイ・デバイス２と通信するディスプレイ出力バッファー３２６、帯域インターフェース３０２および帯域インターフェース２３２を介して頭部装着ディスプレイ・デバイス２と通信するディスプレイ入力バッファー３３８、マイクロフォンに接続するために外部マイクロフォン・コネクター３４２と通信可能なマイクロフォン・インターフェース３４０、ワイヤレス通信デバイス３４６に接続するためのＰＣＩエクスプレス・インターフェース、ならびにＵＳＢポート（１つまたは複数）３４８を含む。一実施形態では、ワイヤレス通信コンポーネント３４６は、Ｗｉ−Ｆｉ対応通信デバイス、BlueTooth（登録商標）通信デバイス、赤外線通信デバイス等を含むことができる。ＵＳＢポートは、演算装置４をハブ計算デバイス１２にドッキングして、データーまたはソフトウェアを演算装置４にロードするため、および演算装置４を充電するために用いることができる。一実施形態では、ＣＰＵ３２０およびＧＰＵ３２２は、どこに、いつ、そしてどのように仮想画像をユーザーの視野に挿入すべきか判断するための主要な機械(workhorse)である。これ以上の詳細は、以下で示す。

[0065] 電力管理回路３０６は、クロック・ジェネレーター３６０、アナログ／ディジタル変換器３６２、バッテリー充電器３６４、電圧レギュレーター３６６、頭部装着ディスプレイ電源３７６、および温度センサー３７４（演算装置４の手首バンド上に配置されている）と通信可能な温度センサー・インターフェース３７２を含む。アナログ／ディジタル変換器３６２が、ＡＣ供給電力を受け、本システムのためにＤＣ供給電力を発電するために、充電ジャック３７０に接続されている。電圧レギュレーター３６６は、本システムに電力を供給するために、バッテリー３６８と通信する。バッテリー充電器３６４は、充電ジャック３７０から受電すると、バッテリー３６８を充電する（電圧レギュレーター３６６を介して）ために用いられる。ＨＭＤ電力インターフェース３７６は、電力を頭部装着ディスプレイ・デバイス２に供給する。

[0066] 前述のシステムは、仮想画像が実世界物体の映像(view)と置き換わるように、ユーザーの視野内に仮想画像を挿入するように構成される。あるいは、仮想画像は、実世界物体の画像を置き換えることなく、挿入することもできる。種々の実施形態において、置き換えられる物体または画像が挿入されようとしている環境に基づいて、しかるべき向き、サイズ、および形状に一致するように、仮想画像を調節する。加えて、仮想画像は、反射(reflectivity)および影を含むように調節することができる。一実施形態では、頭部装着ディスプレイ・デバイス１２、演算装置４、およびハブ計算デバイス１２は、一緒に動作する。これは、これらのデバイスの各々が、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断するためのデーターを得るために用いられるセンサーの一部(subset)を含むからである。一実施形態では、どこに、いつ、そしてどのように仮想画像を挿入すべきか判断する計算は、ハブ計算デバイス１２が実行する。他の実施形態では、これらの計算は演算装置４によって実行される。他の実施形態では、これらの計算の一部はハブ計算デバイス１２によって実行するが、他の計算は演算装置４によって実行する。他の実施形態では、これらの計算は頭部装着ディスプレイ・デバイス１２によって実行することができる。

[0067] 一実施形態例では、ハブ計算デバイス１２は、ユーザーが存在する環境のモデルを作成し、その環境内において動いている種々の物体を追跡する。代替実施形態では、環境において関心のある物体およびユーザーを、他の手段によって判定する。加えて、ハブ計算デバイス１２は、頭部装着ディスプレイ・デバイス２の位置および向きを追跡することによって、頭部装着ディスプレイ・デバイス２の視野を追跡する。モデルおよび追跡情報を、ハブ計算デバイス１２から演算装置４に供給する。頭部装着ディスプレイ・デバイス２によって得られたセンサー情報を、演算装置４に送信する。すると、演算装置４は、頭部装着ディスプレイ・デバイス２からそれが受け取った追加のセンサー情報を用いて、ユーザーの視野を厳密に定め(refine)、どのように、どこに、そしていつ仮想画像を挿入すべきかについての命令を頭部装着ディスプレイ・デバイス２に供給する。

[0068] 図５は、ハブ計算システム１２の一実施形態例を、キャプチャー・デバイスと共に示す。一実施形態では、キャプチャー・デバイス２０Ａおよび２０Ｂは同じ構造であり、したがって、図５はキャプチャー・デバイス２０Ａのみを示す。一実施形態例によれば、キャプチャー・デバイス２０Ａは、深度値を含むこともできる深度画像を含む深度情報によって、いずれかの適した技法によってビデオを取り込むように構成するとよい。適した技法には、例えば、飛行時間、構造化光、ステレオ撮像等が含まれる。一実施形態によれば、キャプチャー・デバイス２０Ａは、深度情報を「Ｚレイヤー」に編成することができる。即ち、深度カメラからその見通し線に沿って延びるＺ軸に対して垂直であるとよいレイヤーに編成することができる。

[0069] 図５に示すように、キャプチャー・デバイス２０Ａはカメラ・コンポーネント４２３を含むことができる。一実施形態例によれば、カメラ・コンポーネント４２３は、場面の深度画像を取り込むことができる深度カメラであってもよく、またはこの深度カメラを含むのでもよい。深度画像は、取り込まれた場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、カメラからの取り込まれた場面における物体の距離というような深度値を、例えば、センチメートル、ミリメートル等を単位として表すことができる。

[0070] カメラ・コンポーネント２３は、赤外線（ＩＲ）発光コンポーネント４２５、三次元（３Ｄ）カメラ４２６、および場面の深度画像を取り込むために用いることができるＲＧＢ（視覚画像）カメラ４２８を含むことができる。例えば、飛行時間分析では、キャプチャー・デバイス２０ＡのＩＲ発光コンポーネント４２５は、キャプチャー・エリアに向けて赤外線光を出すことができ、次いでセンサー（実施形態の中には、図示されていないセンサーを含む場合もある）を用いて、その場面内にある１つ以上のターゲットおよび物体の表面からの後方散乱光を、例えば、３Ｄカメラ４２６および／またはＲＧＢカメラ４２８を用いて検出することができる。実施形態の中には、パルス状赤外線光を用いて、発射光パルスと対応する入射光パルスとの間の時間を測定し、キャプチャー・デバイス２０Ａから場面内にあるターゲットまたは物体上における特定の場所までの物理的距離を判定するために用いられるようにするとよい場合がある。加えて、他の実施形態例では、発射光波の位相を着信光波の位相と比較して、位相ずれを判定することもできる。次いで、この位相ずれを用いて、キャプチャー・デバイスからターゲットまたは物体上の特定の場所までの物理的距離を判定することができる。

[0071] 他の一実施形態例によれば、飛行時間分析を用いて、例えば、散乱光パルス撮像(shuttered light pulse imaging)を含む種々の技法によって、経時的な光の反射ビームの強度を分析することによって、キャプチャー・デバイス２０Ａからターゲットまたは物体上の特定の位置までの物理的距離を間接的に判定することができる。

[0072] 他の一実施形態例では、キャプチャー・デバイス２０Ａは、構造化光を用いて深度情報を取り込むことができる。このような分析では、パターン光（即ち、格子パターン、縞パターン、または異なるパターンのような既知のパターンとして表示される光）を、例えば、ＩＲ発光コンポーネント４２４によって、場面に向けて投射する。場面において１つ以上のターゲットまたは物体の表面に衝突したときに、それに応答して、パターンが変形すると考えられる。このようなパターンの変形を、例えば、３Ｄカメラ４２６および／またはＲＧＢカメラ４２８（および／または他のセンサー）によって取り込むことができ、次いで分析して、キャプチャー・デバイスからターゲットまたは物体上における特定の位置までの物理的距離を判定することができる。実施態様の中には、ＩＲ発光コンポーネント４２５をカメラ４２５および４２６から変位させて、カメラ４２５および４２６からの距離を判定するために三角測量法を用いることができるようにしたものもある。実施態様の中には、キャプチャー・デバイス２０Ａが、ＩＲ光を検知するために専用のＩＲセンサー、またはＩＲフィルターを有するセンサーを含む場合もある。

[0073] 他の実施形態によれば、キャプチャー・デバイス２０Ａは、２つ以上の物理的に分離されたカメラを含むことができ、これらが異なる角度から場面を捕らえて、視覚的な立体データーを得て、これを解明することによって深度情報を生成することができる。他のタイプの深度画像センサーも、深度画像を形成するために用いることができる。

[0074] 更に、キャプチャー・デバイス２０Ａは、マイクロフォン４３０も含むことができる。マイクロフォン４３０は、音を受けて電気信号に変換することができる変換器またはセンサーを含む。マイクロフォン４３０は、オーディオ信号を受け取るために用いることもできる。オーディオ信号は、ハブ計算デバイス１２によって供給することもできる。

[0075] 一実施形態例では、キャプチャー・デバイス２０Ａは、更に、撮像カメラ・コンポーネント４２３と通信することができるプロセッサー４３２も含むことができる。プロセッサー４３２は、標準的なプロセッサー、特殊プロセッサー、マイクロプロセッサー等を含むことができ、例えば、深度画像を受け取る命令、しかるべきデーター・フォーマット（例えば、フレーム）を生成する命令、およびデーターをハブ計算デバイス１２に送信する命令を含む命令を実行することができる。

[0076] キャプチャー・デバイス２０Ａは、更に、プロセッサー４３２が実行する命令、３−Ｄカメラおよび／またはＲＧＢカメラによって取り込まれた画像または画像のフレーム、あるいは他の適した情報、画像等であればいずれでも格納することができるメモリー４３４も含むことができる。一実施形態例によれば、メモリー４３４は、ランダム・アクセス・メモリー（ＲＡＭ）、リード・オンリー・メモリー（ＲＯＭ）、キャッシュ、フラッシュ・メモリー、ハード・ディスク、または他の適した記憶コンポーネントであればいずれでも含むことができる。図５に示すように、一実施形態では、メモリー４３４は、画像キャプチャー・コンポーネント４２３およびプロセッサー４３２と通信する別個のコンポーネントであってもよい。他の実施形態によれば、メモリー４３４をプロセッサー４３２および／または画像キャプチャー・コンポーネント４２２に統合してもよい。

[0077] キャプチャー・デバイス２０Ａおよび２０Ｂは、通信リンク４３６を介して、ハブ計算デバイス１２と通信することができる。通信リンク４３６は、例えば、ＵＳＢ接続、Firewire接続、イーサネット（登録商標）・ケーブル接続等を含む有線接続、および／またはワイヤレス８０２．１ｂ、ｇ、ａ、またはｎ接続というようなワイヤレス接続とすることができる。一実施形態によれば、ハブ計算デバイス１２は、クロックをキャプチャー・デバイス２０Ａに供給することができる。このクロックは、例えば、通信リンク４３６を介して場面を取り込むときを決定するために用いることができる。加えて、キャプチャー・デバイス２０Ａは、例えば、３−Ｄカメラ４２６および／またはＲＧＢカメラ４２８によって取り込まれた深度情報ならびに視覚（例えば、ＲＧＢ）画像をハブ計算デバイス１２に、通信リンク４３６を介して供給する。一実施形態では、深度画像および視覚画像は、毎秒３０フレームで送られる。しかしながら、他のフレーム・レートも用いることができる。次いで、ハブ計算デバイス１２はモデルを作成し、このモデル、深度情報、および取り込まれた画像を用いて、例えば、ゲームまたはワード・プロセッサーのようなアプリケーションを制御すること、および／またはアバターまたは画面上のキャラクターを動画化することができる。

[0078] ハブ計算システム１２は、深度画像処理および骨格追跡モジュール４５０を含む。このモジュール４５０は、深度画像を用いて、キャプチャー・デバイス２０Ａの深度カメラ機能によって検出可能な１人以上の人を追跡する。深度画像処理および骨格追跡モジュール４５０は、追跡情報をアプリケーション４５２に提供する。アプリケーション４５２は、ビデオ・ゲーム、生産性アプリケーション、通信アプリケーション、または他のソフトウェア・アプリケーション等とすることができる。また、オーディオ・データーおよびビジュアル画像データーも、アプリケーション４５２および深度画像処理および骨格追跡モジュール４５０に供給する。アプリケーション４５２は、追跡情報、オーディオ・データー、およびビジュアル画像データーを認識エンジン４５４に供給する。他の実施形態では、認識エンジン４５４は、追跡情報を直接深度画像処理および骨格追跡モジュール４５０から受け取り、オーディオ・データーおよびビジュアル画像データーを直接キャプチャー・デバイス２０Ａおよび２０Ｂから受け取る。

[0079] 認識エンジン４５４は、フィルター４６０、４６２、４６４、．．．、４６６の集合体と関連付けられている。各フィルターは、キャプチャー・デバイス２０Ａまたは２０Ｂによって検出可能なあらゆる人あるいは物体によって行うことができるジェスチャー、行為、または状態に関する情報を含む。例えば、キャプチャー・デバイス２０Ａからのデーターは、フィルター４６０、４６２、４６４、．．．、４６６によって処理して、ユーザーまたはユーザーのグループが１つ以上のジェスチャーまたは他の行為を行ったときを特定することができる。これらのジェスチャーには、アプリケーション４５２の種々の制御、物体、または条件と関連付けることもできる。つまり、ハブ計算デバイス１２は、これらのフィルターと共に認識エンジン４５４を用いて、物体（人を含む）の動きを解釈し追跡することができる。

[0080] キャプチャー・デバイス２０Ａおよび２０Ｂは、ＲＧＢ画像（あるいは他のフォーマットまたは色空間における視覚画像）および深度画像を、ハブ計算デバイス１２に供給する。深度画像は、複数の被観察画素とすることもでき、各被観察画素は観察画素値を有する。例えば、深度画像は、取り込まれた場面の二次元（２−Ｄ）画素エリアを含むことができ、この２−Ｄ画素エリアにおける各画素は、取り込まれた場面における物体のキャプチャー・デバイスからの距離というような、深度値を有することができる。ハブ計算デバイス１２は、ＲＧＢ画像および深度画像を用いて、ユーザーまたは物体の動きを追跡する。例えば、本システムは、深度画像を用いて人の骨格を追跡する。深度画像を用いて人の骨格を追跡するために用いることができる方法は、数多くある。深度画像を用いて骨格を追跡するのに適した一例が、２００９年１０月２１日に出願されたCraig, et al.の米国特許出願第１２／６０３，４３７号、"Pose Tracking Pipeline"（姿勢追跡パイプライン）に示されている（以後、’４３７出願と呼ぶ）。この出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。’４３７出願のプロセスは、深度画像を取り込み、データーをダウン・サンプリングするステップと、高分散ノイズ・データー(high variance noisy data)を除去および／またはスムージングするステップと、背景を特定および除去するステップと、前景画素の各々を身体の異なる部分に指定するステップを含む。これらのステップに基づいて、本システムは、モデルをこのデーターに当てはめ、骨格を形成する。この骨格は、１組の関節と、これらの関節間にある接続とを含む。他の追跡方法を用いることもできる。また、適した追跡技術が以下の４件の米国特許出願にも開示されている。その全てをここで引用することにより、その内容全体が本願にも含まれるものとする。２００９年５月２９日に出願された米国特許出願第１２／４７５，３０８号、"Device for Identifying and Tracking Multiple Humans Over Time"（複数の人間を経時的に特定および追跡するデバイス）、２０１０年１月２９日に出願された米国特許出願第１２／６９６，２８２号、"Visual Based Identity Tracking"（外見に基づく識別追跡）、２００９年１２月１８日に出願された米国特許第１２／６４１，７８８号、"Motion Detection Using Depth Images"（深度画像を用いた動き検出）、および２００９年１０月７日に出願された米国特許第１２／５７５，３８８号、"Human Tracking System"（人間追跡システム）。

[0081] 認識エンジン４５４は、ジェスチャーまたは行為を判定するために複数のフィルター４６０、４６２、４６４、．．．、４６６を含む。フィルターは、ジェスチャー、行為、または状態を定義する情報を、そのジェスチャー、行為、または状態についてのパラメーター、またはメタデーターと共に含む。例えば、投げる動作は、一方の手が身体の背後から身体の前方を通過する動きを含み、その動きが深度カメラによって取り込まれると、ユーザーの一方の手が身体の背後から身体の前方を通過する動きを表す情報を含むジェスチャーとして実現することができる。次いで、このジェスチャーに対してパラメーターを設定することができる。ジェスチャーが投げる動作である場合、パラメーターは、手が達しなければならない閾値速度、手が移動する距離（ユーザー全体のサイズに対して絶対的、または相対的のいずれか）、および認識エンジンによる、ジェスチャーが行われたことの信頼度格付けとするとよい。ジェスチャーに対するこれらのパラメーターは、アプリケーション間、１つのアプリケーションのコンテキスト間、または１つのアプリケーションの１つのコンテキスト内において、ときの経過に連れて様々に変化するのであってもよい。

[0082] フィルターは、モジュール状または相互交換可能であるとよい。一実施形態では、フィルターは、複数の入力（これらの入力の各々はある型を有する）と、複数の出力（これらの出力の各々はある型を有する）とを有する。認識エンジンのアーキテクチャーの他の態様を全く変更することなく、第１のフィルターを、この第１のフィルターと同じ数および同じ型の入力と出力とを有する第の２フィルターと交換することができる。例えば、入力として骨格データーを取り込み、そのフィルターと関連するジェスチャーが行われている確実度と、操縦角度とを出力する駆動用第１フィルターがあってもよい。おそらくは第２駆動フィルターの方が効率的であり必要な処理リソースが少なくて済むために、この第１駆動フィルターを第２駆動フィルターと交換したい場合、第２フィルターが同じ入力および出力、即ち、骨格データー型である１つの入力と、確実度型および角度型である２つの出力を有する限り、単に第１フィルターを第２フィルターと交換することによって、そうすることができる。

[0083] フィルターがパラメーターを有する必要はない。例えば、ユーザーの身長を戻す「ユーザー身長」フィルターが、調整することができるパラメーターを全く考慮しなくてもよい。代わりの「ユーザー身長」フィルターが、ユーザーの身長を判定するときに、ユーザーの靴、髪形、帽子、および姿勢を考慮に入れるべきか否かというような、調整可能なパラメーターを有してもよい。

[0084] フィルターへの入力は、関節において合体する骨によって形成される角度のような、ユーザーの関節位置についての関節データー、場面からのＲＧＢカラー・データー、およびユーザーの態様の変化率というような事項を含むことができる。フィルターからの出力は、所与のジェスチャーが行われる確実度、ジェスチャーの動きが行われる速度、およびジェスチャーの動きが行われた時刻というような事項を含むことができる。

[0085] 認識エンジン４５４は、前述のフィルターに機能を設ける基本認識エンジンを有することができる。一実施形態では、認識エンジン４５４が実装する機能は、認識されたジェスチャーおよび他の入力を追跡する経時的入力アーカイブ、隠れマルコフ・モデルの実装（モデル化されるシステムは、未知のパラメーターを有するマルコフ・プロセスであると仮定する。このプロセスでは、現在の状態が、今後の状態を判定するために必要なあらゆる過去の状態情報をカプセル化するので、この目的のために他の過去の状態情報を維持しなくてもよく、隠れているパラメーターを、観察可能なデーターから判定する）、およびジェスチャー認識の特定の場合(instance)を解決するために必要とされる他の機能を含む。

[0086] フィルター４６０、４６２、４６４、．．．、４６６は、認識エンジン４５４の上にロードされ実装され、認識エンジン４５４によって全てのフィルター４６０、４６２、４６４、．．．、４６６に提供されるサービスを利用することができる。一実施形態では、認識エンジン４５４は、いずれかのフィルター４６０、４６２、４６４、．．．、４６６の要件を満たすか否か判断するためにデーターを受け取る。入力の解析というような、これらの提供されるサービスは、各フィルター４６０、４６２、４６４、．．．、４６６によってではなく、認識エンジン４５４によって１回提供されるので、このようなサービスは、ある時間期間に１回だけ処理されればよいのであって、その期間においてフィルター毎に１回ずつ処理されるのではない。したがって、ジェスチャーを判定するために用いられる処理が少なくなる。

[0087] アプリケーション４５２は、認識エンジン４５４に設けられたフィルター４６０、４６２、４６４、．．．、４６６を用いることができ、またはそれ自体のフィルターを設けることもできる。このフィルターは、認識エンジン４５４に差し込まれる。一実施形態では、全てのフィルターは、この差し込み特性を可能にするために、共通のインターフェースを有する。更に、全てのフィルターはパラメーターを利用することができるので、以下の１つのジェスチャー・ツールを用いて、フィルター・システム全体のデバッグおよび調整(tune)を行うことができる。

[0088] 認識エンジン４５４についてのこれ以上の情報は、２００９年４月１３日に出願された米国特許出願第１２／４２２，６６１号、"Gesture Recognizer System Architecture"（ジェスチャー認識システムのアーキテクチャー）において見いだすことができる。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。ジェスチャー認識についてのこれ以上の情報は、２００９年２月２３日に出願された米国特許出願第１２／３９１，１５０号、"Standard Gestures"（標準的ジェスチャー）、および２００９年５月２９日に出願された米国特許第１２／４７４，６５５号、"Gesture Tool"（ジェスチャー・ツール）において見いだすことができる。これら双方の特許出願をここで引用したことにより、それらの内容全体が本願にも含まれるものとする。

[0089] 一実施形態では、計算システム１２は、ハブ計算システム１２と相互作用する1人以上のユーザーに関するユーザー特定情報を含むユーザー・プロファイル・データーベース４７０を含む。一例では、ユーザー特定情報は、ユーザーの表現した好み、ユーザーの友人のリスト、ユーザーが好む活動、ユーザーの備忘録のリスト、ユーザーのソーシャル・グループ、ユーザーの現在地、ユーザーの環境ならびにユーザーの写真、画像、および記録ビデオというような、その他のユーザー作成コンテンツにおける物体と相互作用したユーザーの過去の意図というような、ユーザーに関する情報を含む。一実施形態では、ユーザー特定情報は、ユーザーのソーシャル・ネットワーキング・サイト、住所録、電子メール・データー、インスタント・メッセージング・データー、ユーザー・プロファイル、またはインターネット上の他のソースというような、１つ以上のデーター・ソースから得ることができる。１つの手法では、そして以下で詳細に論ずるように、ユーザー特定情報は、ユーザーの環境において１つ以上の物体と相互作用するユーザーの意図を自動的に判定するために利用される。

[0090] 図６は、ハブ計算デバイス１２を実現するために用いることができる計算システムの一実施形態例を示す。図６に示すように、マルチメディア・コンソール５００は、中央演算装置（ＣＰＵ）５０１を有する。ＣＰＵ５０１は、レベル１（Ｌ１）キャッシュ５０２、レベル２（Ｌ２）キャッシュ５０４、およびフラッシュＲＯＭ（リード・オンリー・メモリー）５０６を有する。レベル１キャッシュ５０２およびレベル２キャッシュ５０４は、一時的にデーターを格納し、したがってメモリー・アクセス・サイクル回数を減らすことによって、処理速度およびスループットを向上させる。ＣＰＵ５０１は、１つよりも多いコア、つまり追加のレベル１およびレベル２キャッシュ５０２および５０４を有するものが、設けられてもよい。フラッシュＲＯＭ５０６は、実行可能コードを格納することができる。実行可能コードは、マルチメディア・コンソール５００に最初に電力を投入するときのブート・プロセスの初期フェーズの間にロードされる。

[0091] グラフィクス処理ユニット（ＧＰＵ）５０８およびビデオ・エンコーダー／ビデオ・コデック（コーダー／デコーダー）５１４は、高速および高分解能グラフィクス処理のためのビデオ処理パイプラインを形成する。データーは、グラフィクス処理ユニット５０８からビデオ・エンコーダー／ビデオ・コデック５１４に、バスを通じて搬送される。ビデオ処理パイプラインが、テレビジョンまたはその他の表示装置への送信のために、データーをＡ／Ｖ（オーディオ／ビデオ）ポート５４０に出力する。メモリー・コントローラー５１０がＧＰＵ５０８に接続されており、限定ではないが、ＲＡＭ（ランダム・アクセス・メモリー）のような、種々の形式のメモリー５１２にプロセッサーがアクセスし易くする。

[0092] マルチメディア・コンソール５００は、Ｉ／Ｏコントローラー５２０、システム管理コントローラー５２２、オーディオ処理ユニット５２３、ネットワーク・インターフェース・コントローラー５２４、第１ＵＳＢホスト・コントローラー５２６、第２ＵＳＢコントローラー５２８、およびフロント・パネルＩ／Ｏサブアセンブリー５３０を含む。これらは、モジュール５１８上に実装することが好ましい。ＵＳＢコントローラー５２６および５２８は、ペリフェラル・コントローラー５４２（１）〜５４２（２）、ワイヤレス・アダプター５４８、および外部メモリー・ユニット５４６（例えば、フラッシュ・メモリー、外部ＣＤ／ＤＶＤ ＲＯＭドライブ、リムーバブル・メディア等）のホストとしての役割を果たす。ネットワーク・インターフェース５２４および／またはワイヤレス・アダプター５４８は、ネットワーク（例えば、インターネット、ホーム・ネットワーク等）へのアクセスを与え、イーサネット（登録商標）・カード、モデム、Bluetooth（登録商標）モジュール、ケーブル・モデム等を含む、多種多様の様々な有線またはワイヤレス・アダプター・コンポーネントの内いずれでもよい。

[0093] システム・メモリー５４３は、ブート・プロセスの間にロードされるアプリケーション・データーを格納するために設けられている。メディア・ドライブ５４４が設けられており、ＤＶＤ／ＣＤドライブ、ブルー・レイ・ドライブ、ハード・ディスク・ドライブ、またはその他のリムーバブル・メディア・ドライブ等を含むことができる。メディア・ドライブ１４４は、マルチメディア・コンソール５００の内部でも外部でもよい。マルチメディア・コンソール５００による実行、再生(playback)等のために、マルチメディア・コンソール５００はアプリケーション・データー５４４にアクセスすることができる。メディア・ドライブ５４４は、シリアルＡＴＡバスまたはその他の高速接続（例えば、ＩＥＥＥ１３９４）のようなバスを通じて、Ｉ／Ｏコントローラー５２０に接続されている。

[0094] システム管理コントローラー５２２は、マルチメディア・コンソール５００の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオ処理ユニット５２３およびオーディオ・コデック５３２は、高信頼度およびステレオ・オーディオ処理を備えた、対応するオーディオ処理パイプラインを形成する。通信リンクが、オーディオ処理ユニット５２３とオーディオ・コデック５２６との間において、オーディオ・データーを伝達することができる。オーディオ処理パイプラインは、外部オーディオ・ユーザーまたはオーディオ能力を有するデバイスによる再生のために、Ａ／Ｖポート５４０にデーターを出力する。

[0095] フロント・パネルＩ／Ｏサブアセンブリー５３０は、電力ボタン５５０およびイジェクト・ボタン５５２の機能をサポートし、更にマルチメディア・コンソール５００の外面上に露出するあらゆるＬＥＤ（発光ダイオード）またはその他のインディケーターの機能もサポートする。システム電源モジュール５３６は、電力をマルチメディア・コンソール１００のコンポーネントに供給する。ファン５３８は、マルチメディア・コンソール５００内部にある回路を冷却する。

[0096] ＣＰＵ５０１、ＧＰＵ５０８、メモリー・コントローラー５１０、およびマルチメディア・コンソール５００内部にある種々の他のコンポーネントは、１つ以上のバスによって相互接続されている。これらのバスには、シリアルおよびパラレル・バス、メモリー・バス、ペリフェラル・バス、ならびに種々のバス・アーキテクチャーの内いずれかを用いたプロセッサー・バスまたはローカル・バスが含まれる。一例として、このようなアーキテクチャーは、周辺コンポーネント相互接続（ＰＣＩ）バス、PCI−Expressバス等を含むことができる。

[0097] マルチメディア・コンソール５００に電源を投入すると、アプリケーション・データーをシステム・メモリー５４３からメモリー５１２および／またはキャッシュ５０２、５０４にロードすることができ、ＣＰＵ５０１において実行することができる。アプリケーションは、マルチメディア・コンソール５００において利用可能な異なるメディア・タイプにナビゲートするときに、一貫性のあるユーザー体験を提供するグラフィカル・ユーザー・インターフェースを提示することができる。動作において、アプリケーションおよび／またはメディア・ドライブ５４４内に含まれているその他のメディアをメディア・ドライブから起動または再生して、追加の機能をマルチメディア・コンソール５００に提供することもできる。

[0098] マルチメディア・コンソール５００は、単に単体システムをテレビジョンまたはその他のディスプレイに接続することによって、その単体システムとして動作させることができる。この単体モードでは、マルチメディア・コンソール５００は、１人以上のユーザーがシステムと相互作用すること、ムービーを見ること、音楽を聞くこと等を可能にする。しかしながら、ネットワーク・インターフェース５２４またはワイヤレス・アダプター５４８を通じて利用可能なブロードバンド接続の統合により、マルチメディア・コンソール５００は、更に、それよりも大きなネットワーク共同体における参加者として動作することができる。加えて、マルチメディア・コンソール５００は、演算装置４とワイヤレス・アダプター５４８を介して通信することができる。

[0099] マルチメディア・コンソール５００の電源をオンにすると、マルチメディア・コンソールのオペレーティング・システムによって、設定されている量のハードウェア・リソースがシステムの使用のために確保される。これらのリソースは、メモリー、ＣＰＵおよびＧＰＵサイクル、ネットワーキング帯域幅等の確保を含むことができる。これらのリソースは、システムのブート時に確保されるので、確保されたリソースは、アプリケーションの視点からは存在しない。特に、メモリーの確保は、起動カーネル、コンカレント・システム・アプリケーション、およびドライバーを含めるのに十分大きいことが好ましい。確保されたＣＰＵの使用がそのシステム・アプリケーションによって用いられない場合、アイドル状態にあるスレッドが未使用サイクルの内いずれかを消費するように、ＣＰＵの確保を一定に維持することが好ましい。

[00100] ＧＰＵの確保に関して、ＧＰＵ割り込みを用いることによって、システム・アプリケーション（例えば、ポップアップ）によって生成される軽量メッセージを表示して、ポップアップをオーバーレイにレンダリングするコードをスケジューリングする。オーバーレイに必要とされるメモリー量は、オーバーレイのエリア・サイズに依存し、オーバーレイは画面の解像度と共にスケーリングする(scale)ことが好ましい。コンカレント・システム・アプリケーションによってユーザー・インターフェース全体が用いられる場合、アプリケーションの解像度とは独立した解像度を用いることが好ましい。周波数を変更しＴＶの同期を取り直す必要性をなくすように、スケーラーを用いてこの解像度を設定するとよい。

[00101] マルチメディア・コンソール５００がブートして、システム・リソースが確保された後、コンカレント・システム・アプリケーションが実行してシステム機能を提供する。これらのシステム機能は、前述の確保したシステム・リソースの内部で実行する１組のシステム・アプリケーション内にカプセル化されている。オペレーティング・システム・カーネルは、システム・アプリケーション・スレッドと、ゲーミング・アプリケーション・スレッドとの間でスレッドを識別する。一貫したシステム・リソース・ビューをアプリケーションに提供するために、システム・アプリケーションは、所定の時点および間隔でＣＰＵ５０１において実行するようにスケジューリングされていることが好ましい。このスケジューリングは、コンソールにおいて実行しているゲーミング・アプリケーションに対するキャッシュの分裂(disruption)を最少に抑えるためにある。

[00102] コンカレント・システム・アプリケーションがオーディオを必要とする場合、時間に敏感であるため、オーディオ処理を非同期にゲーミング・アプリケーションにスケジューリングする。マルチメディア・コンソール・アプリケーション管理部（以下で説明する）は、システム・アプリケーションがアクティブのとき、ゲーミング・アプリケーションのオーディオ・レベル（例えば、無音化、減衰）を制御する。

[00103] 任意選択肢の入力デバイス（例えば、コントローラー５４２（１）および５４２（２））は、ゲーミング・アプリケーションおよびシステム・アプリケーションによって共有される。入力デバイスは、確保されたリソースではないが、システム・アプリケーションとゲーミング・アプリケーションとの間で切り換えられて、各々がそのデバイスのフォーカス(a focus of the device)を有するようにする。アプリケーション管理部は、好ましくは、ゲーミング・アプリケーションの知識を知ることなく、入力ストリームの切換を制御し、ドライバーがフォーカス・スイッチ(focus switches)に関する状態情報を維持する。キャプチャー・デバイス２０Ａおよび２０Ｂは、コンソール５００のための追加の入力デバイスを、ＵＳＢコントローラー５２６または他のインターフェースを介して、定めることができる。他の実施形態では、ハブ計算システム１２は、他のハードウェア・アーキテクチャーを用いて実現することができる。ハードウェア・アーキテクチャーが１つである必要はない。

[00104] 図１は、１つのハブ計算デバイス１２（ハブと呼ぶ）と通信する１つの頭部装着ディスプレイ・デバイス２および演算装置４（纏めて移動体ディスプレイ・デバイスと呼ぶ）を示す。他の実施形態では、複数の移動体ディスプレイ・デバイスが１つのハブと通信することができる。これらの移動体ディスプレイ・デバイスの各々は、前述のように、ワイヤレス通信を用いてハブと通信する。このような実施形態では、移動体ディスプレイ・デバイスの全てに有用である情報の多くが、ハブにおいて計算および格納され、移動体ディスプレイ・デバイスの各々に送られることが考えられる。例えば、ハブは環境のモデルを生成し、ハブと通信する移動体ディスプレイ・デバイスの全てにこのモデルを供給する。加えて、ハブは、移動体ディスプレイ・デバイスの位置および向きを追跡し、更に部屋内において動いている物体の位置および向きを追跡し、その情報を移動体ディスプレイ・デバイスの各々に転送することができる。

[00105] 他の実施形態では、システムが多数のハブを含むことができ、各ハブが１つ以上の移動体ディスプレイ・デバイスを含む。これらのハブは、互いに直接またはインターネット（または他のネットワーク）を介して通信することができる。例えば、図７はハブ５６０、５６２、および５６４を示す。ハブ５６０は、直接ハブ５６２と通信する。ハブ５６０は、ハブ５６４とインターネットを介して通信する。ハブ５６０は、移動体ディスプレイ・デバイス５７０、５７２、．．．、５７４と通信する。ハブ５６２は、移動体ディスプレイ・デバイス５７８、５８０、．．．、５８２と通信する。ハブ５６４は、移動体ディスプレイ・デバイス５８４、５８６、．．．、５８８と通信する。先に論じたように、移動体ディスプレイ・デバイスの各々は、それらそれぞれのハブと、ワイヤレス通信を介して通信する。これらのハブが共通の環境にある場合、これらのハブの各々は環境のモデルの一部を設けることができ、または１つのハブが他のハブのためにモデルを作成することができる。これらのハブの各々は、動いている物体の一部(subset)を追跡し、その情報を他のハブと共有する。一方、他のハブは、しかるべき移動体ディスプレイ・デバイスとこの情報を共有する。移動体ディスプレイ・デバイスについてのセンサー情報が、それらそれぞれのハブに提供され、次いで他のハブに分配され、最終的に他の移動体ディスプレイ・デバイスに分配される。つまり、ハブ間で共有される情報は、骨格追跡、モデルについての情報、アプリケーションの種々の状態、およびその他の追跡を含むことができる。ハブおよびそれらそれぞれの移動体ディスプレイ・デバイス間で伝えられる情報には、動いている物体の追跡情報、世界モデルについての状態および物理的更新(physics updates)、幾何学的形状および表面模様の情報、ビデオおよびオーディオ、ならびに本明細書において記載される動作を実行するために用いられる他の情報が含まれる。

[00106] 図８は、頭部装着ディスプレイ・デバイスのユーザーに提示する可視化情報の表示を最適化するプロセスの一実施形態を説明する。ステップ６００において、システム１０を構成する。例えば、アプリケーション（図５のアプリケーション４５２）が、場面の三次元モデルにおける指定位置に最適画像を挿入することを示すように、本システムを構成することができる。他の例では、ハブ計算システム１２上で実行するアプリケーションが、ビデオ・ゲームまたは他のプロセスの一部として拡張コンテンツ（特定の仮想画像または仮想物体というような）を場面内に挿入するように指示する。

[00107] ステップ６０５において、ユーザーの環境において関心のある物体を判定する。一実施形態では、これは、ステップ６０２から６０６において概要を説明するように、ユーザーの空間の三次元モデルを作成することによって行うことができる。ステップ６０２において、本システムは、頭部装着ディスプレイ・デバイス２を配置する空間の立体モデルを作成する。一実施形態では、例えば、ハブ計算デバイス１２は、１つ以上の深度カメラからの深度画像を用いて、頭部装着ディスプレイ・デバイス２を配置する環境または場面の三次元モデルを作成する。ステップ６０４において、このモデルを１つ以上の物体に区分する。例えば、ハブ計算デバイス１２が部屋の三次元モデルを作成する場合、この部屋はその内部に多数の物体を有することがありそうに思われる。部屋の中にある可能性がある物体の例には、人、椅子、テーブル、ソファ等が含まれる。ステップ６０４は、別個の物体を互いから区別することを含む。ステップ６０６において、本システムはこれらの物体を特定する。例えば、ハブ計算デバイス１２は、１つの特定の物体がテーブルであり、他の物体が椅子であることを特定することができる。

[00108] あるいは、ステップ６０５は、多数の手段のいずれでも実行することができる。一実施形態では、部屋の中にある１つ以上の物体または個人にセンサーを埋め込むこともできる。センサーは、対象の物体を識別する検出可能な信号を発信し、または物体のタイプおよび特定のアプリケーションに対して物体に対して抱くかもしれない関心のレベルというような追加情報を提供する検出可能な信号を発信し、ユーザーの環境において物体を識別するために用いることができる。あるいは、先に開示したキャプチャー・デバイス、または他の距離検出センサー技術（ＳＯＮＡＲ、ＬＩＤＡＲ、構造化光、および／または飛行時間距離検出器）を採用した他のセンサー・デバイスを環境内または頭部装着ディスプレイ・デバイス上に配し、その範囲内にある物体を識別するために他のセンサー技術を用いることもできる。これらは全て、可能な注目物体(focal object)およびその形状を規定するために用いることができる。

[00109] 他の代替案は、以上で説明した深度カメラの内１つ以上を用いて、環境のステレオ再現を、一度に１フレームずつ実行することである。更に他の代替案では、物体自体が、頭部装着ディスプレイに向けられた光パルスを放出し、その物体が対象であること、そしてこの物体を含む表示の部分を強調すべきことを、ディスプレイに示すのでもよい。

[00110] 図８のステップ６０８において、本システムは、モデルまたは以上の技法に基づいてユーザーの視野を判定する。即ち、本システムはユーザーが見ている環境または空間の部分を判定する。一実施形態では、ステップ６０８は、ハブ計算デバイス１２、演算装置４、および頭部装着ディスプレイ・デバイス２を用いて実行することができる。一実施態様例では、ハブ計算デバイス１２がユーザーおよび頭部装着ディスプレイ・デバイス２を追跡して、頭部装着ディスプレイ・デバイス２の位置および向きについて暫定的な判定を行う。頭部装着ディスプレイ・デバイス２上にあるセンサーを用いて、判定した向きを厳密に定める。例えば、先に説明した慣性センサー３４は、頭部装着ディスプレイ・デバイス２の向きを厳密に定めるために用いることができる。加えて、以下で説明する目追跡プロセスも、最初に判定した視野の内、特にユーザーが見ているところ、あるい視野においてユーザーの焦点領域または深度焦点として把握したところに対応する一部(subset)を特定するために用いることができる。これ以上の詳細については、図１２、図１３Ａ、および図１３Ｂに関して以下で説明する。

[00111] ステップ６１０において、演算装置４において実行するソフトウェアというような本システムは、ユーザーの視野内においてユーザーの現焦点領域を判定する。図１３Ａおよび図１３Ｂにおいて以下で更に論ずるが、目毎に目追跡カメラ１３４によって取り込まれたデーターに基づく目追跡処理によって、ユーザーの現在の焦点領域を規定することができる。例えば、瞳間の収斂(convergence)は、ユーザーの顔の位置を示すデーターと共に、焦点曲線、即ち、ホロプター上の焦点距離まで三角測量するために用いることができる。焦点領域、即ち、パナムの融合エリアは、この焦点から計算することができる。パナムの融合エリアとは、人間の目によって用いられる両眼立体視に対する単一視のエリアである。

[00112] ステップ６１２において、演算装置４は、単独でまたはハブ計算デバイス１２と協同して（ソフトウェアの制御下で）、ユーザーの焦点領域内において１つ以上の物体と相互作用するユーザーの意図を判定する。ステップ６１４において、ソフトウェアの制御の下で、演算装置４は、単独でまたはハブ計算デバイス１２と協同して、１つ以上の物体と相互作用するユーザーの意図に基づいて最適画像を生成し、この最適画像をユーザーに表示する。

[00113] ステップ６１６において、頭部装着ディスプレイ・デバイス２のユーザーは、頭部装着ディスプレイ・デバイス２上に表示された最適画像に基づいて、ハブ計算デバイス１２（または他の計算デバイス）上で実行するアプリケーションと相互作用を行う。図８の処理ステップ（６０８〜６１６）は、ユーザーが彼または彼女の頭部を動かすに連れてユーザーの視野および焦点領域を更新し、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図を判定し、ユーザーの意図に基づいて最適画像をユーザーに表示するように、本システムの動作中に連続して実行することができる。ステップ６０４〜６１４の各々については、以下で詳細に説明する。

[00114] 図９は、ユーザーの空間のモデルを作成するプロセスの一実施形態を説明する。例えば、図９のプロセスは、図８のステップ６０２の一実施態様例である。ステップ６２０において、ハブ計算デバイス１２は頭部装着ディスプレイ・デバイス２が存在する空間の、図１に示したもののような、多数の視線(perspective)に対する１つ以上の深度画像を受け取る。例えば、ハブ計算デバイス１２は、多数の深度カメラから深度画像を得ることができ、あるいはカメラを異なる方向に向けることによって、またはモデルを構築する空間の全視野(full view)を可能にするレンズを有する深度カメラを用いることによって、同じカメラから複数の深度画像を得ることができる。ステップ６２２において、種々の深度画像からの深度データーを共通座標系に基づいて組み合わせる。例えば、このシステムが深度画像を多数のカメラから受け取る場合、本システムは２つの画像を相関付けて共通の座標系を有する（例えば、画像を並べる）。ステップ６２４において、深度データーを用いて、空間の立体記述を作成する。

[00115] 図１０は、空間のモデルを物体に区分するプロセスの一実施形態を説明するフローチャートである。例えば、図１０のプロセスは、図８のステップ６０４の一実現例である。図１０のステップ６２６において、本システムは、先に論じたように、１つ以上の深度画像を１つ以上の深度カメラから受け取る。あるいは、本システムは、既に受け取っている１つ以上の深度画像にアクセスすることもできる。ステップ６２８において、本システムは、１つ以上の仮想画像を前述したカメラから受け取る。あるいは、本システムは、既に受け取られている１つ以上の仮想画像にアクセスすることもできる。ステップ６３０において、ハブ計算システム１２は、深度画像および／または視覚画像に基づいて１人以上の人を検出する。例えば、本システムは１つ以上の骨格を認識する。ステップ６３２において、ハブ計算デバイス１２は、深度画像および／または視覚画像に基づいてモデル内で縁端を検出する。ステップ６３４において、ハブ計算デバイス１２は、検出した縁端を用いて、別個の物体を互いから識別する。例えば、縁端が物体間の境界であると仮定する。ステップ６３６において、モデルのどの部分が異なる物体と関連付けられているかを示すために、図９のプロセスを用いて作成したモデルを更新する。

[00116] 図１１Ａは、物体を特定するプロセスの一実施形態を説明するフローチャートである。例えば、図１１Ａのプロセスは、図８のステップ６０６の一実施態様例である。ステップ６４０において、ハブ計算デバイス１２は、特定した人をユーザー個人情報(identity)と照合する。例えば、ユーザー・プロファイルが、キャプチャー・デバイスによって受け取られた検出物体の画像と照合することができる視覚画像を有することができる。あるいは、ユーザーのプロファイルが、深度画像または視覚画像に基づいて照合することができる人の特徴を記述することもできる。他の実施形態では、ユーザーが本システムにログインするのでもよく、ハブ計算デバイス１２がログイン・プロセスを用いて個々のユーザーを特定し、本明細書において記載する相互作用の間にわたってユーザーを追跡することができる。ステップ６４２において、ハブ計算デバイス１２は形状のデーターベースにアクセスする。ステップ６４４において、ハブ計算デバイスは、モデル内にあるだけの物体をデーターベースにおける形状と照合する。ステップ６４６において、一致しない形状を強調して、ユーザーに表示する（例えば、モニター１６を用いる）。ステップ６４８において、ハブ計算デバイス１２は、強調された形状の各々（または一部(subset)）を特定するユーザー入力を受け取る。例えば、ユーザーはキーボード、マウス、音声入力、または他のタイプの入力を用いて、特定されなかった形状の各々が何であるのか示すことができる。ステップ６５０において、ステップ６４８におけるユーザー入力に基づいて、形状のデーターベースを更新する。ステップ６５２において、ステップ６０２において作成しそしてステップ６３６において更新した環境のモデルに、更に、物体の各々についてのメタデーターを追加することによって、このモデルを更新する。メタデーターは物体を識別する。例えば、メタデーターは、特定の物体が、丸く輝くテーブル、ジョン・ドウ(John Doe)、緑色の革製ソファー等であることを示すこともできる。

[00117] 図１１Ｂは、動く物体（例えば、動く人または他のタイプの物体）に応答して、図８のプロセスによって作成したモデルを更新するプロセスの一実施形態を説明するフロー・チャートである。ステップ６５４において、本システムは、物体が動いていることを判定する。例えば、本システムは、連続的に深度画像を受け取る。深度画像がときの経過と共に変化した場合、物体が動いていることになる。動いている物体が検出されない場合、本システムは深度画像を受け続け、動いている物体を探し続ける。

[00118] 動いている物体がある場合、ステップ６５４において、本システムはその動いている物体を特定する。動いている物体を認識し、認識した物体を図８のステップ６０６において特定した物体の内１つと相関付けるために、フレーム差分抽出(differencing)または種々の追跡技術の内いずれかを用いることができる。物体の中には、動いているときに形状を変化させるものもある。例えば、人間が歩くまたは走ると、人間は体形が変化する場合がある。ステップ６５８において、動く物体の新たな位置および形状に基づいて、以前に作られた環境のモデルを更新する。ステップ６６０において、動く物体の新たな形状を特定し、格納する。図１１Ｂのプロセスは、ハブ計算デバイス１２の演算装置４によって実行することができる。

[00119] 図１２は、図８のステップ６０８の一実施態様例である、ユーザーの視野を判定するプロセス、更に図８のステップ６１０の一実施態様例である、ユーザーの焦点領域を判定するプロセスの一実施形態を説明するフローチャートである。図１２のプロセスは、ハブ計算デバイス１２からの情報および先に説明した目追跡技術を拠り所とする。図１３Ａは、図１２のプロセスにおいて用いられる追跡情報を提供するためにハブ計算システムによって実行するプロセスの一実施形態を説明するフローチャートである。図１３Ｂは、目を追跡するプロセスの一実施形態を説明するフローチャートであり、この結果は図１２のプロセスによって用いられる。

[00120] 図１３Ａのステップ６８６において、ハブ計算デバイス１２は、ユーザーの位置を追跡する。例えば、ハブ計算デバイス１２は、１つ以上の深度画像および１つ以上の視覚画像を用いてユーザーを追跡する（例えば、骨格追跡を用いる）。１つ以上の深度画像および１つ以上の視覚画像は、ステップ６８８において頭部装着ディスプレイ・デバイス２の位置、および頭部装着ディスプレイ・デバイス２の向きを判定するために用いることができる。ステップ６９０において、ユーザーおよび頭部装着ディスプレイ・デバイス２の位置ならびに向きを、ハブ計算デバイス１２から演算装置４に送信する。ステップ６９２において、演算装置４においてこの位置および配向情報を受け取る。図１３Ａの処理ステップは、ユーザーを連続的に追跡するように、本システムの動作中継続して実行することができる。

[00121] 図１３Ｂは、環境においてユーザーの目の位置を追跡する一実施形態を説明するフローチャートである。ステップ６６２において、目に照明を当てる。例えば、目追跡照明１３４Ａからの赤外線光を用いて、目に照明を当てることができる。ステップ６６４において、１つ以上の目追跡カメラ１３４Ｂを用いて目からの反射を検出する。ステップ６６５において、頭部装着ディスプレイ・デバイス２から演算装置４に反射データーを送る。ステップ６６８において、演算装置４は、先に論じたように、反射データーに基づいて目の位置を判定する。

[00122] 図１２は、ユーザーの視野を判定するプロセス（例えば、図８のステップ６０８）およびユーザーの焦点領域を判定するプロセス（例えば、図８のステップ６１０）の一実施形態を説明するフローチャートである。ステップ６７０において、演算装置４は、ハブから受け取った最新の位置および配向情報にアクセスする。図１２のプロセスは、ステップ８１４からステップ８１０への矢印によって示されるように、連続的に実行することができ、したがって、演算装置４は周期的に更新された位置および配向情報を、ハブ計算デバイス１２から受け取る。しかしながら、演算装置４は、ハブ計算デバイス１２から更新情報を受け取るよりも高い頻度で仮想画像を描画する必要がある。したがって、演算装置４は、ローカルに（例えば、頭部装着ディスプレイ・デバイス２から）検知された情報を拠り所として、ハブ計算デバイス１２からのサンプルの間に、向きに対する更新を行う必要がある。

[00123] ステップ６７２において、演算装置４は、三軸ジャイロ１３２Ｂからのデーターにアクセスする。ステップ６７４において、演算装置４は三軸加速度１３２Ｃからのデーターにアクセスする。ステップ６７６において、演算装置４は三軸磁力計１３２Ａからのデーターにアクセスする。ステップ６７８において、演算装置４は、ジャイロ、加速度計、および磁力計からのデーターによって、ハブ計算デバイス１２からの位置および配向データーを厳密に定める（または、言い換えると、更新する）。ステップ６８０において、演算装置４は、頭部装着ディスプレイ・デバイスの位置および向きに基づいて、潜在的な視点(point of view)を判定する。

[00124] ステップ６８２において、演算装置４は最新の目位置情報にアクセスする。ステップ６８４において、演算装置４は、ユーザーによって見られているモデルの部分を、潜在的な視野の一部として目の位置に基づいて判定する。例えば、ユーザーが壁に向かっていることもあり、したがって、頭部装着ディスプレイの視点は、壁に沿ったいずれかの場所を含むこともあり得る。しかしながら、ユーザーの目が右に向けられている場合、ステップ６８４では、ユーザーの視野は壁の右側部分のみであると結論付ける。ステップ６８４の終了時には、演算装置４は頭部装着ディスプレイ２を介したユーザーの視点を判定し終えている。次いで、演算装置４は、その視野内において、不透明フィルターを用いて仮想画像を挿入し光を遮断する位置を特定することができる。図１２の処理ステップは、ユーザーが彼または彼女の頭部を動かすに連れてユーザーの視野および焦点領域が連続的に更新されるように、本システムの動作中に連続的に実行することができる。

[00125] 図１４は、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図を推論して判定するか、または意図が表現されたことを判定するプロセスの一実施形態を説明するフローチャートである。例えば、図１４のプロセスは、図８のステップ６１２の一実施態様例である。図１４のステップは、ソフトウェアの制御の下で、ハブ計算デバイス１２または演算装置４によって実行することができる。図１４は、ユーザーの焦点領域内において１つ以上の物体と相互作用するユーザーの意図を、ユーザーの焦点領域におけるユーザーの目の移動パターンの検出に基づいて判定し、更にユーザーの焦点領域においてユーザーが見ている１つ以上の物体上におけるユーザーの凝視の強さを判定するプロセスについて説明する。図１４Ａは、ユーザーに関するユーザー特定情報に基づいて、１つ以上の物体または人と相互作用するユーザーの意図を推論するプロセスを説明する。図１４Ｂは、ユーザーが表現した１つ以上の物体と相互作用する意図に基づいて、１つ以上の物体と相互作用する意図を判定するプロセスを説明する。

[00126] 図１４のステップ６９０において、ユーザーの焦点領域におけるユーザーの目の移動パターンを検出する。認められるように、目の動きは、通例、目の凝視がある位置において停止しているとき、および他の位置に動くときに、固視(fixation)および断続性運動(saccades)にそれぞれ分割される。したがって、目移動パターンは、画像または視覚的場面を見ているときに、ユーザーの目が続けて行う(follow)一連の固視および断続性運動として定義することができる。結果的に得られる一連の固視および断続性運動は、一般に、スキャンパス(scanpath)と呼ばれる。これは、視覚的場面を見ているときにユーザーの目が辿る経路である。加えて、目からの情報の殆どは、固視の間に入手可能になる。視角（眼窩）の中央の１度または２度は、大量の視覚的情報を提供し、それよりも大きな離心（周辺）からの入力の方が情報が少ない。つまり、スキャンパスに沿った固視の位置は、視覚的場面を見ているときにユーザーの目によって処理される刺激に関する情報位置(information loci)を示す。一例では、スキャンパスに沿った固視の位置は、ユーザーの焦点領域においてユーザーが見ている１つ以上の物体を検出するために用いることができる。

[00127] ステップ６９２において、ユーザーがユーザーの焦点領域において１つ以上の物体を見ているか否か判定を行う。先に論じたように、一例では、スキャンパスに沿った固視の位置は、ユーザーがユーザーの焦点領域において１つ以上の物体を見ているか否か検出するために用いることができる。ユーザーが何の物体も見ていないと判定した場合、一実施形態では、図１４Ａにおいて説明するステップ（７１０〜７１６）を実行する。

[00128] ユーザーがユーザーの焦点領域において１つ以上の物体を見ていると判定した場合、ステップ６９４において、ユーザーが見ている物体を特定する。図１１において説明したプロセスを利用することによって、１つ以上の物体を特定することができる。例えば、物体は、壁掛け時計、丸く輝くテーブル、ジョン・ドウ、緑色の革製ソファー等として特定することができる。ステップ６９６において、ユーザーの焦点領域においてユーザーが見ている１つ以上の物体上におけるユーザーの凝視の強さを判定する。一例では、ユーザーの凝視の強さは、ある時間枠以内における物体上のユーザーの凝視（または固視）の期間を判定することに基づいて判定する。

[00129] ステップ６９８において、ユーザーの凝視の強さが既定の閾値よりも大きいか否か判定を行う。一例では、既定の閾値は１０秒である。凝視の強さが既定の閾値よりも大きい場合、ステップ７００において、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図を推論する。一例では、ユーザーの環境の中にある物体の各々が、物体と相互作用するユーザーの位置を表すパラメータを含むことができる。一例では、システム１０は、物体と相互作用するユーザーの意図を判定するとき、二進値を物体のパラメータに割り当てることができる。二進値が１のとき、物体と相互作用するユーザーの意図を表す。ステップ７００において、ユーザーの意図をユーザー・プロファイル・データーベース４７０に格納する。

[00130] 他の例では、ユーザーの凝視の強さ（ステップ６９６において判定した）は、物体を見ながらユーザーが行っている活動の形式も判定することができる。例えば、ユーザーの凝視の強さから導かれた断続性運動のシーケンスの長さを用いて、ユーザーが物体を調べているのか／漫然と見ているのか、物体によって表示される文章を読んでいるのか、物体について考えているのか、または物体を真剣に見ているのか判定することができる。一実施形態では、ユーザーが行っている活動の形式を、物体上におけるユーザーの凝視の強さによって判定し、更に物体と相互作用するユーザーの意図を推論するために用いることもできる。

[00131] ステップ６９８において、ユーザーの凝視の強さが既定の閾値より大きくないと判定した場合、一実施形態では、図１４Ｂにおいて説明するプロセスのステップ（７２０〜７２４）を実行する。

[00132] 図１４Ａは、ユーザーの焦点領域において１つ以上の物体と相互作用するユーザーの意図を判定するプロセスの他の実施形態を説明するフローチャートである。一実施形態では、図１４Ａにおいて説明するプロセスを実行するのは、ユーザーがユーザーの焦点領域においていずれの特定の物体も見ていないことを、ユーザーの目の移動パターンが示すとき（例えば、図１４のステップ６９２）である。例えば、ＨＭＤデバイスを着用しているユーザーの視力が正常でなく、彼または彼女の環境において物体または人々を非常に明確に見ることができないかもしれないという状況例について考える。１つの手法では、１つ以上の物体または人と相互作用するユーザーの意図は、ユーザーに関するユーザー特定情報にアクセスすることによって、自動的に推論することができる。ユーザーの意図を自動的に判定するプロセスについては、ステップ７１０〜７１６において以下で説明する。

[00133] ステップ７１０において、ユーザーに関するユーザー特定情報に、ユーザー・プロファイル・データーベース４７０からアクセスする。先に論じたように、ユーザー特定情報は、ユーザーが表現した好み、ユーザーの友人のリスト、ユーザーが好む活動、ユーザーの備忘録のリスト、ユーザーのソーシャル・グループ、ユーザーの現在地、ユーザーの環境、ならびにユーザーの写真、画像、および記録ビデオというような、その他のユーザー作成コンテンツといった、ユーザーに関する情報を含むことができる。

[00134] ステップ７１２において、ユーザーの焦点領域における物体または人のいずれかが、ユーザー特定情報と相関があるか否か判定を行う。例えば、ユーザーがパーティにおいて彼または彼女の友人を見つけようとしていうという状況例では、ユーザーの焦点領域内に現れる人を、ユーザーに関するユーザー特定情報と相関付けて、これらの人々の1人以上がユーザーの友人のいずれかに対応するか否か判定を行うことができる。例えば、ユーザーの焦点領域内にいる人々の画像を、ユーザー・プロファイル・データーベース４７０に格納されているユーザーの友人の視角画像と相関付けて、ユーザーの焦点領域内にいる人々の内ひとり以上が、ユーザーの友人のいずれかに対応するか否か判定を行うために、顔認識技法を利用することもできる。

[00135] ステップ７１２において、ユーザーの視野における物体や人々のいずれもユーザー特定情報と相関がないと判定した場合、本プロセスは、図８におけるステップ６０８におけるユーザーの視野追跡に戻る。一例では、ユーザーの視野における物体や人々のいずれもユーザー特定情報と相関がないと判定した場合、「現在貴方の焦点領域には対象の物体や人はいません」というような仮想テキスト・メッセージを、ユーザーのＨＭＤを介して、ユーザーに表示することができる。

[00136] ステップ７１４において、相関に基づいて、１つ以上の物体または人を特定する。例えば、ユーザーの友人、ジョン・ドウ、およびサリー・ドウ(Sally Doe)として、人を識別することができる。他の実施形態では、ユーザーのキー(key)が、場面内に置かれたものとして識別することができる。ステップ７１６において、特定された物体または人と相互作用するユーザーの意図を、相関に基づいて自動的に推論する。先に論じたように、一例では、本システムは、物体または人と相互作用するユーザーの意図を判定したときに、１つ以上の識別した物体または人によって表されるパラメーターに二進値を割り当てる。ステップ７１６において、ユーザー・プロファイル・データーベース４７０に、１つ以上の識別した物体と相互作用するユーザーの意図を格納する。ステップ７１６は、ユーザー特定の要因または外部の要因に基づいて、自動的に意図を推論することを含んでもよい。このような要因には、限定ではなく、ユーザーのカレンダーまたはスケジュール情報、連絡先データーベースまたはソーシャル・グラフ(social graph)に格納されているユーザーの友人情報、地理的測位情報、時刻等を含むことができる。例えば、ユーザー特定情報が、月曜日にユーザーが会議に出席する予定になっていることを示し、ユーザーのラップトップが視野内にある。図１５Ｃにおいて以下で示す説明にしたがって、本システムは、ラップトップを強調して、そのラップトップを会議に持って行くことを忘れないように、ユーザーに説き勧めることができる。

[00137] 図１４Ｂは、１つ以上の物体と相互作用することを表現したユーザーの意図に基づいて、１つ以上の物体と相互作用するユーザーの意図を判定するプロセスの他の実施形態を説明するフローチャートである。一実施形態では、図１４Ｂにおいて説明するプロセスを実行するのは、例えば、ユーザーがユーザーの焦点領域内で１つ以上の物体を見ているが、ユーザーの凝視の強さは十分に長くないときである（即ち、図１４のステップ６９８において論じたように、既定の閾値よりも大きくない）。ステップ７２０において、ユーザーの焦点領域において１つ以上の物体と相互作用する意図を指定または表現するように、ユーザーに促す。一例では、本システムは、ユーザーのＨＭＤデバイスを介してユーザーに仮想テキストを表示して、１つ以上の物体と相互作用する意図を指定するようにユーザーに促すことができる。例えば、音声入力、キーボード入力、接触、またはジェスチャーというような、ユーザーの身体的行為によって意図を指定するように、ユーザーに促すことができる。音声入力は、発話した単語、口笛、叫び、およびその他の発声というような、ユーザーが発声する音声コマンドとすることができる。例えば、ユーザーがパーティにおいて彼または彼女の友人を見つけようとする状況例では、ユーザーは、「私の友人を見つけるのを手伝って下さい」というようなコマンドを発声することができる。

[00138] 手を叩くというような音声以外の音響も、ユーザーから受け取ることができる。一例では、音声入力または音声以外の音響は、図３に示した頭部装着ディスプレイにおけるマイクロフォン１１０、または図５に示したキャプチャー・デバイス４２３におけるマイクロフォン４３０によって取り込むことができる。ユーザーからのジェスチャーは、微笑み、笑い顔、または激励というような、ユーザーが行う顔の表情を含むことができる。一例では、ジェスチャーは、ハブ計算デバイス１２における認識エンジン４５４によって取り込むことができる。

[00139] ステップ７２２において、１つ以上の物体と相互作用する意図がユーザーによって受け取られたか否か判定を行う。ユーザーの意図が未だ受け取られていない場合、ステップ７０４において、本プロセスは図８におけるステップ６０８のユーザーの視野追跡に戻る。ユーザーの意図が受け取られている場合（身体的行為によって）、１つ以上の物体と相互作用するユーザーの意図を判定し、ユーザーが指定した意図または表現した意図を、ユーザー・プロファイル・データーベース４７０に格納する。

[00140] 図１５Ａは、１つ以上の物体と相互作用するユーザーの意図を推論して判定するか、または意図が表現されたことを判定することに基づいて最適画像を生成し、この最適画像をユーザーに表示するプロセスの一実施形態を説明するフローチャートである。一実施形態では、最適画像を生成するには、ユーザーの焦点領域においてユーザーが相互作用しようとする物体の外観を視覚的に強調すること、およびユーザーの焦点領域の外側であるがユーザーの視野内にあり、ユーザーが相互作用しようとしない物体の外観を目立たなくすることを含む。例えば、図１５Ａのプロセスは、図８のステップ６１４の一実施態様例である。図１５Ａのステップは、ソフトウェアの制御の下で、ハブ計算デバイス１２または演算装置４によって実行することができる。

[00141] ステップ７３０において、ユーザーの焦点領域の外側であるがユーザーの視野内に入る物体の外観を目立たなくする。一実施形態では、ＨＭＤデバイス２における不透明フィルター１１４を利用して、ユーザーの焦点領域の外側にある物体を遮るか暗くして、ユーザーの焦点領域の外側にある物体の外観を目立たなくする。つまり、実世界場面の内、ユーザーに関心がない部分は、不透明フィルター１１４によってユーザーの目に届かないように遮ることができ、ユーザーの焦点領域においてユーザーが相互作用しようとする物体が、ユーザーにとって明白に見えるようにする。

[00142] ステップ７３２において、ユーザーの焦点領域においてユーザーが相互作用しようとする物体を視覚的に強調する。一実施形態では、ＨＭＤデバイス２におけるマイクロ・ディスプレイ・アセンブリー１２０を利用して、ユーザーの焦点領域内にある物体を視覚的に強調する。１つの手法では、物体の縁端を際立たせることによって視覚的に強調する。他の手法では、物体が配置されている領域内において仮想的なボックス、円、または仮想的なインディケーターを表示することによって、物体を視覚的に強調する。加えて、物体を視覚的に強調するには、カラーも用いることができる。

[00143] ステップ７３４において、１つ以上の物体に関係がある拡張コンテンツを読み出す。一例では、拡張コンテンツは、ユーザー・プロファイル・データーベース４７０から読み出したユーザー特定情報を含むことができる。他の例では、拡張コンテンツは、ユーザーのソーシャル・ネットワーキング・サイト、住所録、電子メール・データー、インスタント・メッセージング・データー、ユーザー・プロファイル、またはインターネット上にあるその他のソースからリアル・タイムで読み出されたユーザー特定情報を含むこともできる。

[00144] ステップ７３６において、特定した物体に関係があるオーディオ・コンテンツを抽出する。ステップ７３６は任意選択肢である。例えば、ユーザーがユーザーの居間において壁掛け時計を見ており、ユーザーが壁掛け時計オブジェクトと相互作用しようとしていると判定した場合、時刻についてのオーディオ情報をユーザーが聴くことができる。また、例えば、ユーザーが彼または彼女の友人と共にパーティにおり、ユーザーがそのパーティにおいて特定の友人のグループと交流しようとしていると判定した場合、ユーザーはその特定のユーザーのグループからの声のみを聴くことができる。

[00145] ステップ７３８において、ユーザーの焦点領域における１つ以上の物体に被せて、またはその隣りに、拡張コンテンツを投射する。一例では、拡張コンテンツは、ユーザーに表示される１つ以上の仮想物体または仮想テキストを含む仮想画像である。他の例では、拡張コンテンツは、１つ以上の選択肢があるメニューというような、仮想物体を含むこともできる。

[00146] ステップ７４０において、頭部装着ディスプレイ・デバイス２を介してユーザーに最適画像を表示する。最適画像は、ユーザーの焦点領域において強調した外観の物体、およびユーザーの焦点領域の外側で外観を目立たなくした物体を含み、任意に、１つ以上の物体に関係する拡張コンテンツも含むことができる。最適画像を生成しこの最適画像をユーザーに表示する様子の図示例を、図１６Ａ〜図１６Ｃ、図１７Ａ〜図１７Ｄ、および図１８Ａ〜図１８Ｃに示す。

[00147] 一例では、演算装置４が、拡張コンテンツをマイクロ・ディスプレイ１２０上に表示する命令を、制御回路１３６のディスプレイ・ドライバー２２０に送る。次いで、レンズ・システム１２２が、マイクロ・ディスプレイ１２０から受け取った仮想画像を、反射面１２４上に、そしてユーザーの目に向けて、または導光光学エレメント１１２内に、ユーザーが見るために投射する。一実施態様では、ユーザーが頭部装着ディスプレイ・デバイスにおいて透視しているディスプレイ（例えば、導光光学エレメント１１２）を、画素に分割する。最適画像は、これらの画素によってターゲット位置において表示される。加えて、非現実的な視覚効果を防止するために不透明フィルター１１４を用いてもよい。例えば、不透明フィルター１１４は、前景仮想物体を通して背景仮想物体が見られないように、導光光学エレメント１１２内の画素への光を変更することができる。

[00148] 図１５Ｂは、最適画像内に表示された拡張コンテンツと相互作用するユーザーの意図を推論して判定するか、または意図が表現されたことを判定することに基づいて、追加の拡張コンテンツを表示するプロセスの一実施形態を説明するフローチャートである。一例では、図１５Ａのステップ７４０において説明したように最適画像を表示するときに、ユーザーに追加の拡張情報を提示することができる。例えば、ユーザーがユーザーの居間にあるテーブルの上に置かれたりんごの籠を見ており、ユーザーがこのりんごの籠と相互作用しようとしていると判定したという状況を考える。りんごの籠の外観を視覚的に強調した最適画像を、ユーザーに表示する。また、最適画像は、選択肢のメニューというような仮想物体を含む拡張コンテンツもユーザーに投射することを仮定する。

[00149] ステップ７５６において、メニューによって表示された選選択肢と相互作用するユーザーの意図を判定する。ユーザーの意図は、図１４において説明したプロセスによって論じたように、判定するとよい。ステップ７６０において、ユーザーの意図に基づいて、メニューにおける選択肢のユーザー選択を受け取る。ステップ７６２において、拡張コンテンツを読み出し、更に任意にメニューの選択肢に関係するオーディオ情報を読み出す。ステップ７６２において、最適画像において視覚的に強調した物体に被せて、またはその隣に拡張コンテンツを投射する。選択肢のメニューを含む最適画像を表示し、メニューの選択肢と相互作用するユーザーの意図を判定する様子の図示例を、図１７Ａ〜図１７Ｄに示す。

[00150] ここで開示する技術の他の実施形態では、ユーザーの環境における可視情報のユーザーの理解は、ユーザーの環境における所要の物体を自動的に強調することによって、高められる。図１５Ｃは、ユーザーの環境において可視情報のユーザーの理解を高めるプロセスを説明する。ステップ７７０において、ユーザーの焦点領域において、ユーザーの環境のユーザーの理解を高める１つ以上の物体を特定する。一例では、ユーザーの理解を高める物体は、ユーザーの環境についての情報をリアル・タイムで収集することによって、特定することができる。例えば、この情報には、ユーザーの環境における緊急事態の合図、あるいはユーザーの環境における有害物質の存在または鋭い物体の存在を含むことができる。他の例では、ユーザーの理解を高める物体は、図１４Ｂに関して先に注記したように、ユーザーに関係があるユーザー特定情報に基づいて特定することもできる。例えば、ユーザーに関係があるユーザー特定情報は、ユーザーの居間においてりんごの籠のような物体が特定されたときに、ユーザーがおやつを食べるときであることを指定する備忘録を含むことができる。

[00151] ステップ７７２において、ユーザーの理解を高める1つ以上の物体を含む最適画像を生成する。一実施形態では、最適画像は、ユーザーの環境においてユーザーの理解を高める１つ以上の物体の外観を視覚的に強調する。１つの手法では、物体の縁端を際立たせ、物体が配置されている領域において仮想的なボックス、円、または仮想インディケーターを表示することによって、視覚的に強調する。

[00152] ステップ７７４において、最適画像において１つ以上の視覚的に強調した物体と相互作用するユーザーの意図を判定する。一例では、視覚的に強調した物体の内１つ以上と相互作用するユーザーの意図を推論することによって（図１４または図１４Ａにおいて論じたように）、ユーザーの意図を判定することができる。他の例では、視覚的に強調した物体の内１つ以上と相互作用する意図をユーザーが表現したことに基づいて、ユーザーの意図を判定することもできる。

[00153] 図１６Ａ〜図１６Ｃは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびこのユーザーの相互作用に基づいた最適画像の生成の一実施形態を示す。図１６Ａは、ユーザーがＨＭＤデバイス２を用いて部屋１１００において１つ以上の物体を見る環境を示す。部屋１１００は、前壁１１０２、側面壁１１０４、および床１１０８を含み、照明１１０６、椅子１１０７、壁掛け時計１１１８、およびテーブル１１２０というような家具の例も含む。ビデオ表示画面１１１０が、この例では、壁１１０２に取り付けられており、ハブ１１１６がテーブル１１２０上に載っている。状況の一例では、ユーザー１１１２は、ＨＭＤデバイス２を介して、前壁１１０２上に置かれている壁掛け時計１１１８のような物体を見る。１１２１は、ユーザーの視野を表し、１１２２は、ユーザーの焦点領域を表す。

[00154] 図１６Ｂは、壁掛け時計オブジェクト１１１８と相互作用するユーザーの意図を判定したときに、図１６ＡのＨＭＤデバイスのカメラが生成する最適画像を示す。一実施形態では、ユーザーの意図は、図１４において説明したプロセスによって論じられたように、判定することができる。図１６Ｂに示すように、最適画像１１２４は、ユーザーの焦点領域内における壁掛け時計オブジェクト１１１８の強調した外観と、ユーザーの焦点領域の外側であるがユーザーの視野内にある照明１１０６、表示画面１１１０、ハブ１１１６、およびテーブル１１２０の目立たない外観とを含む。この図示例では、壁掛け時計オブジェクト１１１８が、その外観を強調するために、際立たされている。物体１１０６、１１１０、１１１６、および１１２０を囲む点線は、それらの目立たない外観を示す。加えて、最適画像は壁掛け時計オブジェクト１１１８の隣に、時刻をディジタル・フォーマットで示す拡張コンテンツ１１２６を表示する。一例では、この時刻についてのオーディオ情報も、ユーザーは聴くことができる。

[00155] 図１６Ｃは、ＨＭＤデバイスを介してユーザーが見る、図１６Ｂの最適画像を示す。この最適画像は、ＨＭＤデバイス２のレンズ１１６および１１８の各々によって、それぞれ、供給される。開放領域１１２７および１１２８は、表示画面からの光がユーザーの目に入る位置を示す。

[00156] 図１７Ａ〜図１７Ｄは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。図１７Ａは、ユーザー１１１２がＨＭＤデバイス２を用いて、部屋１１００における１つ以上の物体を見ている環境（図１６Ａに示すような）を示す。図１７Ａの図示では、ユーザー１１１２は、テーブル１１３０上に置かれているりんごの籠１１３２を見ている。１１２１は、ユーザーの視野を表し、１１２２は、ユーザーの焦点領域を表す。

[00157] 図１７Ｂは、りんごの籠１１３２と相互作用するユーザーの意図を判定したときに、図１７ＡのＨＭＤデバイスのカメラによって生成する最適画像を示す。一実施形態では、図１４において説明したプロセスによって、ユーザーの意図を判定することができる。最適画像１１３３は、ユーザーの焦点領域内におけるりんごの籠１１３２の強調した外観と、ユーザーの焦点領域の外側であるがユーザーの視野内にあるテーブル１１２０の目立たなくした外観とを含む。他の実施形態では、りんごの籠がユーザーの環境のユーザーの理解を高めると判定することに基づいて、りんごの籠の外観を自動的に強調することもできる。ユーザーの焦点領域におけるりんごの籠１１３２の強調した外観を含む最適画像は、図１５Ｃにおいて説明したプロセスにしたがって生成することができる。また、最適画像１１３３は、拡張コンテンツ１１３４も表示することができる。図示する例では、拡張コンテンツ１１３４は、選択肢があるメニューであり、「アップル・パイを作りたいですか」または「貴方の防備録を見たいですか」をユーザー１１１２に表示する。

[00158] 図１７Ｃは、メニューに表示された選択肢の内１つと相互作用するユーザーの意図を判定したときにユーザーに表示する他の最適画像を示す。一実施形態では、ユーザーの意図は、図１４において説明したプロセスによって判定することができる。図示する例では、最適画像１１３３は、ユーザーがメニューの選択肢「アップル・パイを作りたいですか」と相互作用しようとしていると判定したときに、アップル・パイを作るための材料を含む拡張コンテンツを含む。

[00159] 図１７Ｄは、メニューにおいて表示された選択肢の内１つと相互作用するユーザーの意図を判定したときに、ユーザーに表示する最適画像を示す。図示する例では、最適画像１１３３は、ユーザーがメニュー選択肢「貴方の防備録を見たいですか」と相互作用しようとしていると判定したときに、ユーザーが彼または彼女のおやつを食べる時間であるというユーザーに対する備忘録を含む。

[00160] 図１８Ａ〜図１８Ｃは、ユーザーの環境における１つ以上の物体とのユーザーの相互作用、およびユーザーの相互作用に基づく最適画像の生成の他の実施形態を示す。図１８Ａは、ユーザーの近所で行われた懇親会においてユーザー１１１２が多数の人々と会っている環境を示す。図１８Ａに示す状況例では、ユーザー１１１２は、正常な視力を有しておらず、ＨＭＤデバイス２を介して懇親会における全ての人々を明確に見ることができない可能性がある。または、ユーザーは、彼らの名前を思い出せないために、懇親会において人々とじかに交流することを望んでいないということもあり得る。

[00161] 図１８Ｂは、懇親会におけるひとり以上の人と交流するユーザーの意図を自動的に判定することによって、ユーザーに表示する最適画像を示す。１つの手法では、そして図１４Ａにおいて論じたように、ユーザーの焦点領域においてひとり以上の人と交流するユーザーの意図は、ユーザーに関係があるユーザー特定情報にアクセスすることによって、自動的に推論することができる。他の手法では、そして図１４Ｂにおいて論じたように、ユーザーの焦点領域においてひとり以上の人と交流するユーザーの意図は、「私の友人を見つけるのを手伝って下さい」というような音声コマンドをユーザーから受け取ることによって判定することができる。最適画像１１３６は、ユーザーの親友である、ジョン・ドウ１１３６およびサリー・ドウ１１３８の強調された外観、ならびにユーザーの焦点領域の外側にいるがユーザーの視野内にいる、パーティにおける他の人々１１３８の目立たなくした外観とを含む。また、最適画像１１３３は、それぞれ「ここにジョン・ドウがいる」および「ここにサリー・ドウがいる」というような仮想テキスト・メッセージによって、ユーザーの友人である、ジョン・ドウ１１３６およびサリー・ドウ１１３８を特定する拡張コンテンツも表示する。ユーザーが交流しようとするかもしれない個人の判定は、ユーザーのソーシャル・グラフ（ユーザー特定情報に格納されている）の分析によって、または同時にユーザーを捜している可能性があるユーザーの友人を参照することによって（どのように判定したかは関係ない）、行うことができる。

[00162] 図１８Ｃは、ＨＭＤデバイスを介してユーザーが見る、図１８Ｂの最適画像を示す。この最適画像は、ＨＭＤデバイス２のレンズ１１６および１１８の各々によって、それぞれ、供給される。開放領域１１２７および１１２８は、ビデオ表示画面からの光がユーザーの目に入る位置を示す。

[00163] 以上、構造的特徴および／または方法論的動作に特定な文言で主題について説明したが、添付した特許請求の範囲に定められている主題は、以上で説明した特定の特徴や動作には必ずしも限定されないことは理解されてしかるべきである。逆に、以上で説明した特定の特徴および動作は、特許請求の範囲を実現する形態例として開示されたまでである。本発明の範囲は、添付する特許請求の範囲によって定義されることを意図している。

Claims (10)

1. 拡張現実システムにおけるユーザーの意図に基づいて最適画像を生成する方法であって、
   ユーザーが透視ディスプレイ・デバイスを用いている場面において１つ以上の対象物体を判定するステップと、
   前記場面におけるユーザーの視野を判定し、前記視野内において前記ユーザーの焦点領域を判定するステップと、
   前記ユーザーの焦点領域において１つ以上の物体と相互作用する前記ユーザーの意図を判定するステップと、
   前記ユーザーの意図に基づいて最適画像を生成するステップと、
   前記透視ディスプレイ・デバイスを介して、前記最適画像を前記ユーザーに表示するステップと、
   を備えている、方法。
2. 請求項１記載の方法において、１つ以上の対象物体を判定する前記ステップが、前記場面の三次元モデルを作成するステップを含み、更に、
   前記三次元モデルを、前記場面を構成する前記物体の１つ以上に区分し、前記場面において前記1つ以上の物体を特定するステップを備えている、方法。
3. 請求項２記載の方法において、前記ユーザーの視野を判定するステップが、更に、
   前記場面の三次元モデル内において、前記ユーザーの頭部の位置および向きを判定するステップを含む、方法。
4. 請求項１記載の方法において、前記ユーザーの焦点領域において１つ以上の物体と相互作用する前記ユーザーの意図を判定するステップが、
   前記ユーザーの焦点領域における前記ユーザーの目の移動パターンを検出するステップと、
   前記ユーザーの焦点領域においてユーザーによって見られている１つ以上の物体上における前記ユーザーの凝視の強さを判定するステップと、
   前記目の移動パターンおよび前記ユーザーの凝視の強さに基づいて、前記ユーザーの焦点領域において前記１つ以上の物体と相互作用するユーザーの意図を推論するステップと、
   を含む、方法。
5. 請求項１記載の方法において、前記ユーザーの焦点領域において１つ以上の物体と相互作用する前記ユーザーの意図を判定するステップが、更に、
   前記ユーザーに関係があるユーザー特定情報にアクセスするステップと、
   前記ユーザーの焦点領域における前記物体の１つ以上を、前記ユーザー特定情報と相関付けるステップと、
   前記相関に基づいて、前記ユーザーの焦点領域において前記１つ以上の物体と相互作用するユーザーの意図を自動的に推論するステップと、
   を含む、方法。
6. 請求項１記載の方法において、前記ユーザーの焦点領域において１つ以上の物体と相互作用する前記ユーザーの意図を判定するステップが、
   前記ユーザーの焦点領域において前記物体の１つ以上と相互作用する意図を指定するように、前記ユーザーに促すステップと、
   ユーザーの身体的行為の少なくとも１つによって、ユーザーの意図を受けるステップと、
   前記ユーザーの身体的行為に基づいて、前記１つ以上の物体と相互作用するユーザーの意図を判定するステップと、
   を含む、方法。
7. 請求項１記載の方法において、前記最適画像を生成するステップが、更に、
   前記ユーザーの焦点領域において、ユーザーが相互作用しようとする前記１つ以上の物体の外観を視覚的に強調するステップと、
   前記ユーザーの焦点領域の外側であるが前記ユーザーの視野内にあり、前記ユーザーが相互作用しようとしない前記１つ以上の物体の外観を目立たなくするステップと、
   前記ユーザーの焦点領域における前記１つ以上の物体に関係する拡張コンテンツまたはオーディオ・コンテンツの内少なくとも１つを読み出すステップと、
   前記ユーザーの焦点領域において、前記１つ以上の物体に被せてまたはその隣りに、前記拡張コンテンツまたはオーディオ情報を投射するステップと、
   を含む、方法。
8. 拡張現実システムであって、
   透視ディスプレイ・デバイスと、
   前記透視ディスプレイに取り付けられ、ユーザーが見る場面において１つ以上の物体と相互作用する前記ユーザーの意図を判定することに基づいて、前記ユーザーに最適画像を表示するマイクロ・ディスプレイ・デバイスと、
   前記マイクロ・ディスプレイ・デバイスに通信状態で結合されているプロセッサーと、
   前記プロセッサーによってアクセス可能であり、ソフトウェアおよびデーターを格納するメモリーと、
   を備えており、
   ソフトウェアの制御の下で、前記プロセッサーが、前記ユーザーの焦点領域において前記１つ以上の物体と相互作用するユーザーの意図を判定し、前記ユーザーの意図に基づいて、前記ユーザーのために最適画像を生成する、拡張現実システム。
9. 請求項８記載の拡張現実システムにおいて、前記プロセッサーが、前記ユーザーの目の移動パターン、前記ユーザーの凝視の強さ、および前記ユーザーに関係があるユーザー特定情報の内少なくとも１つに基づいて、前記ユーザーの焦点領域において１つ以上の物体と相互作用する前記ユーザーの意図を判定する、拡張現実システム。
10. 請求項８記載の拡張現実システムにおいて、前記マイクロ・ディスプレイ・アセンブリーが、前記１つ以上の物体の縁端を際立たせること、あるいは前記１つ以上の物体が配置されている領域において仮想的なボックス、円、または視覚的インディケーターを表示することの内少なくとも１つによって、前記最適画像において、ユーザーが相互作用しようとしている前記１つ以上の物体を視覚的に強調する、拡張現実システム。

Images