JP2016530600A - 多ステップ仮想オブジェクト選択 - Google Patents

Abstract

【解決手段】 ヘッドマウントディスプレイが、ユーザによる多ステップフォーカシングにより仮想オブジェクトのユーザ選択を可能にする。選択可能なオブジェクトへのフォーカスが決定され、次いで、検証オブジェクトが表示される。ユーザフォーカスが検証オブジェクトに移動するとき、タイムアウトが、検証オブジェクト、したがって、選択可能なオブジェクトの選択が行われたことを決定する。この技術は、ユーザが、意図しない選択をすることなしに、多数の仮想オブジェクトを有する環境を効果的にナビゲートすることを可能にするシースルーヘッドマウントディスプレイに使用され得る。【選択図】 図１４

Description

[0001] 複合現実感は、仮想オブジェクトが現実世界物理環境と調和されることを可能にする技術である。シースルーのヘッドマウントディスプレイ（head mounted display: HMD）装置を、ユーザは、装着して、自分の視野に表示される現実オブジェクトと仮想オブジェクトとの複合像を視ることができる。

[0002] ユーザは、例えば、手又は音声のジェスチャを行うことによって、仮想オブジェクトと対話して、オブジェクトを移動させる、オブジェクトの外見を変える、又は単にオブジェクトを視ることができる。手又は音声のジェスチャを行うことによる仮想オブジェクトとの対話は、継続されると時が経つにつれて、幾分、退屈になることがある。ＸＢＯＸ３６０を使用するＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔなどの自然なユーザインターフェースは、ユーザの付属部の動作を追跡し、オブジェクトに対するその付属部のレンダリングされたバージョンを付帯のディスプレイに配置することによって、ユーザが、項目を選択することを可能にする。付属部がオブジェクトに十分に近づくとき、視覚インジケータが表示され、オブジェクト又は項目が選択されているところであるというユーザへのフィードバックを視覚インジケータがもたらすことに伴ってタイマが動作する。次いで、アプリケーションが、その選択において機能することができる。

[0003] ヘッドマウントディスプレイにおける技術は、ユーザがオブジェクトにフォーカスしているという決定に基づいて、ディスプレイにおいてレンダリングされる仮想オブジェクトのユーザ選択を可能にする。選択可能な仮想オブジェクト及び検証オブジェクトへのユーザによる多ステップフォーカシングが、オブジェクトを選択しようとするユーザの意思を確認するために使用される。選択可能なオブジェクトへのフォーカスが決定され、次いで、検証オブジェクトが表示される。ユーザフォーカスが検証オブジェクトに移動するとき、検証オブジェクト、したがって、選択可能なオブジェクトの選択が行われたことをタイムアウトが決定する。この技術は、ユーザが、意図しない選択をすることなしに、多数の仮想オブジェクトを有する環境を効果的にナビゲートすることを可能にするシースルーヘッドマウントディスプレイに使用され得る。

[0004] シースルーヘッドマウントディスプレイ機器は、シースルーヘッドマウントディスプレイと、ヘッドマウントディスプレイに連結されたプロセッサとを含む。プロセッサは、ヘッドマウントディスプレイにおいて少なくとも１つの選択可能な仮想オブジェクトをレンダリングし、ユーザの注視及び頭部位置を決定するようにプログラミングされる。フォーカスの決定は、ユーザの注視、ユーザの頭部位置、又はその両方に基づいて行われ得る。ユーザフォーカスに基づいた選択可能な仮想オブジェクトの初期選択の決定が行われ、選択可能な仮想オブジェクトに近接して検証オブジェクトが表示される。ユーザによる選択可能なオブジェクトの選択の決定は、ユーザのフォーカスが検証オブジェクトに向けられるときに行われる。

[0005] この「発明の概要」は、「発明を実施するための形態」においてさらに後述される概念の選択を簡略化した形態で紹介するために与えられる。この「発明の概要」は、特許請求される主題の主要な特徴又は本質的な特徴を特定するように意図するものでも、特許請求される主題の範囲を決定する際の助けとして使用されるように意図するものでもない。

[0006]１人又は複数人のユーザに複合現実感環境を提示するためのシステムの一実施形態の例示的な構成要素を示す図である。 [0007]ヘッドマウントディスプレイを通したユーザのビューを示す図である。 ヘッドマウントディスプレイを通したユーザのビューを示す図である。 [0008]ヘッドマウントディスプレイユニットの一実施形態の透視図である。 [0009]ヘッドマウントディスプレイユニットの一実施形態の一部分の側面図である。 [0010]ヘッドマウントディスプレイユニットの構成要素の一実施形態のブロック図である。 [0011]ヘッドマウントディスプレイユニットと関連しているプロセッシングユニットの構成要素の一実施形態のブロック図である。 [0012]ヘッドマウントディスプレイユニットとともに使用されるハブコンピューティングシステムの構成要素の一実施形態のブロック図である。 [0013]本明細書に記載のハブコンピューティングシステムを実装するのに使用可能なコンピューティングシステムの一実施形態のブロック図である。 [0014]本技術による方法を表すフローチャートである。 [0015]図８のステップ６１２を実装する一方法を表すフローチャート図である。 [0016]図８のステップ６１６を実装する一方法を表すフローチャート図である。 [0017]ユーザが視ているいくつかの仮想オブジェクトを上から見下ろした透視図である。 ユーザが視ているいくつかの仮想オブジェクトのユーザのパースペクティブビューを示す図である。 [0018]ユーザが仮想オブジェクトに対してユーザのビュー及びフォーカスを回転させたときの仮想オブジェクトの図１１Ａを示す図である。 ユーザが仮想オブジェクトに対してユーザのビュー及びフォーカスを回転させたときのそのような仮想オブジェクトのユーザのパースペクティブビューの図１１Ｂを示す図である。 [0019]ユーザフォーカスが仮想オブジェクトのうちの１つに向けられるようになったときの仮想オブジェクトの図１１Ａ及び図１２Ａを示す図である。 ユーザフォーカスが仮想オブジェクトのうちの１つに向けられるようになったときのそのような仮想オブジェクトのユーザのパースペクティブビューの図１１Ｂ及び図１２Ｂを示す図である。 [0020]ユーザの眼のフォーカス、及び図１１Ａ〜図１３Ｂの仮想オブジェクトのうちの１つの選択を示す図である。 [0021]図１４の選択の効果を示す図である。

[0022] ユーザがオブジェクトにフォーカスしているという決定に基づいて、仮想オブジェクトのユーザ選択を可能にする技術が提示される。この技術は、選択可能な仮想オブジェクト及び検証オブジェクトへのユーザによる多ステップフォーカシングを使用して、オブジェクトを選択しようとするユーザの意思を確認する。第１のタイマは、ユーザが選択可能なオブジェクトにフォーカスしているということの決定後、検証オブジェクトの表示前に動作する。ユーザフォーカスが検証オブジェクトに移動するとき、仮想オブジェクトの選択が行われたことを別のタイムアウトが決定する。フォーカスの決定は、ユーザの注視、ユーザの頭部位置、又はその両方に基づいて行われ得る。この技術は、ユーザが、意図しない選択をすることなしに、多数の仮想オブジェクトを有する環境を効果的にナビゲートすることを可能にするシースルーヘッドマウントディスプレイに使用され得る。

[0023] ヘッドマウントディスプレイ装置は、ディスプレイ素子を含むことができる。ディスプレイ素子は、ユーザがユーザの視野（field of view: FOV）内で現実世界オブジェクトをディスプレイ素子を通して眺めることができるように、ある程度、透明である。ディスプレイ素子はまた、仮想オブジェクトをユーザのＦＯＶの中に投影する能力を提供し、それにより、仮想オブジェクトは、現実世界オブジェクトと一緒に見えることも可能である。システムは、ユーザが眺めている場所を自動的に追跡し、それにより、システムは、ユーザのＦＯＶに仮想オブジェクトを挿入すべき場所を決定することができる。一旦、システムが仮想オブジェクトを投影すべき場所を知ると、画像は、ディスプレイ素子を使用して投影される。

[0024] 仮想オブジェクトは、オブジェクト定義を含むことができる。この定義は、ディスプレイ装置２が、ユーザの視野において仮想オブジェクトをレンダリングすることを可能にするデータを含むことができる。定義の一コンポーネントは、オブジェクトタイプ、オブジェクトサイズ、並びに１つ又は複数の最適なビューイングパースペクティブ及び向きを含むことができる。各最適ビューイングパースペクティブは、オブジェクトのユーザビューに対して、最適なパースペクティブの定義を含むことができる。仮想オブジェクトが共有されるとき、本明細書に提示される技術は、オブジェクト定義、並びにオブジェクトが共有される各ユーザの場所及び視野を使用して、ユーザごとにオブジェクトをレンダリングすべき最適な場所を決定する。

[0025] 一代替形態では、ハブコンピューティングシステム及びプロセッシングユニットのうちの１つ又は複数は、協働して、屋内又は他の環境内のユーザ、現実世界オブジェクト、及び仮想３次元オブジェクトすべてのｘ、ｙ、ｚのＣａｒｔｅｓｉａｎ位置を含んだ環境のモデルを構築することができる。環境内のユーザが装着した各ヘッドマウントディスプレイ装置の位置は、環境のモデルに、及び互いに較正可能である。これにより、システムは、環境の各ユーザの見通し線及びＦＯＶを決定することが可能になる。したがって、仮想オブジェクトは各ユーザに表示可能であるが、各ユーザのパースペクティブからの仮想オブジェクトの表示は、環境内の他のオブジェクトとの、又は他のオブジェクトによる視差及び何らかのオクルージョンについて仮想オブジェクトを調整することに関係している場合がある。本明細書でシーンマップと呼ばれる環境のモデル、並びに環境内のユーザのＦＯＶ及びオブジェクトの追跡はすべて、連携して、又は個々に働くハブ及びモバイルプロセッシングユニットによって生成され得る。

[0026] 図１Ａは、ユーザのＦＯＶ内で仮想オブジェクト２１を現実内容と融合させることによって複合現実感体験を提供するためのシステム１０を示している。図１Ａは、ヘッドマウントディスプレイ装置２を装着した、たった１人のユーザ１８を示しているが、２人以上のユーザが複合現実感環境内に存在し、ユーザ自身らのパースペクティブから同じ仮想オブジェクトを視ていることも可能であることは理解される。図２及び図３で分かるように、ヘッドマウントディスプレイ装置２は、一体化されたプロセッシングユニット４を含むことができる。他の実施形態では、プロセッシングユニット４は、ヘッドマウントディスプレイ装置２と別個であってもよく、ワイヤード又はワイヤレスの通信を介してヘッドマウントディスプレイ装置２と通信することができる。

[0027] 一実施形態ではメガネの形状をしている、ヘッドマウントディスプレイ装置２は、ユーザの頭部に装着され、それにより、ユーザは、ディスプレイを通して見ること、及びそれによって、ユーザの前の空間の実際の直接ビューを有することができる。用語「実際の直接ビュー（actual direct view）」を使用することにより、オブジェクトの作り上げられた画像表現を見るのではなく、人間の眼で直接、現実世界オブジェクトを見る能力を示す。例えば、ガラスを通して室内を眺めることは、ユーザに、その部屋の実際の直接ビューを有することを可能にするが、部屋の映像をテレビで眺めることは、その部屋の実際の直接ビューではない。ヘッドマウントディスプレイ装置２のさらなる詳細は、以下に与えられる。

[0028] プロセッシングユニット４は、ヘッドマウントディスプレイ装置２を動作させるのに使用されるコンピューティングパワーの多くを含むことができる。諸実施形態では、プロセッシングユニット４は、１つ又は複数ハブコンピューティングシステム１２に対してワイヤレスで（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、赤外線、又は他のワイヤレス通信手段）通信する。本明細書で以降、説明されるように、ハブコンピューティングシステム１２は、プロセッシングユニット４とは遠隔に設置されてもよく、それにより、ハブコンピューティングシステム１２及びプロセッシングユニット４は、ＬＡＮ又はＷＡＮなどのワイヤレスネットワークを介して通信する。さらなる実施形態では、ハブコンピューティングシステム１２は、ヘッドマウントディスプレイ装置２及びプロセッシングユニット４を使用して、モバイル複合現実感体験を提供するために省略されてもよい。

[0029] ハブコンピューティングシステム１２は、コンピュータ、あるいはゲーム用システム又はコンソールなどとすることができる。例示的な実施形態によれば、ハブコンピューティングシステム１２は、ハードウェアコンポーネント、及び／又はソフトウェアコンポーネントを含むことができ、それにより、ハブコンピューティングシステム１２は、ゲーム用アプリケーション、又は非ゲーム用アプリケーションなどのアプリケーションを実行するのに使用可能である。一実施形態では、ハブコンピューティングシステム１２は、本明細書に記載の方法を行うためのプロセッサ可読ストレージ装置において記憶された命令を実行することができる標準プロセッサ、専門プロセッサ、又はマイクロプロセッサなどのプロセッサを含むことができる。

[0030] ハブコンピューティングシステム１２は、そのＦＯＶ内でシーンの部分から画像データを取り込むためのキャプチャ装置２０をさらに含む。本明細書に使用される場合、シーンは、ユーザが動き回る環境であり、その環境は、キャプチャ装置２０のＦＯＶ、及び／又は各ヘッドマウントディスプレイ装置２のＦＯＶ内で取り込まれる。図１Ａは、単一のキャプチャ装置２０を示しているが、さらなる実施形態には複数のキャプチャ装置がある場合もあり、その複数のキャプチャ装置は協働して、複数のキャプチャ装置２０の合成ＦＯＶ内でシーンからの画像データをまとめて取り込む。キャプチャ装置２０は、ユーザ１８及び周囲の空間を視覚的に監視する１つ又は複数のカメラを含むことができ、それにより、ユーザによって行われるジェスチャ及び／又は動き、並びに周囲の空間の構造物が取り込まれ、分析され、追跡されて、アプリケーション内で１つ又は複数の制御もしくはアクションを行うこと、及び／あるいはアバタ又はスクリーン上のキャラクタをアニメ化することが可能である。

[0031] ハブコンピューティングシステム１２は、ゲーム又はアプリケーションビジュアルをもたらすことが可能なテレビ、モニタ、又は高解像度テレビ（high-definition television: HDTV）などの視聴覚装置１６に接続可能である。一例では、視聴覚装置１６は、内部スピーカを含む。他の実施形態では、視聴覚装置１６及びハブコンピューティングシステム１２は、外部スピーカ２２に接続可能である。

[0032] ハブコンピューティングシステム１２は、ヘッドマウントディスプレイ装置２及びプロセッシングユニット４とともに、図１Ａの仮想オブジェクト２１など、１つ又は複数の仮想オブジェクトが、シーン内の現実世界オブジェクトと一緒に調和可能な複合現実感体験を提供することができる。図１Ａは、ユーザのＦＯＶ内で見える現実世界オブジェクトとしての植物現実オブジェクト２３又はユーザの手の例を示している。

[0033] 図１Ａの例示では、ユーザ１８は、仮想オブジェクト２１とともに示されている。図１Ｂ及び図１Ｃは、ディスプレイ２を通してユーザ１８のパースペクティブからのオブジェクト２１を示している。図１１から図１４に関して以下に論じられるように、ユーザの注視及びユーザの頭部位置は、必ずしも整合しているとは限らない。一般には、ユーザが自分のフォーカスを特定のオブジェクトに向けるように意図するとき、ユーザの注視とユーザの頭部とはともに、近接して、すなわち密接に整合していることになる。これは、一般に、人間は、その頭部の動きがその注視の後に続く傾向があるからである。

[0034] 図１Ｂに、図１Ａに示された仮想オブジェクト２１が示されている。この例では、オブジェクト２１に対するユーザの頭部方向（交差ポイント２１ｈによって表されている）と、ユーザの注視方向（交差ポイント２１ｇによって表されている）とはともに、仮想オブジェクト２２１に向けられる。一旦、ユーザが、オブジェクトを選択し、ユーザ選択が行われたことを、オブジェクト２１を制御するアプリケーションに指示すると、アプリケーションは、オブジェクトに、いくつかの機能を行わせることができる。図１Ｃの例示では、仮想オブジェクトモンスター２１は、アニメ化されるようになる。任意の数の種々の機能が、シースルーヘッドマウントディスプレイ装置２で動作する任意の数の種々のアプリケーションにより、仮想オブジェクトに関して行われ得る。

[0035] 図２及び図３は、ヘッドマウントディスプレイ装置２の透視図及び側面図を示している。図３は、テンプル１０２及びノーズブリッジ１０４を有する装置の一部分を含んだ、ヘッドマウントディスプレイ装置２の右側を示している。ノーズブリッジ１０４には、後述されるように、音声を記録し、そのオーディオデータをプロセッシングユニット４に送るためのマイクロホン１１０が内蔵されている。ヘッドマウントディスプレイ装置２の前面には、ビデオ及び静止の画像を取り込むことが可能な、部屋に面するビデオカメラ１１２がある。それらの画像は、後述されるように、プロセッシングユニット４に送られる。

[0036] ヘッドマウントディスプレイ装置２のフレームの一部分が、（１つ又は複数のレンズを含んでいる）ディスプレイを取り囲むことになる。ヘッドマウントディスプレイ装置２の構成要素を示すために、ディスプレイを取り囲んだフレームの一部分は描かれていない。ディスプレイは、導光光学素子１１５、不透明フィルタ１１４、シースルーレンズ１１６、及びシースルーレンズ１１８を含む。一実施形態では、不透明フィルタ１１４は、シースルーレンズ１１６の後ろ側にありシースルーレンズ１１６と整合され、導光光学素子１１５は、不透明フィルタ１１４の後ろ側にあり不透明フィルタ１１４と整合され、シースルーレンズ１１８は、導光光学素子１１５の後ろ側にあり導光光学素子１１５と整合されている。シースルーレンズ１１６及び１１８は、メガネに使用される標準レンズであり、任意の処方（処方なしを含む）に作製可能である。導光光学素子１１５は、人工光を眼に導く。不透明フィルタ１１４及び導光光学素子１１５のより詳細は、２０１２年５月２４日に公開された出願「Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ Ｗｈｉｃｈ Ｐｒｏｖｉｄｅｓ Ｓｕｒｒｏｕｎｄ Ｖｉｄｅｏ」という題の米国特許出願公開第２０１２／０１２７２８４号に与えられている。

[0037] 制御回路１３６が、ヘッドマウントディスプレイ装置２の他の構成要素をサポートする様々な電子機構を提供する。制御回路１３６のより詳細は、図４に関して以下に与えられる。イヤホン１３０、慣性計測ユニット１３２、及び温度センサ１３８が、テンプル１０２の内側にある、又はテンプル１０２に取り付けられる。図４に示される一実施形態では、慣性計測ユニット１３２（すなわちＩＭＵ１３２）は、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、及び３軸加速度計１３２Ｃなどの慣性センサを含む。慣性計測ユニット１３２は、ヘッドマウントディスプレイ装置２の位置、向き、及び急な加速（縦揺れ、横揺れ、及び偏揺れ）を感知する。ＩＭＵ１３２は、磁力計１３２Ａ、ジャイロ１３２Ｂ、及び加速度計１３２Ｃに加えて、又は代わりに、他の慣性センサを含んでもよい。

[0038] マイクロディスプレイ１２０は、レンズ１２２を通して画像を投影する。マイクロディスプレイ１２０を実装するのに使用可能な種々の画像生成技術がある。例えば、マイクロディスプレイ１２０は、透過型投影技術を使用する際に、実装可能であり、この場合、光源は、白色光によりバックライトされた光学活性材料によって変調される。これらの技術は、通常、強力なバックライト及び高い光学エネルギー密度を備えたＬＣＤタイプディスプレイを使用して実装される。マイクロディスプレイ１２０はまた、反射型技術を使用しても実装可能であり、そのため外部光は、光学活性材料によって反射され、変調される。照明は、技術に応じて、白色光源又はＲＧＢ光源のいずれかによって前方に照らされる。デジタルライトプロセッシング（digital light processing: DLP)、液晶オンシリコン（liquid crystal on silicon: LCOS）、及びＱｕａｌｃｏｍｍ， Ｉｎｃ．によるＭｉｒａｓｏｌ（登録商標）ディスプレイ技術はすべて、反射型技術の例であり、この反射型技術は、ほとんどのエネルギーが変調された構造から離れて反射されるので効率的であり、本システムで使用可能である。加えて、マイクロディスプレイ１２０は、光がディスプレイによって生成される放射型技術を使用しても、実装可能である。例えば、Ｍｉｃｒｏｖｉｓｉｏｎ， Ｉｎｃ．によるＰｉｃｏＰ（商標）ディスプレイエンジンは、透過型素子として機能する小さなスクリーン上に、又は眼に直接発せられる（例えば、レーザ）かのいずれかで、マイクロミラーステアリングを用いてレーザ信号を放出する。

[0039] 導光光学素子１１５は、光を、マイクロディスプレイ１２０からヘッドマウントディスプレイ装置２を装着したユーザの眼１４０に送出する。導光光学素子１１５はまた、矢印１４２によって描かれているように、光が、ヘッドマウントディスプレイ装置２の前面から導光光学素子１１５を通して眼１４０に送出されるのを可能にし、それによって、ユーザは、マイクロディスプレイ１２０から仮想オブジェクトを受け取ることに加えて、ヘッドマウントディスプレイ装置２の前面の空間の実際の直接ビューを有することが可能になる。したがって、導光光学素子１１５の壁部は、シースルーである。導光光学素子１１５は、第１の反射面１２４（例えば、ミラー又は他の面）を含む。マイクロディスプレイ１２０からの光は、レンズ１２２を通過し、反射面１２４に入射するようになる。反射面１２４は、マイクロディスプレイ１２０からの入射光を反射し、それにより、光は、内部反射によって、導光光学素子１１５を含む平面基板の内側に捕捉される。基板の面への数回の反射の後に、補足された光波は、一連の選択的反射面１２６に達する。図面の混み過ぎを防ぐために、５つの面のうちの１つに、１２６が付されていることに留意されたい。反射面１２６は、基板から外側にそれらの反射面上に入射する光波をユーザの眼１４０に結合する。導光光学素子のより詳細は、２００８年１１月２０日に公開された「Ｓｕｂｓｔｒａｔｅ−Ｇｕｉｄｅｄ Ｏｐｔｉｃａｌ Ｄｅｖｉｃｅｓ」という題の米国特許出願公開第２００８／０２８５１４０号に見出すことができる。

[0040] ヘッドマウントディスプレイ装置２はまた、ユーザの眼の位置を追跡するためのシステムを含む。以下に説明されるように、システムは、ユーザの位置及び向きを追跡することになり、それにより、システムは、ユーザのＦＯＶを決定することができる。しかしながら、人間は、自分の前面のあらゆるものを知覚することはなかろう。むしろ、ユーザの眼は、環境のサブセットに向けられることになる。そのため、一実施形態では、システムは、ユーザのＦＯＶの測定を精緻化するために、ユーザの眼の位置を追跡するための技術を含むことになる。例えば、ヘッドマウントディスプレイ装置２は、眼追跡アセンブリ１３４（図３）を含み、この眼追跡アセンブリ１３４は、眼追跡照明装置１３４Ａ及び眼追跡カメラ１３４Ｂ（図４）を有する。一実施形態では、眼追跡照明装置１３４Ａは、１つ又は複数の赤外（IR）エミッタを含み、この１つ又は複数の赤外（IR）エミッタは、ＩＲ光を眼に向けて放出する。眼追跡カメラ１３４Ｂは、反射されたＩＲ光を感知する１つ又は複数のカメラを含む。瞳孔の位置は、角膜の反射を検出する既知の撮像技法によって特定され得る。例えば、２００８年７月２２日発行の「Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｅｙｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ」という題の米国特許第７，４０１，９２０号を参照されたい。そのような技法は、追跡用カメラに対する眼の中心の位置を見つけることができる。一般には、眼追跡は、眼の画像を取得し、コンピュータビジョン技法を用いて、眼窩内で瞳孔の場所を決定することが必要である。一実施形態では、両眼は通常、揃って動くので、一方の眼の場所を追跡すれば十分である。しかしながら、それぞれの眼を別個に追跡することが可能である。

[0041] 一実施形態では、システムは、ヘッドマウントディスプレイ装置２のレンズの各隅部に１つのＩＲＬＥＤ及び１つのＩＲ光検出器があるように、長方形配置での４つのＩＲＬＥＤ及び４つのＩＲ光検出器を使用することになる。ＬＥＤからの光は、眼から反射する。４つのＩＲ光検出器のそれぞれにおいて検出される赤外光の量は、瞳孔方向を決定する。つまり、眼の中の白色対黒色の量は、その特定の光検出器について眼から反射された光の量を決定することになる。したがって、光検出器は、眼の中の白色又は黒色の量を測定することになる。４つのサンプルから、システムは、眼の方向を決定することができる。

[0042] 別の代替形態は、上記に論じられた４つの赤外ＬＥＤを使用するが、ヘッドマウントディスプレイ装置２のレンズの側に１つの赤外ＣＣＤを使用することである。ＣＣＤがメガネフレームから見ることができる眼の最大７５％を撮像することができるように、ＣＣＤは、小型ミラー及び／又はレンズ（魚眼）を使用することになる。次いで、ＣＣＤは、上記に論じられたのとよく似て、画像を感知し、コンピュータビジョンを用いてその画像を見つけ出すことになる。したがって、図３は、１つのＩＲトランスミッタを備えた１つのアセンブリを示しているが、図３の構造は、４つのＩＲトランスミッタ及び／又は４つのＩＲセンサを有するように調整可能である。また、４つのＩＲトランスミッタ及び／又は４つのＩＲセンサが、より多くても、又はより少なくても使用可能である。

[0043] 眼の方向を追跡するための別の実施形態は、電荷追跡に基づいている。この概念は、網膜が測定可能な正の電荷を担持し、角膜が負の電荷を有するという観察に基づいている。眼が動き回る間、電位を検出するために、センサがユーザの耳（イヤホン１３０付近）に取り付けられ、リアルタイムに眼が何をしているのかを効果的に読み出す。眼を追跡するための他の実施形態もまた、使用可能である。

[0044] 図３は、ヘッドマウントディスプレイ装置２の片側半分を示している。全ヘッドマウントディスプレイ装置には、シースルーレンズの別の組、別の不透明フィルタ、別の導光光学素子、別のマイクロディスプレイ１２０、別のレンズ１２２、部屋に面するカメラ、眼追跡アセンブリ、マイクロディスプレイ、イヤホン、及び温度センサが含まれることになる。

[0045] 図４は、ヘッドマウントディスプレイ装置２の様々な構成要素を示したブロック図である。図５は、プロセッシングユニット４の様々な構成要素を説明したブロック図である。ヘッドマウントディスプレイ装置２は、その構成要素が図４に示されているが、１つ又は複数の仮想オブジェクトを現実世界のユーザのビューとシームレスに融合することによって、ユーザに複合現実感体験を提供するために使用される。加えて、図４のヘッドマウントディスプレイ装置構成要素は、様々な状態を追跡する多数のセンサを含む。ヘッドマウントディスプレイ装置２は、プロセッシングユニット４から仮想オブジェクトについての命令を受け取ることになり、センサ情報をまたプロセッシングユニット４に供給することになる。プロセッシングユニット４は、その構成要素が図４に示されているが、ヘッドマウントディスプレイ装置２から知覚情報を受け取ることになり、情報及びデータをハブコンピューティングシステム１２（図１Ａ）と交換することになる。その情報及びデータの交換に基づいて、プロセッシングユニット４は、どこで及びいつ、仮想オブジェクトをユーザに供給すべきであるかを決定し、それに応じて図４のヘッドマウントディスプレイ装置に命令を送信することになる。

[0046] 図４の構成要素の一部（例えば、部屋に面するカメラ１１２、眼追跡カメラ１３４Ｂ、マイクロディスプレイ１２０、不透明フィルタ１１４、眼追跡照明１３４Ａ、イヤホン１３０、及び温度センサ１３８）は、それらの装置のそれぞれが２つずつあり、１つはヘッドマウントディスプレイ装置２の左側用であり、１つはヘッドマウントディスプレイ装置２の右側用であることを示すために陰影で示されている。図４は、電源管理回路２０２と通じている制御回路２００を示している。制御回路２００は、プロセッサ２１０、メモリ２１４（例えば、Ｄ−ＲＡＭ）と通じているメモリコントローラ２１２、カメラインターフェース２１６、カメラバッファ２１８、ディスプレイドライバ２２０、ディスプレイフォーマッタ２２２、タイミング発生器２２６、ディスプレイ出力インターフェース２２８、及びディスプレイ入力インターフェース２３０を含む。

[0047] 一実施形態では、制御回路２００のすべての構成要素は、専用のラインあるいは１つ又は複数のバスを介して互いに通じている。別の実施形態では、制御回路２００の構成要素のそれぞれは、プロセッサ２１０と通じている。カメラインターフェース２１６は、２つの部屋に面するカメラ１１２とのインターフェースを提供し、部屋に面するカメラから受け取った画像をカメラバッファ２１８に記憶する。ディスプレイドライバ２２０は、マイクロディスプレイ１２０を駆動することになる。ディスプレイフォーマッタ２２２は、仮想オブジェクトがマイクロディスプレイ１２０において表示されていることについての情報を不透明制御回路２２４に提供し、この不透明制御回路２２４は、不透明フィルタ１１４を制御する。タイミング発生器２２６は、システムにタイミングデータを提供するために使用される。ディスプレイ出力インターフェース２２８は、画像を、部屋に面するカメラ１１２からプロセッシングユニット４に提供するためのバッファである。ディスプレイ入力インターフェース２３０は、マイクロディスプレイ１２０において表示されるべき仮想オブジェクトなどの画像を受け取るためのバッファである。ディスプレイ出力インターフェース２２８及びディスプレイ入力インターフェース２３０は、プロセッシングユニット４とのインターフェースであるバンドインターフェース２３２と通信する。

[0048] 電源管理回路２０２は、電圧調整器２３４、眼追跡照明ドライバ２３６、オーディオＤＡＣ及び増幅器２３８、マイクロホン前置増幅器及びオーディオＡＤＣ２４０、温度センサインターフェース２４２、及びクロック発生器２４４を含む。電圧調整器２３４は、バンドインターフェース２３２を介してプロセッシングユニット４から電力を受け取り、その電力をヘッドマウントディスプレイ装置２の他の構成要素に供給する。眼追跡照明ドライバ２３６は、上述のように、眼追跡照明１３４ＡにＩＲ光源を提供する。オーディオＤＡＣ及び増幅器２３８は、オーディオ情報をイヤホン１３０に出力する。マイクロホン前置増幅器及びオーディオＡＤＣ２４０は、マイクロホン１１０に対するインターフェースを提供する。温度センサインターフェース２４２は、温度センサ１３８に対するインターフェースである。電源管理回路２０２はまた、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、及び３軸加速度計１３２Ｃに電力を供給し、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、及び３軸加速度計１３２Ｃから逆にデータを受け取る。

[0049] 図５は、プロセッシングユニット４の様々な構成要素を説明するブロック図である。図５は、電源管理回路３０６と通じている制御回路３０４を示している。制御回路３０４は、セントラルプロセッシングユニット（central processing unit: CPU）３２０、グラフィックスプロセッシングユニット（graphics processing unit: GPU）３２２、キャッシュ３２４、ＲＡＭ３２６、メモリ３３０（例えば、Ｄ−ＲＡＭ）と通じているメモリコントローラ３２８、フラッシュメモリ３３４（又は他のタイプの不揮発性ストレージ）と通じているフラッシュメモリコントローラ３３２、バンドインターフェース３０２及びバンドインターフェース２３２を介してヘッドマウントディスプレイ装置２と通じているディスプレイ出力バッファ３３６、バンドインターフェース３０２及びバンドインターフェース２３２を介してヘッドマウントディスプレイ装置２と通じているディスプレイ入力バッファ３３８、マイクロホンに接続するための外部マイクロホンコネクタ３４２と通じているマイクロホンインターフェース３４０、ワイヤレス通信装置３４６に接続するためのＰＣＩエクスプレスインターフェース、及びＵＳＢポート（複数可）３４８を含む。一実施形態では、ワイヤレス通信装置３４６には、Ｗｉ−Ｆｉ対応の通信装置、ＢｌｕｅＴｏｏｔｈ通信装置、赤外通信装置などが含まれていてよい。ＵＳＢポートは、プロセッシングユニット４をハブコンピューティングシステム１２にドッキングさせて、プロセッシングユニット４上にデータ又はソフトウェアをロードし、並びにプロセッシングユニット４に充電するために使用され得る。一実施形態では、ＣＰＵ３２０及びＧＰＵ３２２は、仮想３次元オブジェクトをユーザのビューに、どこで、いつ、及びどのように挿入すべきであるかを決定するための主なよく働く機械である。より詳細が、以下に与えられる。

[0050] 電源管理回路３０６は、クロック発生器３６０、アナログ／デジタル変換器３６２、バッテリ充電器３６４、電圧調整器３６６、ヘッドマウントディスプレイ電源３７６、及び（場合により、プロセッシングユニット４のリストバンドに配置されていることもある）温度センサ３７４と通じている温度センサインターフェース３７２を含む。アナログ／デジタル変換器３６２は、バッテリ電圧、温度センサを監視し、バッテリ充電機能を制御するために使用される。電圧調整器３６６は、電力をシステムに供給するためのバッテリ３６８と通じている。バッテリ充電器３６４は、充電用ジャック３７０から電力を受け取ると同時に、（電圧調整器３６６を介して）バッテリ３６８を充電するために使用される。ＨＭＤ電源３７６は、電力をヘッドマウントディスプレイ装置２に供給する。

[0051] 図６は、キャプチャ装置２０とともにハブコンピューティングシステム１２の例示的実施形態を示している。例示的な実施形態によれば、キャプチャ装置２０は、例えば、飛行時間、構造化された光、又は立体画像などを含む任意の適切な技法を介して、深度値を含むことが可能な深度画像を含んだ深度情報により、映像を取り込むように構成可能である。一実施形態によれば、キャプチャ装置２０は、深度情報を、「Ｚ層（z layer）」、すなわち、深度カメラからその見通し線に沿って延びるＺ軸に垂直とすることができる層にまとめることができる。

[0052] 図６に示されるように、キャプチャ装置２０は、カメラ構成要素４２３を含むことができる。例示的な実施形態によれば、カメラ構成要素４２３は、シーンの深度画像を取り込むことが可能な深度カメラであっても、又はこの深度カメラを含んでいてもよい。深度画像は、取り込まれたシーンの２次元（2-D）画素エリアを含むことができ、この場合、２−Ｄ画素エリア内の各画素は、カメラからの取り込まれたシーンにおけるオブジェクトの距離などの深度値を、例えば、センチメートル、又はミリメートルなどの単位で表すことができる。

[0053] カメラ構成要素４２３は、赤外線（IR）光構成要素４２５、３次元（3-D）カメラ４２６、及びシーンの深度画像を取り込むのに使用可能なＲＧＢ（視覚画像）カメラ４２８を含むことができる。例えば、飛行時間分析では、キャプチャ装置２０のＩＲ光構成要素４２５は、赤外光をシーン上に放出することができ、次いで、センサ（いくつかの実施形態では、図示されていないセンサを含む）を使用して、例えば、３−Ｄカメラ４２６及び／又はＲＧＢカメラ４２８を使用するシーン内の１つ又は複数の目標物及びオブジェクトの表面からの後方散乱された光を検出することができる。

[0054] 例示的な実施形態では、キャプチャ装置２０は、画像カメラコンポーネント４２３と通じていることが可能なプロセッサ４３２をさらに含むことができる。プロセッサ４３２は、例えば、深度画像を受け取る、適切なデータフォーマット（例えば、フレーム）を生成する、及びデータをハブコンピューティングシステム１２に送るための命令を含む命令を実行することが可能な標準プロセッサ、専門プロセッサ、又はマイクロプロセッサなどを含むことができる。

[0055] キャプチャ装置２０は、プロセッサ４３２によって実行される命令、３−Ｄカメラ及び／又はＲＧＢカメラによって取り込まれる画像、もしくは画像フレーム、あるいは任意の他の適した情報、又は画像などを記憶することが可能なメモリ４３４をさらに含むことができる。例示的な実施形態によれば、メモリ４３４には、ランダムアクセスメモリ（random access memory: RAM）、読取り専用メモリ（read only memory: ROM）、キャッシュ、フラッシュメモリ、ハードディスク、又は任意の他の適したストレージ構成要素が含まれていてもよい。図６に示されるように、一実施形態では、メモリ４３４は、画像カメラ構成要素４２３及びプロセッサ４３２と通じている別個の構成要素とすることができる。別の実施形態によれば、メモリ４３４は、プロセッサ４３２及び／又は画像カメラ構成要素４２３に一体化されてもよい。

[0056] キャプチャ装置２０は、通信リンク４３６を介してハブコンピューティングシステム１２と通じている。通信リンク４３６は、例えば、ＵＳＢ接続、Ｆｉｒｅｗｉｒｅ接続、もしくはＥｔｈｅｒｎｅｔケーブル接続などを含んだワイヤード接続、及び／又はワイヤレス８０２．１１Ｂ、ｇ、ａ、もしくはｎ接続などのワイヤレス接続とすることができる。一実施形態によれば、ハブコンピューティングシステム１２は、通信リンク４３６を介して、例えば、シーンをいつ取り込むべきであるかを決定するのに使用可能なクロックをキャプチャ装置２０に提供することができる。加えて、キャプチャ装置２０は、例えば、３−Ｄカメラ４２６及び／又はＲＧＢカメラ４２８によって取り込まれる深度情報及び視覚（例えば、ＲＧＢ）画像を、通信リンク４３６を介してハブコンピューティングシステム１２に提供する。一実施形態では、深度画像及び視覚画像は、毎秒３０フレームで送られるが、他のフレームレートが使用されてもよい。次いで、ハブコンピューティングシステム１２は、モデルを作成し、このモデル、深度情報、及び取り込まれた画像を使用して、例えば、ゲームもしくはワードプロセッサなどのアプリケーションを制御すること、及び／又はアバタ、もしくはスクリーン上のキャラクタをアニメ化することが可能である。

[0057] ヘッドマウントディスプレイ装置２及びプロセッシングユニット４と一緒に、上述のハブコンピューティングシステム１２は、仮想３次元オブジェクトを１人又は複数人のユーザのＦＯＶ内に挿入することができ、それにより、仮想３次元オブジェクトは、現実世界のビューを拡張し、及び／又はこの現実世界のビューに取って代わる。一実施形態では、ヘッドマウントディスプレイ装置２、プロセッシングユニット４、及びハブコンピューティングシステム１２は、装置のそれぞれが、仮想３次元オブジェクトをどこで、いつ、及びどのように挿入すべきであるかを決定するためにデータを取得するのに使用されるセンサのサブセットを含むとき、一緒に働く。一実施形態では、仮想３次元オブジェクトをどこで、いつ、及びどのように挿入すべきであるかを決定する計算は、互いに連携して働くハブコンピューティングシステム１２とプロセッシングユニット４とによって行われる。しかしながら、さらなる実施形態では、すべての計算が、単独で働くハブコンピューティングシステム１２によって、又は単独で働くプロセッシングユニット（複数可）４によって行われてもよい。他の実施形態では、計算のうちの少なくともいくつかは、ヘッドマウントディスプレイ装置２によって行われ得る。

[0058] 一例示的な実施形態では、ハブコンピューティングシステム１２及びプロセッシングユニット４は一緒に働いて、１人又は複数人のユーザがいる環境のシーンのマップ又はモデルを作成し、その環境内の様々な動くオブジェクトを追跡する。加えて、ハブコンピューティングシステム１２及び／又はプロセッシングユニット４は、ヘッドマウントディスプレイ装置２の位置及び向きを追跡することによって、ユーザ１８が装着したヘッドマウントディスプレイ装置２のＦＯＶを追跡する。ヘッドマウントディスプレイ装置２によって取得されたセンサ情報は、プロセッシングユニット４に送られる。一例では、その情報は、ハブコンピューティングシステム１２に送られ、このハブコンピューティングシステム１２は、シーンモデルを更新し、それをプロセッシングユニットに送り返す。次いで、プロセッシングユニット４は、ヘッドマウントディスプレイ装置２から受け取る追加のセンサ情報を使用して、ユーザのＦＯＶを精緻化し、仮想３次元オブジェクトをどこで、いつ、及びどのように挿入すべきであるかに関する命令をヘッドマウントディスプレイ装置２に提供する。キャプチャ装置２０内のカメラ及びヘッドマウントディスプレイ装置（複数可）２からのセンサ情報に基づいて、シーンモデル及び追跡情報は、以下に説明される閉ループフィードバックシステムにおいて、ハブコンピューティングシステム１２とプロセッシングユニット４との間で周期的に更新され得る。

[0059] 図７は、ハブコンピューティングシステム１２を実装するのに使用可能なコンピューティングシステムの例示的な実施形態を示している。図７に示されるように、マルチメディアコンソール５００は、レベル１キャッシュ５０２、レベル２キャッシュ５０４、及びフラッシュＲＯＭ（Read Only Memory）５０６を有するセントラルプロセッシングユニット（CPU）５０１を有する。レベル１キャッシュ５０２及びレベル２キャッシュ５０４は、一時的にデータを記憶し、したがって、メモリアクセスサイクル数を抑え、それによって、処理速度及びスループットを改善する。ＣＰＵ５０１は、２つ以上のコア、したがって、追加のレベル１キャッシュ５０２及びレベル２キャッシュ５０４を有して設けられてもよい。フラッシュＲＯＭ５０６は、マルチメディアコンソール５００が電源投入されたとき、起動プロセスの初期段階中にロードされる実行可能なコードを記憶することができる。

[0060] グラフィックスプロセッシングユニット（GPU）５０８及びビデオエンコーダ／ビデオコーデック（コーダ／デコーダ）５１４は、高速及び高解像度のグラフィックス処理のためのビデオプロセッシングパイプラインを形成する。データが、グラフィックスプロセッシングユニット５０８からバスを介してビデオエンコーダ／ビデオコーデック５１４に搬送される。ビデオプロセッシングパイプラインは、データを、テレビ又は他のディスプレイに送出するために、Ａ／Ｖ（オーディオ／ビデオ）ポート５４０に出力する。メモリコントローラ５１０が、これに限定されないが、ＲＡＭ（Random Access Memory）など、様々なタイプのメモリ５１２へのプロセッサアクセスを容易にするために、ＧＰＵ５０８に接続される。

[0061] マルチメディアコンソール５００は、Ｉ／Ｏコントローラ５２０、システム管理コントローラ５２２、オーディオプロセッシングユニット５２３、ネットワークインターフェース５２４、第１のＵＳＢホストコントローラ５２６、第２のＵＳＢコントローラ５２８、及び好ましくはモジュール５１８において実装されるフロントパネルＩ／Ｏサブアセンブリ５３０を含む。ＵＳＢコントローラ５２６及び５２８は、周辺コントローラ５４２（１）〜５４２（２）、ワイヤレスアダプタ５４８、及び外部メモリ装置５４６（例えば、フラッシュメモリ、外部ＣＤ／ＤＶＤ ＲＯＭドライブ、リムーバブルメディアなど）のホストとして機能する。ネットワークインターフェース５２４及び／又はワイヤレスアダプタ５４８は、ネットワーク（例えば、Ｉｎｔｅｒｎｅｔ、ホームネットワークなど）へのアクセスを提供し、Ｅｔｈｅｒｎｅｔカード、モデム、Ｂｌｕｅｔｏｏｔｈモジュール、及びケーブルモデムなどを含んだ幅広い種々の様々なワイヤード又はワイヤレスのアダプタ構成要素のうちのいずれかとすることができる。

[0062] システムメモリ５４３が、起動プロセス中にロードされるアプリケーションデータを記憶するために設けられる。メディアドライブ５４４が設けられ、このメディアドライブ５４４は、ＤＶＤ／ＣＤドライブ、Ｂｌｕ−Ｒａｙドライブ、ハードディスクドライブ、又は他のリムーバブルメディアドライブなどを含むことができる。メディアドライブ５４４は、マルチメディアコンソール５００の内部にあっても、又は外部にあってもよい。アプリケーションデータが、マルチメディアコンソール５００による実行、再生などのために、メディアドライブ５４４を介してアクセス可能である。メディアドライブ５４４は、Ｓｅｒｉａｌ ＡＴＡバス、又は他の高速接続（例えば、ＩＥＥＥ１３９４）など、バスを介してＩ／Ｏコントローラ５２０に接続される。

[0063] システム管理コントローラ５２２は、マルチメディアコンソール５００の利用可能性を確保することに関する種々のサービス機能を提供する。オーディオプロセッシングユニット５２３及びオーディオコーデック５３２は、高い忠実度及びステレオ処理を備えた対応するオーディオプロセッシングパイプラインを形成する。オーディオデータが、オーディオプロセッシングユニット５２３とオーディオコーデック５３２との間で通信リンクを介して搬送される。オーディオプロセッシングパイプラインは、データを、外部のオーディオユーザ、又はオーディオ性能を有する装置による複製のためにＡ／Ｖポート５４０に出力する。

[0064] フロントパネルＩ／Ｏサブアセンブリ５３０は、電源ボタン５５０及び取出しボタン５５２、並びにマルチメディアコンソール５００の外面に露出される任意のＬＥＤ（発光ダイオード）又は他のインジケータの機能性をサポートする。システム電源モジュール５３６が、電力をマルチメディアコンソール５００の構成要素に供給する。ファン５３８が、マルチメディアコンソール５００内の回路を冷却する。

[0065] ＣＰＵ５０１、ＧＰＵ５０８、メモリコントローラ５１０、及びマルチメディアコンソール５００内の様々な他の構成要素は、直列バス及び並列バス、メモリバス、周辺バス、及び種々のバスアーキテクチャのうちのいずれかを使用するプロセッサバス又はローカルバスを含んだ、１つ又は複数のバスを介して相互接続される。例として、そのようなアーキテクチャには、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ（PCI）バス、ＰＣＩエクスプレスバスなどを含めることができる。

[0066] マルチメディアコンソール５００が電源投入されるとき、アプリケーションデータは、システムメモリ５４３からメモリ５１２及び／又はキャッシュ５０２、５０４にロード可能であり、ＣＰＵ５０１において実行可能である。アプリケーションは、マルチメディアコンソール５００において利用できる異なるメディアタイプにナビゲートするとき、一貫したユーザ体験を提供するグラフィカルユーザインターフェースを提示することができる。動作に際して、メディアドライブ５４４内に入っているアプリケーション及び／又は他のメディアは、追加の機能性をマルチメディアコンソール５００に提供するために、メディアドライブ５４４から開始又は再生可能である。

[0067] マルチメディアコンソール５００は、単にシステムをテレビ又は他のディスプレイに接続することによって、スタンドアロンシステムとして動作可能である。このスタンドアロンモードでは、マルチメディアコンソール５００により、１人又は複数人のユーザは、システムと対話すること、映画を観ること、又は音楽を聴くことが可能になる。しかしながら、ネットワークインターフェース５２４又はワイヤレスアダプタ５４８を介せば利用できるようになる広帯域接続を統合することにより、マルチメディアコンソール５００は、より広いネットワークコミュニティにおける参加者としてさらに動作可能である。加えて、マルチメディアコンソール５００は、ワイヤレスアダプタ５４８を介してプロセッシングユニット４と通信することができる。

[0068] 任意選択の入力装置（例えば、コントローラ５４２（１）及び５４２（２））は、ゲーム用アプリケーション及びシステムアプリケーションによって共有される。入力装置は、確保されたリソースではないが、システムアプリケーションとゲーム用アプリケーションとの間で切り替えられることになり、それにより、それぞれが、装置のフォーカスを有することになる。アプリケーションマネージャは、好ましくは、ゲーム用アプリケーションの知識を知らずに、入力ストリームの切替えを制御し、ドライバが、フォーカススイッチに関する状態情報を維持する。キャプチャ装置２０は、ＵＳＢコントローラ５２６又は他のインターフェースを介して、コンソール５００のための追加の入力装置を確定することができる。他の実施形態では、ハブコンピューティングシステム１２は、他のハードウェアアーキテクチャを用いて実装可能である。ハードウェアアーキテクチャが１つである必要はない。

[0069] 図１に示されるヘッドマウントディスプレイ装置２及びプロセッシングユニット４（時には、まとめてモバイルディスプレイ装置と呼ばれることもある）は、１つのハブコンピューティングシステム１２（ハブ１２とも呼ばれる）と通じている。さらなる実施形態には、ハブ１２と通じている１つ又は２つ以上のモバイルディスプレイ装置がある場合もある。モバイルディスプレイ装置のそれぞれは、上述のように、ワイヤレス通信を用いて、ハブと通信することができる。そのような実施形態では、モバイルディスプレイ装置に有用な情報の多くが、ハブでコンピュータ計算され、記憶され、モバイルディスプレイ装置のそれぞれに送出されることになることが企図される。例えば、ハブは、環境のモデルを生成し、そのモデルをハブと通じているモバイルディスプレイ装置のすべてに提供することになる。加えて、ハブは、モバイルディスプレイ装置及び室内の動くオブジェクトの場所及び向きを追跡し、次いで、その情報をモバイルディスプレイ装置のそれぞれに転送することができる。

[0070] 別の実施形態では、システムが、多数のハブ１２を含むことが可能になり、各ハブは、１つ又は複数のモバイルディスプレイ装置を含む。ハブは、直接、又はＩｎｔｅｒｎｅｔ（又は、他のネットワーク）を介して、互いに通信することができる。そのような実施形態は、２０１０年１０月１５日出願の「Ｆｕｓｉｎｇ Ｖｉｒｔｕａｌ Ｃｏｎｔｅｎｔ Ｉｎｔｏ Ｒｅａｌ Ｃｏｎｔｅｎｔ」という題のＦｌａｋｓらに対する米国特許出願第１２／９０５，９５２号に開示されている。

[0071] その上、さらなる実施形態では、ハブ１２は、すべて省略されてもよい。そのような実施形態の１つの恩恵は、本システムの複合現実感体験が完全にモバイルになり、インドア及びアウトドアの設定両方に使用可能であることである。そのような実施形態では、後に続く説明におけるハブ１２によって行われるすべての機能は、代替として、プロセッシングユニット４のうちの１つ、連携して働くプロセッシングユニット４のうちの一部、又は連携して働くプロセッシングユニット４のすべてによって行われ得る。そのような実施形態では、それぞれのモバイルディスプレイ装置２は、状態データ、シーンマップ、シーンマップの各ユーザのビュー、すべてのテクスチャ及びレンダリング情報、ビデオ及びオーディオのデータ、並びに本明細書に説明される動作を行うための他の情報を生成し、更新することを含んだ、システム１０のすべての機能を行う。図９のフローチャートに関して後述される実施形態は、ハブ１２を含む。しかしながら、そのような各実施形態では、プロセッシングユニット４のうちの１つ又は複数が、代替として、ハブ１２のすべての説明された機能を行うことができる。

[0072] 図８は、本技術による概略的な方法を示すフローチャートである。図８の方法は、単一のフレームの画像データを生成し、レンダリングし、各ユーザに表示するのにかかる時間などの離散時間周期の間、ハブコンピューティングシステム１２、プロセッシングユニット４、及び／又はヘッドマウントディスプレイ装置２の構成要素によって行われ得る。単独で、又は別のシステムとともに機能するハブコンピューティングシステム１２、プロセッシングユニット４、及び／又はヘッドマウントディスプレイ装置２のうちのいずれか１つ又は複数が、この方法のすべて又は部分を行うことができる。

[0073] 概して、システムは、環境、並びにユーザ、現実世界オブジェクト、及び仮想オブジェクトなどの環境内のオブジェクトのｘ、ｙ、ｚの座標を有するシーンマップを生成する。上記のように、仮想オブジェクト２１は、例えば、プロセッシングユニット４、及び／又はヘッドマウントディスプレイ装置２において動作するアプリケーションによって、もしくはユーザ１８によって、環境内に仮想的に配置され得る。システムはまた、各ユーザのＦＯＶを追跡する。すべてのユーザは、シーンの同じ様相を視ていることができる一方、それらの様相を異なるパースペクティブから視ている。

[0074] 図８を参照すると、ステップ８０２で、シーンデータが集められる。ハブ１２の場合には、これは、キャプチャ装置２０の深度カメラ４２６及びＲＧＢカメラ４２８によって感知される画像及びオーディオのデータとすることができる。プロセッシングユニット４の場合には、これは、ヘッドマウントディスプレイ装置２、特には、カメラ１１２、眼追跡アセンブリ１３４、及びＩＭＵ１３２によって感知される画像データとすることができる。キャプチャ装置２０及びヘッドマウントディスプレイのデータの組合せが使用され得る。

[0075] ステップ８０４で、シーンマップが、シーンの幾何学的形状、並びにシーン内のオブジェクトの幾何学的形状及び位置を特定して展開され得る。諸実施形態では、所与のフレームで生成されるシーンマップは、共通の環境内のすべてのユーザ、現実世界オブジェクト、及び仮想オブジェクトのローカル座標系にｘ、ｙ、及びｚの位置を含むことができる。シーンマップは、シーン内で仮想オブジェクトを位置決めする際、並びに適当なオクルージョンを伴う仮想３次元オブジェクト（仮想３次元オブジェクトが、オクルージョンされる場合も、又は仮想３次元オブジェクトが、現実世界オブジェクト又は別の仮想３次元オブジェクトをオクルージョンする場合もある）を表示する際に使用可能である。８０６で、ユーザ環境内の様々な現実オブジェクト及び仮想オブジェクトの位置が決定される。

[0076] ステップ８０８では、システムは、共通の環境内を動く人間などの移動オブジェクトを検出及び追跡し、移動オブジェクトの位置に基づいてシーンマップを更新することができる。

[0077] ステップ８１０では、ユーザのヘッドマウントディスプレイ装置２の位置、向き、及びＦＯＶの決定。ここでは、ステップ８１０のさらなる詳細が、図９のフローチャートに関して説明される。他のユーザの位置、向き、及びＦＯＶが決定されると、この情報は、仮想オブジェクトのビューイング位置に対する変更を決定する際に使用するための方法を行う装置に取出し可能である。

[0078] ステップ８１２で、仮想オブジェクトは、ユーザが装着した装置２の視野においてレンダリングされる。各オブジェクトは、オブジェクトのグラフィカル情報、並びにオブジェクトがレンダリングされるべき位置及び向きを含んだ、オブジェクトをレンダリングするのに使用されるオブジェクト定義を含むことができる。

[0079] ステップ８１４で、ユーザが、ステップ８１２でレンダリングされた仮想オブジェクトを選択したかどうかに関する決定が行われる。ユーザが仮想オブジェクトを選択したかどうかを決定するための方法、及び選択の例示が、図１１〜図１４に関して示されている。

[0080] ステップ８１６で、オブジェクトの選択がステップ８１４で決定された場合、選択インジケータが、プロセッサ４、ＨＵＢ１２、及び／又はオブジェクトの選択に関して機能するアプリケーションに送出され得る。

[0081] ステップ８１８で、環境に対するユーザ動作が検出される場合、方法は、８１０で、位置、向き、及びＦＯＶを更新する。ユーザ動作が、上記に論じられたように、オブジェクトを操作する動作、又は共通の環境内の動作を含むことができる。ユーザが、共通の環境内を物理的に移動することができ、仮想オブジェクトに対するユーザの位置音楽が変更することができる。

[0082] 図９は、図８のステップ８１０を行うための一方法を示している。一手法では、ユーザの追跡は、眼追跡、及び頭部向き追跡に関係する２つの異なる分岐に分類され得る。

[0083] ステップ９００は、上述の技術を用いて、ユーザの片眼、又は両眼を追跡するための分岐を特定する。ステップ９０２では、眼は、例えば、図３の眼追跡照明１３４のいくつかのＬＥＤからの赤外光を使用して、照らされる。ステップ９０４では、眼からの反射が、１つ又は複数の赤外眼追跡カメラ１３４Ｂを使用して検出される。ステップ９０６では、反射データは、プロセッシングユニット４に供給される。ステップ９０８では、プロセッシングユニット４は、上記に論じられたように、反射データに基づいて眼の位置を決定する。ステップ９１０は、注視方向（例えば、図１１に関係してさらに論じられる）、及びフォーカス距離を決定する。

[0084] 一手法では、眼球の場所は、カメラ及びＬＥＤの位置に基づいて決定され得る。瞳孔の中心は、画像処理を用いて発見され得、瞳孔の中心を通って延びる光線が、視軸と決定され得る。具体的には、１つの可能な眼追跡技法は、瞳孔が照らされるときの瞳孔から反射する少量の光である閃光の場所を使用する。コンピュータプログラムが、閃光に基づいて注視の場所を推定する。別の可能な眼追跡技法は、閃光と瞳孔の中心との両方を追跡するという理由から、閃光場所特定技法より正確であり得るＰｕｐｉｌ−Ｃｅｎｔｅｒ／Ｃｏｒｎｅａｌ−Ｒｅｆｌｅｃｔｉｏｎ Ｔｅｃｈｎｉｑｕｅである。瞳孔の中心は、一般に、正確な見通し場所であり、閃光のパラメータ内のこのエリアを追跡することによって、眼が注視しているところの正確な予測を行うことができる。

[0085] 別の手法では、瞳孔の形状は、ユーザが注視している方向を決定するのに使用され得る。瞳孔は、真っ直ぐ前の方向に対するビューイング角度に比例してより楕円形になる。

[0086] 別の手法では、眼の中の多数の閃光が、眼の３ｄ場所を発見し、眼の半径を推定し、次いで、眼の中心を通る線を瞳孔中心を通って引いて注視方向を得るように検出される。例えば、Ｈｅｎｎｅｓｓｅｙら、「Ａ Ｓｉｎｇｌｅ Ｃａｍｅｒａ Ｅｙｅ−Ｇａｚｅ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｗｉｔｈ Ｆｒｅｅ Ｈｅａｄ Ｍｏｔｉｏｎ」、ＥＴＲＡ２００６、Ｓａｎ Ｄｉｅｇｏ、ＣＡ、ＡＣＭ８８頁、８７頁〜９４頁を参照されたい。

[0087] ステップ９２０は、上述の技術を用いて、ユーザの頭部向きを追跡するための分岐を特定する。ステップ９２２で、プロセッシングユニット４は、３軸ジャイロ１３２Ｂからのデータにアクセスする。ステップ９２４では、プロセッシングユニット４は、３軸加速度計１３２Ｃからのデータにアクセスする。ステップ９２６では、プロセッシングユニット４は、３軸磁力計１３２Ａからのデータにアクセスする。これらの入力に基づいて、プロセッシングユニット４は、ステップ９２７で、頭部向きを決定することができる。別の手法では、プロセッシングユニット４は、ジャイロ、加速度計、及び磁力計からのデータを用いて、ハブコンピューティングシステム１２から受け取った向きデータを精緻化する。

[0088] 図１０は、本技術により仮想オブジェクトの選択を決定するための一方法を示すフローチャートである。図１０は、図１１Ａ〜図１４に関連して理解され得る。

[0089] ステップ１０２０及び１０２２で、ユーザの注視位置及び頭部位置は、取り出される。ユーザの注視位置及び頭部位置は、図９に関して上記に論じられたように決定される。図１１Ａ〜図１３Ｂに関して以下に示すように、ユーザの注視及び頭部の位置は、必ずしも整合されていなくてもよい。

[0090] ステップ１０２４で、ユーザが選択可能なオブジェクトにフォーカスしていないかどうかに関する初期決定が行われる。ユーザがヘッドマウントディスプレイ２の視野における現実オブジェクトと仮想オブジェクトとを両方精査するとき、ユーザは、選択不可能な現実オブジェクトと仮想オブジェクトとを両方とも注視する可能性がある。選択可能なオブジェクトは、選択に基づいてユーザによって操作可能なオブジェクトであり、又はその選択により、結果的にある機能がオブジェクトに対して行われることになる、オブジェクトである。例えば、図１Ｂにおけるモンスターが選択されると同時に、モンスター仮想オブジェクトは、図１Ｃにあるようにアニメ化されるようになる。ステップ１０２４における決定は、ユーザが選択可能なオブジェクトにフォーカスし始めたかどうかについて示すものである。

[0091] 選択可能なオブジェクトへのフォーカスは、図１１から図１４に関して以下の説明により決定され得る。フォーカスの決定は、ユーザの注視、ユーザの頭部位置、又はその両方に基づいて行われ得る。注視が、所定の時間期間の間、オブジェクトに向けられる場合、ユーザは、オブジェクトにフォーカスしていると決定されることになる。代替の実施形態では、ユーザの注視及び頭部の位置は、選択可能なオブジェクトに対してある程度の範囲内まで整合され、次いで、ユーザは、オブジェクトへのフォーカスと決定されることになる。

[0092] 一旦、オブジェクトへの初期フォーカスが１０２４で決定されると、選択可能なオブジェクトにおけるユーザの注視は、ステップ１０２６で、相対的に短いタイマを開始することになる。ユーザが、１０２６で、タイマの持続時間の間、オブジェクトにフォーカスしたままである場合、検証オブジェクトが、１０２８で表示されることになる。１０２６におけるタイマの長さは、１秒の半分程度とすることができる。

[0093] 検証オブジェクトは、図１４に示されている。一旦、検証オブジェクトが表示されると、検証オブジェクトにおけるユーザのフォーカスは、選択可能な仮想オブジェクトがアクティブであるかどうかを決定することになる。検証オブジェクトは、選択可能な仮想オブジェクトにつなげられて見えるように、その中の両者間には他の選択可能な仮想オブジェクトを含まずに、レンダリングされる。選択及び検証オブジェクトの様々な形状及び外見が使用可能である。

[0094] ステップ１０３０で、ユーザが検証オブジェクトに対するフォーカスを変更していないかどうかに関する決定が行われる。この場合も、検証オブジェクトへのフォーカスが、ユーザの注視、ユーザの頭部位置、又はその両方に基づいて決定され得る。加えて、又は代替として、ユーザ注視経路によって形成されるパターンが、１０２８で、検証オブジェクトへのフォーカスの決定に寄与することができる。

[0095] ユーザが、１０３９で、検証オブジェクトにフォーカスが向けられることが決定される場合、検証オブジェクトへのタイムアウトが、ステップ１０３２で動作する。タイムアウトは、ユーザが検証オブジェクトにフォーカスすることによって、元の選択可能なオブジェクトを選択しようと意図していることを確かめる。検証オブジェクトタイマが、ユーザのフォーカスが検証オブジェクトに向けられることにより終了する場合、選択コマンドが、１０３４で、プロセッサ４、及び／又はアプリケーションに指示される。検証オブジェクトへのタイムアウトのタイマは、ステップ１０２６の時間期間より大きくても、同じであっても、又は短くてもよい。一実施形態では、ステップ１０３２の時間期間は、ステップ１０２６の時間期間より長い。

[0096] この時点で、装置プロセッサ４、及び／又はアプリケーションは、アプリケーションの開発者によって方向付けられる形で、選択されたオブジェクトを操作することになる。

[0097] 選択コマンドが発行されることに続いて何らかの時点では、可能性として、ユーザが、選択可能なオブジェクトから目をそらすことが起こることになる。一旦、ユーザのフォーカスが選択可能なオブジェクトから外されると、目をそらすタイマユーザが、１０３６で動作する。タイマが満了すると、選択解除コマンドが１０３８で発行される。ユーザが、タイマの満了の前に１０４２で選択可能なオブジェクトをまた眺めた場合、ユーザが１０３６で再度、目をそらすまで、タイマは、１０４４でリセットする。方法は、１０４０で、次の選択可能なオブジェクトへと進む。

[0098] 図１１Ａ〜図１３Ａは、ユーザが視ているいくつかの仮想オブジェクトを上から見下ろした透視図を示しており、図１１Ｂ〜図１３は、ユーザが視ているいくつかの仮想オブジェクトのユーザパースペクティブを示している。図１１Ａ及び図１１Ｂにおいては、シースルーヘッドマウントディスプレイ装置２を装着したユーザ１８が、いくつかの仮想オブジェクト１１０２、１１０４、１１０６、１１０８、及び１１１０を視ることができる。いくつかの実施形態では、仮想オブジェクトは、選択可能な仮想オブジェクト、及び選択不可能な仮想オブジェクトとすることができる。選択不可能な仮想オブジェクトは、視る人に対してレンダリング可能であるが、追加の機能を提供するためにユーザによる選択は不可能である。選択可能な仮想オブジェクトは、いくつかの追加の機能性を提供する。

[0099] 図１１Ａは、ユーザの注視が、ベクトル１０３０によって示され、ユーザの相対的頭部位置が、ベクトル１１２０によって示されている。図１１Ｂは、ヘッドマウントディスプレイ２を通して見られるユーザ１８のビューを示している。ヘッドマウントディスプレイ２の一方のレンズのみが示されている。図１１Ｂに示されるように、オブジェクト１１０２及び１１０４は、完全にレンダリングされることになり、一方、オブジェクト１１０６、１１０８、１１１０は、それぞれの位置を示すように幻影で示されているが、オブジェクト１１０６、１１０８、１１１０は、ディスプレイ２を装着しているときのユーザの視野にない限り、ユーザには見えないことになるということを理解されたい。

[00100] 図１１Ｂはまた、注視ベクトル１１３０及び頭部方向ベクトル１１３０の各交差ポイントを示している。そのような交差は、ユーザ１８には見えないことになるが、単なる例示目的のために、図１１Ｂには異なる大きさで示されている。

[00101] 図１１Ａにおいては、ユーザの頭部は、反時計回りに回転している。したがって、可能性として、ユーザの注視は、ユーザの頭部の動きに先行することになり、したがって、ベクトル１０３０によって表されるユーザの注視は、ユーザの頭部位置を導くことになる。図１１Ｂに示されるように、測定可能な差１１３２が、フォーカスベクトル１１３０と頭部位置ベクトル１１２０との間に存在する。

[00102] 図１２Ａは、注視経路１１２７に沿うユーザ注視及び頭部位置の回転した位置を示し、この注視経路１１２７は、ユーザの注視ベクトル１１３０が前進してから、ユーザは位置ベクトル１１２０を有したことを示している。ユーザが回転経路１１２５に沿って移動すると、オブジェクト１１０６は、フォーカスの中に入ることになり、オブジェクト１１０２は、ビューから離れることになる。

[00103] 図１３Ａ及び図１３Ｄは、ユーザの注視及び頭部位置がオブジェクト１１０６に向けられるようになったことを示している。この例では、頭部ベクトル１１２０と注視ベクトル１１３０との間の差はほとんど、又は全くない。図１３Ｂは、ユーザ注視及び頭部位置がともに、オブジェクト１１０６において整合されていることを示している。注視ベクトル１１３０と頭部ベクトル１１２０との交差間にほとんど、又は全く差が存在しない場合、ユーザは、オブジェクト１１０６にフォーカスが向けられていると決定され得る。それぞれのベクトルの交差ポイント間のいくらかの差は許容可能であり、その差レベルは、設計目標に従って決定されることを理解されたい。代替の実施形態では、１つのオブジェクトにおける注視ベクトル１１３０と、全く異なる仮想オブジェクトと交差するユーザ頭部ベクトル１１２０との交差はなおも、ユーザが特定のオブジェクトにフォーカスを向けたという決定をもたらすことになる。

[00104] さらなる別の実施形態では、選択オブジェクト（及び／又は検証オブジェクト）との注視ベクトル１０３０の交差しか使用されない。

[00105] 図１４は、仮想オブジェクト１１０２から１１１０をすべて示している。図１４においては、検証オブジェクト１１３５が示されている。検証オブジェクトは、図１４に示す長方形の大まかな形態をとるが、検証オブジェクトは、任意の形状又は大きさとすることができる。概して、検証オブジェクトは、選択オブジェクトに対して目立たない場所に、かつ選択オブジェクトに近接してレンダリングされる。加えて、検証オブジェクトは、選択オブジェクトの下部右側に位置決めされているが、検証オブジェクトは、選択オブジェクトに対する他の場所に位置決めされてもよい。

[00106] 検証オブジェクトは、経路１１４５に沿って検証オブジェクトへのユーザのフォーカスを引き付けても、引き付けなくてもよい。ユーザが検証オブジェクトに移動しない場合（ステップ１１３０で論じられたように）、ユーザは、選択オブジェクトから目をそらすことも、又は選択オブジェクトにフォーカスしたままであってもよい。

[00107] 一旦、ユーザが検証オブジェクトにフォーカスすると（上記のステップ１０３０にあるように）、検証オブジェクト１１３５へのユーザの継続された注視は、ユーザが検証オブジェクト、加えて、（上記に論じられたステップ１０３２におけるタイマを完了して選択オブジェクトを選択するように意図するという決定をもたらすことになる。

[00108] 概して、ユーザの注視経路は、図１４の経路１１３７を辿ることができる。経路１１３７とのわずかなずれがやはり、生じる場合がある（経路内のより誇張された角度、又は図１３Ｂの注視交差と図１４の交差との間の厳密な斜め線など。一実施形態では、図１３Ｂに示されるユーザの初期フォーカス位置と図１４に示されるユーザの新規フォーカス位置との間の相対経路上のユーザの移動は、検証オブジェクトへのユーザのフォーカスの決定を検証するのに使用され得る。

[00109] 図１５は、本技術の一実施形態における選択の結果を示している。

[00110] 図１５の例では、シアトルスカイラインの写真である選択オブジェクト１１０６が、仮想オブジェクト１５００トラベルサービスプレゼンテーションを開くことになる。

[00111] 本明細書における方法のうちのいずれか１つ又は複数が、ハブコンピューティングシステム１２、プロセッシングユニット４、及び／又はヘッドマウントディスプレイ装置２のうちのいずれか１つ又は複数によって適切に読出し可能なコンピュータストレージメディアにおいて記憶されるコンピュータ可読コードによって実装可能である。

[00112] 主題が、構造上の特徴、及び／又は方法論的行為に特有の文言で説明されてきたが、添付の特許請求の範囲に規定される主題は、必ずしも、上述の具体的な特徴又は行為に限定されるわけではないことを理解されたい。むしろ、上述の具体的な特徴及び行為は、特許請求の範囲を実装する例示的な形態として開示される。

Claims (10)

1. シースルーヘッドマウントディスプレイにおいてレンダリングされる仮想オブジェクトを選択するための方法において、
   １つ又は複数の仮想オブジェクトをレンダリングするステップであって、少なくとも１つの仮想オブジェクトは、前記オブジェクトに関して機能に関わるユーザによる選択可能な仮想オブジェクトである、ステップと、
   ユーザの注視、頭部位置、及び視野を決定するステップであって、前記注視、頭部位置、及び視野は、ユーザフォーカスを決定する、ステップと、
   前記ユーザの前記フォーカスが選択可能な仮想オブジェクトと交差する場合、前記選択可能な仮想オブジェクトの初期選択を決定するステップと、
   前記選択可能な仮想オブジェクトに近接して検証オブジェクトを表示するステップと、
   前記ユーザの前記フォーカスが前記検証オブジェクトと交差するかどうかを検出し、それによって、前記選択可能なオブジェクトの選択を開始するステップと
   を含む方法。
2. 検証オブジェクトを表示する前に、前記ユーザフォーカスが、第１の時間期間の間、依然として前記選択可能な仮想オブジェクトにあるかどうかを決定するステップをさらに含む、請求項１に記載の方法。
3. 前記検出するステップは、前記ユーザフォーカスが、第２の時間期間の間、依然として前記検証オブジェクトにあるかどうかを決定するステップを含む、請求項１に記載の方法。
4. 前記ユーザの前記フォーカスは、ユーザ注視が前記選択可能な仮想オブジェクト又は前記検証オブジェクトのうちの一方と交差するかどうかを決定することを含む、請求項１に記載の方法。
5. 前記ユーザフォーカスが前記検証オブジェクトと交差するかどうかを検出するステップは、前記選択可能なオブジェクトと前記検証オブジェクトとの間の注視動きパターンを検出するステップを含む、請求項１に記載の方法。
6. ディスプレイと、
   前記ヘッドマウントディスプレイに連結されたプロセッサと
   を備えるディスプレイ機器であって、
   前記プロセッサは、
   前記ヘッドマウントディスプレイにおいて少なくとも１つの選択可能な仮想オブジェクトをレンダリングし、
   ユーザの注視及び頭部位置を決定し、それによって、前記ユーザのユーザフォーカスを生成し、
   前記ユーザフォーカスに基づいて、前記選択可能な仮想オブジェクトの初期選択を決定し、
   前記選択可能な仮想オブジェクトに近接して検証オブジェクトを表示し、
   前記ユーザの前記フォーカスが前記検証オブジェクトに向けられるとき、前記ユーザによる前記選択可能なオブジェクトの選択を検出する
   ようにプログラムされている、
   機器。
7. 前記プロセッサは、前記ユーザフォーカスが、第１の時間期間の間、依然として前記選択可能な仮想オブジェクトにあるかどうかを決定するようにプログラムされている、請求項６に記載の機器。
8. 前記プロセッサは、前記ユーザフォーカスが、第２の時間期間の間、依然として前記検証オブジェクトにあるかどうかを検出するようにプログラムされている、請求項７に記載の機器。
9. 前記第１の時間期間は、前記第２の時間期間より短い、請求項８に記載の機器。
10. 前記プロセッサは、前記ユーザの前記フォーカスが前記選択可能な仮想オブジェクトから離れたかどうかを決定し、前記オブジェクトの選択解除を開始するようにプログラムされている、請求項９に記載の機器。

Images