JP2022527450A - 仮想現実および拡張現実のためのシステムおよび方法 - Google Patents

Abstract

本開示の実施例は、モバイルコンピューティングに関連するシステムおよび方法を説明する。ある例示的方法によると、モバイルコンピューティングシステムのユーザの第１のユーザ場所が判定される。第１のユーザ場所に近接する第１の通信デバイスが、第１のユーザ場所に基づいて識別される。第１の信号が、第１の通信デバイスに通信される。第１のユーザ場所に基づく第１の情報ペイロードが、第１の通信デバイスが第１の信号を受信することに応答して、第１の通信デバイスから受信される。第１の情報ペイロードに基づくビデオまたはオーディオデータが、ユーザが第１のユーザ場所にいる間の第１の時間において、ユーザに提示される。

Description

（関連出願の相互参照）
本願は、２０１９年３月２５日に出願された米国仮特許出願第６２／８２３，６１９号の利益を主張し、これは、参照によりその全体が本明細書に援用される。

（発明の分野）
本発明は、接続されたモバイルコンピューティングシステム、方法、および構成に関し、より具体的には、仮想現実動作および／または拡張現実動作のために利用され得る少なくとも１つのウェアラブルコンポーネントを特徴とするモバイルコンピューティングシステム、方法、および構成に関する。

（発明の背景）
複合現実または拡張現実の接眼ディスプレイが、軽量、低コストであり、小さい形状因子を有し、広い仮想画像視野を有し、可能な限り透明であることが望ましい。加えて、両眼離反運動と遠近調節との不整合に関する容認可能な許容差を超過することなく、多種多様な使用事例のために実践的であるために、（例えば、２つ以上の）複数の焦点面の中に仮想画像情報を提示する構成を有することが、望ましい。ウェアラブルコンピューティングシステムにおける使用のために最適化された小型かつ持続的に接続されたシステムおよびアセンブリの必要性が、存在する。

本開示の実施例は、モバイルコンピューティングに関連するシステムおよび方法を説明する。ある例示的方法によると、モバイルコンピューティングシステムのユーザの第１のユーザ場所が判定される。第１のユーザ場所に近接する第１の通信デバイスが、第１のユーザ場所に基づいて識別される。第１の信号が、第１の通信デバイスに通信される。第１のユーザ場所に基づく第１の情報ペイロードが、第１の通信デバイスが第１の信号を受信することに応答して、第１の通信デバイスから受信される。第１の情報ペイロードに基づくビデオまたはオーディオデータが、ユーザが第１のユーザ場所にいる間の第１の時間において、ユーザに提示される。ユーザの第２のユーザ場所が判定される。第２のユーザ場所に近接する第２の通信デバイスが、第２のユーザ場所に基づいて識別される。第２の信号が、第２の通信デバイスに通信される。第２のユーザ場所に基づく第２の情報ペイロードが、第２の通信デバイスが第２の信号を受信することに応答して、第２の通信デバイスから受信される。第２の情報ペイロードに基づくビデオまたはオーディオデータが、ユーザが第２のユーザ場所にいる間の第２の時間において、ユーザに提示される。

図１は、本開示の実施例による、例示的モバイルコンピューティングシステムを図示する。

図２は、本開示の実施例による、モバイルコンピューティングシステムの例示的ユースケースシナリオを図示する。

図３は、本開示の実施例による、モバイルコンピューティングシステムの例示的ユースケースシナリオを図示する。

図４は、本開示の実施例による、モバイルコンピューティングシステムの例示的ユースケースシナリオを図示する。

図５は、本開示の実施例による、モバイルコンピューティングシステムの例示的ユースケースシナリオを図示する。

図６は、本開示の実施例による、例示的な接続されたリソースを図示する。

図７は、本開示の実施例による、例示的な接続されたリソースを図示する。

図８は、本開示の実施例による、例示的な接続されたリソースを図示する。

図９は、本開示の実施例による、例示的な接続されたリソースを図示する。

図１０は、本開示の実施例による、モバイルコンピューティングシステムの例示的使用方法を図示する。

図１１は、本開示の実施例による、例示的モバイルコンピューティングシステムを図示する。

図１２は、本開示の実施例による、モバイルコンピューティングシステムの例示的使用方法を図示する。

図１３は、本開示の実施例による、モバイルコンピューティングシステムの例示的使用方法を図示する。

以下の実施例の説明では、本明細書の一部を形成し、実践されることができる具体的な実施形態が例証として示される付随の図面が、参照される。他の実施例も、使用されることができ、構造的変更が、開示される実施例の範囲から逸脱することなく成されることができることを理解されたい。

図１を参照すると、頭部装着型視認コンポーネント（２）と、ハンドヘルド式のコントローラコンポーネント（４）と、ユーザ上にベルトパックまたは同等物として装着されるように構成され得る相互接続された補助コンピューティングまたはコントローラコンポーネント（６）とを特徴とする例示的モバイルコンピューティングシステム（例えば、ウェアラブル拡張現実システム）が、図示される。これらのコンポーネントのそれぞれは、有線または無線通信構成（例えば、ＩＥＥＥ ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＲＴＭ）、および他のコネクティビティ規格ならびに構成によって規定されるもの）を介して、相互に、および、他の接続されたリソース（８）（例えば、クラウドコンピューティングまたはクラウドストレージリソース）に動作可能に結合（１０、１２、１４、１６、１７、１８）され得る。図１に図示されるもの等のシステムが、例えば、米国特許出願第１４／５５５，５８５号、第１４／６９０，４０１号、第１４／３３１，２１８号、第１５／４８１，２５５号、および第６２／５１８，５３９号に説明され、そのそれぞれは、参照によりその全体が本明細書に援用される。前述の米国特許出願は、拡張現実体験において彼らの周囲の世界（すなわち、ユーザに対してローカルな環境）がユーザに見え得る、２つの描写される光学要素（２０）および関連付けられるシステムコンポーネントならびに視覚コンポーネントの種々の実施形態等、そのようなシステムの種々の側面を説明する。

図２を参照すると、図１を参照して説明されるウェアラブルコンピューティングシステム等のモバイルコンピューティングシステムのユーザが世界において動作する例示的進行シナリオ（１６０）が、描写される。図２の実施例は、ユーザのモバイルコンピューティングシステムに接続するように構成される（無線通信デバイスであり得る）少なくとも１つの通信デバイス（４０）を特徴とするユーザの自宅（２２）を図示する。ユーザが、ここで、ある例証的な例示的な日において、周囲の世界をナビゲートするにつれて、ユーザは、自宅（２２、点Ａ－８０）から仕事場（２４、点Ｂ－８２、Ｃ－８４、Ｄ－８６、Ｅ－８８）まで進行し（３０）、次いで、仕事場（２４）から（３２、点Ｉ－９６、Ｊ－９８）を通って公園（２６）まで進行し、散歩し（２８、点Ｋ－１００、Ｌ－１０２、Ｍ－１０４）、その後、戻りの残りの道を通り（３４、点Ｎ－１０６、Ｏ－１０８）、自宅（２２）に到着し、経路に沿って、自身のモバイルコンピューティングシステムと種々の無線デバイス（４０、４２、４４、４６、４８、５０、５２、５４、および他のもの（例えば、図３および図４の拡大図に示されるもの））との間で無線接触が、生じる。いくつかの実施例では、モバイルコンピューティングシステムは、種々の無線デバイスおよびそれらと交換された情報を利用し、ユーザに、概してユーザによって選択され得るユーザ選好に準拠する（例えば、コンテンツとサービス品質との間の好ましいトレードオフを反映する）比較的に低遅延かつロバストなコネクティビティ体験を提供するように構成される。

一実施形態では、モバイルコンピューティングシステムは、その日のための自身のコンピューティング体験のある側面をユーザが選択するように構成されてもよい。例えば、グラフィカルユーザインターフェース、音声制御、および／またはジェスチャを通して、ユーザは、典型的な就業日を過ごし、そこに向かって戻る際に通常のルートをとり、自宅に戻る途中で短い散歩のために公園に立ち寄ることを、モバイルコンピューティングシステムに入力してもよい。好ましくは、モバイルコンピューティングシステムは、ある人工知能または機械学習側面を含むことができ、例えば、本システムは、ユーザの電子カレンダーと統合し、簡易的な確認を条件とし、そのスケジュールを暫定的に理解し得る。例えば、ユーザが、仕事のために出発するにつれて、本システムは、「仕事に向かう、通常のルート、および通常のコンピューティング構成」と話すまたは示すように構成されてもよく、この通常のルートは、ユーザのモバイルコンピューティングシステムを通して以前のＧＰＳおよび／またはモバイル三角測量データから獲得されてもよい。「通常のコンピューティング構成」は、ユーザによってカスタマイズされ、規制を受けてもよく、例えば、本システムは、ユーザが運転している間、ある妨げのない視覚のみを提示し、広告、および買い物、または運転に関連しない他の情報を提示せず、ユーザが仕事場への経路上で運転している間、新しいプログラムのオーディオバージョンもしくは現在のお気に入りのオーディオブックを提供するように構成されてもよい。ユーザが、仕事場に向かう途中で運転をナビゲートするにつれて、自身の自宅の無線デバイス（４０）とのコネクティビティから離れ、他の無線デバイス（４２、４４、４６、４８）とのコネクティビティに進入し得るまたはそれを維持し得る。これらの無線デバイスのそれぞれは、ユーザのモバイルコンピューティングシステムに、比較的に短い待ち時間において（すなわち、その場所におけるユーザに関連があり得るある情報をローカルで記憶することによって）ユーザの体験に関連する情報を提供するように構成されてもよい。図６および図７は、本明細書に説明されるように利用され得る無線デバイスのある側面を図示し、図８および図９の実施形態は、ローカルストレージの利点を伴わずに、ローカルに関連するクラウドベースの情報に直接接続するためにも利用され得る非ストレージ型ビーコンおよび／またはマーカ構成を特徴とする。

例えば、図２に描写されるように、種々の時間において、ユーザが点Ａ（８０）から点Ｂ（８２）を通って点Ｃ（８４）まで進行するにつれて、ユーザのモバイルコンピューティングシステムは、ユーザの場所に近接する近傍の通信デバイスを識別し、その通信デバイスとの通信に関与することができる。通信デバイスは、無線通信デバイスを含んでもよい。例えば、ユーザの場所が、点Ｃ（８４）の近傍にある場合、モバイルコンピューティングシステムは、通信デバイス（４４）がユーザの場所に近接していることを判定することができる。通信デバイス（４４）は、ユーザのモバイルコンピューティングシステムから信号を受信し、ユーザのモバイルコンピューティングシステムに情報ペイロードを通信することによって信号に応答するように構成されてもよい。例えば、ユーザのモバイルシステムにパスされる情報ペイロードは、ユーザのモバイルコンピューティングシステム上で利用され得る空間情報（例えば、部屋の幾何学形状を説明するメッシュ等の地理的または幾何学的情報）を含むことができる。空間情報は、モバイルコンピューティングシステムによって、例えば、運転して通過する間にユーザが危険を明確に可視化および／または理解するように、ユーザの場所において溝が生成されている場所をハイライトするために、使用されることができ、（例えば、溝のハイライトされた輪郭または別のグラフィック強調を特徴とし得る）この空間情報は、より遠隔のリソースから引き出される（これは、運転者に対する情報を得ることにおいてより長い待ち時間を伴い得る）必要がないように、ローカル通信デバイス（４４）上にローカルに記憶されてもよい。待ち時間を短くすることに加えて、ローカルストレージはまた、モバイルシステムが、例えば、ローカルモバイルハードウェアの一部を備え得るセンサに基づいて、それ自体で他の態様で発生または構築する必要があった情報を受信し得るため、ユーザのモバイルコンピューティングシステム上の全体的な算出負荷を減少させるように機能し得る。通信デバイスによって提供される情報ペイロードはまた、非空間情報（例えば、写真、ビデオ、オーディオ、テキスト、メタデータ、または他の好適な情報）を含むことができ、この情報は、ユーザのモバイルコンピューティングシステムによって、適宜、例えば、ユーザに情報を（例えば、透過型ディスプレイを介して）視覚的におよび／または（例えば、１つ以上のスピーカを介して）聴覚的に提示することによって、使用されることができる。

情報ペイロードは、ユーザのモバイルコンピューティングシステムによって通信デバイスに送信されるデータ、および／または、別のユーザのモバイルコンピューティングシステムによって通信デバイスに送信されるデータに基づくことができる。すなわち、例えば、ある場所における第１のモバイルコンピューティングシステムによって提供されるデータ（例えば、空間座標、センサ出力、遠隔測定データ）が、再利用され、情報ペイロードを、後に同一の場所に到着する第２のユーザのモバイルコンピューティングシステムに提示することができる。

ユーザは、自身のモバイルコンピューティングシステムを介して、他の場所における他の通信デバイスと通信することができる。例えば、図２に関して、ユーザが場所Ｅ（８８）にいる場合、モバイルコンピューティングシステムは、通信デバイス（４８）がユーザの場所に近接していると判定することができる。通信デバイス（４８）は、ユーザのモバイルコンピューティングシステムから信号を受信し、ユーザのモバイルコンピューティングシステム（例えば、通信デバイス（４４）に関して上記に説明されるもの）に情報ペイロードを通信することによって信号に応答するように構成されてもよい。いくつかの実施例では、通信デバイスは、相互にネットワーク通信し、情報を共有してもよい。例えば、通信デバイス（４８）は、通信デバイス（４４）と通信し、ユーザに伝送されることになる情報ペイロードを発生させることにおける使用のための情報を共有してもよい。

ユーザが、自身の仕事場（２４）の駐車場に到着すると、本システムは、例えば、歩行速度を検出するように構成され、ユーザが職場まで歩行するにつれて、そのコンピュータ化されたカレンダーシステムとの統合を介して、ユーザとその日の自身のスケジュールを精査するようにユーザによって構成されてもよい。そのローカルモバイルコンピューティングシステム上に常駐していないある付加的な情報が、あるストレージ容量を特徴とし得るローカルソース（例えば、４８、５０）から引き出され、再び、直接的なクラウドコネクティビティに対してより小さいモバイルオーバーヘッドおよびより短い待ち時間を促進してもよい。

図３を参照すると、職場（２４）に到着すると、ユーザは、（無線通信デバイスを含み得る）種々の通信デバイス（５０、６０、６２、６４、６６、６８、７０、７２、７４）と接続し得、それぞれ、場所ベースの情報を提供することが可能であるように構成され得る。例えば、点Ｆ（９０）にあるとき、ユーザのモバイルコンピューティングシステムは、（ＧＰＳ、コンピュータビジョン、マーカまたはビーコン識別、ならびに／あるいは通信デバイス（６０、６２、６４）の三角測量等によって）場所を検出し、次いで、ローカルストレージから（すなわち、通信デバイス６０、６２、６４から）自身のモバイルコンピューティングシステムに、その場所に関連のある情報（例えば、部屋の幾何学形状の高密度三角形メッシュ、またはその部屋が誰の職場であるかに関するある情報、その人物についての情報、あるいは、ユーザのモバイルコンピューティングシステム上で自動的に稼働する人工知能エージェント等によって関連があると見なされ得る他の情報）を迅速にアップロードするように構成されてもよい。種々の他の通信デバイス（５０、６６、６８、７０、７２、７４）は、職場の他の場所において位置付けられ、他の場所ベースの情報を特徴とし、再び、モバイルコンピューティングシステムにローカルなセンサ設備によってリアルタイムで新たに行われている部屋の幾何学形状の判定等のあらゆるものを伴わない低遅延かつロバストなモバイルコンピューティング機能性をローカルユーザに提供するように構成されてもよい。

図４を参照すると、類似の通信デバイスリソース（４０、５６、５８）が、自宅（２２）において利用され、ユーザが自身のモバイルコンピューティングシステムを用いて自宅をナビゲートする（Ｐ－１１０、Ｑ－１１２、Ｒ－１１４、Ｓ－１１６、Ｔ－１１８、Ｕ－１２０）につれて、場所ベースの情報で補助してもよい。職場（２４）または自宅（２２）環境では、モバイルコンピューティングシステムは、運転と非常に異なるように外部リソースを利用するように構成されてもよい。例えば、ユーザのモバイルコンピューティングシステムの人工知能コンポーネントが、ユーザが、土曜日の朝、午前７時～８時の間に散歩するにつれて、（おそらく、運転しているときには通常許容可能ではないが散歩しているときには許容可能である表示様式において、または、おそらく、ユーザが散歩することを停止して着座するまたは可動な状態で立っているときに自動的に拡張する表示様式において）前の週の毎晩のニュースハイライトを見ることを好むことを認識し得、そのため、散歩速度が、検出されると、本システムは、それらの時間の間にローカルストレージからそのようなハイライトを配信しながら、関連のある場所の中の住宅内の種々の物体または構造物の位置等の他の場所ベースの情報も採集する（すなわち、コンピュータビジョン処理負荷を減少させる）ように構成されてもよい。

同様に、図５の拡大図に示される公園（２６）を通してユーザが散歩（２８）をナビゲートするにつれて、ローカル無線デバイスリソース（５４）が、利用され、ユーザがそれに沿って散歩するにつれて観察し得る彫刻庭園に関連する背景情報等の場所ベースの情報を提供してもよく、そのような情報は、ユーザが散歩するにつれて、自身の公園内での散歩シナリオに対して調整されるおよび／またはカスタマイズ可能である（すなわち、運転することあるいは自宅または仕事場で散歩することと対照的であるような）様式において表示またはオーディオとして再現されてもよい。

図６を参照すると、一実施形態では、前述の通信デバイス（図３および図４の拡大図に示されるような４０、４２、４４、４６、４８、５０、５２、５４、ならびに他のもの）のうちの１つ以上のものは、図６に示されるようなシステムを構成してもよく、プロセッサ等のローカルコントローラ（１３４）が、電力供給源（１３２）（例えば、バッテリ）と、モバイル電気通信（すなわち、ＧＳＭ（登録商標）、ＥＤＧＥ、ＨＳＰＡ／＋、３Ｇ、４Ｇ、５Ｇ）、ＷｉＦｉ（すなわち、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、８０２．１１ｎ等の８０２．１１規格）、ＷｉＭａｘ、および／または、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＲＴＭ、すなわち、１．ｘ、２．ｘ、３．ｘ、４．ｘ）構成、およびローカルストレージデバイス（１３６）（例えば、大容量ストレージまたはメモリデバイス）等を使用することによってモバイルコンピューティングシステムならびに他のコンピューティングシステムおよびリソースと無線で通信するように構成される送受信機（１３０）（例えば、伝送および受信アンテナ）とに動作可能に結合される（１３８）。ストレージデバイス（１３６）は、クラウドストレージリソース等の外部ストレージリソース（１４６）に動作可能に結合（１４０）されてもよく、ローカル電力供給源（１３２）は、長期間の充電または補充等のために外部電力リソース（１４８）に動作可能に結合（１４２）されてもよく、送受信機（１３０）は、外部コネクティビティリソース（１５０）に動作可能に結合され、例えば、インターネットバックボーンへのアクセスを提供してもよい。これらのローカルかつ接続されたリソースの全てが、そのようなデバイスの場所に基づいて構成され、ローカルユーザに、そのような情報が交通、買い物、天気、構造物、文化等に関連するかどうかにかかわらず、ローカルシナリオに合わせて調整された情報を提供してもよい。

図７は、図６のものに類似する実施形態であるが、ローカルストレージ設備を伴わないものを図示し、そのコンポーネントは、クラウドリソース等の遠隔ストレージリソース（１４６）に動作可能に結合され（１４１）、図７におけるような実施形態が、直接的なローカルストレージ（上記に説明されるように、そのようなローカルストレージは、その地域内でモバイルシステムに情報を提供する観点から、待ち時間を短縮させることにおいて有益であり得る）の利点を伴わず、図６におけるもの等の実施形態の代わりに種々の構成において利用されてもよい。

図８を参照すると、ローカルストレージ能力を伴わないさらなるシナリオでは、例えば、（モバイル電気通信（すなわち、ＧＳＭ（登録商標）、ＥＤＧＥ、ＨＳＰＡ／＋、３Ｇ、４Ｇ、５Ｇ）、ＷｉＦｉ（すなわち、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、８０２．１１ｎ等の８０２．１１規格）、ＷｉＭａｘ、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）（ＲＴＭ、すなわち、１．ｘ、２．ｘ、３．ｘ、４．ｘ）構成等を使用することによってモバイルコンピューティングシステムならびに他のコンピューティングシステムおよびリソースと無線で通信するように構成される伝送アンテナ等の、双方向の送受信機ではない）伝送機（１３１）および比較的に長期間のバッテリ（１３２）のみを特徴とする伝送機ビーコン（４１）タイプのデバイスが、利用され、ローカルに位置付けられるモバイルコンピューティングデバイスに接続し、モバイルコンピューティングシステムと関連のあるクラウドリソースを接続する（すなわち、ローカルストレージをバイパスするが、関連のあるクラウドリソースに「あなたは、ここにいます」ポインタに類似する情報を提供する）ためのポインタとして機能する場所またはビーコン識別情報を共有してもよい。

図９を参照すると、非常に基本的シナリオでは、アルコマーカ等の非電子マーカ（４３）が、利用され、また、モバイルコンピューティングシステムと関連のあるクラウドリソースを接続する（すなわち、ローカルストレージをバイパスするが、関連のあるクラウドリソースに「あなたは、ここにいます」ポインタに類似する情報を提供する）ためのポインタとしても機能してもよい。

上記に説明されるように、待ち時間を減少させ、概して、関連のある場所ベースの情報への有用なアクセスを増加させるために、図６に描写されるもの等の局所化されたストレージリソースを伴う通信デバイスが、自宅、企業等の構造の内部の全体を通して、および、都市の繁華街地域、店舗または店の外側等の外部の全体も通して位置してもよい。同様に、局所化されたストレージ容量を伴わないが遠隔ストレージリソースに動作可能に結合されるまたは向けられた通信デバイスもまた、自宅、企業等の構造の内部の全体を通して、および、都市の繁華街地域、店舗または店の外側等の外部の全体も通して位置してもよい。

一実施形態では、モバイルコンピューティングシステムは、そのような情報がどのくらい古いまたは「陳腐」であるか等によって、時間ドメインベースでフィルタリングされた情報を提示するように、ユーザによってカスタマイズ可能であってもよい。例えば、ユーザは、本システムを、運転している間、１０分前のものであるまたはそれより新しい等の交通情報のみを提供するように構成することが可能となり得る（すなわち、時間ドメイン側面は、カスタマイズされ得る／構成可能であり得る）、あるいは、ユーザは、本システムを、１年前のものであるまたはそれより新しい等のアーキテクチャ（すなわち、建物内の壁の位置）のみを提示するように構成することが可能となり得る（すなわち、時間ドメイン側面は、カスタマイズされ得る／構成可能であり得る）。

図１０～図１３を参照すると、種々の実施形態では、ユーザの位置および／または配向（すなわち、ユーザの頭部に結合可能である頭部装着型視認コンポーネント２等の結合されたコンポーネントの位置および／または配向の判定を介したもの）が、ユーザが世界をナビゲートするにつれてユーザの世界の特定のビューに関する付加的および／または拡張されたコンテンツおよび／または情報をユーザに提供するために利用され得るように構成されるシステムを有することが、望ましい。

例えば、図１０を参照すると、一実施形態では、図１に描写されるもの等の拡張現実システムを装着するユーザが、世界をナビゲートし得る（２００）。ユーザは、（歩行可能地域、あるいは、建物の中または外側における機能性ボリューム等の）ある区域に進入し得、その区域では、意図的に視覚的に検出可能な特徴等の具体的な特徴および無線コネクティビティ関連特徴が、本システムがユーザのすぐ周囲の世界に対するユーザの位置および／または配向を判定するように構成されるように、ユーザの拡張現実システムによって位置特定および解釈されるように予め構成されている。そのような比較的に情報が豊富な区域は、「局所化アイランド」と称され得る。例えば、一実施形態では、ある接続されたリソース（８）が、無線コネクティビティデバイス（例えば、ＳＳＩＤおよび／またはＩＰアドレス等の情報をブロードキャストし得、そのための相対的信号強度が判定され得、近接度に関連し得る８０２．１１デバイス、さらに、他の検出可能な特徴（例えば、既知の場所を伴うＢｌｕｅｔｏｏｔｈ（登録商標）、オーディオ、および／または赤外線ビーコン）、および／または、既知の場所を伴うポスターまたは他の視覚特徴）を備えてもよい。（モノクロカメラ、カラーカメラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）検出器、マイクロホン、深度カメラ、ステレオカメラ、および同等物等のコンポーネントを含み得る）主題システムのヘッドウェアラブルコンポーネント（２）に動作可能に結合される複数のセンサ等によるこれらの入力の組み合わせられた検出および分析が、利用され、例えば、図６を参照して説明されるもののような、例えば、クラウドストレージシステム等の接続されたリソース（８）上に含有され得るそのような物品の所定または既知の場所に関する情報の分析に基づいて、ユーザの位置および／または配向を判定してもよい（２０２）。

再び図１０を参照すると、ユーザの初期の位置および／または配向が判定されると、局所化アイランドの具体的な特徴に加えて、ユーザの拡張現実システムのセンサが、利用され、その地域またはボリューム内でのユーザの位置および／または配向の更新された判定を維持してもよい（２０４）。ユーザが現場の周囲を視認しかつ／またはナビゲートするにつれた現場の座標系に対するユーザの位置および／または配向の更新された判定を前提として、ある特殊なコンテンツおよび情報（限定ではないが、例えば、他のユーザおよび物体が異なる場所に仮想的に「テレポート」してその現場に関する像を見るかつ／または現実にまたは仮想的にのいずれかで存在する他者とやりとりすることを可能にするように構成され得る（例えば、米国特許出願第１３／６６３，４６６号（参照によりその全体が本明細書に援用される）に説明されるもの等の）「パス可能な世界」構成を介した他の遠隔現場に関するコンテンツおよび情報を含む）が、ユーザの拡張現実システムを通してユーザに提示されてもよい（２０６）。ユーザの拡張現実システムのユーザインターフェースが、ユーザが、ユーザの拡張現実システムを通して提示されるある情報を取り入れる、利用する、視認する、および／またはバイパスすることを可能にするように構成されてもよい。例えば、ユーザが、特に識別可能な特徴に富み（すなわち、「局所化アイランド」等）かつコンテンツに富む買い物地域を通して歩行しているが、その時点において買い物に関する情報のいかなる仮想表現も見えることを望まない場合、ユーザは、そのシステムを、そのような情報を表示せず、むしろ、表示のために選択されている情報（例えば、緊急の個人用メッセージング情報）のみを表示するように構成してもよい。

図１１を参照すると、図１のものに類似するシステムが、図示されているが、ユーザの局所化（すなわち、動作中、ユーザの頭部に結合され得る頭部結合可能コンポーネント２等のコンポーネントの位置および／または配向の判定）を補助するために利用され得るいくつかの無線で接続されたリソースもまた、ハイライトして示されている。例えば、図１１を参照すると、相互におよび接続されたリソース（８）（例えば、クラウドストレージまたはクラウドコンピューティングリソース）に動作可能に結合されているメインシステムコンポーネント（２、４、６）に加えて、これらのシステムコンポーネントは、既知の識別および／または場所を伴う伝送機ビーコン等のＢｌｕｅｔｏｏｔｈ（登録商標）デバイス（２２２）、具体的なＳＳＩＤ、ＩＰアドレス識別子、および／または信号の強度または近接度の感知および／または伝送能力を伴うＷｉＦｉルータ等の８０２．１１デバイス（２１８）、速度、位置、および／または配向に関する情報を伝送するように構成され得る車両またはそのコンポーネント（２２０）（例えば、ある自動車両内のある速度計システムは、瞬間的速度を伝送し、車両搭載型ＧＰＳ追跡デバイス等のＧＰＳ追跡可能コンポーネントとの相互結合を通してＧＰＳ位置を概算するように構成されてもよく、ユーザが位置する車両に関するそのような速度、位置、および／または配向情報が、利用され、例えば、ディスプレイの「ジッタ」を低減させ、また、車両の窓を通して見え得る実世界の特徴に関する表示される像（例えば、通過されている山の頂上または車両の外側における他の特徴に関する標識）をユーザに提示することを補助してもよく、そのような車両または構造の外側における視認ポータルを伴う車両または他の構造を伴うある実施形態では、そのような車両、構造、および／またはポータルの幾何学形状に関する情報が、接続されたリソース８のクラウドリポジトリ等から利用され、車両または構造に対して各ユーザのために仮想コンテンツを適切に設置してもよい）、ユーザのシステムを接続するだけではなく三角測量法の場所および／または配向の統合ならびに統合されたＧＰＳ情報も提供し得るモバイルコネクティビティネットワーク送受信機（２１０）（例えば、ＬＴＥコネクティビティのために構成されたもの）、接続されたデバイスに場所情報を提供するように構成されるＧＰＳ伝送機および／または送受信機（２１２）、概して非可聴周波数の使用を通して近傍のシステムを局所化または指向することを補助するように構成されるもの等のオーディオ伝送機または送受信機ビーコン（２１４、例えば、種々の実施形態では、オーディオ伝送機または送受信機が、利用され、オーディオ伝送機または送受信機だけではなく、別の隣接するまたは同じ場所に位置する局所化アセット（例えば、光、赤外線、ＲＦ、または他のビーコン、伝送機、および／または送受信機）上に（すなわち、拡張現実システム（例えば、図１および図１１で取り上げられたもの）上で利用可能である一式のセンサを通して自動的に、あるいは、他の実施形態では、オーディオ伝送機および／または送受信機が、ユーザインターフェース内の矢印等の視覚インジケータ、および／または、頭部搭載型コンポーネント内の統合されたスピーカを通したオーディオインジケータ等を介して、ユーザのためのユーザインターフェース内で指向的に表されるように、手動または半自動的にのいずれかで）（すなわち、暗闇の中の第１の人物が、暗闇の中の第２の人物に対して口笛で合図し、その第２の人物が第１の人物を見出すことを補助する方法と同様に）低侵襲性に「焦点を合わせる」またはそれらを位置特定することにおいて拡張現実システム等のモバイルシステムを補助し得る）、ならびに／あるいは、場所および／または配向に関する情報を同様に引き付けるかつ／または識別するための、ユーザの拡張現実システムによって検出され得る赤外線ビーコン等、ユーザの局所化を補助し得るデバイスに、無線で結合可能であってもよい。

図１２を参照すると、図１１に描写されるもの等のシステムに関する動作の実施形態が、図示される。拡張現実システムを装着するユーザが、世界をナビゲートする（２００）。種々の無線で接続されたリソース（例えば、モバイル電気通信送受信機（例えば、ＬＴＥ）、ＧＰＳデバイス、８０２．１１デバイス、および種々のタイプのビーコン（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標） ＲＦ、オーディオ、および／または赤外線ビーコン））の範囲内では、ユーザの拡張現実システムは、ユーザのすぐ周囲の世界に対するユーザの位置および／または配向を判定するように構成されてもよい（２２４）。ユーザの初期の位置および／または配向が判定されると、具体的な無線で接続されたリソースに加えて、ユーザの拡張現実システムのセンサが、利用され、地域またはボリューム内でのユーザの位置および／または配向の更新された判定を維持してもよい（２２６）。ユーザが現場の周囲を視認しかつ／またはナビゲートするにつれた現場の座標系に対するユーザの位置および／または配向の更新された判定を前提として、ある特殊なコンテンツおよび情報（限定ではないが、例えば、他のユーザおよび物体が、異なる場所に仮想的に「テレポート」してその現場に関する像を見るかつ／または現実にまたは仮想的にのいずれかで存在する他者とやりとりすることを可能にするように構成され得る（例えば、米国特許出願第１３／６６３，４６６号（参照によりその全体が本明細書に援用される）に説明されるもの等の）「パス可能な世界」構成を介した他の遠隔現場に関するコンテンツおよび情報を含む）が、ユーザの拡張現実システムを通してユーザに提示されてもよい（２０６）。ユーザの拡張現実システムのユーザインターフェースが、例えば、図１０に関連して上記に説明されるように、ユーザが、ユーザの拡張現実システムを通して提示されるある情報を取り入れる、利用する、視認する、および／またはバイパスすることを可能にするように構成されてもよい（２０８）。

図１３を参照すると、別の実施形態では、他の検出可能なリソース（例えば、建築物、空の背景輪郭、地平線、および／または全景の明確に異なる幾何学形状）が、接続されたシステムおよびリソース（例えば、図１および図１１で描写されるもの）を利用して、コンピュータビジョンおよび／または画像または特徴処理技法等を介して分析され、ユーザの位置および／または配向を判定してもよい。図１３を参照すると、拡張現実システムを装着するユーザが、世界をナビゲートする（２００）。種々の構造または他の検出可能なリソース（例えば、建築物、空の背景輪郭、地平線、および／または全景のうちの１つ以上のものの明確に異なる幾何学形状）に近接して、ユーザの拡張現実システムは、そのような画像の処理、閾値化、および／またはそのような場面またはリソースに関する既知の像との比較側面によって、ユーザのすぐ周囲の世界に対するユーザの位置および／または配向を判定するように構成されてもよい（２２８）。ユーザの初期の位置および／または配向が判定されると、ユーザの拡張現実システムのセンサ（例えば、カラー、モノクロ、および／または赤外線カメラ）が、利用され、地域またはボリューム内でのユーザの位置および／または配向の更新された判定を維持してもよい（２３０）。ユーザが現場の周囲を視認しかつ／またはナビゲートするにつれた現場の座標系に対するユーザの位置および／または配向の更新された判定を前提として、ある特殊なコンテンツおよび情報（限定ではないが、例えば、他のユーザおよび物体が、異なる場所に仮想的に「テレポート」してその現場に関する像を見るかつ／または現実にまたは仮想的にのいずれかで存在する他者とやりとりすることを可能にするように構成され得る（例えば、米国特許出願第１３／６６３，４６６号（参照によりその全体が本明細書に援用される）に説明されるもの等の）「パス可能な世界」構成を介した他の遠隔現場に関するコンテンツおよび情報を含む）が、ユーザの拡張現実システムを通してユーザに提示されてもよい（２０６）。ユーザの拡張現実システムのユーザインターフェースが、例えば、図１０に関連して上記に説明されるように、ユーザが、ユーザの拡張現実システムを通して提示されるある情報を取り入れる、利用する、視認する、および／またはバイパスすることを可能にするように構成されてもよい（２０８）。

本発明の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的な意味で参照される。それらは、本発明のさらに広く適用可能な側面を例証するために提供される。種々の変更が、説明される本発明に成され得、均等物が、本発明の真の精神および範囲から逸脱することなく代用され得る。加えて、多くの修正が、特定の状況、材料、物質の組成、プロセス、プロセス行為、またはステップを、本発明の目的、精神、または範囲に適合させるように成され得る。さらに、当業者によって理解されるように、本明細書に説明および図示される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のいずれかの特徴から容易に分離され得るまたはそれと組み合わせられ得る別々のコンポーネントおよび特徴を有する。そのような修正は全て、本開示と関連付けられる請求項の範囲内であるように意図される。

本発明は、主題デバイスを使用して実施され得る方法を含む。本方法は、そのような適したデバイスを提供する行為を含み得る。そのような提供は、エンドユーザによって実施され得る。言い換えると、「提供する」行為は、単に、主題方法において必要なデバイスを提供するために取得する、アクセスする、アプローチする、位置付ける、設定する、アクティブ化する、起動する、または他の態様で行動することをエンドユーザに要求する。本明細書に列挙される方法は、論理的に可能性として考えられる列挙された事象の任意の順序でおよび事象の列挙された順序で行われ得る。

本発明の例示的側面が、材料の選択および製造に関する詳細とともに、上記に述べられている。本発明の他の詳細に関して、これらは、上記に言及される特許および公開文書に関連して理解され、概して、当業者によって把握され得るまたは理解され得る。同じことが、一般的または理論的に採用されるものとしての付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。

加えて、本発明は、随意に種々の特徴を組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に対して考えられるものとして説明されるものまたは示されるものに限定されるべきではない。説明される本発明に成され得る種々の変更および均等物は（本明細書に列挙されているかまたはある簡潔性のために含まれていないかどうかにかかわらず）、本発明の真の精神および範囲から逸脱することなく代用され得る。加えて、ある範囲の値が、提供される場合、その範囲の上限および下限と、その記載される範囲における任意の他の記載されるまたは介在する値との間の各介在値が、本発明の範囲内に包含されることを理解されたい。

また、説明される本発明の変形例の任意の随意の特徴が、独立して、または、本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせられて記載されるまたは請求され得ることを想定されたい。単一の物体の言及は、複数の存在する同一の物品がある可能性を含む。より具体的には、本明細書および本明細書に関連付けられる請求項において使用される場合、単数形「ａ」、「ａｎ」、「ｓａｉｄ（該）」、および「ｔｈｅ（前記）」は、他の態様で具体的に記載されない限り、複数の指示物を含む。言い換えると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項において、主題物品の「少なくとも１つ」のものを可能にする。さらに、そのような請求項が、任意の随意の要素を除外するために起草され得ることに留意されたい。したがって、この叙述は、請求項要素の列挙に関連して、「単独で」、「のみ」、および同等物のようなそのような排他的用語の使用または「否定的な」限定の使用のための前項としての役割を果たすように意図される。

そのような排他的用語の使用を伴わず、本開示と関連付けられる請求項における用語「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」は、所与の数の要素がそのような請求項内で枚挙されているかどうかに関係なく、任意の付加的要素の含有を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換するものとして見なされ得る。本明細書に具体的に定義されている場合を除いて、本明細書に使用される技術的および科学的用語は全て、請求項の正当性を維持しながら、可能な限り広義の一般的に理解される意味を与えられるべきである。

本発明の範疇は、提供される実施例および／または主題明細書に限定されるべきではなく、むしろ、本開示と関連付けられる請求項文言の範囲のみによって限定されるべきである。

Claims (20)

1. 方法であって、
   モバイルコンピューティングシステムのユーザの第１のユーザ場所を判定することと、
   前記第１のユーザ場所に基づいて、前記第１のユーザ場所に近接する第１の通信デバイスを識別することと、
   第１の信号を前記第１の通信デバイスに通信することと、
   前記第１の通信デバイスが前記第１の信号を受信することに応答して前記第１の通信デバイスから、前記第１のユーザ場所に基づく第１の情報ペイロードを受信することと、
   前記ユーザが前記第１のユーザ場所にいる間の第１の時間において、前記第１の情報ペイロードに基づくビデオまたはオーディオデータを前記ユーザに提示することと、
   前記ユーザの第２のユーザ場所を判定することと、
   前記第２のユーザ場所に基づいて、前記第２のユーザ場所に近接する第２の通信デバイスを識別することと、
   第２の信号を前記第２の通信デバイスに通信することと、
   前記第２の通信デバイスが前記第２の信号を受信することに応答して前記第２の通信デバイスから、前記第２のユーザ場所に基づく第２の情報ペイロードを受信することと、
   前記ユーザが前記第２のユーザ場所にいる間の第２の時間において、前記第２の情報ペイロードに基づくビデオまたはオーディオデータを前記ユーザに提示することと
   を含む、方法。
2. 前記モバイルコンピューティングシステムは、ウェアラブルヘッドデバイスを備え、ビデオまたはオーディオデータを前記ユーザに提示することは、前記ウェアラブルヘッドデバイスを介してビデオまたはオーディオデータを前記ユーザに提示することを含む、請求項１に記載の方法。
3. 前記第１の通信デバイスは、第１の無線通信デバイスを備え、前記第２の通信デバイスは、第２の無線通信デバイスを備える、請求項１に記載の方法。
4. 前記第２の通信デバイスは、前記第１の通信デバイスと通信する、請求項１に記載の方法。
5. 前記第１の通信デバイスは、第１のローカルストレージを備え、
   前記第１の信号を受信することに応答して、前記第１の信号に基づくデータが、前記第１のローカルストレージの中に記憶される、請求項１に記載の方法。
6. 前記第１の通信デバイスは、第１のローカルストレージを備え、
   前記第１の情報ペイロードは、前記第１のローカルストレージの中に記憶されるデータに基づいて発生される、請求項１に記載の方法。
7. 前記第１の信号に基づくデータが、前記第１の通信デバイスによって、前記第１の信号を受信することに応答して、遠隔サーバに通信される、請求項１に記載の方法。
8. 前記第１の情報ペイロードは、遠隔サーバから受信されるデータに基づいて発生される、請求項１に記載の方法。
9. 前記第１の情報ペイロードは、第２のモバイルコンピューティングシステムから受信される信号に基づいて発生される、請求項１に記載の方法。
10. 前記モバイルコンピューティングシステムは、１つ以上のセンサを備え、前記第１の信号は、前記１つ以上のセンサの出力に基づく、請求項１に記載の方法。
11. 前記モバイルコンピューティングシステムは、１つ以上のセンサを備え、前記第１のユーザ場所を判定することは、前記１つ以上のセンサの出力に基づいて、前記第１のユーザ場所を判定することを含む、請求項１に記載の方法。
12. 前記第１のユーザ場所を判定することは、１つ以上の機械学習技法によって判定されるスケジュールに基づいて、前記第１のユーザ場所を判定することを含む、請求項１に記載の方法。
13. 前記第１のユーザ場所を判定することは、前記ユーザによって入力されたスケジュールに基づいて、前記第１のユーザ場所を判定することを含む、請求項１に記載の方法。
14. モバイルコンピューティングシステムであって、
    １つ以上のセンサと、
    １つ以上のプロセッサと
    を備え、
    前記１つ以上のプロセッサは、
    前記１つ以上のセンサの出力に基づいて、前記モバイルコンピューティングシステムのユーザの第１のユーザ場所を判定することと、
    前記第１のユーザ場所に基づいて、前記第１のユーザ場所に近接する第１の通信デバイスを識別することと、
    第１の信号を前記第１の通信デバイスに通信することと、
    前記第１の通信デバイスが前記第１の信号を受信することに応答して前記第１の通信デバイスから、前記第１のユーザ場所に基づく第１の情報ペイロードを受信することと、
    前記ユーザが前記第１のユーザ場所にいる間の第１の時間において、前記第１の情報ペイロードに基づくビデオまたはオーディオデータを前記ユーザに提示することと、
    前記ユーザの第２のユーザ場所を判定することと、
    前記第２のユーザ場所に基づいて、前記第２のユーザ場所に近接する第２の通信デバイスを識別することと、
    第２の信号を前記第２の通信デバイスに通信することと、
    前記第２の通信デバイスが前記第２の信号を受信することに応答して前記第２の通信デバイスから、前記第２のユーザ場所に基づく第２の情報ペイロードを受信することと、
    前記ユーザが前記第２のユーザ場所にいる間の第２の時間において、前記第２の情報ペイロードに基づく、ビデオまたはオーディオデータを前記ユーザに提示することと
    を含む方法を実行するように構成される、モバイルコンピューティングシステム。
15. 前記モバイルコンピューティングシステムは、ウェアラブルヘッドデバイスを備え、ビデオまたはオーディオデータを前記ユーザに提示することは、前記ウェアラブルヘッドデバイスを介してビデオまたはオーディオデータを前記ユーザに提示することを含む、請求項１４に記載のモバイルコンピューティングシステム。
16. 前記第１の通信デバイスは、第１のローカルストレージを備え、
    前記第１の信号を受信することに応答して、前記第１の信号に基づくデータが、前記第１のローカルストレージの中に記憶される、請求項１４に記載のモバイルコンピューティングシステム。
17. 前記第１の通信デバイスは、第１のローカルストレージを備え、
    前記第１の情報ペイロードは、前記第１のローカルストレージの中に記憶されるデータに基づいて発生される、請求項１４に記載のモバイルコンピューティングシステム。
18. 前記第１の信号に基づくデータが、前記第１の通信デバイスによって、前記第１の信号を受信することに応答して、遠隔サーバに通信される、請求項１４に記載のモバイルコンピューティングシステム。
19. 前記第１の情報ペイロードは、第２のモバイルコンピューティングシステムから受信される信号に基づいて発生される、請求項１４に記載のモバイルコンピューティングシステム。
20. 命令を記憶する非一過性コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、
    モバイルコンピューティングシステムのユーザの第１のユーザ場所を判定することと、
    前記第１のユーザ場所に基づいて、前記第１のユーザ場所に近接する第１の通信デバイスを識別することと、
    第１の信号を前記第１の通信デバイスに通信することと、
    前記第１の通信デバイスが前記第１の信号を受信することに応答して前記第１の通信デバイスから、前記第１のユーザ場所に基づく第１の情報ペイロードを受信することと、
    前記ユーザが前記第１のユーザ場所にいる間の第１の時間において、前記第１の情報ペイロードに基づくビデオまたはオーディオデータを前記ユーザに提示することと、
    前記ユーザの第２のユーザ場所を判定することと、
    前記第２のユーザ場所に基づいて、前記第２のユーザ場所に近接する第２の通信デバイスを識別することと、
    第２の信号を前記第２の通信デバイスに通信することと、
    前記第２の通信デバイスが前記第２の信号を受信することに応答して前記第２の通信デバイスから、前記第２のユーザ場所に基づく第２の情報ペイロードを受信することと、
    前記ユーザが前記第２のユーザ場所にいる間の第２の時間において、前記第２の情報ペイロードに基づくビデオまたはオーディオデータを前記ユーザに提示することと
    を含む方法を前記１つ以上のプロセッサに実行させる、非一過性コンピュータ可読媒体。

Images