JP2013515275A - 拡張現実のためのブロードバンドパッシブ追跡 - Google Patents

Abstract

それぞれが周囲の放送ソースからの電磁波（たとえば、無線周波数「ＲＦ」信号）を感知する能力を有するいくつかのパッシブ受信機を使用することができるブロードバンドパッシブセンシングおよび追跡システムに関する技術が、全般的に説明される。各パッシブ受信機は、１つまたは複数のアンテナによって感知するように構成され得る。異なる位置の複数の受信機が、関心のあるシーンの協調した追跡を行うように構成されたブロードバンドセンシングネットワークを形成するために利用され得る。一部の例によれば、ビームフォーミングアルゴリズムが、物体を測位および追跡するためにパッシブ受信機によって形成されたアンテナアレーを利用するブロードバンドセンシングネットワークに適用され得る。
【選択図】図２

Description

関連出願の相互参照
本願は、２０１０年３月８日に出願されたＢＲＯＡＤＢＡＮＤ ＰＡＳＳＩＶＥ ＴＲＡＣＫＩＮＧ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹと題された米国特許出願第１２／７１９，７９７号の利益を主張するものである。本特許出願の開示は、あらゆる目的で参照により本明細書に援用される。

本明細書において別途指示されない限り、本節で説明される題材は、本願の特許請求の範囲に対する従来技術ではなく、本節に含まれることによって従来技術であると認められる訳ではない。

拡張現実（ＡＲ）とは、要素が、仮想的な、典型的にはコンピュータで生成された画像によって拡張され、それによって混合された現実感を作り出す物理的な（現実の）世界環境の見方のことである。拡張は、通常、リアルタイムであり、環境的な要素、そのようなスポーツイベント、軍事演習、ゲームなどの状況に合わせられ得る。ＡＲ技術は、物体認識および画像生成を加えることによって、人の周囲の現実世界についての情報がインタラクティブになり、デジタル形式で使用できるようになることを可能にする。環境および物体についての人工的な情報が、現実世界の眺めのレイヤーとは別個の情報レイヤーとして記憶され、取り出されることができる。

本開示は、ＡＲシステムにいくつかの制約が存在することを認める。現実世界と同じ空間内に共存するように見える仮想的なまたはコンピュータによって生成された物体を現実世界に追加する際に、ＡＲ技術は、ユーザが、現実の３次元（３Ｄ）物体を、それらの物体または目の前の作業についての追加的なコンピュータに基づく情報を視覚的に受け取りながら扱い、調べることを可能にする。ユーザが自然な形で混合された仮想および現実世界とインタラクションすることを可能にするために、ＡＲシステムは、環境センシングによって環境内のユーザの位置および関心のあるその他の物体の位置を知ることを必要とする可能性がある。たとえば、ＡＲシステムは、レンダリングするときにオクルージョンをサポートするために現実のシーンの距離画像（ｄｅｐｔｈ ｍａｐ）を必要とする可能性がある。システムは、物体の位置および運動パラメータ、すなわち、速度、加速度、運動の方向、運動のパターンなどに関する情報も利用する可能性がある。しかし、位置および運動パラメータを取得し、処理することについて、ＡＲシステムにはさまざまな課題が残っている。

以下の概要は、例示であるにすぎず、限定することは全く意図されていない。上述の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が、図面および以下の詳細な説明を参照することによって明らかになるであろう。

本開示は、概して、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法は、複数の追跡センサーのそれぞれのセンサーにおいて信号を受信することであって、複数の追跡センサーのそれぞれがブロードバンドセンシングネットワークの一部を形成し、受信信号が直接信号および／またはエコー信号のうちの１つまたは複数に対応し、各エコー信号が、関心のある物体によって散乱される直接信号のうちの対応する１つに関連する、受信することを含み得る。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法は、関心のある物体に関連するデータを生成するために受信信号を処理することであって、データが、関心のある物体に関連する位置パラメータおよび／または運動パラメータのうちの１つまたは複数に対応する、処理することも含み得る。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法は、位置パラメータおよび／または運動パラメータのうちの１つまたは複数を使用して、関心のある物体を含む現実のシーンを少なくとも１つの仮想的な物体で拡張することにより現実のシーンを拡張することをさらに含み得る。

また、本開示は、拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムを説明する。拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムは、複数の追跡センサーであって、それぞれの追跡センサーが、１つもしくは複数の対応する送信ソースに関連する直接信号、および／または関心のある物体から散乱された１つもしくは複数の直接信号に関連するエコー信号のうちの１つまたは複数に対応する信号を受信し、受信信号を前処理するように構成された、複数の追跡センサーを含み得る。拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムは、関心のある物体に関連するキャプチャーされた２Ｄ画像に基づいて画像情報を導出するように構成された画像処理サーバも含み得る。拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムは、無線ネットワークを介して複数の追跡センサーと通信し、前処理された信号を受信し、前処理された信号に基づいて関心のある物体を追跡し、関心のある物体の追跡および画像情報に基づいて現実のシーンを拡張するように構成されたリアリティサーバも含み得る。

また、本開示は、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置は、アンテナおよび追跡センサーを含む無線通信デバイスを含む可能性があり、無線通信デバイスは、１つもしくは複数の送信ソースからの直接信号、または直接信号のうちの１つもしくは複数の結果として関心のある物体のうちの１つもしくは複数から散乱されるエコー信号のうちの１つまたは複数に対応する信号をアンテナで受信するように構成される。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置は、アンテナおよび追跡センサーを含む無線通信デバイスを含む可能性があり、無線通信デバイスは、受信信号を前処理して１つまたは複数の周波数領域の信号を取得し、１つまたは複数の周波数領域の信号の位相を補償して位相補償された信号を生成し、位相補償された信号から関心のある物体のうちの１つまたは複数に関連する位置および／または運動情報を導出するようにさらに構成される。

さらに、本開示は、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置は、メモリ、およびメモリに結合されたプロセッサを含み得る。プロセッサは、プロセッサが、対応するＡＲ対応無線デバイスの通信ネットワークとは異なる無線ネットワークを介して、ＡＲ対応無線デバイスに組み込まれた複数の追跡センサーと通信し、追跡センサーの数および位置を適応的に選択するように構成されるようにＡＲエンジンを実行するようにメモリと連携させて構成され得る。プロセッサは、直接信号、および／または直接信号が関心のある１つまたは複数の物体によって反射されることによって生じるエコー信号のうちの１つまたは複数に対応する、追跡センサーによって検出される前処理された信号を受信し、受信信号にビームフォーミングプロセスを適用して、関心のある物体のうちの１つまたは複数に関する位置および運動パラメータを推定するようにさらに構成され得る。

さらに、本開示は、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令を記憶するコンピュータ可読ストレージ媒体を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、追跡センサーにおいて、１つもしくは複数の送信ソースからの直接信号、または直接信号のうちの１つもしくは複数の結果として関心のある物体のうちの１つもしくは複数から散乱されるエコー信号のうちの１つまたは複数を、追跡センサーを含む無線デバイスに関連する送信ソースから受信することを含み得る。また、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、追跡センサーにおいて受信信号を前処理することと、それぞれの前処理された直接およびエコー信号の相互相関をとることに基づいて周波数スペクトル信号を導出することとを含み得る。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、位相補償モジュールで複数の追跡センサーから受信された周波数スペクトル信号の組の位相を補償することと、複数の追跡センサーの数および位置を適応的に選択することによって、追跡／測位モジュールで、位相補償された信号から関心のある物体のうちの１つまたは複数に関連する位置および／または運動情報を導出することとをさらに含み得る。

本開示の上述のおよびその他の特徴は、以下の説明および添付の特許請求の範囲を添付の図面と併せて理解することによってより完全に明らかになるであろう。これらの図面は本開示によるほんのいくつかの実施形態を示すにすぎず、したがって、本開示の範囲を限定すると見なされるべきでないことを理解したうえで、本開示が、添付の図面を使用してより具体的かつ詳細に説明される。

一部の実施形態が実装され得る例示的な拡張現実（ＡＲ）システムを示す図である。 ＡＲシステムに入力を提供することができる例示的なブロードバンドパッシブ追跡システムのアーキテクチャを示す図である。 さまざまな送信ソースを使用する例示的なＡＲデバイスによる例示的な追跡プロセスのブロック図である。 例示的なＡＲエンジンへの入力に基づく追跡オペレーションのブロック図である。 実施形態によるシステム内のパッシブセンサーネットワークの幾何学的表現を示す図である。 ＡＲシステムにおいてブロードバンドパッシブ追跡を実装するために使用され得る汎用コンピューティングデバイスを示す図である。 図５のデバイス５００などのコンピューティングデバイスによって実行され得る例示的な方法を示すフローチャートである。 本明細書に記載された少なくとも一部の実施形態にしたがってすべてが構成された例示的なコンピュータプログラム製品のブロック図である。

以下の詳細な説明において、本明細書の一部をなす添付の図面に対する参照がなされる。図面において、概して、同様の符号は、文脈がそうでないことを示さない限り、同様のコンポーネントを特定する。詳細な説明、図面、および特許請求の範囲に記載の例示的実施形態は、限定することを意図されていない。本明細書で示される主題の精神または範囲を逸脱することなしに、その他の実施形態が利用される可能性があり、その他の変更がなされる可能性がある。本明細書において全体的に説明され、図面に図示される本開示の態様は、多種多様な異なる構成で配置され、置き換えられ、組み合わされ、分割され、設計される可能性があり、それらの構成のすべてが本明細書においてはっきりと想定されていることが容易に理解されるであろう。

概して、本開示は、とりわけ、拡張現実の応用のためのブロードバンドパッシブ追跡システムに関連する方法、装置、システム、デバイス、および／またはコンピュータプログラム製品を対象とする。

簡潔に言えば、一部の実施形態によるブロードバンドパッシブセンシングおよび追跡システムは、それぞれが周囲の放送ソースからの電磁波（たとえば、無線周波数「ＲＦ」信号）を感知する能力を有するいくつかのパッシブ受信機を含み得る。各パッシブ受信機は、１つまたは複数のアンテナによって感知するように構成され得る。異なる位置の複数の受信機が、関心のあるシーンの協調した追跡を行うように構成されたブロードバンドセンシングネットワークを形成するために利用され得る。一部の例によれば、ビームフォーミングアルゴリズムが、物体を測位および追跡するためにパッシブ受信機によって形成されたアンテナアレーを利用するブロードバンドセンシングネットワークに構成され得る。

図１は、本明細書に記載された少なくとも一部の実施形態にしたがって構成された例示的な拡張現実（ＡＲ）システム１００を示す。ＡＲは、現実世界の表示を拡張するために、ライブビデオストリームにおけるコンピュータによって生成された画像の応用を探求する。本開示にしたがって構成された例示的なＡＲシステムは、いくつかのセンサーおよびアクチュエータを含む制御された環境内にある可能性があり、現実のおよびコンピュータによって生成された画像を処理するように構成された１つまたは複数のコンピューティングデバイスを含む可能性があり、ヘッドマウントディスプレイ、仮想網膜ディスプレイ（ｖｉｒｔｕａｌ ｒｅｔｉｎａｌ ｄｉｓｐｌａｙ）、モニタまたは同様の通常のディスプレイ、および同等のデバイスなどの視覚化システムを含む可能性がある。

例示的なＡＲシステム１００は、現実のシーン（物体）１０２のライブ画像をキャプチャーするためのイメージセンサー１０４−１と、物体の位置および／または運動を追跡するための追跡センサー１０４−２とを含む。イメージセンサー１０４−１は、デジタルカメラ、ウェブカメラ、または何らかのその他の画像キャプチャーデバイスである可能性がある。追跡センサー１０４−２は、ネットワークの周波数、帯域幅、および空間ダイバーシチによって追跡性能を高めるためにパッシブセンシングネットワーク内に配置されたいくつかの受信デバイスを含み得る。受信デバイス（たとえば、１つまたは複数のＲＦ受信機）は、通信塔（たとえば、セルラ電話の通信塔）または通信基地局などの近くの信号ソースからの通信信号（たとえば、ＲＦ信号などの電磁波）を利用するように構成され得る。追跡センサー１０４−２は、さまざまな位置に配置される可能性があり、集中型または分散型のコンピューティングシステムに通信可能に結合されて、協調するネットワークを形成する可能性がある。

（１つまたは複数の）キャプチャーされた画像は、画像処理サブシステム１０６に与えられることができ、画像処理サブシステム１０６は、画像のデジタル画像へのデジタル化、デジタル画像の受信、および／またはデジタル画像の処理のうちの１つまたは複数を実行するように構成され得る。デジタル画像の処理は、画像内の特徴点の位置の決定、アフィン射影の計算、エッジの追跡、フィルタリング、および／または同様のオペレーションのうちの１つまたは複数を含み得る。画像処理サブシステム１０６は、上述のオペレーションの結果のうちの１つまたは複数などの映像情報をリアリティエンジン１１０に与えるように構成され得る。追跡センサー１０４−２は、現実のシーン１０２内の関心のある物体に関連する位置および／または運動情報をリアリティエンジン１１０に与えるように構成され得る。リアリティエンジン１１０は、追跡センサー１０４−２からの位置および／または運動情報を組み込む、キャプチャーされた画像に基づいてシーンをレンダリングするためのグラフィックスプロセスを実行するように構成され得る。仮想的な物体が、以下で詳細に検討されるように、追跡情報を使用してレンダリングされ得る。

画像ジェネレータ１０８は、イメージセンサー１０４−１からの（１つまたは複数の）参照画像と、（１つまたは複数の）仮想的な物体に関連する画像データとを受信するように構成されることができ、キャプチャーされた現実のシーンの画像に（１つまたは複数の）仮想的な物体に関連する画像データを重ねて、拡張されたシーン１１４をもたらすように構成され得る。ディスプレイ１１２は、ＡＲシステム１００において利用され得る１つの例示的な視覚化メカニズムである。すでに検討されたように、その他の種類のディスプレイデバイスが、ＡＲシステム１００のユーザに拡張されたシーン１１４の視覚化を提供するために使用され得る。

画像処理サブシステム１０６、リアリティエンジン１１０、および画像ジェネレータ１０８は、１つまたは複数のコンピューティングデバイス上の別個のアプリケーション、１つもしくは複数の統合されたアプリケーション、１つもしくは複数の集中型のサービス、または１つもしくは複数の分散型のサービスとして実装され得る。各コンピューティングデバイスは、スタンドアロンコンピュータ、ネットワーク化されたコンピュータシステム、汎用処理ユニット（たとえば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサもしくはＤＳＰなど）、または専用処理ユニットであってよい汎用コンピューティングデバイスまたは専用コンピューティングデバイスのどちらかである可能性がある。さまざまなコンピューティングデバイスで実行される場合、ＡＲシステム１００のさまざまなコンポーネントは、１つまたは複数のネットワークを介して通信するように構成され得る。

（１つまたは複数の）ネットワークは、サーバ、クライアント、スイッチ、ルータ、モデム、インターネットサービスプロバイダ（ＩＳＰ）、および任意の適切な通信媒体（たとえば、有線または無線通信）を使用する任意のトポロジーを含み得る。一部の実施形態によるシステムは、静的または動的なネットワークトポロジーを有する可能性がある。（１つまたは複数の）ネットワークは、エンタープライズネットワーク（たとえば、ＬＡＮ、ＷＡＮ、もしくはＷＬＡＮ）などの安全なネットワーク、無線開放型ネットワーク（たとえば、ＩＥＥＥ８０２．１１無線ネットワーク）などの安全でないネットワーク、または世界規模のネットワーク（たとえば、インターネット）を含み得る。（１つまたは複数の）ネットワークは、一緒に動作するように構成される複数の異なるネットワークを含むこともできる。（１つまたは複数の）ネットワークは、本明細書に記載されたノード間の通信を提供するように構成される。限定ではなく例として、（１つまたは複数の）ネットワークは、音響、ＲＦ、赤外線、およびその他の無線媒体などの無線媒体を含み得る。

図２は、ＡＲシステムに入力を提供することができる例示的なブロードバンドパッシブ追跡システムのアーキテクチャ２００を示す。ＡＲ技術における高度化は、環境に重ね合わされた仮想的な幾何学的物体、または既存の現実の物体の周りの非幾何学的情報の表示を含み得る。正確な位置合わせは、ユーザ２３０の位置の正確な追跡と、関心のあるシーン２２８内のその他の物体のセンシングとに基づく。少なくとも一部の実施形態によるＡＲシステムは、無線周波数（ＲＦ）信号によるパッシブセンシングおよび追跡を利用する。パッシブセンシングは、近くの送信ソース（たとえば、放送塔２２２または基地局２２４および２３６）からの既存の照射ソースを使用し、パッシブ受信機によって、物体から散乱された受信信号を分析する。

一部の送信ソースは、セルラ通信ソース、または音声、テレビジョンもしくは何らかのその他のデータ通信ソースのために使用され得るような無線周波数（ＲＦ）通信ソースを含み得るがそれらに限定されない。いくつかの例示的なソースは、ＴＶ放送塔、移動体通信用グローバルシステム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）（ＧＳＭ）の塔、符号分割多元接続（ＣＤＭＡ）セルラ通信塔、時分割多元接続（ＴＤＭＡ）通信塔、または直行周波数分割多元接続（ＯＦＤＭＡ）通信塔、振幅変調（ＡＭ）もしくは周波数変調（ＦＭ）放送塔、デジタル音声放送（ＤＡＢ）のソース、デジタルビデオ放送−地上波（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ−Ｔｅｒｒｅｓｔｒｉａｌ）（ＤＶＢ−Ｔ）のソース、無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント、広域ネットワーク（ＷＡＮ）アクセスポイント、メトロポリタンエリアネットワーク（ＭＡＮ）アクセスポイント、パーソナルエリアネットワーク（ＰＡＮ）アクセスポイント、および同等のものを含み得る。同様に、例示的なＡＲデバイスは、ＴＶ受信機、デジタルＴＶ受信機、ＧＳＭデバイス、ＣＤＭＡデバイス、ＡＭ／ＦＭ受信機、ＤＡＢデバイス、ＤＶＢ−Ｔデバイス、ＷＬＡＮデバイス、ＷＡＮデバイス、ＭＡＮデバイス、およびＰＡＮデバイス、ならびに同等のものを含み得るがそれらに限定されない。

本明細書において使用されるとき、用語「ブロードバンド」は、本明細書に記載された一部の実施形態によるＡＲセンシングおよび追跡システムの受信機によって利用され得る広い範囲の周波数を指す可能性がある。したがって、この用語は、ブロードバンドインターネットシステムまたは同様の技術とは区別され得る。

ブロードバンドネットワーク内のパッシブ受信機は、同じ種類の照射ソースからのエネルギーを受信するように構成される１つまたは複数の同種のセンサー、または異なる種類の照射ソースからのエネルギーを受信する異種のセンサーの集合である可能性がある。パッシブ受信機は、ハンドヘルドデバイスまたは頭部装着型デバイスなどのＡＲ対応デバイス（たとえば、ＡＲデバイス２２６、２３２、および２３４）内に設計され、組み込まれる可能性がある。パッシブ受信機は、関心のあるシーン２２８のパッシブ追跡を協調して実行するために、別個のネットワーク（たとえば、ローカルエリアネットワーク）を介して１つまたは複数のコンピューティングデバイスと通信するように構成され得る。

パッシブ受信機に対応するネットワーク内の各ノードは、近くの基地局からのダウンリンク通信チャネルか、または周囲の放送ソース（たとえば、放送塔２２２または基地局２２４および２３６）からのダウンリンク送信チャネルかのどちらかを介して、環境内の関心のあるＲＦ信号スペクトル内の信号をパッシブに受信し、キャプチャーし、および／または評価するように構成され得る。物体とネットワーク内のノードとの間の相対的運動は、環境のドップラースペクトルの変動として観測され得る。運動パラメータは、受信機のネットワークを介して複数のアンテナによって形成された任意のアンテナアレーを合成することによって推定され得る。受信機のネットワークのポイントツーポイント通信レイヤーが、受信機のネットワーク内の任意の２つノード間の通信および情報の共有を可能にするために作られ得る。

アンテナアレーは、正確、連続的、および／または３Ｄの位置情報を提供することによって、各パッシブ受信機に埋め込まれた全地球測位システム（ＧＰＳ）などの測位サービスにより適応的に校正され得る。また、この情報は、以下で図４に関連して説明されるように、動く物体に対する異なる位置が原因であるパッシブ受信機の間の位相の違いを補償するために使用され得る。受信機ネットワーク上のセンシング信号と、受信機ネットワークで利用される動かない送信ソースの位置の知識とを更新および共有することによって、ビームフォーミングプロセスが、運動パラメータの推定値を取得し、追跡を行うために、合成されたアンテナアレーで実行され得る。ビームフォーミングアルゴリズムは、受信機ネットワーク内の適切なノードを選択し、受信機の位置にしたがって最適な合成されたアレーを形成することによってさまざまなセンシング環境に適合するように設計され得る。

各パッシブ受信機は、直接チャネルおよびエコーチャネルと表記される可能性がある２つのチャネルを用いて動作するように構成され得る。直接チャネル信号は、周囲の基地局または放送塔から直接放射された結果としてパッシブ受信機によって受信された信号に対応する可能性があり、一方、動く物体からの散乱された信号は、パッシブ受信機のエコーチャネルに与えられる可能性がある。信号は、受信機および／または追跡モジュールで処理されることができ、結果的に得られる追跡情報は、撮像センサーからのキャプチャーされた画像（動画または静止画）（２３８）とのさらなる処理のためにＡＲエンジン２４０に与えられ得る。ＡＲエンジンは、仮想的な物体または拡張されたシーンに関連するデータを、視覚化またはさらなるＡＲに関連する処理のためにその他のＡＲデバイス２４２に出力するように構成され得る。出力データは、視覚化のためにＡＲデバイス２２６、２３２、２２４に送り返される可能性もある。

図３Ａは、本明細書に記載された少なくとも一部の実施形態にしたがって構成された、さまざまな送信ソース３４４、３４６、３４８を用いた例示的なＡＲデバイス３５２、３５４、３５６による例示的な追跡プロセスのブロック図３００を示す。上述のように、一部の実施形態によるシステム内の各パッシブ受信機３６１、３６６、および３７２は、２つのチャネルを介して信号を受信するように構成されることができ、一方のチャネルは直接経路に対応し、他方のチャネルはエコー経路に対応する（３５８）。直接経路は、送信ソース（たとえば、送信塔３４４、３４６、および３４８）と、受信機３６１、３６６、および３７２を組み込む対応するＡＲデバイス（３５２、３５４、および３５６）との間に位置づけられる。エコー経路は、関心のある物体３５０からＡＲデバイス３５２、３５４、および３５６への散乱された信号に関するデータまたはその他の情報のための通信経路を示す。

受信信号は、個々のＡＲデバイス３５２、３５４、および／または３５６のうちの１つまたは複数において前処理される可能性がある。アナログの前処理は、信号補正（たとえば、直行信号補正（ｏｒｔｈｏｇｏｎａｌ ｓｉｇｎａｌ ｃｏｒｒｅｃｔｉｏｎ）、乗法信号補正（ｍｕｌｔｉｐｌｉｃａｔｉｖｅ ｓｉｇｎａｌ ｃｏｒｒｅｃｔｉｏｎ）など）、帯域フィルタリング（たとえば、帯域通過、低域通過、高域通過などの受動または能動フィルタ）、信号加算平均（ｓｉｇｎａｌ ａｖｅｒａｇｉｎｇ）、およびブロック図３００のＡＲデバイスの処理の四角３６０によって示される直接チャネルおよびエコーチャネルに対して実行され得る同等の処理のうちの１つまたは複数を含み得る。特に、両方のチャネルからの受信信号は、増幅または減衰（たとえば、利得スケーリング）、ダウンコンバート（たとえば、復調）、およびデジタル化（たとえば、比較器またはアナログ・デジタルコンバータによる量子化）を行われ得る。マルチパス干渉を軽減するために、ブラインドチャネル等化が、直接信号に対して実行され得る（チャネル等化３６２、３６７、および３７３）。適応フィルタリングアルゴリズムが、クラッターを抑制し、エコーチャネルから直接信号を取り除くために、デジタル化の後に両方のチャネルに対して適用され得る（適応フィルタリング３６５、３７０、３７６）。

受信信号に関するドップラースペクトルが、直接チャネルからの信号（すなわち、直接チャネル信号）とエコーチャネルからの信号（すなわち、エコーチャネル信号）との間のコヒーレントな（ｃｏｈｅｒｅｎｔ）相互相関（３６３、３６８、および３７４）をとることによって取得され得る。レンジ圧縮（ｒａｎｇｅ ｃｏｍｐｒｅｓｓｉｏｎ）が、パラメータ空間を得るために受信機ネットワークを介したビームフォーミングプロセスを通じてベースバンド信号を供給する（３７８）前に、レンジ圧縮フィルタ３６４、３６９、および３７５において、相互相関をとられたベースバンド信号に対して実行され得る。物体の追跡は、単一のコンピューティングデバイスにおいて、または複数のコンピューティングデバイスによって実行される分散型のプロセスを通じて、各瞬間に、合成されたアンテナアレーのビームフォーミングプロセスの出力を計算することによって実現され得る。

図３Ｂは、本明細書に記載された少なくとも一部の実施形態にしたがって構成された、例示的なＡＲエンジンへの入力に基づく追跡オペレーションのブロック図３５０を示す。上で検討されたように、ベースバンド信号が、図３５０に示されたＡＲエンジンの処理のブロック３８０のビームフォーミングプロセスを通じて供給され得る（３７８）。

ＡＲデバイスのうちの１つ（たとえば、ＡＲデバイス３５２）のベースバンド信号出力３８２が、位相差を取り除くための基準として使用され得る。センサー／送信機の組の異なる相対的位置が原因で、散乱中心に対して位相差が発生する可能性がある。したがって、ベースバンド出力信号のうちの１つが、信号が互いに回転／角度／位相がそろうように各ＡＲデバイスの組に関するその他のベースバンド出力信号との位相差を取り除くための基準信号として使用され得る。周波数領域における位相補償３８４の後、結果として得られる信号は、基準の送信塔から、異なるセンサーの位置で得られる信号に等しい可能性がある。これは、目標の測位および追跡（３８６）が、（たとえば、組にした）ＡＲデバイスからの位相補償されたベースバンド出力信号３８５を用いてＡＲエンジン処理モジュール３８０によって実行されることを可能にする。続いて、追跡／測位情報３８７がＡＲアプリケーション３８８に与えられることができ、ＡＲアプリケーション３８８はその情報を、ユーザへのフィードバック、補正処理、追跡された物体の運動を見ること、および／または同様のオペレーションを可能にするためのＡＲクライアントソフトウェアを実行するＡＲデバイスに、送信することができる。領域変換および位相変換のためのあり得る方法の数学的な詳細が、図４に関連して以下で詳細に検討される。

一部の実施形態によるシステムのブロードバンドパッシブネットワークによって与えられるダイバーシチ利得は、環境センシングの性能向上をもたらすことができ、それによって、単一の受信機による追跡に比して改善された追跡性能に資することができる。ダイバーシチは、いくつかの態様で実現され得る。

周波数および帯域幅ダイバーシチは、異種の照射ソースの使用の結果として得られる。たとえば、ＧＳＭおよびＤＡＢ通信システムは、送信のために異なる帯域幅を用いて異なる周波数で運用される。さらに、これらのシステムの送信塔および基地局は、多様なアンテナパターンをやはり有する可能性がある。これらのソースによって照射される物体は、概して、異なる反射特性を生じ、すなわち、一部の物体は、特定の周波数でより見えやすい。

空間ダイバーシチは、同じ物体に対するパッシブセンサーまたはアレー要素の位置が異なる結果として得られる可能性がある。同様に、物体を特定するために使用される信号は、ソースによって互いに（送信または反射のいずれかの）物体へのより良い経路を有する可能性がある。少なくとも一部の実施形態によるビームフォーミングアルゴリズムは、向上した追跡の出力を提供するためにダイバーシチ利得を高めるために、ネットワーク内の追跡センサーの数および位置を適応的に選択するように構成され得る。さらに、性能向上は、マルチパスフェージングを軽減することによって、およびダイバーシチの結果として干渉信号を打ち消すことによって、合成されたアンテナアレーからももたらされ得る。

概して、パッシブセンシングは、既存の通信リンクまたは放送システムを使用し、このことは、潜在的に、ＡＲアプリケーションを使用できるようにするためのパッシブデバイスのサイズ、重さ、および電力消費を削減する可能性がある。加えて、通信および放送システムの照射ソースはどこでも利用できるので、パッシブ受信機は、追加の周波数割り当てが不要であり、アクティブ受信機と比べて他のＲＦデバイスからの干渉を受け難い。

実施形態が特定の例、コンポーネント、アルゴリズム、および構成を用いて上で検討されたが、それらは、ＡＲシステムにおけるブロードバンドパッシブ追跡のために使用されるべき全般的な指針を提供するように意図される。これらの例は、実施形態に対する限定を定めるものではなく、実施形態は、本明細書に記載された原理を用いるその他のコンポーネント、モジュール、アルゴリズム、および構成を用いて実装され得る。たとえば、その他の無線技術のシステムが、関心のある物体からの散乱された信号を検出するために利用され得るか、またはさまざまな信号処理方法が、直接受信されたおよび散乱された信号に基づいて物体を追跡するために使用され得る。

図４は、本明細書に記載された少なくとも一部の実施形態にしたがって構成されたシステム内のパッシブセンサーネットワークの幾何学的表現４００を示す。簡潔で平易にするために、関連する位置ベクトルｒ_０を持つ物体４９０が、それぞれ位置ベクトルｒ_Ｔ１およびｒ_Ｔ２にある２つの送信ソースＴｘ１およびＴｘ２とともに幾何学的表現４００に示される。対応する受信機Ｒｘ１およびＲｘ２は、デカルト座標系Ｘ、Ｙ、Ｚの原点に位置づけられる。
［１］ ｓ_Ｔ（ｔ）＝ｐ（ｔ）ｅ^{（ｊ２πｆｃｔ）}
と表される複素パッシブ送信信号が送信機Ｔｘ１またはＴｘ２のどちらかから送信される場合、各送信機Ｔｘｉ（ｉ＝１，２）から目標の散乱中心までの伝播距離（４９２、４９４）は、
［２］ ｄ_Ｔｉ＝｜ｒ_Ｔｉ−ｒ_０｜
と表されることができ、ここでｐ（ｔ）はベースバンド信号であり、ｆ_ｃは搬送周波数を表す。

受信機ＲＸｉ（ｉ＝１，２）から目標の散乱中心までの伝播距離は、
［３］ ｄ_ｘｉ＝｜ｒ_０｜
と表されることができる。同じ状況の下で、ｉ番目のチャネルの信号の時間遅延は、

と表されることができ、ここで、ｃは光の速度である。ｉ番目の送信塔（たとえば、Ｔｘ１）からの受信された目標エコーチャネル信号Ｓ_Ｅｉ（ｔ，ｒ_０）は、
［５］ Ｓ_Ｅｉ（ｔ，ｒ_０）＝∫_ｖｇ（ｒ_０）ｐ_ｉ（ｔ−τ_ｉ（ｒ_０））ｅｘｐ（ｊ２πｆ_ｃｉ（ｔ−τ_ｉ（ｒ_０）））ｄｒ_０
と表されることができ、ここで、（１≦ｉ≦２）である。同じ状況に対する直接チャネルの復元（ｒｅｔｕｒｎ）Ｓ_Ｄｉ（ｔ）は、
［６］ Ｓ_Ｄｉ（ｔ）＝ｐｉ（ｔ−τ_ｄｉ）ｅｘｐ（ｊ２πｆ_ｃｉ（ｔ−τ_ｄｉ））
と表されることができ、ここで、τ_ｄｉは、直接チャネルの伝播時間であり、τ_ｄｉ＝｜ｒ_Ｔｉ｜／ｃに等しい。ｇ（ｒ_０）は、目標の反射率関数（ｒｅｆｌｅｃｔｉｖｉｔｙ ｆｕｎｃｔｉｏｎ）である。積分が、関心のある物体のシーンの空間領域全体Ｖにわたって行われ得る（４９６）。

直接および目標エコーチャネルの処理の後、受信信号は、

と書き直されることができ、ここで、

である。

ベースバンド変換およびレンジ圧縮の後、周波数領域の受信信号は、

および

と書かれることができ、ここで、Ｂ_１およびＢ_２は、それぞれ送信ソースＴｘ１およびＴｘ２に対応する帯域幅である。送信機の中心周波数の間の差がΔ_２１＝ｆ_ｃ２−ｆ_ｃ１であると仮定すると、第２の送信機に関する受信信号は、周波数領域でΔ_２１だけずらされ、

と書き直されることができる。

信号の間の位相差が、センサー／送信機の組の異なる相対的位置が原因で散乱中心に対して発生する。その結果、物体４９０に関する位相差は、
［１２］ Δφ（ｒ_０）＝−２π（ｆ−ｆ_ｃ１）ε（ｒ_０）
と表されることができ、ここで、

である。

位相差Δφ（ｒ_０）を補償した後、２つのスペクトルは、第１の送信塔から、ただし異なるセンサーの位置で得られるスペクトルに等しい可能性がある。集中型の目標測位および追跡を可能にするためには、任意の２つのセンサー／送信機の組の間の位相差が補償される必要がある。位相補償の後、結果として得られる信号は、基準の送信塔から、異なるセンサーの位置で得られる信号に等しい可能性がある。

図５は、本開示の少なくとも一部の実施形態にしたがって構成されたＡＲシステムにおいてブロードバンドパッシブ追跡を実装するために使用され得る汎用コンピューティングデバイス５００を示す。ごく基本的な構成５０２において、概して、コンピューティングデバイス５００は、１つまたは複数のプロセッサ５０４およびシステムメモリ５０６を含む。メモリバス５０８が、プロセッサ５０４とシステムメモリ５０６の間の通信のために使用され得る。

所望の構成に応じて、プロセッサ５０４は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組合せを含むがそれらに限定されない任意の種類であってよい。プロセッサ５０４は、レベルキャッシュメモリ５１２などの１つまたは複数のレベルのキャッシュ、プロセッサコア５１４、およびレジスタ５１６を含み得る。例示的なプロセッサコア５１４は、算術論理演算ユニット（ＡＬＵ）、浮動小数点演算ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、またはそれらの任意の組合せを含み得る。例示的なメモリコントローラ５１８が、プロセッサ５０４とともに使用されてもよく、または一部の実装形態においては、メモリコントローラ５１８は、プロセッサ５０４の内部部分である可能性がある。

所望の構成に応じて、システムメモリ５０６は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組合せを含むがそれらに限定されない任意の種類であってよい。システムメモリ５０６は、オペレーティングシステム５２０、１つまたは複数のアプリケーション５２２、およびプログラムデータ５２４を含み得る。アプリケーション５２２は、上で検討されたようにパッシブ受信機のネットワークから与えられた物体についての追跡情報に関連して物体認識およびモデリングシステムの動作パラメータを調整するように構成されるＡＲエンジン５２６を含み得る。プログラムデータ５２４は、撮像データ５２８−１、追跡データ５２８−２、および図３Ａおよび３Ｂに関連して上で検討された同様のデータのうちの１つまたは複数を含み得る。このデータは、本明細書において説明されるように、現実のシーン内の物体に関連する位置および／または運動情報に基づいて、現実のシーンに加えられるべき仮想的な物体を生成するのに役立つ可能性がある。一部の実施形態において、アプリケーション５２２は、本明細書において説明されるように３次元物体が追跡され、仮想的な表現が生成されるようにオペレーティングシステム５２０上でプログラムデータ５２４を用いて動作するように構成され得る。この説明された基本構成５０２は、図５において内側の破線内のコンポーネントによって示される。

コンピューティングデバイス５００は、追加的な特徴または機能、ならびに基本構成５０２と任意の必要とされるデバイスおよびインタフェースとの間の通信を容易にするための追加的なインタフェースを含み得る。たとえば、バス／インタフェースコントローラ５３０が、ストレージインタフェースバス５３４を介した基本構成５０２と１つまたは複数のデータストレージデバイス５３２との間の通信を容易にするために使用され得る。データストレージデバイス５３２は、取外し可能なストレージデバイス５３６、取外し不可能なストレージデバイス５３８、またはそれらの組合せであってよい。取外し可能なストレージデバイスおよび取外し不可能なストレージデバイスの例は、いくつか例を挙げるとすれば、フレキシブルディスクドライブおよびハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、ならびにテープドライブを含む。例示的なコンピュータストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性の取外し可能なおよび取外し不可能な媒体を含み得る。

システムメモリ５０６、取外し可能なストレージデバイス５３６、および取外し不可能なストレージデバイス５３８はコンピュータストレージ媒体の例である。コンピュータストレージ媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）、もしくはその他の光学式ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくはその他の磁気式ストレージ、または所望の情報を記憶するために使用されることができ、コンピューティングデバイス５００によってアクセスされ得る任意のその他の媒体を含むがそれらに限定されない。任意のそのようなコンピュータストレージ媒体は、コンピューティングデバイス５００の一部である可能性がある。

コンピューティングデバイス５００は、バス／インタフェースコントローラ５３０を介したさまざまなインタフェースデバイス（たとえば、出力デバイス５４２、周辺インタフェース５４４、および通信デバイス５４６）から基本構成５０２への通信を容易にするためのインタフェースバス５４０も含み得る。例示的な出力デバイス５４２は、１つまたは複数のＡ／Ｖポート５５２を介してディスプレイまたはスピーカなどのさまざまな外部デバイスと通信するように構成され得るグラフィックス処理ユニット５４８および音声処理ユニット５５０を含む。例示的な周辺インタフェース５４４は、１つまたは複数のＩ／Ｏポート５５８を介して入力デバイス（たとえば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど）またはその他の周辺デバイス（たとえば、プリンタ、スキャナなど）などの外部デバイスと通信するように構成され得るシリアルインタフェースコントローラ５５４またはパラレルインタフェースコントローラ５５６を含む。例示的な通信デバイス５４６は、１つまたは複数の通信ポート５６４を介したネットワーク通信リンク上の１つまたは複数のその他のコンピューティングデバイス５６２との通信を容易にするように構成され得るネットワークコントローラ５６０を含む。

ネットワーク通信リンクは、通信媒体の一例である可能性がある。概して、通信媒体は、搬送波またはその他の搬送メカニズムなどの変調されたデータ信号内のコンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータによって具現化されることができ、任意の情報配信媒体を含み得る。「変調されたデータ信号」は、その信号の特徴のうちの１つまたは複数を、信号中に情報を符号化するような方法で設定または変更させる信号である可能性がある。限定ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、およびその他の無線媒体などの無線媒体を含み得る。本明細書において使用されるとき、用語「コンピュータ可読媒体」は、ストレージ媒体および通信媒体の両方を含み得る。

コンピューティングデバイス５００は、セル電話、携帯情報端末（ＰＤＡ）、パーソナルメディアプレイヤーデバイス、無線ウェブ閲覧デバイス、パーソナルハンドセットデバイス、特定用途向けデバイス、または上述の機能のうちの任意のものを含む複合デバイスなどの小型フォームファクタ携帯型（またはモバイル）電子デバイスの一部として実装され得る。また、コンピューティングデバイス５００は、ラップトップコンピュータ構成および非ラップトップコンピュータ構成の両方を含むパーソナルコンピュータとして実装され得る。さらに、コンピューティングデバイス５００は、ネットワーク化されたシステムとして、または汎用もしくは専用のサーバの一部として実装され得る。

例示的な実施形態は、方法も含み得る。これらの方法は、本明細書に記載された構造を含むあらゆる形で実装され得る。１つのそのような形は、本開示において説明される種類のデバイスの機械オペレーションによる。別の選択され得る形は、方法の個々のオペレーションのうちの１つまたは複数が、オペレーションの一部が機械によって実行される一方で、１人または複数の人間のオペレータがその他のオペレーションを実行することに関連して実行されることである。これらの人間のオペレータは互いに一まとめに配置される必要はなく、それぞれの人間のオペレータは、プログラムの一部を実行する機械とのみ一緒である可能性がある。その他の例において、人間のインタラクションは、機械で自動化されるあらかじめ選択された基準によるなどして自動化され得る。

図６は、本明細書に記載された少なくとも一部の実施形態にしたがって構成された図５のデバイス５００などのコンピューティングデバイスによって実行され得る例示的な方法を示すフローチャートである。ブロック６２２から６３０で説明されるオペレーションは、コンピューティングデバイス６１０のコンピュータ可読媒体６２０などのコンピュータ可読媒体にコンピュータが実行可能な命令として記憶され得る。

拡張現実のためのブロードバンドパッシブ追跡システムを使用するプロセスは、オペレーション６２２、「信号を感知する」で始まる可能性がある。オペレーション６２２において、直接およびエコー信号が、図３Ａの受信機３６１などの受信機のネットワークによって感知される。受信機は、ＡＲデバイス３５２、３５４、および３５６などの無線デバイスに組み込まれ得る。直接信号が、セルラ塔、ＴＶ放送塔などのさまざまな送信ソースから受信され得る一方、エコー信号は、関心のある１つまたは複数の物体から散乱される。受信信号は、図３Ａに関連して検討されたように前処理され得る。

オペレーション６２２の後にオペレーション６２４、「相互相関をとる」が続く可能性がある。オペレーション６２４において、受信された（および前処理された）信号が、受信信号に関するドップラースペクトルを得るために相互相関をとられる可能性がある。相互相関は、図３Ａの個々のＡＲデバイス３５２、３５４、および３５６で実行されてもよい。

オペレーション６２４の後にオペレーション６２６、「位相を補償する」が続く可能性がある。オペレーション６２６において、受信信号が、図３Ｂの追跡／測位モジュール３８６などの中央追跡／測位モジュールでＡＲデバイスのうちの１つからの信号（たとえば、ＡＲデバイス３５２からのベースバンド出力信号３８２）を用いて位相を補償され得る。位相差が、センサー／送信機の組の異なる相対的位置が原因で散乱中心に対して発生する可能性がある。したがって、ベースバンド出力信号のうちの１つが、信号が互いに回転／角度／位相がそろうように各ＡＲデバイスの組に関するその他のベースバンド出力信号との位相差を取り除くための基準信号として使用され得る。周波数領域における位相補償３８４の後、結果として得られる信号３８５は、基準の送信塔から、ただし異なるセンサーの位置で得られる信号に等しい可能性がある。

オペレーション６２６の後にオペレーション６２８、「位置／運動を決定する」が続く可能性がある。オペレーション６２８において、位相補償された信号が、パラメータ空間を得るために受信機ネットワークを介した図２のＡＲエンジン２４０などのＡＲエンジンでのビームフォーミングプロセスを通じて供給され得る。物体の追跡（位置および／または運動パラメータの決定）は、各瞬間に、合成されたアンテナアレーのビームフォーミングプロセスの出力を計算することによって実現され得る。

オペレーション６２８の後にオペレーション６３０、「ＡＲアプリケーションに位置／運動情報を提供する」が続く可能性がある。オペレーション６３０において、追跡（位置／運動）情報が、仮想的な物体を（１つまたは複数の）現実のシーンの画像と重ね合わせる拡張現実シーンをレンダリングするのに使用するためにＡＲアプリケーションに提供され得る。ＡＲシーンは、図１において検討された視覚化デバイスなどの視覚化デバイスによって視覚化され得る。

上述のプロセスに含まれるオペレーションは、例示を目的とするものである。ＡＲシステムにおいて物体に関連する位置および／または運動情報を取得するためのブロードバンドパッシブ追跡システムは、より少ないまたは追加のオペレーションを有する同様のプロセスによって実装される可能性がある。一部の例において、オペレーションは、異なる順序で実行され得る。一部のその他の例において、さまざまなオペレーションが省略され得る。さらにその他の例において、さまざまなオペレーションが、さらなるオペレーションに分割されるか、またはより少ないオペレーションに一緒に組み合わされる可能性がある。

図７は、本明細書に記載された少なくとも一部の実施形態にしたがって構成された例示的なコンピュータプログラム製品のブロック図を示す。一部の例において、図７に示されるように、コンピュータプログラム製品７００は、たとえばプロセッサによって実行されるときに図５および図６に関して上で説明された機能を提供することができる機械可読命令７０４をやはり含み得る信号を運ぶ媒体７０２を含み得る。したがって、たとえば、プロセッサ５０４を参照すると、ＡＲエンジン５２６は、本明細書において説明されたように動的なモデリングに基づいた物体認識に関連する動作を実行するために媒体７０２によってプロセッサ５０４に伝達された命令７０４に応答して、図７に示されたタスクのうちの１つまたは複数を開始することができる。それらの命令の一部は、（１つまたは複数の）信号を感知すること、（１つまたは複数の）信号の相互相関をとること、（１つまたは複数の）物体の範囲を決定すること、位置／運動情報を決定すること、およびＡＲエンジンに位置／運動情報を提供することを含み得る。

一部の実装形態において、図７に示された信号を運ぶ媒体７０２は、これらに限定されないが、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリなどのコンピュータ可読媒体７０６を包含し得る。一部の実装形態において、信号を運ぶ媒体７０２は、これらに限定されないが、メモリ、読み出し／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどの記録可能な媒体７０８を包含し得る。一部の実装形態において、信号を運ぶ媒体７０２は、これらに限定されないが、デジタルおよび／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）などの通信媒体７１０を包含し得る。したがって、たとえば、プログラム製品７００は、ＲＦ信号を運ぶ媒体７０２によってプロセッサ５０４の１つまたは複数のモジュールに伝達される可能性があり、信号を運ぶ媒体７０２は、無線通信媒体７１０（たとえば、ＩＥＥＥ８０２．１１規格に準拠する無線通信媒体）によって伝達される。

本開示は、概して、拡張現実（ＡＲ）システム１００において関心のある１つまたは複数の物体を追跡するための方法を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法は、複数の追跡センサー１０４−２のそれぞれのセンサーにおいて信号を受信することであって、複数の追跡センサーのそれぞれがブロードバンドセンシングネットワークの一部を形成し、受信信号が直接信号および／またはエコー信号のうちの１つまたは複数に対応し、各エコー信号が、関心のある物体３５０によって散乱される直接信号のうちの対応する１つに関連する、受信することを含み得る。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法は、関心のある物体３５０に関連するデータを生成するために受信信号を処理することであって、データが、関心のある物体３５０に関連する位置パラメータおよび／または運動パラメータのうちの１つまたは複数に対応する、処理することも含み得る。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法は、位置パラメータおよび／または運動パラメータのうちの１つまたは複数を使用して、関心のある物体３５０を含む現実のシーン１１４を少なくとも１つの仮想的な物体で拡張することにより現実のシーン１１４を拡張することをさらに含み得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法の一部の例によれば、信号は、複数の送信ソース２２２、２２４、２３６と通信する複数の無線通信デバイス２２６、２３２、２３４に組み込まれた複数の追跡センサー１０４−２で受信され得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法の一部の例によれば、直接信号は、ＴＶ放送塔、移動体通信用グローバルシステム（ＧＳＭ）の塔、符号分割多元接続（ＣＤＭＡ）セルラ通信塔、振幅変調（ＡＭ）もしくは周波数変調（ＦＭ）放送塔、デジタル音声放送（ＤＡＢ）のソース、デジタルビデオ放送−地上波（ＤＶＢ−Ｔ）のソース、無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント、広域ネットワーク（ＷＡＮ）アクセスポイント、メトロポリタンエリアネットワーク（ＭＡＮ）アクセスポイント、および／またはパーソナルエリアネットワーク（ＰＡＮ）アクセスポイントのうちの１つまたは複数を含む送信ソース２２２、２２４、２３６から送信され得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法の一部の例によれば、受信信号は、ＴＶ信号、デジタルＴＶ信号、ＧＳＭ信号、ＣＤＭＡ信号、ＡＭ／ＦＭ信号、ＤＡＢ信号、ＤＶＢ−Ｔ信号、ＷＬＡＮ信号、ＷＡＮ信号、ＭＡＮ信号、および／またはＰＡＮ信号のうちの１つまたは複数に対応する可能性がある。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法の一部の例によれば、受信信号を処理することは、受信信号を前処理すること、受信信号のそれぞれを、適応フィルタリングによって直接信号および／もしくはエコー信号のうちの１つもしくは複数として特定すること３６５、直接信号およびエコー信号のドップラースペクトルを導出すること３６３、ならびに／またはエコー信号のドップラースペクトルの位相を補償すること３８４のうちの１つまたは複数を含み得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法の一部の例によれば、受信信号を前処理すること３６２は、信号補正、帯域幅の補正、信号加算平均、増幅、ダウンコンバート、および／またはデジタル化のうちの１つまたは複数を含み得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法の一部の例によれば、関心のある物体に関連するデータを生成するために受信信号を処理することは、関心のある物体に関連する位置および／または運動パラメータのうちの１つまたは複数を決定するために、位相補償された信号に対してビームフォーミングプロセスを使用すること６２８を含み得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法の一部の例によれば、ビームフォーミングプロセスを使用することは、追跡センサー１０４−２の数および位置を適応的に選択することをさらに含み得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法のさらなる例によれば、信号は、対応する無線通信デバイス２２６、２３２、２３４の通信ネットワークとは異なる無線ネットワークを介して通信可能に結合される追跡センサー１０４−２から受信され得る。

その他の例によれば、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法は、無線通信デバイス２２６、２３２、２３４のアンテナのダイバーシチによってマルチパスフェージングを軽減し、干渉を減らすように追跡センサー１０４−２の無線ネットワークを動的に構成することをさらに含み得る。

また、本開示は、拡張現実（ＡＲ）システム１００において現実のシーン内の関心のある物体を追跡するためのシステムを説明する。拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムは、複数の追跡センサー１０４−２であって、それぞれの追跡センサーが、１つもしくは複数の対応する送信ソース３４４、３４６、３４８に関連する直接信号、および／または関心のある物体から散乱された１つもしくは複数の直接信号に関連するエコー信号のうちの１つまたは複数に対応する信号を受信し、受信信号を前処理するように構成された、複数の追跡センサー１０４−２を含み得る。拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムは、関心のある物体３５０に関連するキャプチャーされた２Ｄ画像に基づいて画像情報を導出するように構成された画像処理サーバ１０６も含み得る。拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムは、無線ネットワークを介して複数の追跡センサー１０４−２と通信し、前処理された信号を受信し、前処理された信号に基づいて関心のある物体３５０を追跡し、関心のある物体の追跡および画像情報に基づいて現実のシーン１１４を拡張するように構成されたリアリティサーバ１１０も含み得る。

拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムのさまざまな例によれば、各追跡センサー１０４−２は、受信された直接信号を処理してマルチパス干渉を軽減するように構成されたブラインドチャネル等化器３６２と、受信されたエコー信号を処理して抑制クラッターを生成するように構成された適応フィルタ３６５と、各直接信号と各エコー信号の相互相関をとってドップラースペクトル信号を生成するように構成された相関器３６３とを含み得る。

拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムのさまざまな例によれば、ブラインドチャネル等化器、適応フィルタ、および／または相関器の１つまたは複数の機能は、デジタル信号プロセッサによって提供され得る。

拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムのその他の例によれば、リアリティサーバは、追跡センサーから受信された前処理された信号の位相を補償する（６２６）ように構成された位相補償モジュール３８４と、位相補償された信号に基づいて関心のある物体に関する位置および／または運動パラメータのうちの１つまたは複数を決定する（６２８）ように構成された追跡／測位モジュール３８６と、関心のある物体３５０の位置／運動情報および画像情報に基づいて１つまたは複数の仮想的な物体を生成するように構成されたリアリティエンジン１１０と、現実のシーン１１４を１つまたは複数の仮想的な物体で拡張するように構成された画像ジェネレータ１０８とを含み得る。

さまざまな例によれば、拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムは、拡張された現実のシーンの視覚化を行うように構成された視覚化デバイス１１２をさらに含み得る。

拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムのその他の例によれば、視覚化デバイス１１２は、ヘッドマウントディスプレイ、仮想網膜ディスプレイ、および／またはモニタのうちの１つまたは複数を含み得る。

拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムのその他の例によれば、追跡センサー１０４−２の一部は、同じ種類の送信を受信するように構成された同種のセンサーである可能性があり、追跡センサー１０４−２の別の一部は、異なる種類の送信を受信するように構成された異種のセンサーである可能性がある。

拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムのその他の例によれば、リアリティサーバは、アンテナの合成されたアレーを校正するようにさらに構成されることができ、アンテナの合成されたアレーは、追跡センサー１０４−２のそれぞれからのアンテナを含み、追跡センサーのそれぞれは、位置に基づくサービスを使用するように構成される。

また、本開示は、拡張現実（ＡＲ）システム１００において関心のある１つまたは複数の物体を追跡するための装置７００を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置は、アンテナおよび追跡センサー１０４−２を含む無線通信デバイス２２６、２３２、２３４を含む可能性があり、無線通信デバイスは、１つもしくは複数の送信ソース３４４、３４６、３４９からの直接信号、または直接信号のうちの１つもしくは複数の結果として関心のある物体３５０のうちの１つもしくは複数から散乱されるエコー信号のうちの１つまたは複数に対応する信号をアンテナで受信するように構成される。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置は、アンテナおよび追跡センサーを含む無線通信デバイスを含む可能性があり、無線通信デバイスは、受信信号を前処理して１つまたは複数の周波数領域の信号を取得し（３７８）、１つまたは複数の周波数領域の信号３７８の位相を補償して位相補償された信号を生成し（３８４）、位相補償された信号から関心のある物体のうちの１つまたは複数に関連する位置および／または運動情報を導出するようにさらに構成される。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置７００の一部の例によれば、無線通信デバイス２２６は、信号補正、帯域幅の補正、信号加算平均、増幅、ダウンコンバート、および／またはデジタル化のうちの１つまたは複数を適用することによって受信信号を前処理するように構成され得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置７００の一部の例によれば、送信ソース３４４、３４６、３４８は、ＴＶ放送塔、移動体通信用グローバルシステム（ＧＳＭ）の塔、符号分割多元接続（ＣＤＭＡ）セルラ通信塔、振幅変調（ＡＭ）もしくは周波数変調（ＦＭ）放送塔、デジタル音声放送（ＤＡＢ）のソース、デジタルビデオ放送−地上波（ＤＶＢ−Ｔ）のソース、無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント、広域ネットワーク（ＷＡＮ）アクセスポイント、メトロポリタンエリアネットワーク（ＭＡＮ）アクセスポイント、および／またはパーソナルエリアネットワーク（ＰＡＮ）アクセスポイントのうちの１つまたは複数を含む可能性があり、無線通信デバイス２２６、２３２、２３４は、ＴＶ受信機、デジタルＴＶ受信機、ＧＳＭデバイス、ＣＤＭＡデバイス、ＡＭ／ＦＭ受信機、ＤＡＢデバイス、ＤＶＢ−Ｔデバイス、ＷＬＡＮデバイス、ＷＡＮデバイス、ＭＡＮデバイス、および／またはＰＡＮデバイスのうちの１つまたは複数を含む可能性がある。

さらに、本開示は、拡張現実（ＡＲ）システム１００において関心のある１つまたは複数の物体を追跡するための装置７００を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置は、メモリ５０６、およびメモリに結合されたプロセッサ５０４を含み得る。プロセッサは、プロセッサが、対応するＡＲ対応無線デバイスの通信ネットワークとは異なる無線ネットワークを介して、ＡＲ対応無線デバイス３５２、３５４、３５６に組み込まれた複数の追跡センサー１０４−２と通信し、追跡センサー１０４−２の数および位置を適応的に選択するように構成されるようにＡＲエンジン２４０を実行するようにメモリと連携させて構成され得る。プロセッサは、直接信号、および／または直接信号が関心のある１つまたは複数の物体によって反射されることによって生じるエコー信号のうちの１つまたは複数に対応する、追跡センサー１０４−２によって検出される前処理された信号を受信し、受信信号にビームフォーミングプロセスを適用して、関心のある物体３５０のうちの１つまたは複数に関する位置および運動パラメータ６２８を推定するようにさらに構成され得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置７００の一部の例によれば、プロセッサは、ビームフォーミングプロセスによって、異なる周波数を有する送信ソース、異なる帯域幅を有する送信ソース、および／または異なるアンテナパターンを有する送信ソースのうちの１つまたは複数に関連する追跡センサー１０４−２を選択し、それによって、ダイバーシチ利得が向上されることができるようにさらに構成され得る。

拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置７００の一部の例によれば、プロセッサは、ＡＲエンジン２４０によって、ＡＲアプリケーション６３０に関心のある１つまたは複数の物体に関する推定された位置および運動パラメータを提供するようにさらに構成されることができ、ＡＲアプリケーション６３０は、関心のある物体に関する推定された位置および運動パラメータと関心のある物体のデジタル化された画像とに基づいて生成された仮想的な物体を重ね合わせることによって拡張現実シーン１１４を生成するように構成され得る。

さらに、本開示は、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令７０４を記憶するコンピュータ可読ストレージ媒体７０６を説明する。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、追跡センサー１０４−２において、１つもしくは複数の送信ソース３４４、３４６、３４９からの直接信号、または直接信号のうちの１つもしくは複数の結果として関心のある物体３５０のうちの１つもしくは複数から散乱されるエコー信号のうちの１つまたは複数を、追跡センサーを含む無線デバイス２２６、２３２、２３４に関連する送信ソース２２２、２２４、２３６から受信することを含み得る。また、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、追跡センサー１０４−２において受信信号を前処理することと、それぞれの前処理された直接およびエコー信号の相互相関をとることに基づいて周波数スペクトル信号を導出することとを含み得る。拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、位相補償モジュールで複数の追跡センサーから受信された周波数スペクトル信号の組の位相を補償すること（６２６）と、複数の追跡センサーの数および位置を適応的に選択することによって、追跡／測位モジュールで、位相補償された信号から関心のある物体のうちの１つまたは複数に関連する位置および／または運動情報を導出すること（６２８）とをさらに含み得る。

さまざまな例によれば、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、マルチパス干渉を軽減するために、受信された直接信号にブラインドチャネル等化を適用すること（３６２）と、抑制クラッターを生成するために、受信されたエコー信号を適応フィルタリングすること（３６５）とをさらに含み得る。

さまざまな例によれば、拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令は、ＡＲクライアントアプリケーションを実行する無線デバイスに追跡情報を送信すること（３８９）をさらに含み得る。

システムの態様のハードウェアの実装形態とソフトウェアの実装形態の間にはほとんど違いがなく、ハードウェアまたはソフトウェアの使用は、概して（しかし、状況によってはハードウェアとソフトウェアの間の選択が重要になる場合があるので必ずではないが）、費用対効果のトレードオフを反映する設計上の選択である。本明細書に記載されたプロセスおよび／またはシステムおよび／またはその他の技術がもたらされる得るさまざまな手段（たとえば、ハードウェア、ソフトウェア、および／またはファームウェア）が存在し、好ましい手段は、プロセスおよび／またはシステムおよび／またはその他の技術が配備される状況によって変わる。たとえば、実装者が、速度および精度が最も重要であると判断する場合、実装者は、主にハードウェアおよび／もしくはファームウェアの手段を選択することができ、柔軟性が最も重要である場合、実装者は、主にソフトウェアの実装を選択することができ、またはさらに代替的に、実装者は、ハードウェア、ソフトウェア、および／もしくはファームウェアの何らかの組合せを選択することができる。

上述の詳細な説明は、ブロック図、フローチャート、および／または例を用いてデバイスおよび／またはプロセスのさまざまな実施形態を説明した。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／またはオペレーションを含む場合、そのようなブロック図、フローチャート、または例の各機能および／またはオペレーションは、幅広いハードウェア、ソフトウェア、ファームウェア、またはそれらの事実上任意の組合せによって個々におよび／またはまとめて実装され得ることが当業者に理解されるであろう。一実施形態において、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはその他の集積された形態で実装され得る。しかし、当業者は、本明細書で開示された実施形態のいくつかの態様が、全体として、または一部、集積回路で、１つもしくは複数のコンピュータ上で動作する１つもしくは複数のコンピュータプログラムとして（たとえば、１つもしくは複数のコンピュータシステム上で動作する１つもしくは複数のプログラムとして）、１つもしくは複数のプロセッサ上で動作する１つもしくは複数のプログラムとして（たとえば、１つもしくは複数のマイクロプロセッサ上で動作する１つもしくは複数のプログラムとして）、ファームウェアとして、またはそれらの事実上任意の組合せとして等価的に実装され得ることと、回路を設計することならびに／またはソフトウェアおよび／もしくはファームウェアのためのコードを記述することは、本開示に照らして、十分に当業者の技能の範囲内にあることとを認識するであろう。

本開示は、さまざまな態様の例示として意図されている、本願に記載の特定の実施形態によって限定されてはならない。当業者に明らかであろうように、多くの修正および変更が、本開示の精神および範囲を逸脱することなしになされ得る。本明細書に列挙された方法および装置に加えて、本開示の範囲内の機能的に均等な方法および装置が、上述の説明から当業者に明らかであろう。そのような修正および変更は、添付の特許請求の範囲の範囲内に入るように意図される。本開示は、添付の特許請求の範囲に与えられた均等物の全範囲と併せた、そのような特許請求の範囲の請求項によってのみ限定されるべきである。本開示は、特定の方法、試薬、化合組成物、または生体システムに限定されず、これらはもちろん変わり得ることを理解されたい。本明細書で使用された用語は、特定の実施形態を説明することのみを目的としており、限定するように意図されていないことも理解されたい。

さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピーディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。

本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（たとえば、ガントリーシステムの位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことを、当業者は理解するであろう。

通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的に接続可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（たとえば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（たとえば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（たとえば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。

さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

さらに、本開示の特徴または態様がマーカッシュ群（Ｍａｒｋｕｓｈ ｇｒｏｕｐ）によって説明される場合、当業者は、本開示が、それによって、マーカッシュ群の任意の個々の構成要素または構成要素の部分群によっても説明されることを認めるであろう。

当業者に理解されるであろうように、書面で説明するという観点など、任意のおよびすべての趣旨で、本明細書で開示されたすべての範囲は、それらの範囲の任意のおよびすべてのあり得る部分的な範囲および部分的な範囲の組合せも包含する。どの記載された範囲も、同じ範囲が少なくとも２等分、３等分、４等分、５等分、１０等分などに分割されることを十分に説明し、そのように分割されることを可能にすると容易に認識され得る。非限定的な例として、本明細書で検討された各範囲は、下３分の１、真ん中３分の１、および上３分の１などに容易に分割され得る。当業者にやはり理解されるであろうように、「最大で〜まで」、「少なくとも〜」、「〜よりも大きい」、「〜よりも小さい」などのすべての言い回しは、記載された数を含み、上で検討されたように部分的な範囲に続けて分割され得る範囲を指す。最後に、当業者に理解されるであろうように、範囲は、それぞれの個々の構成要素を含む。したがって、たとえば、１〜３個のセル（ｃｅｌｌ）を有する群は、１個、２個、または３個のセルを有する群を指す。同様に、１〜５個のセルを有する群は、１個、２個、３個、４個、または５個のセルを有する群を指し、以下同様である。

さまざまな態様および実施形態が本明細書において開示されたが、その他の態様および実施形態が、当業者には明らかになるであろう。本明細書において開示されたさまざまな態様および実施形態は、例示を目的としており、限定するように意図されておらず、その真の範囲および精神は、以下の特許請求の範囲によって示される。

Claims (28)

1. 拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための方法であって、
   複数の追跡センサーのそれぞれのセンサーにおいて信号を受信することであって、前記複数の追跡センサーのそれぞれがブロードバンドセンシングネットワークの一部を形成し、受信信号が直接信号および／またはエコー信号のうちの１つまたは複数に対応し、各エコー信号が、前記関心のある物体によって散乱される前記直接信号のうちの対応する１つに関連する、受信することと、
   前記関心のある物体に関連するデータを生成するために前記受信信号を処理することであって、前記データが、関心のある物体に関連する位置パラメータおよび／または運動パラメータのうちの１つまたは複数に対応する、処理することと、
   前記位置パラメータおよび／または前記運動パラメータのうちの１つまたは複数を使用して、前記関心のある物体を含む現実のシーンを少なくとも１つの仮想的な物体で拡張することにより現実のシーンを拡張することとを含む、方法。
2. 前記信号は、複数の送信ソースと通信する複数の無線通信デバイスに組み込まれた前記複数の追跡センサーで受信される請求項１に記載の方法。
3. 前記直接信号は、ＴＶ放送塔、移動体通信用グローバルシステム（ＧＳＭ）の塔、符号分割多元接続（ＣＤＭＡ）セルラ通信塔、振幅変調（ＡＭ）もしくは周波数変調（ＦＭ）放送塔、デジタル音声放送（ＤＡＢ）のソース、デジタルビデオ放送−地上波（ＤＶＢ−Ｔ）のソース、無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント、広域ネットワーク（ＷＡＮ）アクセスポイント、メトロポリタンエリアネットワーク（ＭＡＮ）アクセスポイント、および／またはパーソナルエリアネットワーク（ＰＡＮ）アクセスポイントのうちの１つまたは複数を含む送信ソースから送信される請求項２に記載の方法。
4. 前記受信信号は、ＴＶ信号、デジタルＴＶ信号、ＧＳＭ信号、ＣＤＭＡ信号、ＡＭ／ＦＭ信号、ＤＡＢ信号、ＤＶＢ−Ｔ信号、ＷＬＡＮ信号、ＷＡＮ信号、ＭＡＮ信号、および／またはＰＡＮ信号のうちの１つまたは複数に対応する請求項２に記載の方法。
5. 前記受信信号を処理することは、
   前記受信信号を前処理すること、
   前記受信信号のそれぞれを、適応フィルタリングによって前記直接信号および／もしくは前記エコー信号のうちの１つもしくは複数として特定すること、
   前記直接信号および前記エコー信号のドップラースペクトルを導出すること、ならびに／または
   前記エコー信号の前記ドップラースペクトルの位相を補償することのうちの１つまたは複数を含む請求項１に記載の方法。
6. 前記受信信号を前処理することは、信号補正、帯域幅の補正、信号加算平均、増幅、ダウンコンバート、および／またはデジタル化のうちの１つまたは複数を含む請求項５に記載の方法。
7. 前記関心のある物体に関連するデータを生成するために前記受信信号を処理することは、位相補償された信号に対してビームフォーミングプロセスを使用して、前記関心のある物体に関連する位置および／または運動パラメータのうちの１つまたは複数を決定することを含む請求項５に記載の方法。
8. 前記ビームフォーミングプロセスを使用することは、
   前記追跡センサーの数および位置を適応的に選択することをさらに含む請求項７に記載の方法。
9. 前記信号は、対応する無線通信デバイスの通信ネットワークとは異なる無線ネットワークを介して通信可能に結合される前記追跡センサーから受信される請求項１に記載の方法。
10. 前記無線通信デバイスのアンテナのダイバーシチによってマルチパスフェージングを軽減し、干渉を減らすように前記追跡センサーの前記無線ネットワークを動的に構成することをさらに含む請求項９に記載の方法。
11. 拡張現実（ＡＲ）システムにおいて現実のシーン内の関心のある物体を追跡するためのシステムであって、
    複数の追跡センサーであって、それぞれの追跡センサーが、
    １つもしくは複数の対応する送信ソースに関連する直接信号、および／または前記関心のある物体から散乱された１つもしくは複数の直接信号に関連するエコー信号のうちの１つまたは複数に対応する信号を受信し、
    受信信号を前処理するように構成された、複数の追跡センサーと、
    前記関心のある物体に関連するキャプチャーされた２Ｄ画像に基づいて画像情報を導出するように構成された画像処理サーバと、
    リアリティサーバであって、
    無線ネットワークを介して前記複数の追跡センサーと通信し、
    前処理された信号を受信し、
    前記前処理された信号に基づいて前記関心のある物体を追跡し、
    前記関心のある物体の追跡および前記画像情報に基づいて前記現実のシーンを拡張するように構成されたリアリティサーバとを含む、システム。
12. 各追跡センサーは、
    受信された直接信号を処理してマルチパス干渉を軽減するように構成されたブラインドチャネル等化器と、
    受信されたエコー信号を処理して抑制クラッターを生成するように構成された適応フィルタと、
    各直接信号と各エコー信号の相互相関をとってドップラースペクトル信号を生成するように構成された相関器とを含む請求項１１に記載のシステム。
13. 前記ブラインドチャネル等化器、前記適応フィルタ、および／または前記相関器の１つまたは複数の機能は、デジタル信号プロセッサによって提供される請求項１２に記載のシステム。
14. 前記リアリティサーバは、
    前記追跡センサーから受信された前記前処理された信号の位相を補償するように構成された位相補償モジュールと、
    位相補償された信号に基づいて前記関心のある物体に関する位置および／または運動パラメータのうちの１つまたは複数を決定するように構成された追跡／測位モジュールと、
    前記関心のある物体の位置／運動情報および前記画像情報に基づいて１つまたは複数の仮想的な物体を生成するように構成されたリアリティエンジンと、
    前記現実のシーンを前記１つまたは複数の仮想的な物体で拡張するように構成された画像ジェネレータとを含む請求項１１に記載のシステム。
15. 拡張された現実のシーンの視覚化を行うように構成された視覚化デバイスをさらに含む請求項１１に記載のシステム。
16. 前記視覚化デバイスは、ヘッドマウントディスプレイ、仮想網膜ディスプレイ、および／またはモニタを１つまたは複数を含む請求項１５に記載のシステム。
17. 前記追跡センサーの一部は、同じ種類の通信を受信するように構成された同種のセンサーであり、前記追跡センサーの別の一部は、異なる種類の送信を受信するように構成された異種のセンサーである請求項１１に記載のシステム。
18. 前記リアリティサーバは、アンテナの合成されたアレーを校正するようにさらに構成され、前記アンテナの合成されたアレーは、前記追跡センサーのそれぞれからのアンテナを含み、前記追跡センサーのそれぞれは、位置に基づくサービスを使用するように構成される請求項１１に記載のシステム。
19. 拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置であって、アンテナおよび追跡センサーを含む無線通信デバイスを含み、前記無線通信デバイスは、
    １つもしくは複数の送信ソースからの直接信号、または前記直接信号のうちの１つもしくは複数の結果として前記関心のある物体のうちの１つもしくは複数から散乱されるエコー信号、のうちの１つまたは複数に対応する信号を前記アンテナで受信し、
    受信信号を前処理して１つまたは複数の周波数領域の信号を取得し、
    前記１つまたは複数の周波数領域の信号の位相を補償して位相補償された信号を生成し、
    前記位相補償された信号から前記関心のある物体のうちの１つまたは複数に関連する位置および／または運動情報を導出するように構成される、装置。
20. 前記無線通信デバイスは、信号補正、帯域幅の補正、信号加算平均、増幅、ダウンコンバート、および／またはデジタル化のうちの１つまたは複数を適用することによって前記受信信号を前処理するように構成される請求項１９に記載の装置。
21. 前記送信ソースは、ＴＶ放送塔、移動体通信用グローバルシステム（ＧＳＭ）の塔、符号分割多元接続（ＣＤＭＡ）セルラ通信塔、振幅変調（ＡＭ）もしくは周波数変調（ＦＭ）放送塔、デジタル音声放送（ＤＡＢ）のソース、デジタルビデオ放送−地上波（ＤＶＢ−Ｔ）のソース、無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント、広域ネットワーク（ＷＡＮ）アクセスポイント、メトロポリタンエリアネットワーク（ＭＡＮ）アクセスポイント、および／またはパーソナルエリアネットワーク（ＰＡＮ）アクセスポイントのうちの１つまたは複数を含み、前記無線通信デバイスは、ＴＶ受信機、デジタルＴＶ受信機、ＧＳＭデバイス、ＣＤＭＡデバイス、ＡＭ／ＦＭ受信機、ＤＡＢデバイス、ＤＶＢ−Ｔデバイス、ＷＬＡＮデバイス、ＷＡＮデバイス、ＭＡＮデバイス、および／またはＰＡＮデバイスのうちの１つまたは複数を含む請求項１９に記載の装置。
22. 拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための装置であって、
    メモリと、
    前記メモリに結合されたプロセッサであって、プロセッサが、
    対応するＡＲ対応無線デバイスの通信ネットワークとは異なる無線ネットワークを介して、ＡＲ対応無線デバイスに組み込まれた複数の追跡センサーと通信し、
    前記追跡センサーの数および位置を適応的に選択し、
    直接信号、および／または前記直接信号が前記関心のある１つまたは複数の物体によって反射されることによって生じるエコー信号、のうちの１つまたは複数に対応する、前記追跡センサーによって検出される前処理された信号を受信し、
    受信信号にビームフォーミングプロセスを適用して、前記関心のある物体のうちの１つまたは複数に関する位置および運動パラメータを推定するように構成されるようにＡＲエンジンを、前記メモリと連携して実行するように構成されたプロセッサとを含む、装置。
23. 前記プロセッサは、異なる周波数を有する送信ソース、異なる帯域幅を有する送信ソース、および／または異なるアンテナパターンを有する送信ソースのうちの１つまたは複数に関連する追跡センサーを前記ビームフォーミングプロセスにより選択し、それによって、ダイバーシチ利得が向上されるようにさらに構成される請求項２２に記載の装置。
24. 前記プロセッサは、ＡＲアプリケーションに前記関心のある１つまたは複数の物体に関する推定された位置および運動パラメータを前記ＡＲエンジンにより提供するようにさらに構成され、前記ＡＲアプリケーションは、前記関心のある物体に関する前記推定された位置および運動パラメータと前記関心のある物体のデジタル化された画像とに基づいて生成された仮想的な物体を重ね合わせることによって拡張現実シーンを生成するように構成される請求項２２に記載の装置。
25. 拡張現実（ＡＲ）システムにおいて関心のある１つまたは複数の物体を追跡するための命令を記憶するコンピュータ可読ストレージ媒体であって、前記命令は、
    １つもしくは複数の送信ソースからの直接信号、または前記直接信号のうちの１つもしくは複数の結果として前記関心のある物体のうちの１つもしくは複数から散乱されるエコー信号のうちの１つまたは複数を、前記追跡センサーを含む無線デバイスに関連する送信ソースから追跡センサーにおいて受信することと、
    前記追跡センサーにおいて受信信号を前処理することと、
    それぞれの前処理された直接およびエコー信号の相互相関をとることに基づいて周波数スペクトル信号を導出することと、
    位相補償モジュールで複数の追跡センサーから受信された周波数スペクトル信号の組の位相を補償することと、
    前記複数の追跡センサーの数および位置を適応的に選択することによって、位相補償された信号から前記関心のある物体のうちの１つまたは複数に関連する位置および／または運動情報を追跡／測位モジュールで導出することとを含む、コンピュータ可読ストレージ媒体。
26. 前記命令は、
    マルチパス干渉を軽減するために、受信された直接信号にブラインドチャネル等化を適用することと、
    抑制クラッターを生成するために、受信されたエコー信号を適応フィルタリングすることとをさらに含む請求項２５に記載のコンピュータ可読ストレージ媒体。
27. 前記命令は、
    ＡＲクライアントアプリケーションを実行する無線デバイスに前記追跡情報を送信することをさらに含む請求項２５に記載のコンピュータ可読ストレージ媒体。
28. 前記命令は、
    前記無線デバイスのアンテナのダイバーシチによってマルチパスフェージングを軽減し、干渉を減らすように前記無線デバイスのネットワークを動的に構成することをさらに含む請求項２５に記載のコンピュータ可読ストレージ媒体。

Images