JP2020053028A - 物体追跡システム - Google Patents

Abstract

【課題】GPSなどが利用できない環境で相手のカメラを制御することができる物体追跡システムを提供する。【解決手段】追跡システムは、全地球測位システム（ＧＰＳ）、無線周波数（ＲＦ）、及び／又は移動体通信信号が利用できない環境に対して設計されている。該システムは、視覚的な及び／又は従来の走行距離計による計測を実行するために、慣性測定値と併せて周囲環境のカメラによってキャプチャされた画像を使用する。物体に対するユーザの位置を決定する助けとなるように、物体検出アルゴリズム及び／又は追跡スキームが使用されて、キャプチャされた画像内の物体を検出する。検出器アーキテクチャは、検出及び／又は追跡される物体の種類に応じて容易に構成可能及び／又は再構成可能な、目標（及び／又は物体）に依存しないカメラ検出及び／又は追跡を可能にする。【選択図】図４

Description

本開示は、物体追跡システムに関し、特に、全地球測位システム（GPS）、無線周波数（RF）、及び／又は移動体通信信号が利用できない環境に対して設計された物体追跡システムに関する。

人間は、秩序に対する基本的な欲求を有し、しばしば、自分の過去、現在、未来の位置を知ろうとする。軍事、セキュリティ、及び／又は調査担当者にとって、位置特定のこの基本的な欲求は、殊にあるエリアで初めて活動するときに極めて重要である。位置決めのための既知のランドマーク及び／又はインフラオプションがない場合、位置及び／又は方向が容易に分からなくなり、ストレスレベルの上昇及び／又は他の潜在的な危険につながる恐れがある。

ウェアラブル追跡システムを含む既存の追跡システムは、通常、全地球測位システム（GPS）、予め配備された無線周波数（RF）インフラ、及び／又は他の位置決めインフラに依存する。例えば、都市、屋内、及び／又は地下の環境では、GPSが使えなくなる恐れがある（すなわち、GPS拒否環境）。GPSが使えなくなると、そのような追跡システムのための位置決めにおいて重要な問題が生じ得る。屋内で人や物体の位置を追跡するための様々なRFベースの追跡システムが開発されているが（例えば、セルサイトやWi-Fi信号を使用する）、そのような追跡システムは、予め配備された且つ／又は潜在的に高価なRFインフラに依存する傾向がある。したがって、GPS、RF、及び／又は移動体通信信号が利用できない環境に対して設計された、物体追跡システムが必要とされている。

本開示は、GPS、RF、及び／又は移動体通信信号が利用できない環境に対して設計されたものを含む、物体追跡システムに関する。

第１の態様によれば、物体追跡システムは、第１のカメラ構成に従って周囲環境の画像をキャプチャするように構成されたカメラであって、第２のカメラ構成を採用するように構成されたカメラ、及び、カメラに動作可能に接続されたコンピュータであって、カメラからの画像を処理し、検出アルゴリズムのライブラリから選択された検出アルゴリズムを使用して画像内の可動物体を検出し、可動物体の現在の位置を推定し、可動物体の現在の位置に対するユーザの現在の位置を推定し、可動物体の将来の位置を予測し、可動物体の将来の位置に少なくとも部分的に基づいて第２のカメラ構成を決定するように構成されたコンピュータを備える。

特定の態様では、物体追跡システムが、慣性測定ユニット（IMU）を更に備える。その場合、コンピュータは、ユーザの角速度又は線形加速度のうちの少なくとも一方を測定するように構成されている。

特定の態様では、コンピュータが以下のように構成される。すなわち、（１）IMUの測定に少なくとも部分的に基づいて、ユーザの現在の位置を推定し、（２）IMUの測定に少なくとも部分的に基づいて、可動物体の将来の位置を予測する。

特定の態様では、コンピュータが、可動物体の現在の位置及び可動物体に対するユーザの現在の位置を反映したマップを生成又は更新するように構成されている。

特定の態様では、カメラが、ユーザに結合したウェアラブルに接続されているか又は統合されている。

特定の態様では、可動物体の現在の位置、ユーザの現在の位置、又は可動物体の将来の位置のうちの少なくとも１つが、カルマンフィルタ（Kalman filter）を使用して決定される。

特定の態様では、コンピュータが、全地球測位システム（GPS）に動作可能に接続されている。その場合、コンピュータは、GPS拒否環境内で可動物体に対するユーザの現在の位置を決定するように構成されている。

第２の態様によれば、位置決めシステムは、現在のパン、チルト、及び／又はズーム（PTZ）構成に従って配向されたカメラであって、現在のPTZ構成に従って配向されている間に画像をキャプチャするように構成されたカメラ、コンピュータビジョン法を使用して画像を処理するように構成されたプロセッサ、カメラから現在のPTZ構成を受け取り、新しいPTZ構成を生成し、新しいPTZ構成をカメラに通信するように構成されたコントローラ、画像内の可動物体を検出するように構成された検出器であって、可動物体がバウンディングボックス及び物体検出アルゴリズムのライブラリから選択された検出アルゴリズムを使用して検出され、選択が検出されている物体の種類に基づき、検出されている物体の種類にもはや合致しない場合に検出アルゴリズムを起動解除するように構成された検出器、並びに、ユーザの現在の推定された位置を記憶し、物体の種類、可動物体の推定された位置、及び記憶されたマップに基づいてユーザの新しい推定された位置を計算するように構成された、状態推定器であって、記憶されたマップが、前記ユーザの現在の推定された位置に対する可動物体の推定された位置を含む、状態推定器を備える。

特定の態様では、カメラが、ユーザに結合したウェアラブルに接続されているか又は統合されている。

特定の態様では、コントローラが、検出されている物体の種類、ユーザの新しい推定された位置、又は外部デバイスによって共有された情報のうちの少なくとも１つに少なくとも部分的に基づいて、新しいPTZ構成を生成する。

特定の態様では、カメラが全方位（omnidirectional）カメラである。

特定の態様では、位置決めシステムが、画像をキャプチャするように構成された第２のカメラを更に備える。

特定の態様では、位置決めシステムが、慣性測定ユニット（IMU）を更に備える。

特定の態様では、状態推定器が、ユーザの新しい推定された位置を計算するために、少なくとも部分的に走行距離計による計測（odometry）を使用する。

特定の態様では、状態推定器がカルマンフィルタを使用する。

特定の態様では、位置決めシステムが、ユーザ入力を受け取るように構成されたインターフェースを更に備える。その場合、入力は、検出されている物体の種類を決定する助けとなるように使用される。

第３の態様によれば、個別の物体を視覚的に位置特定するための方法が、第１のパン、チルト、及び／又はズーム（PTZ）構成を使用するカメラによって画像をキャプチャするステップ、適切な検出アルゴリズムを決定するために画像を処理するステップ、検出アルゴリズムのライブラリから適切な検出アルゴリズムを選択するステップ、物体をバウンディングボックスで囲む検出アルゴリズムを使用して画像内の物体を検出するステップ、物体が移動しているかそれとも静止しているかを判定するステップ、物体が静止しているとの判定に応答して、ユーザ又は他の物体のうちの１つに対する物体の位置を推定するステップであって、カルマンフィルタ及び慣性測定ユニット（IMU）からの慣性測定値を使用して位置を推定し、物体の位置をマップメモリ内に記憶するステップ、第２のPTZ構成を決定するステップ、並びに第２のPTZ構成に従ってカメラを配向するステップを含む。

特定の態様では、画像を処理するステップ、適切な検出アルゴリズムを選択するステップ、画像内の物体を検出するステップ、及び物体が移動しているかそれとも静止しているかを判定するステップのうちの少なくとも１つで、コンピュータビジョンが使用される。

特定の態様では、カメラが複数のカメラを備え、複数のカメラで全方位カバレージ（coverage）する。

特定の態様では、方法が、推定された位置及び／又はマップ情報のうちの少なくとも一方を外部デバイスと共有するステップを更に含む。

本明細書で説明されるデバイス、システム、及び方法の上述の或いは他の目的、特徴、及び利点は、それらの特定の実施形態の以下の説明から容易に理解となる。その際に、添付の図面が示され、類似の番号が類似の構造物を指す。図面は、必ずしも縮尺通りに描かれておらず、その代わりに、本明細書で説明されるデバイス、システム、及び方法の原理を示すことに重点が置かれている。

例示的な物体追跡システムの構成要素を示す。 物体追跡システムと共に使用されるのに適した例示的なカメラを示す。 物体追跡システム用の例示的なシステムアーキテクチャを示すブロック図を示す。 物体追跡システムの動作を反映したフロー図を示す。 図５ａは、物体追跡システムによってキャプチャ及び／又は処理され得る光景の例示的な画像を示す。図５ｂは、図５ａの画像の拡大された部分を示す。 図６ａ及び図６ｂは、図１の物体追跡システムによって生成及び／又は維持され得る例示的なマップを示す。

本開示の好適な実施形態が、添付の図面を参照しつつ本明細書で以下に説明される。図面における構成要素は必ずしも正確な縮尺で描かれておらず、むしろ、本発明の原理を明確に示すことに重点が置かれている。例えば、要素のサイズは、説明の明快さ及び利便性のために強調され得る。更に、可能な場合には、一実施形態の同じ又は類似の部品に言及するのに、図面全体を通して同じ参照番号を使用する。以下の記載では、周知の機能及び説明は詳細には記載されない。なぜならばそれらは、不必要な詳細によって本開示を不明確にし得るからである。明細書中の如何なる言葉も、実施形態の実施に必須である請求されていない要素を示すものとして解釈されるべきではない。本願では、以下の用語及び定義が適用される。

本明細書で使用される際に、「約」及び「近似的に」という用語は、値（又は値の範囲）を修正又は説明するために使用されるときに、その値又は値の範囲に適切に近いことを意味する。したがって、本明細書で説明される実施形態は、挙げられた値及び値の範囲にのみ限定されるのではなく、むしろ適切に働き得る偏差を含むべきである。

本明細書で使用される際に、「及び／又は」という用語は、「及び／又は」によって接合されるリスト内の項目の任意の１以上を意味する。一実施例として、「ｘ及び／又はｙ」は、３つの要素の組｛（ｘ）、（ｙ）、（ｘ、ｙ）｝のうちの任意の要素を意味する。言い換えると、「ｘ及び／又はｙ」は、「ｘとｙのうちの一方又は両方」を意味する。別の一実施例として、「ｘ、ｙ、及び／又はｚ」は、７つの要素の組｛（ｘ）、（ｙ）、（ｚ）、（ｘ、ｙ）、（ｘ、ｚ）、（ｙ、ｚ）、（ｘ、ｙ、ｚ）｝のうちの任意の要素を意味する。言い換えると、「ｘ、ｙ、及び／又はｙ」は、「ｘ、ｙ、及びｚのうちの１以上」を意味する。

本明細書で使用される際に、「回路」並びに／又は「電気回路」という用語は、物理的電子部品（すなわち、ハードウェア）、例えば、アナログ及び／若しくはデジタル構成要素、電力及び／若しくは制御要素、並びに／又はマイクロプロセッサ、並びに、ハードウェアを構成し、ハードウェアによって実行され、且つ／又はさもなければハードウェアに関連し得る、任意のソフトウェア及び／若しくはファームウェア（「コード」）を指す。

本明細書で使用される際に、「通信する」及び「通信している」という用語は、（１）ソースから目的地へデータを送信する又はさもなければ搬送すること、及び／又は（２）目的地に搬送されるべきデータを、通信媒体、システム、チャネル、ネットワーク、デバイス、ワイヤー、ケーブル、ファイバー、回路、及び／又はリンクに送達することを指す。

本明細書で使用される際に、「接続された」、「と接続されている」、及び「に接続されている」は、それぞれ、構造的な及び／又は電気的な接続を意味し、取り付けられ、連結され、結合され、接合され、締結され、リンクされ、且つ／又はそれ以外の方法で固定されていてよい。本明細書で使用される際に、「取り付ける」という用語は、連結され、結合され、接続され、接合され、締結され、リンクされ、且つ／又は他の方法で固定されていることを意味する。本明細書で使用される際に、「結合され」という用語は、取り付けられ、連結され、接続され、接合され、締結され、リンクされ、且つ／又は他の方法で固定されていることを意味する。

本明細書で使用される際に、「データベース」という用語は、データ又はデータの組織化された本体が表現されるやり方に関わりなく、関連するデータの組織化された本体を意味する。例えば、関連するデータの組織化された本体は、表、マップ、グリッド、パケット、データグラム、フレーム、ファイル、Ｅメール、メッセージ、文書、レポート、リスト、又は任意の他の形態で表されるデータのうちの１以上の形態を採り得る。

本明細書で使用される際に、「例示的な」という用語は、非限定的な実施例、事例、又は例示として働くことを意味する。本明細書で使用される際に、「例えば（e.g.）」及び「例えば（for example）」という用語は、１以上の非限定的な実施例、事例、又は例示のリストを強調している。

本明細書で使用される際に、「メモリ」という用語は、プロセッサ及び／又は他のデジタルデバイスによって使用されるための情報を記憶するコンピュータハードウェア又は回路を意味する。メモリは、例えば、リードオンリーメモリ（ROM）、ランダムアクセスメモリ（RAM）、キャッシュメモリ、コンパクトディスクリードオンリーメモリ（CDROM）、電気光学メモリ、磁気光学メモリ、プログラマブルリードオンリーメモリ（PROM）、消去可能プログラマブルリードオンリーメモリ（EPROM）、電気的消去可能プログラマブルリードオンリーメモリ（EEPROM）、コンピュータ可読媒体などの、任意の適切な種類のコンピュータメモリ又は任意の他の種類の電子記憶媒体であり得る。

本明細書で使用される際に、「ネットワーク」という用語は、インターネットを含む全ての種類のネットワークと相互間ネットワークの両方を含み、任意の特定のネットワーク又は相互間ネットワークに限定されない。

本明細書で使用される際に、「動作可能に接続され」は、幾つかの要素又はアセンブリが共に接続されており、それによって、第１の要素／アセンブリが、１つの状態（及び／又は構成、配向、位置など）から別の状態に変化し、第１の要素／アセンブリに動作可能に接続された第２の要素／アセンブリも、１つの状態（及び／又は構成、配向、位置など）から別の状態に変化することを意味する。第１の要素が、第２の要素に「動作可能に接続され」ると同時に、第２の要素が、第１の要素に「動作可能に接続され」ない場合もあることに留意されたい。

本明細書で使用される際に、「プロセッサ」という用語は、ハードウェアに実装されていてもソフトウェアに明白に具現化されていても又はそれらの両方でも、それがプログラム可能であってもそうではなくても、プロセッサデバイス、装置、プログラム、回路、構成要素、システム、及びサブシステムを意味する。本明細書で使用される際に、「プロセッサ」という用語は、１以上のコンピュータデバイス、配線回路、信号修正デバイス及びシステム、システムを制御するためのデバイス及び機械、中央処理装置、プログラマブルデバイス及びシステム、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、チップ上のシステム、離散した要素及び／又は回路を備えたシステム、状態機械、仮想機械、データプロセッサ、処理設備、並びにそれらの任意の組み合わせを含むが、それらに限定されるものではない。例えば、プロセッサは、任意の種類の汎用マイクロプロセッサ又はマイクロコントローラ、デジタル信号処理（DSP）プロセッサ、特定用途向け集積回路（ASIC）であり得る。プロセッサは、メモリデバイスに接続され又はメモリデバイスと統合され得る。

物体に依存しない（object-agnostic）追跡システムなどの物体追跡システムが、本明細書で開示される。それは、個人（例えば、ウェアラブルを装着している可能性があるユーザ）又は物体（例えば、可動物体）の位置を特定する助けとなり得る。物体追跡システムは、未知の不特定の複雑な環境内で、個人又は物体をナビゲートする助けとなるために、個人又は物体の位置を他の個人又は物体の（１以上の）位置と関係付けることもできる。言い換えると、以下でより完全に説明されるように、物体追跡システムは、GPS拒否、RF拒否、又は他の追跡拒否環境内でナビゲーション及びマッピングを容易にし、それによって、周囲の物体に基づいて個人（例えば、ユーザ）又は物体（例えば、輸送体、設備など）の位置の推定（例えば、位置特定）を提供するために、（例えば、追跡されている物体又は人に対して）移動している及び／又は静止している物体の検出及び処理を提供することができる。

視覚ベースの位置追跡は、GPS及び／又は任意の配備されたRFインフラが存在しない場合であってさえも、効果的に働くことができる。例えば、視覚ベースの位置追跡は、それ自身（例えば、光学素子が取り付けられている人又は物体）を位置特定し、人間と同様なやり方でマップを生成する能力を提供する。GPSに依存しない人追跡の研究により、高度に正確な視覚慣性の走行距離計による計測をベースとしたアルゴリズムの解決策が実現されたが、これらのアルゴリズムの解決策は、後処理されて、しばしば、シングルコアコンピュータ処理ユニット（CPU）に限定される。しかし、パン、チルト、及びズーム（PTZ）ネットワークカメラは、例えば、GPS拒否環境内での位置追跡の問題に対処する助けとなり得る。ある追跡アルゴリズムは、民生品（COTS）PTZネットワーク化されたカメラに関連付けられてよい。PTZカメラ追跡アルゴリズムの大部分は、もともと、物体の検出及び／又は物体を追跡するために実装された制御スキームに結び付けられている。物体検出に関連する複合誤差は、追跡における不正確さをもたらし得る。これにより、目標追跡システムが正確に追跡できる物体の数が制限され得るか、又は異なる種類の物体を正確に追跡するために、システム全体を再訓練する必要がある。更に、アルゴリズムは、既存の目標追跡プラットフォームへの迅速な適合のために構造化されていない場合がある。

以上のことのうちの少なくとも１つに対処するために、本開示は、GPS及び／又はRF配備可能インフラを必要とすることなしに、ユーザ（又は物体）の位置及び／又は場所を追跡するように構成された物体追跡システムを提示する。物体追跡システムは、汎用グラフィカル処理ユニット（GPGPU）アーキテクチャを活用するために、よりロバストなハードウェア及び移植アルゴリズムを開発することによって、GPS拒否及び／又はRF拒否環境において、総移動距離の０．２％以内などの高精度で動作することができる。GPGPUは、通常はCPUによって行われ得る特殊化されていない計算を実行するように構成されたグラフィック処理ユニット（GPU）を指す。

物体追跡システムの目的は、追跡されている物体又は人の種類に対して容易に構成可能な、且つ、ユーザの部分に対してほとんど作業を必要とすることなしに、他の物体ドメインに高度に拡張可能な、物体に存しないPTZ追跡を容易にすることである。特定の態様では、物体追跡システムが、人工ニューラルネットワークによって訓練された標準化されたソフトウェアモジュールの組内にある、パラメータ化された汎用物体検出器の定義をサポートするように構成されてよい。このシステムアーキテクチャの設計は、全ての検出ドメインにわたるアーキテクチャの拡張性を最大化することができる。物体追跡システムは、必要なアルゴリズムとモジュールのみを採用する再構成可能な設計で、様々な使用用途に対して容易に調整できるような物体検出器のライブラリを更に含むことができる一方で、必要に応じてアルゴリズムの迅速な起動又は起動解除を可能にすることもできる。

したがって、本開示は、物体追跡及び／又はナビゲーションの作業向けにネットワーク化されたPTZカメラを制御するための、完全で拡張可能で再構成可能な物体に依存しないシステムを説明する。したがって、物体追跡システムは、コンピュータ上で使用されるGPGPUコンピュータビジョンアルゴリズムを開発することによって可能となる、携帯デバイスなどの１以上のウェアラブルセンサ及びコンピュータを使用する、完全な解決策を提供することができる。特定の態様では、物体追跡システムが、装着可能であるが目立たないことがあり、それによって、ウェアラブル（例えば、衣料品）を１以上の小型で且つ／又は目立たないカメラ及びコンピュータと組み合わせることができる。物体追跡システムは、とりわけ以下のように構成され得る。すなわち、（１）２時間の耐久ミッションにわたり、最悪の場合の性能で２０メートル未満の精度で、５メートル未満の精度を実現し、（２）マッピングされたエリア上に情報を記憶するために、携帯用ユーザデバイスを介して秒当たり500,000浮動点計算（FLOPS）を処理し、１００GBを超えるローカルな記憶域を含むこととなり、（３）Wi-Fi、Bluetooth、又は移動体通信ネットワークなどの、ローカル通信インフラを使用して情報を転送し、（４）（ａ）配備可能なGPS／RFインフラを使用したり、（ｂ）予めエリアを調査したりすることに依存する必要なしに、代わりにカメラからの画像を使用して位置を検出し、（５）目標の上のカーソルなどのローカル命令及び制御（C2）マッピングツールに矛盾しない出力データを提供し、（６）GPSの初期損失又は同様の精度修正により、GPS拒否環境において最大２時間の位置ドリフト及びデータ記憶域の制限内で動作する。

図１は、物体追跡システム１００の構成要素を示している。図示されているように、物体追跡システム１００は、カメラ１０４、温度センサ１０６、慣性測定ユニット（IMU）１１０、（例えば、カメラ１０４に統合され得る）マイクロフォンなどの、１以上のセンサに動作可能に接続されたコントロールシステム１０８を備えてよい。図示されているように、物体追跡システム１００は、キャップ、ハット、シャツ、ジャケット、セーター、靴、ブーツ、手袋、スカート、パンツ、ショーツ、眼鏡、及び／若しくは、任意の他の適切な衣料品、アクセサリー、並びに／又は他の種類のウェアラブルなどの、ウェアラブル１０２を含み又はそれらに具現化されていてよい。

特定の態様では、物体追跡システム１００が、ウェアラブル１０２の中に邪魔にならずに埋め込まれる、入手可能な民生品の装着可能な小型監視カメラ１０４を採用してよい。カメラ１０４は、ウェアラブル１０２に統合され得る制御システム１０８を介して、コンピュータ１１２に動作可能に接続されていてよい。物体追跡システム１００は、GPS拒否条件下で慣性測定ユニット（IMU）１１０の性能を改良するために、同時位置特定及びマッピング（SLAM）を実行する１以上のスパイカメラ１０４を使用して、ナビゲーション精度を維持するように、多重状態制約カルマンフィルタ（MSCKF）を実装することができる。動作の際に、カメラ１０４及び／又はコンピュータ１１２は、都市や地下環境などのGPS拒否状況下でさえ、視覚データ（画像データ）をキャプチャし、空間内での特定された物体のリアルタイムの視覚的な走行距離計による計測及び／又は追跡を実行するように働くことができる。

物体追跡システム１００が、主としてユーザ（例えば、人又は動物）を追跡するためのウェアラブル１０２との関連で説明されることになるが、物体追跡システムは、必ずしもウェアラブル内に具現化される必要はない。むしろ、物体追跡システム１００は、例えば、輸送体（例えば、自動車、航空機、船舶など）、設備、及び他の物体を含む、事実上任意の可動物体の位置特定及び／又はナビゲーションを容易にするように働くことができる。例えば、物体追跡システム１００は、開示される特徴を提供するために、（例えば、その制御システム又はナビゲーションシステムの部分として）可動物体又は輸送体の中へ統合されてよい。

制御システム１０８及び１以上のセンサは、（キャップとして図示されている）ウェアラブル１０２に取り付けられ（且つ／又はその中に埋め込まれ）てよい。例えば、カメラ１０４は、ウェアラブル１０２の半剛性キャップライニングの中に埋め込まれてよい。特定の態様では、カメラ１０４は、組み合わせで考えられるときに、全方位カバレージを提供することができる。すなわち、カメラ１０４は、組み合わされて、直交座標系内でｘ、ｙ、及びｚ平面のそれぞれにおいて、カメラ１０４を装着した且つ／又は操作するユーザの周りの実質的に３６０度のエリアから、画像及び／又は動画をキャプチャする能力を有し得る。同様に、１以上の温度センサ１０６も、ウェアラブル１０２に取り付けられ（且つ／又は埋め込まれ）ていてよい。ある実施例では、温度センサ１０６のうちの１以上が、熱膨張率（CTE）を測定するように構成されてよい。ある実施例では、温度センサ１０６のうちの１以上が、サーミスタ、サーモスタットなどを備えてよい。

物体追跡システム１００は、コンピュータ１１２を更に含んでよく、又はコンピュータ１１２に動作可能に接続されてよい。例えば、物体追跡システム１００は、コンピュータ１１２と通信するように構成されたトランシーバ１２６を含んでよい。コンピュータ１１２は、制御システム１０８及び／又はウェアラブル１０２に対してローカルに又は遠隔に置かれてよい。特定の態様では、コンピュータ１１２が、スマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント（PDA）、スマートウォッチ、スマート眼鏡、ラップトップコンピュータ、携帯ゲームデバイス、及び／又は類似のデバイスなどの、民生品（COTS）携帯デバイスであってよい。但し、コンピュータ１１２は、例えば、命令センターに置かれた静止したコンピュータを含む、遠隔のコンピュータ又は他のプロセッサが装備されたデバイスであってもよい。特定の態様では、コンピュータ１１２が、カスタマイズされたデバイス及び／又はカスタマイズされたマイクロチップを備えてよい。特定の態様では、物体追跡システム１００が、複数のコンピュータ１１２を含んでよく、又は複数のコンピュータ１１２に動作可能に接続されてよい。

コンピュータ１１２は、プロセッサ１２０、ディスプレイ１１６、１以上のメモリデバイス１２２（例えば、RAM、ROM、フラッシュメモリなど）、トランシーバ１２４、及び／又はユーザインターフェース（UI）１１４を備えてよい。コンピュータ１１２は、直接的に制御システム１０８と通信するか、又は通信ネットワーク１１８（例えば、インターネット又は別のネットワーク）を介して通信するように構成されてよい。例えば、制御システム１０８は、トランシーバ１２４、１２６（例えば、無線トランシーバ）を介してコンピュータ１１２と通信するように構成されてよい。トランシーバ１２４、１２６は、Bluetooth（例えば、短波長、2.4から2.485GHzのISM帯域内のUHF無線波）、NFC、Wi-Fi（例えば、IEEE802,11標準）などの、１以上の無線標準を介して通信するように構成されてよい。しかし、コンピュータ１１２が、有線接続を介して制御システム１０８と通信するように構成され得ることも考慮される。

特定の態様では、ディスプレイ１１６が、ユーザインターフェース１１４の少なくとも部分を提供し得る。例えば、ディスプレイ１１６は、タッチスクリーンディスプレイとして構成されてよく、したがって、ユーザインターフェース１１４は、LCDディスプレイを覆っているタッチスクリーンデジタイザである。この実施例では、ディスプレイ１１６が、タッチスクリーンを介して選択され得る、グラフィカルユーザインターフェース（GUI）を表示することができる。他の実施例では、ユーザインターフェース１１４が、会話認識技術を容易にするマイクロフォンであり、又はそのようなマイクロフォンを含み得る。（１以上の）カメラ１０４、（１以上の）温度センサ１０６、制御システム１０８、及び／又はコンピュータ１１２は、ワイヤー、ケーブル、導体、及び／又は当業者に知られている他の電気手段に動作可能に接続されていてよい。特定の態様では、（１以上の）カメラ１０４、（１以上の）温度センサ１０６、制御システム１０８、及び／又はコンピュータ１１２が、携帯電話ネットワーク（例えば、TDMA、GSM、及び／若しくはCDMA）、Wi-Fi（例えば、802.11a,b,g,n,ac）、Bluetooth、近距離通信（NFC）、光通信、無線通信、並びに／又は他の適切な無線通信技法を介するなどした、無線技術を使用して動作可能に接続されていてよい。

図２は、物体追跡システム１００内で使用され得る例示的なカメラ１０４を示している。特定の態様では、カメラ１０４が、比較的目立たないように比較的容易に隠され得る小型の控えめな監視カメラを備えてよい。特定の態様では、カメラ１０４が、写真、動画、及び／又は視聴覚画像をキャプチャするように構成された光センサを備えてよい。カメラ１０４は、例えば、通常モード、夜間視認モード、熱モード、赤外線モードなどの、種々のモードで動作するように構成されてよい。特定態様では、ユーザが、ユーザインターフェース１１４を介して適切なカメラ１０４モードを選択することができる。特定態様では、（１以上の）カメラ１０４が、環境に対する最も適切なモードを自動的に検出してよく、最も適切なモード（及び／若しくは１以上の他のモード）をユーザに推奨するか、又は最も適切なモードに自動的に切り替わるかの何れかであってよい。

カメラ１０４は、カメラモジュール２００に動作可能に接続されてよい。カメラモジュール２００は、カメラ１０４を支持してよく、カメラ１０４に又はカメラ１０４から電気入力及び電気出力（例えば、電力及び／又は配信動画などのデータ）を供給することができる。特定の態様では、カメラモジュール２００が、回路基板として具現化されてよい。カメラモジュール２００は、ケーブル２０２を介して物体追跡システム１００の他の構成要素に動作可能に接続されてよく、それによって、トランシーバ及び／又はローカルバッテリに対する要求を不要なものとする。ケーブル２０２は、電力、データ、又は電力とデータの両方を搬送することができる。特定の態様では、ケーブル２０２が省略されてよく、データは、カメラモジュール２００の中へ統合された送信器、受信器、及び／又はトランシーバを介して、制御システム１０８へ／から送信されてよい。したがって、カメラモジュール２００は、無線トランシーバ、及び／又はカメラ１０４に電力を供給するためのローカルバッテリを含んでよく又はそれに接続されてよい。

カメラ１０４は、カメラモジュール２００及び／又はケーブル２０２を介して、制御システム１０８との間で情報を送／受信するように構成されてよい。例えば、そのような情報は、画像データ（配信動画、静止画像など）、画像／配信動画をキャプチャするための命令、画像がキャプチャされたとの通知、画像情報、特定の構成（例えば、パン、チルト、及び／若しくはズーム構成）を採用するための命令、特定の構成が採用されたとの通知、並びに／又は他の適切な情報、データ、若しくは命令を含んでよい。

例えば、カメラ１０４は、パン、チルト、及びズーム（PTZ）カメラであってよく、Ｙ軸の周りでパン（及び／又はスイベル、回転、旋回、ツイストなど）するように構成されている。特定の態様では、カメラ１０４が、３６０度を完全にパンするように構成されてよい。他の態様では、カメラ１０４が、２７０度や１８０度などの３６０度未満だけパンするように構成されてよい。カメラ１０４は、Ｘ軸の周りでチルト（スイベル、回転、旋回、ツイストなど）するように更に構成されてよい。特定の態様では、カメラ１０４が、３６０度を完全にチルトするように構成されてよい。他の態様では、カメラ１０４が、２７０度や１８０度などの３６０度未満だけチルトするように構成されてよい。特定の態様では、カメラモジュール２００が、特定のチルト角度での画像キャプチャを妨害する恐れがある。特定の態様では、カメラ１０４が、制御ユニット（例えば、パン、チルト、又はズームの制御）に統合され又は実装されてよい。

カメラ１０４は、ズームレンズ２０４を使用してズームイン及びズームアウトするように更に構成されてよい。それによって、ズームレンズ２０４は、光景の画像を拡大（及び／又は拡張）するために、その焦点距離を変更するように構成されている。特定の態様では、ズームレンズ２０４が、例えば、魚眼レンズなどの超広角レンズであってよい。特定の態様では、ズームレンズ２０４が、２２０度メガピクセル（MP）品質の魚眼レンズを備えてよく、カメラ１０４は、１８メガピクセルのユニバーサルシリアルバス（USB）カメラを備えてよい。複数のカメラが使用される実施例では、各カメラ１０４が、同じPTZ機能又は異なるPTZ機能を有してよい。

図３は、物体追跡システム１００の他の構成要素に対する制御システム１０８の様々な構成要素を示している。図示されているように、制御システム１０８は、概して、処理回路３００、物体検出器３０６、検出器ライブラリ３０８、状態推定器３１０、及び／又はデータ管理ユニット３１２を備える。例えば、データ管理ユニット３１２は、データ供給サービス（DDS）であってよい。例えば、処理回路３００は、グラフィカル処理ユニット（GPU）３０２及び論理コントローラ３０４を備えてよい。別々の構成要素として図示されているが、GPU３０２と論理コントローラ３０４は、プロセッサやCPUなどの単一の構成要素の中に統合されてよい。特定の態様では、IMU１１０が、コントロールシステム１０８に統合されてよい（例えば、単一の基板又はチップを介して設けられる）。

動作の際に、物体追跡システム１００の構成要素は、以下のプロセスを通して動く。すなわち、（１）カメラ１０４から、（１以上の）光景の画像データ及び現在のカメラ１０４構成を取得すること、（２）処理回路３００によって、キャプチャされた画像を処理すること、（３）物体検出器３０６によって、光景の画像内の物体を検出すること、（４）物体検出器３０６及び／又は検出器ライブラリ３０８によって、見つかったバウンディングボックスをフィルタリングすること、（５）状態推定器３１０によって、これらのバウンディングボックスからシステムの状態を推定すること、並びに（６）処理回路３００によって、カメラ１０４に送り返される制御出力（パン、チルト、ズーム）を決定することである。更に、様々な種類の情報が、状態推定器３１０及び／又は処理回路３００からデータ管理ユニット３１２に送られてよい。データ管理ユニット３１２は、トランシーバ１２４、１２６を介してコンピュータ１１２と通信してよい（有線を介してか又はアンテナシステムを介して無線で）。特定の態様では、通信が、外部インターフェース層３１４（例えば、通信バス）を介するプロセスであってよい。

制御システム１０８は、システムオンチップ（SoC）やシステムオンボード（SoB）などの単一のマイクロチップとして設けられてよい。例えば、GPU３０２、データ管理ユニット３１２、論理コントローラ３０４、物体検出器３０６、及び／又は状態推定器３１０は、全て、単一のマイクロチップ内に包含され（又はそれを介して設けられ）てよい。ある態様では、検出器ライブラリ３０８も、単一のマイクロチップの中に統合されてよい。特定の態様では、制御システム１０８の構成要素が、ハードウェア、ソフトウェア、及び／又はその２つの組み合わせ内に実装されてよい。特定の態様では、制御システム１０８の構成要素が、幾つかのマイクロチップ及び／又は他のデバイスにわたり実装されてよい。制御システム１０８は、コンピュータ１１２から独立したスタンドアローン構成要素として図示されているが、制御システム１０８は、用途に応じてコンピュータ１１２に統合されてよい。

動作の際に、GPU３０２は、カメラ１０４から受け取った画像（すなわち、画像データ）を処理するように構成されてよい。GPU３０２は、有線及び／又は無線通信接続を経由して、カメラ１０４に動作可能に接続されてよい。特定の態様では、GPU３０２が、特徴抽出などのリアルタイムのコンピュータビジョン法を実装するように構成されてよい。GPU３０２は、更に又は代替的に、物体追跡システム１００の視覚的な走行距離計による計測を補助するように構成されてよい。例えば、視覚的な走行距離計による計測法は、多重状態制約カルマンフィルタ（MSCKF）などの拡張されたカルマンフィルタ（EKF）ベースのアルゴリズムを備えてよい。視覚的な走行距離計による計測法は、少なくとも部分的に、例えば、OpenCLなどのベクトル化されたコンピュータプログラミング言語を使用して実装されてよい。

特定の態様では、GPU３０２が、ディスプレイ（例えば、ローカルディスプレイ若しくはコンピュータ１１２のディスプレイ１１６）、及び／又はユーザインターフェース（例えば、ローカルユーザインターフェース若しくはコンピュータ１１２のユーザインターフェース１１４）に動作可能に接続されてよい。通信は、データ管理ユニット３１２及び／若しくはインターフェース層３１４を介して、又は他の適切な方法を介して促進されてよい。GPU３０２は、画像データ（例えば、グラフィックス、画像、写真、及び／又は動画）をディスプレイ１１６に描画するように構成されてよい。例えば、GPU３０２は、１以上のユーザ及び／又はユーザに対する１以上の物体のマップ及び／又は相対位置をディスプレイ１１６に描画してよい。それらのうちの実施例が、図６ａ及び図６ｂで示されている。GPU３０２は、データ管理ユニット３１２、カメラ１０４、及び論理コントローラ３０４にも動作可能に接続されていてよい。特定の態様では、GPU３０２が、同様に他の構成要素に動作可能に接続されてよい。

論理コントローラ３０４は、単独であれ物体追跡システム１００の他の構成要素と組み合わせた場合であれ、物体追跡システム１００の特定のプログラムされたプロセス及び／又は論理プロセスを実行するように構成されてよい。特定の態様では、論理コントローラ３０４が、CPUなどのプロセッサであってよい。特定の態様では、例えば、論理コントローラ３０４が、２．４５Hzで動作する４つのコア及び１．９GHzで動作する４つのコアを有するオクトコアCPUであってよい。上述のように、GPU３０２は、論理コントローラ３０４に統合されてよい。

カメラ１０４は、１以上のカメラ構成を採用することによって、複数のカメラ構成（例えば、PTZ構成）に従って、周囲環境の画像をキャプチャするように構成されてよい。例えば、カメラ１０４は、第１のカメラ構成を使用して第１の画像（又は第１の配信動画）をキャプチャしてよく、次いで、第２のカメラ構成を使用して第２の画像（又は第２の配信動画）をキャプチャすることができる。論理コントローラ３０４は、第１のPTZ構成（例えば、現在の又は以前のPTZ構成）に応じて、カメラ１０４の適切な第２のPTZ構成（例えば、新しいPTZ構成）を決定するように構成されていてよい。例えば、論理コントローラ３０４は、第２のPTZ構成を選択することにおいて、現在のPTZカメラ１０４構成に関する情報を使用することができる。現在のPTZカメラ構成は、GPU３０２によって提供されてよい。GPU３０２は、決定することにおいても助けとなり得る。論理コントローラ３０４は、選択するために、状態推定器３１０からの情報を使用することもできる。例えば、論理コントローラ３０４は、（１以上の）新しいPTZカメラ構成を決定するために、物体追跡システム１００のユーザ及び／又は他の物体追跡システムの複数のユーザのみならず、検出及び／又は追跡されていた特定の物体に関する予測及び／又は推定情報を使用することができる。例えば、新しいPTZ構成は、カメラ１０４を、画像の光景内で追跡されている物体の略推定された且つ／又は予測されたバウンディングボックスの中心／重心に向けることとなる構成に相当し得る。論理コントローラ３０４（及び／又はGPU３０２）は、各カメラ１０４に対する新しいPTZ構成を決定することができる。ある事例では、新しいPTZ構成が、現在のPTZ構成と同一又は実質的に類似であってよい。

論理コントローラ３０４は、GPU３０２及び／又はカメラ１０４に他の命令を送るように構成されてもよい。例えば、論理コントローラ３０４は、ユーザインターフェース１１４を介したユーザからの直ちに画像をキャプチャするための命令に応答するなどして、類似の命令を送ることができる。特定の態様では、論理コントローラ３０４が、カメラ１０４が新しい画像をキャプチャする度に、画像をキャプチャするための命令をGPU３０２及び／又はカメラ１０４に送ることができる。特定の態様では、画像をキャプチャするための命令が、新しいPTZ構成の部分であってよい。特定の態様では、GPU３０２及び／カメラ１０４が、論理コントローラ３０４から特定の命令を受け取らない場合であっても、連続的に画像をキャプチャすることができる。特定の態様では、GPU３０２及び／又はカメラ１０４が、特定の命令を受け取らない場合、画像をキャプチャすることを差し控えてよい。ある実施例では、ユーザが、インターフェース１１４を介して、カメラ１０４が画像をキャプチャする前に特定の命令を待つべきかどうか、又はカメラ１０４が連続的に画像をキャプチャするかどうかを選択することができる。

物体検出器３０６は、カメラ１０４によってキャプチャされた画像などの画像の光景内で物体を検出するように構成されてよい。物体検出器３０６は、パラメータ化された物体検出器であってよい。したがって、物体検出器３０６は、幅広い様々なドメインに適合することができる。物体検出器３０６は、ハードウェア、ソフトウェア、又はこれらの組み合わせとして実装することができる。特定の態様では、物体検出器３０６が、オブジェクト指向プログラミング言語を使用して実装されるときなどに、クラス及び／クラスインスタンスであってよい。特定の態様では、物体検出器３０６が、OpenCL、C、C++、Java、Python、Perl、Pascal、及び／又は他の適用可能な方法を使用して実装されてよい。物体検出器３０６は、GPU３０２及び／又は状態推定器３１０に動作可能に接続されていてよい。物体検出器３０６は、更に、検出器ライブラリ３０８と通信可能であってよい。物体検出器３０６と検出器ライブラリ３０８の間の接続は、ヒューマンマシンインターフェースを介していてよい。例えば、検出器は、ヒューマンマシンインターフェース（例えば、コンピュータ１１２のディスプレイ１１６）を介して選ばれてよく、検出器ライブラリ３０８からロードされてよい。

検出器ライブラリ３０８は、画像データに応じて物体を検出するための１以上のアルゴリズム（及び／又は方法、モジュールなど）を採用することができる。検出器ライブラリ３０８は、更に又は代替的に、物体を追跡するための制御スキームのコレクションを備えてよい。一般的に言うと、検出器ライブラリ３０８は、アルゴリズムのコレクション及び／又はライブラリ（例えば、既知の／学習された画像のコレクション）として働くことができる。検出器ライブラリ３０８は、光景内にあるどの物体が移動していてどの物体が移動していないかを決定することにおいて、物体追跡システム１００を支援する。

ユーザ（又は物体）及び／又はカメラ１０４が移動すると、検出器ライブラリ３０８は、環境のマップを生成する。理解され得るように、物体追跡システム１００は、どの物体が移動しているかを区別するべきである。例えば、看板は静止している範疇に含まれてよく、一方、顔は移動している範疇に含まれてよい。物体追跡システム１００は、静止している物体の属性を学習することができ、及び／又は検出器ライブラリ３０８を介して既知の属性から開始することができる。他の態様では、物体追跡システム１００が、２つの範疇の間で画像のライブラリを生成することができることも考慮される。画像内の物体を特定するために、１以上の画像処理技法が採用されてよい。例えば、１以上の画像処理技法は、２Ｄ及び３Ｄ物体認識、画像分割、動き検出（例えば、単一粒子追跡）、動画追跡、オプティカルフロー法、３Ｄ姿勢推定装置などを含んでよい。

特定の態様では、検出アルゴリズム及び追跡制御スキームが、リンクされていてよく且つ／又は他の方法で関連付けられていてよい。特定の態様では、検出アルゴリズム及び追跡制御スキームが、特定のモジュール式フォーマットに一致するように、物体検出器３０６内に且つ／又はから外へ容易に交換されるべく、構造化されていてよい。特定の態様では、検出アルゴリズム及び／又は追跡制御スキームが、再構成可能な設計において様々な使用用途に対して適合されてよい。特定の態様では、検出アルゴリズム及び追跡制御スキームが、人工ニューラルネットワークによる機械学習を介して訓練されてよい。ある実施例では、特定の検出アルゴリズム及び／又は追跡制御スキームが、物体の特定のクラス、分類、種類、多様性、範疇、群、及び／又は階級を、他の物体のものよりも、検出及び／又は追跡するのに適していてよい。検出器ライブラリ３０８は、ハードウェア及び／又はソフトウェア内に実装されていてよい。特定の態様では、検出器ライブラリ３０８が、データベースを備えてよい。

物体検出器３０６は、検出及び／又は追跡されている物体に応じて、適切な検出アルゴリズム及び／又は追跡スキームを起動してよく、一方で、不適切な検出アルゴリズム及び／又は追跡スキームを起動解除してよい。特定の態様では、物体検出器３０６が、検出及び／又は追跡されている物体のクラス、分類、種類、多様性、範疇、群、及び／又は階級に応じて、検出アルゴリズムを起動及び／又は起動解除することができる。特定の態様では、物体検出器３０６が、所望の及び／又は選択された使用用途に応じて、適切な検出アルゴリズム及び／若しくは追跡スキームを起動、並びに／又は、不適切な検出アルゴリズム及び／若しくは追跡スキームを起動解除してよい。

特定の態様では、起動及び／又は起動解除するために適切な検出アルゴリズム及び／又は追跡スキームを決定することにおいて、物体検出器３０６を支援するために、GPU３０２が、カメラ１０４から物体検出器３０６に予め処理された画像を提供することができる。特定の態様では、起動及び／又は起動解除するために適切な検出アルゴリズム及び／又は追跡スキームを決定することにおいて、物体検出器３０６を支援するために、ユーザが、ユーザインターフェース１１４を介して情報を提供することができる。例えば、ユーザは、凡その地域、屋内、屋外、都市、農村、高架、地下であるかなどの、周囲環境に関する情報を入力することができる。これは、あまり有用でない検出アルゴリズム及び／又は追跡スキーム（例えば、地下の都市環境における山検出器／追跡器、屋外の農村の設定におけるエレベータ検出器／追跡器など）を排除することにおいて、物体検出器３０６を支援することができる。特定の態様では、物体検出器３０６が、適切な検出アルゴリズム及び／又は追跡スキームを起動及び／又は起動解除するために、周囲環境の態様を自動的に検出することができる。物体の検出が、物体と様々な環境要因との間の差別化を必要とする場合、特徴が、物体のバウンディングボックスから独立した（１以上の）画像から抽出されてよい。前景／背景分類、環境分類、照明などの、環境の態様。物体検出器３０６のアーキテクチャは、追跡されている物体の種類に対して容易に構成可能な且つユーザの部分に対して必要とされる作業がほとんどなしに他の物体のドメインに高度に拡張可能な、物体に依存しないPTZカメラ１０４の目標追跡システムを可能とするように構成されてよい。

特定の態様では、物体検出器３０６が、検出中に光景の範囲内で物体を囲むためのバウンディングボックスを使用することができる。特定の態様では、検出器が、バウンディングボックス内の中心にある重心を使用して、物体の検出及び／又は追跡を支援することができる。特定の態様では、物体検出器３０６が、検出された物体が、ユーザ及び／物体追跡システム１００による任意の動きから独立して移動しているかどうかを判定することができる。特定の態様では、物体検出器３０６が、物体が移動しているかそれとも静止しているかを判定することにおいて助けとなるために、状態推定器３１０によって提供された情報を使用することができる。例えば、カメラ１０４を使用して、オプティカルフロー法などの３次元再構築技術を介して物体を特定し、画像シーケンスを処理することができる。オプティカルフロー法を使用して、観察者と光景（画像）の間の相対的な動きによって生じる、視覚的な光景内の物体、表面、及び縁部の見かけの動きのパターンを決定することができる。

特定の態様では、物体検出器３０６が、物体が移動しているかそれとも静止しているかを判定することにおいて、カメラ１０４からの音響情報を使用することができる。例えば、特定の音の変化する増幅、及び／又は特定の音の変化する周波数は、移動を示していると解釈することができる。物体検出器３０６は、移動していると判定された物体（並びに／又は対応するバウンディングボックス及び／若しくは重心）を無視してよい。例えば、移動している物体は、人間、輸送体、及び／又は動物であってよい。物体検出器３０６は、静止している物体に対応するバウンディングボックス及び／又は重心の情報を、状態推定器３１０に提供することができる。例えば、静止している物体は、看板ポスト、ランドマーク、自動販売機、出口／入口ドア、建築物、地形などを含んでよい。特定の態様では、物体検出器３０６は、例えば、論理コントローラ３０４、GPU３０２、IMU１１０、データ管理ユニット３１２、及び／又は状態推定器３１０などの、物体追跡システム１００の他の構成要素と併せて（且つ／又はそれらの支援を受けて）その動作を実行することができる。

IMU１１０は、ユーザの特定の力、角速度（angular rate）、及び／又はユーザを取り囲んでいる磁場を測定するように構成されていてよい。IMU１１０は、更に又は代替的に、ユーザの角速度（angular velocity）、回転速度、及び／又は線形加速度を測定してよい。IMU１１０は、加速度計、ジャイロスコープ、及び／又は磁気計のうちの１以上を備えてよい。特定の態様では、IMU１１０は、複数の加速度計、ジャイロスコープ、及び／又は磁気計を備えてよい。

状態推定器３１０は、様々な作業を実行するように構成されていてよい。特定の態様では、状態推定器３１０が、カメラ１０４及び／又は物体検出器３０６によって検出及び／追跡されている１以上の物体の現在並びに／又は将来の（１以上の）位置（及び／若しくは（１以上の）場所）を推定及び／又は予測することができる。特定の態様では、状態推定器３１０が、物体追跡システム１００の１以上のユーザの現在並びに／又は将来の（１以上の）位置（及び／若しくは（１以上の）場所）を推定及び／又は予測することができる。特定の態様では、状態推定器３１０が、ローカルな環境内の物体及びユーザの現在及び／又は将来の（１以上の）位置を推定及び／又は予測するために、１以上の同時位置特定及びマッピング（SLAM）アルゴリズムを使用して、SLAMを実行することができる。特定の態様では、状態推定器３１０が、その予測及び／又は推定を実行することにおいて助けとなる、カルマンフィルタを用いた視覚的な走行距離計による計測を採用してよい。特定の態様では、カルマンフィルタが、多重状態制約カルマンフィルタ（MSCKF）であってよい。特定の態様では、状態推定器３１０が、その予測及び／又は推定をすることにおいて助けとなる、IMU１１０によって提供される情報を用いた従来の走行距離計による計測も採用することができる。ある実施例では、ドリフトが、IMU１１０の測定値において広く見られることがあり、状態推定器３１０によって使用される視覚的な走行距離計による計測は、このドリフトを修正する助けとなり得る。ある実施例では、IMU１１０が、コンピュータ１１２の部分であってよい。IMU１１０への及び／又はからの情報は、データ管理ユニット３１２を介して経路指定されてよい。

状態推定器３１０は、ローカルな環境内のユーザ及び／又は物体の現在及び／又は将来の（１以上の）位置を推定及び／又は予測するために、SLAMアルゴリズム、走行距離計による計測法、及び／又は視覚的な走行距離計による計測法と併せて、物体検出器３０６及び／又はIMU１１０からの情報を使用することができ、この情報を用いてローカルなマップを生成し、維持し、及び／又は更新することができる。マップが、メモリデバイス１２２内に記憶されてよい。特定の態様では、マップが、追跡サービス（例えば、GPS、衛星、及び／又は移動体通信能力）が失われる前に取得されたマップ情報を使用して生成されてよい。GPU３０２は、ユーザインターフェース１１４を介したユーザによる対応する選択に従って、ディスプレイ１１６上にマップを描画するように構成されてよい。それらの一実施例が、図６ａ及び図６ｂとの関連で説明される。

データ管理ユニット３１２は、物体追跡システム１００、並びに／又は物体追跡システム１００の外部にある他のシステム及び／若しくはデバイスの構成要素間のインターフェースを提供するように構成されてよい。例えば、データ管理ユニット３１２は、GPU３０２、コントローラ、状態推定器３１０、及び／若しくは物体検出器３０６及びメモリデバイス１２２、IMU１１０、並びに／又はユーザインターフェース１１４の間のインターフェースを提供することができる。データ管理ユニット３１２は、物体追跡システム１００とコンピュータ１１２（又は基地局コンピュータや第２のコンピュータ１１２などの別の外部コンピュータ）との間のインターフェースを提供することもできる。例えば、データ管理ユニット３１２は、物体追跡システム１００と類似のシステムを操作する他のユーザとの間のインターフェースを提供する助けとなり得る。特定の態様では、データ管理ユニット３１２が、その動作を実行するためにインターフェース層３１４と相互作用することができる。インターフェース層３１４は、物体追跡システム１００の構成要素と通信するのに互換性がある回路、ソフトウェア、ポート、及び／若しくはプロトコル、並びに／又は物体追跡システム１００の外部デバイスを含んでよい。例えば、データ管理ユニット３１２は、ケーブルポート（例えば、HDMI、CAT5、CAT5e、CAT6、USBなど）、無線受信器、無線送信器、無線トランシーバ、無線通信プロトコル、Bluetooth回路（及び／若しくは対応するプロトコル）、NFC回路（及び／若しくは対応するプロトコル）などの、有線及び／若しくは無線通信を可能にする、回路、ソフトウェア、ポート、並びに／又はプロトコルを含んでよい。

図４は、物体追跡システム１００のための動作４００の例示的な方法を示している。実施例は、例えば、コンピュータ１１２が、GPS、衛星、及び／又は移動体通信信号を失ったときなどに、手動で又は自動的にの何れかで、物体追跡システム１００が既に関与していると想定する。システムは、ステップ４０２で開始し、その場合、カメラ１０４は、環境の光景の画像を表す画像データをキャプチャする。画像は、写真、動画、及び／又は視聴覚画像であってよい。画像は、実際、システムの複数のカメラ１０４によってキャプチャされた複数の画像であってよい。各画像は、併せて又は互いから独立して解析されてよい。カメラが、現在のPTZ構成に対応した位置及び／又は配向にある間に、画像がキャプチャされてよい。論理コントローラ３０４による特定の命令、論理コントローラ３０４による暗黙の命令に応答して、及び／又はユーザ入力に応答して、画像がキャプチャされてよい。画像のキャプチャの前に、検出アルゴリズム及び／又は追跡制御スキームを起動すること及び／又は起動解除することを支援するために、カメラ１０４及び／又はGPU３０２は、予め処理されたバージョンの画像を物体検出器３０６に送ることができる。

ステップ４０４では、画像が、GPU３０２によって処理される。GPU３０２は、画像を処理するために、特徴抽出並びに／又は他のコンピュータビジョン及び／若しくは画像処理技法を使用してよい。ステップ４０６では、物体検出器３０６が、適切でない１以上の検出器アルゴリズム及び／又は追跡制御スキームを起動解除することができる。ステップ４０８では、物体検出器３０６が、適切な１以上の検出器アルゴリズム及び／又は追跡制御スキームを起動することができる。ステップ４１０では、物体検出器３０６が、キャプチャされた画像内の静止した物体を検出するために、検出器アルゴリズム及び／又は追跡制御スキームを使用することができる。移動していると判定された物体は、物体検出器３０６によって捨てられてよい。図５ａ及び図５ｂのキャプチャされた画像５００内で最も良く示されているように、検出アルゴリズム及び／又は追跡制御スキームを実行するときに、物体を囲むバウンディングボックスが使用されてよい。

ステップ４１２では、キャプチャされた画像（例えば、キャプチャされた画像５００）内で検出されたユーザ及び１以上の物体に対する現在の位置が推定される。ユーザの現在の位置の推定は、SLAM、走行距離計による計測、及び／若しくは視覚的な走行距離計法と併せて、１以上の以前のユーザ及び／若しくは物体の位置の推定及び／若しくは予測、以前に編集されたマップ情報、IMU１１０情報、カメラ１０４の現在のPTZ構成、キャプチャされた画像内で検出された（１以上の）物体、キャプチャされた画像内の（１以上の）物体の位置及び／若しくは推定された位置、並びに／又は他の情報に基づいてよい。各物体の現在の位置の推定は、SLAM、走行距離計による計測、及び／若しくは視覚的な走行距離計による計測法と併せて、１以上の以前のユーザ及び／又は物体の位置の推定／及び若しくは予測、以前に編集されたマップ情報、IMU１１０情報、カメラ１０４の現在のPTZ構成、キャプチャされた画像内で検出された（１以上の）物体、キャプチャされた画像内の（１以上の物体）の位置及び／若しくは推定された位置、並びに／又は他の情報に基づいてよい。そのような場合では、物体検出器によって決定された物体の現在の位置の推定は、他の視覚的な走行距離計による計測法からの物体の推定された位置と融合されてよい。

ステップ４１４では、キャプチャされた画像内で検出されたユーザ及び１以上の物体に対する新しい位置が予測される。ユーザの新しい位置の予測は、SLAM、走行距離計による計測、及び／又は視覚的な走行距離計による計測法と併せて、現在のユーザの位置の推定、１以上の現在の物体の位置の推定、１以上の以前のユーザ及び／若しくは物体の位置の推定及び／若しくは予測、以前に編集されたマップ情報、IMU１１０情報、カメラ１０４の現在PTZ構成、キャプチャされた画像内の検出された（１以上の）物体、キャプチャされた画像内の（１以上の）物体の位置及び／若しくは推定された位置、並びに／又は他の情報に基づいてよい。各物体の新しい位置の予測は、SLAM、走行距離計による計測、及び／又は視覚的な走行距離計による計測法と併せて、現在のユーザの位置の推定、１以上の現在の物体の位置の推定、１以上の以前のユーザ及び／若しくは物体の位置の推定及び／若しくは予測、以前に編集されたマップ情報、IMU１１０情報、カメラ１０４の現在PTZ構成、キャプチャされた画像内の検出された（１以上の）物体、キャプチャされた画像内の（１以上の）物体の位置及び／若しくは推定された位置、並びに／又は他の情報に基づいてよい。

ステップ４１６では、物体追跡システム１００が、物体追跡システム１００の外部の他のユーザ及び／又はシステムと通信することができる。データ管理ユニット３１２及び／又はインターフェース層３１４は、物体追跡システム１００と類似のシステム及び／又は他のシステムを操作する他のユーザとの間のインターフェースを提供する助けとなり得る。ユーザの物体追跡システム１００と物体追跡システム１００の外部の他のユーザ及び／又はシステムとの間で、情報が通信されてよい。例えば、通信される情報は、他のユーザ及び／若しくは物体の新しい位置の予測、他のユーザ及び／若しくは物体の現在の位置の推定、１以上の以前のユーザ及び／若しくは物体の位置の推定及び／若しくは予測、以前に編集されたマップ情報、外部システム（例えば、IMU情報、PTZカメラ構成など）に関連する情報、並びに／又は他の情報を含んでよい。

ステップ４１８では、マップが、ユーザ及び／又は１以上の物体の現在の位置の推定を用いて更新され得る。マップは、GPS、衛星、及び／又は移動体通信が未だ利用可能なときに、予め生成されてしまっていてよく、又は物体追跡システム１００によって新しく生成されてもよい。マップは、更に、ステップ４１６で取得された情報を含むように更新されてよい。例示的なマップは、図６ａ及び図６ｂに関連してより詳細に説明される。

ステップ４２０では、カメラ構成が、新しいPTZ構成を用いて更新され得る。その後、プロセスは、ユーザによって手動で終了するか又は（GPS、RF、及び／又は移動体通信が修復された場合などに）自動的に終了するまで、繰り返されてよい。ステップ４２２では、プロセスが、更なるキャプチャされた画像データを伴って繰り返され得るか、又は（追跡サービスを取り戻した際、コンピュータ１１２を介したユーザによる終了の際などに）ステップ４２４で終了するかの何れかであってよい。

特定の順序で説明されたが、図４との関連で説明されたステップは、重なり、並行して生じ、異なる順序で生じ、且つ／又は複数回だけ生じてよい。例えば、ステップ４０２及び４０４は、重なってよい。したがって、ある画像が処理されている間に他の画像がキャプチャされ、且つ／又は画像のある部分が処理されている間にその画像が未だキャプチャされていてよい。ある実施例では、画像のある部分が、画像キャプチャの前に予め処理されてよい。特定の態様では、ステップ４０６及び４０８の順序が、逆になり、重なり、且つ／又は並行して実行されてよい。ある実施例では、ステップ４１４及び４１２が、逆になり、重なり、且つ／又は並行して実行されてよい。ある実施例では、ステップ４１８が、ステップ４１６の前に、４１６と並行して、４１６と重なって、且つ／又はステップ４１６の前と後の両方で実行されてよい。

以下の例示的なシナリオは、物体追跡システム１００のユーザが、如何にして物体追跡システム１００を使用し得るかを示している。ユーザが地下の市場に入ると、ユーザの携帯電話がGPS信号を失う。ユーザのコンピュータ１１２で実行されているコアソフトウェア（例えば、そのオペレーティングシステム）が、制御システム１０８を介してユーザのウェアラブル１０２上のカメラ１０４を起動し、市場を位置特定し且つマッピングし始める。

カメラ１０４が画像をキャプチャすると、コンピュータ１１２の画像処理アルゴリズムが、画像にわたり光景を位置合わせするために、容易に特定される静止した物体を追跡する。アルゴリズムは、人間、自動車、又は動物などの移動している物体と静止している物体とを顕著に区別する。これにより、アルゴリズムは、初期の段階で移動している物体を除去することができる。追跡されている静止物体は、看板ポストの文字、ランドマーク、自動販売機、出口及び入口のドア、並びに通常の家財道具を含む。コンピュータ１１２のアルゴリズムは、SLAMを実行して、マップ上のユーザの位置を追跡している間に、将来の使用のためにローカルな領域のマップを生成及び／又は記憶する。

図５ａは、図１の物体追跡システム１００によってキャプチャ及び／又は処理され得る（などした）例示的な画像５００を示し、一方で、図５ｂは、図５ａの例示的な画像５００の拡大された部分である。図５ｂで最もよく示されているように、バウンディングボックス５０２、５０４を使用して、画像５００の特徴を追跡及び／又は処理することができる。特定の態様では、静止している物体と移動している物体が、異なるように、互いに対して追跡されてよい。マッピングする目的で、静止している物体がマップ内に含まれ得る間に、可動物体は無視されてよい。ナビゲーション目的で、環境内のユーザと物体の間の位置のリスクを軽減させるために、可動物体と静止物体の両方が追跡されてよい。示されているように、エリア内の看板上のテキスト／文字及び／又は固定物の位置などの、静止している物体が、実線のバウンディングボックス５０２を使用してラベル付けされ、一方で、歩行者などの移動している（又は可動な）物体は、破線のバウンディングボックス５０４を使用してラベル付けされる。バウンディングボックス５０２、５０４のそれぞれの範囲内の物体は、（例えば、制御システム１０８及び／又はコンピュータ１１２を介して）処理及び／又は特定され得る。例えば、光学式文字認識（OCR）が使用されて、実線のバウンディングボックス５０２内のテキストを処理することができる。同様に、顔認識技法が使用されて、破線のバウンディングボックス５０４内の個々人などの、人（又は性別、年齢、民族などの、人の他の特徴）を特定することができる。

図６ａ及び図６ｂは、ディスプレイ（例えば、ディスプレイ１１６）上に表示するために、物体追跡システム１００によって生成／更新され得る、例示的なマップ６０２ａ、６０２ｂを示している。図示されているように、ユーザが、ズーム、パン、回転、セーブなどの１以上の機能を介してマップを操作することを可能にするために、ユーザインターフェース１１４が、（例えば、タッチスクリーンであってよいディスプレイ１１６を介して）設けられてよい。マップ６０２ａ、６０２ｂは、（示されているような）二次元（２Ｄ）空間又は三次元（３Ｄ）空間の何れかにおいて、環境内の追跡されている物体又は人６０４（例えば、ユーザ）及び／又は１以上の物体６０６、６０８（例えば、可動物体６０６及び／又は静止物体６０８）の相対的な位置を提供することができる。物体６０６、６０８は、上述された検出器ライブラリ３０８を介して、特定及び／又は記憶されてよい。図６ａで示されているものなどの、ある実施例では、マップ６０２ａが、GPS、RF、及び／又は移動体通信システムを使用して第３者のマッピングサービスによって設けられたマップなどの、開始点としてのエリアの予め生成されたマップ（例えば、既知の街路、建物などを示している）を採用してよい。そのような一実施例では、物体追跡システム１００が、追跡されている物体又は人６０４及び／又は１以上の追跡されている物体６０６、６０８に関する情報（例えば、物体の位置、詳細など）を含むように、予め生成されたマップを更新することができる。それによって、マップ６０２ａがもたらされる。マップ６０２ａは、追跡されている物体又は人６０４及び／又は１以上の追跡されている物体６０６の最後の既知の位置に少なくとも部分的に基づいて更新されてよい。図６ｂを参照すると、もう一つの形態のマップ６０２ｂが、物体追跡システム１００によって生成されてよい。それによって、１以上の物体６０６が、距離に応じて範疇（例えば、近い、中間、又は遠い）に分けられてよい。特定の態様では、形態にかかわりなく、マップ６０２ａ、６０２ｂが、複数のセンサ（例えば、複数のカメラ１０４）からのデータを使用して生成されてよい。複数のセンサは、単一の物体追跡システム１００又は複数の物体追跡システム１００の部分であってよい。複数の物体追跡システム１００は、通信ネットワーク１１８などの１以上のネットワークを介して互いに動作可能に接続されていてよい。

本開示の態様は、ハードウェア、ソフトウェア、及び／又はそれらの組み合わせによって実装されてよいことが理解できる。ソフトウェアは、非一過性の機械可読（例えば、コンピュータ可読）記憶媒体、例えば、消去可能若しくは再書き込み可能なリードオンリーメモリ（ROM）、メモリ、例えば、ランダムアクセスメモリ（RAM）、メモリチップ、メモリデバイス、若しくはメモリ集積回路（IC）、若しくは光学的若しくは磁気的に記録可能な非一過性の機械可読、例えば、コンピュータ可読記憶媒体、例えば、コンパクトディスク（CD）、デジタル多用途ディスク（DVD）、磁気ディスク、又は磁気テープ内に記憶されてよい。

特定の実施態様を参照しながら本方法及び／又はシステムを説明してきたが、当業者であれば、本方法及び／又はシステムの範囲から逸脱することなく、様々な変形が可能であることと、均等物に置換することが可能であることを理解するだろう。加えて、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は材料を適合させるために、多数の修正を加えることが可能である。例えば、開示された実施例のシステム、ブロック、及び／又は構成要素は、組み合わされ、分割され、再配置され、且つ／又は他の方法で変形されてよい。したがって、本方法及び／システムは、開示された特定の実施態様に限定されるものではない。その代わりに、本方法及び／又はシステムは、字義通り及び均等論の下の両方で、添付の特許請求の範囲に入る全ての実施態様を含むこととなる。

本開示は、以下の条項で説明される主題を含む。
条項１．
物体追跡システム（１００）であって、
第１のカメラ（１０４）構成に従って周囲環境の画像（５００）をキャプチャするように構成されたカメラ（１０４）であって、第２のカメラ（１０４）構成を採用するように構成されたカメラ（１０４）、並びに
前記カメラ（１０４）に動作可能に接続されたコンピュータ（１１２）であって、
前記カメラ（１０４）からの前記画像（５００）を処理し、
検出アルゴリズムのライブラリから選択された検出アルゴリズムを使用して前記画像（５００）内の可動物体（６０６、６０８）（６０８）を検出し、
前記可動物体（６０６、６０８）（６０８）の現在の位置を推定し、
前記可動物体（６０６、６０８）（６０８）の前記現在の位置に対するユーザの現在の位置を推定し、
前記可動物体（６０６、６０８）（６０８）の将来の位置を予測し、及び
前記可動物体（６０６、６０８）（６０８）の前記将来の位置に少なくとも部分的に基づいて前記第２のカメラ（１０４）構成を決定するように構成された、コンピュータ（１１２）を備える、物体追跡システム（１００）。
条項２．
慣性測定ユニット（IMU（１１０））を更に備え、前記コンピュータ（１１２）が、前記ユーザの角速度又は線形加速度のうちの少なくとも一方を測定するように構成されている、条項１に記載の物体追跡システム（１００）。
条項３．
前記コンピュータ（１１２）が、（１）前記IMU（１１０）の測定に少なくとも部分的に基づいて、前記ユーザの前記現在の位置を推定し、（２）前記IMU（１１０）の測定に少なくとも部分的に基づいて、前記可動物体（６０６、６０８）（６０８）の前記将来の位置を予測するように構成されている、条項２に記載の物体追跡システム（１００）。
条項４．
前記コンピュータ（１１２）が、前記可動物体（６０６、６０８）（６０８）の前記現在の位置、及び、前記可動物体（６０６、６０８）（６０８）に対する前記ユーザの前記現在の位置を反映したマップを生成又は更新するように構成されている、条項１から３のいずれか一項に記載の物体追跡システム（１００）。
条項５．
前記カメラ（１０４）が、前記ユーザに結合されたウェアラブルに接続又は統合されている、条項２に記載の物体追跡システム（１００）。
条項６．
前記可動物体（６０６、６０８）（６０８）の前記現在の位置、前記ユーザの前記現在の位置、又は前記可動物体（６０６、６０８）（６０８）の前記将来の位置のうちの少なくとも１つが、カルマンフィルタを使用して決定される、条項１から５のいずれか一項に記載の物体追跡システム（１００）。
条項７．
前記コンピュータ（１１２）が、全地球測位システム（GPS）に動作可能に接続されており、GPS拒否環境内で前記可動物体（６０６、６０８）（６０８）に対する前記ユーザの前記現在の位置を決定するように構成されている、条項１から６のいずれか一項に記載の物体追跡システム（１００）。
条項８．
位置決めシステムであって、
現在のパン、チルト、及び／又はズーム（PTZ）構成に従って配向されたカメラ（１０４）であって、前記現在のPTZ構成に従って配向されている間に画像（５００）をキャプチャするように構成されたカメラ（１０４）、
コンピュータ（１１２）ビジョン法を使用して前記画像（５００）を処理するように構成されたプロセッサ、
前記カメラ（１０４）から前記現在のPTZ構成を受け取り、新しいPTZ構成を生成し、前記新しいPTZ構成を前記カメラ（１０４）に通信するように構成されたコントローラ、
前記画像（５００）内の可動物体（６０６、６０８）（６０８）を検出するように構成された検出器であって、前記可動物体（６０６、６０８）（６０８）がバウンディングボックス（５０２、５０４）及び物体（６０６、６０８）検出アルゴリズムのライブラリから選択された検出アルゴリズムを使用して検出され、前記選択が検出されている物体（６０６、６０８）の種類に基づき、前記検出されている物体（６０６、６０８）の種類にもはや合致しない場合に検出アルゴリズムを起動解除するように構成された検出器、並びに
ユーザの現在の推定された位置を記憶し、前記物体の種類、前記可動物体（６０６、６０８）（６０８）の推定された位置、及び記憶されたマップに基づいて前記ユーザの新しい推定された位置を計算するように構成された、状態推定器であって、前記記憶されたマップが、前記ユーザの前記現在の推定された位置に対する前記可動物体（６０６、６０８）（６０８）の前記推定された位置を含む、状態推定器を備える、位置決めシステム。
条項９．
前記カメラ（１０４）が、前記ユーザに結合されたウェアラブルに接続又は統合されている、条項８に記載の位置決めシステム。
条項１０．
前記コントローラが、検出されている前記物体（６０６）（６０８）の種類、前記ユーザの前記新しい推定された位置、又は外部デバイスによって共有された情報のうちの少なくとも１つに少なくとも部分的に基づいて、新しいPTZ構成を生成する、条項８又は９に記載の位置決めシステム。
条項１１．
前記カメラ（１０４）が、全方位カメラ（１０４）である、条項８から１０のいずれか一項に記載の位置決めシステム。
条項１２．
画像（５００）をキャプチャするように構成された第２のカメラ（１０４）を更に備える、条項８から１１のいずれか一項に記載の位置決めシステム。
条項１３．
慣性測定ユニット（IMU（１１０））を更に備える、条項８から１２のいずれか一項に記載の位置決めシステム。
条項１４．
前記状態推定器が、前記ユーザの新しい推定された位置を計算するために、少なくとも部分的に走行距離計による計測を使用する、条項８から１３のいずれか一項に記載の位置決めシステム。
条項１５．
前記状態推定器が、カルマンフィルタを使用する、条項８から１４のいずれか一項に記載の位置決めシステム。
条項１６．
ユーザ入力を受け取るように構成されたインターフェースを更に備え、前記入力が、検出されている前記物体（６０６、６０８）の種類を決定する助けとなるように使用される、条項８から１５のいずれか一項に記載の位置決めシステム。
条項１７．
個別の物体を視覚的に位置特定するための方法であって、
第１のパン、チルト、及び／又はズーム（PTZ）構成を使用するカメラ（１０４）によって画像（５００）をキャプチャするステップ、
適切な検出アルゴリズムを決定するために前記画像（５００）を処理するステップ、
検出アルゴリズムのライブラリから前記適切な検出アルゴリズムを選択するステップ、
物体（６０６、６０８）をバウンディングボックス（５０２、５０４）で囲む前記検出アルゴリズムを使用して前記画像（５００）内の前記物体（６０６、６０８）を検出するステップ、
前記物体（６０６、６０８）が移動しているかそれとも静止しているかを判定するステップ、
前記物体（６０６、６０８）が静止しているとの判定に応答して、
カルマンフィルタ及び慣性測定ユニット（IMU（１１０））からの慣性測定値を使用して、ユーザ又は他の物体（６０６、６０８）のうちの１つに対する前記物体（６０６、６０８）の位置を推定し、
前記物体（６０６、６０８）の前記位置をマップメモリ内に記憶するステップ、
第２のPTZ構成を決定するステップ、並びに
前記第２のPTZ構成に従って前記カメラ（１０４）を配向するステップを含む、方法。
条項１８．
前記画像（５００）を処理するステップ、前記適切な検出アルゴリズムを選択するステップ、前記画像（５００）内の物体（６０６、６０８）を検出するステップ、及び前記物体（６０６、６０８）が移動しているかそれとも静止しているかを判定するステップのうちの少なくとも１つで、コンピュータ（１１２）ビジョンが使用される、条項１７に記載の方法。
条項１９．
前記カメラ（１０４）が複数のカメラ（１０４）を備え、前記複数のカメラ（１０４）で全方位カバレージする、条項１７又は１８に記載の方法。
条項２０．
推定された位置及び／又はマップ情報のうちの少なくとも一方を、外部デバイスと共有するステップを更に含む、条項１７から１９のいずれか一項に記載の方法。

Claims (11)

1. 物体追跡システム（１００）であって、
   第１のカメラ（１０４）構成に従って周囲環境の画像（５００）をキャプチャするように構成されたカメラ（１０４）であって、第２のカメラ（１０４）構成を採用するように構成されたカメラ（１０４）、並びに
   前記カメラ（１０４）に動作可能に接続されたコンピュータ（１１２）であって、
   前記カメラ（１０４）からの前記画像（５００）を処理し、
   検出アルゴリズムのライブラリから選択された検出アルゴリズムを使用して前記画像（５００）内の可動物体（６０６、６０８）（６０８）を検出し、
   前記可動物体（６０６、６０８）（６０８）の現在の位置を推定し、
   前記可動物体（６０６、６０８）（６０８）の前記現在の位置に対するユーザの現在の位置を推定し、
   前記可動物体（６０６、６０８）（６０８）の将来の位置を予測し、及び
   前記可動物体（６０６、６０８）（６０８）の前記将来の位置に少なくとも部分的に基づいて前記第２のカメラ（１０４）構成を決定するように構成された、コンピュータ（１１２）を備える、物体追跡システム（１００）。
2. 慣性測定ユニット（IMU（１１０））を更に備え、前記コンピュータ（１１２）が、前記ユーザの角速度又は線形加速度のうちの少なくとも一方を測定するように構成されている、請求項１に記載の物体追跡システム（１００）。
3. 前記コンピュータ（１１２）が、（１）前記IMU（１１０）の測定に少なくとも部分的に基づいて、前記ユーザの前記現在の位置を推定し、（２）前記IMU（１１０）の測定に少なくとも部分的に基づいて、前記可動物体（６０６、６０８）（６０８）の前記将来の位置を予測するように構成されている、請求項２に記載の物体追跡システム（１００）。
4. 前記コンピュータ（１１２）が、前記可動物体（６０６、６０８）（６０８）の前記現在の位置、及び、前記可動物体（６０６、６０８）（６０８）に対する前記ユーザの前記現在の位置を反映したマップを生成又は更新するように構成されている、請求項１から３のいずれか一項に記載の物体追跡システム（１００）。
5. 前記カメラ（１０４）が、前記ユーザに結合されたウェアラブルに接続又は統合されている、請求項２に記載の物体追跡システム（１００）。
6. 前記可動物体（６０６、６０８）（６０８）の前記現在の位置、前記ユーザの前記現在の位置、又は前記可動物体（６０６、６０８）（６０８）の前記将来の位置のうちの少なくとも１つが、カルマンフィルタを使用して決定される、請求項１から５のいずれか一項に記載の物体追跡システム（１００）。
7. 前記コンピュータ（１１２）が、全地球測位システム（GPS）に動作可能に接続されており、GPS拒否環境内で前記可動物体（６０６、６０８）（６０８）に対する前記ユーザの前記現在の位置を決定するように構成されている、請求項１から６のいずれか一項に記載の物体追跡システム（１００）。
8. 個別の物体を視覚的に位置特定するための方法であって、
   第１のパン、チルト、及び／又はズーム（PTZ）構成を使用するカメラ（１０４）によって画像（５００）をキャプチャするステップ、
   適切な検出アルゴリズムを決定するために前記画像（５００）を処理するステップ、
   検出アルゴリズムのライブラリから前記適切な検出アルゴリズムを選択するステップ、
   物体（６０６、６０８）をバウンディングボックス（５０２、５０４）で囲む前記検出アルゴリズムを使用して前記画像（５００）内の前記物体（６０６、６０８）を検出するステップ、
   前記物体（６０６、６０８）が移動しているかそれとも静止しているかを判定するステップ、
   前記物体（６０６、６０８）が静止しているとの判定に応答して、
   カルマンフィルタ及び慣性測定ユニット（IMU（１１０））からの慣性測定値を使用して、ユーザ又は他の物体（６０６、６０８）のうちの１つに対する前記物体（６０６、６０８）の位置を推定し、
   前記物体（６０６、６０８）の前記位置をマップメモリ内に記憶するステップ、
   第２のPTZ構成を決定するステップ、並びに
   前記第２のPTZ構成に従って前記カメラ（１０４）を配向するステップを含む、方法。
9. 前記画像（５００）を処理するステップ、前記適切な検出アルゴリズムを選択するステップ、前記画像（５００）内の物体（６０６、６０８）を検出するステップ、及び前記物体（６０６、６０８）が移動しているかそれとも静止しているかを判定するステップのうちの少なくとも１つで、コンピュータ（１１２）ビジョンが使用される、請求項８に記載の方法。
10. 前記カメラ（１０４）が複数のカメラ（１０４）を備え、前記複数のカメラ（１０４）で全方位カバレージする、請求項８又は９に記載の方法。
11. 推定された位置及び／又はマップ情報のうちの少なくとも一方を、外部デバイスと共有するステップを更に含む、請求項８から１０のいずれか一項に載の方法。