JP2020514713A - 機械知覚のためのシステム及び方法 - Google Patents

Abstract

１又は２以上の物体の位置を決定するシステムは、フォトンのビームを発して１又は２以上の物体の領域を順次的に照明するための送信機と、フォトンを検出するためのピクセルのアレイを各々が有し互いに離間して配置された複数のカメラと、格納された命令を実行して方法の動作を行う１又は２以上のプロセッサデバイスとを含み、本方法が、フォトンのビームで１又は２以上の物体の領域を順次的に照明するよう送信機に指示する段階と、領域の各々に対して、カメラから１又は２以上の物体の領域によって反射又は散乱されたビームのフォトンを検出した各ピクセルのアレイ位置を受信する段階と、カメラによって検出された領域の各々に対して、当該領域によって反射又は散乱されたビームのフォトンを検出したピクセルの受信されたアレイ位置を用いて領域の位置を決定する段階と、を含む。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１６年１２月２７日に以前に出願された米国仮特許出願米国連番第６２／４９８,５３４号明細書、及び２０１７年１０月１０日に出願された米国仮特許出願米国連番第６２／６０６、８７９号明細書に基づく実用特許出願であり、本件の出願日の利益は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）の規定により本明細書で主張され、各々が全体的に引用により組み入れられる。

本発明は、一般的には、画像化システム並びに画像化システムを実施及び使用する方法に関する。本発明はまた、各ボクセルの順次的照明及び複数の受信機を用いた検出を備えた順次的ボクセル画像化システムに関する。

従来の多くの画像化システムは、一連の静止画像として３Ｄモーションリアリティを取り込もうとしている。画像はフレームとして取り込まれ、すなわち、共有時間期間にわたって並行して取り込まれる数百万のピクセルから構成されるバッチ観測である。フレームとして画像を扱うことによって、従来のマルチビューシステムはフォトンスターベーションとモーションぼけの間のホブソンの選択を強いられる可能性があり、空間−時間的曖昧さとコンピューテーションの複雑さを結果として生じる。従来のフレームベースのモーションキャプチャシステムのレガシーの例は、ステレオカメラ、構造化光３Ｄ知覚システム、及びモーションシステムからの構造である。

十分なフォトンが各カメラの数百万のピクセルの最小信号要件を満足できるようにするために、シャッターによって制御されるフレーム露出期間は一般的には数ミリ秒である。各ピクセルは、一般的には、少なくとも１００フォトンを必要とし、１０メガピクセルカメラで単一のフレームを最小限露出するために少なくとも膨大な数のフォトンを必要とし、これは通常の照明状態の下では数ミリ秒かかる。

この時間期間の間の何れのモーションも重大なモーションのぼけを起こすことがある。例えば、１ミリ秒露出に対して、１０ｍ／秒の中程度の速度（２２．５ｍｐｈ）の４Ｋセンサの４メートル視野（ＦｏＶ）を横断する物体の端が１ｍｓで１０ｍｍ動き、１０ピクセルのモーションのぼけを起こす（すなわち、モーションはシステムの空間解像度を１／１０、又は４ｋの代わりにカメラのＦｏＶにわたって４００ピクセルだけに効率的に低減する）。短い露出はこのぼけを低減するが、これらは、端及び形の検出が難しくなるようなコントラストを大幅に低減するフォトンの不足を結果として生じる。例えば、１／１０露出時間は、フォトンバジェットを３フォトンの固有の（例えば、ポワゾンフラクチュエーション）ノイズを持つ１０フォトン（１００フォトンの１／１０）に低減する（すなわち、３３％信号対雑音比）。大きなアパーチャは、一般的には、大きく高価なセンサ及びオプティクスを含み、システムのフォーカスの深度を低減する。

従来のマルチビューシステムは、エッジコントラストが極めて欠落した、ぼけ又は露光不足のノイズの多いモーション画像を生成する可能性がある。これは、推測的で誤りの多い特徴マッチを結果として生じる可能性がある。後者は、ＳＩＦＴ及び勾配降下法などの従来の特徴マッチングアルゴリズムを妨げる統計的グロスアウトライヤーを形成し、ＲａｎＳａｃなどのコンピュータ的に強力なアウトライヤー拒絶アルゴリズムを必要とする。多くの従来のマルチビュー知覚システムにおけるフレーム毎の方式は第２の主要な欠点を有し、これは、カメラの数（Ｎ）と１つのカメラ当たりのピクセルの数（Ｍ）を有する（Ｍ^N）の大きさで指数的に第２オーダーを増加させる固有のコンピューテーションの複雑さを結果として生じる。

フレームベースのマルチビューシステムでは、ビュー又はピクセルの追加は、コンピューテーションの過負荷を直ちに生じることがあり、大量のセットアップ及び較正問題が付きまとう。複数の画像間の正確なピクセルレベル対応を設定する時に特にコンピューテーション問題が生じる。例えば、３カメラシステム（Ｎ＝３）における正確な密度（ピクセルレベル）対応の設定は、重なり合う１０メガピクセルの間の最大百万の３方向対応を並べ替え捜し出す段階を要求することがあり、これはコンピュ―テーション的に複雑である（例えば、１０²¹可能ピクセル−ピクセル−ピクセル組み合わせ（Ｍ^N＝１０^7x3）を介したサーチ及び並べ替え）。

米国仮特許出願米国連番第６２／４９８,５３４号明細書 米国仮特許出願米国連番第６２／６０６、８７９号明細書

オーダー（Ｍ^N）の同様のコンピュ―テーション的複雑さがモーションからの構造（ＳｆＭ）システムに生じ、ここで連続するフレーム間の画像（又はピクセル）対応を複数のフレームを通じて発見及び追跡する必要がある。

本発明の様々な実施形態を実施できる例示的環境の実施形態を示す図である。 図１に示すようなシステムに含めることができる例示的モバイルコンピュータの実施形態を示す図である。 図１に示すようなシステムに含めることができる例示的ネットワークコンピュータの実施形態を示す図である。 例示的位置決定システムの一部分の平面図の実施形態を示す図である。 順次的に照明を用いた位置決定の例示的方法の論理的流れ図の実施形態を示す図である。 ４つのポイントの照明及び３つのカメラを用いた検出の実施形態を示す図である。 例示的アレイ位置ベクトルを示す例示的位置決定システムの一部分の平面図の実施形態を示す図である。 例示的アレイ位置ベクトルを示す例示的位置決定システムの一部分の平面図の別の実施形態を示す図である。 モータ車両における例示的位置決定システムの実施形態を示す図である。 モータ車両における例示的位置決定システムの別の実施形態を示す図である。 拡張現実（ＡＲ）タイプの頭部装着ディスプレイ（ＨＭＤ）システムにおける例示的位置決定システムの第３の実施形態を示す図である。 ２つの送信機を用いた例示的位置決定システムの一部分の実施形態を示す図である。 手持式送信機及び手持式モニタリングデバイスを用いた例示的位置決定システムの実施形態を示す図である。 支援ステレオ構成における例示的位置決定システムの実施形態を示す図である。 頭部装着構成における例示的位置決定システムの実施形態を示す図である。 ２つのスキャナ又はプロジェクタを用いた例示的位置決定方法の実施形態を示す図である。 ２つのスキャナ又はプロジェクタを用いた例示的位置決定方法の実施形態を示す図である。 ２つのスキャナ又はプロジェクタを用いた例示的位置決定方法の実施形態を示す図である。 ２つのスキャナ又はプロジェクタを用いた例示的位置決定方法の実施形態を示す図である。 ２つのスキャナ又はプロジェクタを用いた例示的位置決定方法の実施形態を示す図である。 ２つのスキャナ又はプロジェクタを用いた例示的位置決定方法の実施形態を示す図である。 位置決定システムを組み入れた例示的ロボット又は他のデバイスの実施形態を示す図である。 例示的基準追跡システムの実施形態を示す図である。 例示的基準追跡システムの実施形態を示す図である。 ビーム軌跡マニホールド及び走査物体マニホールドを備えた例示的位置決定システムの実施形態を示す図である。 例示的な確率的通知マルチビューカメラオーバーラップシステムの実施形態を示す図である。 例示的ホログラフィックビデオキャプチャシステムの実施形態を示す図である。 例示的目標選択的３Ｄ基準モニタリングシステムの実施形態を示す図である。 例示的目標選択的３Ｄ基準モニタリングシステムの実施形態を示す図である。 カラー照明を利用した例示的位置決定システムの実施形態を示す図である。 位置決定システムを備えた例示的車両の実施形態を示す図である。 カメラのスワップアウトを可能にする例示的位置決定システムの実施形態を示す図である。 プロジェクタによって生成される光ビーム軌跡の１つの実施形態を示す図である。 走査及び予測された軌跡部分を備えた１つの光ビーム軌跡の実施形態を示す図である。 表面上の走査パターン及び異なるカメラ視野から観測されるパターンを投影するプロジェクタの応用の実施形態を示す図である。 カメラのピクセルによる検出事象のトレール及びこのトレールに基づくフォトンビームの軌跡の補間の実施形態を示す図である。 カメラ１のピクセルによる検出事象のトレール及びこのトレールに基づくフォトンビームの軌跡の補間の別の実施形態を示す図である。 カメラ２のピクセルによる検出事象のトレール及びこのトレールに基づくフォトンビームの軌跡の補間の別の実施形態を示す図である。 図２４Ａ及び図２４Ｂ（回転）のトレール及び軌跡のオーバレイを示す図である。

特定の実施形態によって実施することができる本発明の一部を形成し且つ例証によって本発明を示す添付の図面に関して様々な実施形態を以下に詳しく説明する。しかしながら、実施形態は、多くの異なる形式で実施でき且つ本明細書に示す実施形態に制限されるものとして解釈すべきではなく、逆にこれらの実施形態は本開示が詳細で完全なものになるよう提供され、当技術に精通した業者に実施形態の範囲を完全に伝えるものとする。とりわけ、様々な実施形態は、方法、システム、媒体、又はデバイスとすることができる。従って、様々な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形式を取ることができる。従って以下の詳細な説明は制限の意味に捉えるべきではない。

本明細書及び請求項を通して、以下の用語は、本文脈が他に明確に指示しない限り本明細書に明示的に関連付けられる意味を取る。本明細書で用いる「１実施形態では」という句は、同じ実施形態を示すことができるが必ずしも同じ実施形態を指すとは限らない。本明細書で用いる「別の実施形態では」という句は、異なる実施形態を示すことができるが必ずしも異なる実施形態を指すとは限らない。従って、以下に説明するように、本発明の様々な実施形態は、本発明の範囲又は精神から逸脱することなく容易に組み合わせることができる。

加えて、本明細書で用いる「ｏｒ」という語は、本文脈が他に明確に指示しない限り、包括的な「ｏｒ」演算子であり、「ａｎｄ／ｏｒ」という語と同等である。「に基づいて」という語は、本文脈が他に明確に指示しない限り、排他的であり且つ記述していない追加の要素に基づくことを可能にする。加えて、本明細書全体を通して、「ａ」、「ａｎ」、及び「ｔｈｅ」は複数の引用を含む。「ｉｎ」の意味は「ｉｎ」及び「ｏｎ」を含む。

本明細書で用いる「フォトンビーム」、「光ビーム」、「電磁ビーム」、「画像ビーム」、又は「ビーム」という語は、ＥＭスペクトラム内の様々な周波数又は波長のフォトン又は電磁（ＥＭ）波の幾分ローカライズされた（時間的及び空間的）ビーム又はバンドルを指す。出射光ビームは、本明細書で開示する様々な実施形態の様々なものによって送信されるビームである。入射光ビームは、本明細書で開示する様々な実施形態の様々なものによって検出されるビームである。

本明細書で用いる「光源」、「フォトン源」、又は「ソース」という語は、ＥＭスペクトラム内の１又は２以上の波長又は周波数の１又は２以上のフォトン又はＥＭ波を発する、提供する、送信する、又は生成することができる様々なデバイスを指す。光又はフォトン源は、１又は２以上の出射光ビームを送信することができる。フォトン源は、レーザ、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、光バルブなどとすることができる。フォトン源は、原子又は分子の刺激放出、白熱処理、又はＥＭ波又は１又は２以上のフォトンを生成する様々な他の機構を介してフォトンを生成することができる。フォトン源は、事前に決められた周波数の連続又はパルス出射光ビーム、又は周波数の範囲を提供することができる。出射光ビームはコヒーレントな光ビームとすることができる。光源によって発せられたフォトンは、様々な波長又は周波数とすることができる。

本明細書で用いる「受信機」、「フォトン受信機」、「フォトン検出器」、「光検出器」、「検出器」、「フォトンセンサ」、「光センサ」、又は「センサ」という語は、ＥＭスペクトラムの１又は２以上の波長又は周波数の１又は２以上のフォトンの存在を検知する様々なデバイスを指す。フォトン検出器は、複数のフォトン検出又は検知ピクセルの配列などのフォトン検出器のアレイを含むことができる。ピクセルの１又は２以上は、１又は２以上のフォトンの吸収を検知するフォトセンサとすることができる。フォトン検出器は、１又は２以上のフォトンの吸収に応じて信号を生成することができる。フォトン検出器は、ピクセルの１次元（１Ｄ）アレイを含むことができる。しかし他の実施形態では、フォトン検出器は少なくともピクセルの２次元（２Ｄ）アレイを含むことができる。ピクセルは、能動ピクセルセンサ（ＡＰＳ）、電荷結合素子（ＣＣＤ）、単一フォトンアバランシェ検出器（ＳＰＡＤ）（アバランシェモード又はガイガーモードで作動）、相補型金属酸化膜半導体（ＣＭＯＳ）デバイス、シリコン光電子増倍管（ＳｉＰＭ）、光電池セル、光トランジスタ、トゥイッチーピクセルなどの様々なフォトン検知技術を含むことができる。フォトン検出器は１又は２以上の入射光ビームを検出することができる。

本明細書で用いる「目標」という語は、入射光、ＥＭ波、又はフォトンの少なくとも一部分を反射又は散乱する１又は２以上の様々な２Ｄ又は３Ｄ本体である。目標は、「物体」を指すこともできる。例えば、目標又は物体は、本明細書で開示する様々な実施形態の様々なものによって送信される出射光ビームを散乱又は反射することができる。本明細書で説明する様々な実施形態では、１又は２以上の光源は、受信機の１又は２以上及び／又は１又は２以上の目標又は物体に対して相対的に動くものとすることができる。同様に、１又は２以上の受信機は、光源の１又は２以上及び／又は１又は２以上の目標又は物体に対して相対的に動くものとすることができる。１又は２以上の目標又は物体は、光源の１又は２以上及び／又は１又は２以上の受信機に対して相対的に動くものとすることができる。

本明細書で用いる「ボクセル」という語は、３Ｄ空間マニホールド（例えば、３Ｄ型表面）のサンプル表面要素である。

以下は、本発明の一部の態様の基本的な理解を提供するために本発明の実施形態を簡潔に説明する。この簡潔な説明は、広範囲に及ぶ概要として意図するものではない。基本的な又は重要な要素の識別、又は範囲を描写する又はそうでなければ狭めることを意図するものではない。この目的は、単に、後で提示される詳細な説明の前置きとして単純化形式で一部の概念を提示することにある。

簡潔に述べると、様々な実施形態は、１又は２以上の物体の位置を決定する方法又はシステムに向けられる。この方法又はシステムは、物体の領域（又はボクセル）を順次的に照明するためにフォトンのビームを発するためのビーム配列を用いる。この方法及びシステムは、互いに離間して配置された複数のカメラを含み、各カメラは、ピクセルによって受け取られたフォトンを検出する、且つ特に照明された物体によって反射又はそうでなければ散乱されたビームからのフォトンを検出するためのピクセルのアレイを有する。（「反射する」という語が本明細書で用いられるが、この語は、他に指示がない限り、他の光散乱機構を包含することを意図されることが理解されるであろう。）このシステムは、フォトンのビームで物体の領域又はボクセルを順次的に照明するためのビーム配列を向ける。これらの照明される領域の各々に対して、カメラの１又は２以上（好ましくは、少なくとも２又は３）は、この領域によって反射又はそうでなければ散乱されたフォトンを検出し、次にカメラが１又は２以上の物体の領域によって反射又は散乱されたビームのフォトンを検出した画像のアレイ位置を提供する。これらのアレイ位置を用いて物体の領域の位置を決定することができる。

少なくとも一部の実施形態では、このピクセル／ボクセルの順次画像化方式は、（照明された物体の）ボクセルの非常に急速な順次ストリームとして現実を観測する受信機（例えば、カメラ）を利用する。少なくとも一部の実施形態では、このシステム（例えば、ＰｈｏｔｏｎＪｅｔ ＶｏｘｅｌＦｌｏｗシステム）は、固有のナノ秒照明間隔中の各ボクセル、１度に１つのボクセルを観測する。少なくとも一部の実施形態では、この方式は、１秒当たりの数百万のボクセルの正確な３Ｄ位置データの流れを結果として生じることができる。

図示したオペレーティング環境
図１は、本発明の様々な例示的実施形態を実施することができる例示的環境の１つの実施形態の例示的構成要素を示す。本発明を実施するために構成要素の全てを必要とする訳ではなく、構成要素の構成及び種類の何れのバリエーションも、本発明の精神又は範囲から逸脱することなく行い得る。図のように、図１のシステム１００は、光源を含む送信機１０４、複数の受信機（例えば、カメラ）１０６ａ、１０６ｂ、１０６ｃ、１０６ｄ、及びシステムコンピュータデバイス１１０を含む。送信機１０４からのフォトンは、受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄに向けてフォトンの一部を反射する１又は２以上の物体又は目標１０８上の領域（すなわち、ボクセル）を照明する。一部の実施形態では、システム１００は、ネットワーク１０２、及び限定されないがラップトップコンピュータ１１２及び／又は限定されないがスマートフォン又はタブレット１１４などのモバイルコンピュータなどの１又は２以上の他のコンピュータを含むことができるか、又はこれに結合することができる。一部の実施形態では、送信機１０４及び／又は受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄは、限定されないがコンピュータ１１０、１１２、又は１１４の様々なものなどのコンピュータに含まれる１又は２以上の構成要素を含むことができる。送信機１０４及び受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄを、何れかの無線又は有線技術によってコンピュータ１１０、１１２、又は１１４に直接結合することができるか、又はネットワーク１０２を介してコンピュータ１１０、１１２、又は１１４に結合することができる。

物体１０８は３次元の物体とすることができ、何れかの数の個々の物体とすることができる。物体１０８は、理想的な黒い本体ではない、すなわち入射フォトンの少なくとも一部分を反射又は散乱する。

送信機１０４は、光又はフォトンビームを送信する１又は２以上の光源を含むことができる。適切な光源の例は、レーザ、レーザダイオード、発光ダイオード、有機発光ダイオードなどを含む。例えば、送信機１０４は、１又は２以上の可視及び／又は不可視レーザ源を含むことができる。少なくとも一部の実施形態では、送信機１０４は、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）レーザ源の１又は２以上を含む。少なくとも一部の実施形態では、光源は、近距離（ＮＩＲ）又は赤外線（ＩＲ）レーザなどの１又は２以上の不可視レーザ源を含む。光源は、事前に決められた周波数、又は周波数の範囲の連続又はパルス光ビームを提供することができる。提供される光ビームはコヒーレントな光ビームとすることができる。送信機１０４は、限定されないが、図２のモバイルコンピュータ２００及び／又は図３のネットワークコンピュータ３００を含むコンピュータデバイスの特徴、構成要素、又は機能の様々なものを含むことができる。

送信機１０４は、送信された又は出射光ビームを向ける又はフォーカスするための光学構成要素を含む光学システムを含むことができる。この光学システムは、出射光ビームの空間的及び時間的ビームプロファイルを目指し形作ることができる。この光学システムは、出射光ビームを平行にする、扇形に広げる、又はそうでなければ操作することができる。送信機１０４は、物体１０８の上のビームとしてフォトンを走査することができる走査構成を含むことができる。

送信機１０４は、１又は２以上の物体１０８上の領域（例えば、ボクセル）を個々に走査する。ボクセルは、３Ｄ空間マニホールドのサンプル表面要素（例えば、３Ｄ型表面）として説明することができる。少なくとも一部の実施形態では、ボクセルは、比較的小さく、「ピクセルサイズ」として表すことができる。受信機（例えば、カメラ）による順次リアルタイムピクセル位置検出に結合されたボクセルの順次的に照明は、マルチビュー３Ｄ検知システムを改善することができる。本システムの性能は、複数のカメラから流れる時間順次ピクセルデータの並行ストリームの同期化コンフルエンスの配列によって「ターボチャージ」される。少なくとも一部の実施形態では、これらの順次ピクセルデータフローは、送信機１０４の走査レーザプローブビームの反射によって提供される時間的基準のビートに同期される。

少なくとも一部の実施形態では、較正中に短パルスのシーケンスが送信機によって任意選択的に発せられ、これによって反射された信号がカメラによって検出された時に、信号経路の「ジッタ」（例えば、センサ又は信号チェーンの差による）を、中心位置の各検出信号経路の差分到着時間を比較することによって（例えば、図１５に示した事象同時並行性チェック（ＥＣＣ）回路において）決定することができる。

受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄは、１又は２以上のフォトン検知、又はフォトン検出のセンサピクセルのアレイを含むことができる。センサピクセルのアレイは、目標１０８から反射される連続又はパルス光ビームを検出する。ピクセルのアレイは、１次元アレイ又は２次元アレイとすることができる。ピクセルは、照明時に１又は数入射フォトンをアバランシェするＳＰＡＤピクセル又は他のフォトセンシティブ要素を含むことができる。ピクセルは、数ナノ秒のオーダーである単一又は数フォトンを検出する場合の超高速反応時間を有することができる。ピクセルは、送信機１０４によって発生又は送信された周波数を検知することができ且つ他の周波数に対しては相対的に検知しない。受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄは、ピクセルのアレイ全体に受信ビームを向ける及びフォーカスするための光学構成要素を含む光学システムを含むこともできる。受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄは、限定されないが図２のモバイルコンピュータ２００及び／又は図３のネットワークコンピュータ３００を含むコンピュータデバイスの特徴、構成要素、又は機能の様々なものを含むことができる。

コンピュータデバイス１１０の様々な構成要素は、図２−３と共に以下に詳しく説明する（例えば、コンピュータデバイス１１０は、図２のモバイルコンピュータ２００及び／又は図３のネットワークコンピュータ３００の実施形態とすることができる）。しかしながら、簡潔には、コンピュータデバイス１１０は、限定されないが物体又は目標１０８の表面を含む１又は２以上の表面から反射されたフォトンの検出に基づいて本明細書で論じる様々な位置決定処理及び／又は方法を実行できる様々なコンピュータデバイスをバーチャルで含む。検出されたフォトン又は光ビームに基づいて、コンピュータデバイス１１０は、送信機１０４及び受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄの１又は２以上の構成を改変又はそうでなければ修正することができる。コンピュータデバイス１１０の機能を、別のデバイスと通信することなく、送信機１０４、受信機１０６ａ、１０６ｂ、１０６ｃ、１０６ｄ、又はこれらの組み合わせによって実行できることを理解すべきである。

一部の実施形態では、位置決定機能の少なくとも一部は、限定されないがラップトップコンピュータ１１２及び／又は限定されないがスマートフォン又はタブレット１１４などのモバイルコンピュータを含む他のコンピュータによって実行することができる。このようなコンピュータの様々な実施形態は、図２のモバイルコンピュータ２００及び／又は図３のネットワークコンピュータ３００と共に以下に詳しく説明する。

ネットワーク１０２は、送信機１０４、フォトン受信機１０６、追跡コンピュータデバイス１１０、ラップトップコンピュータ１１２、又はスマートフォン／タブレット１１４を含む他のコンピュータデバイスにネットワークコンピュータを結合するよう構成することができる。ネットワーク１０２は、限定されないが、ＵＳＢケーブル、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などの遠隔デバイスと通信するための有線及び／又は無線技術を含むことができる。一部の実施形態では、ネットワーク１０２は、ネットワークコンピュータに他のコンピューティングデバイスを結合するよう構成されたネットワークとすることができる。様々な実施形態では、デバイス間で伝送される情報は、限定されないが、プロセッサ可読命令、遠隔要求、サーバ応答、プログラムモジュール、アプリケーション、生データ、制御データ、システム情報（例えば、ログファイル）、ビデオデータ、音声データ、画像データ、テキストデータ、構造化／未構造化データなどを含む様々な種類の情報を含むことができる。一部の実施形態では、この情報は、１又は２以上の技術及び／又はネットワークプロトコルを用いてデバイス間で伝送することができる。

一部の実施形態では、このようなネットワークは、様々な有線ネットワーク、無線ネットワーク、又はこれらの様々な組み合わせを含むことができる。様々な実施形態では、ネットワーク１０２は、１つの電子デバイスから別の電子デバイスに情報を伝送するための様々な形態の通信技術、トポロジー、コンピュータ可読媒体などを利用することができる。例えばネットワーク１０２は、インターネットに加えて、ＬＡＮ、ＷＡＮ、パーソナルエリアネットワーク（ＰＡＮ）、キャンパスエリアネットワーク、都市エリアネットワーク（ＭＡＮ）、直接通信接続（ユニバーサルシリアルバス（ＵＳＢ）ポートなどを介した）、又はこれらの様々な組み合わせを含むことができる。

様々な実施形態では、ネットワーク内及び／又はネットワーク間の通信リンクは、限定されないが、ツイストペア線、光ファイバ、オープンエアレーザ、同軸ケーブル、一般電話サービス（ＰＯＴＳ）、導波、音響、フル又はフラクショナル専用デジタル回線（Ｔ１、Ｔ２、Ｔ３、又はＴ４など）、Ｅ電話会社、総合デジタル通信網（ＩＳＤＮ）、デジタル加入者回線（ＤＳＬ）、無線リンク（衛星リンクを含む）、又は他のリンク及び／又は当技術に精通した業者に公知の電話会社機構を含むことができる。通信リンクは、制限なしに、例えば、ＤＳ−０、ＤＳ−１、ＤＳ−２、ＤＳ−３、ＤＳ−４、ＯＣ−３、ＯＣ−１２、ＯＣ−４８などを含む多種多様なデジタルシグナリング技術の様々なものを用いることができる。一部の実施形態では、ルータ（又は他の中間ネットワークデバイス）は、異なるアーキテクチャ及び／又はプロトコルに基づくものを含む様々なネットワーク間のリンクとして作用し、１つのネットワークから別のネットワークに情報が転送されるようにする。他の実施形態では、遠隔コンピュータ及び／又は他の関係のある電子デバイスをモデム及び一時的電話リンクを介してネットワークに接続することができる。基本的には、ネットワーク１０２は、情報がそれによってコンピュータデバイス間を移動できる様々な通信技術を含むことができる。

ネットワーク１０２は、一部の実施形態では、様々な携帯式ネットワークデバイス、遠隔コンピュータ、有線ネットワーク、他の無線ネットワークなどを結合するよう構成することができる様々な無線ネットワークを含むことができる。無線ネットワークは、独立型アドホックネットワークなどにオーバレイすることができる多種多様なサブネットワークの様々なものを含み、少なくともクライアントコンピュータ（例えば、ラップトップコンピュータ１１２又はスマートフォン又はタブレットコンピュータ１１４）（又は他の移動デバイス）のインフラストラクチャ指向接続を提供することができる。このようなサブネットワークは、メッシュネットワーク、無線ＬＡＮ（ＷＬＡＮ）ネットワーク、セルラーネットワーなどを含むことができる。様々な実施形態の１又は２以上では、本発明のシステムは１つより多い無線ネットワークを含むことができる。

ネットワーク１０２は、複数の有線及び／又は無線通信プロトコル及び／又は技術を用いることができる。ネットワークが用いることができる通信プロトコル及び／又は技術の様々な世代の例（例えば、第３（３Ｇ）、第４（４Ｇ）、又は第５（５Ｇ））は、限定されないが、グローバル・システム・フォー・モバイル・コミュニケーション（ＧＳＭ（登録商標））、ジェネラル・パケット・ラジオ・サービス（ＧＰＲＳ）、拡張データＧＳＭ環境（ＥＤＧＥ）、符号分割多元接続（ＣＤＭＡ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続２０００（ＣＤＭＡ２０００）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、長期進化（ＬＴＥ）、ユニバーサル・モバイル・テレコミュニケーション・システム（ＵＭＴＳ）、進化データ最適化（Ｅｖ−ＤＯ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭａｘ）、時分割多元接続（ＴＤＭＡ）、直交周波数分割多重化（ＯＦＤＭ）、超広帯域（ＵＷＢ）、無線アプリケーションプロトコル（ＷＡＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、オープンシステム相互接続（ＯＳＩ）モデルプロトコルの様々な部分、セッション初期化プロトコル／リアルタイムトランスポートプロトコル（ＳＩＲ／ＲＴＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、又は多種多様な他の通信プロトコル及び／又は技術の様々なものを含むことができる。基本的には、ネットワークは、情報が、送信機１０４、フォトン受信機１０６、及び追跡コンピュータデバイス１１０、並びに図示していない他のコンピュータデバイス間でそれによって移動できる通信技術を含むことができる。

様々な実施形態では、ネットワーク１０２の少なくとも一部分を、様々な通信リンクによって接続することができるノード、リンク、経路、端末、ゲートウェイ、ルータ、スイッチ、ファイヤウォール、ロードバランサ、フォワーダー、リピータ、光学−電気コンバータなどの自律システムとして構成することができる。これらの自律システムは、ネットワークのネットワークトポロジーを修正できるように現在の作動状態及び／又は規則ベースのポリシーに基づいて自己編成するよう構成することができる。

例示的なモバイルコンピュータ
図２は、図示した例示的構成要素より多い又は少ない構成要素を含むことができる例示的モバイルコンピュータ２００の１つの実施形態を示す。モバイルコンピュータ２００は、例えば、図１のシステム１００のラップトップコンピュータ１１２、スマートフォン／タブレット１１４、及び／又はコンピュータ１１０の１又は２以上の実施形態を表すことができる。従ってモバイルコンピュータ２００は、移動デバイス（例えば、スマートフォン又はタブレット）、固定／デスクトップコンピュータなどを含むことができる。

クライアントコンピュータ２００は、バス２０６を介してメモリ２０４と通信するプロセッサ２０２を含むことができる。クライアントコンピュータ２００は、電源２０８、ネットワークインタフェース２１０、プロセッサ可読固定ストレージデバイス２１２、プロセッサ可読取り外し可能ストレージデバイス２１４、入力／出力インタフェース２１６、カメラ２１８、ビデオインタフェース２２０、タッチインタフェース２２２、ハードウェアセキュリティモジュール（ＨＳＭ）２２４、プロジェクタ２２６、ディスプレイ２２８、キーパッド２３０、照明器２３２、音声インタフェース２３４、全地球測位システム（ＧＰＳ）送受信機２３６、オープンエアジェスチャインタフェース２３８、温度インタフェース２４０、触覚インタフェース２４２、及びポインティングデバイスインタフェース２４４を含むことができる。クライアントコンピュータ２００は任意選択的に、基地局（図示せず）と、又は別のコンピュータと直接通信することができる。１つの実施形態では、図示していないが、クライアントコンピュータ２００の向きを測定及び／又は維持するためにクライアントコンピュータ２００の中でジャイロスコープを用いることができる。

電源２０８は、クライアントコンピュータ２００に電力を供給することができる。再充電可能又は再充電不可バッテリを用いて電力を供給することができる。電力は、バッテリを補足する及び／又は再充電するＡＣアダプタ又は給電ドッキングクレードルなどの外部電源によって提供することもできる。

ネットワークインタフェース２１０は、限定されないが、ＯＳＩモデル・フォー・モバイル・コミュニケーション（ＧＳＭ）、ＣＤＭＡ、時分割多元接続（ＴＤＭＡ）、ＵＤＰ、ＴＣＰ／ＩＰ、ＳＭＳ、ＭＭＳ、ＧＰＲＳ、ＷＡＰ、ＵＷＢ、ＷｉＭａｘ、ＳＩＰ／ＲＴＰ、ＧＰＲＳ、ＥＤＧＥ、ＷＣＤＭＡ（登録商標）、ＬＴＥ、ＵＭＴＳ、ＯＦＤＭ、ＣＤＭＡ２０００、ＥＶ−ＤＯ、ＨＳＤＰＡのＰＳＩモデルの様々な部分、又は多種多様な他の無線通信プロトコルの様々なものを実施するプロトコル及び技術を含む１又は２以上の通信プロトコル及び技術と共に使用するよう構成される。ネットワークインタフェース２１０は、送受信機、送受信デバイス、又はネットワークインタフェースカード（ＮＩＣ）として公知であることがある。

音声インタフェース２３４は、人間の声の音などの音声信号を生成及び受信するよう構成することができる。例えば音声インタフェース２３４は、スピーカ及びマイクロフォン（図示せず）に結合して、他者との通信を可能にする及び／又はある動作の音声肯定応答を生成することができる。音声インタフェース２３４のマイクロフォンは、例えば、音声認識、サウンドに基づくタッチの検出などを用いてクライアントコンピュータ２００への入力又は制御に使用することができる。

ディスプレイ２２８は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、電子インク、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）又はコンピュータと共に使用できる光反射又は光透過ディスプレイの様々な他の種類とすることができる。ディスプレイ２２８は、スタイラスなどの物体からの入力又は人間の手からのディジットを受信するよう構成されたタッチインタフェース２２２を含むこともでき、抵抗性、容量性、表面音響波（ＳＡＷ）、赤外線、レーダ、又は他の技術を用いてタッチ及び／又はジェスチャを検知することができる。

プロジェクタ２２６は、遠隔の壁又は遠隔画面などの様々な他の反射物体に画像を投影することができる遠隔手持式プロジェクタ又は一体型プロジェクタとすることができる。

ビデオインタフェース２２０は、静止画像、ビデオセグメント、赤外線ビデオなどのビデオ画像を取り込むよう構成することができる。例えばビデオインタフェース２２０は、デジタルビデオカメラ、ウェブカメラなどに結合することができる。ビデオインタフェース２２０は、レンズ、画像センサ、及び他の電子機器を含むことができる。画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）集積回路、電荷結合素子（ＣＣＤ）、又は光を検知するための様々な他の集積回路を含むことができる。

キーパッド２３０は、ユーザからの入力を受信するよう構成された様々な入力デバイスを含むことができる。例えばキーパッド２３０は、プッシュボタン数字ダイヤル、又はキーボードを含むことができる。キーパッド２３０は、画像の選択及び送信に関連付けられるコマンドボタンを含むこともできる。

照明器２３２は、ステータス指示を提供する及び／又は光を提供することができる。照明器２３２は、特定の期間に又は事象メッセージに応答してアクティブのままにすることができる。例えば、照明器２３２がアクティブである場合、クライアントコンピュータが給電される間はキーパッド２３０のボタンをバックライトしてオンに留まることができる。照明器２３２は、別のクライアントコンピュータをダイヤルするなどの特定の動作が実行された場合に様々なパターンでこれらのボタンをバックライトすることができる。照明器２３２は、動作に応答してクライアントコンピュータの透明な又は半透明なケース内に位置付けられた光源を明るくすることができる。

クライアントコンピュータ２００は、キー、デジタル証明、パスワード、パスフレーズ、２因子認証情報などのセキュリティ／暗号情報を生成、格納及び／又は使用するための追加の不正使用できないセーフガードを提供するＨＳＭ２２４を含むこともできる。一部の実施形態では、ハードウェアセキュリティモジュールを用いて、１又は２以上の標準的公開鍵インフラストラクチャ（ＰＫＩ）を支援することができ、鍵ペアなどを生成、管理、及び／又は格納するために利用することができる。一部の実施形態では、ＨＳＭ２２４は、独立型コンピュータとすることができ、他のケースでは、ＨＳＭ２２４をクライアントコンピュータに追加できるハードウェアカードとして構成することができる。

クライアントコンピュータ２００は、外部周辺デバイス又は他のクライアントコンピュータ及びネットワークコンピュータなどの他のコンピュータと通信するための入力／出力インタフェース２１６を含むこともできる。周辺デバイスは、音声ヘッドセット、仮想現実ヘッドセット、ディスプレイ画面グラス、遠隔スピーカシステム、遠隔スピーカ及びマイクロフォンシステムなどを含むことができる。入力／出力インタフェース２１６は、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、Ｗｉ−Ｆｉ（商標）、ＷｉＭａｘ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの１又は２以上の技術を用いることができる。

入力／出力インタフェース２１６は、ジオロケーション（例えば、ＧＰＳ）を決定する、電力状態をモニタする（例えば、電圧センサ、電流センサ、周波数センサなど）、天気をモニタする（例えば，サーモスタット、バロメータ、風力計、湿度検出器、降水スケールなど）ための１又は２以上のセンサを含むこともできる。センサは、クライアントコンピュータ２００の外部にあるデータを収集及び／又は測定する１又は２以上のハードウェアセンサとすることができる。

触覚インタフェース２４２は、クライアントコンピュータのユーザに触知性フィードバックを提供するよう構成することができる。例えば、触覚インタフェース２４２を用いて、コンピュータの別のユーザが呼び出している場合に特定の方法でクライアントコンピュータ２００を振動させることができる。温度インタフェース２４０を用いて、温度測定入力及び／又は温度変更出力をクライアントコンピュータ２００のユーザに提供することができる。オープンエアジェスチャインタフェース２３８は、例えば、ユーザによって保持又は身に着けられたコンピュータ内部の単一の又はステレオビデオカメラ、レーダ、ジャイロスコープセンサを用いることによって、クライアントコンピュータ２００のユーザの物理的ジェスチャーを検知することができる。カメラ２１８を用いて、クライアントコンピュータ２００のユーザの物理的な眼の動きを追跡することができる。

ＧＰＳ送受信機２３６は、一般的に緯度及び経度値として位置を出力する地球の表面上のクライアントコンピュータ２００の物理座標を決定することができる。ＧＰＳ送受信機２３６は、限定ではないが、三角測量、支援ＧＰＳ（ＡＧＰＳ）、拡張観測時間差分（Ｅ−ＯＴＤ）、セル識別子（ＣＩ）、サービスエリア識別子（ＳＡＩ）、拡張タイミングアドバンス（ＥＴＡ）、基地局サブシステム（ＢＳＳ）などを含む他のジオポジショニング機構を用いて、地球の表面上のクライアントコンピュータ２００の物理的位置を決定することができる。異なる条件下で、ＧＰＳ送受信機２３６は、クライアントコンピュータ２００の物理的位置を決定できることを理解されたい。しかし１又は２以上の実施形態では、クライアントコンピュータ２００は、他の構成要素を介して、例えば、媒体アクセス制御（ＭＡＣ）アドレス、ＩＰアドレスなどを含むクライアントコンピュータの物理的位置を決定するために用いることができる他の情報を提供することができる。

ヒューマンインタフェース構成要素は、クライアントコンピュータ２００への遠隔入力及び／又は出力を可能にするクライアントコンピュータ２００から物理的に分離した周辺デバイスとすることができる。例えば、ディスプレイ２２８又はキーパッド２３０などのヒューマンインタフェース構成要素を介してここで説明するようにルーティングされる情報を、代わりにネットワークインタフェース２１０を介して遠隔に位置付けられた適切なヒューマンインタフェース構成要素にルーティングすることができる。遠隔とすることができるヒューマンインタフェース周辺構成要素の例は、限定ではないが、音声デバイス、ポインティングデバイス、キーパッド、ディスプレイ、カメラ、プロジェクタなどを含む。これらの周辺構成要素は、Ｂｌｕｅｔｏｏｔｈ（商標）、Ｚｉｇｂｅｅ（商標）などのピコネットワークを通じて通信することができる。このような周辺ヒューマンインタフェース構成要素を備えたクライアントコンピュータの１つの制限ではない例は、ウェアラブルコンピュータであり、別々に位置付けられたクライアントコンピュータと遠隔で通信する１又は２以上のカメラと共に遠隔ピコプロジェクタを含み、壁又はユーザの手などの反射された表面にピコプロジェクタによって投影された画像の部分に向けてユーザのジェスチャを検知することができる。

メモリ２０４は、ＲＡＭ、ＲＯＭ、及び／又は他の種類のメモリを含むことができる。メモリ２０４は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報のストレージのためのコンピュータ可読ストレージ媒体（デバイス）の例を示す。メモリ２０４は、クライアントコンピュータ２００の低レベル作動を制御するＢＩＯＳ２３６を格納することができる。メモリは、クライアントコンピュータ２００の作動を制御するオペレーティングシステム２４８を格納することもできる。この構成要素は、ＵＮＩＸのバージョン、又はＬＩＮＵＸ（商標）などの汎用オペレーティングシステム、又はＷｉｎｄｏｗｓＰｈｏｎｅ（商標）などの特定クライアントコンピュータ通信オペレーティングシステム、又はＳｙｍｂｉａｎ（登録商標）オペレーティングシステムを含むことができることが理解されるであろう。オペレーティングシステムは、Ｊａｖａ（登録商標）アプリケーションプログラムを介してハードウェア構成要素及び／又はオペレーティングシステム作動の制御を可能にするＪａｖａ仮想機械モジュールを含むことができるか、又はこれに接続することができる。

メモリ２０４は、とりわけ、アプリケーション２５２及び／又は他のデータを格納するためにクライアントコンピュータ２００によって利用できる１又は２以上のデータストレージ２５０を含むことができる。例えば、データストレージ２５０を用いて、クライアントコンピュータ２００の様々な機能を記述する情報を格納することができる。様々な実施形態の１又は２以上では、データストレージ２５０は位置情報２５１を格納することができる。情報２５１は、通信中のヘッダの一部として送信される、要求に応じて送信されるなどを含む多種多様な方法の様々な方法に基づいて別のデバイス又はコンピュータに提供することができる。データストレージ２５０を用いて、アドレスブック、バディリスト、エイリアス、ユーザプロファイル情報などを含むソーシャルネットワーキング情報を格納することができる。データストレージ２５０は、プロセッサ２０２などのプロセッサによって使用するプログラムコード、データ、アルゴリズムなどを含み、動作を実行及び行うことができる。１実施形態では、データストレージ２５０の少なくとも一部を、限定されないが、非一時的プロセッサ可読固定ストレージデバイス２１２、プロセッサ可読取り外し可能ストレージデバイス２１４、又はクライアントコンピュータの外部にあるものを含むクライアント構成要素２００の別の構成要素に格納することができる。

アプリケーション２５２は、クライアントコンピュータ２００によって実行された場合に、命令及びデータを送信、受信、及び／又はそうでなければ処理するコンピュータ実行可能命令を含むことができる。アプリケーション２５２は、例えば、位置決定クライアントエンジン２５４、他のクライアントエンジン２５６、ウェブブラウザ２５８などを含むことができる。クライアントコンピュータは、問合せ、サーチ、メッセージ、通知メッセージ、事象メッセージ、警報、性能尺度、ログデータ、ＡＰＩ呼び出し、これらの組み合わせなどの通信を、アプリケーションサーバ、ネットワークファイルシステムアプリケーション、及び／又はストレージ管理アプリケーションと交換するよう構成することができる。

ウェブブラウザエンジン２２６は、ウェブページ、ウェブベースのメッセージ、グラフィクス、テキスト、マルチメディアなどを受信及び送信するよう構成することができる。クライアントコンピュータのブラウザエンジン２２６は、無線アプリケーションプロトコルメッセージ（ＷＡＰ）などを含む様々なプログラミング言語をバーチャルで利用することができる。１又は２以上の実施形態では、ブラウザエンジン２５８は、手持式デバイスマークアップ言語（ＨＤＭＬ）、無線マークアップ言語（ＷＭＬ）、ＷＭＬスクリプト、Ｊａｖａスクリプト、標準的一般化マークアップ言語（ＳＧＭＬ）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）、ＨＴＭＬ５などを用いることができる。

アプリケーションプログラムの他の例は、カレンダー、サーチプログラム、電子メールクライアントアプリケーション、ＩＭアプリケーション、ＳＭＳアプリケーション、ボイス・オーバー・インターネット・プロトコル（ＶＯＩＰ）アプリケーション、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、セキュリティアプリケーション、スプレッドシートプログラム、ゲーム、サーチプログラムなどを含む。

加えて、１又は２以上の実施形態（図示せず）では、クライアントコンピュータ２００は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルアレイ論理（ＰＡＬ）など、又はこれらの組み合わせなどのＣＰＵの代わりに組み込み式論理ハードウェアデバイスを含むことができる。組み込み式論理ハードウェアデバイスは、組み込まれた論理を直接実行して動作を行うことができる。１又は２以上の実施形態（図示せず）では、クライアントコンピュータ２００は、ＣＰＵの代わりにハードウェアマイクロコントローラを含むことができる。１又は２以上の実施形態では、マイクロコントローラは、それに固有の組み込まれた論理を直接実行して動作を行い、それに固有の内部メモリ及びそれに固有の外部入力及び出力インタフェース（例えば、ハードウェアピン及び／又は無線送受信機）にアクセスして、システムオンチップ（ＳＯＣ）などの動作を実行することができる。

例示的なネットワークコンピュータ
図３は、様々な実施形態の１又は２以上を実施する例示的システムに含めることができる例示的ネットワークコンピュータ３００の１実施形態を示す。ネットワークコンピュータ３００は、図３に示したものより多い又は少ない構成要素を含むことができる。しかし、図示した構成要素は、これらの革新を実践する例示的な実施形態を開示するのに十分である。ネットワークコンピュータ３００は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、クライアントコンピュータなどを含むことができる。ネットワークコンピュータ３００は、例えば、図１のシステム１００のラップトップコンピュータ１１２、スマートフォン／タブレット１１４、及び／又はコンピュータ１１０の１又は２以上の１つの実施形態を表すことができる。

図３に示すように、ネットワークコンピュータ３００は、バス３０６を介してメモリ３０４と通信することができるプロセッサ３０２を含む。一部の実施形態では、プロセッサ３０２は、１又は２以上のハードウェアプロセッサ、又は１又は２以上のプロセッサコアを含むことができる。場合によっては、１又は２以上のプロセッサの１又は２以上は、本明細書で説明するものなどの１又は２以上の特定の動作を実行するよう設計された特定のプロセッサとすることができる。ネットワークコンピュータ３００は、電源３０８、ネットワークインタフェース３１０、プロセッサ可読固定ストレージデバイス３１２、プロセッサ可読取り外し可能ストレージデバイス３１４、入力／出力インタフェース３１６、ＧＰＳ送受信機３１８、ディスプレイ３２０、キーボード３２２、音声インタフェース３２４、ポインティングデバイスインタフェース３２６、及びＨＳＭ３２８を含む。電源３０８はネットワークコンピュータ３００に電力を供給する。

ネットワークインタフェース３１０は、ネットワークコンピュータ３００を１又は２以上のネットワークに結合する回路を含み、限定されないが、オープンシステム相互接続モデル（ＯＳＩモデル）、グローバル・システム・フォー・モバイル・コミュニケーション（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、ユーザデータグラムプロトコル（ＵＤＰ）、送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ジェネラルパケットラジオサービス（ＧＰＲＳ）、ＷＡＰ、超広帯域（ＵＷＢ）、ＩＥＥＥ８０２．１６ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭａｘ）、セッション初期化プロトコル／リアルタイムトランスポートプロトコル（ＳＩＰ／ＲＴＰ）、又は多種多様な他の有線及び無線通信プロトコルの様々なプロトコルを含む１又は２以上の通信プロトコル及び技術と共に使用するよう構成される。ネットワークインタフェース３１０は、送受信機、送受信デバイス、又はネットワークインタフェースカード（ＮＩＣ）として公知であることがある。ネットワークコンピュータ３００は、基地局（図示せず）と、又は別のコンピュータと直接に任意選択的に通信することができる。

音声インタフェース３２４は、人間の声の音などの音声信号を生成及び受信するよう構成される。例えば音声インタフェース３２４は、スピーカ及びマイクロフォン（図示せず）に結合して、他者とのテレコミュニケーションを可能にする及び／又はある動作に対する音声肯定応答を生成することができる。音声インタフェース３２４のマイクロフォンを、例えば音声認識を用いてネットワークコンピュータ３００への入力又はこの制御に使用することができる。

ディスプレイ３２０は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、電子インク、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、又はコンピュータと共に使用することができる光反射又は光透過型ディスプレイの様々な他の種類とすることができる。ディスプレイ３２０は、壁又は他の物体に画像を投影することができる手持式プロジェクタ又はピコプロジェクタとすることができる。

ネットワークコンピュータ３００は、図３に図示していない外部デバイス又はコンピュータと通信する入力／出力インタフェース３１６を含むこともできる。入力／出力インタフェース３１６は、ＵＳＢ（商標）、ファイヤウォール（商標）、Ｗｉ−Ｆｉ（商標）、ＷｉＭａｘ、Ｔｈｕｎｄｅｒｂｏｌｔ（商標）、赤外線、Ｂｌｕｅｔｏｏｔｈ（商標）、Ｚｉｇｂｅｅ（商標）、シリアルポート、パラレルポートなどの１又は２以上の有線又は無線通信技術を用いることができる。

入力／出力インタフェース３１６は、ジオロケーション情報（例えば、ＧＰＳ）を決定する、電力状態をモニタする（例えば、電圧センサ、電流センサ、周波数センサなど）、天気をモニタする（例えば、サーモスタット、バロメータ、風力計、湿度検出器、降水量スケールなど）のための１又は２以上のセンサを含むこともできる。センサは、ネットワークコンピュータ３００の外部のデータを収集及び／又は測定する１又は２以上のハードウェアセンサとすることができる。ヒューマンインタフェース構成要素は、ネットワークコンピュータ３００から物理的に分離することができ、ネットワークコンピュータ３００への遠隔入力及び／又は出力を可能にする。例えば、ディスプレイ３２０又はキーボード３２２などのヒューマンインタフェース構成要素を介して本明細書で説明するようにルーティングされる情報を、代わりにネットワークインタフェース３１０を介してネットワークの他の場所に位置付けられた適切なヒューマンインタフェース構成要素にルーティングすることができる。ヒューマンインタフェース構成要素は、コンピュータがコンピュータのヒューマンユーザから入力を取るか又は出力を送信するのを可能にする様々な構成要素を含む。従って，マウス、スタイラス、トラックボールなどのポインティングデバイスは、ポインティングデバイスインタフェース３２６を介して通信しユーザ入力を受信することができる。

ＧＰＳ送受信機３１８は、一般的に緯度及び経度値として位置を出力する地球の表面上のネットワークコンピュータ３００の物理座標を決定することができる。ＧＰＳ送受信機３１８は、限定ではないが、三角測量、支援ＧＰＳ（ＡＧＰＳ）、拡張観測時間差（Ｅ−ＯＴＤ）、セル識別子（ＣＩ）、サービスエリア識別子（ＳＡＩ）、拡張タイミングアドバンス（ＥＴＡ）、基地局サブシステム（ＢＳＳ）などを含む他のジオポジショニング機構を用いて、地球の表面上のネットワークコンピュータ３００の物理的位置を決定することができる。異なる条件下でＧＰＳ送受信機３１８がネットワークコンピュータ３００の物理的位置を決定できることを理解されたい。しかし１又は２以上の実施形態では、ネットワークコンピュータ３００は、他の構成要素を介して、例えば媒体アクセス制御（ＭＡＣ）アドレス、ＩＰアドレスなどを含むクライアントコンピュータの物理的位置を決定するために用いることができる他の情報を提供することができる。

メモリ３０４は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、及び／又は他の種類のメモリを含むことができる。メモリ３０４は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報のストレージのためのコンピュータ可読ストレージ媒体（デバイス）の例を示す。メモリ３０４は、ネットワークコンピュータ３００の低レベルの作動を制御する基本入力／出力システム（ＢＩＯＳ）３３０を格納する。メモリは、ネットワークコンピュータ３００の作動を制御するオペレーティングシステム３３２を格納する。この構成要素は、ＵＮＩＸ（登録商標）のあるバージョン、又はＬＩＮＵＸ（商標）などの汎用オペレーティングシステム、又はＭｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、又はＡｐｐｌｅ社のＩＯＳ（登録商標）オペレーティングシステムなどの特定用途オペレーティングシステムを含むことができる。オペレーティングシステムは、Ｊａｖａアプリケーションプログラムを介したハードウェア構成要素及び／又はオペレーティングシステム作動の制御を可能にするＪａｖａ仮想機械モジュールを含むか又はこれに接続することができる。同様に、他のランタイム環境も含めることができる。

メモリ３０４は、とりわけ、アプリケーション３３６及び／又は他のデータを格納するためにネットワークコンピュータ３００によって用いることができる１又は２以上のデータストレージ３３４を含むことができる。例えばデータストレージ３３４は、ネットワークコンピュータ３００の様々な機能を記述する情報を格納するために用いることもできる。様々な実施形態の１又は２以上では、データストレージ３３４は位置情報３３５を格納することができる。通信中にヘッダの一部として送信、要求時に送信などを含む多種多様な方法の様々な方法に基づいて位置情報３３５を別のデバイス又はコンピュータに提供することができる。データストレージ３３４を用いて、アドレスブック、バディリスト、エイリアス、ユーザプロファイル情報などを含むソーシャルネットワーキング情報を格納することができる。データストレージ３３４は、プロセッサ３０２などの１又は２以上のプロセッサによって使用するプログラムコード、データ、アルゴリズムなどを含み、以下に説明する動作などの動作を実行且つ実施することができる。１実施形態では、データストレージ３３４の少なくとも一部を、限定されないが、非一時的プロセッサ可読固定ストレージデバイス３１２、プロセッサ可読取り外し可能ストレージデバイス３１４、又はネットワークコンピュータ３００内の様々な他のコンピュータ可読ストレージデバイス、又はネットワークコンピュータ３００外部を含むネットワークコンピュータ３００の別の構成要素に格納することもできる。

アプリケーション３３６は、ネットワークコンピュータ３００によって実行された場合に、メッセージ（例えば、ＳＭＳ、マルチメディアメッセージングサービス（ＭＭＳ）、インスタントメッセージ（ＩＭ）、電子メール、及び／又は他のメッセージ）、音声、ビデオを送信、受信、及び／又はそうでなければ処理するコンピュータ実行可能命令を含むことができ、別のモバイルコンピュータの別のユーザとのテレコミュニケーションを可能にする。アプリケーションプログラムの他の例は、カレンダー、サーチプログラム、電子メールクライアントアプリケーション、ＩＭアプリケーション、ＳＭＳアプリケーション、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）アプリケーション、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、セキュリティアプリケーション、スプレッドシートプログラム、ゲーム、サーチプログラムなどを含む。アプリケーション３３６は、以下に説明する動作を実行する位置決定エンジン３４６を含むことができる。様々な実施形態の１又は２以上では、アプリケーションの１又は２以上を別のアプリケーションのモジュール及び／又は構成要素として実施することができる。様々な実施形態の１又は２以上では、オペレーティングシステム拡張、モジュール、プラグインなどとしてアプリケーションを実施することができる。

様々な実施形態の１又は２以上では、位置決定エンジン３４６をクラウドベースのコンピューティング環境で作動することができる。様々な実施形態の１又は２以上では、これらのアプリケーション及びその他を、クラウドベースのコンピューティング環境で管理することができる仮想機械及び／又は仮想サーバ内で実行することができる。様々な実施形態の１又は２以上では、本文脈においてアプリケーションはクラウドベースの環境内の１つの物理的ネットワークコンピュータから、クラウドコンピューティング環境によって自動的に管理される性能及びスケーリング検討事項に応じた別の物理的ネットワーク環境に流れることができる。同様に、様々な実施形態の１又は２以上では、位置決定エンジン３４６専用の仮想機械及び／又は仮想サーバを自動的に配備及び配備を外すことができる。

様々な実施形態の１又は２以上では、位置決定エンジン３４６などを、１又は２以上の特定の物理的ネットワークコンピュータに結び付けられる以外のクラウドベースのコンピューティング環境で実行される仮想サーバに位置付けることができる。

ネットワークコンピュータ３００は、キー、デジタル証明、パスワード、パスフレーズ、２因子認証情報などのセキュリティ／暗号情報を生成、格納及び／又は使用する追加の不正使用防止安全装置を提供するＨＳＭ３２８を含むことができる。一部の実施形態では、ハードウェアセキュリティモジュールを用いて、１又は２以上の標準的公開鍵インフラストラクチャ（ＰＫＩ）を支援することができ、鍵ペアなどを生成、管理、及び／又は格納するために用いることができる。一部の実施形態では、ＨＳＭ３２８を独立型ネットワークコンピュータとすることができ、他の例では、ＨＳＭ３２８を、ネットワークコンピュータにインストールできるハードウェアカードとして構成することができる。

加えて、１又は２以上の実施形態（図に示していない）では、ネットワークコンピュータは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルアレイ論理（ＰＡＬ）などの１又は２以上のＣＰＵの代わりに１又は２以上の組み込み式論理ハードウェアデバイスを含むことができる。組み込み式論理ハードウェアデバイスは、組み込み式論理を直接実行して動作を行うことができる。１又は２以上の実施形態（図示せず）では、ネットワークコンピュータは、ＣＰＵの代わりに１又は２以上のハードウェアマイクロコントローラを含むことができる。１又は２以上の実施形態では、１又は２以上のマイクロコントローラは、それに固有の組み込み式論理を直接実行して動作を行い、それに固有の内部メモリ及びそれに固有の外部入力及び出力インタフェース（例えば、ハードウェアピン及び／又は無線送受信機）にアクセスして、システムオンチップ（ＳＯＣ）などの動作を実行することができる。

例示的なシステム
図４Ａは、送信機１０４及びカメラ１０６ａ、１０６ｂ、１０６ｃ、１０６ｄを含むシステム１００の一部分を示している。（「カメラ」及び「受信機」という語は、他に指示がない限り本明細書では同義に用いられる。）システム１００は、１つの時間に１又は２以上の目標１０８の１つのボクセルを順次的に照明する。図４Ａに示すように、走査されたボクセル照明が複数のカメラ１０６ａ、１０６ｂ、１０６ｃ、１０６ｄによって取り込まれるか又は検出され、ピクセルデータの幾つかのボクセル照明同期化ストリームをシステムコンピュータデバイス１１０（図１）などの中央処理システムに流すことができる。物体１０８の単一のボクセルの照明に関連付けられる、各時間期間ｔ（又はｔ＋１又はｔ−１）に、カメラ１０６ａ、１０６ｂ、１０６ｃ、１０６ｄの各々は、目標１０８のボクセルから散乱された光を検出して、検出位置、例えば、光が検出されるカメラのアレイにおけるｉ番目のカメラの（ｘ_i、ｙ_i）を提供する。例えば、時間ｔにおいて、４つのカメラ１０６ａ、１０６ｂ、１０６ｃ、１０６ｄは、図４に示すようにｔ＋１及びｔ−１及び他の時間期間にて類似のセットを備えた位置のセット［ｘ₁，ｙ₁］ｔ、［ｘ₂，ｙ₂］ｔ、［ｘ₃，ｙ₃］ｔ、［ｘ₄，ｙ₄］ｔを生成することができる。

各時間期間ｔは、物体１０８の単一のボクセルの照明がカメラの各々によって受け取られると予想される時間の長さに対応する。時間期間ｔの長さは、少なくとも一部には、カメラの間の距離に基づいて選択することができる。例えば、１０ナノ秒の時間期間は、４つのカメラの中心の間の相対的距離が１０フィートより短い（又は３メートルより短い）場合のカメラのセットに用いることができる。一部の実施形態では、時間期間ｔは、複数のカメラのクローズインタイム検出事象のセットが送信機１０４による単一のボクセルの照明に関連付けられるように選択される。少なくとも一部の実施形態では、時間期間ｔは、少なくとも１、５、１０、１５、２０、２５、４０、５０、又は１００ナノ秒又はそれ以上である。物体１０８の各ボクセルを順次的且つ個々に照明することによって、各照明されるボクセルは、複数のカメラの空間的に分離された検出事例のセットに時間的に関連付けられる。これらの検出事例を用いて、ボクセルの位置を決定することができる。ボクセルは迅速且つ個々に観測することができる。

検出位置のセットは、システムコンピュータデバイス１１０などの中央処理システムに送信され、該中央処理システムは、複数のカメラからの検出位置のこれらのストリームを組み合わせてコンピュータ的に（例えば、一連の行列乗算によって）組み合わせ、カメラからの複数のピクセルストリーム（好ましくは最小待ち時間を持つ）を、例えばダウンストリーム知覚システムに直接フィードすることができる単一のボクセルフロー（例えば、物体１０８のボクセルの（ｘ_a、ｙ_a、ｚ_a）などの物体１０８の照明されたボクセルの位置の流れ）に融合させる。

図４Ｂは、ボクセルの位置を決定する方法の１つの実施形態を示す。ステップ４０２にて、送信機１０４は物体１０８のボクセルを照明する。ボクセルは、カメラ１０６ａ、１０６ｂ、１０６ｃ、１０６ｄによって受信される光を反射する（か又はそうでなければ散乱する）。ステップ４０４にて、システムコンピュータデバイスが、ボクセルによって反射されたフォトンを検出したピクセルに対するカメラからのアレイ位置を受信する。ステップ４０６にて、ボクセルの位置が、受信されたアレイ位置から決定される。ステップ４０８にて、追加のボクセルが観測されるかどうか決定される。観測される場合、ステップ４０２−４０６がボクセルの各々に対して繰り返される。多数のピクセル事象（例えば、期間内にトゥイッチする３又は４以上のピクセル）がカメラによって検出される限り、この処理は自動的に反復を継続することができる。

図５は、光源からの走査ビーム（例えば、狭くコリメートされたピクセルサイズのレーザビーム）が特定の容積測定空間セクション（走査コーン）全体を走査する３つのカメラ１０６ａ、１０６ｂ、１０６ｃを備えた構成を示している。物体の空間マニホールド（３Ｄ形状表面）は走査された軌跡の少なくとも一部分を反射する。図５では、走査ビームが、時間ｔ₁、ｔ₂、ｔ₃及びｔ₄それぞれに４つのポイントＰ₁、Ｐ₂、Ｐ₃及びＰ₄を照明する。３Ｄ表面の４つのポイントは、カメラ投影中心Ｏ₁、Ｏ₂及びＯ₃に位置付けられた３つのカメラに向けてビームの一部分を反射する。各ポイントＰから、これらのカメラ中心の各々に対する１つのチーフレイが存在する。１２のこのようなチーフレイが存在する。これらのチーフレイは１２のピクセル位置のカメラに投影する：Ｐ₁’、Ｐ₂’、Ｐ₃’、Ｐ₄’、Ｐ₁’’、Ｐ₂’’、Ｐ₃’’、Ｐ₄’’、Ｐ₁’’’、Ｐ₂’’’、Ｐ₃’’’及びＰ₄’’’。３つのカメラによって取り込まれたこれらの１２の離散的な位置は、カメラ中心の全位置及び４つの３ＤポイントＰ₁、Ｐ₂、Ｐ₃及びＰ₄を導くのに十分である。例として、これらの１２のセンサ座標ペアは、フル三焦点テンサーの２７の要素（３ｘ３ｘ３行列らｙ）を得るのに十分である。

この順次的に照明は、これまでマルチビューシステムのコンピュータ的にボトルネックであった密度対応問題を取り除くことによって、従来のビューイングと比較して複雑系解決のコンピュータ的な簡便手法を開拓している。このボクセル順次システム１００の少なくとも一部の事例では、余分のセンサデータが、物体及び表面の外観、モーション、方は形状、又はこれらの何れかの組み合わせなどの３Ｄリアリティの顕著な構造的態様を決定するための統計的及びＡＩ方法を好むので、追加のカメラ（又は冗長観測者）の付加が実際にはコンピュータ的な複雑さを低減し、システムの堅牢性を向上させ且つシステム精度を上げることができる。システムにカメラを追加することによって追加の観測を結果として生じ、照明を必要とすることなくシステムを更に堅牢且つ正確にする点に留意されたい。

少なくとも一部の実施形態では、システム１００は、厳密に定義された３Ｄエッジ、並びに物体の３Ｄ位置、速度及び加速度を配信することができ、アートカメラ解像度の状態で等しく細粒の画像ピクセルデータ（例えば、ＲＧＢ画像コントラスト機能）に一致（例えば、融合）できる細粒のボクセルモーションデータをもたらすことができる。

少なくとも一部の実施形態では、ピクセル及び視野（例えば、カメラ又は受信機）が３Ｄリアリティの堅牢な知覚を結果として生じる。増分的視野によって提供される追加のデータストリームは、新しいレベルのコンピュータ的決定論を可能にすることができる。システム１００の少なくとも一部の実施形態では、追加のビュー（例えば、カメラ又は受信機）の付加は、ビューの間の高程度のオーバーラップを結果として生じる。このオーバーラップは、オクルージョンを低減し、カメラポーズ推定及び物体モーション追跡を向上させ、モーションの連続性を向上させ、且つ量子化エラー及び他のサンプリングアーティファクトなどのシステムノイズを低減することができる。

データフローをストリームラインし且つボトルネックアップストリームを取り除くことによって、システム１００は、高解像度カメラを用いてカメラ視野におけるオーバーラップの大きな角度を利用することができる。オーバーラップの角度、すなわち３Ｄビュースペースにおける照明されたボクセルを同時に見るカメラの数は、各照明されたボクセルに対して自動的に設定される。多くの従来のシステムを超える本システムの知覚利点は直感的な感覚を作り、従来のマルチビューセットアップでは、デジタルカメラの各々は、微妙な連続（アナログ）３Ｄ光フィールドを２Ｄカラーコントラストの単純に離散的且つ粗くラスターされたバイヤーパターンモザイクに低減し、これによって道に沿った量子化エラーのホストを固有に導入する。加えて、検知された物体とカメラの間の何れの高速相対モーションも、ぼけ及びセンサノイズを起こす。較正ドリフト又は不十分な光学が更なる組織的なエラーを持ち込むことがある。

システム１００などのピクセル順次的照明システムでは、各ボクセルは、制限された時間、例えば、１−１０ナノ秒の走査レーザによって照明される。この超短強力照明露出は、モーションのぼけ及びフォトンスターベーションを取り除くことができ、システムが高空間的並びに時間的解像度を備えた特徴を追跡するのを可能にする。例えば、少なくとも一部の実施形態では、１秒当たり最大１００万程度の回転速度（１／１００度回転／１０ナノ秒の期間にわたって観測）を観測することができる。

複数のカメラに渡る観測されたピクセル位置のマッチングは、順次的に照明されたボクセル毎にＮ個の同時（又はほぼ同時）視野をもたらす。この構成を用いて、システム１００は、高ボクセルデータレートで極めて正確な３Ｄ位置検出を効率的に達成することができる。

カメラを追加すると、視野が追加される。これらの追加の同時観測により、サンプリングエラーを低減することができる。少なくとも一部の実施形態では、追加されたカメラは、セットアップ又は何れかの特定のアラインメント又は較正を必要としない。少なくとも一部の実施形態では、カメラ位置は、時間の経過に伴って幾何学的に安定である必要はない。これらカメラは、例えばウィング又はフレームストラットなどの変形可能又は振動する構造体に取り付けることができる。

少なくとも一部の実施形態では、カメラの内部較正は、追加のポイント観測によって達成することができる。少なくとも一部の実施形態では、カメラの内部（本質的な）特性（光学系及び歪み）を事前に知る必要はない。多くの観測によって、このような特性を決定することができる。

少なくとも一部の実施形態では、システム１００は、カメラ又は受信機（例えば、飛行しているカメラを装備したクアドコプターの小さな群れ）として移動観測者を可能にする。これらの移動カメラを用いて、走査プローブビームによって照明された複雑な動的３Ｄシーン（３Ｄシーンのスポットが順次的に照明される場合）を観測し、例えば１秒当たり１億ボクセルの検出速度（又は、各ボクセルに関連付けられる時間ｔに関係付けることができる早い又は遅い検出速度）で詳しくこのような３Ｄシーンを正確にマップすることができる。

一般的に、システム１００は、Ｎ個のカメラ（又は他の光受信機又は検出器）を包含し、Ｎは少なくとも２又は３であり、４、５、６、７、８、１０、１２、１５、２０、又はこれより多いか又は他の何れかの数とすることができる。システム１００は、１つのレーザビームなどの光源を備えた送信機１０４を含み、スペースのセクションをビームアウト及び横断するフォトンのレイを用いて視野を照明する。このフォトンのレイ又はビームは、例えば、２つの座標、すなわち、方位角（α）及び仰角（ε）によって定められる同時ポインティング方向を有する。これらの２つの角座標は、（ｉ）走査システムによって制御することができ、又は（ｉｉ）全てが引用により本明細書に組み入れられる米国特許第８，２８２，２２２、８，４３０，５１２及び８，６９６，１４１に記載されるような視覚フィードバックループのある種類によって観測（追跡）することができ、又は（ｉｉｉ）これらの座標は制御又は追跡しなくてもよい。少なくとも一部の実施形態では、何れかの時間での何れかのカメラのビューにおいて、物体１０８の表面上の領域（例えば、ボクセル）によってレーザビームの反射として生じる１つだけの照明スポットが存在する。本発明のシステムは、スペース内のほとんど１つの位置Ｐ（ｔ）の何れかの瞬間に（例えば、物体１０８上の領域又はボクセル）がプロービングビームを反射するように動作するのが好ましい。ポイントがこのカメラの視野内に入り、この方向の反射される光が検出するのに十分強い、すなわち十分なフォトンがカメラのピクセルの少なくとも１つに達した場合に、Ｎカメラの何れも、ポイントＰでこの反射ビームを観測することができる。

少なくとも一部の実施形態では、各カメラは、即座に又はほぼ即座に（例えば、上述の時間期間ｔの１／１０又は１／１００未満の時間に）光を検出するよう構成される。何れかの適切なピクセル化カメラを含む何れかの適切なカメラを用いることができる。ピクセル化カメラの例は、限定されないが、空間−時間並べ替えアレイ（ＳＳＡ）として、例えば、到着の方向及び時間の両方を記録する高速非同期ＳＰＡＤ（単一フォトンアバランシェダイオード）ピクセルのアレイとして配列されたピクセルを含む。ＳＳＡアレイの例は、米国特許第８，２８２，２２２号、第８，４３０，５１２号、及び第８，６９６，１４１号で見出すことができ、これら全てはその全体が引用により本明細書に組み入れられる。空間−時間並べ替えアレイは、入射レイ方向、個々のピクセルとの入射方向のマッチング小バンドルを空間的に量子化する画像化システムの焦点面に位置付けられた検出器アレイを有するカメラに類似することができる。ＳＳＡは、実際には２Ｄアレイのピクセル又は代替として、全ての全体が引用により本明細書に組み入れられる米国特許第８，２８２，２２２号、８，４３０，５１２号、８，６９６，１４１号、８，７１１，３７０号、９，３７７，５５３号、９，７５３，１２６号及び米国特許出願公開第２０１３／０３００６３７及び２０１６／００４１２６６に記載される非同期検知アレイの何れかを備えたカメラとすることができる。カメラは、少なくともピクセルの二次元（２Ｄ）アレイを含む。ピクセルは、能動ピクセルセンサ（ＡＰＳ）、電荷結合素子（ＣＣＤ）、単一フォトンアバランシェ検出器（ＳＰＡＤ）（アバランシェモード又はガイガーモードで作動）、相補型金属酸化膜半導体（ＣＭＯＳ）デバイス、シリコン光電子倍増管（ＳｉＰＭ）、光電池セル、光トランジスタ、トゥイッチーピクセルなどの１又は２以上などの様々なフォトン検知技術を含むことができる。フォトン検出器は１又は２以上の入射光ビームを検出することができる。全体が引用により本明細書に組み入れられる米国特許第９，７５３，１２５号は、光電流が最小レベルを超えた状態でほぼ即時の信号出力を提供するセンサアレイピクセルとして「トゥイッチーピクセル」を記載している。例えば、少なくとも一部の実施形態では、「トゥイッチーピクセル」は、光ダイオードの電流を瞬時に増幅するソースフォロワー又は他の回路に接続された光ダイオードとすることができる。増幅された信号は検知線に接続される。検知線は、このような「トゥイッチーピクセル」の全列又は行の間の共有機能とすることができる。ピクセルの基本「トゥイッチ」機能はバイナリであり、その主機能は、信号フォトンがカメラに到着した時間及び／又は場所を報告することである。好ましくは、カメラのピクセルは、「トゥイッチーピクセル」であるか、又は数フォトン又は単一のフォトンの到着を検出又は「オントリガ」することができる高度に敏感なＣＣＤ、ＡＰＤ、ＳＰＡＤタイプピクセルである。

ビームは連続して照明することができ、空間内でこれら３Ｄマニホールドを横断するためにビームのＦｏＶ内で物体の表面を走査する。少なくとも一部の実施形態では、走査ビームは、急速に、任意選択的に疑似ランダム方式で３Ｄ表面を走査することができるが、連続平滑走査方式でＦｏＶのスペースを横断する。

代替として、ビームの照明は、急速及び強力な方式でパルス化することができる。例えば、非連続スイープを用いて、空間内でランダムに又は特異的に選ばれた方向で光の「ピンプリック」又はパルスをプローブするか、又は例えばクアドコプターの飛行経路などの関心の一定の方向の周りの陥凹形式を用いて、又は他の何れかの規則的又は不規則なパターンを用いることができる。高速非連続走査システムの例はフェーズドアレイである（例えば、ＭＥＭＳリボン光学フェーズドアレイ）。

例として、１０ナノ秒間隔でフォトンの短い１００ｐｓバーストが送信機１０４などの走査機構（送信機Ｔ_x）によって送出することができる。反射パルスは、既知の間隔（例えば、１００ピコ秒（ｐｓ））に制限され、アレイの単一のピクセルに一意的にマッチされる。

カメラは、連続照明ボクセル位置から反射された光をピクセルが検出した場合にピクセルの位置を順次報告する。一部の実施形態では、ピクセル又はカメラからの報告データは、例えばピクセル位置（例えば、列数及び行数）だけを報告するなどの最小及びバイナリにすることができる。他の実施形態では、例えば、個々のピクセルがフォトンを検出した時のタイムスタンプを含むデータフローを増やすことができる。少なくとも一部の実施形態では、これらのタイムスタンプは、データダウンストリームの限度を超えた事後処理を容易にするか又は正確なモーション補間を提供することになる。

カメラから取得できる追加のデータは、各主要なカラー（又はカラーの他の何らかのセット）の強度又は他の情報を含むことができる。この追加情報は、例えば、光強度（フォトン数又は即時ピークフォトン電流強度又は「グレースケール」）のプロキシとして作用する増幅光ダイオード電圧又は電流などのアナログ値の形式で取り込むことができ、任意選択的にカラー強度値（Ｒ、Ｇ、Ｂ、及び／又はＭ、Ｃ、Ｙ、及び／又は１又は２以上のＮＩＲ波長）を観測することができる。

少なくとも一部の実施形態では、コンピュータデバイス１１０などの受信システムが、各観測事象の後でほぼリアルタイムで（例えば、ナノ秒以内に）このデータ又は情報を受信する。例として、カメラ１は、時間ｔのカメラの行ｊ、列ｉのピクセルの多数のフォトンの到着を、任意選択的に赤、緑、及び青の主カラー強度（又は他のセットの色又は波長）と共に検出する。少なくとも一部の実施形態では、カメラからのデータは、６つの値がデータの１又は２以上のバイト各々にすることができる検出ベクトル［カメラ＃，ｉ，ｊ，ｔ，ｒ，ｇ，ｂ］を含むことができる。

図６Ａは、システム１００の一部分の１つの実施形態を示す。走査送信機１０４によって生成された密にコリメートされたレーザプローブビーム（又は他の光源）が、表面Ｓ上の位置Ｐに交差する。ビームによって送出されたフォトンは、ｔ＝０の全方向に（例えば、ランバーティアン方式で）反射する。投影中心Ｏ₁、Ｏ₂、Ｏ₃、及びＯ₄に位置付けられた４つのカメラは各々、数ナノ秒後にこれらの反射の各々からフォトンの小さなバンドルを取り込む。各バンドルは、４つのカメラの各々のアパーチャの中心に入るチーフレイ（ＣＲ）を有する。ＣＲ₁は第１カメラに入り、ｔ１で列番号７００及び行番号５００に着地する。他の３つのカメラは同様に、１０ナノ秒ウィンドウ内の事象を記録する。

従って、表面Ｓ上のスポットＰから反射された光は、４つのベクトルを生成する４つのカメラによって検出される。
カメラ１：（＃１、７００、５００、ｔ₁）
カメラ２：（＃２、６８０、２５０、ｔ₂）
カメラ３：（＃３、３５０、２５０、ｔ₃）
カメラ４：（＃４、２５０、５００、ｔ₄）

第１の値はカメラ番号であり、第２の値は列数であり、第３の値は行数であり、第４の値は到着時間である。この例における４つのタイムスタンプは、４つのカメラ中心の間の相対的距離が１０フィート未満であるので互いから１０ナノ秒以内である。このような４カメラ構成のカメラ間差分時間制限値は、大きな車両上で構成されるシステムでもほぼ同様に成立する点に留意されたい。多くの場合、観測されたフォトンが５ナノ秒の固有のボクセル照明期間に関連付けられるので、カメラ間の相対的距離は５フィート未満になる。４つのカメラで観測される何れのフォトンも、１秒当たり１憶ボクセルの速度で個々に順次的に照明されるボクセルに明確に関連付けられる。

カメラの相対的向き及び位置は全ての３つの変数を決定する。観測されたポイントＰに向けたカメラの相対的向きは、カメラの現在の中心光軸に対してポイントＰから反射するチーフレイの方位角及び仰角によって与えられる。図６Ａでは、ピクセル位置は、センサの各々に示された上部左ピクセル（０，０）からカウントされる。観測される何れの相対的な時間遅延も、フォトンが表面Ｓ上のポイントＰの反射ボクセルから４つのカメラの各々のピクセルに移動するのに必要なＴｏＦ（飛行時間）時間の差（１ナノ秒当たりのフィート）を表す。ポイントＰのボクセルの照明で終わるフォトンの出発時間を知ることなく、相対的ＴｏＦ差分は、ポイントＰからのカメラの各々の相対的距離を直接伝えることができる。

単純な高速走査ＬＩＤＡＲ（例えば、本明細書に全体が引用により組み入れられる米国特許出願連番第１５／７９９，１４９号明細書に記載）の特定の場合に、ポイントＰの方位が公知である且つ従って走査送信システムＴ_xによって駆動される光源の最新高速走査軌跡中のパルスの暗黙的出発時間も公知であるので、ポイントＰからカメラまでの距離を推定することができる。特定の出発時間を推定することができる。これは、ポイントＰの方向に光源及び送信システムＴ_xによって送信される光の送信の最新瞬間である。対照的に、例えばＳＰＡＤがカメラで使用される場合、ピコ秒精度を持つ極めて正確なパルス到着時間が利用可能である。相対的距離は、フィートではなくセンチメートルの高い精度で決定することができる。これは、観測の時間のカメラの各々の所在を伝える。実際に、４つの観測者間の相対的モーションはナノ秒観測間隔にわたって無視することができる。

図６Ｂに示した４つのビューシステムでは、走査送信システムＴ_x１０４及びこの光源が時間の関数ｔの通りに空間軌跡τ（ｔ）を走査する。Ｔ_x１０４及び光源の位置は事前に公知であるか、又は投影中心Ｏ_Tを持つ第５カメラの同等物としてＴ_x１０４及び光源を扱う三焦点テンサー方法などの幾何学法によって計算することができ、ここで各送信されたレイの方向は電子フィードバック及びＴ_xの制御から公知である（各受信されたレイの方向がセンサのピクセル位置によって決定されるカメラとは対照的に）。従って、他で説明される幾何学法によって、Ｔ_x、Ｏ_Tの位置、並びにＰ、Ｏ₁、Ｏ₂、Ｏ₃及びＯ₄の位置を決定することができる。最新の走査軌跡τ（ｔ）では、一定の固有の時間ｔに一定の高速光学走査角度α（ｔ）に対応する固有の走査方向Ｏ_tＰが存在する。後者の時間ｔは、時間ｔ₁、ｔ₂、ｔ₃及びｔ₄に到着する４つの受信カメラによって後で観測されるフォトンの何れかに対する出発の時間ｔ_dである。

Ｐの相対的位置、及び従って方向Ｏ_tＰが幾何学的計算から公知である場合、これらの計算は、Ｔ_xの走査方向がポイントＰの公知の位置に光学的に正確にアラインされることになる瞬間に一致するピコ秒精度によって光源をパルスすることによって、以下のような極めて正確なＴ_oＦ方法によって調整することができる。光源ブリーフ（ピコ秒持続）パルスバースト出発時間はピコ秒で公知になり、ポイントＰの反射の後に、４つの到着時間は、（例えば）４つの「トゥイッチーピクセル」のファイヤリングによってピコ秒で等しく解像される（ＳＰＡＤ又は新しいＳｉＰＭタイプＡＰＳアバランシェをピコ秒で正確に計ることができる。）。従って、４つのチーフレイ（ＣＲ_1-4）によって移動される距離をインチに計算することができる（１ｎｓのＴｏＦクロック精度＝１フィート（約０.３ｍ）、１００ｐｓ＝１インチ（約２．５４ｃｍ））。

少なくとも一部の実施形態では、システム１００などのピクセル順次的照明システムは、多くの従来の照明システム（構造化すなわちコード化照明によるフル２Ｄフレーム又は１Ｄ全走査線を用いる構造化光又は能動ステレオシステムなど）に固有の観測の曖昧さを取り除くか又は低減することができる。少なくとも一部の実施形態では、各追加のポイント観測（例えば、各追加のカメラ又は他の受信機）は、カメラの位置、向き及び内在性を本システムが自己較正するのを可能にするために用いることができる知識を追加する。

少なくとも一部の実施形態では、１秒当たりの数百万の走査ポイントにより、システム１００などのポイント順次的照明システムは、急速に収束し、急速かつ効率的に、観測可能な不変性、観測可能なパターン、現実の堅い又は変形可能な構造を明らかにすることができる。

少なくとも一部の実施形態では、機械視野の目的で、脳回神経網（ＣＮＮ）などのコンピュータ的方法は、これらの結果生じたカメラからの豊富で明白なデータストリームから容易に学習することができる。不変空間図形の数百万の連続観測によってこれらのＣＮＮを訓練することで、これらの新しい機械視野方法は、正確な３Ｄソリューションを迅速に収束することになる。

少なくとも一部の実施形態では、システム１００を用いて取得されるポイント順次的に照明の利点は、ａ）従来のシステムでは空間測定を厳しく制限するモーションのぼけの除去又は低減、及びｂ）ナノ秒のオーダー（単一の個々のピクセルの露出時間）までの高解像度で時間が測定される事実によるモーション推定精度の追加の程度の１又は２以上を含むことができる。従って、移動物体の追跡又は非剛性（変形可能）時間変化３Ｄ表面図形及びモーションを追跡する手順又はアルゴリズム方法は、ボクセル順次的に照明が追加された時に更に正確になる。

少なくとも一部の実施形態では、追加のカメラの付加がオクルージョン問題を取り除くか又は低減する。多くの観測を生じる多くの観測者（例えば、カメラ又は他の受信機）は、本システムをオクルージョンに対してより堅牢にする。直感的に、システムにおけるビューポイントが多い程、表面の何れか１つのポイントを観測するための多数のカメラが存在する可能性が高い。深い割れ目及びクレーターが塞がれたままである可能性がある。

少なくとも一部の実施形態では、正確なピクセルレベル対応を設定するシステム１００などのピクセル順次的照明システムは比較的容易である可能性がある。時間の短い十分なインスタンスにおいて、全入射レイが３Ｄスペースの同じボクセルから発する。少なくとも一部の事例では、数ナノ秒のスパン内で同時に観測された事象又はほぼ同時に観測された事象は、カメラの位置及び向きを備えた完全な座標セット及び観測されたポイントの３Ｄ座標（すなわち、物体上のボクセル）をもたらす。

少なくとも一部の実施形態では、システムに追加されるカメラが多い程、同時に取り込まれる視野も多くなり、オクルージョンの発生が減り、表面を早く且つ大きなモーションフィデリティで走査することができ、詳細を短い間隔で走査することができる。カメラが多くなれば、同じボクセル照明から取り込まれるフォトンが多くなり高い信号精度及び高い確実性又は信頼性を観測にもたらすことができる。内壁、建物及び通りなどの非変形可能表面の３Ｄ走査は、細かい詳細を累積的に追加し従ってこの結果生じた３Ｄポイントクラウド画像が急速にフィデリティを取得する。

図７Ａ−７Ｃは、ピクセル順次的照明システムの１つの例示的実施形態を示す。図７Ａ（側面図）では、運転者が前方経路の物体を運転者の車両の窓から見ている。走査レーザビーム（送信機から）が物体のポイントＰを照明する。運転者は、車両の運転者側の窓の内側の反射を介して見える逆反射表面に立体画像を投影することができるヘッドセットなどの頭部装着ディスプレイデバイス（ＨＭＤ）を身に着けている。（投影された立体画像化経路は図７Ａには示されていない。）ＡＲ ＨＵＤを生成するためのこのウェアラブルデバイスの使用は、例えば全体が引用により本明細書に組み入れられる米国特許出願公開第２０１７／０２０８２９２の図１５Ｅに図示された構成に類似である。この図のウェアラブルデバイスは、運転者の車内内側の基準による頭部追跡を示し、前方の道路を観測するためにＨｉ−ＲＥＳ機械視野カメラを用いる。本明細書で説明する新しいシステムは、ボクセル毎に外側の世界を照明するビームを有する。

運転者の眼の何れかの側に装着された２つのカメラ（図７ＢのＲ_xL及びＲ_xR）は、物体上の照明されたボクセルＰの広いベースラインビューを見る。運転者の上には、前方の道路を見ることができる第３の高解像度カメラ１０６がある。第３のカメラは、その高解像度センサの基準面のボクセルＰの位置に注目する。合計でボクセルＰの３つのビューがあり、従って４つのポイントが物体上で照明された後に、物体位置（物体の表面上の一連のボクセルの位置）とヘッドセット及び高解像度カメラの位置の両方が公知であり、運転者の頭部凝視のかなり正確な向き及び物体の運転者の即座の視野（運転者のＨＭＤの視野）を描写する。従って本発明のシステムは、ユーザの３Ｄビューボリュームで正確に警告（例えば、「ここに注意！」）などのラベルを位置付けることができる。他のカメラ構成も使用できることが理解されるであろう。

図７Ｂは、バックミラーの前などの高い中心位置に取り付けられた高解像度カメラと同じ構成の上面図を示している。これに代えて、このカメラ又はカメラのアレイを環境の視界をあまり遮らないように車両の上部に取り付けることができる。図７Ｃは、組み込み式３Ｄカメラ（Ｒ_xT）の付いた拡張現実タイプヘッドセットを示しており、これによって実際には視野を観測する３つのカメラが存在し（装着者に「沿ってみる」）且つこの視野は小さな穴があり、走査システムの陥凹形式が装着者の注意及び凝視によって駆動され、ヘッドセットの視線追跡センサによって追跡される。

図２２は、反射されたビーム６０８を用いて表面１１４上のプロジェクタ４０２からの投影（及び投影された画像ビーム６０６）に対して空間におけるビューワ６０４の相対的位置の決定を可能にする頭部装着カメラ６０２を示す。

複数の走査ビームを利用することができる。少なくとも一部の実施形態では、カメラの面を区別するのが難しい２つのスポットの反射に空間及び時間で走査軌跡をオーバーラップさせるマニホールド（物体）表面の何れかの部分における相対的に近い近似に同時に現れる２又は３以上のスポットの曖昧さを回避するために注意が払われる。一部の実施形態では、複数の照明スポットを使用した時に、軌跡のようなサーチビームは同じ表面をローカルに走査してはならず、走査されたスポット軌跡は互いに交差してはならない。軌跡がオーバーラップする時間及び場所で、カメラ面の「衝突」を起こし、これらの「衝突」を検出することができ、ビームの１つを、例えば制御システムフィードバックループによって一時的に消すことができる。複数のビームは、異なる角度で物体の表面から到達して反射するために、例えば影又はオクルージョンを回避するために用いることができる。マルチビーム検出の曖昧さを完全に回避するために、例えばこれらをデューティサイクルすることができる（例えば、交互の時間スロット又は他の何れかの適切な時間構成が与えられる。）

図８では、２つの送信機Ｔ_x1及びＴ_x2によって生成された２つのレーザビーム（又は他の光ビーム）が、時間_t1のボクセル位置Ｖ₁から時間ｔ₂及びｔ₃のボクセル位置Ｖ₂及びＶ₃それぞれへの物体１０８の表面上の同じ線形走査軌跡に沿って走査している（側面図）。Ｔ_x1からのビームは、Ｖ₁からＶ₃への全体の軌跡を照明することができるか、又はこれに代えて、Ｔ_x1は、ｔ₂でボクセル位置Ｖ₂に到達するこの軌跡に沿って位置を照明することができ、Ｔ_x2は、Ｖ₂からＶ₃を照明し軌跡を完成する。Ｔ_x2はインスタンス1で即時に引き継ぎ且つ同じ軌跡に沿って継続することができるか、又はこれに代えて、ソースＴ_x2は後の時間に完了するようスケジュールすることができる。（この例では２つの走査ソース、及びこの走査モーションが同一平面になるよう並べられる。）少なくとも一部の実施形態では、交互の走査レーザ源のこの構成が、物体の周りに位置付けられたカメラによって観測される明るい反射を結果として生じることができる。この構成は、本発明のシステムがかなり少ないオクルージョンを有する重大な表面屈曲を持つ物体の走査を可能にする。

図９に示すように、部屋又は詳細な３Ｄアーティファクトを走査する時に、手持式レーザスキャナ１０４´を用いて、「詳細ボクセル」を累積セットに追加することができる。手持式ツールは、単純なレーザポインタ又は「レーザブラシ」（例えば、固定又は疑似ランダム走査パターンに沿って順次的に照明するレーザ）とすることができ、進行中の「ブラシワーク」を示す図９に示すようなスマートフォンなどの第２手持式デバイス１０６´を含むことができる。第２手持式デバイス１０６´自体は、１又は２以上のカメラを包含することができるか、又はカメラＣ₁、Ｃ₂、Ｃ₃は、レーザポインタ１０４´によって照明される各ボクセルが少なくとも３つのカメラで見ることができる構成におけるスペースの周りに別々に大まかに位置付けることができる（図９に図示）。

３つのカメラＣ₁、Ｃ₂、Ｃ₃は、近くからの細かい「ブラシワーク」（ブラシの周りの連続照明ポイント）を直接観測することができ、走査される物体（又は顔）の周りに配置される他のカメラは周囲エリアに並べられる。これらの他のカメラは手持式でなくてもよいが、これらを固定する必要はない。走査される物体の周囲のカメラのセット、飛行クアドコプター又はロボットアームに取り付けられたカメラを用いて、可能な限り多くのレーザポイント照明位置を捉えることができる（各ボクセルに対して３つの観測される視野の最小値）。

図９に示した例では、３つのカメラＣ₁、Ｃ₂、及びＣ₃を物体の周りの三焦点構成で位置付けることができる。手持式モニタリングデバイス１０６´は、「ブラシワーク」の進行のモニタリングを可能にし、走査される物体の細かい構造的詳細を明らかにする。手持式モニタリングデバイスは移動電話とすることができる。手持式であるレーザブラシデバイスは、物体の表面にレーザ光の数千の「ブラシストローク」を生成する走査レーザビームで物体を照明する。３又は４以上のカメラが各ブラシストロークを追跡する。上述のように、カメラは、「トゥイッチーピクセル」又はＳＰＡＤアレイセンサタイプとすることができ、細かく三角測量する、又はそうでなければ、例えば物体の表面上にレーザビームの即時位置を位置付けるＴｏＦ方法によって三角測量することができる。これに代えて、レーザブラシは、３又は４以上のカメラによって異なる視野から観測された各照明ボクセルをカメラが明確にし、識別し且つ一致させるのを可能にする空間−時間符号化方式を発することができる。任意選択的に、ＤｅＢｒｕｉｎ又は他のカラータイプコード化方式を以下で詳しく説明するように用いることができる。

支援ステレオ構成は、３つの共線デバイス、例えば図１０Ａに示すようなカメラの立体ペアのベースライン上の画像プロジェクタを有する。この「ステレオ（立体）」構成は、画像トリプレット図形の特別なケースとすることができる。２つのカメラによって観測される投影画像は、合わせて３つの２Ｄ画像及び１つの投影現実を結果として生じる。３つの画像の相対的向きは、三焦点テンサーで完全に捉えられる。

図１０Ａでは、「支援立体」構成には３つのビュー、すなわち１つのプロジェクタ（すなわち、送信機）Ｔ_x及びカメラの立体ペア、Ｒ_xL及びＲ_xRが存在する。送信機Ｔ_xの共鳴走査システムでは、走査ミラーから跳ね返る走査ビームの即時ポインティング方向は、周期関数であり、何れかの瞬間、ｔでは、時間的に特別なポインティング方向が、ミラー機構から電気又は光学フィードバックループによって正確に推定できる。従って、４つのポイントＰ₁、Ｐ₂、Ｐ₃及びＰ₄は、時間ｔ₁からｔ₄に連続して走査ビームによって順次的に照明される。２つのカメラがこれらの４つの証明されたボクセル位置を観測する。４つの照明されるボクセル位置の４つのレーザビームポインティング方向及び４つのペアの投影は、２つのカメラのセンサ面の各々に反射及び画像化される。これらの１２の２Ｄ観測は、使用できる三焦点テンサーＴに完全に取り込まれ、ポイントＰ₁、Ｐ₂、Ｐ₃及びＰ₄の位置を決定することができる。

当技術の支援立体システムの状態は、一般的には、レーザ走査プロジェクタによるエピポーラアライン構成のローリングシャッターＲＧＢカメラの立体ペアを用いる。システム１００で用いる単純な代替の構成は、高解像度モノクロームトゥイッチーピクセルカメラ及び単一一次レーザスキャナのペアを含む。「予想」起動などの追加の選択肢（例えば、全体が引用により本明細書に組み入れられる米国特許出願連番第１５／７９９，１４９号明細書を参照）及び狭バンドパスフィルタは、ローリングシャッター、エピポーラアラインメントを必要とすることなくこのような構成を日光で十分ロバストにする。システム１００などのシステムは、最小限２つのトゥイッチーピクセルカメラと単一のモノクロームプロジェクタを含むことができる。少なくとも一部の実施形態では、これらの３つの各々を、数立方ミリメートルの容積に合わせることができ、３つの構成要素の各々を、図１０Ｂに示すように融通性のある調節可能な非剛性の快適且つ超軽量の頭部装着デバイスを実現するＨＭＤにおける異なる位置に取り付けることができる。

例えば、双方が引用により本明細書に組み入れられる米国特許出願公開第２０１５／０２７８９９２及びＵＳ２０１７／０２８２９２に記載するように、頭部装着ディスプレイシステムは、ユーザの眼の各々に近く位置付けられる２画像投影デバイスＴ_xL及びＴｘ_Rを有することができる。投影デバイスは、逆反射投影表面に画像を投影し、逆反射画像が左眼と右眼のビュー視野を提供する。逆反射ディスプレイ表面の狭い逆反射によって角度的に及び狭く限られ且つ分離された２つの別々の「アイボックス」が存在する。原理上は、ユーザが眼の近くにプロジェクタを身に着けているとしても、何れの種類のフィルタ、レンズ又はオプティクスもユーザの視界を塞がない。同じ走査投影システムを「支援立体モード」に用いて、仮想協調セッションの一部として走査されるユーザの手にある物体を走査することができる。

図１１Ａ−１１Ｆは、ＦｏＶ両端の走査線が２０マイクロ秒未満を取るように、周囲の高速走査モーション、例えば２５ｋＨｚを有するよう２つのプロジェクタを構成できることを示している。他の走査速度も用いることができる。各プロジェクタの走査の高速軸は、両方の横方向に正確に指などの物体の輪郭を追跡するように反対側の方向に設定することができる。

図１１Ａでは、左側のプロジェクタビームが５ミリ秒でユーザの指を横断し、約５マイクロ秒離れたｔ₀とｔ₁の端輪郭ポイントをはっきりとマーキングする。最大５００光コード又はボクセルのパターン（各照明に対して各々が約１０ナノ秒）が指の両端に生成される。後の瞬間に、図１１Ｂでは、時間ｔ₃で始まり時間ｔ₄で終わる第２期間中に、第２ビームが対角線上に反対の方向に指を横断し、約５００光コード又はボクセルの別のシリーズを広げる。本明細書で説明するシステム及び方法を用いて、少なくとも一部の実施形態では、約１０００高精度３Ｄボクセル位置を示した追跡システムが、１秒の約１／１００，０００番目を走査することができ、達成されたサブミリメートル精度指位置及びモーションデータは、ほぼゼロの待ち時間で全３次元である。図１１Ｃはユーザの頭部の上面図を示し、左プロジェクタＬＰが対角線上を上に走査し、図１１Ｄでは右プロジェクタＲＰが対角線上を下に走査する。

別の実施形態は、図１２に示すように複数の手又は把持部又は他の付属物に据え付けられたカメラＣ₁、Ｃ₂、Ｃ₃、Ｃ₄、Ｃ₅、Ｃ₆（例えば、「トゥイッチーピクセル」センサアレイを備えたカメラ）を有するマルチアームロボット（又は他のデバイス）である。これらのカメラは、柄の上にあり高度に移動可能である。これらの追跡カメラが検査される物体の周りに最適に位置付けられるように、付属物は６の自由度でカメラを平行移動及び回転することができる。これらを検査中に連続して移動することができ、本システムのリアルタイム且つ一定の再較正特徴によって可能になる。

検査される物体はそれ自体で移動することができる。この表面は変形可能とすることができるか又は動作中にすることもできる。少なくとも一部の実施形態では、少なくとも３つのカメラが反射を検出する方法で、物体の表面の各及びあらゆる隅から隅までを（任意選択的に接触することなく）照明できるように、付属物ＬＢ₁、ＬＢ２の１又は２以上が、送信機、光源、又は制御システムによって器用に操作される光ブラシを保持する。これに代えて又はこれに加えて、本発明のデバイスは、デバイスの本体又は他の付属物以外の部分に配置された送信機又は光源を含むことができる。少なくとも一部の実施形態では、少なくとも３つの反射が各レーザ照明表面ポイントに対して（記録される各ボクセルに対して）観測されるようにする段階は、試行錯誤の反復処理を含むことができる。例えば、小さなエリアを走査するために光源（例えば、レーザ）をオンにすることができる。少なくとも３つのカメラが互いに対して予想される期間内にフォトンを検出するまでカメラの１又は２以上を移動させることができる（例えば、カメラは「トゥイッチー」ピクセルでセンサの「トゥイッチング」を検出することができるか、又は代わりにＳＰＡＤアレイのピクセルをほぼ同時にアバランシェする）。すぐに、ほぼ同一の時間スタンプを有する事象を持つ事象データのストリームが観測される。各場合の「ほぼ」は、例えば、１、５、１０、１５、２０、又は２５ナノ秒の間隔内の事象とすることができる。

３つより多いカメラ及び１つより多い光源を有することが望ましい。例えば、検査ロボット（水中検査又は他の使用に有用とすることができる）は、６つのカメラ及び２つの光源を同時に又はカメラと光源の何れの他の数も用いるよう取り付けることができる。図１２は、検査中のエリアの別々のパッチを走査するためのカメラＣ₁−Ｃ₆及び２つのレーザブラシＬＢ₁及びＬＢ₂（すなわち、光源）を備えた６つのアームを持つロボットを示す。

少なくとも一部の実施形態では、マルチアームロボットが、複数の表面上の構造的特徴を同時に発見、検査及び追跡できることは有利とすることができる。何れの公知の構造も、写真測量法を用いた６つの自由度（ＤｏＦ）空間信頼基準として使用できるので、ロボットが環境における何れかの適切な位置基準（例えば、港の水底の錨）（好ましくは、固定）に対して６ＤｏＦで極めて精密にその固有の位置及び向きを追跡するのを可能にする。同様に、腕の追加のセットを奇妙な形の障害物の周りで精密なマイクロ操作をするために用いることができ、ロボットはアームの１つのセットを用いて、物体に対して任意選択的に自らを固定し同時にアームの第２セットが物体の細かい３Ｄクローズアップを迅速に走査する。

一部の実施形態では、デバイスの何れのロボットアーム又は他の付属物も、光源及びカメラの両方を有することができ、作動中にこれらの特徴を交互に配備して、レーザビーム又はパルスを表面に向け反射を観測する。少なくとも一部の実施形態では、プロセッサベースの中央制御システムが進行中の検査をモニタする。少なくとも一部の実施形態では、この処理はＣＶアルゴリズム及び制御ソフトウェアを用いる。

表面は、摩耗、腐食又は他の損傷などの欠陥を検査することができる。少なくとも一部の実施形態では、異常が、例えばＡＩ（人工知能）ベースのコンピュータビジョンシステムを用いて検出されるエリアにズームインするクローズ検査によって検査処理を完全に自律的且つ自律とすることができる。例として、命綱なしの検査は、中央海嶺の船の船体、掘削基地、パイプライン、又はウェルヘッドの構造的完全性をチェックするための１又は２以上の高度に操作可能な水中ロボット又はデバイスを含むことができる。他の応用は、パイプラインの知的「ピギング」に用いられるいわゆる「スマートピッグ」を含むことができる。「スマートピッグ」は、パイプラインの内部状態に関する情報を記録する検査デバイスである。検査中、「スマートピッグ」はパイプラインに挿入され、パイプラインに流れる生成物によって推し進められる。

これらの応用は、迅速な動作可能知的知覚の例であり、リアルタイムの観測が、即時の「現場での」動作（例えば、クローズ検査、デブリを消すことができる、修復する）をもたらすことができる。動作可能及び迅速な機械知覚は、十分強力且つ低待ち時間のオンボードコンピュータ資源を利用するのが好ましい。

例えば、ＧＰＵ及び専用ＡＩ加速度計の１００＋ＴｅｒａＦｌｏｐ（ＴｅｒａＯＰ）クラスによって提供される十分な処理能力によって、三焦点レーザ知覚を備えた上述のシステム１００を用いた超高速走査と組み合わされた時に、図１２に示すようなロボットは、好ましくは監督又は介入を必要とすることなく、自律的に、素早く且つ効率的に作動することができる。後者は、データ接続が制限されるか又は存在しない場所で有利である。

迅速で動作可能な３Ｄ知覚は、ステルス偵察応用のため、及び惑星探査（光の速度の制限による極端な待ち時間、及び全てのシグナリング）などの極めて遠隔の位置で作動する時、又は遠隔自律衛星検査のために重要である。

システム１００の少なくとも一部の実施形態では、物体又は表面のミリメートル毎に、完全で詳細な「細粒度」３Ｄ構造マップを結果として生じる１秒当たり１億ボクセル又はそれ以上の速度で検査することができる。このようなマップは、振動及び構造的共振及び変形などの高密度ダイナミクスを明らかにする精密なモーション観測を含むことができる。

各ボクセルが１平方ｍｍである場合、システム１００の少なくとも一部の実施形態は、１秒当たり最大１００平方メートルを走査することができる。走査処理中、光源から発した反射されたフォトンの３又は４以上の同時検出からのデータ事象だけが次のコンピュータ段階に進む。これらのＮタプル（ここでＮ＞＝３）事象観測が処理され且つ次に（少なくとも一部の実施形態では、ほぼ即座に）正確なボクセルデータのストリームを結果として生じる。正確な観測によって、３Ｄ走査のセクションの全てを迅速かつ正確に互いにスティッチすることができ、少なくとも一部の実施形態では、効率的にオンボードメモリに格納できる。対照的に、多くの従来のシステムは今日、生の未処理マルチビュービデオストリームを格納する必要があり、検査される物体に過度に大きなストレージ及び／又は複数のトリップを要求する。

本発明のシステムは、フィードバックループの一部としてリアルタイムデータストリームを用いて連続して且つ自動的にアームを動かして、ボクセルデータの連続高速フロー、及び従って３Ｄ表面の効率的で高速の完全な検査を保証することができる。

少なくとも一部の実施形態では、ナノ秒の精度を持つタイムスタンプを備えたコンピュータ計算されたボクセルが提供される。タイムスタンプは、３Ｄマニホールドのボクセル位置の順次的に照明に同期されるのでこのナノ秒精度を達成する。

少なくとも一部の実施形態では、個々に観測されたボクセルのこの精密なタイミングが、検査ロボットシステムに異なる視野から観測される表面のパッチの観測に統合、融合及びスティッチし、モーション及び加速度の正確な記録を維持するのを可能にし、少なくとも一部の実施形態では、ナノ秒精密時間スケールで、しかしリアルタイム又は後の１つのシステムの観測を、この精度の損失なしに他の何れかのこのようなボクセル順次システムに統合（スティッチ又は融合−すなわち、データ融合の処理を介して）することができる。少なくとも一部の実施形態では、このようなシステムの２又はそれ以上の観測は、１秒の１００万分の１まで観測された表面のｍｍ毎の位置、速度、加速度及びカラーについて同意しなくてはならない。この固有の時間的及び空間的精度は、本発明のシステムの２又は３以上のデータを融合する処理を大幅に単純化する。

少なくとも一部の実施形態では、４つの連続して観測されたボクセルの後に、更なる観測が、知覚システム１００を用いたロボットが、移動アームの各々、及び可能であればひじの関節の位置及び向き、速度及び加速度を（６ＤｏＦで）較正し、且つ作業スペースでの固有の向き、速度、及び軌跡を再較正できるようにする。作動のマイクロ秒内で、適切に装備されたロボット検査及び操作システムは、身体的自覚と呼ばれる自己受容のバージョンを達成する。アリストテレスの時代の第六感として提案される自己受容は、手足の位置及び動きの正しい感覚、空間における体の認知自覚である。

ロボットの各カメラ（又は眼、例えば、トゥイッチーピクセル又はＳＰＡＤアレイ）が１秒当たりに最大１００万回の速度で固有の位置を知らせるので、ロボットの全ての移動部分及び区分は、６ＤｏＦで即座に（又はほぼ即座に）一部分の全てを向ける及び協調するために共有観測を用いることができる。従って、ロボットの各接合位置及び姿勢を追跡することで、追加のハードウェアＩＭＵ又は回転復号器の必要性を取り除くことができる。

自己受容は、器用さ、敏捷性及び衝突防止を可能にするか又は拡張することができ、例えばピザデリバリーロボット（又は多くの顧客又は他の個人又は危険を持つ場所の他のロボット又はデバイス）から期待されるように群衆の中をナビゲートするのに必要な基本的な迅速の器用さを向上させることができる。この追加の器用さ、操縦性、動的敏捷性、及び自己受容、平衡及び猶予は、レストラン及び他の類似の使用のロボットウェイター又はウェイトレスに知覚システム１００を合わせる。

レーザ「ブラシ」をＡＲ（拡張現実）位置検知システムに加えて、形状を正確に検出及び迅速且つ効率的にチェックすることができるが、現実的な見た目の増強を検出された現実にシームレスに合わせることができる。後者は、人の顔又は指などの生きている変形可能な物に添加物（宝石、王冠、鼻輪、タトゥー、口ひげ、帽子、角など）を付けた時に特に重要である。

システム１００を用いて、頭部装着ディスプレイ（ＨＭＤ）は、三焦点センサ構成を用いて添加物に対して現実世界で効率的に物体を追跡することができる。システム１００などのエンドツーエンドピクセル順次システムを用いる（例えば、「トゥイッチーピクセル」センサを用いる）ことができるか、これに代えて、従来のフレームベースのＲＧＢセンサを用いるレーザ及び、例えば、ＤｅＢｒｕｉｊｎタイプカラー及び／又は強度光コード化構造化光技術、以下に説明するようにコード化レーザ光走査進行を用いてレーザによって順次的に照明されるピクセルを備えたハイブリッドシステムアーキテクチャとすることができる。

機械ビジョン科学者は、畳み込みニューラルネットワーク（ＣＮＮ又は「ＣｏｖＮｅｔｓ」）などの新しい「ＡＩ」ベースのコンピュータ方法に頼ることが多くなっている。ＲＣモデル車を自律運転するためのＣＮＮを訓練する時に、２つの個々のカメラデータストリームとしてカメラのステレオペアを扱うことが十分であることが最近になってＵＣバークレイの研究者によって示された。ＣＮＮは、ＲＣ車の運転者訓練セッションの間に取り込まれた視覚モーション画像で訓練された時に暗黙的に立体図形の同等物の学習に終わる。これは、図形変換（コンピュータ集中作動とすることができる右及び左立体ピクセルペアマッチングなど）に対する必要性を取り除く。生ピクセルから運転者動作に直接進むことは、運転時間の高速反応及び乏しいコンピュータ予算を結果として生じる。訓練後に、訓練された神経網は、暗黙的に立体視推定を用いてその動作を通知する。

類推により、Ｎカメラシステム１００からのデータフロー出力を用いて、ＣＮＮを訓練して、ロボット、自律運転システム、及び他のデバイス及びシステムのための視覚野のように機能することができる。神経網知覚システムの第１の数層は、効果的な細粒度低待ち時間３Ｄ空間−時間知覚能力を提供する。

これは、人間の脳のように、神経ネットワークが、写真測量法、視覚走行距離計測法又はＳＬＡＭによって直接通知された数学的に明示的な規則及び訓練された神経網によって神経効果を「直観する」ことによる駆動に基づいて空間図形に関して明示的に知らされる（又は訓練される）ことなく、未知の３Ｄリアリティ風景における高速ナビゲーションに対する基本的な特性をマスターできることを示唆する。

明示的規則ベースの図形変換がステレオカメラを備えた遠隔制御車に必要ないこと及び一連のステレオ画像ペアにおける３Ｄリアリティを取り込む２つのカメラから３Ｄボクセルを明示的に抽出する必要がないことが明らかである。双眼の人間は、一定の動きをする一対の低解像度の眼よりも上手に生き延びる。従って、上述のように、十分なビューポイント（Ｎ＋ビュー）によってカメラを備えたロボットを未知の３Ｄ環境で高速で操作することが有効であることは説得力がある。進化は、ハエトリグモのビジョンシステムに類似の生体模倣の疑似ランダム走査ビジョンシステムを提案する。

バンドル調節は、統計的に最適な方式でシーンポイントの内部及び外部パラメータ及び３Ｄ座標を同時に推定する統一された方法である。カメラ及びシーンポイントの数は任意に大きくすることができる。概念的には、逆問題を解決してグラフィクスをコンピュータ計算し、未知のシーンの画像が与えられた場合、タスクは、シーン構造を回復することであり、すなわちカメラを記載するパラメータと共に視覚表面は画像を撮影するために用いられ、従って全ての利用可能な情報を活用する。例えば、全体が引用により本明細書に組み入れられるＷ Ｆｏｒｓｔｎｅｒ及びＢ．Ｐ．Ｗｒｏｂｅｌ、写真測量法コンピュータビジョンの１５章を参照されたい。

例えば、ＳＩＭ（モーションからの構造）では、一連の観測（例えば、移動カメラによって撮影された順次ビデオフレーム）が存在する。各フレームは、時間が観測中に静止状態であると思われる時に準即時観測である。シーンにおける物体に対するカメラ自体のモーションによって起こるフレーム間の変更された視野は、カメラのシーン及び軌跡の元の３Ｄ図形を通知する。

上述の三焦点テンサー方法では、４又は５以上の３Ｄシーンポイントが少なくとも３つのカメラによって観測される。シーンポイント、これらの３Ｄスペースマニホールド表面、及びカメラを移動させることができる。ＬＳＤ ＳＬＡＭ（ラージスケール直接単眼同時ローカライゼーション及びマッピング）における移動ステレオカメラのような複数の同時ビューは、ＳＬＡＭ（同時ローカライゼーション及びマッピング）の高度形態を可能にする。

少なくとも一部の実施形態では、システム１００は、ボクセル位置の軌跡を順次的に照明して、ほぼ即時の同時検出事象を３又は４以上のカメラ（カメラの複数Ｎ、Ｎは３に等しいか又は大きい）で発生させる。これは、３（又は４以上）のカメラのピクセル位置間の対応、座標ペア、例えば、３つの異なるカメラにフォトンを検出するピクセルの［列数及び行数］を瞬時に設定する。照明の各インスタンス（すなわち、１０ナノ秒毎）を意味する原理では、全ての以前の推定（表面、物体、及びカメラ中心の軌跡）に更新を行うことができる。

基本的には、各連続ボクセル照明によって、本発明のシステムは、これらのパラメータを正確に取得することができ、この結果、この方法及びシステムは、多数の連続三焦点観測に基づいて（慣性力学を仮定して）極めて正確な過去、現在及び未来の（予測）３Ｄモーション軌跡の決定を可能にする。

一連の連続照明ボクセルのＮ視野からの同時観測を備えた三焦点（マルチビュー）アプリケーション又はシステム１００−ここで数Ｎは３より大きいか又は等しい−は、フレームベースの従来の方法よりも高度なＳＬＡＭを可能にする。カメラシステムのエクストリンシックの計算は効率的に行うことができ、パラメータの全セットを毎回再計算する必要がないか、又は再計算する必要がある場合、手順を素早く且つ効率的にすることができ、以前の最新の観測からの値をシードすることができる。モーション「フリーズ」、すなわち変化は、マイクロ秒の時間スケールで最小である。最新の観測に基づく予測、例えばカルマンフィルタ推定は、極めて近い可能性がある。

図１３Ａ及び１３Ｂを参照すると、標準的なカメラ画像が、２Ｄ画像として又は最初は粗く走査される３Ｄ走査として、例えば３Ｄ世界の関心ポイントを識別するために使用される従来のステレオ又は構造化光方法によって処理される。スキャナレーザ源Ｔｘは、従来のローリングシャッターカメラのビューを照明するために用いられ、このカメラの視野が走査レーザ照明器と同一の場所に位置付けられ、これによってカメラの各ピクセルＰ_ijに対する照明瞬間Ｔ_ijを正確に決定することができる。図１３Ａでは、Ｔｘによって送信された走査レーザビームからの光は、物体Ｏｃの表面ポイントＰから反射する。同一場所カメラＲｘのピクセルＰ_ijは、時間Ｔ_ijの反射パルスを受信し、ポイントＰの表面の時間、位置及びカラー（送信されたカラーＲ、Ｇ、Ｂに対する物体のアルベド）値をマーキングする。図１３Ｂでは、本発明のシステムは、例えば物体上の４つのスポット、基準マークｔ１、．．．ｔ４にマーク付けする。ここで他のカメラＣ１．．．Ｃｎは、これらの照明されたマークを見る（検出する）ことができ、「ｃｒｏｐ」がこのビューで物体を選択する。任意選択的に、マークの４（又は５以上）を検出する３又は４以上のカメラは、システム１００に関して上述したように三焦点テンサー計算を用いてマーク付けポイントの３Ｄ位置を即座に計算することができる。任意選択的に、Ｎカメラからのデータフローを低減するために、物体を選択的に照明、及び／又は選択的に記録（「３Ｄクロップ」）することができる。

ピクセルサイズＲＧＢレーザビームは、従って各記録されたピクセルの位置をＴ_ijに時間的に（ナノ秒で）且つカメラの解像度の制限値に制限する。後者は、例えば、経済的な８Ｍピクセル「４ｋ」センサによって、４０×２０度ＦｏＶによって、４０度／４０００列が良好なオプティクスを仮定する１列当たりの１／１００度である場合、方位角又は仰角の何れかで１／１００の程度と同じように細かくすることができる。

システム１００のピクセル順次的に照明は、高速モーションビデオ記録に対してもモーションのぼけを取り除くか又は低減する。レーザ照明フレームのシーケンスは、コンピュータシステムが関心ポイントの位置を識別、追跡及び予測するのを可能にする。本発明のシステムは特別な照明フレーム（又はわずか数走査線）を挿入することができ、関心ポイントだけが照明される（又はこれに代えて、特別に装備されたカメラが、照明された基準ポイントによって「ブラケットされる」ピクセルだけを選択的に起動又は読み出すことができる）。

観測システムのおける他のカメラ（Ｃ１．．．Ｃｎ）は、関心のこれらの選択されたポイントの位置を記録することができる。これらの照明は疎らで順序良くすることができるので、図１３Ａ及び１３Ｂの立方体形の物体Ｏ_cなどの関心の物体は、容易に識別及び選択的に追跡することができる。

閉ループシステム３Ｄ基準追跡システムの手順の１つの例示的な実施形態は以下を含む。
１．第１カメラの全フレームの照明を開始する。（任意選択的に、全モーションのぼけの除去又は低減及び高速高フィデリティモーションキャプチャを可能にするためにシステム１００を用いる）。
２．ピクセル毎にフレームの関心ポイントを識別する。
３．後のフレームの関心ポイントを再識別する。（この後のフレームは、次のフレームとすることができ、可能であれば以前に識別された物体位置の周りの小さなエリアにサーチを制限する。）
４．ポイント（２Ｄ、ピクセルカメラ位置）の適切なセット及び各ポイントのタイムスタンプが取得されるまで、一連のフレームの上部ステップ３を繰り返す。
５．関心ポイントの（あるとすれば）モーション軌跡を決定する。
６．走査ビームの次の（数）パスの位置を予測する。
７．予測された軌跡に沿って関心のこれらのポイントだけを照明する。（これらは、送信機及び第１カメラの視野から見られる２Ｄ軌跡及び２Ｄ位置とすることができる。）
８．一連のカメラ位置の各々にできるだけ多くの照明ポイントのピクセル位置をマーク付けする。
９．任意選択的に、ポイントは照明されるカラーコードとすることができる（追加の観測者カメラが、色毎にポイント位置を識別することができる従来のＲＧＢカメラであると仮定する。）
１０．公知の測定学技術（例えば、三角測量、ＰｎＰ及びバンドル調節）を用いて、観測カメラの３Ｄ位置及び関心ポイントの３Ｄ軌跡をコンピュータ計算する。

ピクセルぼけの不存在及び各観測の極めて細粒の時間的解像度のせいで、世界クラスの３Ｄ知覚システムが生成される。

長い距離で、パルス又は他のＴｏＦ測距方法は、任意選択的に、シーンの３Ｄ図形を通知するために用いることができ、例えば観測者の間のベース分離が制限されすぎる距離で（例えば、カメラ中心間の不十分な距離がある時）。

高速走査はモーションエラーを低減することができる。３つのカメラが、１ミリ秒の時間スパン中に最も広いＦｏＶ空間（例えば、２つの方向方位角及び仰角における４つの極端な走査ポイント）にわたって、ある期間に渡る４つの連続ポイントを見て且つカメラ間の相対的横軸（正接）速度が第４の限界観測の終わりによって１秒当たり１０メートル（３６ｋｍ／ｈ）の速さの程度であると仮定すると、真の移動カメラ位置（観測されるポイントに対する）は１センチメートルだけシフトすることができる。この１ミリ秒の観測期間にわたって、３００，０００［ｘ，ｙ］カメラ座標観測をもたらす１００，０００中間走査（毎１０ナノ秒に１つ）を存在させることができ（３つの「トゥイッチー」カメラの各々における１００，０００同時観測）、これによって、十分なリアルタイムコンピュータパワーが与えられると、カメラ軌跡、及びカメラ軌跡の相対的位置を正確に推定することができる。

３Ｄマニホールド両端の走査は、連続的３Ｄ表面から、表面全体の軌跡をモデル化、観測、追跡及び予測するために２つの表面の交差として軌跡を形成することができるが、一時的オクルージョン、「ドロップオフ」及び他の不連続性を扱う。目標は、本発明のシステムの周囲光に対する感度を上げ堅牢にするためにアレイの予測される２Ｄ軌跡に沿って個々のピクセルの予想ゲーティング（例えば、「トゥイッチーピクセル」又はＳＰＡＤピクセル）を達成することである。目的は、３Ｄ空間マニホールド小区分及び２Ｄカメラ小区分でビームが次に現れる関数で表現できるように、すぐ前方の３Ｄ走査軌跡の確率的制限の数学的関数のレベルを導くことである。

３又は４以上のカメラで観測された軌跡に基づいて、且つコンピュータ計算された軌跡に基づいて、これらの軌跡は動力学的に（例えば、数学的に）予測可能な仮定平滑非ランダムモーションであり、表面、レーザ源及び観測カメラの各々の間の相対的モーション（６ＤｏＦ）が走査される。１つの実施形態を図１４に示している。走査線は、２つの表面の交差であり、表面Ｉはビーム軌跡マニホールド（ＢＴＭ）であり表面ＩＩは走査された物体マニホールド（ＳＯＭ）である。

３つのカメラＣ１、Ｃ２及びＣ３は、走査ビームの軌跡の反射を観測する。第１区分は、観測される実際の軌跡であり、第２区分は予測される将来の軌跡である。観測される軌跡に沿った何れのポイントＰでも、レーザ照明ポイントが軌跡に沿って速度ベクトルＶで移動する。このモーションは、カメラＣ１、Ｃ２及びＣ３それぞれのセンサ面における３つの２Ｄベクトル、Ｖ’、Ｖ’’及びＶ’’’として３つのカメラに投影される。数百ナノ秒の極めて短い間隔にわたって、ピクセルが次に「トゥイッチ」できる将来の位置を、到着ビームの前の「ジャストインタイム」方式で、予測、予想、及び必要に応じて起動することができる。従って、センサの予測される軌跡に沿った個々のピクセルを１マイクロ秒未満の期間に起動（露出）できる場合、ＳＰＡＤＳは、最大利得に逆バイアスすることができ、センサダークノイズ、及び周囲光ノイズを最大値に抑えることができる。

表面Ｉ：ビーム軌跡マニホールド（ＢＴＭ）−走査ビームは、連続平滑方式で３Ｄスペースを走査する。定義により（古典物理学の法則に従って、すなわち非常に大きな重力場の不存在）、発せられたレーザビームのフォトンが、検出及び追跡される遠い物体又は表面に向けてミラーＭから直線で自由空間内を移動する。ミラーＭは、回転の瞬間軸ｒ（ｔ）の周りを回転する。

入射高度コリメートレーザビームはミラーに反射して、ピボット、すなわちミラーの角速度の２倍で回転する（正反射のオプティクスに従う）。入射ビーム自体は、例えば、米国特許第８,２８２，２２２号、８，４３０，５１２号、８，６９６，１４１号、８，７１１，３７０号、９，３７７，５５３号、９，７５３，１２６号、及び米国特許出願公開第２０１３／０３００６３７及び２０１６／００４１２６６に記載されるようなリレーオプティクスによってリンクされた一連の走査ミラーを含む走査システムで以前の走査ミラーの動作によって事前回転することができ、これらの特許出願の全てはその全体が引用により本明細書に組み入れられる。例えば、長円体リレーは、長円体ミラーリレーの第１焦点Ｆ₁に配置されたミラーから第２焦点ポイントＦ₂（２つの焦点Ｆ₁及びＦ₂を有する長円）までの１次元（例えば、方位角水平方向）に走査モーションをリレーすることができる。このリレーの第２焦点で第２方向の回転が、一般的には第１走査ミラーの効果に直交する方向（例えば、垂直方向、又は「上昇」）に、走査ビームに伝えられる。

従って、マイクロ秒で測定される短期間にわたって、ビームは、走査機構によって伝えられる高速回転の結果である高速走査方向に実質的に動くことになる。

最適なマルチミラーリレーシステム、又は適切に設計された２軸ミラーによって、正味の効果は、特異点起点Ｏから発生するようにビームが走査機構を離れることになる。ビームがミラーの中心の周りをピボット（回転する）時に、Ｏがこの位置に現れる。他のシステムでは、ビーム起点Ｏが最後の走査表面全体でわずかに横方向に移動（遷移）することができ、この上にレーザ走査機構を離れる前に反射する。しかし、この遷移はある距離で見られる時にほとんど無視できる。

最終結果は、ビームが空間を通して滑らかに走査し、３Ｄ表面に沿って形作られた薄いエンベロープ内のこの空間、わずかに曲線になった空間マニホールドを横断する。モデル化するための別の方法は、ミラーＯから発生するレイのバンドルとしてモデル化することであり、時間的に小さな増分で各連続レイはほぼ一定方向（高速走査方向）に小さなステップで（例えば、ナノ秒毎の１／１００の程度）回転した。短期間にフリースペースを介して横断する高コリメートされたレーザビームがレイの緊密なバンドルを形成し、時系列のように進行し、各々の微小なステップによってレイは小さな回転フラクションによって進む。

少なくとも一部の実施形態では、第１表面、ＢＴＭ表面は平滑であり、何れかの１つのポイントの１つの方向にのみわずかに曲線が付けられている。ＢＴＭ表面上の各ポイントに対して、少なくとも１つのまっすぐな次元が存在し、且つこれに直交してわずかに曲線をつけられた第２の平面次元が存在する。ＢＴＭ表面上の何れかのポイントＰで、まっすぐな次元が起点Ｏから発生するレイの１つによって形成される。このレイは、走査機構におけるポイントＰから発生する時間の異なるポイントでレーザビームによって形成される直線のバンドルの１つである。これに直交するのが走査方向である。何れかのポイントＰの走査方向は、レイ方向に対して正接（従って、直交）である。ＢＴＭは、わずかに「波打つ」として説明することができる（空間のリボン、又は波打つ表面のような、Ｏから扇状に広がる）。

表面ＩＩ−走査された物体マニホールド−第２表面は、本システムによって走査及び追跡され、「走査物体マニホールド」（「ＳＯＭ］）である。ビームが照明するゼロ以外のサイズの何れかの物体に属する表面又は３Ｄ空間マニホールドである。発明者らは、ここで物体の表面が実質的に連続しており平滑である（隙間がない、髪がない、樹上突起など）であると仮定する。

ローカルで両方の表面が平滑である（すなわち、「弁別可能」）である場合に、これらの交差は両方の表面によって共有される線であるので、ＢＴＭ及びＳＯＭの交差は、それ自体が平滑である線であり、従って２つの平滑な表面のこの交差は平滑でなくてはならない（弁別可能）。観測可能な走査線軌跡は平滑でなくてはならず、これは、連続スポットの位置が以前の観測から定義された直線軌跡に沿って予測可能であることを意味する。

図２１Ａは、本システムがパターン化画像４０６をその上で操作するプロジェクタ４０２及び表面１１４を備えた「疑似ランダム」レーザシステムの例示的な実施例を示している。画像４０６上の各画面位置４０８は、１又は２以上の走査線４０４の上にかかることができる。図２１Ｂは、走査され予測された軌跡部分を備えた１つの疑似ランダムビーム軌跡の実施形態を示す。画像を投影する処理を２つの個別の段階、すなわち走査線４０４の既に走査された部分が検出されるフィードバック段階、及び組み合わされた画像ビームが走査線４０４の予測される部分に投影される投影段階に分割することができる。これに対応して、走査線４０４は２つの個別の部分、１つは走査されたビーム軌跡部分４１６と２つは予測された軌跡部分４１０を有する。走査線４０４の走査されたビーム軌跡部分４１６は現在のビーム位置４１２で終わり、この実施形態では、ナノ秒タイミングに基づいて一般的に生成されるパルスのシーケンス４１４を含む。予測される軌跡部分４１０は、パルスのシーケンス４１４に関連付けられるデータに基づいてプロセッサ１１６によって予測される部分である。組み合わされた画像ビーム１２０は、一般的には走査線４０４の予測される軌跡部分４１０に投影される。

図２３は、ビームの画像が真の軌跡に沿ってカメラを横断する場合に反射又は散乱されたフォトンビームとしてカメラのピクセルによって観測される検出事象のトレール２３００を示す。このトレール２３００は、結果生じた軌跡が空間的な精度（例えば、１／１０ピクセル次元）及び時間的（例えば、事象の１／１０時間解像度（平均ピクセル全体で送信時間に大体同等である））の両方で精密であるように、線形補間によって（例えば、線フィッティングによって）調整することができる。図２３は６つのピクセルトレールを示すが、ピクセルの何れの数のトレールも用いることができる。

例えば、１００サンプルが１マイクロ秒にわたって（すなわち、１００，０００，０００生ボクセル／秒の走査速度（大体１０ナノ秒毎に１つの事象））取られる場合及び走査が平滑であり連続的である場合、カメラの空間解像度は、１／１０ピクセル次元と同じに適切とすることができ、即時軌跡位置をナノ秒に時間的に補間することができる。

図２４Ａ及び２４Ｂは、カメラ１及びカメラ２それぞれのピクセルによって観測される検出事象のトレールを示す。２つのカメラのピクセルアレイに（各カメラを位置付ける向けることができる、例えば中心光学軸の周りで―他の全てとは異なるように回転させることができるＮカメラのセットの）２つの異なる位置又は方位で）画像化されるので、ピクセル照明の軌跡は、２つの異なる方位から見られる。各トレールは、ギザギザになり、カメラの各々の順次トゥイッチするピクセルから生じる。ピクセルの「トゥイッチ」は、完全に規則的な間隔ではない。しかし各トレールを補間して、実際の３Ｄ軌跡の２Ｄカメラ投影に密に合わせることができ、２つの補間は、図２４Ｃで静的に組み合わせることができる。マニホールド上のボクセル照明軌跡の小さなサブセクションに対するＮのこのような補間の重なりは極めて近いフィットとすることができ、地面の観測される３Ｄ軌跡及び近い高解像度の観測が真である場合に正確な推定を提供することができる。

各ピクセル化アレイは一部の空間的及び時間的量子化エラーを固有に有するが、ビームの画像がカメラの各々の両端を異なるように横断する場合、カメラが多い程、空間マニホールド上でフォトンビームの３Ｄ軌跡を観測する多様なビューポイントが多い程、ビームの即時位置が正確である程、その真の軌跡を決定することができる。個々のピクセルによって観測可能なものより小さな特徴にビーム位置を発見し、且つビームの反射（Ｎカメラの各々の移動スポットとして画像化）が何れか１つのピクセルを移動するのにかかる時間より短い期間にモーションを見ることができる。

同様に、観測中のカメラ及び／又は位置センサからのフィードバックは、システム１００が前方の軌跡を予測し且つ走査された照明（空間のマニホールドである画面上）の予想される軌跡に対して調節された走査パターンを描画するのを可能にする。同じ疑似ランダム非反復走査方法（例えば、オープンＬｉｓｓａｊｏｕｒ）は、正確な低待ち時間モーション精度追跡システムをもたらす。

連続して又は一連の急速な「曳光弾」又は追跡スポットとしての何れかで、物体の表面の少なくとも一部−照明処理中の何れかの部分を観測することができる何れかの観測カメラＣ、何れのこのようなカメラも、センサの表面に投影されるスポットの時間進行の通りにアパーチャによって取り込まれ且つオプティクスによってフォーカスされる光からの反射の現在の並びに以前の軌跡の一部を観測できることになる。

平滑な軌跡を観測することによって、センサでのスポットの進行、「次に来る」軌跡、換言すると将来のスポットの位置（将来の反射、すなわち、まだ観測されていない表面ボクセル照明）を予想できることになる。連続スポットの位置は、センサの表面の小さなサブセット以内に狭くすることができる。各観測された実際の位置は次の位置を通知する。軌跡に沿って正確に将来の位置を予測し、且つ直近の将来の（短いナノ秒間隔の）スポットを見ることができるピクセルの発生の位置及び時間であるスポットのピクセル横断軌跡の正確な位置を高確率で予想するための数学的方法（例えば、カルマンフィルタ）が存在する。

重大な飛行時間（ＴｏＦ）が、例えばＬＩＤＡＲシステムが５００フィート距離の物体を走査する時に約１マイクロ秒がある場合、入射光ビームの実際の空間方向は正確に相関付けなくてはならず、本発明のシステムは、センサのピクセルの極めて小さなサブセットの起動をコンピュータ計算及び選択及び制御するための十分な時間を有する（１マイクロ秒は１０００の１ナノ秒クロックである）。

走査ビームが、別の視野から見られるように物体から「落ちる」（例えば、表面又は物体の予測しない端に遭遇する）場合、ビームは「ジャンプアヘッド」するように見えることがある。ビームが、予測される範囲を超えて予期しないように、予測される軌跡の前方にある起動されたピクセルを超えて着地するので、センサは、信号を検出できないことがある。このような端が起こった場合、サーチする（例えば、同じ軌跡に沿ったスライディングウィンドウを起動し、ビーム−センサ両端のトレースを再取得する）ことによって回復を即時又はほぼ即時とすることができる。３又は４以上の観測者の場合（例えば、三焦点又は四面体走査ＬＩＤＡＲ構成）、ＳＯＭの表面上の照明されたボクセル軌跡を観測する３又は４以上のカメラが常に存在する点に留意されたい。従って、これらのカメラのあるサブセットは、信号を失うことはなく、信号の観測が信号の追跡を一時的に失くす残りのセンサの再取得を助けることになる。

このようなジャンプアヘッドが起こった時にも、端又はオクルージョン又はギャップのせいで、ビームは、予測可能な軌跡、観測された実際の走査ディレクトリから正確に予測することができる可能な軌跡のエンベロープに近く従うことになる。予想しない「ジャンプアヘッド」は、同じ予測される軌跡に沿うが、実際にはこれから逸れることはない。

わずかのピクセルだけが何れに１つの時間にも開いているので、外部からの信号の光を効率的にスクリーニングし且つ従ってマスクアウトする（選択起動、又はピクセル固有のシャッタリングによって）、例えば周囲の光を大部分シャッターアウトして、本システムが追跡ビームの検出を強く好むのを可能にできる空間−時間フィルタが生成される。例として、公知の（観測された）軌跡に沿って横断することによるカメラ内の百万ピクセル（１０００行１０００列）が存在する場合、カメラは、すぐ前方の予測される軌跡に沿って何れかの１つの時間にフォトン検出１０ピクセルにだけ開くことができる。従ってカメラは、何れか１つの時間にカメラの１／１００，０００フラクションだけを露出（起動）し、周囲光が従って抑制され、トレーサ信号検出が１００，０００対１の因数によって指示される。効果的に、晴れた日の周囲照明が１００，０００ルクスである場合、カメラでは１ルクスに低減される。

確率論的通知マルチビューカメラオーバーラップ（「ＳＩＭＣＯ」）実施形態が図１５に示されている。一連のＮカメラ又はセンサＣ₁．．．Ｃ_N（例えば、ＳＰＡＤ又は「トゥイッチーピクセル」アレイ）は、重なり合うカメラ視野によってビュー（図示せず）を観測する。例として、３つのカメラＣ₁、Ｃ₃及びＣ₅が（レーザプローブビームの−図示せず）の反射を検出し、事象同時並行性チェック（ＥＣＣ）処理又は回路とほぼ同時に（すなわち、同じ短１０ナノ秒期間内に）事象を報告する。ＥＣＣは、３つの事象の発生の（程度）を確認する。３つの事象（サブセットＭ、ここで３＝＜Ｍ＝＜Ｎ、この場合Ｍ＝３）十分に同時である（例えば、５ナノ秒以内）と見なすと、事象をレーザプローブビームによって照明された同じボクセルから発した反射光でなくてはならないことになる。別の回路又は処理ＣＶＰがボクセル位置をコンピュータ計算しボクセルデータを分析のためのダウンストリーム知覚システムに送信する。任意選択的に、Ｍカメラの６つのＤｏＦ位置の較正データが更新される。

マルチシステムを用いた３６０度走査物体又は人−例えば引用により全体が本明細書に組み入れられる米国特許第９、８１３，６７３号に記載されるホログラフィックビデオ取り込みシステム、又は他のＶＲ没入型モーション取り込みシステムでは、多くのカメラがパフォーマー／ユーザの周りの剛性のフレーム（カメラリグ）に取り付けられる。この開示に記載するようなシステムは、一般的には注意深いセットアップ及び較正を必要とする。

本明細書で説明するシステム１００は、何れかの数（Ｎ）の視野（例えば、カメラ）から多くの同時事象データストリームを取り込み、規則的な超短（例えば１０ｎｓ）間隔で同時に記録されたＭカメラのサブセットからＭ事象の各々をマッチさせる及び対にすることができる。システム１００がカメラモーションに対して完全に堅牢であるので、マイクロ秒での何れの新しいカメラ位置への継続的な再較正、カメラリギング及び較正は任意選択的である。図１６は、較正及びカメラリグをスキップし且つダンサーＦ（例えば、パーティ）のパフォーマンスを自発的に取り込む６つのカメラ（Ｃ₁．．．Ｃ₆）を備えた「アドホック」自然発生的（自己編成）「カメラクルー」を示す。

「ブリンカー」−目標選択的３Ｄ基準インサーション及び測定、ＲＦリフレクタ、及び又はブリンキングレーザダイオードメーカＢ₁、Ｂ₂、Ｂ₃及びＢ₄が図１７Ａ及び１７Ｂに示されている。次の車両に３又は４以上のカメラ（Ｃ₁、Ｃ₂、Ｃ₃．．．など）がある。

カメラは、４つの個別の明るく照明されたポイントを発見及び追跡する標準的なカメラとすることができる。又は「ブリンカー」は、システム１００の「トゥイッチーピクセル」又はＳＰＡＤアレイセンサによって即時に検出される明るい単一波長レーザパルスの各々を連続して（同時ではなく）発するレーザダイオードソースとすることができるか、又は４つのポイントを、走査レーザビームを反射する且つ反射がシステム１００のカメラによって検出されるレーザ反射器とすることができる。図１７Ａは、車両の近くに４つの「ブリンカー」ポイントを検出する３つのカメラを示す。図１３Ｂは、「ペロトン」フォーメーションの２つの車両を示し、後方車両が前の車両に近接して従っている。

コード化カラーストリング（別名「カラーベッド」）−レーザプロジェクタは、３又は４以上のカメラ（Ｃ₁、Ｃ₂及びＣ₃）の各々が、３Ｄマニホールド表面のカラーのコード化ストリングを観測して、図１８に示すようにシーケンスのカラーを認識できるように、一部の空間的に別々の固有のパターンにおける表面全体に投影されるカラーの公知の固有のシーケンス（例えば、Ｒ、Ｇ、Ｂ又はＮＩＲ）を生成する。３又は４以上のビューの間のポジティブ空間−時間マッチは、連続した各カラー照明に対して設定することができる。これは、各照明されたボクセルポイントがその３Ｄ位置及び時間シーケンスによって識別できることを意味する（各ボクセルに対するナノ秒の固有の時間スタンプ）。軌跡に沿ったカラーシーケンスは、一意的に識別可能な位置基準、例えばＤｅＢｒｕｉｎコード化によって、一定の期間を通じて及びストリングに沿った一定の長さを通じてローカルに固有である３又は４以上のカラーのシーケンスを提供する。このようなコード化は、隙間及びオクルージョンが起こった時でも、４又は５以上のカラーのフラグメント、ストリングのシーケンスのフラグメントを識別するのに十分とすることができる。カラーシーケンスは、このような照明の長い（ミリ秒）シーケンスを取り込んだフレームにおける時間シーケンスキャプチャをカメラが理解するのを可能にするマーカである。本発明のシステムは、順次的に照明されるボクセルの軌跡に従い、照明のカラーコード化ストリングの空間−時間パターを描くことができる。各カラーベッドが、このフレーム露出で特定のナノ秒正確間隔中に起こった照明であるという知識によって、支援されていない高速グローバルシャッターカメラシステムを超える時間及び位置精度を持つ極めて正確な表面モーションを観測することができる。

ストリングの固有のシーケンスを持つカラーベッドは、空間−時間マーカとして機能する。プロジェクタの空間−時間位置の知識は、本システムが作用するために厳密には必要ない。３つのカメラ及び４つのマッチポイントの三焦点構成は、シーケンスを復号（及びカメラ位置を再較正）するのに十分である。しかし、システムＦＯＶにおけるカラーの正しいシーケンス及びパターンの空間−時間進行の以前の知識を知ることで重要な追加のクルーを提供できる可能性があり、コード化方式を完成し同時に、例えばフィードバックループを介して追跡システムに追加の堅牢性を提供することができ、レーザカラーシーケンス投影を、表面アルベドの変動、構造及びでこぼこなどの物体の観測可能な表面特性に対する強度及び空間周波数を調節することができる。

本発明のシステムのＦｏＶのシーンのある部分は、高い隆起の特別な又は強い関心、例えば前方の軌跡に直接起こる物体、又は切迫した衝突のリスクを提示することがあり、密なカラーシーケンスコード化要件に値する物体とすることができる。パターン又は投影は、クローズ形式（周期的）リサジュー、オープンリサジュー（非反復）又は他の形式の疑似ランダム空間パターン投影とすることができ、密度の高い「斜交平行」パターンの表面に交差する。このようなシステムは、関心の物体上に陥凹３Ｄクローズアップを提供するのに優れている。

これに代えて、モノクロームシステムは、強度変動コード化方式を使用する３つの急速グローバルシャッターカメラを用いることができる。先行の実施形態では、ストリングシーケンスがカラーバリエーションを用いてコード化され、順次投影されるストリングに沿って時間の進行（ピクセルシーケンシャルのシーケンス）に目に見えるようにマーク付けして、同時に各ポイントに空間アイデンティティ及び認識可能な特異性をストリングセクションに追加し、従来のフレーム露出カメラを用いるＮビューモーション追跡システムにおけるＮタプルに容易にマッチ可能にする。

代替のレーザ光コード化方式、例えば急速レーザパワー強度変動を用いることができ、高解像度及び完全狭帯域フィルタ化従来カメラがシーケンスを観測するのを可能にする。この方法は、例えばレンズスタックに適用されるかなり単純なグローバル狭帯域パスフィルタを用いることによって電力を消費せず且つ高い周囲堅牢性を獲得することができる。ＲＧＢモザイクセンサの全ての第４ではなく各位置を使用することによって空間解像度を２倍大きくすることができ、この方法は空間エイリアシングから影響を受けないはずである。標準的なＣＭＯＳカメラのいわゆる８又は１０ビットグレースケール精度を十分利用するための直接フィードバックによってソースレーザ光の強度を調節することができる点に留意されたい。

一部の実施形態では、本発明のシステムは、広く空間を開けられた交互のオープンリザジューパターンを用いて３又は４以上の高速グローバルシャッターカメラで観測することができる。強度コード化ストリング状パターンは、各連続フレームの１０％未満を満たすことができるが、フレームの短いシーケンス後に数（約１０）連続フレームのこのようなコード化ストリングを備えた全表面をカバーする物体の表面の全３Ｄ形状を取り込むことになる。１００ＦＰＳで実行するＮ（３又は４以上）のカメラによるフレームの出力の各セットによって、Ｎフレームの各セットは、進行を観測して、合計フレームエリアの極めて小さなサブセット内の個々のＮタプル対応にマッチすることができる。例えば、本発明のシステムは、Ｎ１０メガピクセルカメラを用いることができ、各フレーム中に照明された１メガピクセルを約１０％だけ露出する。

ストリングに沿って続けると、セクションがその形状及び相対的位置によって位置付けられる。ストリングのセクション内で、Ｎ同時記録カメラフレームの各々にマッチ、位置付ける必要のある１００可能位置だけが存在できる。１マイクロ秒で、１００コード（又はボクセル）が、１０ナノ秒ごとに１つ投影され、これによってサーチスペースが、１０^7Nから１０^2Nの大きさに１０^5Nのオーダーだけ低減される。例えば、三焦点セットアップ（Ｎ＝３）に対して、これは、１マイクロ秒で百万の組み合わせの初期サーチが空間の１００ボクセルの連続をマッチ及び位置付けさせる。後者は、ドゥーエーブル（１クロック当たりＧＰＵ１０００並行作動）を表す。

図１９では、３又はそれ以上の（Ｎ）カメラ（Ｃ₁、Ｃ₂、Ｃ₃．．．、Ｃ_i．．．Ｃ_N）が、ロービングロボット（例えば、ロボット配送車両）又は他の車両又はデバイスに取り付けられている。カメラＣ_iの各々は、ロボットの周りの環境の一部として一定の視野（ＦｏＶｉ）サンプリングを有する。小型のアクチュエータが、一定の範囲の方位角（アルファ）及び仰角（イプシロン）などの２つの方向の各カメラの視野を回転することができる。従ってカメラは、人間の眼のように陥凹形式にすることができる。陥凹形式が、ズームインし環境における移動する物体を追跡させる。パニング及び傾きカメラと同様に、レーザプローブビーム走査システム（それ自体（モータによって起動される）でパン及び傾斜、又は回転することができる）は、関心の物体を走査するためにそれ自体で有利に向きを合わせることができる。

配送ロボット又は他のデバイス又は車両では、観測者が見られていることを理解できるように、パンティルトカメラを意図的に眼球に似せることができる。差し迫っていない状態で実施される時にこれはユーザ対話を容易にすることができる。眼は、機械を擬人化し（ロボットを人間らしくする）、ロボット画面インタフェースに表示される眼よりも外観上で生体模倣技術に類似する。単純なモーション位置ルーチンは、レーザチップが関心の物体に反射し少なくとも３つの眼（カメラ）によって追跡され、システム１００が連続する急速走査で観測されるボクセルの位置をコンピュータ計算することを保証する。

１つの例示的処理では、初期クイック走査が物体の輪郭及び３Ｄ位置を発見する。物体連続表面、穴及び端（輪郭）は、初期クイック走査パターンによって登録される。関心の物体の全ビューを遮ることがある他の（最前面）物体によるオクルージョンが、この初期クイック走査で発見されることがある。例えば、関心の物体が車又は歩行者であると推測される場合、スマートＣＶシステムは、物体の予想される輪郭をサーチし、オクルージョンを取り除けるかどうか見るためにレーザブラシ位置及び／又はカメラの一部を急速に動かす。

第２の処理段階では、意図的なカメラ又はスキャナ源の移動がオクルージョンによる走査の不連続性を克服するのを助ける。オクルージョンの個別のケースが存在でき、すなわち１）最前面物体が背景物体又は表面上に影を投げる、又は２）最前面物体が背景物体を観測するカメラの少なくとも１つに対する背景物体のビューの一部を遮る。ケース１）では、背景物体上のボクセルの軌跡を現在追跡しているカメラ−通常は少なくとも３つ−が、突然及び同時にボクセルを検出するのを止め、３Ｄスペースの軌跡は突然終わる。新しい物体にシフトすることができるが、突然の空間的不連続性が生じる。ケース２）では、全ての３つ（又は４以上）のカメラが同時に事象の報告を止める可能性が高い。異なる視野によって、あるとすれば、各カメラのオクルージョンは、レーザビームの走査軌跡の異なる瞬間に始まる。

本明細書にはマルチビューピクセル順次モーション追跡システム１００を用いる主要な利点がある。まず、追加の（第４）カメラがオクルージョンが起こった時間及び場所をピックアップすることができる。スポーツイベントの制御ルームのように、スマートモーションキャプチャシステムを小さなオクルージョン（例えば、３Ｄモーションキャプチャリグで捉えられるダンサーの手又は腕）に対してロバストにすることができる。アクティブでスタンバイしている別の第４カメラに即座に切り替えることで、同じ３Ｄ軌跡を追跡する（後者は、第４カメラの２Ｄ軌跡が、スキャナのビームのポイント及び観測可能（図示）及び予測可能な反応速度まで第１の３つのカメラからコンピュータ計算される空間軌跡の２Ｄ再投影に一致することをチェックする方式である）。

図２０に示すように、走査スポットが表面Ｓ上の軌跡に沿って走査する場合の３つのボクセル位置、Ｖ₁、Ｖ₂及びＶ₃が示されている。システム１００の４つのカメラＣ₁．．．Ｃ４が図示されている。第１の３つは、表面Ｓに沿って進行するＶ₁などのレーザ照明ポイントを観測することができる。あるポイントでカメラＣ₃は、Ｖ₂に達する前にビームの検出を止め、本発明のシステムは自動的に第４カメラＣ₄に切り替える。

少なくとも一部の実施形態では、３つのカメラの各々の単一のピクセルを照明する十分な光がある限り、各特徴（すなわち、レーザがマニホールドに照明されたスポットを形成する現在の位置）が、同時でなく、全て連続してではなく、次々に観測されるので、理論的最小特徴サイズは単一ピクセルである。

システム１００は、空間（ピクセル）コントラストを必要とせず、照明中も観測に対しても空間パターンが必要ない。システム１００はある方法で時間を用い、他の構造化光システムは時間を用いず、両方のコントラスト及びコード化及び復号の必要性を取り除く。

システム１００は、ピクセル、フォトンの最も効率的な使用を提供する。基本的には、あらゆるピクセル観測、あらゆる「トゥイッチ」がカウントする。１メガピクセルカメラを用いる本発明のシステムは、１メガピクセルボクセル空間解像度を達成することができる。

サブピクセル解像度は線形補間によって可能である。本発明のシステムは、物体の３Ｄ表面（「空間マニホールド」）を横断する場合にレーザビームのチップによって走査される物理的、数学的軌跡を活用することができる。これらの軌跡は、カメラの各々の表面に投影された時に、２Ｄピクセル事象軌跡を形成する。一連の画像ポイント（すなわち、ピクセル位置の時系列）を観測した後に、本発明のシステムは、元の真２Ｄ走査軌跡並びに各個々の観測の基本的精度より高い精度を持つ３Ｄマニホールド表面軌跡を直線（又は他の）補間によって推定することができる。従って、観測された輪郭線は、３Ｄマニホールド上に高い精度で３Ｄスペース内に適合することができる。

少なくとも一部の実施形態では、本発明のシステムは、３Ｄマニホールド全体に細かいチップのレーザビームで滑らかな連続弧を走査することができ、（少なくとも）３つのカメラの各々の「トゥイッチ」ピクセルのトレールを起こし、各カメラで、ピクセルはその連続位置を順次アサートにする。トゥイッチピクセル軌跡のこれらの３又は４以上の同時に観測可能な高度に相関付けられるトレール（ピクセルアサーション事象の時間連続トレール）は、空間的、時間的及び／又は波長固有の方法によってまだフィルタアウトされていないセンサ又は周囲光の熱又はダークノイズによって起こるような背景ノイズから統計的に明確に突出する。ＲＡＮＳＡＣなどの統計的方法は、図２３に示すような線フィットを行う前に適用し、補間された軌跡２３００から統計的に大きく離れた距離の何れの「トゥイッチ」ピクセル、すなわち２つピクセル以上に空間的に離れる及び／又は時間的に異常又は軌跡の時間シーケンスに合わない何れの「トゥイッチ」ピクセルも取り除くことができる。

少なくとも一部の実施形態では、システム１００は、例えばセンシティブ高利得「トゥイッチー」検出器（市販されているＳＰＡＤなど）及び大量のセンサ及び周囲ノイズを克服することができる適度の照明パワー（ミリワットレーザダイオードソースなど）を用いて、効率的及びロバストにすることができる。

少なくとも一部の実施形態では、システム１００は、何れか１つの時間に１つのポイント、１つのボクセル位置を照明する走査ビームを用いることによってフォトンを有効利用し、結果ピクセル事象が即時に時間的に連続して観測される。システムフィードバックを用いて、発せられたフォトンの大部分がマニホールド（又は物体）に向けられることが保証され、一部は、少なくとも１つ、好ましくはカメラの少なくとも３つの観測可能な信号を結果として生じる。小型のレーザダイオードは、フォトンの非常に有効なソースとすることができ、タイトビームにかなり容易に且つ効率的にコリメートすることができる。

動力学及び瞬時フィードバックは超効率的３Ｄ知覚を可能にする。要求される走査速度、所望の精度に基づいて、一定の距離で要求されるように無線でビームの強度を調節することができ、関心の物体のアルベドを調節する。例えば、大きな且つ変化する被写界深度（例えば、対話型ＡＲで一般的）を持つシーンを動的且つ選択的に走査することができる（例えば、関心の一定の再前面物体だけを綿密に走査する）。

陥凹形式は電力を節約する。一般的なフレーム照明構造光システムとは異なり、システム１００の少なくとも一部の実施形態では、レーザダイオードによって生成されるフォトンのほぼ１００％を、マニホールドの小さな観測可能な部分を連続的に照明するために向けることができ、この態様はシステム１００の電力効率に大きく寄与する。

別の実施形態は、１００度×１００度の視野で最大１メートル離れた物体を走査することができるＡＲ知覚システムである。本発明のシステムは、約２０ｍワットの屈折力を有するブルーレイダイオードレーザソース（λ＝４０５ｎｍ）及び１秒当たり５０，０００ラインを走査することができる単純２Ｄ８００ミクロンＭＥＭＳ共振ミラーなどの何れかの適切な光源を用いることができる。本発明のシステムは、例えば、各々が１０００ｘ１０００ピクセルを持つ３つのＣＭＯＳ１Ｍピクセル「トゥイッチーピクセル」アレイカメラなどの３又は４以上のカメラを用いる。１実施形態では、ピクセルは、各々が最適分離及び最小クロスオーバを備えたわずか１マイクロメートルである（シャロー１００フォトンウエル、４０５ｎｍ光に高感度）。この例では、センサのアレイエリアは、１平方ｍｍより大きくなく５ｔ又は６ｔバイナリ反応「トゥイッチー」ピクセル、固定アドレス行及び列復号器、Ａ／Ｄなし、及び単純シリアルストリーム出力を備えた安価なモノクロームカメラを提供する。本発明のシステムは、３つの１Ｍピクセルカメラによって動的にポイントを走査することができ、最大０．１度の空間解像度を結果として生じ、補間によって、０．０１度（センサの１／１０ピクセル）の空間精度を達成することができる。本発明のシステムは、１Ｍ距離でボクセル配置の空間精度＜０．５ｍｍを達成するはずである。例えば、１０度×１０度のＲｏＩを有するフィールドの関心の小さな物体（例えばリンゴを持つ手）を、例えば、このＲｏＩ（例えば、１０平方度のコーン、１００⁰⁰、１０，０００⁰⁰のＦｏＶの１％）における３Ｄ陥凹を備えた１秒当たりの１，０００，０００ポイントで本発明のシステムによって走査することができる。陥凹形式によって、本発明のシステムは、合計システム資源の１００ｍＷ未満を用いながら最大１ｍ距離の約５００マイクロメートル容積測定精度を達成することになる。

流れ図の例示の各ブロック、及び流れ図の例示のブロックの組み合わせ（又は１又は２以上のシステム又はシステムの組み合わせに関して上記に説明した動作）をコンピュータプログラム命令によって実施できることが理解されるであろう。これらのプログラム命令は、プロセッサで実行する命令が、流れ図のブロック又は複数のブロックに指示された動作を実施するための手段を生成するように機械を製作するためにプロセッサに提供することができる。コンピュータプログラム命令は、プロセッサによって実行し、プロセッサで実行する命令が、流れ図のブロック又は複数のブロックに指示された動作を実施するためのステップを提供するようにコンピュータ実施処理を生成させることができる。コンピュータプログラム命令は、流れ図のブロックに示された動作ステップの少なくとも一部を並行して実行させることができる。ステップの一部は、マルチプロセッサコンピュータシステムで生じるように１つより多いプロセッサにわたって実行することもできる。加えて、流れ図の例示の１又は２以上のブロック又はブロックの組み合わせは、本発明の範囲又は精神から逸脱することなく他のブロック又はブロックの組み合わせと同時に又は図示されたものとは異なるシーケンスでも実行することができる。

加えて、１又は２以上のステップ又はブロックでは、コンピュータプログラムの代わりに、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルアレイ論理（ＰＡＬ）など、又はこれらの組み合わせなどの組み込み式論理ハードウェアを用いて実施することができる。組み込み式論理ハードウェアは、組み込み式論理を直接実行して、１又は２以上のステップ又はブロックにおける動作の一部又は全部を行うことができる。１又は２以上の実施形態（図示せず）では、ステップ又はブロックの１又は２以上の動作の一部又は全部をＣＰＵの代わりにハードウェアマイクロコントローラによって実行することができる。１又は２以上の実施形態では、マイクロコントローラは、それに固有の組み込み式論理を直接実行して、動作を行い且つそれに固有の内部メモリ及びそれに固有の外部入力及び出力インタフェース（例えば、ハードウェアピン及び／又は無線送受信機）にアクセスしてシステムオンチップ（ＳＯＣ）などの動作を行うことができる。

上記の明細書、実施例、及びデータは、本発明の製造及び使用の完全な説明を提供する。本発明の多くの実施形態を本発明の精神及び範囲から逸脱することなく行い得るので、本発明は以下に添付の請求項に存在する。

１００ システム
１０２ ネットワーク
１０４ 送信機
１０６ａ １０６ｂ １０６ｃ １０６ｄ 受信機
１０８ 物体
１１０ コンピュータ
１１２ コンピュータ
１１４ コンピュータ

Claims (30)

1. １又は２以上の物体の位置を決定するシステムであって、
   フォトンのビームを発して１又は２以上の物体の領域を順次的に照明するよう構成された送信機と、
   ピクセルのアレイを各々が含む、互いに離間して配置された複数のカメラであって、前記ピクセルの各々が前記ピクセルによって受信されるフォトンを検出するよう構成される、複数のカメラと、
   命令を格納する１又は２以上のメモリデバイスと、
   前記格納された命令を実行して方法の動作を行う１又は２以上のプロセッサデバイスと、
   を備え、前記方法は、
   前記フォトンのビームで１又は２以上の物体の複数の領域を順次的に照明するよう前記送信機に指示する段階と、
   前記領域の各々に対して、前記複数のカメラから、前記１又は２以上の物体の領域によって反射又は散乱される前記ビームのフォトンを検出した前記複数のカメラにおける各ピクセルのアレイ位置を受信する段階と、
   前記複数のカメラによって検出された前記領域の各々に対して、当該領域によって反射又は散乱された前記ビームのフォトンを検出した前記複数のカメラにおける前記ピクセルの受信されたアレイ位置を用いて前記領域の位置を決定する段階と、
   を含む、ことを特徴とするシステム。
2. 前記送信機に指示する段階は、事前に決められた時間期間未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１に記載のシステム。
3. 前記送信機に指示する段階は、事前に決められた時間期間未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含み、
   前記アレイ位置を受信する段階は、前記領域の各々に対して、前記事前に決められた時間期間以下の時間間隔内で及び前記複数のカメラから、前記１又は２以上の物体の領域によって反射又は散乱された前記ビームのフォトンを検出した前記複数のカメラにおける各ピクセルのアレイ位置を受信する段階を含む、
   ことを特徴とする請求項１に記載のシステム。
4. 前記送信機に指示する段階は、５０ナノ秒未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１に記載のシステム。
5. 前記送信機に指示する段階は、１０ナノ秒未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１に記載のシステム。
6. 前記カメラの各々は、ピクセルの二次元アレイを含み、前記アレイ位置は、前記二次元アレイにおける前記ピクセルの２座標位置を含む、ことを特徴とする請求項１に記載のシステム。
7. 本体及び複数の付属物を更に備え、前記カメラの各々が前記付属物の１つに配置される、ことを特徴とする請求項１に記載のシステム。
8. 本体及び複数の付属物を更に備え、前記送信機は、前記付属物の１つに配置される、ことを特徴とする請求項１に記載のシステム。
9. 本体及び複数の付属物を更に備え、前記カメラの各々は、前記付属物の１つに配置され、前記動作は更に、
   前記カメラの少なくとも３つが前記１又は２以上の物体の領域によって反射又は散乱されたフォトンを検出するまで、前記付属物の１又は２以上を移動させる段階を含む、
   ことを特徴とする請求項１に記載のシステム。
10. 本体及び複数の付属物を更に備え、前記送信機は、前記付属物の１つに配置され、前記動作は、
    前記カメラの少なくとも３つが前記１又は２以上の物体の領域によって反射又は散乱されたフォトンを検出するまで、前記送信機が配置されている前記付属物を移動させる段階を含む、
    ことを特徴とする請求項１に記載のシステム。
11. 前記動作は更に、
    前記１又は２以上の物体上の複数の関心ポイント（ＰＯＩ）を識別する段階と、
    前記ＰＯＩの第１位置を決定する段階と、
    その後の時点で、前記ＰＯＩの第２位置を決定する段階と、
    前記ＰＯＩの第１及び第２位置に基づいて前記ＰＯＩの軌跡を予測する段階と、
    を含む、ことを特徴とする請求項１に記載のシステム。
12. 前記システムは、ユーザの頭部に装着可能である、ことを特徴とする請求項１に記載のシステム。
13. 前記送信機は、少なくとも３つの異なるカラーのビームを発するよう構成され、前記カメラの少なくとも１つは、前記３つの異なるカラーのフォトンを区別するよう構成される、ことを特徴とする請求項１に記載のシステム。
14. 前記送信機及び前記カメラの少なくとも１つは、車両の一部であることを特徴とする請求項１に記載のシステム。
15. 前記送信機及び前記カメラの全ては、車両の一部であることを特徴とする請求項１に記載のシステム。
16. 前記送信機に指示する段階は、事前に決められたカラーシーケンスに従って、前記フォトンのビームで前記１又は２以上の物体の複数の領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１に記載のシステム。
17. 前記送信機に指示する段階は、ビーム強度の事前に決められたシーケンスに従って、前記フォトンのビームで前記１又は２以上の物体の複数の領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１に記載のシステム。
18. １又は２以上の物体の位置を決定する方法であって、
    フォトンのビームで１又は２以上の物体の複数の領域を順次的に照明するよう送信機に指示する段階と、
    前記領域の各々に対して、複数のカメラから、前記１又は２以上の物体の領域によって反射又は散乱されたビームのフォトンを検出した前記複数のカメラにおける各ピクセルのアレイ位置を受信する段階と、
    前記複数のカメラによって検出された前記領域の各々に対して、当該領域によって反射又は散乱された前記ビームのフォトンを検出した前記複数のカメラにおける前記受信されたピクセルのアレイ位置を用いて前記領域の位置を決定する段階と、
    を含む方法。
19. 前記送信機に指示する段階は、事前に決められた時間期間未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１８に記載の方法。
20. 前記送信機に指示する段階は、事前に決められた時間期間未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含み、
    前記アレイ位置を受信する段階は、前記領域の各々に対して、前記事前に決められた時間期間以下の時間間隔内で及び前記複数のカメラから、前記１又は２以上の物体の領域によって反射又は散乱された前記ビームのフォトンを検出した前記複数のカメラにおける各ピクセルのアレイ位置を受信する段階を含む、ことを特徴とする請求項１８に記載の方法。
21. 前記カメラの各々は、複数の付属物の１つに配置され、
    前記方法は更に、
    前記カメラの少なくとも３つが前記１又は２以上の物体の領域によって反射又は散乱されたフォトンを検出するまで、前記付属物の１又は２以上を移動させる段階を含む、
    ことを特徴とする請求項１８に記載の方法。
22. 前記送信機は、前記付属物の１つに配置され、
    前記方法は更に、
    前記カメラの少なくとも３つが、前記１又は２以上の物体の領域によって反射又は散乱されたフォトンを検出するまで、前記送信機が配置されている前記付属物を移動させる段階を含む、
    ことを特徴とする請求項１８に記載の方法。
23. 前記方法は更に、
    前記１又は２以上の物体上の複数の関心ポイント（ＰＯＩ）を識別する段階と、
    前記ＰＯＩの第１位置を決定する段階と、
    その後の時点で、前記ＰＯＩの第２位置を決定する段階と、
    前記ＰＯＩの第１及び第２位置に基づいて前記ＰＯＩの軌跡を予測する段階と、
    を含む、ことを特徴とする請求項１８に記載の方法。
24. 前記送信機に指示する段階は、事前に決められたカラーシーケンスに従って、前記フォトンのビームで前記１又は２以上の物体の複数の領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１８に記載の方法。
25. 前記送信機に指示する段階は、ビーム強度の事前に決められたシーケンスに従って、前記フォトンのビームによって前記１又は２以上の物体の複数の領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項１８に記載の方法。
26. １又は２以上の物体の位置を決定するための命令を含む非一時的プロセッサ可読ストレージ媒体であって、１又は２以上のプロセッサデバイスによる前記命令の実行により、前記１又は２以上のプロセッサデバイスに方法の動作を実行させ、
    前記方法が、
    フォトンのビームで１又は２以上の物体の複数の領域を順次的に照明するよう送信機に指示する段階と、
    前記領域の各々に対して、複数のカメラから、前記１又は２以上の物体の領域によって反射又は散乱された前記ビームのフォトンを検出した前記複数のカメラにおける各ピクセルのアレイ位置を受信する段階と、
    前記複数のカメラによって検出された前記領域の各々に対して、当該領域によって反射又は散乱された前記ビームのフォトンを検出した前記複数のカメラにおける前記受信されたピクセルのアレイ位置を用いて前記領域の位置を決定する段階と、
    を含む、非一時的プロセッサ可読ストレージ媒体。
27. 前記送信機に指示する段階は、事前に決められた時間期間未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含む、ことを特徴とする請求項２６に記載の非一時的プロセッサ可読ストレージ媒体。
28. 前記送信機に指示する段階は、事前に決められた時間期間未満で前記複数の領域の各領域を順次的に照明するよう前記送信機に指示する段階を含み、
    前記アレイ位置を受信する段階は、前記領域の各々に対して、前記事前に決められた時間期間以下の時間間隔内で及び前記複数のカメラから、前記１又は２以上の物体の領域によって反射又は散乱された前記ビームのフォトンを検出した前記複数のカメラにおける各ピクセルのアレイ位置を受信する段階を含む、ことを特徴とする請求項２６に記載の非一時的プロセッサ可読ストレージ媒体。
29. 前記カメラの各々は、複数の付属物の１つに配置され、
    前記方法は更に、
    前記カメラの少なくとも３つが前記１又は２以上の物体の領域によって反射又は散乱されたフォトンを検出するまで、前記付属物の１又は２以上を移動させる段階を含む、
    ことを特徴とする請求項２６に記載の非一時プロセッサ可読ストレージ媒体。
30. 前記送信機は、前記付属物の１つに配置され、
    前記方法は更に、
    前記カメラの少なくとも３つが前記１又は２以上の物体の領域によって反射又は散乱されたフォトンを検出するまで、前記送信機が配置されている前記付属物を移動させる段階を含む、
    ことを特徴とする請求項２６に記載の非一時プロセッサ可読ストレージ媒体。

Images