JP2018513967A - 深度フィールドイメージング装置、方法および応用 - Google Patents

Abstract

深度フィールドイメージング装置は、単一のオンチップアーキテクチャで組み合わされた光フィールドイメージャおよび飛行時間型イメージャを含む。このハイブリッド装置は、物体シーンの光フィールドイメージおよび飛行時間型イメージの同時捕捉をすることができる。アルゴリズムは、光フィールドイメージおよび飛行時間型イメージの同時取得を可能にすることが記載される。関連するハイブリッドピクセル構造、装置アレイ（ハイブリッドイメージングシステム）、および装置用途が記載される。

Description

本発明の態様および実施形態は、一般に画像センシングの分野にある。より詳細には、態様および実施形態は、深度フィールドイメージング装置、構成要素、方法、およびその応用に関する。

関連出願データ
本出願は、その主題がその全体が参考として援用される２０１５年３月１７に出願された米国仮出願６２／１３４１２２号に対する優先権を主張する。

３Ｄ情報を捕捉する深度センシングの導入は、イメージングおよびカメラシステムにおけるユビキタス用途に繋がっており、コンピュータビジョンおよびグラフィックスにおける研究の主な焦点となっている。深度値は、順番に新しいコンピュータビジョンシステムおよび人間とコンピュータとのインタラクションを実現できるより簡単なシーンの理解およびモデリングを可能にする。多くの方法は、ステレオ、測光ステレオ、構造化照明、光フィールド（ＬＦ）、ＲＧＢ−Ｄ、および飛行時間型（ＴＯＦ）イメージングのような深度情報を捕捉するために提案された。しかしながら、深度カメラは、典型的にはそれらの堅牢性および柔軟性を制限する時間に１つだけの深度センシング技術をサポートする。

各イメージングモダリティは、オンチップ実装、コスト、深度解像度などのような属性に対する独自の利点および欠点を有する。それは表１にまとめられる。

本発明者らは、２つまたはより多くの深度センシング技術を利用するハイブリッド３Ｄイメージングシステムが、これらの個々の制限を克服する解決策を提供するであろうことを認識する。さらに、オンチップ実装とモダリティを組み合わせたシステムは、ユビキタス堅牢性深度センシングを費用対効果が高く大量生産可能にする。

光フィールド（ＬＦ）イメージングは、２つの空間座標および２つの角度座標によりパラメータ化されたプレノプティック関数の４Ｄ表現、または等価的にシーンにおける非閉塞光線の空間として捕捉する。光フィールドは、イメージベースのレンダリングおよびモデリングし、シーンから新しい視点を合成し、エピポーラ幾何から深度を推定するために使用される。カメラのコンテキストでは、光フィールドは、機械的ガントリまたは大きな稠密カメラアレイを使用することにより、またはマイクロレンズ、符号化開口、伝送マスク、または対称および非（奇数）対称位相格子を含む回折格子を含むシングルショット方法により捕捉される。光フィールドは、フィールドの深度を拡張し、後処理で異なる開口を合成するためにデジタルリフォーカスを使用することができる。したがって、写真が撮影された後にソフトウェア制御のレベルを可能にする。光フィールド（ＬＦ）イメージング装置および角度感受性ピクセル（ＡＳＰ）を利用する方法を開示する特許文献１、特許文献２および特許文献３に開示された主題は、その全体が参照により本明細書に組み込まれる。特許文献４、特許文献５、特許文献６、特許文献７、特許文献８、および特許文献９の主題は、参照によりその全体が本明細書に組み込まれる。

米国特許第８，５３０，８１１号 米国特許第８，８０９，７５８号 米国特許第８，７６７，０４７号 米国特許第９，１１０，２４０号 米国特許出願公開第２０１５／００６１０６５号 国際公開第２００６／０３９４８６号 国際公開第２００７／０９２５８１号 国際公開第２００７／０９２５４５号 国際公開第２００７／０４４７２５号

飛行時間型（ＴＯＦ）イメージングは、振幅変調光により移動する光経路長を符号化することにより動作し、フォトゲートおよびフォトニックミキサ装置を含む様々な装置により回復される。詳細には、光源（通常赤外領域でのＬＥＤ（約８４０−１０００ｎｍ））は、特定の周波数で振幅変調される。この光はシーンを照明し、この振幅変調された光が物体に跳ね返り、イメージセンサに戻って到着した場合、その物体の深度に対応する位相遅延を取得する。この位相遅延を検出するために、ほとんどのセンサは、ＣＭＯＳプロセスでｐ基板上にポリシリコンからなるフォトゲートとして知られるピクセルのタイプを使用する。これらのフォトゲートは、光源と同じ周波数で変調され、各ピクセルで収集する電荷の量は位相遅延に正比例する。したがって、フォトゲートのアレイは、イメージにおける各ピクセルが深度番号を有するイメージを取り込むことができる。高解像度の深度マップを生み出す一方で、単一周波数のＴＯＦは、半透明の物体および散乱媒体により引き起こされる位相ラッピングの曖昧さおよびマルチパス干渉を含む制限を受ける。これらの制限を克服するために提案された技術は、マルチ周波数方法を有する位相アンラッピング、グローバル／直接照明分離、ブレ除去および超解像度、および後処理アルゴリズムを有するマルチパス干渉の軽減を含む。最近では、これらセンサのための新しい一時的な符号化パターンは、飛行中に光を見て、濁った媒体を介して見るのに有効な複数の光路を解決するのに役に立つ。カメラシステムは、ＴＯＦ＋ステレオ、ＴＯＦ＋測光ステレオ、およびＴＯＦ＋偏光を一緒に融合することが提案されてきた。

深度マップおよび強度イメージの融合は、明示的な特徴検出による３Ｄ再構成を有効にするために使用されてきた。カメラトラッキングおよび３Ｄ再構成のためのリアルタイム相互作用は、ＫｉｎｅｃｔＦｕｓｉｏｎを通じて実証されている。深度および強度のピクセル毎の値を取得することにより、深度フィールドと概念的に類似する一方で、これらの融合方法は、系統的に空間角度サンプリングを制御しない、または絞りと深度イメージングのためのフィールドの深度との間の伝統的な捕捉のトレードオフを超越しない。

発明者らは、単一オンチップ、ハイブリッドイメージングシステムに、光フィールド（ＬＦ）およびＴＯＦイメージングを組み合わせることにより、達成できる利点および利益を認識している。そのようなシステムは、高解像度情報および符号化された信号を使用する軽減されたマルチパス干渉のＴＯＦの利点を有する捕捉後のデジタルリフォーカスのような光フィールドの利点を承継する。さらに、ＬＦとＴＯＦイメージングの両方は、オンチップに実装され、１つは、オンチップでも両方のモダリティを組み合わせるために、ハイブリッドピクセル構造を設計することができる。各モダリティは、その相対的な欠点を有する。光フィールドからの深度は、テクスチャ面を必要とし、視差のため物体の距離に依存し、単一周波数ＴＯＦイメージングは、位相ラッピングに苦しみ、低いシャッター速度を有する小開口カメラに限られる。しかしながら、“深度フィールド”イメージング（装置および方法）と称される、具体化されたハイブリッドＬＦ／ＴＯＦイメージング装置および方法は、これら制限の全てを軽減することができる。

本発明の態様は、深度フィールドイメージング装置である。一実施形態によれば、深度フィールドイメージング装置は、シーンのＬＦイメージを取得することができる光フィールド（ＬＦ）イメージングコンポーネント、シーンのＴＯＦを取得することができる飛行時間型（ＴＯＦ）イメージングコンポーネントを含み、ＬＦイメージングコンポーネントは、ＴＯＦイメージングコンポーネントの上に配置され、両方が単一のオンチップアーキテクチャ、および深度フィールドイメージング装置によりＬＦイメージおよびＴＯＦイメージの同時取得を可能にするアルゴリズムを実行するようにプログラムされた画像処理コンポーネントに実装される。様々な非限定的な実施形態では、深度フィールドイメージング装置は、さらに含んでもよく、または、さらに以下の特徴または制限、単独でまたは様々な非限定的な組み合わせにより特徴付けられてもよい。
−ＬＦイメージングコンポーネントは、格子を含む。
−ＬＦイメージングコンポーネントは、金属格子を含む。
−格子は、周期格子である。
−格子は、位相格子である。
−格子は、非（奇数）対称位相格子である。
−ＬＦイメージングコンポーネントは、振幅マスクを含む。
−ＬＦイメージングコンポーネントは、角度感受性ピクセル（ＡＳＰ）である。
−ＴＯＦイメージングコンポーネントは、アクティブ（変調可能）光源を含む変調可能なフォトゲートを含む。
−ＴＯＦイメージングコンポーネントは、複数のインターリーブされたフォトゲートを含む。
−複数のインターリーブされたフォトゲートは、アクティブ光源の変調周波数で変調されることを特徴とする。
−深度フィールドイメージング装置の物体側に配置されたレンズをさらに含む。
−ＣＭＯＳアーキテクチャで実装された深度フィールドイメージング装置。

一実施形態によれば、深度フィールドイメージング装置は、光フィールド（ＬＦ）イメージングコンポーネント、および飛行時間型（ＴＯＦ）イメージングコンポーネントを含む。ＬＦイメージングコンポーネントとＴＯＦイメージングコンポーネントの両方は、単一のオンチップアーキテクチャで実施される。

本発明の態様は、深度フィールドピクセル構造である。一実施形態によれば、深度フィールドピクセル構造は、光フィールド（ＬＦ）イメージングコンポーネント、フォトゲート、およびフォトゲートに光学的に結合されたアクティブ光源を含む。ＬＦイメージングコンポーネントは、フォトゲート上に配置され、ピクセル構造は、単一のオンチップアーキテクチャで実施される。

本発明の態様は、深度フィールドイメージングシステムである。一実施形態によれば、深度フィールドイメージングシステムは、各深度フィールドピクセル構造が光フィールド（ＬＦ）イメージングコンポーネント、フォトゲート、フォトゲートに光学的に結合されたアクティブ光源を含むフィールドピクセル構造の深度のアレイを含む。ＬＦイメージングコンポーネントは、フォトゲート上に配置され、各ピクセル構造は、単一のオンチップアーキテクチャで実施される。様々な非限定的な実施形態では、深度フィールドイメージングシステムは、以下の特徴または制限、単独でまたは様々な非限定的な組み合わせにより、さらに含み、またはさらに特徴付けられてもよい。
−対象シーンとフィールドピクセル構造の深度のアレイとの間に配置されたレンズをさらに含む。
−グローバルシャッタをさらに含む。

本発明の態様は、イメージング方法である。一実施形態によれば、イメージング方法は、対象シーンのＬＦイメージを取得するステップと、対象シーンのＴＯＦイメージを同時に取得するステップを含み、ＬＦおよびＴＯＦイメージは、単一オンチップ実装のハイブリッドイメージ感知デバイスにより、同時に取得され、取得されたＬＦおよびＴＯＦイメージを処理し、対象シーンの深度フィールドイメージを形成する。様々な非限定的な実施形態では、イメージング方法は、以下のステップ、特徴または制限、単独でまたは様々な非限定的な組み合わせにより、さらに含みまたはさらに特徴付けられてもよい。
−単一露光でＬＦおよびＴＯＦイメージを取得するステップをさらに含む。
−デジタルリフォーカス技術を使用して深度フィールドイメージを取得するステップをさらに含む。
−位相アンラップ技術を使用して深度フィールドイメージを取得するステップをさらに含む。

本明細書および特許請求の範囲で使用されるＴＯＦコンポーネントは、アクティブ（変調可能）光源を含むと仮定される。

本発明の一実施形態に従って使用され当技術分野で知られているフォトゲートの概略断面図である。 本発明の一実施形態に係るＣＭＯＳアーキテクチャにおける深度フィールドピクセルの概略断面図である。 本発明の一実施形態に従って使用される２つのインターリーブされたフォトゲートの概略平面図である。 本発明の一実施形態に係る深度フィールドイメージングシステムアーキテクチャの概略ブロック図である。 本発明の例示的な実施形態に係る深度フィールドイメージングシステムの信号チェーンアーキテクチャの概略ブロック図である。 本発明の例示的な実施形態に係る深度フィールドイメージングシステムのオンチップ変調器アーキテクチャの概略ブロック図である。 深度フィールドを捕捉するための単一ショットカメラシステムのための３つの例示的ピクセル設計を示す。マイクロレンズ、振幅マスク、または回折格子は、同時に光フィールドおよびＴＯＦ情報を捕捉するためにフォトゲートの頂部上に配置される。 バイナリ奇数対称位相回折格子を示す。 本発明の例示的な実施形態の全てに係る、セグメントの幅が回折格子の中心からの距離とともに増加する非奇数対称位相回折格子を示す。 本発明の説明的な実施形態に係る、ａ）ＴＯＦカメラのアレイを使用して概念的に深度フィールドを捕捉すること、（ｂ）（ｕ，ｖ，ｘ，ｙ）の４Ｄ関数のようなアルベド、（ｃ）（ｕ，ｖ，ｘ，ｙ）の４Ｄ関数のようなＴＯＦ深度値に対応する位相、を示す。 本発明の説明的な実施形態に係る、ａ）捕捉されたシーン、ｂ−ｅ）シーンの深度マップのための異なる焦点面上のデジタルリフォーカス、深度フィールドイメージングが開口部と範囲イメージのためのフィールドの深度との間のトレードオフをいかに打破するかを示す。 本発明の説明的な実施形態に係る捕捉されたシーンを示す。 本発明の説明的な実施形態に係るシーンの深度マップのための異なる焦点面上のデジタルリフォーカス、深度フィールドイメージングが開口部と範囲イメージのためのフィールドの深度との間のトレードオフをいかに打破するかを示す。 本発明の説明的な実施形態に係るシーンの深度マップのための異なる焦点面上のデジタルリフォーカス、深度フィールドイメージングが開口部と範囲イメージのためのフィールドの深度との間のトレードオフをいかに打破するかを示す。 本発明の説明的な実施形態に係るシーンの深度マップのための異なる焦点面上のデジタルリフォーカス、深度フィールドイメージングが開口部と範囲イメージのためのフィールドの深度との間のトレードオフをいかに打破するかを示す。 本発明の説明的な実施形態に係るシーンの深度マップのための異なる焦点面上のデジタルリフォーカス、深度フィールドイメージングが開口部と範囲イメージのためのフィールドの深度との間のトレードオフをいかに打破するかを示す。 本発明の説明的な実施形態に係る、合成データに関する位相アンラップアルゴリズムの使用を示す。ａ）グランド真実深度値のボックスシーン、ｂ）マークされた校正用の基準線の位相アンラップシーン、ｃ）光フィールド対応アルゴリズムにより与えられる深度マップ、我々は、位相アンラップのためにこのシーンにおける同じ校正線を特定する。ｄ）我々は、与えられた校正線のために対応する深度値にＴＯＦラップ値をマップする。ｅ）アンラップ深度マップ。 本発明の説明的な実施形態に係る、合成データに関する位相アンラップアルゴリズムの使用を示す。グランド真実深度値のボックスシーンを示す。 本発明の説明的な実施形態に係る、合成データに関する位相アンラップアルゴリズムの使用を示す。マークされた校正用の基準線の位相アンラップシーンを示す。 本発明の説明的な実施形態に係る、合成データに関する位相アンラップアルゴリズムの使用を示す。光フィールド対応アルゴリズムにより与えられる深度マップ、我々は、位相アンラップのためにこのシーンにおける同じ校正線を特定する。 本発明の説明的な実施形態に係る、合成データに関する位相アンラップアルゴリズムの使用を示す。我々は、与えられた校正線のために対応する深度値にＴＯＦラップ値をマップする。 本発明の説明的な実施形態に係る、合成データに関する位相アンラップアルゴリズムの使用を示す。アンラップ深度マップを示す。

本発明の態様は、光フィールド（ＬＦ）イメージングコンポーネントおよび飛行時間型（ＴＯＦ）イメージングコンポーネント、有利には、ＣＭＯＳアーキテクチャにおいて、ＬＦ／ＴＯＦピクセル構造は、角度感受性フォトゲート（ＡＳＰＧ）と呼ばれ、単一の統合装置でＬＦおよびＴＯＦイメージを同時に取得する方法を含む統合されたハイブリッドイメージングシステムを含む。ＬＦとＴＯＦイメージングコンポーネント／システムの両方は、当技術分野で知られており、これらのコンポーネントそのもののいずれも、本発明の発明的形態を形成する。

特許されたＬＦイメージングシステムおよび角度感受性ピクセル（ＡＳＰ）を利用する方法は、共同発明および出願人により所有され、上記で参照されている。これらのＬＦイメージセンサ／方法は、フォトダイオード上に配置された回折格子を利用した。フォトダイオードは、典型的にはｎ／ｐシリコンの界面に起因する接合容量である。ｎドープ領域は、ｐシリコンに対して高電圧に保持され、その領域を光活性にし、それに当たる光子の量に比例した電流を発生させる。

フォトダイオードと区別して、フォトゲートは、薄いフィールド酸化物上のポリシリコンゲート（通常ＳｉＯ_２）からなり、酸化物は、シリコン上にある。ゲートは、電圧により変調され、アクティブ光変調と組み合わされると、光の振幅の位相に比例する電流信号が生成される。

フォトゲートは、典型的なシーンイメージング（従来のカメラまたはＬＦ／ＡＳＰイメージセンサのように）として使用されないので、ＡＳＰ内のフォトダイオードの代わりにフォトゲートを使用することは予期できなかった。実際、フォトダイオードは変調を必要としないので、技術的阻害要因は、ＬＦセンサでの使用から離れて教示された。

しかしながら、発明者らは、電圧変調フォトダイオードを使用してＴＯＦイメージングを行う能力に加えて、フォトゲートは、ゲート電圧が一定に保たれたときにフォトダイオードのように作用することを認識した。このように、フォトゲートは、通常のイメージングとＴＯＦイメージングの両方を行うことができ、回折格子が、これらの装置に組み込まれている場合、さらに、ＬＦイメージングとＴＯＦイメージングの両方を行うことができる。ＬＦイメージングとＴＯＦイメージングを同時に実行するには、ＴＯＦイメージングは、通常のイメージと深度イメージを回復するために数学的に反転させることができる。これは、以下に詳細に記載されている。

統合されたハイブリッドＬＦ／ＴＯＦイメージングシステム、コンポーネント（ピクセル）、および方法（同時ＬＦおよびＴＯＦイメージング）は、“深度フィールド”イメージング（システム、ピクセル、方法）として本明細書で言及される。具体化された深度フィールドイメージングシステムは、高解像度深度情報および符号化された信号を使用する緩和されたマルチパス干渉のＴＯＦの利点を有するポストキャプチャデジタルリフォーカスのようなＬＦシステムの利点を継承する。さらに、ＬＦとＴＯＦイメージングの両方は、オンチップ実装され、具体化されたハイブリッドピクセル構造は、両方のモダリティオンチップを組み合わせることが可能である。各モダリティは、光フィールドからの深度が、テクスチャ表面を必要とし、視差のための物体の距離に依存し、単一の周波数ＴＯＦイメージングが、位相アンラッピングを被り、低シャッタ速度を有する小開口カメラに限定され、その相対的な欠点を有しているが、具体化された深度フィールド装置および方法は、これらの制限の全てを緩和することができる。

図１は、具体化された深度フィールドシステム（イメージングシステムまたはピクセルコンポーネント）のＴＯＦコンポーネントにおいて利用されるフォトゲート１００を概略的に示す。フォトゲート１００は、ＣＭＯＳプロセスでシリコン（Ｐ基板）上のＳｉＯ_２上のポリシリコンゲート（ＰＧ）からなる。ゲートが電圧により変調される場合、同期アクティブ（すなわち、変調可能）光（照明）変調と組み合わせ、電流信号は、光の振幅の位相に比例して生成される。

図２は、本発明の一実施形態に係るＣＭＯＳアーキテクチャの深度フィールドピクセル（角度感受性フォトゲート‘ＡＳＰＧ’）の概略断面図である。ピクセル２００は、代表的なフォトゲート２０３上のＳｉＯ_２に２つの周期的金属回折格子（Ｍ５，Ｍ３）２０１，２０１を含む。

図３は、本発明の一実施形態に係り使用される２つのインターリーブされたフォトゲート３０１，３０３の概略平面図である。同図において、ＰＣ＝ポリシリコン、ＲＸ＝拡散領域、ＰＣ＋ＲＸ＝そのチャネル上のＭＯＳＦＥＴのゲート、ＲＸ単独＝トランジスタ（Ｐ＋またはＮ＋領域のいずれか）のソース／ドレイン。デバイスの実装では、格子（ここでは図示せず）は、インターリーブフォトゲートと同じピッチで、水平方向にこのデバイスの上部に配置される。

図４は、本発明の一実施形態に係る深度フィールドイメージングシステムアーキテクチャ４００の概略ブロック図を示す。システム４００は、ＡＳＰＧアレイ４０２、アレイに結合された行ドライバ４０３および列増幅器４０４、およびＡ／Ｄ変換器４０５を含む。ローリングシャッタとは対照的に、グローバルシャッタが、イメージセンサ全体を一度に露光し、次に行毎に読み取るように実装することができることは、当業者により高く評価される。

図５は、本発明の例示的な実施形態に係る深度フィールドイメージングシステム信号チェーンアーキテクチャ５００の概略ブロック図を示す。例示的な態様では、アクティブ（変調可能）光源５０１（例えば、Ａｓｉｎ［２πｆ_ｍｔ］の形で、変調周波数ｆ_ｍで正弦波（または方形波）により変調される出力振幅Ａを有するレーザ）は、照明し、物体のシーンから跳ね返り、戻り光は位相遅延Ａｓｉｎ［２πｆ_ｍｔ−φ］、ここで、深度＝ｃφ／４πｆ_ｍを取得する。ｆ_ｍで変調されたインターリーブされたフォトゲート３０１，３０３は、差動電圧Ｖ０（およびｆ_ｍ＋９０度に対して、Ｖ９０）を生成する。最初のために、φ＝ａｔａｎ（Ｖ９０／Ｖ０）（ここで、最大範囲は、ｃ／２ｆ_ｍおよび解像度は、ｆ_ｍに比例する。）

図６は、本発明の例示的な実施形態に係る深度フィールドイメージングシステムのオンチップ変調器アーキテクチャ６００の概略ブロック図である。正弦およびランダムバイナリパターンを含むＴＯＦ変調を生成するために、ＴＯＦ変調は、高速クロック６０４により駆動されるセレクタ回路６０３を使用してフォトゲート６０５を駆動するために、このメモリの迅速なアクセスを可能にするオンチップメモリ６０１にローカルに格納することができる。この設計は、ＴＯＦイメージングの深度感度を改善するＴＯＦ変調信号の高速周波数スイッチングを可能にする。

我々は、深度フィールドの概念にＬＦおよびＴＯＦイメージングの数学的公式を以下に記述する。我々は、どのようにこれらフィールドを捕捉するか、およびどのようにフォワードモデルに変換し、アクティブ照明、および２Ｄ空間座標および２Ｄ角度座標の関数として深度に関して物体の反射率の値として定義される、光アルべドを回復するかを示す。

深度フィールドを捕捉するフォワードモデルを説明するために、我々は、ＬＦおよびＴＯＦイメージングのためのフォワードモデルを最初に議論する。

光フィールド
光フィールドは、（ｕ，ｖ）がレンズ平面で角度座標、および（ｘ，ｙ）がセンサ面の空間座標である２つの平面モデルｌ（ｕ，ｖ，ｘ，ｙ）により一般的にパラメータ化される。この関数の出力は、２つの平面との交差によりパラメータ化された光線の輝度を表している。光フィールド捕捉のためのフォワードモデルは、次のように文献でモデル化されている。

ここで、ｉ_ＬＦ（ｘ，ｙ）は、検出器により測定された強度であり、ｍ（ｕ，ｖ，ｘ，ｙ）は、入来する光線を符号化する変調／多重化関数である。変調関数は、ピンホール（ｍ（ｕ，ｖ，ｘ，ｙ）＝δ（ｕ，ｖ，ｘ，ｙ））、フーリエマスク、ランダムコード／マスク、または変調関数がガボールウェールブレットである回折格子を含む光フィールドを感知するために使用することができる別の光学素子を表す。上記式を離散化すると、ｉ_ＬＦ＝ＭＩとなり、ここで、ｉ_ＬＦ、Ｉは、ベクトル化イメージおよび光フィールドであり、およびＭは、変調行列、および線形の反転と非線形の反転との両方は、光フィールドを回復することができる。

飛行時間型イメージング
対照的に、ＴＯＦは、入来する光信号とセンサに送られる基準コードとの間のクロス相関を使用して典型的にモデル化される。入来する光が、ｌ＋αｃｏｓ（ｆ_Ｍｔ＋φ（ｘ，ｙ））、ここで、φは、光源から被写体までの光路に起因する累積された位相であり、α は、アルべドであるとすれば、センサ（積分時間に正規化）での強度は、以下で表される
。

ここで、τは、基準信号の位相シフトを制御するクロス相関パラメータである。ｆ_Ｍτ＝０，π／２，π，３π／２のような異なるτを選択することにより、我々は、アルべドと直角位相反転を使用する各空間位置（ｘ，ｙ）で位相φとの両方を回復することができる。

ｄ＝ｃφ／４πｆ_Ｍは、ＴＯＦイメージングのための位相φから深度ｄを直接回復できることに留意されたい。

深度フィールド
我々は、ここで、アルべドおよびすべて（ｕ，ｖ，ｘ，ｙ）の空間角座標、すなわち、α＝α（ｕ，ｖ，ｘ，ｙ）、φ＝φ（ｕ，ｖ，ｘ，ｙ）で発生する深度（位相で符号化された）（α，φ）の順序付きペアとして深度フィールドの概念を議論する。ＴＯＦが特定の固定された（ｕ，ｖ）でφおよびαをサンプルする、ピンホールカメラモデルを想定しているので、深度フィールドは、単独のＴＯＦ測定から回復不可能であることに留意されたい。

深度フィールドイメージングのフォワードモデルは、以下に記述される。

ここで、概略、

このモデルを反転するために、我々は、４回の測定値ｆ_Ｍτ＝０，π／２，π，３π／２を取り、各空間位置におけるイメージｉ（０），ｉ（９０），ｉ（１８０），ｉ（２７０）を取得する。その後、我々は、これらイメージそれぞれについて光フィールド行列を反転させるＭ^−１ｉ（τ）を計算する（注、この逆は、いずれか低い空間解像度で行う、または解像度を保持するためにスパース事前確率またはモデリング仮定を使用することができる。）。したがって、我々は、アルベドおよびすべての（ｕ，ｖ，ｘ，ｙ）で一緒に混合された位相を回復する。

アルベドおよび位相を混合しないようにするために、我々は、以前のようにｆ_Ｍτ＝０，π／２，π，３π／２についてＤ’の直交変換をＴＯＦで実行し、深度フィールドを回復することができる。

深度フィールドを捕捉する方法
我々は、深度フィールドのシングルショット捕捉の可能性について説明する（注、’シングルショット’は、４つの位相測定がショット毎に実行されるので、誤った名称であるが、このような機能は、ハードウェアに組み込んで１回の露光で作業することができる。）。ほとんどの光フィールドセンサと同様に、我々は、フォトゲート、フォトニックミキサ装置、横電界変調器、および当該技術分野で公知の他のもののようなＣＭＯＳ ＴＯＦセンサ上のマイクロレンズを整列させることができる。そうすることで、センサ面で空間解像度を犠牲にして角度面をサンプリングすることができる。主レンズは、その開口部を広げることができ、マイクロレンズの下のサブアパーチャビューのそれぞれが大きな被写界深度を維持しながら、より多くの光伝送を可能にする。これは、既存のＴＯＦカメラが、小さな開口および大きな被写界深度を維持するために露光時間を犠牲にするので、有利である。カメラ内の共役像平面におけるマイクロレンズの微細な光学的位置合わせに注意を払う必要がある。例えば、焦点距離ｆを有するレンズを使用する場合、深度フィールドセンサは、距離ｆ＋Δｆの位置にすべきである（経験的に決定される、例えば、ｆ＝５０ｍｍに対して、Δｆ＝０．５から２ｍｍ）。

他の実施形態の深度フィールドセンサは、入来角光線をフィルタリングするために、主レンズとフォトゲートのセンサ面との間に振幅マスクを利用することができる。マイクロレンズより少ない光伝送を可能にしながら、マスクは、深度フィールドの改善された再構成のために異なる符号化パターンを用いて設計することができ、固定された光学素子とは異なり、カメラ本体内で柔軟に交換することができる。

他の実施形態は、外部光学素子の位置合わせを必要としないが、上述のＡＳＰ設計と同様のインターリーブされたフォトゲート上に集積回折格子を使用する、完全に集積されたＣＭＯＳピクセル設計である。このセンサは、下のフォトゲートにより撮像されたタルボパターンを形成するために、入来する光を回折することにより動作する。このＡＳＰＧピクセルは、位相格子を用いてより良い光効率を達成し、コストおよび量産のためのＣＭＯＳ集積の利点を維持しながら、インターリーブされたフォトゲートでピクセルサイズを縮小することができる。図７Ａは、深度フィールドを捕捉するためのシングルショットカメラのための３つのピクセル概念設計を示す。マイクロレンズ、振幅マスク、または回折格子は、同時に光フィールドおよびＴＯＦ情報を補足するためにフォトゲートの頂部上に配置される。図７Ｂは、ＬＦイメージャに使用することができるバイナリ奇対称位相格子を示す。図７Ｃは、セグメントの幅が格子の中心からの距離とともに増加する半径方向奇対称位相格子を示す。

図８ａ，図８ｂ，および図８ｃは、深度フィールド捕捉の概念図を提供する。図８ａは、ＴＯＦカメラのアレイを使用して概念的に深度フィールドを捕捉することを示し、図８ｂは、（ｕ，ｖ，ｘ，ｙ）の４Ｄ関数としてアルベドを示し、また、図８ｃは、（ｕ，ｖ，ｘ，ｙ）の４Ｄ関数としてＴＯＦ深度値に対応する位相を示す。

我々は、ここで深度フィールドのいくつかの新しい適用について説明する。

合成開口リフォーカス
ＴＯＦイメージングの主な欠点は、フィールドの深度が深いために正確な深度値を得るための小さな開口の必要性である。被写界深度を浅くするか、または開口を大きくすると、光学的ぼかしが発生し、ＴＯＦの深度値が損なわれる。しかしながら、小さな開口では、シャッタ速度が制限され、これらのシステムの取得時間が長くなる。対照的に、光フィールドイメージングは、合成開口リフォーカシングを使用することにより、被写界深度と開口サイズとの間のこのトレードオフを切り抜ける。ピクセル上のマイクロレンズを有するプレノプティックセンサは、開口を開いて、空間解像度の損失にもかかわらず、焦点にあるマイクロレンズの下のサブアパチャイメージを維持しながら、より多くの光伝送を可能にすることができる。捕捉後、デジタルでイメージをリフォーカスでき、したがって、４Ｄ光フィールドをシェアリングすることにより被写界深度を拡大し、（ｕ，ｖ）上を合計して、異なる焦点面を有する画像を合成することができる。

同様の技術は、深度フィールドに適用することができる。図９（ａ−ｅ）は、同じ剪断変形を適用してから平均することにより、４Ｄのφ（ｕ，ｖ，ｘ，ｙ）情報のデジタルリフォーカスを示す。我々は、従来の深度マップでは表示されていなかったシーンの大きなバーチャル開口を使って捕捉を合成することができ、芸術的／写真的効果を高めるために広い開口光強度イメージと組み合わせることができる。さらに、マイクロレンズを有するＴＯＦのようなシングルショット深度フィールドセンサは、開口を通してより多くの光を得ることを可能にすることができ、フィールドの同じ深度を維持しながら、露光を増加させることができることを確認する。これは、後処理アルゴリズムにおいて失われた空間解像度および被写界深度を計算的に回復する代わりに、ＴＯＦセンサの取得時間を短縮することを可能にする。

位相ラッピングの曖昧さ
単一周波数ＴＯＦの１つの主な制限は、位相が２πの周期性を有することであり、したがって、深度推定値は、変調波長の周りを包むことになる。数１０ＭＨｚにおける変調周波数に対して、これは、複数の周波数または位相アンラッピングアルゴリズムを使用することによりさらに拡張することができる、数メートルの深度範囲に対応する。しかしながら、変調周波数が高くなるにつれて、位相アンラッピングはより厳しくなる。

我々は、単一変調周波数で深度フィールドを捕捉することも、異なる視点からの固有のエピポーラ幾何を利用することにより、位相周期性をアンラップすることを可能にすることを確認する。我々は、Ｍ．Ｗ．タオ、Ｓ．ハダップ、Ｊ．マリク、およびＲ．ラマムアティ、光フィールドカメラを使用してデフォーカスおよび対応を組み合わせる深度、ＩＥＥＥコンピュータビジョン国際会議（ＩＣＣＶ）で報告された対応アルゴリズムから深度を使用し、粗で距離に依存するが、位相ラッピングを受けないので、ＴＯＦにより得られた深度測定値をアンラップすることができる。

図１０（ａ−ｅ）は、合成データに関する位相アンラッピングアルゴリズムを使用することを示す。図１０ａは、光線追跡装置ミツバを使用してシミュレートされたボックスシーンおよび捕捉された深度フィールドを示す。図１０ｂ，図１０ｅでは、我々は、位相ラッピングをシミュレートし、対応から深度を計算する。位相アンラッピングを実行するために、我々は、イメージ内の連続する線（このシーンの側壁）を選択して、ＴＯＦイメージがシーン内でラップする回数を決定する。我々は、このマッピングを使用して、ラッピングされたＴＯＦ深度値を対応関係から深度値に一致させ、図１０ｄに示すように、イメージ全体のアンラップされたＴＯＦ深度値につなげる。我々は、また、中央値フィルタを使用して、対応から深度を計算する際に、エッジの不連続性を緩和する。図１０ｅは、シーンのアンラップされた深度マップを示す。

部分的閉塞によるリフォーカス
４Ｄ深度フィールドを捕捉することにより合成することができる大規模な合成開口は、前景の過去の部分的な閉塞イメージを可能にする。背景を明らかにするために前景をぼかすこの技術は、茂みや植物を通して見るために明るいフィールドに表示される。深度フィールドに同じ技術適用するとアルベドに対して正しく機能する（前景をぼかしている間に物体をはっきり見ることができる）が、位相に対して機能しないことに留意されたい。これは、視覚的には前景と背景の色が混在するのを知覚的に許容することができるが、この同じ混在は我々の位相測定を損なうため、不正確な深度値につながる。

光フィールドをリフォーカスするとき、この混在の問題を解決するために、研究者らは、シェアード光フィールドを平均化するときに、前景からの光線を単純に追加していない。それらのアルゴリズムの重要な仮定は、前景の物体の光線が連続な映像を撮影することにより、またはエピポーライメージを構成することにより、対応する深度を発見し、その後、背景に対する前景を分離することのいずれかにより識別されることである。これらのアルゴリズムは、閉塞する物体のピクセルを識別するのに計算的に高価である。対照的に、我々は、ＴＯＦ測定を介して直接捕捉された深度を利用して、シーンにおいて観察された深度のヒストグラムを構築する。我々は、次に、Ｋ手段または他の計算的に効率的なクラスタリングアルゴリズムを使用して前景クラスタを単純に選択することができ、それは、エピポーライメージを構成し、ラインの傾きを推定し、そしてクラスタリングを行うためにヒストグラムを形成するよりも高速である。

過去の散乱媒体のリフォーカス
直上の議論は、特定の（ｕ，ｖ）視点の背景をブロックする部分的な閉塞に対処しながら、それらが単一のピクセルで一緒に異なる光路長に対応する複数の位相測定を混在するので、散乱媒体または半透明物体のような他の閉塞はより困難である。我々は、Ｒ．タダノ、Ａ．ペディレルダ、およびＡ．ベララガハバン、深度選択カメラ、撮影における深度選択のためのダイレクト、オンチップ、プログラム可能な技術、ＩＥＥＥコンピュータビジョン国際会議（ＩＣＣＶ）（受理）２０１５により報告された具体的な深度選択符号、符号化されたＴＯＦを介して問題にアプローチする。符号化されたＴＯＦは、過去の散乱媒体をイメージングにより深度フィールドカメラシステムの機能を拡張し、空間情報を使用してデジタルリフォーカスを実行することを可能にする。我々は、過去の散乱媒体の深度フィールドを得るために、後方散乱網を介してイメージした。我々は、強い後方散乱としてふるまうために、カメラの前に網を置き、散乱により深度値を著しく破損した。深度選択符号を使用して、我々は、過去の網をイメージし、異なる（ｕ，ｖ）視点で複数のショットを使用することができた。我々は、網を超えて深度フィールドを捕捉しデジタルリフォーカスを行うことができる。このように、我々は、深度フィールドイメージングが符号化ＴＯＦ技術の利点をどのように活用できるかを示した。

深度フィールドは、時空間角度座標の単一の関数として、光フィールドの統一およびＴＯＦイメージングを可能にし、様々な用途に有用である。２つのイメージングモダリティを追加する簡単な拡張に加えて、それらは互いに知らせることができ、特に、ＴＯＦ情報を使用することにより、アルゴリズムを光フィールドのための様々な閉塞の問題を計算的により効率的かつ概念的により簡単に解決することに活用し、光フィールドの可能性を追加することにより、ＴＯＦカメラのための開口と被写界深度との間のトレードオフを切り抜ける。このような深度フィールド推定における改善は、深度フィールドカメラにも適用でき、深度解像度が向上することにつながる。

深度フィールドカメラに関する深刻な疑問は、ピクセルサイズであり、ピクセル多重化に問題が生じる可能性がある。ＴＯＦピクセルは、現在１０μｍに縮小されており、通常のピクセル（１μｍ）に比べてわずか１０倍であり、積み重ねられたイメージセンサなどの技術的進歩は、これらの多重化の心配を緩和するのに役立つことに留意されたい。しかしながら、深度フィールドカメラの明確な利点は、空間解像度が制限要因でない適用である。これは、空間的なピクセルレイアウトが要因でない開口およびレンズレスイメージングにより制限されるイメージングシステムを含む。

いくつかの制限は、シングルショット深度フィールドカメラのための失われた空間解像度を回復するための長い計算アルゴリズムを含み、または深度フィールドを走査する機械式ガントリ上の大型ＴＯＦカメラアレイまたはＴＯＦカメラの取得時間の増加を含む。多くの応用は、野生における深度センシングに部分的な堅牢性を提供するが、実際の自律システムでの展開を制限するモデリングの前提条件（前景と背景の分離、散乱媒体が物体に浸漬しない）に依存する。

いくつかの本発明の実施形態を本明細書に記載し説明してきたが、当業者は、機能を実行し、および／または結果を得るための様々な他の手段および／または構造、および／または記載された利点の１つまたは複数、およびそのような変形および／または修正の各々は、本明細書に記載される本発明の実施形態の範囲内にあるとみなされる。より一般的には、当業者は、本明細書に記載される全てのパラメータ、寸法、材料、および構成が例示的であることを意図し、実際のパラメータ、寸法、および／または構成は、本発明の教示が使用される特定の用途または用途に依存する。当業者は、定常的な実験を用いて確認することはできない、本明細書に記載の特定の本発明の実施形態に対する多くの均等物を認識する。したがって、前述の実施形態は、添付の請求の範囲およびその均等物の範囲内で、ほんの一例として、提示されることが理解されるべきである。本発明の実施形態は、具体的に説明した以外の方法で実施されクレームされてもよい。本開示の発明の実施形態は、本明細書に記載される個々の特徴、システム、物品、キット、および／または方法に向けられている。さらに、特徴、システム、物品、キット、および／または方法の２つ以上の任意の組み合わせが、相互に矛盾しない場合、そのような特徴、システム、物品、キット、および／または方法の２つ以上の任意の組み合わせは、本開示の発明の範囲内である。

本明細書で定義され使用されている全ての定義は、辞書定義、参照により組み込まれた文献の定義、および／または定義された用語の通常の意味を制御すると理解されるべきである。

本明細書および請求項で使用されるように、明らかに反対に示さない限り、不定冠詞の”ａ”および”ａｎ”は、”少なくとも１つ”を意味すると理解されるべきである。本明細書および請求の範囲において使用される”および／または”という語句は、そのように結合された要素の”一方または両方”、すなわち、場合によっては結合的に存在し、他方では離反的に存在すると理解すべきである。”および／または”で列挙された複数の要素は、同じように、すなわち、そのように結合された要素の”１つ以上”と解釈されるべきである。具体的に特定された要素と関連するかどうかにかかわらず、”および／または”の語句により具体的に特定される要素以外の他の要素が任意に存在してもよい。したがって、非限定的な例として、”含む”などの開放型言語と併せて使用される場合、”Ａおよび／またはＢ”への言及は、一実施形態ではＡのみ（必要に応じて、Ｂ以外の要素を含む）、別の実施形態では、Ｂのみ（必要に応じて、Ａ以外の要素を含む）、さらに別の実施形態では、ＡおよびＢの両方（必要に応じて、他の要素を含む）に結合する。等。

本明細書および請求の範囲で使用される”または”は、上で定義した”および／または”と同じ意味を有すると理解すべきである。例えば、リスト中の項目を分類する場合、”または”または”および／または”は包括的であると解釈されるべきであり、すなわち、少なくとも１つの要素を含むが、数の１つ以上を含み、複数の要素のリストを含み、オプションで追加の非項目リストを含む。請求の範囲において使用される場合、”１つだけ”または”正確に１つ”のように、逆に明示された用語”からなる”という用語のみが、数または要素のリストのうちの正確に１つの要素を含むことを示す。一般的に、本明細書で使用される”または”という用語は、”どちらか”、”１つ”、”１つだけ”、または”正確に１つ”などの排他的な条件により先行される場合、排他的な代替物（すなわち、”一方または他方であるが両方ではない”）を示すものとしてのみ解釈される。請求の範囲で使用される場合、”本質的にからなる”とは、特許法の分野で使用される通常の意味を有する。

本明細書および請求の範囲で使用されるように、１つまたは複数の要素のリストを参照して”少なくとも１つ”という語句は、その要素のうちの任意の１つまたは複数の要素から選択される少なくとも１つの要素を意味すると理解されるべきである。必ずしも要素のリスト内に特にリストされた各要素の少なくとも１つを含み、要素のリスト内の要素の任意の組み合わせを除外しない要素のリストを含むことができる。この定義は、また”少なくとも１つの”という語句は、具体的に特定された要素に関連するものであろうと関連しないものであろうと、指し示す要素のリスト内で具体的に特定される要素以外に、要素が任意に存在することを可能にする。したがって、非限定的な例として、”ＡおよびＢの少なくとも１つ”（または同等に”ＡまたはＢの少なくとも１つ”または同等に”Ａおよび／またはＢの少なくとも１つ”）は、一実施形態では、少なくとも１つ、必要に応じてないＢの存在で、Ａを１つ以上含む（および必要に応じてＢ以外の要素を含む）。別の実施形態では、少なくとも１つ、必要に応じてないＡの存在で、Ｂを１つ以上含む（および必要に応じてＡ以外の要素を含む）。さらに別の実施形態では、少なくとも１つのＢを任意に２つ以上含むことができる。さらに別の実施形態では、少なくとも１つ、必要に応じて１つ以上のＡ、および少なくとも１つ、必要に応じて１つ以上のＢを含むことができる（および必要に応じて他の要素を含む）。等。

それとは逆に明確に示されていない限り、複数のステップまたは動作を含む本明細書で請求されたいずれの方法においても、方法のステップまたは動作の順序は、必ずしも方法のステップまたは動作が列挙される順序に限定されないことを理解されたい。

請求項において、また、上記明細書において、”含む”、”含む”、”有する”、”含む”、”含む”、”保持する”、”構成する”、”含む”などの全ての過渡的な語句は、限定するものではないが、含むことを意味すると理解すべきである。”からなる”および”本質的にからなる”とういう移行句のみが、米国特許商標庁の特許審査手続第２１１１．０３節に記載されているように、それぞれ閉鎖または半閉鎖移行句であるものとする。

Claims (23)

1. 深度フィールドイメージング装置であって、
   前記装置は、
   シーンのＬＦイメージを取得することができる光フィールド（ＬＦ）イメージングコンポーネントと、
   シーンのＴＯＦイメージを取得することができる飛行時間型（ＴＯＦ）イメージングコンポーネントと、
   深度フィールドイメージング装置により、ＬＦイメージおよびＴＯＦイメージの同時取得を可能にするアルゴリズムを操作上実行するようにプログラムされたイメージ処理コンポーネントとを含み、
   ＬＦイメージングコンポーネントは、ＴＯＦイメージングコンポーネント上に配置され、両者は単一のオンチップアーキテクチャで実装される、
   ことを特徴とする深度フィールドイメージング装置。
2. ＬＦイメージングコンポーネントは、格子を含むことを特徴とする請求項１の深度フィールドイメージング装置。
3. ＬＦイメージングコンポーネントは、マイクロレンズを含むことを特徴とする請求項１の深度フィールドイメージング装置。
4. ＬＦイメージングコンポーネントは、金属格子を含むことを特徴とする請求項２の深度フィールドイメージング装置。
5. ＬＦイメージングコンポーネントは、振幅マスクを含むことを特徴とする請求項１の深度フィールドイメージング装置。
6. 格子は、周期性格子であることを特徴とする請求項２の深度フィールドイメージング装置。
7. 格子は、位相格子であることを特徴とする請求項２の深度フィールドイメージング装置。
8. 位相格子は、非（奇）対称位相格子であることを特徴とする請求項７の深度フィールドイメージング装置。
9. ＬＦイメージングコンポーネントは、角度感受性ピクセル（ＡＳＰ）であることを特徴とする請求項１の深度フィールドイメージング装置。
10. ＴＯＦイメージングコンポーネントは、アクティブ（変調可能）光源を含む変調可能フォトゲートを含むことを特徴とする請求項１の深度フィールドイメージング装置。
11. ＴＯＦイメージングコンポーネントは、複数のインターリーブされたフォトゲートを含むことを特徴とする請求項１０の深度フィールドイメージング装置。
12. 複数のインターリーブされたフォトゲートは、アクティブ光源の変調周波数で変調されることにより特徴付けられる請求項１１の深度フィールドイメージング装置。
13. 深度フィールドイメージング装置の物体側に配置されたレンズをさらに含むことを特徴とする請求項１のフィールドイメージング装置。
14. ＣＭＯＳアーキテクチャで実装されることを特徴とする請求項１の深度フィールドイメージング装置。
15. 深度フィールドイメージング装置であって、
    前記装置は、
    光フィールド（ＬＦ）イメージングコンポーネントと、
    飛行時間型（ＴＯＦ）イメージングコンポーネントを含み、
    ＬＦイメージングコンポーネントとＴＯＦイメージングコンポーネントの両方は、単一のオンチップアーキテクチャで実装されることを特徴とする深度フィールドイメージング装置。
16. 深度フィールドピクセル構造であって、
    前記構造は、
    光フィールド（ＬＦ）イメージングコンポーネントと、
    フォトゲートと、
    フォトゲートに光学的に結合されたアクティブ光源とを含み、
    ＬＦイメージングコンポーネントは、フォトゲート上に配置され、ピクセル構造は、単一のオンチップアーキテクチャで実装されることを特徴とする深度フィールドピクセル構造。
17. イメージング方法であって、
    前記方法は、
    物体シーンのＬＦイメージを取得するステップと、
    物体シーンのＴＯＦイメージを同時に取得するステップと、
    物体シーンの深度フィールドイメージから取得されたＬＦイメージとＴＯＦイメージを処理するステップとを含み、
    ＬＦイメージとＴＯＦイメージは、単一のオンチップ実装されたハイブリッドイメージセンシング装置により、同時に取得される、
    ことを特徴とするイメージング方法。
18. 単一の露光においてＬＦイメージとＴＯＦイメージを取得するステップをさらに含むことを特徴とする請求項１７のイメージング方法。
19. デジタルリフォーカス技術を使用して深度フィールドイメージを取得するステップをさらに含むことを特徴とする請求項１７のイメージング方法。
20. 位相アンラッピング技術を使用して深度フィールドイメージを取得するステップをさらに含むことを特徴とする請求項１７のイメージング方法。
21. 深度フィールドイメージングシステムであって、
    前記システムは、
    フィールドピクセル構造の深度のアレイを含み、それぞれの深度フィールドピクセル構造は、光フィールド（ＬＦ）イメージングコンポーネントと、フォトゲートと、およびフォトゲートに光学的に結合されたアクティブ光源を含み、ＬＦイメージングコンポーネントは、フォトゲート上に配置され、それぞれのピクセル構造は単一のオンチップアーキテクチャで実装されることを特徴とする深度フィールドイメージングシステム。
22. 物体シーンとフィールドピクセル構造の深度のアレイとの間に配置されるレンズをさらに含むことを特徴とする請求項２１の深度フィールドイメージングシステム。
23. グローバルシャッタをさらに含むことを特徴とする請求項２１の深度フィールドイメージングシステム。