JP2021012221A

JP2021012221A - 三次元撮像における奥行き検知のための、安定して広範囲の照明用波形のための方法とシステム

Info

Publication number: JP2021012221A
Application number: JP2020186316A
Authority: JP
Inventors: エス．バンクスポール; s banks Paul; シュミットボド; Schmidt Bodo; シー．ターベイスチュアート; C Turvey Stewart
Original assignee: TETRAVUE Inc
Current assignee: TETRAVUE Inc
Priority date: 2014-04-26
Filing date: 2020-11-09
Publication date: 2021-02-04
Also published as: US20150312554A1; KR20170009882A; WO2015164868A1; US11516456B2; US10104365B2; JP2017517748A; US20180220123A1; JP2022132492A; CN106464858B; EP3138285A4; EP3138285A1; JP7569355B2; CN106464858A

Abstract

【課題】三次元撮像における奥行き検知のための、好適な、安定して広範囲の照明用波形のための方法とシステムを提供すること。【解決手段】本明細書に開示の方法とシステムは、長い照明パルスを使用してより短い従来のレーザパルスを使用した場合に達成され得るものと同じかほぼ同じ範囲の解像度を得ることによって従来の３Ｄ撮像技術を改良する。例えば長い照明パルスが例えば５、１０、２０ｎｓまたはより長いパルスを生成する一つ以上のＱ−スイッチレーザによって製造され得る。いくつかの例ではレーザパルスはＭＩＳ型撮像システムの変調波形よりも長くなり得なおも繰り返し可能な応答関数を生成する。長いパルス長を達成するために要求される光パルス発生技術は短い照明パルス長を発生させるために現在使用の公知技術よりも有意に低価格でありより単純であり得る。より低いコストより単純な光パルス源が低価格の市販される３Ｄカメラ製品を促進し得る。【選択図】図３

Description

（米国特許法§１１９の下での優先権の主張）
本特許出願は、２０１４年４月２６日に出願された、「ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｕｓｔａｎｄＥｘｔｅｎｄｅｄＩｌｌｕｍｉｎａｔｉｏｎＷａｖｅｆｏｒｍｓｆｏｒＤｅｐｔｈＳｅｎｓｉｎｇ３ＤＩｍａｇｉｎｇ」と題する、米国仮特許出願第６１／９８４，７４７号の優先権を主張する。これは、参照により本明細書に記述されているかのようにその全体が援用される。

（米国政府の支援に対する謝意）
本出願は、ＮａｔｉｏｎａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎによって与えられた助成番号ＩＩＰ−０９４５４０２の下に合衆国政府の援助によりなされた。合衆国政府は、本出願に対して、一定の権利を有する。

（発明の分野）
本開示は、撮像および三次元（３Ｄ）撮像の分野に属する。より詳細には、本開示は、光パルス照明された３Ｄ撮像に属する。

（発明の背景）
デジタルエレクトロニクスは、静止画像として、一連の静止画像として、または、ビデオとして、光景のグレースケールまたは、カラー画像を記録することを可能にした。ビデオは、各画像の間の特定の間隔で長期間連続する一連の静止画像である。アナログ撮像は、写真フィルムを利用して画像を得、一方、デジタル撮像は、焦点面アレイ（ＦＰＡ）を利用し、光照明に応答して信号（その後にデジタル化される）を提供する画像を得る。ＦＰＡは、光景を撮像する光学系の焦点面に位置決めされる光検出要素またはピクセルのアレイを含む。近年、多くの努力がなされ、関連する光学系およびエレクトロニクスのみでなく、ＦＰＡの密度、サイズ、感度、ダイナミックレンジ、およびノイズ特性が改良され、より高い解像度の画像が取得されることを可能にした。

圧倒的多数の撮像は、二次元の情報を取得するのみであり、二次元アレイにおける強度値からなる平坦な画像をもたらす。アレイにおける位置は、撮像システムが指し示す方向に直角である位置に関係している。いくつかの撮像システムは、撮像システムから光景における物体までの距離の測定（つまり、「ｚ−軸」の測定）を可能にするさらなる構成要素を追加している。これらの３Ｄ撮像システムは、ＦＰＡにおける各ピクセルに対する強度および距離を提供する。これらの３Ｄ撮像システムの多くは、光景の物体を照明するために、撮像システムによって伝送されるレーザパルスを使用しており、システムは、システムと光景の物体との間の距離を測定するために、レーザパルスが光景の物体まで進み、撮像システムに戻るために必要な時間をある方法で測定する。分野として、これらの３Ｄ撮像システムは概して飛行時間型三次元撮像システムと称される。

現状の３Ｄ撮像システムでは、距離測定を行うために、様々な技術が用いられる。例えば、カリフォルニア州サンタバーバラのＡｄｖａｎｃｅｄＳｃｉｅｎｔｉｆｉｃＣｏｎｃｅｐｔｓ，Ｉｎｃ．は、ＦＰＡを用いるシステムを製造しており、ＦＰＡでは、各ピクセル要素は時間依存であり、帰還光信号の時間プロファイルのデジタル表現を発生させるために高帯域幅読み出し集積回路（ＲＯＩＣ）および高帯域幅アナログデジタル変換器（ＡＤＣ）に結合される。別の技術は、例えば、ＬＥＤアレイからの出力照明を変調することであり、異なるタイプの時間依存ＦＰＡを使用することである。米国空軍のレーザ撮像および測距システム（ＬＩＭＡＲＳ）プログラムによって開発されたさらに別の技術（これは、変調撮像システム（ＭＩＳ）と称される）は、電気光学変調器を使用し、帰還光信号のタイミングに依存する強度値を生成する。これらの技術のすべてにおいて、３Ｄ撮像システムによって放射される光パルスの長さは、望ましい距離分解能に比べて短い。一般に、長い光パルスまたは、よりゆっくりとした変調周波数を使用してこれらのシステムにおける光景を照明することは、３Ｄ撮像システムの精度を減少させると見られている。この文脈で用いられる場合、精度は、３Ｄ撮像システムによって得られるｚ−軸距離分解能に関係する。

高精度距離測定アプリケーションのために、ミリメータまたはセンチメータの分解能を有する距離測定を得ることが必要である。光の速さは、一般に３００，０００，０００ｍ／秒付近であるので、光パルスは、１ｍｍを３ｐｓで進み、１ｃｍを３０ｐｓで進む。現在の３Ｄ撮像システムが約１から３ｎｓの光パルスを使用する場合、それは、３０から９０ｃｍの範囲を有する光パルスに等価である。従って、当業者の従来の知恵によれば、ミリメータまたは、低センチメータの範囲において精度を要求するいくつかの応用において、これらの光パルスは、正確な距離測定を提供するために長すぎる。これは、現在の飛行時間３Ｄ撮像システムが、たとえ近距離の光景に対しても、ほぼ１０ｃｍより長い距離分解能に限られているということの、主な理由の一つである。

本明細書に記載するように、三次元撮像のシステムおよび方法は、いくつかの３Ｄ撮像システムにおいて現在使用されているよりも長い長さの照明光パルスを用いる高分解能距離測定を達成した。具体的には、開示されたシステムおよび方法は光景における複数の、様々な距離に位置決めされ得る物体の範囲および形状についての情報を比較的高分解能で、（例えば、サブセンチメータまたは低センチメータの距離分解能で）取得する。

一つの態様によれば、３Ｄ撮像システムは、従来の成果よりも長い照明光パルスを使用する。例えば、ＭＩＳ型の撮像システムにおいて、システムによって使用される照明光パルスは、変調波形の長さのほぼ２０％であり得る。ＭＩＳ型のシステムにおいて、変調波形の長さは、概略の帰還時刻を同定するために、パルスからの帰還光が変調される期間を決定する。そのようなシステムにおけるｚ−軸距離分解能は、変調波形の長さのほんの一部である。

他の例では、ＭＩＳ型システムにおける照明パルスは、変調波形の長さとほぼ同じ長さである。さらなる例において、光パルス長は、変調波形の長さよりも大きい。

これらのパルス長は、実質的に公知のＭＩＳ型３Ｄ撮像システムにおいて使用されているパルス長よりも長い。この技術分野で一般的に受け入れられているこれらの考えに反して、本発明者らは、長い照明光パルスは、これらのシステムの距離分解能において、わずかなまたは重要でない変更を有するＭＩＳ型３Ｄ撮像システムにおいて成功裏に使用され得ることを発見した。この発見は、長いパルス長を達成することが要求されるレーザ技術が、より短いパルス長を発生させるレーザ技術よりも有意に、より低価格でなされ得るので、意味のあることである。また、公知の短パルス技術は、ある種の材料およびレーザ設計には適合しなく、さらに、それらはパルス源設計の柔軟性を大きく制限する。従って、なおも高い距離解像度を達成しながら、価格志向型の市版の撮像システムは、長い光パルスを使用する３Ｄ撮像システムから非常に恩恵を受ける。また、長い光パルスを使用することによって、レーザ光パルス上の高周波数構造への感度およびその構造の変更への感度が減少され得る。
本明細書は、例えば、以下の項目も提供する。
（項目１）
三次元撮像システムであって、該システムは、
ある長さを有する光パルスを放射するように構成された照明源と、
光景によって反射され、または散乱させらされた該光パルスの一部分を受光するように構成された受光サブシステムであって、前記受光サブシステムは、所定の長さを有する所定の変調波形を用いて、該光パルスの該受光された部分を変調するようにも構成されている受光サブシステムと、
を備え、
該光パルスの長さは、該変調波形の長さの１０％以上である、
三次元撮像システム。
（項目２）
前記光パルスの長さは、５ナノ秒以上である、項目１に記載の三次元撮像システム。
（項目３）
前記光パルスの長さは、１０ナノ秒以上である、項目１に記載の三次元撮像システム。
（項目４）
前記光パルスの長さは、２０ナノ秒以上である、項目１に記載の三次元撮像システム。
（項目５）
前記照明源は、一つ以上のＱスイッチレーザ、一つ以上の半導体レーザ、一つ以上のレーザダイオード、および一つ以上の発光ダイオード（ＬＥＤ）からなる群から選択される、項目１に記載の三次元撮像システム。
（項目６）
前記照明源によって放射された前記光パルスは、非単調である立ち上がりエッジまたは立下りエッジを有する、項目１に記載の三次元撮像システム。
（項目７）
前記照明源または前記変調波形のいずれかが高周波変調を有する場合、単調畳み込み信号を生成する手段をさらに備えている、項目１に記載の三次元撮像システム。
（項目８）
前記光パルスおよび前記変調波形に基づいて、畳み込み信号を生成する手段と、
該畳み込み信号に基づいて、前記光景における少なくとも一つの物体までの距離を決定する手段と
をさらに備える、項目１に記載の三次元撮像システム。
（項目９）
前記距離は、畳み込み信号の関数として距離を定める解析近似を使用して決定される、項目８に記載の三次元撮像システム。
（項目１０）
前記距離は、前記畳み込み信号を前記距離または時間に関係付ける値のルックアップテーブルを使用して計算される、項目８に記載の三次元撮像システム。
（項目１１）
前記ルックアップテーブルに格納された値の間で内挿する手段をさらに含む、項目１０に記載の三次元撮像システム。
（項目１２）
前記ルックアップテーブルの値はピクセルの領域に対応する、項目１０に記載の三次元撮像システム。
（項目１３）
前記システムは、最小の達成可能な解像度が、前記光パルス長の１０％未満であるように構成されている、項目１に記載の三次元撮像システム。
（項目１４）
前記システムは、最小の達成可能な範囲の解像度が、前記光パルス長の１％未満であるように構成されている、項目１に記載の三次元撮像システム。
（項目１５）
三次元撮像の方法であって、該方法は、
ある長さを有する光パルスを放射することにより光景を少なくとも部分的に照明することと、
該光景によって反射され、または散乱させられた該光パルスの一部分を受光することと、
該光パルスの該受光された部分を所定の長さを有する所定の変調波形用いて変調することとを含み、該光パルスの長さは、該変調波形の長さの１０％以上である、方法。
（項目１６）
前記光パルスの長さは、５ナノ秒以上である、項目１５に記載の方法。
（項目１７）
前記光パルスの長さは、１０ナノ秒以上である、項目１５に記載の方法。
（項目１８）
前記光パルスの長さは、２０ナノ秒以上である、項目１５に記載の方法。
（項目１９）
前記光パルスは、一つ以上のＱスイッチレーザ、一つ以上の半導体レーザ、一つ以上のレーザダイオード、および一つ以上の発光ダイオード（ＬＥＤ）からなる群から選択される照明源によって生成される、項目１５に記載の方法。
（項目２０）
前記光パルスおよび前記変調波形に基づいて、畳み込み信号を生成することと、該畳み込み信号に基づいて、前記光景の少なくとも一つの物体までの距離を決定することとをさらに含む、項目１５に記載の方法。

以下の図面および詳細な記述の審査によって、他の態様、特徴および利点が当業者には明らかであろう、または、明らかになるであろう。全てのそのようなさらなる特徴、態様および利点は、この記述内に含まれ、添付の特許請求の範囲によって保護されることが意図される。

図面は単に図示の目的であり、請求されることの限界を規定するのもではないことは理解されるべきであろう。さらに、図の構成要素は、必ずしも正しい縮尺ではない。図においては、同様な記号は、異なる図面を通じて対応する構成要素を指定する。

図１は、光景の三次元画像を得るための例示的システムの透視図を図示する。

図２は、図１の光景から反射された光パルス部分の単調偏光変調を例示するグラフである。

図３は、図１のシステムにおけるいくらかの構成要素を図式的に例示するブロック図である。

図４は、送信されたレーザパルスおよび変調波形の例のグラフであり、時間を合わせて示してある。

図５は、７ナノ秒変調波形、および、０．１ナノ秒、１ナノ秒、２ナノ秒、３ナノ秒、４ナノ秒および５ナノ秒長さのレーザ照明パルスに対する、畳み込み応答関数をもたらす例を示すグラフである。

図６は、８ナノ秒レーザパルス、および、５ナノ秒および１０ナノ秒長さの変調波形に対する、畳み込み応答関数をもたらす例を示すグラフである。

図７は、シグモイド解析関数により適合させた例示的個別応答点を示すグラフである。

図８は、例示的な変調された照明レーザパルス波形を示すグラフである。

（詳細な説明）
図面を参照し、図面を組み込んでいる以下の詳細な記述は、システムおよび方法の一つ以上の特定の実施形態を記述し、図示する。方法およびシステムを制限するためでなく、例示し教示するために提供されるこれらの実施形態は、当業者が技術を実施できるように、十分な詳細で示されかつ記述されている。従って、システムおよび方法をあいまいにすることを避けるために適切である場合、当業者に公知のいくつかの情報を省略し得る。本明細書に開示された実施形態は、いかなる特許請求の範囲も過度に制限するように読まれるべきではないという例である。

単語「例示的な」は、本開示を通じて、「例、実例または例示に役立つ」を意味するように使用される。本明細書に記載された、「例示的な」としたいかなる実施形態または特徴も、他の実施形態または特徴に対して好ましいまたは利点があると、必ずしも解釈されるべきではない。

本明細書には、広視野の光景を含む光景の高解像度画像を得るためのシステムおよび方法が、開示されている。具体的には、システムおよび方法は、光景についての強度（グレースケールまたはカラー）情報と共に、高い空間および距離解像度を有する、その光景の中の複数の物体に対する三次元位置情報を同時に記録し得る。座標と強度との両方のこの情報は、各画像に対するピクセルのアレイにおいて、ピクセル毎に記録される。強度および位置情報は、光景の人間の視覚を近似する単一の三次元画像に結合され、それは、光景における各物体の形状および相対位置の三次元座標をさらに記録する。

一連のそのような画像は、デジタルビデオカメラと同様な方法で取得され、時間と共に、光景における変化の「動画」を提供し、動画における各三次元画像は、フレームと称される。多くの環境において、撮像されている光景は、システムから様々な距離における多くの物体を含み得る。システムは、各ピクセル要素に対応する、物体の部分の三次元座標および強度を記録し、従って、光景における個々の物体の三次元形状を提供し、三次元撮像デバイスおよび光景における物体の三次元撮像デバイスによって記録された画像における光景の別の部分に対する、全体の座標とを提供する。絶対座標系が望ましい場合、撮像システムの絶対位置を固定するＧＰＳユニットまたは他の適切な手段がシステムに含まれ得る。いくつかの実施形態においては、光景内の物体の既知の位置が、撮像システムの絶対位置を確定するために使用され得る。

本明細書に記載された方法およびシステムを実装するように修整され得る３Ｄ撮像システムおよび方法の例が、２０１３年６月２５日に発行された米国特許番号第８，４７１，８９５Ｂ２に開示されており、本明細書にその全体が参照として組み込まれている（本明細書では、「’８９５特許」と称する）。例えば、’８９５特許の図５、１１および１２は、ＭＩＳ型３Ｄ撮像システムを記載しており、本願に開示された方法を実施するように構成され得る。’８９５特許のシステムおよび方法に対する修正は、例えば、出力レーザパルスの長さおよび本願に開示されるような変調波形をレーザパルス長および変調波形に、変更することを引き起すであろう。

図１は、光景１９０の三次元ワイドＦＯＶ画像を得るための例示的３Ｄカメラシステム１００の透視図を図示する。システム１００はデカルト座標系に関して記載されているが、他の座標系が使用され得る。

３Ｄカメラシステム１００は、照明サブシステム１１０、センササブシステム１２０、処理サブシステム１４０、および本体１５０を含み、本体１５０に様々なサブシステムが、図１に図示されるように搭載されている。本体１５０は、示されていない保護カバーをさらに含み得る。システム１００の特定の形態は、所望の性能パラメータおよび意図する応用に依存して変わり得る。例えば、システム１００が家庭用として意図されている場合、システムは、ビデオカメラと同様に、片手で支えられる程度に十分に小さくかつ軽量であることが望ましく、適度の解像度で比較的近い光景を記録するように構成され得る。代替として、システム１００が建築現場を撮像するために意図されている場合、大きなおよび／または離れた光景を高解像度で撮像するように構成され得、システムの大きさは二の次であろう。

照明サブシステム１１０は、図１には示されていないがより詳細に以下に記載される光源または複数の光源と、単一レンズ、複合レンズまたはレンズの組み合わせを含み得る透過レンズ１１２とを含む。光源は、本明細書に記載されるように、例えば、１０ナノ秒以下の任意の適切な継続時間を有し得る光パルス１１９を発生させるように構成されている。透過レンズ１１２は、パルス１１９の発散を、１度以上の角度φに、例えば、１度と１８０度との間、１度と１２０度との間、２度と９０度との間、２度と４０度との間、または５度と４０度との間に、増加させ、かつ、撮像されるべき光景１９０の一部分をパルスが照射するように、パルスを光景の方向に向かわせるように構成されている。

光景１９０における物体１９１および１９２は、各々がデカルト座標系でのｘ−、ｙ−およびｚ−方向の（または、球面座標系でのρ−、Θ−およびφ−方向の）異なる位置にあり、さらに、異なる形状を有している。従って、レーザパルスの異なる部分は、異なる距離を進み、物体が、パルスの部分１２７、１２８、１２９を散乱させおよび／または反射してシステム１００に向かって引き返させる前に、物体１９１、１９２を照射し、各物体の異なる特徴または領域を個別に照射するのみでなく、する。その様に、パルス部分１２７、１２８および１２９の各々は、異なる飛行時間（ＴＯＦ）を有するであろう。加えて、各物体の」照射された特徴の反射率および、システム１００に対するその特徴の角度に依存して、パルス部分１２７、１２８および１２９は異なる強度を有する。

センササブシステム１２０は、反射されたパルス部分１２７、１２８、１２９を集光する大開口径の受光レンズ１２１を含む。適切な開口サイズは、特定の用途に依存し、例えば、１ｃｍ未満と２．５ｃｍとの間であり得る。反射されたパルスの他の部分、例えば、システム１００に向かって引き返す以外の方向に反射された一点鎖線によって図示された部分、は受光光学系１２１によって捕捉されないこともある。透過レンズ１１２に対するように、受光レンズ１２１は、単一レンズ、複合レンズまたはレンズの組み合わせ、または他の反射または屈折要素を含み得る。受光光学系１２１は、また、光景１９０についての、広帯域またはマルチバンド（例えば、可視帯）の情報（例えば、光景１９０が、受光光学系１２１に向けて散乱または反射する周囲の光）を収集し得る。そういうものとして、この場合、受光レンズ１２１は、好ましくは、光学系設計において公知の、（一つ以上の受信された帯域の画像品質を低下させ得る）可能な収差を減少させるかまたは取り除くように構成される。代替として、別個の受光レンズが提供され、広帯域またはマルチバンド光を受信し得る。センササブシステム１２０は、光景から収集された可視光に基づいて、光景１９０のカラーまたはグレースケールの画像を記録する別個の可視光撮像サブシステム含み得る。その様な画像は、光景についての位置および形状情報と後で結合され得る。

受光レンズ１２１が収集したパルス部分１２７、１２８、１２９に基づいて、センササブシステム１２０は、複数の画像を生成する。これらの画像は、光景１９０の物体１９１、１９２についての位置情報を含む。その様な画像を生成するために、センササブシステムは、例えば、広角ポッケルアセンブリを用いて、入射するパルス部分１２７、１２８、１２９の偏光状態を時間の関数として変化させ得る。後に分析装置（例えば、ポッケルセルの後に配置された偏光要素）が続く場合、分析装置を通る対応する透過は、時間の関数として変化し得る。例えば、図２に図示されるように、センササブシステム１２０は、５０ナノ秒から１００ナノ秒の時間の間、受光レンズ１２１によって収集された、分析装置を通る光の透過率２００を０から１まで変化させ得る（ここで、０ナノ秒は光パルスが発生させられた時刻に相当する）。そのようなものとして、光景１９０の物体へ、および物体から、それらが異なる距離を進行したので、互いに対して時間的に遅延させられたパルス部分１２７、１２８、１２９は、互いとは異なる程度の透過を経験する。具体的には、パルス部分１２８が経験したよりも物体１９１の近い部分から反射されたパルス部分１２９は、パルス部分１２８よりも小さい透過を経験する。より遠い物体１９２から反射されたパルス部分１２７は、パルス部分１２８よりも大きな透過を経験する。そのようなものとして、センササブシステム１２０がパルス部分の透過を変調する程度が、ＦＰＡによって受信された強度、従って、パルス部分が光景における物体の特定の特徴へ、および特徴から進行した距離に基づいて、パルス部分のＴＯＦを、をエンコードする。

収集された光パルス部分の偏光を時間の関数として変調することは、図２に図示されるように、例えば、時間の単調関数であり得る。図２に描かれた例において、短いＴＯＦを有する帰還照明光パルスが、長いＴＯＦを有するパルスよりも少ない偏光変調を経験し、距離情報が得られることを可能にする。しかしながら、その様な変調は必ずしも単調である必要はない。さらに、収集された光パルス部分の偏光よりもむしろ強度が変調され得る。

センササブシステム１２０は、プリズムや偏光ビームスプリッタのような光学要素を使用して、各パルスをその直交偏光成分に分割することによって（例えば、Ｈ−およびＶ−偏光成分）各パルス部分１２７、１２８、１２９の偏光の範囲を決定し、次いで２つの偏光成分の相補的画像を記録する。例えば、光景１９０から発生させられた第一の画像は、パルス部分１２７、１２８、１２９のＨ−偏光成分についての情報を第一の画像における複数の強度領域の形式で、それぞれ含む。同じ光景１９０から発生させられた第二の画像は、パルス部分１２７、１２８、１２９のＶ−偏光成分についての情報を第二の画像における、複数の強度領域の形式で、それぞれ含む。到着時間または、光景からの帰還光パルスに基づいて、強度領域は強度が変化する。図１に図示されるプロセッササブシステム１４０は、偏光画像を格納し、さらに処理を実行して光景１９０における物体１９１、１９２の距離および形状情報を取得する。例えば、プロセッササブシステム１４０は画像を正規化し、物体１９１、１９２の間の反射または散乱における変動を補償し得る。プロセッササブシステム１４０は、そして、正規化された画像に基づいて、光景１９０における異なる物体の位置および形状を計算し得、物体１９１、１９２についての距離情報を含む三次元画像を形成する。さらに、プロセッササブシステム１４０は、計算された距離情報を白色光画像と組み合わせて、光景についてのグレースケールまたはカラー情報を含む、光景１９０の三次元画像を提供し、従って、光景の人の視野を模倣する。プロセッササブシステム１４０は、照明サブシステム１１０とセンササブシステム１２０との動作をさらに制御し調整し得る。

一つの例示的実施形態では、システム１００は、２０ｍの範囲において約１ｍｍの距離解像度、および、１００ｍの範囲において約３ｍｍ以下の距離解像度を有する。

ＭＩＳ変調技術に対して、距離解像度は変調波形の長さの一部である。変調波形の長さは時間期間を決定し、その概略の帰還時刻を識別するために、その時間にパルスからの帰還光が変調される。例えば、ＤＡＲＰＡが、その公開されたウェブサイト上で、距離解像度は傾斜路長の１／５０であるとのＳＰＩ３−Ｄプログラム（ＬＩＭＡＲＳ型３Ｄ撮像システム）を報告している。１ｃｍの解像度を達成するために、対応する変調傾斜長は、３ナノ秒未満が必要であり、光パルス長は、かなり短く、３００ピコ秒以下が必要であろう。１ｍｍ距離解像度を達成することは、３０ピコ秒のレーザパルス長が必要とされるであろう。公知のレーザ技術を使用してサブナノ秒の光パルスを発生させることは可能である。しかしながら、その様な短いパルス長を達成するために必要なレーザ技術は、ほぼ５ナノ秒より長いパルスを発生させるレーザ技術よりも、非常にコスト高である。さらに、短パルス技術は、ある種の材料またはレーザ設計と常に適合性があるとは限らず、それらは、光発生設計の柔軟性を大幅に制限する。価格志向型の市版のシステムは、なおも高い距離解像度を達成しながら、長い光パルスを使用する３Ｄ撮像システムから非常に恩恵を受けるであろう。

図３は、例示的なＭＩＳ型三次元撮像システム５００における選択された構成要素を模式的に図示する。システム５００の機能性は、代替として、例えば、’８９５特許の図６、７Ａ−Ｂ、１１および１２を参照して記述されている、他の光学配置によって提供され得ることが、理解されるべきである。

図３に図示されているように、システム５００は、照明サブシステム５１０、センササブシステム５２０、およびプロセッササブシステム５４０を含む。これらのサブシステムの各々が、以下で詳細に記述される。

照明サブシステム５１０は、光パルスを発生させるための光源５１１、発生させられた光パルスの発散を制御するための透過（Ｔｘ）レンズ５１２、および、光パルスの空間プロファイルを強化するための任意選択の位相板または、他のビーム成形要素５１３を含む。レンズ５１２と任意選択の位相板５１３との配置は、代替として逆にされ得る。これらの要素はまた、単一の光学系または、光学系の組に結合され得る。照明サブシステム５１０は、コントローラ５４１と動作可能に通信しており、コントローラ５４１は、光源５１１からの光パルスの放射を制御し、および／または監視し、コントローラ５４１は、透過レンズ５１２が発生させられた光パルスに与える発散をさらに制御し、および／または、監視し得る。

上に注記したように、図１を参照すると、照明サブシステムは、滑らかな空間プロファイル、滑らかな時間プロファイル、および、例えば、５度と４０度との間の発散を有する光パルスを発生させる。いくつかの実施形態では、時間的および空間的プロファイルは、滑らかでないこともあり、大小の縮尺変動または構造を有する。光パルスは、電磁スペクトルの任意の適切な部分に、例えば、可視光帯（例えば、４００−７００ｎｍ）、または、近赤外帯（例えば、７００ｎｍ−２５００ｎｍ）にあり得る。一般に、近赤外帯の特定の領域において発生させられたパルスは、可視光帯での同程度のパワーのパルスよりも目に安全であると考えられている。光源５１１は、所望の電磁波帯の光パルスを発生させるように構成されており、レンズ５１２および任意選択の位相板５１３は、所望の発散を有するその光パルスを提供するように構成されており、任意選択的に、さらにパルスの空間的プロファイルを強化するように構成されている。いくつかの実施形態では、光源５１１は、少なくとも５μＪのエネルギ、または、少なくとも１００μＪのエネルギ、または少なくとも１ｍＪのエネルギ、または、少なくとも１０ｍＪのエネルギを有する光パルスを生成するレーザである。その様なレーザエネルギは、レーザビームの高い発散性のために、比較的目に安全である。

低いコヒーレンスのレーザが、例えば、’８９５特許に記載されているように、光源５１１として使用され得る。発光ダイオード（ＬＥＤｓ）およびレーザダイオードのような他の光源が代替として使用され得る。

例えば、照明サブシステム５１０は、大きな発散、例えば、１度と１８０度の間、または、１度と９０度の間、または、１度と４０度の間、または、２度と４０度の間、または、５度と４０度の間の発散と、低い空間および／または時間コヒーレンスとを有するレーザパルスを発生し得るか、回折限界のレーザが、わずかな角度のみの発散、および、大きな空間および時間コヒーレンスを有し得る。大きな発散と空間および／または時間コヒーレンスの不足とは、レーザビームで照明されている物体の表面でのレーザ照射における強度の変動を減少させ得る。照明サブシステム５１０によって発生させられたレーザビームの滑らかな強度プロファイルが、センササブシステム５２０の性能を改良し得る。

透過（Ｔｘ）レンズ５１２は、光源５１１によって発生させられた光パルスの発散を増加させ得る。例えば、光源５１１からの光パルスは、パルスが多くの空間的および時間的非コヒーレントモードを含んでいるので、いくつかの実施形態では、従来公知のレンズに比べると、比較的高い発散であり得るが、パルスの発散は、いくつかの環境では、依然として、１度よりかなり低分解能である。レンズ５１２は、システム５００からの光景の距離および撮像される光景の部分に依存して、光パルスの発散を５度から４０度の間に増加するように構成され得る。レンズ５１２は、単一レンズを含み得るか、複合レンズを含み得るか、または、複数のレンズまたは鏡を含み得、それまたはそれらは、パルスの発散を所望の角度に増加するように構成されており、例えば、１度と１８０度との間、または１度と１２０度との間、または１度と９０度との間、または２度と９０度との間、または２度と４０度との間、または５度と４０度との間、または５度と３０度との間、または５度と２０度との間、または５度と１０度との間、または１０度と４０度との間、または２０度と４０度との間、または３０度と４０度との間、または１０度と３０度との間に増加するように構成されている。より大きいまたはより小さい発散もまた使用され得る。いくつかの実施形態では、透過レンズ５１２は、調節可能であり得、ユーザがレーザパルスの発散を変化させ、特定の状況に適合する。その様な調節は、手動（「ズーム」レンズの手動調節と同様な）であり得るかまたは自動であり得る。例えば、コントローラ５４１は、透過レンズ５１２に動作可能に接続され、レンズ５１２がレーザパルスに与える発散の角度を自動的に制御する。その様な自動制御はユーザ入力に応答し得るか、または、自動化光景撮像シーケンスの一部であり得る。

照明サブシステム５１０は、任意選択的に、位相板５１３をさらに含み得、位相板５１３は、光源５１１によって発生させられた光パルスの空間プロファイルをさらに滑らかにするように構成されている。

照明サブシステム５１０は、実質的に単色である光源５１１を含むが、任意選択的に、さらなるタイプの光源を含み得る。例えば、照明サブシステム５１０は、光景を白色光で照明するための白色光源を含み得る。または、例えば、照明サブシステム５１０は、光源５１１によって放射されるそれとは異なるスペクトル領域における、実質的に単色の他の光源を含み得る。例えば、光源５１１が可視光スペクトルのうちの、緑領域、例えば、５３２ｎｍのような特定部分においてレーザパルスを発生させる場合、その様なパルスは光景全体にその色相を割り当て得る。映画の撮影のようないくつかの状況では、これは望ましくないこともある。照明サブシステム５１０は、一つ以上のさらなる光源を含み得、このさらなる光源は、光源５１１からの光と組み合わされた場合、白色光の外観をもたらす光を発生させる。例えば、光源５１１が緑色レーザパルス（例えば、５３２ｎｍ）を発生させる場合、照明サブシステム５１０は、任意選択的に、赤色および青色領域、例えば、６２０ｎｍおよび、４７０ｎｍ、の波長を放射するダイオードまたはレーザまたは他の光源をさらに含み得、該波長は緑色レーザパルスと組み合わされた場合、所望の光景照明特性を維持する照明を生成する。

なおも図３を参照すると、システム５００はセンササブシステム５２０をさらに含み、センササブシステム５２０は、光景の物体により反射されおよび／または、散乱させられた、照明サブシステム５１０によって発生させられた光パルスの一部分を受信する。任意選択として、センササブシステム５２０もまた、光景からの可視光を受信し、この可視光は、周囲の光源からであり得るか、および／または、照明サブシステム５１０における別個の光源によって生成され得る。図３に図示されたシステムにおいては、センササブシステムは、受光（Ｒｘ）レンズ５２１、帯域通過フィルタ（ＢＰＦ）５２２、偏光子（Ｐｏｌ．）５２３、変調器５２４、任意選択の補償器（Ｃｐ．）５２５、撮像レンズ５２６、偏光ビームスプリッタ５２７、および、第一および第二のＦＰＡ５２８、５２９を含む。センササブシステムは、任意選択として、二色性ビームスプリッタ５３１とＦＰＡ５３２とを含む白色光撮像サブシステム５３０をさらに含む。センササブシステム５２０は、コントローラ５４１と動作可能に通信しており、コントローラ５４１は、センササブシステムの、受光レンズ５２１、変調器５２４、撮像レンズ５２６、ＦＰＡ５２８、５２９、および任意選択の、ＦＰＡ５３２のような異なる構成要素の動作を監視し、および／または、制御する。

受光レンズ５２１は、光景からの光を収集する。図１を参照して上で議論したように、光景は、三次元撮像システムへ戻る方向以外の様々な方向に光を散乱し、および／または、反射する。その様な光の一部は、照明サブシステム５１０によって発生され、一方その様な光の他のものは、照明サブシステム５１０によって発生させられたかまたは発生されなかった白色光または異なる波長領域の光である。集光される光量は、受光口径の面積、例えば、受光レンズ５２１の面積に比例する。

センササブシステム５２０によって集められる光量を高めるために、従って最終的に各三次元画像に含まれ得る情報量を増やすために、受光レンズ５２１は、所与の用途に対して、実用的なできるだけ多くの光を受け取るるように構築される。例えば、撮像システムが軽量で手持ち型であるように設計され、適度の解像度の要件を有するいくつかの応用に対して、受光レンズ５２１は、例えば、１から４インチ、または２から３インチの直径、または、例えば、約２インチまたはそれより小さいの直径を有し得る。撮像システムが、商用目的のための高解像度画像を提供するように代わって設計される応用に対して、受光レンズ５２１は、実用的に実現可能なできるだけ大きいように造られ得、例えば、２から６インチ、または２から４インチ、または１から３インチ、または、例えば、４インチ以上の直径を有する。好ましくは、センササブシステム５２０の種々の光学構成要素は、光学設計において公知の技術を使用して、受光レンズ５２１によって集められた光がクリッピングまたは口径食（ｖｉｇｎｅｔｔｉｎｇ）を回避するように構成される。加えて、受光レンズ５２１および他の光学構成要素またはコーティングも、また、システム設計および視野に適切な受光角度を有し、それは、例えば１度と１８０度との間、または１度と１２０度との間、または１度と９０度との間、または２度と４０度との間、または５度と４０度との間、または５度未満、または１０度未満である。

受光レンズ５２１は、単一レンズを含み得るか、複合レンズを含み得るか、複数のレンズまたは鏡を含み得、それらは、光景からの光を集め、センササブシステム５２０内の規定された位置の画像面に、集められた光を撮像するように構成されている。受光レンズ５２１は、球面収差または色収差の収集された光への導入を減少させるかまたは阻害するように構成されている。いくつかの構成において、受光レンズ５２１は、ユーザがレンズ５２１の対物面の位置、または光景がセンササブシステム５２０内の規定された平面に撮像される距離を調節することを選択し得るように、調節可能である。ある構成では、受光レンズ５２１は、角度ＦＯＶを変更するように調節され得る。その様な調節は、手動（「ズーム」レンズの手動調節と同様な）であり得るかまたは自動であり得る。例えば、コントローラ５４１は、受光レンズ５２１に動作可能に接続され、レンズ５２１の対物面の位置または、レンズ５２１の角度ＦＯＶを自動的に制御する。いくつかの構成において、これらの調節は、部分的に透過レンズ５１２（コントローラ５４１によっても制御され得る）によって与えられるビーム発散に基づいて行われる。その様な自動制御はユーザ入力に応答し得るか、自動化光景撮像シーケンスの一部であり得る。

図３に描かれたカメラシステムにおいて、センササブシステム５２０は、可視光撮像サブシステム５３０を含み、受光レンズ５２１によって収集された光は、２つの画像面に撮像される。具体的には、収集された光は、二色性ビームスプリッタ５３１を通り過ぎ、ビームスプリッタ５３１は、収集された可視光の少なくとも一部分をＦＰＡ５３２上に方向を変えるように構成されており、ＦＰＡ５３２は、受光レンズ５２１の画像面に配置されている。他の構成において、受光レンズ５２１によって収集された光は、ＦＰＡ５３２の単一の画像面に撮像され、撮像レンズ５２６は、必要ではない。ＦＰＡ５３２は、例えば、従来公知のハードウェアおよび技術を使用してＦＰＡ５３２が受信した可視光に基づいて、光景のカラーまたはグレースケール画像を記録するように構成されている。いくつかの構成において、ＦＰＡ５３２は、第一および第二のＦＰＡ５２８、５２９と実質的に同一であり、ＦＰＡ５３２は、ＦＰＡ５３２が記録する可視光画像が第一および第二のＦＰＡが記録する画像と位置合わせされるように構成される。ＦＰＡ５３２は、コントローラ５４１と動作可能に通信しており、コントローラ５４１は、画像をＦＰＡ５３２から取得し、取得した画像を記憶装置５４２に記憶のために提供し、記憶装置５４２は、さらなる処理を行うために画像コンストラクタ５４３によってアクセスされ得る：。可視光撮像サブシステム５３０は、代替として、任意の他の光の範囲、例えば、光の任意の適切な広帯域またはマルチバンド範囲に基づいて、画像を取得するように構成され得ることを理解すべきである。

二色性ビームスプリッタ５３１がＦＰＡ５３２へ方向を変えられない光は、代わりに、帯域通過フィルタ５２２に伝送され、帯域通過フィルタ５２２は、センササブシステム５２０の残りの部分が、光景がシステム５００に向けて反射し、または散乱させる、照明サブシステム５１０によって発生させられた光パルス部分（例えば、図１に図示されたパルス部分１２７、１２８、１２９）のみを実質的に受信するように、照明サブシステム５１０によって発生させられたもの以外の波長の光を遮断するように構成されている（例えば、±．５ｎｍ、または、±．１０ｎｍ、または±．２５ｎｍの帯域幅を有する）。可視光撮像サブシステムがない構成において、帯域通過フィルタ５２２は、受光レンズ５２２の前に配置される。他の構成において、帯域通過フィルタ５２２は、変調器５２４の後ろに配置されるか、または、偏光ビームスプリッタ５２７の前に配置されるか、または、光学チェーン中のどこにでも配置される。帯域通過フィルタ５２２を透過した光は、それから、偏光子５２３を透過され、偏光子は、例えば、それらを透過した光が実質的にすべてＨ偏光であるか、または、実質的にすべてＶ偏光であるように（または、右旋円偏波、または、左旋円偏波）、所望の偏光以外の偏光を取り除く。偏光子５２３は、例えば、偏光板または偏光ビームスプリッタであり得、かつ、角度に対して比較的低感度であり得る。狭い視野または、広角度でない光線を有する構成に対しては、偏光子５２３は、角度により敏感であり得る。偏光子５２３を透過した光は、次いで、受光レンズ５２１の他の画像面に配置される変調器５２４を透過する。変調器５２４の機能性は、以下に詳細に記述される。いくつかの実施形態では、受光レンズ５２１の画像面は、センササブシステム５２０の変調器５２４以外の場所にある。

変調器５２４は、その後に補償器５２５が任意選択として続き得、補償器５２５は、ビーム角度の変動に起因して変調器５２４がビームに課し得る位相誤差を修正し得、従って、変調器５２４の受光角度をさらに拡張し得る。補償器５２５は、変調器５２４における材料の反対の複屈折を有する材料を含み得る。例えば、変調器５２４がリン酸二水素カリウム（ＫＤＰ）を含む場合、補償器５２５は、ＫＤＰとは逆の複屈折を有し市販されているフッ化マグネシウム（ＭｇＦ_２）を含み得る。変調器５２４に使われる材料の特性に依存して、他の材料も補償器５２５の使用に適し得る。例えば、変調器の材料が、リン酸二重水素カリウム（ＫＤ^＊Ｐ）である場合、とりわけ、補償器の材料は、ルチル、フッ化・イットリウム・リチウム（ＹＬＦ）、尿素、または、オルトバナジウム酸イットリウム（ＹＶＯ_４）であり得る。加えて、補償器５２５の厚さは、システムの受光角度にわたり適切なコントラスト比を提供するように選択され得る。一つの例示的実施形態では、補償器５２５は、３ｍｍ長のＫＤ^＊Ｐ変調器に対して、８．７８ｍｍと８．８２ｍｍとの間の長さを有するＭｇＦ_２の結晶を含む。補償器５２５は、合計すると適切な厚さになる一つ以上の結晶を含み得る。結晶軸が光軸に対して直角であるように向けられた変調器材料のような他の変調器設計において、補償器は、結晶軸を光軸の周りに９０度回転させた第二の変調器であり得る。

変調器５２４および任意選択の補償器５２５にを通る透過およびそれらによる変調に続いて、撮像レンズ５２６は変調された光を、第一および第二のＦＰＡ５２８、５２９上に撮像する。具体的には、偏光ビームスプリッタ５２７は、変調されたビームの直交偏光成分（例えば、Ｈ−およびＶ−偏光成分、または、左または右旋円偏波成分）を分離する。偏光ビームスプリッタ５２７は、次いで、成分を、撮像レンズ５２６の画像面に配置される第一および第二のＦＰＡ５２８、５２９にそれぞれ向け直すかまたは伝送する。撮像レンズ５２６は、単一レンズ、複合レンズまたは複数のレンズを含み得る。いくつかの実施形態では、２つの撮像レンズ５２６が、偏光ビームスプリッタ５２７の後、ＦＰＡ５２８、５２９の前に一つずつ設置される。第一および第二ＦＰＡ５２８、５２９は、それらの上に撮像された、変調された光の画像を記録し、第一および第二ＦＰＡ５２８、５２９は、コントローラ５４１と動作可能に通信し、該コントローラ５４１は、記録された画像を取得し、保管と画像コンストラクタ５４３によるさらなる処理とのために、それらを記憶装置５４２に提供する。

ここで、変調器５２４とＦＰＡ５２８、５２９との様々な実施形態の記述が提供される。光景内の物体位置および形状の計算の記述が、プロセッササブシステム５４０を参照して、さらに以下に提供される。

図１を参照して上に注記したように、変調器は、光景から反射されたレーザパルス部分の偏光を変えるために使用され得、光景における物体の範囲および形状が高精度で計算されることを可能にする。ポッケルセルまたはカーセルが、いくつかの実施形態で、その様な変調を行うために使用され得る。しかしながら、従来公知のポッケルセルは、一般に、比較的小さい開口部(例えば、１ｃｍ以下）および、小さい受光角（例えば、１度未満）を有し、比較的高い電圧で動作し、これらがこのポッケルセルを撮像システムにおいて使用することを望ましくなくする。加えて、変調器によって受信される反射光の角度範囲は、受光要素の倍率の逆数だけ拡大され得る。そのように、より広い受光角、広い開口および低動作電圧を有する変調器を使用することが望ましくあり得る。例えば、図３に図示された三次元撮像システムにおいては、受光（Ｒｘ）レンズ５２１によって捕捉される光は、例えば、５度と４０度との間で変化する角度および２から４インチの開口を有し、これは、従来公知のポッケルセルが正しく変調するように構成されないこともある。従って、十分に高いコントラスト比、例えば、２０：１より大きいか、５０：１より大きいか、３００：１より大きいか、または、５００：１より大きいコントラスト比を提供する一方で、大きな開口、低動作電圧、および大きな受光角（例えば、５度より大きい、５度と４０度の間の角度）を有する偏光変調器を提供することが望ましい。

変調器がポッケルセルである実施形態においては、ポッケルセルの角度受光帯域を増加させる公知の技術がある。これらは、本発明の様々な実施形態において使用され得る。例えば、一つの実施形態において、ポッケルセルは、透明電極を使用することによって、薄くできる。長さを減少させることは、角度受光を増加させる。同様に、透明電極を使用することによって、変調器開口は増加され得る。一つの例示的例では、変調器５２４は、５ｍｍ未満の厚さを有するリン酸二重水素カリウム（ＫＤ＊Ｐ）のスラブを含む縦方向のポッケルセルであり、スラブは、該スラブ上、または、ＫＤＰの表面の近くに配置された保護窓上に備えられた透明または半透明電極を有し、電極は、例えば、酸化インジウム錫（ＩＴＯ）のコーティング、回折損失を減少するためにＦＰＡ５２８、５２９のピクセル間隔に合うように選択された間隔を有する導電性格子、または、透明フィルムと金属特徴との任意の適切な組み合わせである。

ポッケルセル材料は、角度受光をさらに制限する複屈折（結晶構造の異なる軸に沿って偏光された光に対する屈折率の異なる値）を有している。しかしながら、横方向セルとして公知のポッケルセル設計では、製造者は、伝搬軸の周りにセルを９０度回転して、二つの同等なセルの厚さを注意深く合わせている。一方のセルは、その結果、他方の寄与を打ち消す。いくつかの材料および向きに対しては、四つのセルを使用することが必要である。これは、また、温度変化によって起こされる効果に対して、セルを比較的無反応にし得る。その様な技術は、縦方向ポッケルセルに対しては、効果がないこともあるが、この場合、さらなる材料が加えられる。この材料は、反対の符号の複屈折を有しており、厚さは注意深く合わせられる。例えば、リン酸二重水素カリウム（ＫＤ^＊Ｐ）は、縦方向ポッケルセルに対して一般的な材料であり、負の複屈折性である。ＭｇＦ_２のような正の複屈折材料も入手可能である。これらの技術は、ポッケルセル変調器に対する高い角度受光を可能にする。

図３のシステム５００は、ポッケルセル式の変調器を含むように記載されているが、光景からの反射／散乱されたパルス部分のＴＯＦをエンコードするために、ＦＰＡへの強度変調として他の形式の変調器も使用され得る。その様な配置は、光を直接には変調しないこともあり得る。代わりに、ＦＰＡの回路によって測定された光電子によって発生させられた信号の振幅を変調し得る。例えば、一つの代替の構成において、偏光子５２３、変調器５２４および補償器５２５が省略され、ＦＰＡ５２９のピクセルのゲインが、時間の関数として変調され、ＦＰＡ５２８のピクセルのゲインは、時間の関数として変調されない。この実施形態では、偏光ビームスプリッタ５２７は、非偏光ビームスプリッタによって、置き換えられる。ＦＰＡは、入射光子によって生成された全電荷を測定する付随する回路網を有する光感受性部位（ピクセルと称される）のアレイを含む。回路網のうちのいくつかは、ゲイン（発生させられた光電子に対する測定された電流の割合）を生み出すように、ピクセルの光電子によって発生させられた信号を増幅するように構成されている。この実施形態において、その様な回路網は、注目している時間ウィンドウ、例えば、１０ｎｓ、に渡って、ＦＰＡ５２９のアレイおよび／または、ＦＰＡ５２９のアレイの個別のピクセルのゲイン特性を変化させ、各ピクセルに関連付けられている電気信号に時間依存変調を生成するように構成され得る。

その様な時間依存変調は、光景から反射されたまたは散乱されたレーザパルス部分のＴＯＦを決定するために、使用され得る。具体的には、ＦＰＡ５２８を用いて得られた非変調信号は、正規化画像として使用され得、その正規化画像に対して、ＦＰＡ５２９を用いて得られた変調された画像が正規化され得る。代替として、非変調画像がある間隔で一つのフレームに対する任意の変調を消し去ることによって、ＦＰＡ５２９を用いて取得され得、その画像が正規化画像として使用され得、その正規化画像に対して、他のフレームの間にＦＰＡ５２９を用いて得られた変調画像が正規化され得、その様な実施形態において、ビームスプリッタ５２７とＦＰＡ５２８は、省略され得る。その様な実施形態において、正規化画像が取得される時間と変調された画像が取得される時間との間には光景の物体が著しくは動かないか、または、受光レンズ５２１によって受光された光量が著しくは変化しないことが好ましく、ＦＰＡのフレームレートは、その様な動きの機会を減少させるために任意選択として調節され得る。各正規化されたピクセルの強度は、光景の物体によって反射された／散乱させられたパルス部分のＴＯＦを表し、従って、これらの物体の距離と形状とを表す。各ピクセルの強度の絶対的な基準はないが、一連のフレームの間のある周期的な頻度におけるフレームは、変調なしで処理され得る（例えば、全てのピクセルが最大値に設定されたゲインが使用されている）。反射された信号が基準フレームの間に著しくは変化しないならば、その様なフレームは絶対的な振幅参照を提供する。

代替として、各ピクセルのゲインを時間的に変調する代わりに、各ピクセル前で薄膜偏光子に結合された偏光回転子を提供することによって、各ピクセルによって受信される光量が時間的に変調され得る。偏光回転子は、個別にアドレス可能であるか、または、ピクセルによって受信された光量をほぼ均一に変化させるように、集合的に制御され得る。正規化画像は、例えば、ゲイン変調について上述したことと類似なように、取得され得る。別の実施形態においては、偏光回転子は省略され得、時間的に変化する減衰器が代わりに提供され得る。一般に、０．１から１００ｎｓの全体にわたり制御される機能において、一つの変換器が、ＦＰＡのピクセルによって生成される光電子の量を変更するために使用され得る。一つの実施形態において、ただ一つの駆動波形が必要とされるように、その変換器はＦＰＡの全てのピクセルに対して均一に働く。

別の代替の実施形態において、システム５００の変調器５２４は、電気光学ブラッグ偏向器を含み、補償器５２５およびビームスプリッタ５２７は省略されている。ＦＰＡ５２８は、電気光学ブラッグ偏向器からの回折次数１の波面を受け取るように、位置決めされており、ＦＰＡ５２９は、電気光学ブラッグ偏向器からの回折次数０（または、非回折ビーム）受け取るように位置決めされている。いくつかの実施形態では、二つのブラッグ次数が同じＦＰＡ５２９の異なる領域に入射する。時間的に変調された制御信号が、電気光学ブラッグ偏向器に与えられ、電気光学ブラッグ偏向器は、関心のある時間ウィンドウ、例えば、１０ｎｓに渡り、ＦＰＡ５２８および５２９で受け取られる回折次数における強度を変化させる。受信された画像およびそれに続く処理はポッケルセルアセンブリによって変調されたものと実質的に同様である。一つの実施形態において、ＦＰＡ５２８（または５２９）のみが変調された信号を受信し、ＦＰＡ５２９（または５２８）は、非変調信号を受信し、その非変調信号に対して、変調された信号が正規化され得る。

なおも別の代替の実施形態において、システム５００の変調器５２４は
時間的に変調可能な、対向する反射面を有するファブリ・ペロー干渉計のような、エタロンを含む。偏光子５２３、変調器５２４、補償器５２５およびビームスプリッタ５２７は、省略され得る。単色光に対するエタロンの透過は、エタロンの巧妙な処理と反射面の間の間隔とに基づき、従って、時間の関数として表面間の距離を変化させることによって、エタロンによってＦＰＡ５２９へ透過される光の強度が、光のＴＯＦに依存して変化し得る。一つの実施形態において、エタロンは、反射器の間隔が時間の関数として、制御可能に変化可能な、例えば、物質を圧縮したり引き延ばしたりする圧電変換器を使用する固体である。ＦＰＡ５２８は、非変調光を受け取るように構成されており、正規化画像を得るように使用され得、その正規化画像に対して、ＦＰＡ５２９からの変調された画像が正規化され得る。

図３に図示された実施形態において、第一および第二のＦＰＡ５２８、５２９は、撮像レンズ５２６の焦点面に位置決めされており、それぞれ、直交した偏光の光を受け取る。例えば、偏光ビームスプリッタ５２７は、Ｈ−偏光の光をＦＰＡ５２８上に向け得、Ｖ−偏光の光をＦＰＡ５２９に伝送し得る。ＦＰＡ５２８は、第一の偏光成分に基づいて、第一の画像を得、かつ、ＦＰＡ５２９は、第二の偏光成分に基づいて第二の画像を得る。ＦＰＡ５２８，５２９は、保管とさらなる処理のために、第一および第二の画像をプロセッササブシステム５４０に、例えば、コントローラ５４１に、提供する。ＦＰＡ５２８、５２９は、互いに位置合わせされ得る。その様な位置合わせは、機械的に行われ得るか、または、ソフトウェアを使用して、電気的に（例えば、画像コンストラクタ５４３によって）行われ得る。

いくつかの実施形態では、ＦＰＡ５２８、５２９は、市販のＣＣＤまたはＣＭＯＳ撮像センサである。特に、そのようなセンサは、可視光での応用に対しては市販されており、簡単に入手可能であり、システム５００に使用するには、大きな修正は必要ない。一例として、ＦＰＡ５２８，５２９は、商業的に購入した２メガピクセルの解像度を有するＣＣＤセンサである。近赤外応用に使用されるいくつかのセンサが、たとえ、遍在する可視波長センサよりも実質的に大きなコストであり、他のものは、現在開発中ではあるにしても、現在商業的に入手可能である。様々なセンサは、まだ発明されていないものを含めて、本発明の多くの実施形態において、いずれも成功裏に使用され得ることが予想される。任意選択のＦＰＡ５３２は、いくつかの実施形態においては、ＦＰＡ５２８、５２９と同じである。

しかしながら、特定の組の特性を有するセンサは、いくつかの状況において、好まれ得る。例えば、上に注記したように、各ピクセルが、深い電子井戸（例えば、１００，０００電子より多い）を有している焦点面アレイを提供することは、システムによって得られる信号対雑音比を向上させ得る。焦点面アレイも、または代替として、例えば、４０ｄＢより大きいか、または、６０ｄＢより大きい、高いダイナミックレンジを有し得る。加えて、そのような効果的な深さの井戸は、より浅い深さのピクセルの出力を組み合わせることによって、取得され得る（例えば、４ピクセルの各々が２５，０００以上の電子の井戸深さを有する）。好ましくは、ＦＰＡの各ピクセルは、飽和し得る任意のピクセルの電子が、隣接するピクセル上に滲み出さないように、「ブルーミング」を実質的に阻止するように設計される。

プロセッササブシステム５４０は、コントローラ５４１、記憶装置５４２、画像コンストラクタ５４３、ＧＰＳユニット５４４、および電力供給装置５４５を含む。そのような構成要素のすべてがすべての実施形態に存在する必要はない。その様な構成要素の機能性は、システム５００の、ＦＰＡ５２８、５２９上のオンボードプロセッサを含むが限定はされない他の構成要素に代替として分配され得る。上に記述したように、コントローラ５４１は、光源５１１および透過（Ｔｘ）レンズ５１２のような、照明サブシステム５１０の一つ以上の要素、および／または、受光（Ｒｘ）レンズ５２１、任意選択のＦＰＡ５３２，変調器５２４、および第一および第二のＦＰＡ５２８、５２９のような、センササブシステム５２０の一つ以上の要素と動作可能に通信し得る。

例えば、コントローラ５４１は、照明サブシステム５１０によって発生させられた照明光パルスのタイミングおよびパルス長を制御するようにプログラムされ得る。加えて、変調器５２４は、コントローラ５４１からの制御信号に応答して、時間の関数として変調器５２４を通過する光パルス部分の偏光を変調するように構成され得る。コントローラ５４１は、また、記憶装置５４２、画像コンストラクタ５４３、ＧＰＳユニット５４４、および電力供給装置５４５と動作可能に通信する。

コントローラ５４１は、任意選択のＦＰＡ５３２および第一および第二のＦＰＡ５２８、５２９から画像を得て、画像を記憶のために記憶装置５４２に提供するように構成されている。記憶装置５４２は、ＲＡＭ、ＲＯＭ、ハードドライブ、フラッシュドライブ、または任意の他の適切な記憶媒体を有する。詳しくは’８９５特許に記載されているように、画像コンストラクタ５４３は格納された画像を記憶装置５４２から取得し、それらに基づいて、三次元画像を構築するように構成されている。ＧＰＳ５４４は、画像を取得するときのシステム５００の位置および／または、姿勢を識別するように、かつ、その様な情報を対応する画像と共に記憶されるべき記憶装置５４２に提供するように、構成されている。加えて、加速度計または他の適切な使用され得る姿勢計測デバイスが、一連の画像の次のフレームへのシステム５００の姿勢のおおよその変化を決定する。この情報は、画像をあるフレームから、全体的または相対的な参照フレームに対して位置合わせする方法の一部として使用され得る。電力供給装置５４５は、照明サブシステム５１０およびセンササブシステム５２０の任意の動力構成要素のみでなく、電力をプロセッササブシステム５４０の他の構成要素に提供するように構成されている。

システムの一つの例に従って、出力光パルスはシステムによって発生され、光景を照明し、距離情報を取得するように使用される。しかしながら、公知のＭＩＳ型システムに比べて、開示されているシステムの照明光パルスは、例えば、半値全幅（ＦＷＨＭ）として定義された長さを有し得、それは、例えば、変調波形の１０％レベルと９０％レベルとの間の時間で定義された、変調波形とほぼ同じ長さである。

センササブシステム変調波形の例は、例えば、図４に示された、波形６０２としてグラフ６００に示されている透過関数の例は、本明細書の図５から７に示されている。一般に、変調波形６０２は、帰還光パルスの収集された一部分を、各部分の到着時間が決定されることができるように、時間の関数として変調するために、システムによって使用される。

光パルス６０４および変調波形パルス６０２の時間的形状の例が、図４に示されている。光パルス６０４は、３Ｄ画像化システム（例えば、システム１００および５００）に戻り、タイミング回路は、変調波形パルスを開始する。２つのパルスの間の時間における相対位置は、各ピクセルによって画像化された光が進んだ距離によって決定される。ＦＰＡの各ピクセルによって検出される信号は、２つの信号の畳み込みによって決定される。

ここで、ｒはピクセルに対応するインデックス値、例えば、図４に示されるように、f(t)は、時間における光パルスプロファイルの数学的記述６０４、および、g(t)は、時間における変調波形の数学的記述６０２である。各ピクセルに対して結果として得られる撮像システム１００、５００によって発生させられた畳み込み信号が、３Ｄ撮像からの距離の関数として図５に示されている。図５においては、畳み込み信号は、照明光パルスに対するいくつかの可能な長さ、０．１ｎｓから５ｎｓと、７ｎｓの変調波長とに対して示されている。図５に示されたグラフ６５０において、波形６５２は、０．１ｎｓ照明光パルスに対する畳み込み信号を表しており、波形６５４は、１ｎｓ照明光パルスに対する畳み込み信号を表しており、波形６５６は、２ｎｓ照明光パルスに対する畳み込み信号を表しており、波形６５８は、３ｎｓ照明光パルスに対する畳み込み信号を表しており、波形６６０は、４ｎｓ照明光パルスに対する畳み込み信号を表しており、波形６６２は、５ｎｓ照明光パルスに対する畳み込み信号を表している。

この例においては、焦点面アレイにおける各ピクセルに対応する表面に対する距離は、ピクセルによって測定された強度信号にグラフにおいて対応する距離遅延を識別することによって、決定され得る。この対応する距離遅延は、解析逆関数、実際の畳み込み応答関数を表す近似関数によるもの、数値計算解によるもの、およびルックアップテーブルによるもの、または、他の同様な手段を含む、いくつかの手段によって決定され得る。距離解像度は、近似的に透過関数曲線の傾斜に逆比例する。プロセッササブシステム５４０、および／または、その構成要素、例えば、画像コンストラクタ５４３、は、前述の距離決定を実行するように、構成またはプログラムされ得る。

図５は、７ｎｓの直線傾斜と様々な、０．１ｎｓから５ｎｓ（図５）の、レーザ照明パルス長を使用する３Ｄカメラ（システム１００または５００のような）に対する透過関数の予想される性能を図示したものであり、図６は、８ｎｓのレーザパルスかつ、５ｎｓおよび１０ｎｓの変調波形の傾斜長に対するそれである。これらの図面において、「デルタ距離」は、カメラからの基準距離からの距離、例えば、プロセッササブシステム５４０によって、決定されたまたは設定された距離を示す。図５に示されるように、ぼぼ１．０ｎｓ未満（または、傾斜長の１４％）のパルス長に対しては、透過波形における変化は無視できるほどしかない。より長い光パルス（２ｎｓ、３ｎｓ、４ｎｓおよび５ｎｓ）では、畳み込み信号に変化を引き起こし、線形領域を減少させながら、畳み込み関数の勾配を中心付近で減少させ、かつ、実効距離窓を長くする。この例では、レーザパルス長が５ｎｓに増加すると、距離解像度はほぼ４０％増加する。レーザパルス波形および変調波形の形状およびパルス長は、応用およびシステム設計に対する要件に適合するように調節可能である。

図６は、他の可能性のある３Ｄカメラ１００、５００の構成の例示的結果を描くグラフ６８０である。この構成では、カメラは、８ｎｓの照明光パルスを使用する。グラフ６８０は、５ｎｓ変調波形傾斜（波形６８２）を有する該光パルスを使用する結果を示し、代替として、１０ｎｓ変調波形傾斜（波形６８４）を示す。この例では、変調波形の波長の１６０％である８ｎｓの光パルスが、変調波形の波長の８０％である８ｎｓ光パルスの場合とは、異なる形状を有する畳み込み信号を生成する。しかし、変調波形は２倍だけ異なっているが、畳み込み信号の時間長は、２倍も異なっていない、これは、レーザパルス長が、システムの高解像度動作に対して、二次的な効果であることを示す。

３Ｄ撮像システム内の変調波形長に近似的に等しいかまたはより長い光パルス長を使用する能力は、６ｎｓレーザパルスおよび小さい開口のポッケルセルを２．５ｎｓ傾斜を有するの変調器として使用することによって検証された。３Ｄカメラシステムに集積されたポッケルセル変調器の透過（図７にグラフ７００として示される）は、ポッケルセルトリガの２．５ｎｓ分離された一連のタイミング遅延において、平坦な目標物の画像を録画することによって測定される。レーザパルスとポッケルトリガとの間のタイミングにおけるこの変化は、平坦な目標をｃΔｔ／２だけ動かすことと同じ効果を有し、ここで、ｃは光速であり、Δｔは飛行時間である。相対的な畳み込み信号（比Ｉ_１／（Ｉ_１＋Ｉ_２）によって決定される）が計算され、（ここで、Ｉ_１は、カメラの中の第一のＦＰＡのピクセル強度を表し、Ｉ_２は、３Ｄカメラシステムの第二のＦＰＡのピクセル強度を表す）、標準偏差と共に平均値が、２つの別個の関心のある１０００ピクセル領域を横切った強度比に対して計算された。結果の相対的透過が、異なる遅延設定に対して、点７０２として図７のグラフ７００に示されている。点７０２の縦および横のエラーバーは、レーザ出力パルスのタイミングジッタと、感心のある領域にわたる強度比値の標準偏差である。曲線７０４は、シグモイド適合をポッケルセル（１０％から９０％レベルに対して４．５ｎｓ）を変調する測定された高電圧信号に対して使用し、かつガウシアン適合を測定されたレーザパルス時間プロファイルに対して使用して計算された。一致は、確かに、高い距離解像度を達成するために、レーザパルスが必ずしも所望の範囲窓よりも短いことを必要としないことを示している。

３Ｄカメラシステム１００、５００の他の例において、ポッケルセル変調波形および光パルスの変調波形を生成するために使用される高電圧信号の時間的形状および長さを測定する代わりに、一連の時間遅延に対して、畳み込み信号がＦＰＡの各ピクセルに対して、測定される。畳み込み信号の時間形状は、図７に示されたものと同様に測定される。解析関数がＦＰＡの各ピクセルに対する一連の点に対して適合され、各ピクセルに対する応答を表す数学関数を生成する。応答関数は、測定されかつ校正されること、測定された波形から計算されること、および逆関数を使用することによって適用されることができる。これは、シグモイド関数またはその逆関数のような、適合した関数形を使用することによって、解析的になされ得る。他の構成において、応答関数は測定または校正され、解析関数は使用されず、校正は、ルックアップテーブルとして格納される。この数学関数の逆関数は、その後、測定された畳み込み信号からの対応する時間遅延（または、距離）を計算するために使用される。プロセッササブシステム５４０および／またはその構成要素、例えば、画像コンストラクタ５４３が、前述の計算を実施するように構成され得るか、またはプログラムされ得る。図７に図示されたような畳み込み信号に対して、シグモイド関数が曲線適合のために使用されることができる。

他の例示的構成において、畳み込み信号の測定されたデータ点は、ルックアップテーブルを生成するために使用され得、そのルックアップテーブルは、対応する時間（および距離）値を決定するために使用され得る。測定されたデータ点の間における値は、格納された値を内挿することによって導出されることができる。

３Ｄカメラシステム１００、５００の他の構成は、畳み込み信号を使用して、光パルスおよび変調波形の両方についてノイズに対して感受性が低い距離測定を行う。例えば、最も簡単な、かつ、最もコスト効率のよいレーザ設計によって発生させられたパルスは、時間形状について、図８に図示されたような、有意な構造を有するパルスを生成できる。図８は、２つのレーザパルスの時間的パルスプロファイルを示すグラフ７５０であり、１つは、大きな変調を有するもの７５２であり、他は、小さな変調を有するもの７５４である。その様な変調は、レーザを発生させることまたは他の原因からの複数の空間的または時間的モードの拍動に起因し得る。その様なパルス形状は単調ではないので、その様な変調は、閾値横断、または、ピーク位置または、他の手段によって時間的にパルス位置を決定することにおいて、エラーを引き起こす。パルス波形におけるより高い周波数変調の深さは、パルス毎に変わり得る。変調波形はまた、時間的に構造または変動を有する。光パルスと変調波形が長さにおいてほぼ同じである場合、（例えば、ファクタ２または３以内）では、式１の畳み込み積分は、平均化機構として働く。いくつかの構成において、平均化または平滑化は、光パルスと変調波形との間で５倍または１０倍効果的である。図８に図示されるような、時間的形状における大きな変動でさえ、各遅延に対して平均値に平均化されるとしても、これは、個別のパルス形状がそうでなくても、図５に図示されるように、畳み込み信号を単調にする。

本明細書に開示された方法およびシステムは、長い照明パルスを使用して、より短い従来のレーザパルスを使用して達成され得るそれと同じかまたはほぼ同じ距離の解像度を得ることによって、従来の３Ｄ撮像技術を改良する。例えば、５、１０、２０ｎｓまたはより長いパルスを生成するＱ−スイッチレーザによって、長い照明パルスが生成され得る。一つ以上のＱ−スイッチレーザがシステムにおいて、照明のために使用され得る。いくつかの例では、レーザパルスは、ＬＩＭＡＲＳ型またはＭＩＳ型撮像システムの変調波形よりも長く、なおも容認可能な応答関数を生成することができる。長いパルス長を達成するために必要な光パルス発生技術は、短いパルス長を発生させるために現在使用される公知の技術よりも有意に低価格であり、単純である。より低いコスト、より単純な光パルス源が、低価格商用３Ｄカメラ製品を容易にし得る。

本明細書に開示された技術では、たとえ、１０ｎｓまたは１５ｎｓのレーザパルスであっても、例えば、（そのＦＷＨＭとして測定された場合）、３．３ｍまたは、５ｍの長さがｍｍ級の解像度の距離測定を得るために使用され得る。これは、飛行時間を用いた距離測定撮像システムにおいて、以前には行われていなかったことである。

加えて、長いレーザパルスの他の利点は、それらが、時間的にレーザパルスにおいてか、撮像システム変調波形においてかのいずれかにおいて、より高い周波数変調またはエラーを滑らかにするかまたは平均するために、機能し得ることである。動作中、質量中心またはその均等物がほぼ変化しないかまたは測定され得る限り、３Ｄカメラから決定された距離はこれらの変調とは無関係であろう。

本明細書に記載された技術は、高解像度ＬＩＭＡＲＳ型またはＭＩＳ型の３Ｄ撮像システムにおける低コストの半導体照明源の使用を可能にする。発光ダイオード（ＬＥＤ）または、レーザダイオードのような半導体照明源は、一般には長いパルスを出力し、低いピーク電力を有する。長い照明パルスによって高い解像度を得る能力は、これらのタイプの照明源を飛行時間型の撮像システムのために使用することを可能にする。そのような照明光源は、一般に低価格であり、従って、大きな体積、低価格の市販の３Ｄカメラ製品に調整可能である。

上述された方法、デバイス、システムおよび装置の他の実施形態および修正は、これらの教示に照らして、当業者には容易に生じ得る。従って、前述の記載は、例示的なものであり、それに限定されるものではない。上記の明細書および添付の図面と合わせて見ると、本発明は、この開示に基づいた特許請求範囲によってのみ限定され得、本発明は、その様な他の実施形態および修正をすべてカバーする。本発明の範囲は、従って、上述の記載に限定されるものではなく、代わりに、特許請求の範囲を均等物の全範囲と併せて参照して決定されるべきである。

Claims

本明細書に記載の発明。