JP2016153795A - 高解像度三次元撮像のシステムおよび方法 - Google Patents

高解像度三次元撮像のシステムおよび方法 Download PDF

Info

Publication number
JP2016153795A
JP2016153795A JP2016063536A JP2016063536A JP2016153795A JP 2016153795 A JP2016153795 A JP 2016153795A JP 2016063536 A JP2016063536 A JP 2016063536A JP 2016063536 A JP2016063536 A JP 2016063536A JP 2016153795 A JP2016153795 A JP 2016153795A
Authority
JP
Japan
Prior art keywords
image
light pulse
scene
light
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016063536A
Other languages
English (en)
Other versions
JP6452202B2 (ja
Inventor
エス. バンクス ポール
s banks Paul
エス. バンクス ポール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TETRAVUE Inc
Original Assignee
TETRAVUE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TETRAVUE Inc filed Critical TETRAVUE Inc
Publication of JP2016153795A publication Critical patent/JP2016153795A/ja
Application granted granted Critical
Publication of JP6452202B2 publication Critical patent/JP6452202B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Abstract

【課題】広い視野および精密なタイミングを用いた三次元撮像のためのシステムおよび方法を提供すること。
【解決手段】一側面によれば、三次元撮像システムは、広い視野を有する現場を照射するのに十分な発散で光パルスを放出するように構成される、照射サブシステムを含む。センササブシステムは、場面によって反射または散乱された光パルスの部分を広い視野にわたって受容するように構成され、時間の関数として、受容された光パルス部分の強度を変調し、変調された受容された光パルス部分を形成するように構成される、変調器と、受容された光パルス部分に対応する第一の画像、および変調された受容された光パルス部分に対応する第二の画像を生成するための手段とを含む。プロセッササブシステムは、第一および第二の画像に基づいて、三次元画像を取得するように構成される。
【選択図】図5

Description

(関連出願の相互参照)
本願は、以下の出願:
米国仮特許出願第61/117,788号(名称「Method and Apparatus for a 3D Digital Imaging Device」、2008年11月25日出願);
米国仮特許出願第61/121,096号(名称「Method and Apparatus for Wide Field of View Large Aperture,Low Voltage Optical Shutter」、2008年12月9日出願);および
米国仮特許出願第61/166,413号(名称「Method and Apparatus for Large Divergence Laser Illuminator」、2009年4月3日出願):
の利益を主張し、これらの出願の各々の全内容は、本明細書に参考として援用される。
(発明の分野)
本願は、概して、三次元撮像のシステムおよび方法に関する。
デジタル電子機器は、静止画像として、一連の静止画像として、またはビデオとして、場面のグレースケールまたはカラーの画像を記録することを可能にしてきた。ビデオは、各画像間に特定の間隔を伴って長期間にわたって継続する一連の静止画像である。アナログ撮像が、画像を取得するために写真フィルムを利用する一方で、デジタル撮像は、画像を取得するためにデジタル化される光の照射に応じて信号を提供する焦点面アレイ(FPA)を利用する。FPAは、場面を撮像する光学部の焦点面に位置している光検出要素のアレイ、またはピクセルを含む。近年の取り組みは、FPA、ならびに関連光学部および電子機器の密度、サイズ、感度、ダイナミックレンジ、および雑音特性を向上させ、より高い分解能の画像が獲得されることを可能にすることに向けられている。しかしながら、ほとんどのFPAは、本来、色を検出することができず、光の存在および量しか検出できない。特許文献1において説明されているようなBayerフィルタの使用、およびその後続の開発、または帯域通過カラーフィルタを伴う複数のFPA等の、カラーデジタル画像において人間の目によって見える色を再現するために、付加的な技法が開発されている。色を直接検出する、他のFPAが開発されている。
加えて、FPAは、しばしば視野(FOV)と呼ばれる、撮像デバイスの前で、水平(x)および垂直(y)といった2つの次元において、場面から発散する光に関する情報を収集することに限定される。ほとんどのFPAは、独力で、複雑で高速の高価な読み出し回路を使用せずに、FPAからオブジェクトの距離(z)に関する情報を取得することができない。場面およびその場面内の三次元オブジェクトの距離に関する情報を二次元画像から抽出しようとして、多種多様な撮像技法が開発されている。いくつかのそのような技法は、画像の中のオブジェクトの距離に関する情報を推測するように、あらゆる影の位置および深度、ならびに光源の見掛けの位置および種類を分析すること等の、単一の二次元画像の中の情報に基づいてもよい。しばしば立体視法または実体写真測量と呼ばれる、他のそのような技法は、場面に対して異なる場所に位置している複数のカメラで二次元画像を取得すること、場面内のオブジェクトの範囲および三次元特徴を推測するように、画像内の情報を比較することに基づいてもよい。両方の種類の技法は、典型的には、計算集中型であり、場面の三次元特徴に関する限定された情報のみを提供し、移動オブジェクトには適していない場合がある。加えて、立体視法は、典型的には、複数の二次元画像が取得される相対位置および角度の正確な知識を必要とし、よって、高価な較正手順および限定された融通性を必要とする。複数の視野はまた、より多くの視線があいまいになることも意味する。これは、制御されていない環境でのそのようなシステムの使用を制限し、任意の実装の費用を有意に増加させ得て、あらゆる計算された距離値の正確度および精度を制限する。
場面内のオブジェクトの距離情報を取得することへの別のアプローチは、場面にわたってレーザビームを走査し、オブジェクトからの反射後に、レーザビームの位相および時間的遅延に基づいて場面内のオブジェクトの範囲および三次元形状を決定することに基づく。具体的には、レーザビームが光源から場面内の特定の点まで、次いで、センサまで進行する距離は、レーザビームの位相遅延または飛行時間(TOF)、および光の速度に基づいて計算することができる。場面内のオブジェクトに関する距離および形状情報は、場面全体にわたって、1回に1点、レーザビームを走査し、各点におけるレーザビームの位相遅延またはTOFを決定することによって、取得されてもよい。そのような走査は、例えば、ビーム方向を変更するように、鏡またはビーム操縦要素を移動させることによって達成されてもよい。そのようなものとして、最大走査速度は、各点で測定を行うために必要とされる時間量、および鏡またはビーム操縦要素の速度によって制限されてもよい。いくつかのそのようなレーザスキャナは、毎秒数万から数十万点を処理することに限定される。したがって、複雑な場面の高分解能画像を取得することは、大量の時間がかかる場合があるが、画像の分解能を下げることは、画像を取得するために必要とされる時間を削減する場合がある。画質も、操作中の性能動向、または場面内の運動によって低下させられる場合がある。加えて、走査は、各測定点における距離の値を提供するのみであり、「点群」と呼ばれてもよいものをもたらし、しばしば、いずれのカラーまたは強度情報も取得されず、点群を人間の解釈により適したデジタル表現に転換するために、付加的なステップが必要とされる。例えば、完全な三次元画像が所望される場合、カラーまたはグレースケール画像が別個のステップで収集され、点群データと組み合わせられてもよい。
その内容全体が参照することにより本明細書に組み込まれる、Taboadaらへの特許文献2(「Taboada」)は、標的オブジェクトの長距離撮像のために、デジタル撮像を距離測定と組み合わせる代替技法を説明している。具体的には、Taboadaは、レーザパルスでオブジェクトを照射し、時間の関数として、オブジェクトから反射されたレーザパルスの偏光を変化させるために、カーセルまたはポッケルスセルを使用することによって、標的オブジェクトの三次元座標を取得することを開示している。結果として、撮像システムにより近い(より短いTOF)オブジェクトの特徴によって反射されたレーザパルスの部分の偏光状態が、わずかに影響を受ける一方で、撮像システムからより遠い(より長いTOF)オブジェクトの特徴によって反射されたレーザパルスの部分の偏光状態は、さらに影響を受ける。2つの別個のFPA上に偏光変調されたレーザビームの2つの偏光成分を撮像することによって、オブジェクトに関する位置情報が計算されてもよい。しかしながら、Taboadaによって開示されたシステムおよび方法は、限定された適用性を有し、そのうちのいくつかを以下でさらに論議する。
上記のように、Taboadaのシステムは、反射されたレーザパルスの偏光を変調するために、特定の種類の電気光学変調器(EOM)である、カーセルまたはポッケルスセルを利用する。EOMでは、電場の影響を受けて性質を変化させる材料に、電場が印加される。EOMの性質の変化は、それを通して透過される光の位相を修正する。ポッケルスセルは、材料の屈折率が印加された電場とともに直線的に変化する、ポッケルス効果に基づく一方で、カーセルは、材料の屈折率が電場とともに二次的に変化する、カー効果に基づく。ある材料、および印加された電場のある配向について、ポッケルス効果は、材料の屈折率の異方性を生じる。そのような材料および電場は、誘発された異方性が、印加された電圧の関数として、それを通して透過される光の偏光状態を直線的に変化させる、ポッケルスセルを作成するために使用されてもよい。ポッケルスセル等のEOMは、当業者に公知であるように、光の強度を変調させるように交差した偏光子の間に配置されてもよい。ポッケルスセルの時間応答は、状況によっては、1ナノ秒未満であってもよく、高速光シャッタとしての使用を可能にする。
レーザ用途に幅広く使用されているが、ポッケルスセルは、従来から、そのようなデバイスを他の種類の用途での光スイッチングに適していない有意な制限を有するものと見なされてきた。例えば、いくつかの用途では、入射光が、広い範囲の角度を含有する場合がある。しかしながら、典型的なポッケルスセルは、表面法線から約1度未満逸脱する入射光のみを効果的に変調し得、そのような用途での使用を有意に制限する。加えて、ポッケルスセルは、それを通過する光の偏光を十分に回転させるために、例えば、数キロボルトを超える、高い電場を必要とする場合がある。そのような電場を生成するために必要とされる電子機器は、高価で扱いにくい場合がある。ポッケルスセルを駆動するために必要とされる電圧を低減するための1つのアプローチは、横電場および横に配向されたポッケルスセルを使用することとなっている。そのようなセルで誘発される位相変化は、以下の式によって求められる、結晶厚d(電極間の離隔距離でもある)の結晶長Lに対する比に比例し、
ここで、V1/2は半波長電圧、すなわち、垂直に偏光された光に対する1つの偏光の光においてπの位相遅延を誘発するために必要とされる電圧であり、λは、光の波長であり、nは、結晶の屈折率であり、rijは、結晶の電気光学テンソル係数である。電極をより近づけるために、電気光学結晶の厚さを低減することは、電圧を低減することがあるだけでなく、ポッケルスセルの有効口径も縮小することがあり、口径食、例えば、画像の縁における情報の損失を引き起こし、画質を低減させる場合がある。周期的に分極されたニオブ酸リチウム等の、より低い電圧において充分に機能し得る新しい材料が求められている。
米国特許第3,971,065号明細書 米国特許第5,157,451号明細書
本発明は、広い視野および調整可能な被写界深度を有するものを含む、高分解能三次元撮像のシステムおよび方法を提供する。具体的には、システムおよび方法は、高分解能、例えば、サブセンチメートル距離分解能で、種々の距離に位置し得る場面内の複数のオブジェクトの範囲および形状に関する情報を捕捉する。
本発明の一側面によれば、三次元撮像システムは、広い視野を有する場面を照射するのに十分な発散で光パルスを放出するように構成される、照射サブシステムを含む。システムは、場面によって反射または散乱された光パルスの部分を、広い視野にわたって受容するように構成されるセンササブシステムであって、受容された光パルスの強度を時間の関数として変調し、変調された受容光パルス部分を形成するように構成される変調器と、受容光パルス部分に対応する第一の画像、および変調された受容光パルス部分に対応する第二の画像を生成するための手段とを備える、センササブシステムをさらに含む。システムは、第一および第二の画像に基づいて、三次元画像を取得するように構成されるプロセッササブシステムをさらに含む。
一部の実施形態においては、生成するための手段は、光センサの第一および第二の離散アレイを備え、選択的に、画像コンストラクタをさらに含む。光センサの第一と第二の離散アレイとは、相互に位置合わせされてもよい。他の実施形態では、生成するための手段は、光センサの単一のアレイを含む。
一部の実施形態においては、光パルスは、2ナノ秒未満または1ナノ秒未満の継続時間を有する。一部の実施形態においては、発散は、1度と180度との間、例えば、5度と40度との間である。一部の実施形態においては、照射サブシステムは、滑らかな空間プロファイルを産生するのに十分な数の空間モードを含有する、光パルスを生成するように構成される、低コヒーレンスレーザを備える。一部の実施形態においては、低コヒーレンスレーザは、50μmよりも大きい直径を有する、能動ファイバコアを備える。一部の実施形態においては、光パルスは、可視波長を含有する。一部の実施形態においては、光パルスは、近赤外波長を含有する。一部の実施形態においては、近赤外波長は、1400nmと2500nmとの間である。一部の実施形態においては、光パルスは、実質的に均一な空間プロファイルを有する。一部の実施形態においては、光パルスは、実質的に滑らかな時間プロファイルを有する。
一部の実施形態においては、受容レンズは、少なくとも1インチまたは少なくとも2インチの直径を有する。一部の実施形態においては、変調器は、少なくとも0.5インチまたは少なくとも1インチの有効口径を有する。
一部の実施形態においては、変調器は、ポッケルスセルを備える。例えば、変調器は、横ポッケルスセルのスタックであって、各横ポッケルスセルは、電気光学材料のスラブと、それぞれスラブの対向主要表面上に配置される、第一および第二の電極とを備える、横ポッケルスセルのスタックと、各横ポッケルスセルの第一の電極と電気的に接触している第一の導体と、各横ポッケルスセルの第二の電極と電気的に接触している第二の導体と、第一および第二の導体と電気的に接触している電圧源とを備える、ポッケルスアセンブリを含んでもよい。一部の実施形態においては、電圧源は、前記第一および第二の導体を介して、各横ポッケルスセルの第一および第二の電極にわたって100V未満の電圧を印加する。一部の実施形態においては、電圧源は、第一および第二の導体を介して、各横ポッケルスセルの第一と第二の電極とにわたって25V未満の電圧を印加する。一部の実施形態においては、電気光学材料は、リン酸二水素カリウム(KDP)、リン酸二重水素カリウム(KDP)、ニオブ酸リチウム(LN)、周期的に分極されたニオブ酸リチウム、タンタル酸リチウム、リン酸チタニルルビジウム(RTP)、ベータホウ酸バリウム(BBO)、およびそれらの同形体から成る群より選択される。一部の実施形態においては、スラブは、100μm未満の厚さを有する。一部の実施形態においては、第一および第二の電極は、透明導体を備える。透明導体は、電気光学材料の屈折率とほぼ同じである屈折率を有してもよい。一部の実施形態においては、ポッケルスアセンブリは、
にほぼ等しい長さLを有し、ここで、mは、整数であり、dは、スラブの厚さであり、nは、アセンブリの中の横ポッケルスセルの数であり、λは、光パルスの波長である。
一部の実施形態においては、プロセッササブシステムは、変調器に制御信号を送信するように構成される、コントローラを備え、変調器は、制御信号に応答して、時間の関数として受容された光パルス部分を単調に変調するように構成される。一部の実施形態においては、プロセッササブシステムは、離散既製構成要素を備えてもよい。一部の実施形態においては、プロセッササブシステムは、変調器に制御信号を送信するように構成される、コントローラを備え、変調器は、制御信号に応答して、時間の関数として受容された光パルス部分を非単調に変調するように構成される。一部の実施形態においては、変調器は、時間および電圧の関数である応答関数を有し、システムは、変調器の応答関数を特徴付ける情報を記憶する。いくつかの実施形態はさらに、変調器の受入角度を増加させるように構成される、補償器を含む。
一部の実施形態においては、生成するための手段は、偏光ビームスプリッタを備える。他の実施形態では、生成するための手段は、プリズムを備える。一部の実施形態においては、生成するための手段は、複数のピクセルを備える、少なくとも1つの焦点面アレイを含み、各ピクセルは、100,000以上の電子のウェル深度を有する。一部の実施形態においては、生成する手段は、複数のピクセルを備える少なくとも1つの焦点面アレイを含み、さらに、複数の領域を有するフィルタを含み、各領域は、ピクセルの前に位置し、所定の態様でそのピクセルに透過される光を減衰させるように構成される。一部の実施形態においては、システムは、フィルタを特徴付けるマトリクスを記憶する。
一部の実施形態においては、センササブシステムはさらに、場面のブロードバンドまたはマルチバンド画像を取得するように構成される、画像センサと、画像センサに受容された光の一部分を方向付けるように構成される、光学部とを備える、ブロードバンドまたはマルチバンド(例えば、可視)撮像サブシステムを備える。プロセッササブシステムは、三次元画像をブロードバンドまたはマルチバンド画像と組み合わせて、場面の画像を生成するように構成されてもよい。
一部の実施形態においては、第一および第二の画像のうちの少なくとも1つは、最大強度の領域を含有し、生成するための手段は、飽和限界を有するセンサアレイを備え、システムは、センサアレイの飽和限界を上回って光パルスのエネルギーを増加させることによって、三次元画像のダイナミックレンジを向上するように構成される。
一部の実施形態においては、第一および第二の画像のうちの少なくとも1つは、最大強度の領域を含有し、生成するための手段は、飽和限界を有するセンサアレイを備え、プロセッササブシステムは、第一の制御信号であって、最大強度の領域が、センサアレイの飽和限界の閾値割合以上であるが、飽和限界を下回るように選択される、第一のエネルギーを有する、光パルスを生成する命令を備える、第一の制御信号を、照射サブシステムに送信し、第一のエネルギーを有する光パルスの反射または散乱部分に基づいて、第一の三次元画像を取得するように構成される。プロセッササブシステムはさらに、第二の制御信号であって、最大強度の領域が、センサアレイの飽和限界を上回るように選択される、第二のエネルギーを有する、光パルスを生成する命令を備える、第二の制御信号を、照射サブシステムに送信し、第二のエネルギーを有する光パルスの反射または散乱部分に基づいて、第二の三次元画像を取得するように構成されてもよい。プロセッササブシステムはさらに、第一と第二の三次元画像とを組み合わせて、第一および第二の三次元画像と比較して増加した分解能を有する、第三の三次元画像を取得するように構成されてもよい。一部の実施形態においては、第二のエネルギーは、最大強度の領域が、焦点面アレイの飽和限界の少なくとも4倍であるように選択される。
一部の実施形態においては、プロセッササブシステムは、複数の光パルスを放出するよう照射サブシステムに命令し、変調が複数の光パルスのうちの各パルスに対して異なる時に開始するように、変調器のタイミングを調整し、複数の光パルスのうちの各パルスに対応する複数の三次元画像を取得し、複数の三次元画像に基づいて向上した三次元画像であって、複数の三次元画像のうちのいずれかの距離ウィンドウよりも大きい距離ウィンドウに対応する、向上した三次元画像を取得するように構成される。
一部の実施形態においては、プロセッササブシステムは、第一の制御信号であって、第一の光パルスを生成する命令を備える、第一の制御信号を、照射サブシステムに送信し、第二の制御信号であって、第一の時間ウィンドウにわたって第一の光パルスの受容された部分を変調する命令を備える、第二の制御信号を変調器に送信し、第一の光パルスの変調された部分に基づいて、第一の三次元画像を取得し、第三の制御信号であって、第二の光パルスを生成する命令を備える、第三の制御信号を、照射サブシステムに送信し、第四の制御信号であって、第二の時間ウィンドウにわたって第二の光パルスの受容された部分を変調する命令を備える、第四の制御信号を変調器に送信し、第二の光パルスの変調された部分に基づいて、第二の三次元画像を取得し、第一と第二の三次元画像とを組み合わせて、第一および第二の三次元画像と比較して増加した範囲を有する、第三の三次元画像を取得するように構成される。第一および第二の時間ウィンドウは、相互に重複してもよい。第一の時間ウィンドウは、第二の時間ウィンドウよりも短い継続時間を有してもよい。第一の時間ウィンドウは、第二の時間ウィンドウとは異なる開始時間を有してもよい。
一部の実施形態においては、三次元画像は、サブセンチメートル分解能を有する。
本発明の別の側面によれば、三次元撮像方法は、広い視野を有する場面を照射することに十分な発散を有する光パルスを放出するステップと、場面によって反射または散乱された光パルスの部分を、広い視野にわたって受容するステップと、変調された受容光パルス部分を形成するように、受容された光パルスを時間の関数として変調器を用いて変調するステップと、受容された光パルス部分に対応する第一の画像を生成するステップと、変調された受容光パルス部分に対応する第二の画像を生成するステップと、第一および第二の画像に基づいて場面の三次元画像を取得するステップとを含む。
一部の実施形態においては、第一の画像を生成するステップは、第二の画像を第三の画像に追加するステップを含む。一部の実施形態においては、前記変調器で変調するステップは、受容された光パルス部分の偏光状態を変調するステップを含む。
本発明の別の側面によれば、波長λを有する光の偏光を変調するための変調器は、横ポッケルスセルのスタックであって、各横ポッケルスセルは、電気光学材料のスラブと、スラブの対向する主要表面上にそれぞれ配置される第一および第二の電極とを備える、横ポッケルスセルのスタックと、各横ポッケルスセルの第一の電極と電気的に接触している第一の導体と、各横ポッケルスセルの第二の電極と電気的に接触している第二の導体と、第一および第二の導体と電気的に接触している電圧源とを含み、
横ポッケルスセルのスラブは、
にほぼ等しい、長さLを有し、ここで、mは、整数であり、dは、スラブの厚さであり、nは、スタックの中の横ポッケルスセルの数である。
一部の実施形態においては、電圧源は、第一および第二の導体を介して、各横ポッケルスセルの第一および第二の電極にわたって100V未満の電圧を印加する。一部の実施形態においては、第一および第二の導体を介して、各横ポッケルスセルの第一および第二の電極にわたって25V未満の電圧を印加する。一部の実施形態においては、電気光学材料は、リン酸二水素カリウム(KDP)、リン酸二重水素カリウム(KDP)、ニオブ酸リチウム(LN)、周期的に分極されたニオブ酸リチウム、タンタル酸リチウム、リン酸チタニルルビジウム(RTP)、ベータホウ酸バリウム(BBO)、およびそれらの同形体から成る群より選択される。一部の実施形態においては、電気光学材料は、周期的に分極されたニオブ酸リチウムを含む。一部の実施形態においては、スラブは、100μm未満の厚さを有する。一部の実施形態においては、第一および第二の電極は、透明導体を備える。一部の実施形態においては、波長は、可視範囲内である。一部の実施形態においては、波長は、近赤外範囲内である。一部の実施形態においては、波長は、1400nmから2500nmの間である。一部の実施形態においては、変調器は、少なくとも40度の受入角度を有する。一部の実施形態においては、変調器は、少なくとも5度の受入角度を有する。一部の実施形態においては、変調器は、少なくとも1度の受入角度を有する。一部の実施形態においては、変調器は、少なくとも1インチ、例えば、少なくとも2インチの有効口径を有する。
本発明のさらに別の実施形態によれば、光の偏光を変調するための変調器は、横ポッケルスセルのスタックであって、各横ポッケルスセルは、電気光学材料のスラブと、それぞれスラブの対向主要表面上に配置される、第一および第二の電極とを備える、横ポッケルスセルのスタックと、各横ポッケルスセルの第一の電極と電気的に接触している第一の導体と、各横ポッケルスセルの第二の電極と電気的に接触している第二の導体と、第一および第二の導体と電気的に接触している電圧源とを含み、第一および第二の導体は、電気光学材料とほぼ同じ屈折率を有する透明導体を備える。
図1は、本発明のいくつかの実施形態による、場面の三次元画像を取得するためのシステムの斜視図を図示する。 図2は、図1の場面から反射された光パルス部分の単調偏光変調を概略的に図示する。 図3は、図2からの変調された光パルス部分を使用して形成された、二次元および三次元画像を概略的に図示する。 図4は、本発明のいくつかの実施形態による、場面の三次元画像を取得する方法の概観を図示する。 図5は、本発明のいくつかの実施形態による、図1のシステムの中の構成要素を概略的に図示する。 図6Aは、本発明のいくつかの実施形態による、1ナノ秒未満の継続時間を有する、空間的に均一な光パルスを生成するための光源を図示する。 図6B〜6Cは、本発明の一実施形態による、図6Aの光源の空間的および時間モード構造を概略的に図示する。 図6B〜6Cは、本発明の一実施形態による、図6Aの光源の空間的および時間モード構造を概略的に図示する。 図7Aは、本発明のいくつかの実施形態による、広有効口径の低電圧ポッケルスアセンブリの斜視図を図示する。 図7Bは、本発明のいくつかの実施形態による、代替的な広有効口径の低電圧ポッケルスアセンブリの斜視図を図示する。 図7Cは、本発明のいくつかの実施形態による、代替的な広有効口径の低電圧ポッケルスアセンブリの斜視図を図示する。 図8は、本発明のいくつかの実施形態による、三次元画像の情報量を増加させるための方法のステップを図示する。 図9Aは、本発明のいくつかの実施形態による、三次元撮像システムで使用される焦点面アレイのダイナミックレンジを増加させるために使用されてもよい、カラーフィルタを概略的に図示する。 図9Bは、本発明のいくつかの実施形態による、焦点面アレイのダイナミックレンジを増加させるために使用されてもよい、市販のカラーフィルタの透過スペクトルを図示する。 図10は、本発明のいくつかの実施形態による、三次元画像の範囲を拡張する方法のステップを図示する。 図11は、本発明のいくつかの実施形態による、三次元撮像システムの代替実施形態を概略的に図示する。 図12は、本発明のいくつかの実施形態による、三次元撮像システムの代替実施形態を概略的に図示する。
(I.概観)
本発明の実施形態は、広い視野の場面を含む場面の高分解能画像を取得するためのシステムおよび方法を提供する。具体的には、システムおよび方法は、場面に関する強度(グレースケールまたはカラー)情報とともに、高い空間および距離分解能を用いて、場面内の複数のオブジェクトの三次元位置情報を同時に記録してもよい。座標および強度の両方であるこの情報は、各画像のピクセルのアレイの中の全ピクセルについて記録される。強度および位置の情報は、場面の人間の視界に近似し、さらに、場面内の各オブジェクトの形状および相対位置の三次元座標を記録する単一の三次元画像に組み込まれる。一連のそのような画像は、経時的な場面の変化の「動画」を提供するデジタルビデオカメラと同様に獲得されてもよく、動画内の各三次元画像は、フレームと呼ばれる。多くの状況において、撮像されている場面は、システムから種々の距離にある多くのオブジェクトを含んでもよい。本発明のシステムは、各ピクセル構成要素に対応するオブジェクトの部分の三次元座標および強度を記録し、したがって、三次元撮像デバイスならびに三次元撮像デバイスによって記録された場面内のオブジェクトの画像の中の場面の他の部分に対して、場面内の各個別オブジェクトの三次元形状、ならびに全体的座標を提供する。絶対的な基準系が所望される場合、撮像システムの絶対的位置を固定するためのGPSユニットまたは他の好適な手段が含まれてもよい。
本発明の一側面は、近くのオブジェクトを含むものに特に注意して、多種多様な場面の三次元情報およびカラーまたは白黒画像を記録する能力を提供する。短距離撮像用途(例えば、1kmよりも近いオブジェクト)について、広範な空間的領域にわたって分布したオブジェクトを観察することがしばしば有用である。これは、広い視野(FOV)の必要性に言い換えられる。本発明との関連で、「広い視野」とは、1度以上の角度に内在する視野を指す。視野は、典型的には、場面の両辺の間の角度分離として表される。本明細書で説明されるシステムおよび方法のいくつかの使用法について、例えば、オブジェクトの状況に関する情報を提供することによって場面の情報量を向上し得るので、1度以上、または5度以上、または10度以上のFOVが有用である。以前から知られているシステムは、そのような広いFOVを達成することができていない。
例えば、Taboadaは、単一の遠くの標的および単調偏光傾斜の三次元座標を撮像するための技法を説明している。これは、一対のビデオカメラによって容易に測定することができる特徴的な強度範囲上に、標的からの帰還光パルスの時間的特徴をマップする。この単純な技法は、遠くのオブジェクトについていくらかの深度情報を取得することに適切であるが、いくつかの改善が行われてもよい。本発明の実施形態は、Taboadaによって説明されたものを超えるいくつかの改善分野を提供する。特に、システムおよびオブジェクトからの距離がより短くなるにつれて、本発明のシステムおよび方法が、場面内のいくつかのオブジェクトに関する三次元情報を記録するために使用され得るので、これらの分野が重要であってもよい。実施形態は、高いダイナミックレンジ、適応被写界深度、広い視野、高い分解能、フレームからフレームへの位置合わせ、ならびにその他の提供を含む、これらの改善分野のうちのいずれか1つまたはいずれかの組み合わせを採用してもよい。
図1は、本発明のいくつかの実施形態による、場面190の三次元で広いFOVの画像を取得するためのシステム100の斜視図を図示する。システム100等のシステムを使用して、場面の三次元画像を取得する方法のさらなる詳細を、以下の「方法」と題された項で提供し、システム100等のシステムの構成要素のさらなる詳細を、以下の「システム」と題された項で提供する。図示された実施形態は、デカルト座標系を参照して説明されているが、他の座標系が使用されてもよい。
図1に図示されるように、システム100は、照射サブシステム110と、センササブシステム120と、処理サブシステム140と、種々のサブシステムが載置される本体150とを含む。本体150はさらに、示されていない保護カバーを含んでもよい。システム100の特定の形態は、所望の性能パラメータおよび意図された用途に応じて変化してもよい。例えば、システム100が家庭での使用を対象としている場合、好ましくは、カムコーダと同様に片手で保持されるように、十分に小型かつ軽量となり、適度な分解能を用いて比較的近くの場面を記録するように構成されてもよい。代替として、システム100が、建設現場を調査することを対象としている場合には、高い分解能で、大きい、および/または遠くの場面を撮像するように構成されてもよく、システムのサイズは二次的な検討事項となる。
照射サブシステム110は、図1に示されていないが、以下でより詳細に説明される光源と、単レンズ、復合レンズ、およびレンズの組み合わせを含んでもよい、透過レンズ112とを含む。光源は、z方向の所望の分解能に応じて、好ましくは、2ナノ秒以下、例えば、1ナノ秒から50ピコ秒の間の継続時間を有する光パルス119を生成するように構成される。透過レンズ112は、1度以上、例えば、1度と180度との間、または1度と120度との間、または2度と90度との間、または2度と40度との間、または5度と40度の間の角度φまで、パルス119の発散を増加させるように、およびパルスが撮像される場面190の一部分を照射するように、場面に向かってパルスを方向付けるように構成される。場面190内のオブジェクト191および192は、それぞれ、デカルト座標系におけるx、y、およびz方向の(または球面座標系におけるrおよびΘ方向の)異なる位置にあり、また、異なる形状も有する。そのようなものとして、レーザパルスの異なる部分は、オブジェクトがシステム100に向かってパルス部分127、128、129を後方散乱および/または反射する前に、オブジェクト191、192を照射するように、ならびに、各オブジェクトの異なる特徴または領域を個別に照射するように、異なる距離を進行する。そのようなものとして、パルス部分127、128、および129のそれぞれは、異なる飛行時間(TOF)を有する。加えて、パルス部分127、128、129は、各オブジェクトの照射された特徴の反射率、およびシステム100に対するその特徴の角度に応じて、異なる強度を有する。
センササブシステム120は、反射されたパルス部分127、128、129を収集する大口径受容レンズ121を含む。適切な有効口径サイズは、特定の用途に依存し、例えば、1cm未満と2.5cmとの間であってもよい。反射されたパルスの他の部分、例えば、システム100に向かった後方以外の方向に反射される、鎖線によって図示される部分は、受容光学部121によって捕捉されない場合がある。透過レンズ112に関しては、受容レンズ121は、単レンズ、複合レンズ、またはレンズの組み合わせ、または他の反射あるいは屈折要素を含んでもよい。受容光学部121は、また、場面190に関するブロードバンドまたはマルチバンド(例えば、可視)情報、例えば、場面190が受容光学部121に向かって散乱または反射する周辺光を収集してもよい。そのようなものとして、この場合について、受容レンズ121は、好ましくは、受容された帯域のうちの1つ以上に対して画質を低下させる場合がある、光学系の技術分野で公知の起こり得る収差を低減または排除するように構成される。代替として、ブロードバンドまたはマルチバンド光を受容するように、別個の受容レンズが提供されてもよい。以下でより詳細に説明されるように、センササブシステムは、場面から収集された可視光に基づいて、場面190のカラーまたはグレースケール画像を記録する、別個の可視撮像サブシステムを含んでもよい。そのような画像は、後に、場面に関する位置および形状情報と組み合わせされてもよい。
センササブシステム120は、受容レンズ121が収集するパルス部分127、128、129に基づいて、複数の画像を作成する。これらの画像は、場面190内のオブジェクト191、192に関する位置情報を含有する。そのような画像を作成するために、センササブシステムは、例えば、以下でより詳細に説明される広視野ポッケルスアセンブリを使用して、時間の関数として、到来パルス部分127、128、129の偏光状態を変化させる。分析器(例えば、ポッケルスセルの後に配置される偏光要素)が続く場合に、分析器を通る対応する透過は、時間の関数として変化する。例えば、図2に図示されるように、センササブシステム120は、受容レンズ121によって収集された光の分析器を通る透過200を、50から100ナノ秒の時間(0ナノ秒は、光パルスが生成された時間に対応する)の間に、0から1に変化させ得る。そのようなものとして、場面190内のオブジェクトを往復して異なる距離で進行したため、相互に対して時間が遅延しているパルス部分127、128、および129は、相互とは異なる程度の透過を経験する。具体的には、パルス部分129は、パルス部分128よりもオブジェクト191の近い部分から反射したので、パルス部分128よりも少ない透過を経験する。パルス部分127は、より遠いオブジェクト192から反射したので、パルス部分128よりも多くの透過を経験する。そのように、センササブシステム120がパルス部分の透過を変調する程度は、FPAによって受容される強度に基づいて、そのパルス部分のTOFを符号化し、したがって、場面内のオブジェクトの特定の特徴へおよびからパルス部分が進行した距離を符号化する。
センササブシステム120は、プリズムまたは偏光ビームスプリッタ等の光学要素を使用して、各パルスをその直交偏光成分(例えば、HおよびV偏光成分)に分割し、次いで、2つの偏光成分の相補的画像を記録することによって、各パルス部分127、128、129の偏光の程度を決定する。例えば、図3に図示されるように、第一の画像201は、それぞれ、強度領域227、228、229の形態で、パルス部分127、128、129のH偏光成分に関する情報を含有する。第二の画像201’は、それぞれ、強度領域227’、228’、229’の形態で、パルス部分127、128、129のV偏光成分に関する情報を含有する。図2に図示されるように、パルス部分129が比較的早く到着し、比較的少ない偏光変調しか経験しなかったため、画像201の中の強度領域229は、画像201’の中の強度領域229’よりも有意に暗い。逆に、パルス部分127が比較的遅く到着し、有意な偏光変調を経験したため、画像201の中の強度領域227は、画像201’の中の強度領域227’よりも有意に暗い。パルス部分128が、偏光の変調200のほぼ中度で到着し、したがって、ほぼ等量の直交偏光成分(例えば、HおよびV)を含有したため、強度領域228および228’は、ほぼ同じ強度である。
図1に図示されたプロセッササブシステム140は、画像201、201’を記憶し、場面190内のオブジェクト191、192の距離および形状情報を取得するように、さらなる処理を行ってもよい。例えば、以下でより詳細に説明されるように、プロセッササブシステム140は、オブジェクト191、192の間の反射率および散乱の変動を補うために、画像201、201’を正規化してもよい。次いで、プロセッササブシステム140は、オブジェクト191、192に関する距離情報を含む、図3に図示された三次元画像300を形成する正規化画像に基づいて、場面190内の異なるオブジェクトの位置および形状を計算してもよい。画像300は、それぞれ、パルス部分127、128、129に対応し、オブジェクト191および192に関する位置および形状情報を含む、オブジェクト領域327、328、329を含む。さらに、プロセッササブシステム140は、計算された距離情報を白色光画像と組み合わせて、場面に関するグレースケールまたはカラー情報を含み、したがって、場面の人間の視界を模倣する場面190の三次元画像を提供してもよい。プロセッササブシステム140は、さらに、以下でさらに詳細に説明される、照射サブシステム110およびセンササブシステム120の動作を制御し、協調させてもよい。
1つの例示的実施形態では、システム100は、20メートルの範囲で約1mmの距離分解能、および100メートルの範囲で約3mm以下の距離分解能を有する。データ獲得速度は、走査ベースのデバイスによって可能であるよりも有意に速く、例えば、毎秒3千万から10億点であってもよい。角度分解能は、例えば、30〜45度の視野で、約0.02度であってもよい。デバイスは、約$10,000未満または$1,000未満の費用で、「パンの箱」またはそれよりも小さいサイズ、または一部の実施形態においては「コーヒーカップ」のサイズであってもよい。
システム100は、いくつかの点で、Taboadaによって開示されたものと同様であるが、多くの具体的な点で異なる。第一に、Taboadaは、自身のシステムのダイナミックレンジ、距離分解能、および光学的分解能について沈黙を貫いており、その両方とも、商業的に実現可能なシステム、特に、場面内の異なる範囲に位置し得る複数のオブジェクトに関する情報を収集するように設計されているシステムを実装するために重要である。対照的に、本明細書でより詳細に説明されるように、システム100は、例えば、種々の技法のうちのいずれかまたは全てを使用して、システムのダイナミックレンジを拡張することによって、場面の任意の側面の任意の所望の分解能の画像を取得するように構成されてもよい。加えて、Taboadaのシステムは、概して、例えば、航空機から視認され得るような、単一の遠くのオブジェクトの長距離画像を獲得することに限定されているように思われる。例えば、Taboadaは、特に、光学的には相互に直列、電気的には並列に配設されるポッケルスセルの配設における、反射光の偏光を変調するための以前から知られているカーセルまたはポッケルスセルの使用を開示している。以前から知られているポッケルスセルは、数千と数万ボルトとの間の電圧を必要とし、例えば、1cmまたはそれよりも小さい小有効口径を有し、低い受入角度、例えば、わずか1度を有してもよい。Taboadaの開示された光学的に直列および電気的に並列のポッケルスセルの配設は、より低い電圧を必要とするが、有効口径および受入角度をさらに低減する。したがって、Taboadaのシステムは、ポッケルスセルの表面法線からわずか1度以上逸れた光を使用して正確な距離情報を取得することはできず、5度以上では言うまでもない。対照的に、以下でより詳細に説明されるように、システム100は、広い視野の全体を通して分布するオブジェクトから散乱された光である5度と50度との間で逸れる光を使用して、高分解能の距離情報の獲得を可能にする変調器を含み、有意に低い電圧、例えば、約数十ボルト、または10ボルト未満さえも必要としてもよい。
第一に、場面の三次元画像を取得するための方法の概観を提供する。次いで、三次元画像を取得するためのシステムを詳細に説明する。次いで、三次元撮像の種々の潜在的な用途を説明する。最後に、代替実施形態のいくつかの実施例を説明する。説明された方法、システム、用途、および実施形態は、限定的ではなく、単に例示的となることを目的とする。
(2.方法)
ここで、図4を参照して、本発明の種々の実施形態による、三次元画像を取得するための方法、例えば、システム100を説明する。
図4に図示された方法400は、例えば、2ナノ秒未満の継続時間、および広い視野(410)を有する、光パルスを生成するステップを含み、その後に、そのようなパルス(420)で場面を照射するステップが続く。そのような光パルスは、例えば、本明細書において説明される照射サブシステムのうちの1つ、または任意の他の好適な光パルス発生器によって生成されてもよい。
好ましくは、光パルスは、空間的に均一である。「空間的に均一」によって、x−y面内の光パルスの空間的強度が、ビームの空間プロファイルの大部分にわたって、約50%未満、または40%未満、または30%未満、または20%未満、または10%未満、または5%未満、または2%未満だけ変化することを意味する。例えば、パルスは、ビームの最大強度を識別し、その強度の半分以上を有するビームの空間的範囲を識別することによって決定される「半値全幅」(FWHM)を有するものとして特徴付けられてもよい。一部の実施形態においては、パルスの空間的強度は、FWHMによって特徴付けられる空間的領域にわたって、50%未満、または40%未満、または30%未満、または20%未満、または10%未満、または5%未満、または2%未満だけ変化する。他の実施形態では、空間的強度プロファイルは、50%以上、または100%変化してもよい。以下でより詳細に説明されるように、一部の実施形態においては、そのような空間的に均一な光パルスは、多数の空間モード、例えば、20を越える空間モードを有するパルス状レーザで生成されてもよい。
そのようなレーザによって生成されるパルスの時間プロファイルは、また、実質的に円滑であってもよく、パルスの強度が、時間の関数として円滑に変化することを意味する。以下でより詳細に説明されるように、一部の実施形態においては、そのような時間的に均一な光パルスは、多数の時間モード、例えば、20を越える時間モードを有する、パルス状レーザを用いて生成されてもよい。
光パルスは、電磁スペクトルの任意の好適な部分内において、例えば、スペクトルの可視部分(400nm〜700nm)において、またはスペクトルの近赤外部分(700nm〜2500nm)において、または電磁スペクトルの別の範囲において生成されてもよい。好ましくは、レーザのパルスエネルギーは、関心の場面を特徴付けるために許容量の信号を提供するように十分高い一方で、同時に、特別な予防措置がなくても、システムのユーザおよび場面の占有者にとって目に安全となるように十分低い。例えば、1400nmを上回る波長、例えば、1400nmと2500nmとの間の波長は、可視波長と比較して、最大許容線量の約1000倍の増加を提供してもよく、場面は、可視帯域内の波長を有するパルスよりも、1400nmを上回る波長を有するパルスで、1000倍多くのエネルギーを用いて安全に照射されてもよいことを意味する。目の安全を達成する他の方法は、管理制御、高発散、および低空間コヒーレンスを含む。
光パルスの継続時間および発散は、特定の用途に基づいて選択されてもよいことを理解されたい。例えば、1ナノ秒パルスが、0.01メートルの距離分解能を達成するために使用されてもよい一方で、100ピコ秒パルスは、0.001メートルの距離分解能を達成するために使用されてもよい。種々の実施形態では、光パルスの継続時間は、所望の距離分解能に応じて、例えば、1ナノ秒と10ピコ秒との間、または500ピコ秒と50ピコ秒との間、または200ピコ秒と100ピコ秒との間、または100ピコ秒と10ピコ秒との間であってもよい。加えて、特定の距離において撮像することに対して所望される視野が広くなるほど、より大きい度数(図1の角度φ)の発散が選択さてもよい。いくつかの理由で、より適度な分解能、視野、および範囲が容認可能であってもよい一方で、他の理由で、極めて高い分解能、視野、および範囲が所望されてもよい。以下でより詳細に説明されるように、透過光学部は、撮像される特定の場面の所望の視野を照射するように、必要に応じて光パルスの発散を調整するための手動または自動制御されたズームレンズを含んでもよい。
方法400は、大口径レンズ(430)を用いて、場面によって反射および散乱された光パルスの部分を収集するステップを含む。上記で説明されるように、光パルス部分は、場面に関するいくつかの種類の情報を運ぶ。例えば、場面が単一パルスで照射されても、受容レンズは、場面内の異なるオブジェクトまたはオブジェクトの異なる部分の相対位置および形状に応じて、種々のTOFを有するパルス部分を受容する。
方法400は、また、時間の関数として、収集された光パルス部分の偏光を変調するステップも含む(440)。そのような変調は、例えば、図2に図示されるように、時間の単調関数であってもよい。そのような実施形態では、より短いTOFを有するパルスは、より長いTOFを伴うパルスよりも少ない偏光変調を経験し、距離情報が容易に取得されることを可能にする。しかしながら、以下でより詳細に説明されるように、そのような変調は、必ずしも単調である必要はない。加えて、収集された光パルス部分の偏光よりもむしろ強度が変調されてもよい。
偏光が時間の単調関数として変調される実施形態について、場面の特定の画像から取得され得る距離情報は、部分的には、その変調の時間的持続に基づいている。例えば、再び図2を参照すると、透過は、50ナノ秒から始まって、50ナノ秒の期間にわたって0から1まで変化する。そのようなものとして、その50ナノ秒変調ウィンドウ(7.5メートルの範囲ウィンドウに対応する)中に届くパルス部分のみが、0から1の間の透過を経験する。7.5メートルよりも近いオブジェクトから反射し、したがって、50ナノ秒から始まる変調ウィンドウの前に届くパルス部分、または30メートルよりも遠いオブジェクトから反射し、したがって、変調ウィンドウが閉じた後に届くパルス部分は、より長いか、またはより短いTOFを有し、よって、図2の特定の波形によって変調されない。他の範囲ウィンドウにアクセスするために、偏光変調の開始時間および/または時間的持続は、適切に変化させられてもよい。一実施形態では、方法400は、偏光変調の種々の時間的持続および/または開始時間を使用して繰り返され、結果として生じる画像は、単一偏光変調を使用して取得することができるよりも有意に多大な距離情報を有する、三次元画像を形成するように組み合わせられる。
方法400は、また、変調されたパルス部分の直交偏光成分(例えば、HおよびV偏光成分、または左右の円偏光成分)の相補的画像を取得するステップも含む(450)。一実施形態では、そのような画像は、偏光ビームスプリッタを使用して、パルス部分を直交成分に分割し、それぞれの焦点面アレイ(FPA)上に直交成分を撮像することによって取得される。FPAは、ステップ410で生成される光パルスの中心波長またはその付近において高い感度を有するように適合されてもよい。光パルスが可視帯域(例えば、400〜700nm)内である場合、市販のCCDまたはCMOSベースのアレイが好適であってもよい一方で、光パルスが近赤外帯域(例えば、700nm〜2500nm)内である場合は、他のアレイ技術または材料が必要とされ得る。
方法400は、また、場面内のオブジェクトの距離および形状情報を取得するために、ステップ450からの相補的画像を正規化し、組み合わせるステップも含む(460)。そのような処理は、以下でより詳細に説明されるように、ピクセル毎に行われてもよい。
そのような方法を介して、またはそのような方法を実装するように構成されるシステム、例えば、図5を参照して以下で論議されるシステム500によって、取得可能な距離分解能は、変調波形の放射照度およびタイミングを測定することに関与する不確実性と組み合わせられた、その波形の長さに少なくとも部分的に基づいてもよい。放射照度測定における不確実性は、信号対雑音比(SNR)に関係する。Taboadaによって開示されたもの等の長距離用途に対して、長距離のために標的から受容される光子の数は、信号が1/Rとして低下するので限定され、ここで、Rは標的までの距離である。次いで、優勢な雑音項が、暗電流、読出し雑音、および背景光(例えば、日光)に関係付けられる。そのような用途に対しては、非常に低い雑音の撮像アレイの使用が決定的であり得る。対照的に、本発明の種々の実施形態によれば、はるかに近い範囲で動作することは、高いSNRを提供するのに十分な照射照度を提供するために、照射サブシステム、例えば、レーザを設計することが実用的であることを意味する。そのような動作モードについて、優勢な雑音項は、受信された信号の平方根となる帰還信号のショット雑音であり得る。次いで、焦点面アレイは、高いダイナミックレンジ(アレイの固有雑音レベルで割られる、測定され得る最大信号によって定義され得る)を有するものとなるように選択されてもよい。固有雑音レベルではなく、ショット雑音レベルが限定項であるため、焦点面アレイの1つの有用な特徴は、深いウェル(高い飽和レベルに対応する)の存在を含み得ることである。例えば、100,000個以上の電子のウェル深さは、固有雑音レベルが約100個以下の電子である限り、約300以上のSNRを提供し得る。加えて、Taboadaによって開示されたもの等の用途が、固有雑音を最小化するように構成される焦点面アレイを必要とし得る一方で、そのようなアレイは、ピクセル数を制限するか、または費用を増加させる特殊設計を必要とする場合があり、それは、システムの実用的性能を低減する場合がある。
(システム)
図5は、本発明のいくつかの実施形態による、三次元撮像システム500の中の選択された構成要素を概略的に図示する。代替として、システム500の機能性は、例えば、以下で説明されるような、他の光学的配設を用いて提供されてもよいことを理解されたい。図5に図示されるように、システム500は、照射サブシステム510と、センササブシステム520と、プロセッササブシステム540とを含む。ここで、これらのサブシステムのそれぞれをより詳細に説明する。
(A.照射サブシステム510)
照射サブシステム510は、光パルスを生成するための光源511と、生成された光パルスの発散を制御するための透過(Tx)レンズ512と、光パルスの空間プロファイルを質を向上するためのオプションの位相板または他のビーム成形要素513とを含む。代替として、レンズ512およびオプションの位相板513の位置が逆転されてもよい。これらの要素はまた、単一の光学部または一式の光学部に組み込まれてもよい。照射サブシステム510は、光源511からの光パルスの放出を制御および/または監視してもよく、さらに、透過レンズ512が生成された光パルスに与える発散を制御および/または監視し得るコントローラ541と動作可能に連絡している。
上記のように、図1を参照すると、照射サブシステムは、好ましくは、滑らかな空間プロファイル、滑らかな時間プロファイル、および、例えば、5度と40度との間の発散を有する光パルスを生成する。光パルスは、電磁スペクトルの任意の好適な部分内、例えば、可視帯域(例えば、400〜700nm)内、または近赤外帯域(例えば、700nm〜2500nm)内であってもよい。概して、近赤外帯域の特定の領域で生成されるパルスは、可視帯域内の同等出力のパルスよりも「目に安全」と見なされる。光源511は、所望の電磁帯域内の光パルスを生成するように構成され、レンズ512およびオプションの位相板513は、所望の発散を有する光パルスを提供するために、選択的に、さらにパルスの空間プロファイルを質を向上するように構成される。一部の実施形態においては、光源511は、少なくとも5μJエネルギー、または少なくとも100μJエネルギー、または少なくとも1mJエネルギー、または少なくとも10mJエネルギーを有する光パルスを産生するレーザである。そのようなレーザエネルギーは、レーザビームの高い発散のために、比較的目に安全であり得る。
第一に、以前から知られているレーザと関連する、いくつかの問題の簡単な説明を提供する。次いで、光源511として使用されてもよい低コヒーレンスレーザの説明を提供する。
レーザビームの独特な特徴のうちの1つは、小さい直径に集束され、かつ関連して、直径を目につくほど変化させることなく、長距離で伝搬する能力である。1960年代初期のレーザの発明以来、特に、回折限界までレーザを集束することができるように、これらの点でレーザデバイスの性能を向上させるために、有意な努力がなされてきた。そのような取り組みのうちのいくつかは、例えば、レーザ空洞を慎重に設計し、最適な曲率の空洞鏡を提供することによって、レーザの空間的および時間モードの数を限定することによって、高次モードのレーザ発振を阻止するように、レーザ空洞内の特定の場所に小有効口径を配置することによって、および/または熱レンズ等の収差誘発効果を制御することによって、レーザビームの空間的および時間的コヒーレンスを増加させることに集中してきた。他のデバイスおよび技法も、ビーム特性を向上させるために使用されてもよい。
主に基本モードでエネルギーを出力するレーザの効率を向上させるための技法は、利得容量の直径をレーザ空洞モード容量の直径に合致させることである。モード直径は、空洞鏡の曲率半径およびこれらの鏡の離隔距離によって決定される。安定した共振器空洞については、この直径は一般的に小さい。これは、利得飽和効果のため、各パルスのレーザから抽出され得る総エネルギーを限定する。依然として基本空間モードのみを励起しながら、より多くの利得容量が使用され得るように、基本空間モードの空洞内モードサイズを増加させるために、不安定な共振器設計が使用されてもよい。しかしながら、不安定な空洞に固有の高い損失を克服するために、高利得レーザ媒体が必要とされ、空洞鏡からの回折効果は、出力空間プロファイルの有意な変調を引き起こす。レーザ空洞の外側で、レーザビームの集束性を低減し得る収差を補正するために、変形鏡および位相補正器が使用されてもよい。
レーザ設計でのそのような技法の使用は、レーザデバイスの他の特性におけるトレードオフを引き起こし得る。例えば、熱ひずみの効果、利得飽和効果、高次横モードの効果、および同等物を低減しようとする一方において、設計出力電力またはエネルギーが低減され得る。ビームの空間コヒーレンスを向上させる、例えば、高次モードを排除するための設計選択も、より高価な鏡および光学設計の使用につながる場合がある。そのような設計の検討事項は、システムの費用および複雑性を増加させる場合がある。
しかしながら、レーザビームの集束性が重要ではないレーザ撮像等の分野において、多くの用途がある。確かに、レーザビームを拡張して関心の領域を充填するように、付加的な光学的要素が導入されてもよい。レーザビームの空間的および時間的コヒーレンスは、そのような用途において、レーザビームが自らに干渉し、標的上のレーザスポットにわたって望ましくない強度変動を引き起こす「スペックル」を引き起こす場合がある。いくつかのレーザ撮像用途について、代わりに、レーザが単調でよく制御された均一な「閃光」として主に機能するために、レーザビームの空間的および時間的コヒーレンスを低減することが望ましくてもよい。そのような低コヒーレンス用途のために構成されるレーザを産生する基準は、回折限界ビームに対するものとは有意に異なってもよい。例えば、低コヒーレンスレーザは、パルス状および連続波(CW)レーザデバイスの両方に対して、比較的低い費用で、高い出力電力またはエネルギーを提供するように構成されてもよい。より低い空間コヒーレンスも、目の網膜上でのレーザの集束性を低減し、それによって目の安全性を向上させ得る。
再び図5を参照すると、三次元撮像システムは、低減された空間的および/または時間的コヒーレンスが有用であり得る、広視野システムの1つの非限定的な実施例である。照射サブシステム510が、大きい発散、例えば、1度と180度との間、または1度と90度との間、または1度と40度との間、または2度と40度との間、または5度と40度との間の発散と、低い空間的および/または時間的コヒーレンスとを有するレーザパルスを生成し得る一方で、回折限定レーザは、ほんの1度の発散と、大量の空間的および時間的コヒーレンスとを有し得る。大きい発散ならびに空間的および/または時間的コヒーレンスの欠如は、レーザビームで照射されているオブジェクトの表面におけるレーザ放射照度の強度変動の量を低減し得る。照射サブシステム510によって生成されるレーザビームのより滑らかな強度プロファイルは、センササブシステム520の性能を向上させ得る。
図6Aは、図5の光源511として使用するために好適な低コヒーレンスレーザ600の一実施形態を概略的に図示する。レーザ600は、光パルスを生成するシードレーザ610を含み、選択的に、さらにシードレーザ610によって生成される光パルスの強度を増幅するための1つ以上の段階を含み得る増幅器620を含む。レーザ600は、図5に図示されたコントローラ541の制御下において動作してもよい。レーザ600は、代替として、独立型システム(つまり、システム500に含まれない)であってもよく、その場合、その独自のレーザコントローラを含んでもよいことに留意されたい。
図6Aを参照すると、シードレーザ610は、利得媒体631と、第一および第二の空洞鏡632、633と、ダイオードまたは他のポンプ634と、オプションのQスイッチ635と、オプションの偏光子636とを含む。空洞鏡633が、好ましくは、高反射体である一方で、空洞鏡623は、レーザから出てオプションの増幅器620の中または場面の上に進行するレーザ光を可能にするために、部分的に透過性である。空洞鏡632、633のうちの少なくとも1つは、選択的に、利得媒体631上に直接被覆されてもよく、別個の光学的構成要素の必要性を未然に防ぐ。能動Qスイッチ635および偏光子636は、所望の時間まで、例えば、シードレーザ610からレーザパルスを取得することが所望される時間まで、空洞内でのレージングを保持するように構成されてもよい。本明細書で説明される多くの実施形態は、レーザパルスを生成するように構成されているシードレーザ610に関するが、シードレーザ610は、代替として、連続波(CW)レーザビームを生成するように構成されてもよい。
一部の実施形態においては、シードレーザ610は、好ましくは、1ナノ秒またはそれより短いレーザパルスを生成し、実質的に均一な空間プロファイルを提供することに十分な数の空間モードを含む。「実質的に均一な」時間および空間プロファイルの意味は、上記で提供される。加えて、多くの空間モードの存在は、また、レーザビームに存在する縦モードの総数を増加させ得る。例えば、図6B−6Cに図示されるように、シードレーザ610によって生成されるレーザパルスは、好ましくは、そのような空間モードが相互に干渉し得る場合に、結果が実質的に滑らかな全体的な空間プロファイル650であるように、十分な数の空間モード651・・・・659、ならびに、実質的に滑らかな全体的な時間プロファイル660を提供するように、そのような時間モードが相互に干渉し得るように、十分な数の時間モード(空間モードに関係してもよい)661・・・・669を含む。一部の実施形態においては、シードレーザ610は、少なくとも10個の空間モード、または少なくとも20個の空間モード、または少なくとも30個の空間モード、または少なくとも40個の空間モード、または少なくとも50個の空間モード、または少なくとも100個の空間モード、例えば、滑らかな空間プロファイルを提供し得る任意の数を有するレーザパルスを生成する。一部の実施形態においては、シードレーザ610は、少なくとも10個の時間モード、または少なくとも20個の時間モード、または少なくとも30個の時間モード、または少なくとも40個の時間モード、または少なくとも50個の時間モード、または少なくとも100個の時間モード、例えば、滑らかな時間プロファイルを提供し得る任意の数を有するレーザパルスを生成する。他の実施形態では、シードレーザ610は、ほんのわずかなモード、例えば、2個と10個との間の空間および/または時間モードを含む。
再び図6Aを参照すると、利得媒体631は、当技術分野で公知であるか、またはまだ発見されていない、種々の利得媒体のうちのいずれかから、レーザ600の所望の動作波長に基づいて選択されてもよい。例えば、以下でより詳細に説明されるように、利得媒体631は、大型コア能動ファイバ(コアの中に能動レーザドーパントを有するファイバ)を含んでもよい。または、例えば、利得媒体631は、とりわけ、Nd:YAG、Er:YAG、Cr:YAG、Ti:サファイヤ、またはTm,Ho:YAG等の固体状態材料を含んでもよい。代替として、利得媒体631は、InGaAs等の半導体材料を含んでもよく、シードレーザ611は、利得媒体を励起するための別個の光ポンプを必要としないパルス状ダイオードレーザである。
ダイオード634、または利得媒体631を励起するための任意の他の好適なポンプは、鏡632、633によって境界され、長さLを有する共振空洞内においてレージングを誘発するために、利得媒体631を励起するように構成される。レーザビームの低い空間コヒーレンスは、共振空洞内に多数の空間モードをサポートするように、シードレーザ610を設計することによって達成される。例えば、利得直径Dは、基本モード直径dよりも有意に大きく作られてもよい。高次モードは、基本モードよりも大きい直径を有するので、より大きい利得直径Dは、同時に多くの空間モードをサポートする。加えて、または代替として、鏡632、633の曲率は、高次モードと基本モードとの間の損失の差を低減または最小化するように選択されてもよい。これはまた、そのフレネル数を増加させるように空洞を構成するものとして表されてもよい。平面鏡またはほぼ平面の鏡を使用する共振器空洞は、高次モードを区別することにあまり効果的ではないことが知られている。そのようなものとして、鏡632、633の一方または両方は、平面的またはほぼ平面的であってもよい。例えば、一実施形態では、鏡632(または633)は、平面であり、鏡633(または632)は、1メートルを上回る曲率半径を有する凹面である。
加えて、または代替として、空洞長さL、すなわち、鏡632、633の間の離隔距離が減少させられてもよい。最小空洞長さは、共振器空洞内に必要構成要素の全てを含有するような最小距離である。単一通過利得が、高次空間モードと関連する損失よりも有意に高くなり、例えば、単一通過利得が3を上回るように、空洞が構成される場合、レージングは、利得直径D全体にわたって発生してもよく、レーザ共振器から退出するビームは、利得分布の空間プロファイルを反映する空間プロファイルを有する。好ましくは、ビームは、ビームの全体的な空間強度プロファイルが実質的に滑らかになるように、十分な数の空間モードを含む。鏡632、633の間の比較的小さい離隔距離L、および比較的大きい利得直径Dは、ポンプ源のための光学部を結合する複雑性が低減し、機械的設計を単純化し、シードレーザ610がコンパクトに製造されることを可能にし得、それは、向上された安定性をもたらし得る。そのような側面の全ては、単一モードまたは他の伝統的なレーザ設計と比較して、レーザ撮像用途およびデバイスのより低い費用および多大な有効性を有するレーザをもたらし得る。
一部の実施形態においては、シードレーザ601は、利得分布の空間プロファイルが、レーザ共振器の光軸に対して直角な方向(図6Aのz方向)においてほぼ一様であるように構成される。そのような構成は、実質的に平坦な空間プロファイルを有し、多数の空間モードを含有するレーザパルスを提供し得る。他の実施形態では、シードレーザ601は、レーザビームの高次モードの数を増加させるために、利得分布の空間プロファイルが調整されるように構成される。例えば、基本モードが、優先的に利得分布の中心付近に位置する場合、利得プロファイルは、基本モードが位置する中心において、利得を低減するように調整されてもよい。そのような調整は、例えば、空洞の中心付近の鏡632または633の反射率を低減することによって、または空洞の中心付近の少量のエネルギーを吸収するように構成される付加的な光学的要素を空洞内に提供することによって行われてもよい。空洞の中心付近の利得を低減することは、基本モードおよび/または他の低次モードに利用可能なエネルギーの量を減少させ、それにより、高次モードに利用可能なエネルギーの量を増加させ得る。多くの空間モードの存在はまた、レーザビームに存在する縦モードの総数を増加させ得る。
加えて、または代替として、位相板等の光学部が、選択的に、シードレーザ610の空洞に含まれてもよい。そのような光学部は、空間的共振器モードの区別を減少させ、ならびに、エネルギーが共振器空洞内に蓄積するにつれて、モード間のエネルギー移送の結合を増加させ得る。そのような光学部はまた、基本モードと関連する損失を増加させるために使用されてもよい。そのような光学部は、別個の光学的構成要素として提供されてもよく、または鏡632、633の一方または両方の上の被覆として提供されてもよい。
ビームの時間的コヒーレンスはまた、ビームのスペクトル帯域幅を最大化することによって減少させられてもよい。例えば、空間モードの数を増加させるための上記の技法のうちのいくつかまたは全ても、レーザ光の帯域幅を増加させ得る。または、例えば、2つの数量が以下の式によって関係付けられるので、パルス長τを減少させることはまた、スペクトル帯域幅Δλを増加させ得る。
ここで、Kは、空間的および時間的なパルス形状とともに変化する1のオーダーの定数であり、cは、光の速度である。
上記のように、シードレーザ610は、選択的に、Qスイッチ635および偏光子636も含む。Qスイッチを含む共振空洞からの最適化されたレーザパルスのパルス長τは、以下によって表され得る。
ここで、δは、共振器損失であり、Gは、単一通過利得である。この式はしばしば、Qスイッチ式レーザデバイスの動作の近似にすぎないが、レーザパルスの長さに影響を及ぼすパラメータのうちのいくつかを例示する働きをする。上記のように、シードレーザ610によって生成されるレーザパルスのパルス長は、鏡632、633の間の離隔距離Lを低減することによって減少させられる。一部の実施形態においては、縦空間モード間のスペクトル間隔Δv=c/2Lが、利得材料の発光スペクトル帯域幅よりも小さくなるように、離隔距離Lが十分大きいように、シードレーザ601が構成されてもよい。言い換えれば、空洞長さLは、複数の縦モードをサポートするほど十分長くなるように構成される。
他の実施形態では、パルス長τは、鏡632の反射率を減少させることによって、または共振器空洞の中の単一通過利得を増加させることによって、減少させられ得、それは、縦および空間的空洞モードの数を増加させ得る。
Qスイッチ635は、能動的として上記で説明されているが、代替として、例えば、飽和可能な吸収体または可変透過性の他の材料を使用した、受動的設計であってもよく、偏光子636が省略されてもよい。そのような構成に対するレーザパルスの長さは、能動的Qスイッチについて上記で説明されるものと同様であってもよい。別の実施形態(図示せず)では、シードレーザ610は、鏡632、633が両方とも高反射体である、空洞ダンプ式設計を有するよう構成され、シードレーザ610はさらに、パルスが十分な出力に達した後に、空洞からレーザパルスを「ダンプする」ように構成される、高速光スイッチを含む。さらに別の実施形態では、シードレーザ610は、パルスのシーケンスを生成する、能動または受動モードロッカーを含む。パルスのシーケンスは全て、場面を照射するために使用されてもよく、または単一パルスが、例えば、高速光スイッチを使用して選択されてもよい。しかしながら、上記のように、レーザ600は、任意の他の好適なシステムにおいて、または独立型デバイスとして使用されてもよく、本明細書で提供される三次元撮像システムとの使用に限定されない。シードレーザ610によって生成されるパルスは、選択的に、増幅器620を介して増幅されてもよい。増幅器620は、任意の好適な設計を有してもよく、当技術分野で公知であるか、またはまだ発明されていない、種々の増幅器から選択されてもよい。
いくつかの実施形態は、利得媒体631に、ファイバ導波管またはフォトニックバンドギャップ材料を使用する。いくつかのファイバレーザまたはファイバ増幅器は、非線形損傷効果の危険性のため、約1MWピーク電力に限定される。レーザ光を輸送するファイバコアは、ビームの空間モードコンテンツを制限することに集中した伝統的な設計によって、直径6〜20μmであってもよい。ファイバレーザによって達成可能な最大エネルギーは、一般的には、ファイバコア内における高い強度の非線形損傷効果の発生のために、約1mJ以下に限定される。一実施形態では、利得媒体631は、誘導モードの全ての間の結合およびコアの充填を改善するように選択される長さおよび結合を伴って、直径200μmであるコアを有する、ファイバを含む。そのような媒体は、典型的なファイバコアよりも最大で100倍大きくてもよく、それは、非線形損傷効果または有害な歪曲効果の危険性を伴わずに、ファイバレーザからのピーク電力が最大100MWになることを可能にしてもよい。他の実施形態は、典型的なファイバに対してファイバの許容ピーク電力を増加させる別のコア直径、例えば、50と500μmとの間、または100と400μmとの間、または150と250μmとの間を有する。そのようなファイバベースの実施形態では、比較的大きいコア直径はまた、より多数の空間モードを提供し、出力レーザビームの空間コヒーレンスを減少させてもよい。
そのようなファイバベースの実施形態は、ファイバベースの共振器、ならびに、ファイバフェースであってもなくてもよいレーザ発振器によってレーザパルスが産生される、パルス状レーザ設計の両方を含んでもよい。後者の場合、レーザパルスは、段階の間に結合器およびアイソレータを伴う、1つ以上の増幅器段階620で増幅されてもよい。これらの段階のそれぞれは、能動コアファイバ(コアの中に能動レーザドーパントを伴うファイバ)を含んでもよく、コアは、最初は小さく、増加した増幅器エネルギーとともに増加してもよく、またはコアは、増幅器段階620の全てにおいて大きくてもよい。異なる実施形態では、レーザ600は、より高い全体的利得が、比較的低い利得の利得媒体630から取得されることを可能にしてもよい、ファイバ技術に基づく一方で、成熟した1500ナノメートルファイバ技術に基づく頑健な動作を提供する。例えば、一実施形態では、シードレーザ610は、200μmの直径を有するファイバを含んでもよく、1500nmの波長、500ピコ秒のパルス継続時間、および約1nJのエネルギーを有する、パルスを生成してもよい。増幅器620は、0.5mJのエネルギーまでパルスを増幅させるように、3段階のファイバベースの増幅器を含んでもよく、その後に、40mJ以上のエネルギーまでパルスを増幅させる、非常に大型のコアの増幅器が続く。別の実施形態では、シードレーザ610は、パルス状ダイオードを含み、増幅器620は、ファイバベースの増幅器を含んでもよい。
一部の実施形態においては、低コヒーレンスレーザ600は、1400nm以上の波長、40mJ以上のエネルギー、および500ピコ秒未満のパルス継続時間を有する、パルスを生成する。Er:YAG、Cr:YAG、およびTm,Ho:YAGを含む、このスペクトル領域で発光する、いくつかの利得媒体631がある。例えば、材料Er:YAGは、10kHzのパルス繰り返し周波数において、1ナノ秒のパルス長および0.6mJの出力を有する1617nmのパルスを産生するために使用されている。しかしながら、Er:YAGは、比較的低い利得を提供し、さらに短いパルス長、例えば、500ピコ秒またはそれよりも短い長さで、より高いパルスエネルギーまで増やすことを困難にする。他の記載された材料は、同様の制約を有する場合がある。上記のように、レーザ600は、シードレーザ610によって生成されるシードパルスエネルギーを増幅するように、増幅器620を含んでもよい。例えば、増幅器620は、Nd:YAGポンプを使用して、このスペクトル領域(1400nm以上)内の光を増幅させるように、光パラメトリック増幅器(OPA)を含んでもよい。しかしながら、OPAは、典型的には30〜40%効率的であるため、一部の実施形態においては、増幅器620は、100mJ以上のポンプパルスを生成して、シードレーザ610によって生成されるパルスエネルギーを増幅するように構成される。当業者が、シードレーザ610によって生成されるエネルギーを増幅する他の方法を容易に考案してもよい。
再び図5を参照すると、透過(Tx)レンズ512は、光源511によって生成される光パルスの発散を増加させてもよい(例えば、図6Aの低コヒーレンスレーザ600、または一実施形態では高コヒーレンスレーザを含む、任意の他の好適なレーザ)。例えば、光源511からの光パルスは、一部の実施形態においては、以前から知られているレーザと比較して、比較的高度に発散してもよいが、パルスが多くの空間的および時間的インコヒーレントモードを含有するため、パルスの発散は、状況によっては、依然として1度をはるかに下回ったままであってもよい。レンズ512は、システム500からの場面の距離、または撮像されるその部分に応じて、光パルスの発散を5度から40度の間に増加させるように構成されてもよい。レンズ512は、単レンズを含んでもよく、または複合レンズを含んでもよく、または複数のレンズあるいは鏡を含んでもよく、それらは、パルスの発散を所望の角度に、例えば、1度と180度との間、または1度と120度との間、または1度と90度との間、または2度と90度との間、または2度と40度との間、または5度と40度との間、または5度と30度との間、または5度と20度との間、または5度と10度との間、または10度と40度との間、または20度と40度との間、または30度と40度との間、または10度と30度との間に増加させるように構成されてもよい。より大きい、またはより小さい発散も、使用されてもよい。一部の実施形態においては、透過レンズ512は、ユーザが特定の状況に合うようレーザパルスの発散を変化させてもよいように、調整可能であってもよい。そのような調整は、手動(「ズーム」レンズの手動調整と同様)であるか、または自動であってもよい。例えば、コントローラ541は、レンズ512がレーザパルスに与える発散の程度を自動的に制御するよう、透過レンズ512に動作可能に接続されてもよい。そのような自動制御は、ユーザインプットに応答してもよく、また、以下でより詳細に説明されるように、自動場面撮像シーケンスの一部であってもよい。
照射サブシステム510は、選択的に、光源511によって生成される光パルスの空間プロファイルをさらに円滑にするように構成される、位相板513をさらに含んでもよい。
照射サブシステム510は、実質的に単調である光源511を含むが、選択的に、付加的な種類の光源を含んでもよいことに留意されたい。例えば、照射サブシステム510は、白色光で場面を照射するための白色光源を含んでもよい。または、例えば、照射サブシステム510は、光源511によって放出されるものとは異なるスペクトル領域内の他の実質的に単調な光源を含んでもよい。例えば、光源511が、例えば、532nmである、緑色領域内等の、可視スペクトルの1つの特定の部分内のレーザパルスを生成する場合、そのようなパルスは、場面上にその色合いを投げ掛けてもよい。映画の撮影等の状況によっては、これが望ましくない場合がある。照射サブシステム510は、光源511からの光と組み合わせられると、白色光の出現をもたらす光を生成する、1つ以上の付加的な光源を含んでもよい。例えば、光源511が緑色レーザパルス(例えば、532nm)を生成する場合、照射サブシステム510は、選択的に、所望の場面照射特性を維持する照射を産生するように、緑色レーザパルスと組み合わせられる、例えば、620nmおよび470nmである、赤色および青色領域内の波長を放出する、ダイオードまたはレーザあるいは他の光源をさらに含んでもよい。
(B.センササブシステム520)
依然として図5を参照すると、システム500はさらに、場面内のオブジェクトによって反射および/または散乱される、照射サブシステム510によって生成される光パルスの部分を受容する、センササブシステム520を含む。選択的に、センササブシステム520はまた、場面から可視光を受容し、その光は、周辺発生源からであってもよく、および/または照射サブシステム510の中の別個の光源によって産生されてもよい。図5に図示された実施形態では、センササブシステムは、受容(Rx)レンズ521と、帯域通過フィルタ(BPF)522と、偏光子(Pol.)523と、変調器524と、オプションの補償器(Cp.)525と、撮像レンズ526と、偏光ビームスプリッタ527と、第一および第二のFPA528、529とを含む。センササブシステムは、選択的に、二色ビームスプリッタ531およびFPA532を含む、白色光撮像サブシステム530をさらに含む。センササブシステム520は、受容レンズ521、変調器524、撮像レンズ526、FPA528、529、およびオプションのFPA532等の、センササブシステムの異なる構成要素の動作を監視および/または制御してもよい、コントローラ541と動作可能に連絡している。
受容レンズ521は、場面から光を収集する。図1を参照して上記で論議されるように、場面は、三次元撮像システムに向かった後方以外の種々の方向に、光を散乱および/または反射してもよい。そのような光のうちのいくらかが、照射サブシステム510によって生成される一方で、そのような光のうちの他の部分は、照射サブシステム510によって生成されていてもされていなくてもよい、白色光または異なる波長範囲内の光であってもよい。収集された光の量は、受容有効口径の面積に比例し、例えば、受容レンズ521の面積に比例する。
センササブシステム520によって収集される光の量を向上し、したがって、最終的に各三次元画像に含有されてもよい情報の量を増加させるために、受容レンズ521は、所与の用途に実用的なほど多くの光を受容するように構成される。例えば、撮像システムが、適度な分解能要件を伴って、軽量かつ手持ち式に設計されている、いくつかの用途については、受容レンズ521は、1〜4インチ、または2〜3インチ、例えば、約2インチ、またはそれより小さい直径を有してもよい。代わりに、撮像システムが、商業目的で高分解能の画像を提供するようにされている、用途については、受容レンズ521は、例えば、2〜6インチ、または2〜4インチ、または1〜3インチ、例えば、4インチの直径を有する、実用的に実現可能な大きさに作られてもよい。センササブシステム520の種々の光学的構成要素は、好ましくは、光学的設計で公知の技法を使用して、受容レンズ521によって収集される光のクリッピングまたはビネッティングを回避するよう構成される。加えて、受容レンズ521および他の光学的構成要素または被覆も、好ましくは、例えば、1度と180度との間、または1度と120度との間、または1度と90度との間、または2度と40度との間、または5度と40度との間の広い受入角度を有する。
受容レンズ521は、単レンズを含んでもよく、または複合レンズを含んでもよく、または複数のレンズあるいは鏡を含んでもよく、それらは、場面から光を収集するために、およびセンササブシステム520内の既定位置における画像面の中へ収集された光を撮像するように構成される。受容レンズ521は、好ましくは、収集された光への球面および色収差の導入を低減または阻止するように構成される。一部の実施形態においては、受容レンズ521は、ユーザが、レンズ521の対物面の位置または場面が撮像される距離を、センササブシステム520内の既定面に合わせて調整することを選択してもよいように調整可能であってもよい。一部の実施形態においては、受容レンズ521は、角度FOVを変更するように調整することができる。そのような調整は、手動(「ズーム」レンズの手動調整と同様)であってもよく、または自動であってもよい。例えば、コントローラ541は、レンズ521の対物面の位置またはレンズ521の角度FOVを自動的に制御するように、受容レンズ512に動作可能に接続されてもよい。一部の実施形態においては、これらの調整は、透過レンズ512(同様にコントローラ541によって制御されてもよい)によって与えられるビーム発散に部分的に基づいて行われてもよい。そのような自動制御は、ユーザインプットに応答してもよく、また、以下でより詳細に説明されるように、自動場面撮像シーケンスの一部であってもよい。
図5に図示される実施形態では、センササブシステム520が可視撮像サブシステム530を含むので、受容レンズ521によって収集される光は、2つの画像面において撮像される。具体的には、収集された光は、受容レンズ521の画像面内に位置しているFPA532の上に、収集された可視光の少なくとも一部分を方向転換するように構成される二色ビームスプリッタ531を通過する。FPA532は、例えば、以前から知られているハードウェアおよび技法を使用して、それが受容する可視光に基づいて、場面のカラーまたはグレースケール画像を記録するように構成される。一部の実施形態においては、FPA532は、第一および第二のFPA528、529と実質的に同一であり、それが記録する可視光画像が、第一および第二のFPAが記録する画像によって位置合わせされるように構成される。FPA532は、FPA532から画像を取得するコントローラ541と動作可能に連絡しており、以下でより詳細に説明されるさらなる処理を行うように、画像コンストラクタ543によってアクセスされ得る記憶装置542に、取得された画像を記憶するために提供する。代替として、可視撮像サブシステム530は、光の任意の他の範囲、例えば、光の好適なブロードバンドまたはマルチバンド範囲に基づいて、画像を取得するように構成されてもよいことを理解されたい。
二色ビームスプリッタ531がFPA532に方向転換しない光は、代わりに、帯域通過フィルタ522に透過され、帯域通過フィルタ522は、センササブシステム520の残りの部分が、場面がシステム500に向かって後方に反射または散乱する、照射サブシステム510によって生成されるレーザパルス部分(例えば、図1に図示されたパルス部分127、128、129)のみを実質的に受容するように、照射サブシステム510によって生成されるもの以外の波長の光(例えば、±5nm、または±10nm、または±25nmの帯域幅を有する)を遮断するように構成される。次いで、帯域通過フィルタ522を通して透過された光は、例えば、それを通して透過された光が、実質的に全てH偏光されるか、または実質的に全てV偏光される(あるいは右回り円偏光されるか、または左回り円偏光される)ように、所望の偏光以外の偏光の光を排除する偏光子523を通して透過される。偏光子523は、例えば、シート偏光子または偏光ビームスプリッタであってもよく、好ましくは、角度に対して比較的感度が低い。次いで、偏光子523を通して透過される光は、受容レンズ521の他の画像面に位置している変調器524を通して透過される。変調器524の機能性を、以下でより詳細に説明する。一部の実施形態においては、受容レンズ521の画像面は、変調器524の中以外のセンササブシステム520の中の場所にある。
変調器524の後には、選択的に、ビーム角度の変動により、変調器524がビームに課する場合がある位相誤差を補正し得る補償器525が続いてもよく、したがって、変調器524の受入角度をさらに増加させる。補償器525は、変調器524の中の材料と反対の複屈折を有する材料を含んでもよい。例えば、変調器524がリン酸二水素カリウム(KDP)を含む場合、補償器525は、KDPと反対の複屈折を有する市販されているフッ化マグネシウム(MgF)を含んでもよい。変調器材料がリン酸二重水素カリウム(KDP)である場合、補償器材料は、とりわけ、ルチル、イットリウムリチウムフッ化物(YLF)、尿素、またはオルトバナジウム酸イットリウム(YVO)であってもよい等、変調器524で使用される材料の特性に応じて、他の材料が補償器525で使用するために好適であってもよい。加えて、補償器525の厚さは、システムの受入角度にわたって適切なコントラスト比を提供するように選択されてもよい。1つの例示的な実施形態では、補償器525は、長さ3mmのKD*Pの変調器に対して、8.78mmと8.82mmとの間の長さを有するMgFの結晶を含む。結晶軸が光軸に対して直角であるように配向される変調器材料等の、他の変調器設計については、補償器は、光軸の周りに90度回転した結晶軸を有する第二の変調器であってもよい。
変調器524および補償器525による透過および変調後に、撮像レンズ526は、第一および第二のFPA528、529の上に変調された光を撮像する。具体的には、偏光ビームスプリッタ527は、変調されたビームの直交偏光成分(例えば、HおよびV偏光成分、または左あるいは右回り円偏光成分)を分離し、次いで、それを、撮像レンズ526の画像面内に位置している第一および第二のFPA528、529にそれぞれ方向転換または透過する。撮像レンズ526は、単レンズ、複合レンズ、または複数のレンズを含んでもよい。一部の実施形態においては、2つの撮像レンズ526は、FPA528、529の前に1つずつ、偏光ビームスプリッタ527の後に配置されてもよい。第一および第二のFPA528、529は、それらの上に撮像される変調された光の画像を記録し、記録された画像を取得し、記憶および画像コンストラクタ543によるさらなる処理のために、記憶装置542にそれらを提供するコントローラ541と動作可能に連絡している。
ここで、変調器524およびFPA528、529の種々の実施形態の説明を提供する。プロセッササブシステム540を参照して、場面内のオブジェクトの位置および形状の計算の説明を以下でさらに提供する。
(変調器)
図1を参照して上記のように、場面から反射されたレーザパルス部分の偏光を変化させ、場面内のオブジェクトの範囲および形状が高精度で計算されることを可能にするために変調器が使用され得る。一部の実施形態においては、そのような変調を行おうために、ポッケルスセルまたはカーセルが使用されてもよい。しかしながら、以前から知られているポッケルスセルは、典型的には、比較的小さい有効口径(例えば、1cmまたはより小さい)、および小さい受入角度(例えば、1度未満)を有し、比較的高い電圧で動作し、撮像システムで使用するために望ましくなくなる場合がある。加えて、変調器によって受容される反射光の角度範囲は、受容光学的要素の倍率の逆数によって拡大され得る。そのようなものとして、より広い受入角度、より広い有効口径、およびより低い動作電圧を有する変調器を使用することが望ましくあり得る。例えば、図5に図示された三次元撮像システムでは、受容(Rx)レンズ521によって捕捉される光は、例えば、以前から知られているポッケルスセルが適正に変調するように構成されない場合がある5度と40度との間で変化する角度および2と4インチとの間の有効口径を有し得る。したがって、大きい有効口径、低い動作電圧、および大きい受入角度、例えば、5度よりも大きい、例えば、5度と40度との間の角度を有する偏光変調器を提供する一方で、例えば、300:1より大きいか、または500:1より大きい、高いコントラスト比を提供することが望ましくてもよい。
変調器がポッケルスセルである実施形態については、ポッケルスセルの角度受入帯域幅を増加させるための既知の技術がある。これらは、本発明の種々の実施形態において使用されてもよい。例えば、一実施形態では、ポッケルスセルは、透明電極を使用することによって薄く作られ得る。長さを減少させることは、角度受入を増加させる。同様に、変調器有効口径は、透明電極を使用することによって増加させられ得る。1つの例示的実施例では、変調器524は、その上に配置されるか、またはKDP表面に近接して配置された保護ウィンドウ上に配置される透明または半透明電極を伴って、5mm未満の厚さを有する、リン酸二重水素カリウム(KDP)のスラブ、例えば、インジウムスズ酸化物(ITO)の被覆、FPA528、529のピクセル間隔に合致して回折損失を低減するように選択される、間隔を有する伝導性グリッド、または透明フィルムおよび金属特徴の任意の好適な組み合わせを含む、縦ポッケルスセルである。
ポッケルスセル材料は、角度受入をさらに制限する複屈折(結晶構造の異なる軸に沿って偏光される光の屈折率の異なる値)を有する。しかしながら、横セルとして知られているポッケルスセル設計について、製造業者は、伝搬軸の周りにセルを90度回転させて、2つの同一のセルの厚さを慎重に合致させている。次いで、一方のセルが、他方のセルの貢献を取り消す。いくつかの材料および配向については、4つのセルを使用する必要があってもよい。これはまた、温度変化によって引き起こされる効果に対して、セルを比較的低感度にし得る。そのような技法は、縦ポッケルスセルには有効ではない場合があるが、この場合、付加的な材料が追加される。材料は、反対符号の複屈折を有し、厚さは、慎重に合致させられる。例えば、リン酸二水素カリウム(KDP)は、縦セルの一般的な材料であり、負に複屈折する。MgF等の、正の複屈折材料も利用可能である。これらの技法は、ポッケルスセル変調器の高い角度受入を可能にし得る。
広い有効口径および大きい受入角度を有する変調器の一実施形態が、図7Aに図示されている。ポッケルスアセンブリ700は、光学的に並列および電気的に並列または直列の両方で配設される、横ポッケルスセル721・・・・728のスタックと、導体751、752を介してそれに結合される、電圧源750とを含む。電圧源750は、図5のプロセッササブシステム540に含まれてもよく、またはセンササブシステム520に含まれ、コントローラ541によって制御されてもよい。ポッケルスセル721・・・・728は、それらをともに固定するために、ポッケルスセル間の接着剤、またはセルを包囲する筐体等の、任意の適切な手段を使用してともに固定され、またはそうでなければ、例えば、以下で説明されるように、電極を介して、適切に固定される。図示された実施形態は、8個の横ポッケルスセル721・・・・728(セル722−724は明確にするために省略されている)を含むが、任意の好適な数の横ポッケルスセル、例えば、5個と10,000個との間の横ポッケルスセル、または例えば、10個と500個との間の横ポッケルスセル、または例えば、20個と200個との間の横ポッケルスセル、または例えば、50個と100個との間の横ポッケルスセルが使用されてもよい。一部の実施形態においては、ポッケルスアセンブリ700は、例えば、300:1よりも大きい、または500:1よりも大きいコントラスト比を提供するように構築される。
横ポッケルスセル721は、電気光学材料の薄いスラブ740を含み、第一および第二の電極741、742は、スラブ740の対向する主要表面上に配置される。スラブ740は、例えば、1mm未満の厚さを有してもよい。具体的には、スラブ740が、100μm未満または50μm未満、例えば、100μmと10μmとの間、または80μmと30μmとの間、または60μmと40μmとの間、または約50μmの厚さを有することが好ましくてもよい。スラブ740は、リン酸二水素カリウム(KDP)、リン酸二重水素カリウム(KDP)、ニオブ酸リチウム(LN)、周期的に分極されたニオブ酸リチウム、タンタル酸リチウム、リン酸チタニルルビジウム(RTP)、ベータホウ酸バリウム(BBO)、およびこれらの結晶物質の同形体を含むが、それらに限定されない任意の好適な材料でできていてもよい。同形体は、同様の材料および化学量論的構造を有するが、異なる元素を有する。ポッケルスアセンブリ700の要素の特定の寸法および構成は、光透過特性、電気光学係数、屈折率、複屈折、およびスラブ740で使用するために選択される材料の物理的性質に基づいて選択されてもよい。加えて、スラブ740の縁は、それを通って伝搬する光を歪曲することを回避するために研磨され、および/または反射を低減するように被覆されてもよい。
ポッケルスアセンブリ700では、ポッケルスセル721・・・・728のそれぞれの第一の電極741が、相互に並列に接続され、電圧源750に結合された第一の導体751に接続される一方で、各ポッケルスセル721・・・・728の第二の電極742は、相互に並列に接続され、電圧源750に結合された第二の導体752に接続される。電圧源750は、時間の関数として、各スラブ740の複屈折を変化させるよう、第一の導体751と第二の導体752とにわたって適切に変化する電圧電位を印加する。式(1)において以前に示されたように、横ポッケルスセルの必要な半波長電圧は、厚さに比例する。有効口径がN個のセルに分割され、それぞれの厚さが複合有効口径部の厚さの1/Nであるので、上記の式(1)によって表される単一の結晶の直交場において相対的にπの位相遅延を誘発するために必要とされる半波長電圧は、ポッケルスアセンブリ700の中の横ポッケルスセル721・・・・728の数であるNで割られ得る。したがって、扱いにくい高電圧ドライバを必要とし得る、以前から知られているポッケルスセルに必要とされるような数百または数千ボルトの半波長電圧の代わりに、ポッケルスアセンブリ700は、約数十ボルト、または10ボルト未満の半波長電圧で特徴付けられてもよく、それを商業的システムに組み込む実用性を向上させる。
第一および第二の電極741、742は、任意の好適な導体、例えば、金、アルミニウム、銅、またははんだなどの金属、または伝導性ポリマー、インジウムスズ酸化物(ITO)、フッ素をドープした酸化スズ(FTO)、またはドープした酸化亜鉛等の透明導体を含んでもよい。1つの例示的実施形態では、第一および第二の電極741、742は、スラブ740とほぼ同じ屈折率を有する透明電極である。電極741、742は、任意の好適な方法を使用して、例えば、スパッタリング、電気めっき、蒸発、スピンコーティング、および同等物により、スラブ740の対向する主要表面上に配置されてもよい。電極741、742はまた、ポッケルスセル721・・・・728をともに固定する機能を果たしてもよい。例えば、電極741、742は、ポッケルスセル721・・・・728を相互に固定する、はんだまたはろう付けとして機能してもよい。1つ以上の電極741、742はまた、選択的に、1つのポッケルスセル(例えば、ポッケルスセル725)の電極742と別のポッケルスセル(例えば、ポッケルスセル726)の電極741との間の短絡を阻止するように絶縁キャップを含んでもよい。
スラブ740の光軸は、入射光790と平行であるz方向に配向され、スラブは、図5に図示された偏光子523の偏光に対してxおよびy方向に既定角度で配向される。図示された実施形態では、スラブ740は、水平(H)偏光に対応するx方向と平行に配向されるが、使用される特定の配設および材料に応じて、他の配設が構想される。スラブ740の電気光学材料の結晶軸は、任意の好適な方向に配向されてもよい。例えば、電気光学材料のz軸は、図7Aではz方向である入射光790の伝搬方向と平行であってもよく、または直角であってもよい。または、例えば、電気光学材料のy軸が、入射光790の伝搬方向と平行であってもよく、電気光学材料のx軸が、入射光790の伝搬方向と平行であってもよい。
ポッケルスアセンブリ700は、所望の用途において使用するために、例えば、図5に図示されたシステム500で使用するために、x方向に所望の有効口径Dを提供することに十分な数Nのポッケルスセル721・・・・728を含む。具体的には、ポッケルスセルの最小数Nは、所望の有効口径Dが各ポッケルスセルの厚さd(全てのポッケルスセルが同じ厚さであると仮定する)で割られたものにほぼ等しく、すなわち、N=D/dである。多くの状況において、電極741、742(図7Aでは一定の縮尺で描かれていない)の厚さは、スラブ740の厚さと比較するとごくわずかであり、その場合、dは、スラブ740の厚さにほぼ等しくてもよい。各横ポッケルスセル721・・・・728はまた、所望の有効口径Dと少なくとも同じくらいの大きさの横寸法を有するように構成される。
入射光790がポッケルスアセンブリ700を通って伝搬するとき、その光の異なる部分が、異なるポッケルスセル721・・・・728に進入する。各ポッケルスセル内で、それを通って伝搬する光は、そのセルの主要表面から繰り返し反射し、それ自体への干渉を経験する。シートを通って伝搬する光の位相を再構築することができ、したがって、伝搬方向に沿った周期的面で、ポッケルスセルの入口にある画像を再構築することができる。この効果は、タルボット効果として知られている。位相および画像が再構築される面は、タルボット撮像面として知られている。好ましくは、ポッケルスセル721・・・・728は、ポッケルスアセンブリ700の全体を通る伝搬後に、ポッケルスアセンブリ700に入射する光が再撮像されるように、Talbot撮像面に対応するz方向の長さLを有する。そのようなものとして、横ポッケルスセル721・・・・728の長さLは、好ましくは、
にほぼ等しく、ここで、mは、整数であり、dは、ポッケルスセルの厚さであり、nは、スラブ740の屈折率であり、λは、入射光の波長である。付加的な画像面も、式(6)の長さLの1/4の倍数で存在し得るが、逆対称でありおよび/または入射光の特性に対するより優れた感度であり得る。電極が配置される拡張表面は、散乱からの位相ランダム化を低減するために研磨されてもよい。タルボット効果自体は、角度に対して感度が低いが、電極界面における表面損失が、アセンブリ700の角度受入に対する実用的な制限を生じさせる場合がある。一部の実施形態においては、スラブ740と電極741、742との間の界面における吸収および屈折損失を最小化するために、付加的な層または光学的被覆の複数の層が追加されてもよい。また、電極741、742が、実質的に透明であり、スラブ740とほぼ同じ屈折率を有する実施形態では、隣接する横ポッケルスセルの間の反射が低減されるか、または消滅してもよいので、タルボット効果が低減されるか、または消滅してもよいことも留意されたい。そのような実施形態では、タルボット面が必ずしも発生しない場合があるので、ポッケルスアセンブリ700の長さLは、任意の適切な長さ(必ずしも式(6)によって決定付けられない)に設定されてもよい。
一実施形態では、入射レーザ光は、1064nmで中心に位置し、mは、1に等しく、材料は、2.237の屈折率nを有するニオブ酸リチウムであり、dは、0.05mmであり、Lは、2.1cmにほぼ等しい。別の実施形態では、ニオブ酸リチウム材料の厚さは、0.025mmであり、Lは、約0.53cmである。材料厚さの、減少する厚さ以内で減少する長さに対するアスペクト比は、それは、製造可能性にとって有利であり得る。個々のポッケルスセルのスラブ740の厚さおよび長さは、全体的な性能を向上させるために、式(6)に従って調整することができる。
一実施形態では、スラブ740は、入射光が結晶のz軸と平行に伝搬するように切断および研磨されるニオブ酸リチウムの結晶を備え、第一および第二の電極741、742は、結晶のx軸に垂直であるスラブ740の主要表面上に配置される、銅等の金属導体の薄い層である。この実施形態では、結晶のxおよびz軸は、図7Aで定義されるように、システムのxおよびz方向と平行である。そのような結晶について、半波長電圧V1/2は、以下の式によって求められる。
ここで、r22は、ニオブ酸リチウムの電気光学テンソル要素であり、nは、ニオブ酸リチウムの通常屈折率である。0.05mmのスラブ厚さ、および1064nmの中心レーザ波長、および2.237の通常屈折率については、ポッケルスアセンブリ700の半波長電圧は、r22=5.61pm/Vに対して約21Vである。
代替として、周期的に分極されたニオブ酸リチウム(PPLN)が、スラブ740の材料として使用されてもよい。Chenら(Optics Letters, Vol.28,No.16,August 15,2003,pages 1460−1462、その内容全体が参照することにより本明細書に組み込まれる)は、1mmの厚さおよび長さ13mmのPPLNスラブを含む、単一の横ポッケルスセルの反応を研究し、280Vの半波長電圧を報告している。この値は、厚さおよび長さとともに拡大縮小し得るので、0.05mmの厚さおよび1064nmの中心レーザ波長のスラブについて、ポッケルスアセンブリ700の半波長電圧は、約9Vとなることが合理的に仮定されてもよい。
代替として、図7Bに図示されるように、ポッケルスアセンブリ700’は、横ポッケルスセル721’・・・・728’を含み、そのそれぞれは、入射光790’が結晶のx軸と平行に伝搬するように切断および研磨されるニオブ酸リチウムの結晶を有するスラブ740’を含む。第一および第二の電極741’、742’は、結晶のz軸に垂直であるスラブ740’の主要表面上に配置される。この実施形態では、結晶のxおよびz軸は、それぞれ、図7Bにおいて定義されるzおよびx方向と平行である。選択的に、アセンブリ700’からx方向に90度回転している第二の同一ポッケルスアセンブリ700”を提供することによって、自然複屈折による軸外光線の付加的な位相が補われてもよい。この場合、2つのアセンブリの必要な半波長電圧は、単一のアセンブリ、例えば、図7Aのアセンブリ700に必要とされるものの約半分である。
図7Cは、別の代替的なポッケルスアセンブリ701を図示し、図中、隣接するポッケルスセルの第一の電極741”が、相互に隣接して配置され、相互に並列に接続され、かつ電圧源750”に結合された導体751”に接続されるように配設される。例えば、セル722”の第一の電極741”は、セル723”の第一の電極に隣接し、かつ結合される。隣接するポッケルスセルの第二の電極742”も、相互に隣接して配置され、相互に並列に接続され、かつ電圧源750”に結合された導体752”に接続されるように配設される。例えば、セル721”の第二の電極742”は、セル722”の第二の電極742”に隣接し、かつ結合される。隣接するポッケルスセルの上部または下部電極が、意図的に、それらの近隣の上部または下部電極と電気的に接触して配置されるので、図7Cに図示されるもの等の配設は、電極上に絶縁キャップを提供する必要性を未然に防ぎ得る。確かに、一部の実施形態においては、単一の電極のみが、各スラブ間に提供される必要がある(つまり、ポッケルスセル721”および722”の電極742”、742”が、単一の電極を形成するように組み合わされ得る)。
図7A−7Bに図示されたポッケルスアセンブリ700、700’、および700”は、図5に図示されたシステム500等の三次元撮像システムでの使用に限定されないことが明確となるはずである。確かに、ポッケルスアセンブリ600は、大きい有効口径、低い動作電圧、および/または大きい受入角度を有する変調器から利益を享受する、任意の適切なシステムで使用されてもよい。
図5のシステム500は、図7Aの変調器700等のポッケルスセルベースの変調器を含むものとして説明されているが、FPA上の強度変調として、場面からの反射/散乱されたパルス部分のTOFを符号化するために、他の種類の変調器が使用されてもよい。そのような実施形態は、光を直接変調しなくてもよいが、代わりに、FPAの回路によって測定される、光電子によって生成される信号の振幅を変調してもよい。例えば、1つの代替実施形態では、偏光子523、変調器524、および補償器525が省略され、FPA529のピクセルの利得が時間の関数として変調される一方で、FPA528のピクセルの利得は、時間の関数として変調されない。この実施形態では、偏光ビームスプリッタ527は、非偏光ビームスプリッタに置換される。FPAは、入射光子によって生じる全電荷を測定する付随回路を有する感光性部位(ピクセルと呼ばれる)のアレイを含む。回路のうちの一部は、利得を生じるように、ピクセルの中の光電子によって生成される信号を増幅するように構成される(光電子の数に対する測定された電流の割合が生成される)。この実施形態では、そのような回路は、関心の時間ウィンドウ、例えば、10nsにわたって、FPA529のアレイおよび/またはFPA529のアレイの中の個々のピクセルの利得特性を変化させて、各ピクセルと関連する電気信号の時間依存変調を生じるように構成されてもよい。
そのような時間依存変調は、場面から反射または散乱されたレーザパルス部分のTOFを決定するために使用されてもよい。具体的には、FPA528を使用して取得される非変調信号が、正規化画像として使用されてもよく、それに対して、FPA529を使用して取得される変調画像が正規化されてもよい。代替として、なんらかの間隔で1つのフレームの変調をオフにすることによって、非変調画像がFPA529を使用して取得されてもよく、その画像は、正規化画像として使用されてもよく、それに対して、他のフレーム中にFPA529を使用して取得される変調画像が正規化されてもよい。そのような実施形態では、ビームスプリッタ527およびFPA528が省略されてもよい。そのような実施形態では、正規化画像が獲得される場合と、変調画像が獲得される場合との間で、場面内のオブジェクトが有意に移動しないか、または受容レンズ521によって受容される光の量が有意に変化しないことが好ましく、選択的に、FPAのフレームレートは、そのような移動の可能性を低減するように調整されてもよい。各正規化ピクセルの強度は、場面内のオブジェクトによって反射/散乱されたパルス部分のTOF、したがって、これらのオブジェクトの距離および形状を表す。各ピクセルにおける強度の絶対基準はないが、一連のフレーム中のなんらかの周期的頻度におけるフレームを、変調せずに処理することができる(例えば、最大値に設定されたピクセルの利得が使用されている)。反射信号が基準フレーム間で有意に変化しなければ、そのようなフレームは、絶対振幅基準を提供する。
代替として、各ピクセルの利得を時間的に変調する代わりに、各ピクセルによって受容される光の量は、各ピクセルの前に、薄い偏光子に連結される偏光回転子を提供することによって、時間的に変調されてもよい。偏光回転子は、個別に対処可能であってもよく、または、ピクセルによって受容される光の量をほぼ均一に変化させるよう、集合的に制御されてもよい。正規化画像は、例えば、利得変調について上記で説明されるのと同様に取得されてもよい。別の実施形態では、偏光回転子が省略されてもよく、代わりに、時間可変減衰器が提供されてもよい。一般に、0.1〜100nsにわたって、制御された機能でFPAのピクセルによって産生される光電子の量を変化させるために、トランスデューサが使用されてもよい。一実施形態では、トランスデューサは、1つだけの駆動波形が必要とされるように、FPAの全てのピクセルに均一に作用する。
別の代替実施形態では、図5に図示されたシステム500の変調器524は、電気光学ブラッグ偏向器を含み、補償器525およびビームスプリッタ527は、省略される。FPA528は、電気光学ブラッグ偏向器から1の回折次数を受容するように位置し、FPA529は、電気光学ブラッグ偏向器から0の(または回折されていないビーム)回折次数を受容するように位置している。一部の実施形態においては、2つのブラッグ次数が、同じFPA529の異なる領域上に入射する。関心の時間ウィンドウ、例えば、10nsにわたって、FPA528および529によって受容される回折次数の強度を変化させるよう、時間的に変調された制御信号が電気光学ブラッグ偏向器に適用される。受容される画像および後続の処理は、ポッケルスアセンブリによって変調されるものと実質的に同様であってもよい。一実施形態では、FPA528(または529)のみが変調信号を受容し、FPA529(または528)は、非変調信号を受容し、それに対して、変調信号が正規化されてもよい。
さらに別の代替実施形態では、システム500の変調器524は、対向反射面を有する、時間的に変調可能なファブリ・ペロー干渉計等の、エタロンを含む。偏光子523、変調器524、補償器525、およびビームスプリッタ527は、省略されてもよい。単色光に対するエタロン透過は、エタロンの技巧および反射面間の間隔に基づき、したがって、時間の関数として、表面間の距離を変化させることによって、エタロンによってFPA529に透過される光の強度が、光のTOFに応じて変化してもよい。一実施形態では、エタロンは固体であり、反射体間の距離は、例えば、材料を圧縮または伸縮する圧電トランスデューサを使用して、時間の関数として制御可能に可変である。FPA528は、正規化画像を取得するために使用されてもよく、それに対して、FPA529からの変調画像が正規化されてもよい、非変調光を受容するよう構成されてもよい。
(FPA)
図5に図示された実施形態では、第一および第二のFPA528、529は、撮像レンズ526の焦点面に位置し、それぞれ、直交偏光の光を受容する。例えば、偏光ビームスプリッタ527は、FPA528上にH偏光の光を方向付けてもよく、FPA529上にV偏光の光を透過してもよい。FPA528は、第一の偏光成分に基づいて第一の画像を取得し、FPA529は、第二の偏光成分に基づいて第二の画像を取得する。FPA528、529は、本明細書でさらに詳細に説明されるように、記憶およびさらなる処理のために、第一および第二の画像を、プロセッササブシステム540に、例えば、コントローラ541に提供する。好ましくは、FPA528、529は、相互に位置合わせされる。そのような位置合わせは、機械的に行われてもよく、または電子的に(例えば、画像コンストラクタ543によって)行われてもよい。
一部の実施形態においては、FPA528、529は、既製CCDまたはCMOS撮像センサである。具体的には、そのようなセンサは、可視波長用途のために容易に市販されてもよく、システム500で使用するために有意な修正を必要としない。一実施例では、FPA528、529は、2メガピクセルの分解能を有する、商用購入されたCCDセンサである。普遍的な可視波長センサよりも実質的に多大の費用であるが、近赤外用途で使用するためのいくつかのセンサが現在市販されており、他のセンサは現在開発中である。まだ発明されていないものを含む、種々のセンサのうちのいずれかが、本発明の多くの実施形態での使用に成功してもよいことが予測される。一部の実施形態においては、オプションのFPA632が、FPA528、529と同じであってもよい。
しかしながら、状況によっては、特定の一式の特性を有するセンサが好ましくてもよい。例えば、上記のように、各ピクセルが、例えば、100,000個の電子を上回る、深い電子ウェルを有する、焦点面アレイを提供することは、システムによって取得可能な信号対雑音比を向上してもよい。焦点面アレイまた、あるいは代替として、例えば、40dBよりも大きい、または60dBよりも大きい、高いダイナミックレンジを有してもよい。加えて、そのような効果的な深度のウェルは、より浅い深度のピクセル(例えば、それぞれ25,000個以上の電子のウェル深度を有する、4ピクセル)の出力を組み合わせることによって取得されてもよい。好ましくは、FPAの各ピクセルは、飽和してもよいピクセルの電子が、隣接するピクセルの中へ流出しないように、「ブルーミング」を実質的に阻止するように設計されている。
(C.プロセッササブシステム540)
再び図5を参照すると、プロセッササブシステム540は、コントローラ541と、記憶装置542と、画像コンストラクタ543と、GPSユニット544と、電力供給部545とを含む。そのような構成要素の全てが、全ての実施形態に存在する必要があるわけではない。代替として、そのような構成要素の機能性は、FPA528、529上のオンボードプロセッサを含むが、それらに限定されない、システム500の他の構成要素の間に分布してもよい。上記で説明されるように、コントローラ541は、光源511および透過(Tx)レンズ512等の照射サブシステム510のうちの1つ以上の要素、および/または受容(Rx)レンズ521、オプションのFPA532、変調器524、ならびに第一および第二のFPA528、529等のセンササブシステム520のうちの1つ以上の要素と動作可能に連絡してもよい。例えば、変調器524は、コントローラ541からの制御信号に応答して、時間の関数として、それを通して透過される光パルス部分の偏光を変調するように構成されてもよい。1つの例示的実施形態では、コントローラ541は、導体751、752を介してポッケルスセル721・・・・728に適切な電圧を印加する、図7Aに図示された電圧源750に制御信号を送信する。コントローラ541はまた、記憶装置542、画像コンストラクタ543、GPSユニット544、および電力供給部545と動作可能に連絡している。
コントローラ541は、オプションのFPA532ならびに第一および第二のFPA528、529から画像を取得するように、および記憶するために画像を記憶装置542に提供するように構成される。記憶装置542は、RAM、ROM、ハードドライブ、フラッシュドライブ、または任意の他の好適な記憶媒体であってもよい。画像コンストラクタ543は、以下でより詳細に説明されるように、記憶装置542から記憶された画像を取得するように、およびそれに基づいて三次元画像を構築するように構成される。GPS544は、画像を取得する際にシステム500の位置および/属性を識別するように、および対応する画像とともに記憶されるよう、そのような情報を記憶装置542に提供するように構成される。加えて、一連の画像の中の1つのフレームから次のフレームへのシステム500の属性の近似変化を決定するために、加速度計または他の好適な属性測定デバイスが使用されてもよい。この情報は、全体的または相対的な基準フレームに画像を位置合わせする方法の一部として使用されてもよい。電力供給部545は、プロセッササブシステム540の他の構成要素に、ならびに、照射サブシステム510およびセンササブシステム520のあらゆる電動構成要素に、電力を提供するように構成される。
コントローラ541が生成する制御信号に応答して、変調器524は、それを通して透過されるパルス部分の直交偏光状態間の位相遅延Γを生成する。位相遅延Γは、時間の関数であり、以下の式によって表され得、
ここで、gは、電圧Vの関数としての変調器524の応答であり、V(t)は、時間の関数としての印加された電圧である。第一のFPA528のピクセル(i,j)において受容される変調された光パルス部分の強度I528,i,jは、以下のように表され得、
一方で、第一のFPA529のピクセル(i,j)において受容される、変調された光パルス部分の強度I529,i,jは、以下のように表され得、
ここで、図5に図示された実施形態においては、Itotal,i,jは、第一のFPA528のピクセル(i,j)によって受容される強度、および第二のFPA529の対応するピクセル(i,j)によって受容される強度の合計であるI528+529,i,jに等しい。言い換えれば、I528+529,i,jは、偏光ビームスプリッタ527が除去された場合にFPA529によって受容される非変調強度である。Itotal,i,jは、図5の実施形態の2つの相補的画像の合計に基づいて計算されるが、他の実施形態においては、Itotal,i,jは、図12を参照して以下でより詳細に説明されるように、非変調光の画像を取得することによって取得されてもよい。
ピクセル(i,j)において撮像される各光パルス部分のTOFti,j、すなわち、その部分が照射サブシステム510から場面へ、およびセンササブシステム520へ進行するためにかかった時間は、以下のように表され得る式(9)および(10)からのt(パルス部分のTOF)を解くことによって決定され得、
ここで、tは、光パルスが照射サブシステム510から退出する時から、変調器524がそれを通して透過される光の偏光を変調し始める時までの間の時間であり、例えば、tは、デバイスから場面内のオブジェクトまでオフセットされた距離を表す。以下でさらに論議されるように、tは、いくつかの測量技法のうちのいずれか1つを使用して決定されてもよい。次いで、そこからパルス部分が反射または散乱した、オブジェクトの距離zi,jが、以下のように計算され得、
ここで、関数Vおよびgは、時間の単調関数であり、式(11)および(12)は、距離zi,jの一意の解を有する。したがって、画像コンストラクタ543は、それぞれ、第一および第二のFPA528、529によって記録された画像を記憶装置542から取得し、それらに式(11)および(12)を適用することによって場面内の各オブジェクトの各部分の距離zi,jを計算し得る。そのような計算は、変調器524の時間の関数としての応答関数の逆および電圧g(V(t))についての知識を必要とし得ることに留意されたい。一部の実施形態においては、そのような情報は、システムを慎重に較正することによって取得され得る。そのような較正の実施例を以下でさらに提供する。
関数Vおよびgが時間の単調関数ではない場合には、zi,jのいくつかの考えられる値のうちのどれがピクセル(i,j)の正しい値であるかを決定するために、付加的な情報が使用されてもよい。付加的な情報を取得するための多くの方法がある。例えば、場面を照射するために、光の複数の波長が使用されてもよい。偏光変調Γは、各波長に対して強度比を変化させる、各波長に対する異なる電圧の関数であり得る。別の実施例は、第二の変調器、第二の偏光ビームスプリッタ、および第二の対のFPAとともに、第二の変調アーム(図11に関して以下で説明されるものと同様)を有することである。第二の変調器は、異なる時間の電圧関数、例えば、V(t)を適用してもよい。これは、距離zi,jの別の一組の解をもたらし、正しいものだけが両方の解集合に存在する。反射光は、典型的には偏光されないので、初期偏光感受性ビームスプリッタはすでに、第二の変調アームが位置し得る第二の光路を提供している。別の実施例は、正しい距離値を決定するために、画像自体内のキューを使用することである。二次元画像から三次元情報を決定するためにすでに使用されている多くの技法があり、これらが、性能を向上するために適用されてもよい。加えて、(例えば、遠近感効果により)オブジェクトの相対位置が分かっている場合、または問題の表面が連続的である場合、この情報も、正しい距離値を決定するために使用されてもよい。採用され得る多くの他の技法もある。
一部の実施形態においては、距離zi,jの計算は、ポッケルス効果(例えば、図7Aに図示されたポッケルスアセンブリ700、または何らかの他の好適な変調器)に基づいて、変調器の時間の関数としての電圧を直線的に変調することによって、いくらか単純化され得る。そのような変調器では、時間の関数としての偏光変調Γは、以下のように表され得、
ここで、Aは、定数である。加えて、変調器がポッケルス効果に基づくので、偏光変調は、印加された電圧の線形関数であり、以下のように表され得、
ここで、Bは、電圧の関数としての変調器の線形応答関数を表す定数である。そのような変調器について、三次元撮像システム500からのオブジェクトの距離zi,jは、以下のように表され得、
定数AおよびBの値は、システムを較正することによって決定され得、および/または変調器の既知の性質であり得る。そのような計算の単純性は、比較的単純な電子機器でさえも、プロセッササブシステムがリアルタイム距離測定を取得することを可能にする。したがって、結果として得られるデバイスは、比較的コンパクトで、より電力効率的であり得、多くの他の現在の技術と比較して、画像内の各ピクセルの距離値を取得するために、高性能の後処理を必要としなくてもよい。代替として、そのような計算は、FPA528、529内のオンボード電子機器を使用して行われてもよい。
一実施形態では、第一および第二の離散FPA528、529、ならびに画像コンストラクタ543は、それらに基づく三次元画像を取得するために使用され得る、受容された光パルス部分に対応する第一の画像、および変調された受容光パルス部分に対応する第二の画像を生成するための手段を構成する。例えば、第一の画像は、FPA528、529によって取得される、2つの相補的変調画像の合計(その合計は画像コンストラクタ543によって計算されてもよい)に対応し得、第二の画像は、FPA529によって取得される画像に対応し得る。別の実施形態では、単一のFPAおよび画像コンストラクタ543は、それらに基づく三次元画像を取得するために使用され得る受容光パルス部分に対応する第一の画像、および変調された受容光パルス部分に対応する第二の画像を生成するための手段を構成する。例えば、第一の画像は、単一のFPAによって取得される2つの相補的変調画像の合計(その合計は画像コンストラクタ543によって計算され得る)に対応してもよく、第二の画像は、変調画像のうちの1つに対応し得る。そのような実施形態は、例えば、電気光学ブラッグ偏向器、または本明細書で提供される他の変調器といった、ポッケルスセルベースの変調器以外の変調器が、光パルス部分を変調するために使用される実施形態を含んでもよい。
別の実施形態では、第一および第二の離散FPA528、529は、受容された光パルス部分に対応する第一の画像、および変調された受容光パルス部分に対応する第二の画像を生成するための手段を構成する。例えば、第一の画像は、FPA528、529によって取得される2つの相補的変調画像の合計(その合計はFPAの一方または両方の上のオンボード回路によって計算されてもよい)に対応し得、第二の画像は、FPA529によって取得される画像に対応し得る。さらに別の実施形態では、単一のFPAが、それらに基づく三次元画像を取得するために使用され得る受容光パルス部分に対応する第一の画像、および変調された受容光パルス部分に対応する第二の画像を生成するための手段を構成する。例えば、第一の画像は、単一のFPAによって取得される、2つの相補的変調画像の合計(その合計はFPA上のオンボード回路によって計算されてもよい)に対応し得、第二の画像は、変調画像のうちの1つに対応し得る。そのような実施形態は、例えば、電気光学ブラッグ偏向器、または本明細書で提供される他の変調器といったポッケルスセルベースの変調器以外の変調器が、光パルス部分を変調するために使用される実施形態を含んでもよい。
式(11)、(12)、および(15)によって表される式は、「理想的な」場合に対するものであることに留意されたい。実世界では、測定値、例えば、I528,i,j、I520,i,j、t、およびg(V(t))、またはAおよびBに、系統的および確率的誤差がある。例えば、受容された光子を、その後に電子的に測定される電子に変換する全てのFPAは、電子機器における熱的効果を含む、多くの効果から生じる雑音電子という問題を抱えていることが知られている。これらの雑音電子は、各ピクセルにおける入射光子の数とは無関係である雑音信号Nをもたらす場合があり、標準偏差とともに平均値によって特徴付けられ得る。加えて、各ピクセルに届く光子は、ピクセルの電磁場の量子ゆらぎを引き起こすことによって、ショット雑音を生成する。このショット雑音項の標準偏差は、受容された光子の数の平方根となる。また、FPA528、529を照射する照射サブシステム510によって生成される光以外の光に関連する誤差があり得る。
上記に記載されるもの等の誤差は、取得された距離測定の分解能を低減する(または不確実性を増加させる)場合がある。本発明のいくつかの実施形態は、測定された距離値の不確実性を、例えば、一実施形態においては5mm未満まで低減する技法を含む。この目的に対して、不確実性は、一連の同一の測定値に対する距離の値の幅の標準偏差として定義される。
他のデジタル撮像技法と同様に、信号から入手可能な信号の有用なビットの数は、雑音信号のビットを引いた信号の総ビットに等しいか、または同等に信号対雑音比SNRに等しい。システムのSNRは、以下のように表され得、
ここで、σN1は、第一の発生源からの雑音の標準偏差であり、σN2は、第二の発生源からの雑音の標準偏差であり、Iは、信号の強度である。距離を特徴付けるために利用可能なビットの数Nsigは、
と表され得る。
距離測定の誤差がSNRの平方根に比例するので、いくつかの実施形態においては、画像コンストラクタ543は、各ピクセルの誤差値を計算してもよく、誤差が所定の閾値を超えるかどうかをリアルタイムでユーザに示してもよい。そのような閾値は、状況によっては、特定の用途に基づいてユーザによって設定されてもよい。誤差が所定の閾値を超えるという画像コンストラクタの表示に応答して、ユーザは、潜在的により高い光エネルギーによって場面を再撮像することを選択し得る。対照的に、以前から知られている走査技法では、場面に関する情報の全てが、十分な雑音を伴って獲得されたかどうかがしばらく分からない場合があり、例えば、それはユーザが撮像過程を終了したずっと後であり得る、点群が分析されるまで分からない場合がある。
本発明の一実施形態では、距離分解能は、照射サブシステム510が生成する光パルスのエネルギーを制御することによって向上させられる。具体的には、コントローラ541は、第一および第二のFPA528、529によって記録される画像の最も明るい部分における強度を、FPAの飽和限界と比較してもよい。最も明るい部分における強度が、FPAの飽和限界のなんらかの閾値割合を下回る、例えば、FPAの飽和限界の99%を下回るか、または98%を下回るか、または95%を下回るか、または90%を下回る場合には、コントローラ541は、制御信号を照射サブシステム510に送信し、第一および第二のFPAによって記録される画像の最も明るい部分が、FPAの飽和限界の閾値割合以上であるが、飽和限界を下回るレベルまで、生成された光パルスのエネルギーを増加させるように命令してもよい。逆に、最も明るい部分における強度が、FPAの飽和限界以上である場合には、コントローラ541は、制御信号を照射サブシステム510に送信し、第一および第二のFPAによって記録される画像の最も明るい部分が、FPAの飽和限界を下回るが、閾値割合以上であるレベルまで、生成された光パルスのエネルギーを減少させるように命令してもよい。
FPA画像の最も明るい部分を飽和限界に近づけるためにパルス電力を制御することは、ショット雑音のSNRを増加させ得る一方で、同時に、電子雑音等の一定の雑音源と比較して、信号のSNRを劇的に増加させる。多くの実施形態では、三次元撮像システム500が、場面内のオブジェクトに比較的近くに位置しているので、遠くのオブジェクトの距離情報を取得するように構成される、以前から知られているシステムにおいて利用可能であるよりも、有意に多くの照射レーザ光が、FPAによる検出に利用可能である。例えば、システムが遠くの標的の距離情報が取得されるように構成される一方で、受容された光の量は比較的低く、一定の電子雑音がデータに悪影響を及ぼす場合がある。これらの以前のデバイスについて、Nsig<5またはそれ以下であり、性能を多くの用途にとって不満足にする。対照的に、説明された実施形態では、画像強度を監視し、適切にレーザエネルギーを制御することは、10倍を超える改善であるNsig>9の値を提供し得る。加えて、高いダイナミックレンジを有するFPAを適切に選択することは、例えば、最大20のNsigの値を提供し得る。
所与の一対の相補的画像について、たとえ画像の最も明るい部分がFPAの飽和限界に近くても、画像の他の部分が、これらの部分において撮像されるオブジェクトの距離を正確に計算するには不十分に照射されている場合がある。例えば、オブジェクトの複数部分または全てが、照射波長において高度に吸収性であり得、よって、センササブシステム520に向かって不十分な光を反射または散乱する場合がある。または、例えば、オブジェクトが反射性であり得るが、センササブシステム520から光パルスを反射するように角度を成し得る。そのような状況では、場面の三次元画像の分解能を増加させるために、様々なパルス強度において一連の画像を取得することが有用であり得る。図8は、場面の画像の分解能を増加させるための方法800のステップを図示する。第一に、第一のエネルギーの光パルスが生成されてもよく、場面が同パルスで照射されてもよい(810)。第一のエネルギーは、場面によって反射/散乱されるパルス部分のうちのいくつかが、飽和限界の閾値割合以上であるが、FPAの飽和限界を下回るように選択されてもよい。次いで、場面の第一の対の相補的画像が取得され、三次元画像を取得するように解析される(820)。SNRがそれらの画像の部分内で高かったので、いくつかのオブジェクトが、高い分解能で撮像され得る一方で、例えば、吸収または不良な反射により、SNRがそれらの画像の部分内で低かったので、他のオブジェクトが不十分な分解能で撮像され得る。
第一の三次元画像において不十分に分解されるオブジェクトに関する強化情報を取得するためには、吸収性または低反射性のオブジェクトからより多くの量の光を取得するために、より大きいエネルギーのレーザパルスを使用して測定が繰り返されてもよい。具体的には、第二のエネルギーの光パルスが生成されてもよく、場面が同パルスで照射されてもよい(830)。例えば、コントローラ541が、制御信号を照射サブシステム510に送信し、特定の増加したエネルギーの光パルスを生成するように命令してもよい。代替として、コントローラ541は、可変強度フィルタまたは液晶減衰器等の、光パルスの光路内の別個の光学的構成要素に制御信号を送信し、光の大部分がそれを通して透過されることを可能にするように命令してもよい。第二のエネルギーは、場面によって反射/散乱されるパルス部分のうちのいくつかが、FPAの飽和限界を上回る、例えば、10%以上か、または20%以上か、または50%以上か、または100%以上か、または200%以上か、または500%以上か、または1000%以上FPAの飽和限界を上回るように選択されてもよい。好ましくは、FPAは、飽和するピクセルが実質的に「ブルーム」しない、すなわち、隣接するピクセル上に光電子を漏出して、これらの隣接するピクセルにおいてより高い信号という錯覚を生じないように構成される。
次いで、場面の第二の対の相補的画像が取得され、三次元画像を取得するように分析される(840)。第二の測定のために光パルスエネルギーを増加させることによって、それらのSNRが向上させられ得るので、第一の三次元画像において不十分に分解されたオブジェクトは、第二の三次元画像においてより高い分解能で撮像され得る。しかしながら、これらのオブジェクトの情報を記録するピクセルが、第二のエネルギーの光パルスによって飽和させられている場合があるので、第二の三次元画像は、第一の三次元画像において十分に分解されなかったオブジェクト等の、場面内の他のオブジェクトに関する使用可能な情報を含有しない場合がある。そのように、場面の第一および第二の三次元画像は、第一と第二の三次元画像とを比較して、増加した分解能を有する三次元画像を取得するように組み合わせられてもよい(850)。第一および第二の画像のどの部分を使用するか、または不十分に分解されたオブジェクトまたは飽和したピクセルに対応するものとして破棄するかを決定するために、任意の好適なアルゴリズムが使用されてもよい。測定は、十分な分解能で場面内の各オブジェクトを撮像するように、種々のパルスエネルギーを使用して繰り返されてもよい。この方法は、FPA528、529の飽和または露出のレベルを変化させて、一連のフレームにわたって繰り返されてもよい。これは、いくつかのフレームのそれぞれからの各ピクセル(i,j)における値を適正に組み合わせることによって、システム500が移動していない静止場面に対して行われてもよい。一部の実施形態においては、アルゴリズムが、各フレームの対応するピクセルをマスタフレームのピクセル(i,j)に位置合わせするために使用されるように、システム500が移動していてもよく、または関心のオブジェクトが移動していてもよい。
図8に図示された方法800はまた、システム500のダイナミックレンジを増加させるために考慮され得ることに留意されたい。例えば、第一の画像は、10という非ショット雑音値を仮定して、Nsig=7.9に対応する1対100,000の信号を含み得る。第二の画像は、100,000から1010までの信号を測定するために、100,000だけ減衰させられてもよい。2つの画像が組み合わせられると、これがさらに8ビットを提供して、Nsig=15.9ビットである。
代替として、または加えて、システム500の分解能およびダイナミックレンジは、FPA528、529のダイナミックレンジを増加させることによって増加させられ得る。例えば、一実施形態では、FPA528、529の範囲は、Bayerフィルタ等の、カラー画像を取得する目的でFPA上に一般的に提供されるカラーフィルタを活用することによって増加させられる。Bayerフィルタ900の概略図が図9Aに図示されている。フィルタ900は、複数の赤色フィルタ(R)、青色フィルタ(B)、および緑色フィルタ(G)を含む。カラー(R、B、またはG)フィルタのそれぞれは、第一または第二のFPA528、529上の対応するピクセルの上に横たわる。図9Bは、図9Aに図示されたものと同様のBayerフィルタを有する、市販のFPAのスペクトル応答曲線を図示する(KODAK KAI−16000 Color Image Sensor,Eastman Kodak Company,Rochester,NY)。Bayerフィルタのさらなる詳細については、その内容全体が参照することにより本明細書に組み込まれる米国特許第3,971,065号を参照されたい。
図9Bに図示されるように、緑色フィルタによって覆われたFPAのピクセルは、550nmを中心にして、比較的大きい絶対量子効率を有する。したがって、照射サブシステム511が、例えば、532nmにおいて、スペクトルの緑色部分内において光パルスを生成する場合、緑色フィルタ(G)の下にあるFPAピクセルは、高度に反応し、例えば、約0.35の絶対量子効率を有する。対照的に、青色フィルタによって覆われたFPAの部分は、465nmを中心にした比較的大きい絶対量子効率、および532nmにおける約0.10の比較的低い効率を有する。赤色フィルタによって覆われたFPAの部分は、620nmを中心にした比較的大きい絶対量子効率、および532nmにおける約0.01の比較的低い効率を有する。したがって、照射サブシステム510が、532nmにおいて光パルスを生成する場合、緑色フィルタによって覆われたピクセルは、青色フィルタによって覆われたピクセルよりも少なくとも3倍、反射/散乱された光パルス部分に反応し、赤色フィルタによって覆われたピクセルよりも少なくとも30倍反応する。したがって、単色光については、そのようなカラーフィルタが、FPAのダイナミックレンジおよび分解能を30倍以上拡大するために使用されてもよい。
FPAが図9Aに図示されたBayerフィルタ900等のカラーフィルタを含む、一部の実施形態においては、照射サブシステム510によって生成される光パルスのエネルギーは、必ずしも様々なエネルギーのパルスの使用を必要としないが、図8に図示された方法によって提供されるものと同様の効果を提供するために、そうでなければFPAの飽和限界に近くなるであろう、そのエネルギーを30倍以上回って増加させられ得る。具体的には、パルスエネルギーは、最も反応が低いピクセル(例えば、赤色フィルタによって覆われたピクセル)が、これらのピクセルの飽和限界の閾値割合以上であるレベルにまで増加させられ得る。そのようなエネルギーにおいて、最も反応が低いピクセルが、最も多くの光を反射/散乱する場面内のオブジェクトを満足に撮像し得る。これらのピクセルからの情報は、図8のステップ820で産生されるものと同様の第一の画像を構築するために、例えば、フィルタの記憶されたマップに基づいて選択されてもよい。このエネルギーにおいて、場面内の高い反射性/散乱オブジェクトから光子を受容する、より反応が高いピクセル(例えば、緑色または青色フィルタによって覆われたもの)が、飽和させられ得
る一方で、最も反応が低いピクセルは、低い反射性/散乱オブジェクトであるオブジェクトを満足に分解することに不十分な量の光を受容し得る。しかしながら、場面内のそのような低い反射性/散乱オブジェクトから光子を受容する、より反応が高いピクセルは、そのようなオブジェクトを満足に撮像し得る。これらのピクセルからの情報は、図8のステップ840で産生されるものと同様の第二の画像を構築するように選択されてもよい。異なる反応性のピクセルがあるだけ多くのそのような画像が取得されてもよく、いずれか1種類のピクセルを使用して取得される画像と比較して増加した分解能を有する三次元画像を取得するために、ともに組み合わせられてもよい。
当然ながら、図8の方法はまた、三次元撮像システムのダイナミックレンジおよび分解能をさらに拡張するために、カラーフィルタを有するFPAとともに使用されてもよい。加えて、Bayerフィルタ以外のフィルタが、FPAのダイナミックレンジを拡張するために使用されてもよい。例えば、任意の好適なパターンで構成される、RBGフィルタ、CMYKフィルタ、または他の好適なフィルタに基づいてもよい、他のカラーフィルタが使用されてもよい。または、例えば、減衰の任意の好適な数の異なるレベル(例えば、2以上、または3以上、または5以上、または10以上)が任意の好適なパターンで提供される、減衰(グレースケール)フィルタのパターンが使用されてもよい。しかしながら、Bayerフィルタは、しばしば、スペクトルの可視領域内で使用するために構成されるFPAの標準構成要素として提供されるので、Bayerフィルタの使用が、状況によっては、最低費用の代替案であり得る。どちらのフィルタが選択されても、記憶装置542に記憶され、異なるピクセルに基づく異なる画像の構築中に使用されてもよいカラー/グレースケールマトリクスを形成するために、標準カラー/グレースケール補正技法を使用して、個々のピクセルの反応が較正されてもよい。加えて、フィルタを使用する代わりに、いくつかのFPAは、各ピクセルにおいて異なる感度の複数のセンサを含む。代替として、レンズ521によって収集される光は、異なる光路に分離されてもよく、異なる光路は、既知の量だけ減衰されてもよい。FPAは、マルチチップカラーカメラが3つの色を3つの異なるFPAへの3つの光路に分割する方法と同様に、各光路の端に提供されてもよい。そのような場合において、照射光パルスエネルギーは、最も多くの減衰ビームを受容するFPA内の最も明るいピクセルをほぼ飽和させるよう、選択されてもよい。図8を参照して上記で説明される実施形態に関して、コントローラ541は、照射サブシステム510に、生成される適正なパルスエネルギーについての命令を含有する制御信号を送信してもよく、または、提供されるならば、適切な減衰光学部に制御信号を提供してもよい。
本発明の別の実施形態は、より高いSNRを効果的に達成するために、ピクセルをともにビンニングすることを利用する。相補性金属酸化物半導体(CMOS)を含むもの等の、いくつかのFPAについて、チップ自体の上の「スーパーピクセル」の中へピクセルをビンに入れることが可能である。他のFPAについて、そのようなビンニングは、記憶装置542の中の画像の情報量を修正するために、画像コンストラクタ543によって行われ得る。4つのピクセル、例えば、ピクセルの2×2アレイをともにビンに入れることによって、Nsigが2だけ増加させられ得る。
別の実施形態は、例えば、ボックスカー平均を行うことによって、経時的に平均化することを用いてSNRを増加させる。一部の実施形態においては、コントローラ541は、FPA528、529によって取得される一対の相補的画像の中の複数のレーザパルスからの反射光を統合することによって、そのような平均化を行う。他の実施形態においては、画像コンストラクタ543は、複数の記憶された三次元画像の中の距離値を平均化することによって、そのような平均化を行う。画像コンストラクタ543は、たとえ場面内のオブジェクトまたは撮像システムが移動していても、各画像内のピクセルを、単一の一般化基準座標フレームに位置合わせすることによって、そのような画像から画像への平均化を行い得る。コントローラ541および/または画像コンストラクタ543はまた、デジタル画像および/またはビデオの質を向上させるために、別の平均化および同様の技法を適用してもよく、これらは、概して、距離分解能を向上させるために、本発明に適用することが可能である。コントローラ541および/または画像コンストラクタ543は、時間的に多くのパルスまたは画像にわたって、または空間的に多くのピクセルにわたって、または両方にわたってそのような画像向上技法を適用してもよい。
FPA528および529の反応におけるピクセル間の変動、偏光ビームスプリッタ527による直交光成分の不完全な分離、および/または変調器524による反射/散乱パルス部分の変調の非線形性等の系統的雑音源も、システム500に存在する場合があり、それは、変調器524に印加される電圧傾斜の非線形性、および/または印加された電圧に対する変調器の時間的反応の非線形性をもたらす場合がある。本発明の実施形態は、組立後にシステム500を慎重に較正することによって、そのような系統的雑音源を低減する。例えば、FPA528、529の基準応答は、特定の反射率の範囲、例えば、10%、20%、30%、40%、50%、60%、70%、80%、90%、および100%を有する一連の一様に平坦な非偏光表面の画像を取得するために、FPA528、529を使用することによって決定されてもよい。そのような一連の画像は、代替として、最大エネルギーの同様の一連の割合だけ、照射サブシステム510によって生成されるパルスのエネルギーを変化させることによって取得されてもよい。較正に使用されるレベルは、FPAおよびデバイスのダイナミックレンジにわたって結果が有効であるように選択されてもよい。一連の画像は、結果として生じる画像が各レベルの入射光において実質的に均一となるように、各ピクセルの応答を補正するために使用されてもよい、各ピクセルの曲線を生成するように解析されてもよい。そのような曲線は、例えば、較正マトリクスとして記憶装置542に記憶され、図3に図示されるもの等の三次元画像を形成するために使用する前に、二次元強度画像を補正するために画像コンストラクタ543によって使用されてもよい。
好適な較正技法はまた、FPA528、529のピクセルを正確に位置合わせするために使用されてもよい。例えば、単一のピクセル(例えば、球体)よりもはるかに小さい精度で、その重心が決定され得る一式の精密標的が、2つのFPAを用いて撮像されてもよい。FPAは、画像をともに位置合わせするために、機械的に調整されてもよく(例えば、先端および斜面に沿って、x、y、およびd方向に調整される)、および/または(例えば、画像コンストラクタ543を使用して)オフセットが電子的に調整されてもよい。
式(11)および(12)を参照して上記で説明されたように、変調器524の時間依存および電圧依存の応答関数g(V(t))ならびに時間遅延tの知識は、場面内のオブジェクトの距離に関する情報を正確に取得するために使用されてもよい。一部の実施形態においては、そのような応答関数および時間遅延は、平坦な標的の一連の測定を行うことによって較正されてもよく、その場合、標的は、用途およびデバイスに使用される、全体距離「被写界深度」(距離ウィンドウ)を網羅する距離の範囲間で移動させられる。例えば、変調器が、システムから5〜10メートルの距離に対応する期間にわたって、略線形的に変調される場合、較正標的は、デバイスから5メートル、6メートル、7メートル、8メートル、9メートル、および10メートルに位置してもよい。パルスが各位置において標的から反射するとき、パルスのTOFが変化するので、パルスは、異なる時間遅延および変調器524の変調応答関数g(V(t))の異なる部分を経験する。zi,jおよびti,jが較正から分かるので、g(V(t))およびtは、FPA528、529の各ピクセルi、jにおける強度に基づいて計算され得る。g(V(t))に対する較正曲線は、例えば、記憶装置542に記憶され、図3に図示されるもの等の三次元画像を形成するために使用する前に、二次元強度画像を補正するために画像コンストラクタ543によって使用され得る。
代替として、主要な照射光パルスから特定の一連の遅延において光パルスを生成するために、一連の内部光学遅延が使用されてもよい。これらの光学遅延は、所望されるときに、例えば、コントローラ541による制御信号に応答して、FPA528、529まで変調器524を通過するように、デバイスの内部を送られてもよい。これらの遅延は、上記の実施形態と同様の遅滞遅延関数g(V(t))を生じさせることができる、正確な距離に対応する。代替として、システム500は、楔形または線等のなんらかの幾何学形状にわたって、多くの跳ね返りの後に、十分な長さの遅延を生じるように配設される光学的要素を含んでもよい。一部の実施形態では、短パルスレーザダイオードが、時間ウィンドウの間、特定の間隔で短パルス(例えば、<1ns)を放出するように誘起されてもよい。一部の実施形態においては、光学遅延は、所定の長さのいくつかの光ファイバのうちの1つに較正パルスを分割することによって生成されてもよい。
三次元画像の分解能を向上するための種々の技法のうちのいずれかを採用することに加えて、コントローラ541は、画像の「被写界深度」(DOF)または「距離ウィンドウ」とも呼ばれ得る、そのような画像の範囲をさらに向上させ得る。画像の被写界深度を増加させることは、場面内のオブジェクトがある範囲の距離にわたって位置している複雑な場面の三次元画像または動画を取得するために、システムが使用されるときに特に有用であり得る。例えば、図2を参照して上記で記述されたように、場面によって反射/散乱されたパルス部分の変調は、既定の距離ウィンドウに対応する、既定の開始時間および既定の継続時間を有する時間ウィンドウにわたって発生し得る。システムが、そのような距離ウィンドウ内のみのオブジェクトに関する情報を獲得することに限定される場合、その適用性が限定される場合がある。
第一に、システム500がより大きいダイナミックレンジを有するために、被写界深度は、Taboadaのデバイス等の、生産されている他のデバイスよりも大きく設定され得る。Nsigが有意に大きいので、増加した距離分解能が達成され得る一方で、同時に、変調期間をより大きくし、より大きい被写界深度を生じさせる。
加えて、図10は、図5のコントローラ541が三次元画像の距離をさらに拡張し得る「適応被写界深度」方法を図示する。例えば、撮像システム500から5〜55メートルの間の距離ウィンドウ(被写界深度)にわたって場面の画像を取得することが望ましくあり得るが、任意の単一のフレームの距離ウィンドウは、所望の距離分解能を達成するために10メートルに限定されてもよい。単一のフレームで取得可能なものと比較して増加した範囲を有する三次元画像を取得するために、最初に、コントローラ541が照射サブシステム540に伝送する制御信号に応答して、場面が第一の光パルスで照射され得る(1010)。場面によって反射/散乱された第一の光パルスの部分が変調器524を通して透過されると、これらの部分の偏光が、第一の時間ウィンドウにわたって変調される(1020)。そのような時間ウィンドウは、例えば、撮像システムから5メートルの距離から始まる、10メートルの距離ウィンドウに対応するように選択されてもよい。第一の三次元画像が、例えば、画像コンストラクタ543を使用して、第一の光パルスの変調された部分に基づいて取得される(1030)。上記で提供される実施例を続けて、そのような画像は、例えば、撮像システムから5〜15メートルに位置したオブジェクトに関する情報を含有してもよい。
次いで、場面は、一部の実施形態においては、第一の光パルスと実質的に同じエネルギーであり得る第二の光パルスで照射されてもよい(1040)。場面によって反射/散乱された第二の光パルスの部分が変調器524を通して透過されるにつれて、これらの部分の偏光が、第二の時間ウィンドウにわたって変調される(1050)。そのような第二の時間ウィンドウは、任意の所望の時に開始および終了してもよく、例えば、第一の時間ウィンドウと重複してもよく、または第一の時間ウィンドウの直前あるいは直後であってもよい。第二の時間ウィンドウは、第一の時間ウィンドウと同じ継続時間を有してもよく、または適宜に、より長く、あるいはより短くてもよい。
例えば、第一の時間ウィンドウが、関心の情報を少ししか含有しない場面の第一の距離ウィンドウに関する情報を収集するように選択され得、それで、広がった時間継続(より低い分解能に対応する)を有し得る一方で、第二の時間ウィンドウは、関心のオブジェクトを含有する場面の第二の距離ウィンドウに関する情報を収集するよう選択され得、それで、短縮した時間継続(より高い分解能に対応する)を有し得る。次いで、第二の光パルスの変調された部分に基づいて、第二の三次元画像が取得される(1060)。上記で提供された実施例を続けて、第二の画像は、撮像システムから15〜25メートルに位置したオブジェクトに関する情報を含有してもよい。他の変調ウィンドウにわたってステップ1040〜1060を繰り返すことによって、任意の所望の数の付加的な画像が取得され得る。第一と第二の画像(ならびに任意の他の画像)とは、組み合わせられ得、それにより、第一および第二の画像と比較して増加した範囲を有する三次元画像を取得する(1070)。
本明細書で説明される他の方法のように、図10に図示された方法も、動画の獲得に適用され得る。そのような動画は、例えば、比較的静止した背景に対して経時的に移動するオブジェクトを含有してもよく、その場合、移動オブジェクトは、主要な関心であり、特定の距離ウィンドウ内に位置する(その場所は経時的に推移してもよい)。場面は、第一のパルスで照射され得、その反射/散乱部分は、第一の三次元画像を形成するために、背景の全体または一部分に対応するように選択される第一の時間ウィンドウにわたって変調される。次いで、場面は、第二のパルスで照射され得、その反射/散乱部分は、第二の三次元画像を形成するために、移動オブジェクトを包含するように選択される第二の時間ウィンドウにわたって変調される。第二の時間ウィンドウは、任意の所望の方法で第一の時間ウィンドウと関係付けられてもよい。例えば、第二の時間ウィンドウは、背景よりも高い分解能で移動オブジェクトに関する情報を取得するように、第一の時間ウィンドウよりも狭くてもよい。第二の時間ウィンドウはまた、第二の画像が、より高い分解能であるが、第一の画像に含有される情報のうちのいくらかを含有するように、第一の時間ウィンドウによって完全または部分的に包含されてもよい。代替として、第二の時間ウィンドウは、場面の別個の非重複空間領域に関する情報を含有するように、第一の時間ウィンドウと重複していなくてもよい。第一と第二の画像とは、動画の第一の三次元フレームを構成する三次元画像を形成するように組み合わせられてもよい。
次いで、場面は、第三のパルスで照射されてもよく、その反射/散乱部分は、第三の三次元画像を形成するために、移動オブジェクトを包含するように選択される第三の時間ウィンドウにわたって変調される。第三の時間ウィンドウは、例えば、関心のオブジェクトがどれだけ速く移動しているかに応じて、第二の時間ウィンドウと同じであってもよく、または第二の時間ウィンドウと重複してもよく、または第二の時間ウィンドウと重複していなくてもよい。第三の画像は、動画の第二の三次元フレームを構成する三次元画像を形成するように、第一の画像と組み合わせられてもよい。背景が変化していないか、または関心のオブジェクトと比較して比較的ゆっくり変化しているので、背景画像(第一の画像)は、関心のオブジェクトに関する情報を失うことなく、動画のいくつかのフレームを形成するために使用されてもよく、したがって、一連の三次元動画フレームの獲得に関与する時間および計算を削減し得る。そのような背景画像は、移動オブジェクトの画像が獲得される速度のなんらかの割合であり得る任意の所望の速度で、例えば、半分の速度で、または3分の1の速度で、または4分の1の速度で、または5分の1の速度で、または10分の1の速度で獲得されてもよい。
加えて、上記の実施形態ののうちのいくつかは、反射/散乱パルス部分の偏光を直線的に変調するが、正弦波または鋸波等の非単調(しかし必ずしも周期的ではない)波形を含む、他の変調波形が、三次元撮像システムの被写界深度を増加させるために効果的に使用されてもよい。例えば、図11を参照して、代替的なシステム1100は、図5の対応する要素と同様であってもよい、受容(Rx)レンズ1121および帯域通過フィルタ(BPF)1122と、第一および第二の変調アーム1110、1120とを含む。システム1100はまた、選択的に、図5で図示されているが、簡単にするために図11では省略されているもの等の、可視撮像サブシステムを含んでもよい。
システム1100は、選択的に、偏光ビームスプリッタであり、帯域通過フィルタ1122からの光のうちのいくらかが第一の変調アーム1120に透過されることを可能にし、帯域通過フィルタからの光の他の部分を第二の変調アーム1110に方向転換する、ビームスプリッタ1123を含む。第一の変調アーム1120は、変調器1124と、補償器(Cp.)1125と、撮像レンズ1126と、偏光ビームスプリッタ1127と、第一および第二のFPA1128、1129とを含み、そのそれぞれは、図5を参照して上記で論議される、対応する構成要素と同じであってもよい。第二の変調アーム1110は、変調器1114と、補償器(Cp.)1115と、撮像レンズ1116と、偏光ビームスプリッタ1117と、第一および第二のFPA1118、1119とを含み、そのそれぞれは、第一の変調アーム1120の中の対応する構成要素と同じであってもよい。システム1100はまた、照射サブシステムと、図5を参照して上記で論議されるものと同じであってもよいコントローラを含む画像処理サブシステムとを含んでもよい。一部の実施形態においては、正規化画像が他方のアームから取得され得るので、変調アーム1110または変調アーム1120は、それぞれ、単一のFPA1119または1129のみを使用してもよい。
動作中、システム1100のコントローラ(図示せず)は、変調器1115とは異なる制御信号を変調器1124に送信してもよい。例えば、コントローラは、制御信号を変調器1124に送信し、時間の関数として、それを通して透過されるパルス部分の偏光を変化させるように命令してもよい。相対的に、コントローラは、制御信号を変調器1114に送信し、例えば、変調器1124の単一の単調変調の継続時間中に複数回繰り返す正弦波動または鋸波動の関数を使用して、それを通して透過されるパルス部分の偏光を非単調に変化させるように命令してもよい。第一の変調アーム1120上のFPA1128、1129によって取得される画像は、比較的広い距離ウィンドウ、例えば50メートルのウィンドウに関する情報を含有してもよい。このアームは同じ分解能を達成する必要がないので、一部の実施形態においては、このアームへと進む光の割合が<50%であるように、ビームスプリッタ1123を選択することが有用であり得る。対照的に、第二の変調アーム1110上のFPA1118、1119によって取得される画像は、第一の変調アームによって取得される、より広い距離ウィンドウによって包含される、比較的狭い距離ウィンドウに関する情報を含有してもよい。第一の変調アームによって取得される画像の中の情報は、第二の変調アームによって取得される画像の中のオブジェクトの位置を固定するために使用されてもよく、したがって、被写界深度全体にわたって同時三次元測定を提供する。
別の実施形態においては、主要な特徴までの初期距離が、前のフレームの間に、単一の測量フォトダイオードまたはいくつかのフォトダイオードによってほぼ決定されてもよい。後続フレームの変調期間の中心のタイミングは、いくつかの方法のうちの1つにおいて設定されてもよい。例えば、それは、初期値に設定されてもよく、または一連の前のフレームの中の主要な特徴の傾向に基づいて設定されてもよく、または光自動焦点技法を使用して設定されてもよい。1つより多くの照準ダイオードまたは自動焦点位置が使用される場合、これらの複数の部位またはダイオードの加重平均を行うために光自動焦点メカニズムにおいて使用されるものと同様のアルゴリズムが使用されてもよい。
これらの実施形態と組み合わせて、例えば、図5のコントローラ541からの制御信号に応答して、変調器524によって与えられるパルス部分変調の継続時間を変化させることによって、被写界深度(距離ウィンドウ)の長さが適宜に調整されてもよい。加えて、DOFのある領域にわたって、より高い距離分解能を取得することが所望される場合、変調の傾斜が、その領域の中で増加させられてもよい。次いで、傾斜が、残りの変調期間中に減少させられてもよく、より高い分解能が必要とされない場面の他の領域中において、より低い距離分解能を生じさせる。満足な三次元画像または動画を達成するために使用され得る多くの組み合わせが存在することを理解されたい。
前述のように、三次元画像は、大域座標基準フレーム、所望であれば、GPSベースのフレームまたは何らかの他の所望の基準フレームに基づいて位置合わせされてもよい。そのような位置合わせは、画像向上アルゴリズムを行うために異なるフレームからのデータを使用する能力を提供し得る。それはまた、場面または場面内のオブジェクトの実質的に完全な三次元表現を作成するために、いくつかのフレームからの画像およびビデオ情報を使用するメカニズムを提供し得る。このことは、異なる視点から行われてもよい。例えば、ある数のフレームの後に、オブジェクトの全ての側面が撮像されてもよいように、オブジェクトまたはオブジェクト群が、何らかの軸の周りを回転させられてもよい。回転が一様である必要はない。次いで、画像からのデータが、オブジェクトの表面の全体三次元表現に組み立てられてもよい。代替として、撮像システム500のユーザが、関心のオブジェクトの周りでカメラを移動させ、それにより、全ての必要な3D画像情報を取得してもよい。一部の実施形態においては、いくつかの撮像システム500を、関心のオブジェクトの周囲に配置することができ、これらのシステムからの3D画像を、オブジェクトの表面の全体三次元表現を作成するように組み合わせることができる。次いで、それは、立体オブジェクトであるかのように視認されてもよく、3D操作ソフトウェアを使用して、全ての側面が詳細に視認されてもよい。
本発明の種々の実施形態においては、種々のFPAのフレームを相互に位置合わせするために、任意の好適な技法が使用され得る。例えば、デジタルビデオカメラは、フレームからフレームへの動きの不鮮明状態を除去するソフトウェアを使用する。この技法は、画像安定化として知られており、後続の三次元フレームの中の点を第一の(または参照)フレームの中の点に位置合わせするために、本発明において代替として採用されてもよい。
一般に、本発明の種々の実施形態は、システムの距離分解能および性能を向上させるために、他の3D処理技法を利用する。例えば、一実施形態は、画像情報から距離情報を抽出するために、既知の技法を使用する。そのような画像情報の実施例は、既存の2D静止およびビデオ画像から、何らかの低分解能3D情報を抽出するために現在使用されている、視点キューおよび影キューを含む。そのようなキューからのデータは、距離分解能を向上させ、システムの被写界深度(距離ウィンドウ)を向上させるために、本発明で採用されてもよい(例えば、画像コンストラクタ543によって実装される)。
別の実施形態は、同じ場面を撮像するために使用されている複数の三次元撮像デバイスがある場合に、実体写真測量等の技法を使用する。または、撮像デバイスが場面に対して移動している場合、別の実施形態は、深度を計算するために、異なる視点からの三角測量を採用してもよい。結果として生じるデータは、飛行時間技法から取得される距離分解能を向上させるため、および被写界深度(深度ウィンドウ)を拡張するために使用されてもよい。
別の実施形態は、場面内のオブジェクトによって反射/散乱された光パルス部分の偏光状態を測定する。そのような偏光状態は、状況によっては、場面内のオブジェクトに関する付加的な情報を含有してもよい。例えば、天然オブジェクトは、それらが反射する光の偏光状態を変化させる傾向がある一方で、人工オブジェクトは、そうしない傾向がある。所与のピクセルにおいて撮像されるオブジェクト領域の表面法線の方向を決定するために、そのような偏光情報を使用する技法があってもよい。この表面法線およびピクセルごとの表面法線の変化は、距離分解能を向上させるため、被写界深度を拡張するために使用されてもよい。一実施形態では、場面内のオブジェクトによって反射/散乱された光パルス部分の偏光状態は、ビームスプリッタ1123を偏光ビームスプリッタと置換するように、図11に図示されたシステム1100を修正することによって決定されてもよい。場面内のオブジェクトとの相互作用時に偏光回転を経験した光が、第二の変調アーム1110の上に方向付けられてもよい一方で、偏光回転を経験しなかった光は、第一の変調アーム1120の上に透過されてもよい。コントローラ(図示せず)は、実質的に同じ制御信号を両方の変調器1124、1114を送信し、例えば、図2に図示されるような既定の時間ウィンドウにわたって、それを通して透過された光の偏光を単調に(例えば、直線的)に変化させるように変調器に命令してもよい。したがって、変調アーム1120、1110の両方の上のFPAは、実質的に同じ距離ウィンドウにわたって、略同一場面の二次元強度画像を取得してもよい。しかしながら、第二の変調アーム1110上のFPA1118、1119によって取得される画像は、入射光の偏光を変化させた情報オブジェクトのみを実質的に含有する。そのような情報は、向上された情報量を有する画像を生成するように、FPA1118、1119からの画像を使用して取得される三次元画像と組み合わせられてもよい。
一般に、場面に関する三次元情報は、それぞれ異なる質、空間規模、分解能、および感度のモダリティを使用して取得されてもよい。本発明の実施形態は、この情報を場面の単一の表現に組み込むために、情報理論および画像処理アルゴリズムを使用することによって、この情報のうちのいくらかまたは全体をうまく利用してもよい。この点で、情報の異なる規模および感度が有用であってもよい。結果は、距離および空間分解能を向上させること、および被写界深度を向上させること、ならびにカラーまたはグレースケール画像およびビデオを向上させることである。
図5に図示されたシステム500、または図11に図示されたシステム1100等のシステムの性能を向上する別の側面は、システムの電子構成要素の時間的および熱的挙動に関係する不確実性を制御することに関する。これは、タイミング回路、変調波形、および焦点面アレイ回路を含んでもよい。そのような制御のうちのいくらかが、プロセッササブシステムに基づいてもよい一方で、そのような制御のうちの他のものは、システムの中の他の構成要素の設計に基づいてもよい。
例えば、波形のセグメントにわたるレンジ分解能において0.1%未満の不確実性を達成することが、1000分の1まで、または0.1%以内まで知られていてもよい。これは、波形が画像によって所望の不確実性以上に変化しないように、回路設計によって、または所望の不確実性未満まで各波形を測定およびデジタル化する回路を含むことによって、達成されてもよい。これはまた、ポッケルスセル(またはポッケルスアセンブリ)の有効口径にわたって伝搬するように、波形の印加された電圧のために存在してもよい、時間遅延等のシステムの中に存在してもよい、あらゆる遅延に該当してもよい。
レーザパルスと変調波形の開始との間の遅延を決定するタイミング回路は、範囲測定の所望の不確実性よりも精密に作られてもよい。この種類のタイミング誤差は、単一のフレームの中のオブジェクト間の相対正確度ではなく、絶対正確度のみに影響を及ぼす。これの一部として、レーザパルスのタイミングは、少なくとも精密に測定されてもよい。これを達成する1つの方法は、レーザの時間プロファイルに1つだけの大域ピークがあること、および単一の時間モードまたは多くの時間モード(例えば、20より多い、30より多い、または50より多い)が存在することを確実にすることによって、時間プロファイルが比較的円滑であることを確実にする、レーザ設計を使用することである。次いで、ピーク検出アルゴリズム(プロセッササブシステムによって行われてもよい)は、レーザパルスの長さのいくらかの割合まで、ピークの時間的位置を識別してもよい。一部の実施形態においては、レーザパルスの時間的位置を決定するために、ピーク検出アルゴリズムよりもむしろ閾値アルゴリズムが使用されてもよい。レーザパルスの信号は、所望の不確実性を下回るデジタル分解能で、単一の高速フォトダイオードおよびアナログ・デジタル変換器によって収集される。1つの例示的実施形態では、レーザパルスのピークの位置、またはレーザパルスの他の識別可能な部分が、3ピコ秒未満の誤差で識別される。次いで、レ
ーザパルスと変調波形の開始との間の時間経過が、3ピコ秒未満の誤差で制御されてもよ
い。
焦点面アレイにおける読み出し回路および利得値はまた、範囲測定に所望されるよりも低い不確実性まで、フレームごとに知られてもよい。挙動が画像ごとまたはパルスごとに有意に変化しないならば、各ピクセルにおける測定信号に関する読み出しおよび利得回路の挙動は、較正によって系統的誤差を除去するように、較正標的を使用して測定されてもよい。
三次元測定を達成するための一般的設計の多くの変化例および実施形態がある。加えて、範囲性能は、本明細書で説明されるものを超える平均化および他の雑音低減技法によって向上させられてもよい。一部の実施形態においては、0.1%を上回ってシステム内のいずれかまたは全てのタイミング変動を制御することが好ましくてもよい。
(用途)
本明細書で提供される三次元撮像システムおよび方法は、とりわけ、造船、公共土木建築、道路測量、公共施設回路のマッピング、科学捜査および法執行、重工業、産業建設、テレビゲーム、映画、映画の特殊効果、医療画像、顔認識、機械視覚、品質管理、航空宇宙および自動車構成要素、医療人工装具、歯科、スポーツ、スポーツ医学を含む、多種多様の業界においてうまく使用され得ることが予想される。例えば、CyARK基金は、世界中の膨大な数の消滅しつつある史跡に関する三次元情報をデジタルで保存するように尽力している。本発明のシステムおよび方法は、情報の質を向上させながら、そのような情報が獲得されてもよい速度を劇的に増加させ得る。または、例えば、既存の構造は、施行完了時の情報を取得するように調査されてもよく、それは選択的に、改装、改修、および他の建築工事を設計するために使用されてもよい。または、例えば、鉱業は、除去される材料の量、または鉱山地域の構造を決定するために、該システムおよび方法を使用してもよい。または、例えば、公共および運送業は、大惨事の前に崩壊しつつある構造(例えば、橋、建造物、パイプライン)を識別するために、運送および公共インフラストラクチャを監視するための費用効果的な方法を提供するために、該システムおよび方法を使用してもよい。
(代替実施形態)
本明細書で説明される実施形態は、屈折性光学部を含むが、屈折性光学部のうちの1つ以上の代わりに反射性光学部を利用する類似の実施形態が構築されてもよい。
全ての実施形態が、相補的強度画像を記録するために一対のFPAの使用を必要とするわけではない。例えば、Yafuso(その内容が参照することにより本明細書に組み込まれる米国特許第7,301,138号)は、単一のカメラで2つの相補的偏光画像を生成するためにプリズムの使用を開示している。一実施形態では、図5を参照して、偏光ビームスプリッタ527およびFPA528が省略されてもよく、Yafusoによって開示されるようなプリズムが撮像レンズ526とFPA529との間に含まれてもよい。プリズムは、好ましくは両方の画像を記録するようにサイズ決定されるFPA529上に、2つの相補的偏光画像を方向付けるように構成される。コントローラ541は、FPA529から一対の同時に記録された画像を取得し、それらを記憶装置542に提供してもよく、それは後に、2つの画像を別々に解析してもよい、画像コンストラクタ543によってアクセスされてもよい。第一の画像を記録するピクセルを第二の画像を記録するピクセルに正確に位置合わせするために、好適な較正技法が使用されてもよい。例えば、その重心が単一のピクセル(例えば、球体)よりもはるかに小さい精度で決定されてもよい、一式の精密標的が、FPA上の2つの異なる場所で撮像されてもよい。ソフトウェア(例えば、画像コンストラクタ543)を使用して、2つの画像の先端、斜面、ピンクッション、および根本要素が、位置合わせされてもよい。
図12は、例えば、図5に図示されたセンササブシステム520の代わりに、代替的なセンササブシステム1220を図示する。センササブシステム1220は、選択的に、明確にするために図12から省略されている、可視撮像サブシステム530を含んでもよい。センササブシステムは、受容(Rx.)レンズ1221と、帯域通過フィルタ(BPF)1222と、変調器1224と、補償器(Cp.)1225と、撮像レンズ1226と、偏光ビームスプリッタ1227と、FPA1229とを含み、そのそれぞれは、図5に図示された対応する構成要素に関して上記で説明されるものと同じであってもよい。しかしながら、センササブシステム1220はまた、それに基づいて場面の画像を取得する、FPA1219に受容された光の一部分を方向付ける変調器の前(ここでは、帯域通過フィルタ1222と変調器1224との間)の任意の好適な位置にあるビームスプリッタ1223も含む。残りの光は、それを通して透過される光を変調する変調器1224に透過され、FPA1229は、それに基づいて場面の画像を取得する。FPA1219およびFPA1229によって取得された画像は、前者が変調されていない光に基づき、後者が変調された光に基づくという点で異なる。FPA1219によって取得された画像は、FPA1229によって取得された画像を正規化するために使用され得る。具体的には、FPA1219の任意のピクセル(i,j)における強度は、式(8)〜(15)を参照して上記で論議される距離計算において、値Itotal,i,jとして使用され得る。対照的に、図5に図示された実施形態について、値Itotal,i,jは、FPA528、529によって取得された相補的画像を合計することによって計算され得る。非変調画像が取得される任意の代替実施形態においては、各ピクセル(i,j)におけるその画像の強度が、Itotal,i,jとして使用され得、それに対して、例えば、式(8)〜(15)を使用して、距離値を取得するように変調画像が正規化されてもよいことに留意されたい。
一実施形態においては、第一および第二の離散FPA1219、1229が、受容された光パルス部分に対応する第一の画像、および変調された受容された光パルス部分に対応する第二の画像を生成する手段を構成する。例えば、第一の画像は、FPA1219によって取得される非変調画像に対応し得、第二の画像は、FPA1229によって取得される変調画像に対応し得る。別の実施形態では、単一のFPAが、受容された光パルス部分に対応する第一の画像、および変調された受容された光パルス部分に対応する第二の画像を生成する手段を構成する。例えば、第一の画像は、FPAによって取得される非変調画像に対応してもよく、第二の画像は、同じFPAによって取得される変調画像に対応してもよい。
本発明は、例えば、以下の項目も提供する。
(項目1)
三次元撮像システムであって、
広い視野を有する場面を照射することに十分な発散を有する光パルスを放出するように構成される照射サブシステムと、
該場面によって反射または散乱された該光パルスの部分を広い視野にわたって受容するように構成されるセンササブシステムであって、該センササブシステムは、
該受容された光パルス部分の強度を時間の関数として変調して、変調された受容光パルス部分を形成するように構成される変調器と、
該受容された光パルス部分に対応する第一の画像、および該変調された受容光パルス部分に対応する第二の画像を生成する手段と
を備えるセンササブシステムと、
該第一および第二の画像に基づいて三次元画像を取得するように構成されるプロセッササブシステムと
を備える、システム。
(項目2)
前記生成する手段は、光センサの第一および第二の離散アレイを備える、項目1に記載の撮像システム。
(項目3)
前記生成する手段は、画像コンストラクタをさらに備える、項目2に記載の撮像システム。
(項目4)
前記生成する手段は、光センサの単一のアレイを備える、項目1に記載の撮像システム。
(項目5)
前記光パルスは、2ナノ秒未満の継続時間を有する、項目1に記載のシステム。
(項目6)
前記発散は、1度と180度との間である、項目1に記載のシステム。
(項目7)
前記発散は、5度と40度との間である、項目1に記載のシステム。
(項目8)
前記照射サブシステムは、低コヒーレンスレーザを備え、該低コヒーレンスレーザは、滑らかな空間プロファイルを産生することに十分な数の空間モードを含有する光パルスを生成するように構成される、項目1に記載のシステム。
(項目9)
前記低コヒーレンスレーザは、50μmよりも大きい直径を有する能動ファイバコアを備える、項目8に記載のシステム。
(項目10)
前記光パルスは、可視波長を含有する、項目1に記載の撮像システム。
(項目11)
前記光パルスは、近赤外波長を含有する、項目1に記載のシステム。
(項目12)
前記近赤外波長は、1400nmと2500nmとの間にある、項目1に記載のシステム。
(項目13)
前記光パルスは、実質的に滑らかな空間プロファイルを有する、項目1に記載の撮像システム。
(項目14)
前記光パルスは、実質的に滑らかな時間プロファイルを有する、項目1に記載のシステム。
(項目15)
前記受容レンズは、少なくとも1インチの直径を有する、項目1に記載のシステム。
(項目16)
前記変調器は、少なくとも0.5インチの有効口径を有する、項目1に記載のシステム。
(項目17)
前記変調器は、ポッケルスセルを備える、項目1に記載のシステム。
(項目18)
前記変調器は、ポッケルスアセンブリを備え、該ポッケルスアセンブリは、
横ポッケルスセルのスタックであって、各横ポッケルスセルは、電気光学材料のスラブと、該スラブの対向する主要表面上に配置される第一および第二の電極とを備える、スタックと、
各横ポッケルスセルの該第一の電極と電気的に連絡している第一の導体と、
各横ポッケルスセルの該第二の電極と電気的に連絡している第二の導体と、
該第一および第二の導体と電気的に連絡している電圧源と
を備える、項目1に記載のシステム。
(項目19)
前記電圧源は、前記第一および第二の導体を介して、各横ポッケルスセルの前記第一と第二の電極とにわたって100V未満の電圧を印加するように構成される、項目18に記載のシステム。
(項目20)
前記電圧源は、前記第一および第二の導体を介して、各横ポッケルスセルの前記第一と第二の電極とにわたって25V未満の電圧を印加するように構成される、項目18に記載のシステム。
(項目21)
前記電気光学材料は、リン酸二水素カリウム(KDP)、リン酸二重水素カリウム(KDP)、ニオブ酸リチウム(LN)、周期的に分極されたニオブ酸リチウム、タンタル酸リチウム、リン酸チタニルルビジウム(RTP)、ベータホウ酸バリウム(BBO)、およびそれらの同形体から成る群より選択される、項目18に記載のシステム。
(項目22)
前記スラブは、100μm未満の厚さを有する、項目18に記載のシステム。
(項目23)
前記第一および第二の電極は、透明導体を備える、項目18に記載のシステム。
(項目24)
前記透明導体は、前記電気光学材料の屈折率とほぼ同じである屈折率を有する、項目18に記載のシステム。
(項目25)
前記ポッケルスアセンブリは、
にほぼ等しい長さLを有し、ここで、mは、整数であり、dは、前記スラブの厚さであり、nは、該アセンブリの中の横ポッケルスセルの数であり、λは、前記光パルスの波長である、項目18に記載のシステム。
(項目26)
前記プロセッササブシステムは、前記変調器に制御信号を送信するように構成されるコントローラを備え、該変調器は、該制御信号に応答して、前記光パルス部分を時間の関数として単調に変調するように構成される、項目1に記載のシステム。
(項目27)
前記プロセッササブシステムは、前記変調器に制御信号を送信するように構成されるコントローラを備え、該変調器は、該制御信号に応答して、前記受容された光パルス部分を時間の関数として非単調に変調するように構成される、項目1に記載のシステム。
(項目28)
前記変調器は、時間および電圧の関数である応答関数を有し、前記システムは、該変調器の該応答関数を特徴付ける情報を記憶する、項目1に記載のシステム。
(項目29)
前記変調器の受入角度を増加させるように構成される補償器をさらに備える、項目1に記載のシステム。
(項目30)
前記生成する手段は、偏光ビームスプリッタを備える、項目1に記載のシステム。
(項目31)
前記生成する手段は、プリズムを備える、項目1に記載のシステム。
(項目32)
前記光センサの第一および第二の離散アレイは、相互に位置合わせされる、項目2に記載のシステム。
(項目33)
前記生成する手段は、複数のピクセルを備える少なくとも1つの焦点面アレイを含み、各ピクセルは、100,000以上の電子のウェル深度を有する、項目1に記載のシステム。
(項目34)
前記生成する手段は、複数のピクセルを備える少なくとも1つの焦点面アレイを含み、複数の領域を有するフィルタをさらに備え、各領域は、ピクセルの前に位置し、所定の様式で、そのピクセルに透過される光を減衰させるように構成される、項目1に記載のシステム。
(項目35)
前記システムは、前記フィルタを特徴付けるマトリクスを記憶する、項目34に記載のシステム。
(項目36)
前記センササブシステムは、ブロードバンドまたはマルチバンド撮像サブシステムをさらに備え、該撮像サブシステムは、
前記場面のブロードバンドまたはマルチバンド画像を取得するように構成される画像センサと、
該画像センサに前記受容された光の一部分を方向付けるように構成される光学部と
を備える、項目1に記載のシステム。
(項目37)
前記プロセッササブシステムは、前記三次元画像を前記ブロードバンドまたはマルチバンド画像と組み合わせて、前記場面の画像を生成するように構成される、項目33に記載のシステム。
(項目38)
前記第一および第二の画像のうちの少なくとも1つは、最大強度の領域を含有し、前記生成する手段は、飽和限界を有するセンサアレイを備え、前記システムは、該センサアレイの該飽和限界を上回るまで前記光パルスのエネルギーを増加させることによって、前記三次元画像のダイナミックレンジを向上させるように構成される、項目1に記載のシステム。
(項目39)
前記第一および第二の画像のうちの少なくとも1つは、最大強度の領域を含有し、前記生成する手段は、飽和限界を有するセンサアレイを備え、前記システムは、
第一の制御信号を前記照射サブシステムに送信することであって、該第一の制御信号は、該最大強度の領域が、該センサアレイの該飽和限界の閾値割合以上であるが、該飽和限界を下回るように選択される第一のエネルギーを有する光パルスを生成する命令を備える、ことと、
該第一のエネルギーを有する該光パルスの反射または散乱された部分に基づいて、第一の三次元画像を取得することと、
第二の制御信号を該照射サブシステムに送信することであって、該第二の制御信号は、該最大強度の領域が、該センサアレイの該飽和限界を上回るように選択された第二のエネルギーを有する光パルスを生成する命令を備える、ことと、
該第二のエネルギーを有する該光パルスの反射または散乱された部分に基づいて、第二の三次元画像を取得することと、
該第一と第二の三次元画像とを組み合わせて第三の三次元画像を取得することであって、該第三の三次元画像は、該第一および第二の三次元画像と比較して増加した分解能を有する、ことと
を行うように構成される、項目1に記載のシステム。
(項目40)
前記第二のエネルギーは、前記最大強度の領域が、前記焦点面アレイの前記飽和限界の少なくとも4倍であるように選択される、項目39に記載のシステム。
(項目41)
前記プロセッササブシステムは、
複数の光パルスを放出するよう前記照射サブシステムに命令することと、
変調が該複数の光パルスの各パルスに対して異なる時に開始するように前記変調器のタイミングを調整することと、
該複数の光パルスの各パルスに対応する複数の三次元画像を取得することと、
該複数の三次元画像に基づいて向上した三次元画像を取得することであって、該向上した三次元画像は、該複数の三次元画像のうちの任意のものの距離ウィンドウよりも大きい距離ウィンドウに対応する、ことと
を行うように構成される、項目1に記載のシステム。
(項目42)
前記プロセッササブシステムは、
第一の制御信号を前記照射サブシステムに送信することであって、該第一の制御信号は、第一の光パルスを生成する命令を備える、ことと、
第二の制御信号を前記変調器に送信することであって、該第二の制御信号は、第一の時間ウィンドウにわたって該第一の光パルスのうちの受容された部分を変調する命令を備える、ことと、
該第一の光パルスのうちの該変調された部分に基づいて第一の三次元画像を取得することと、
第三の制御信号を該照射サブシステムに送信することであって、該第三の制御信号は、第二の光パルスを生成する命令を備える、ことと、
第四の制御信号を該変調器に送信することであって、該第四の制御信号は、第二の時間ウィンドウにわたって該第二の光パルスのうちの受容された部分を変調する命令を備える、ことと、
該第二の光パルスのうちの該変調された部分に基づいて、第二の三次元画像を取得することと、
該第一と第二の三次元画像とを組み合わせて第三の三次元画像を取得することであって、該第三の三次元画像は、該第一および第二の三次元画像と比較して増加した範囲を有する、ことと
を行うように構成される、項目1に記載のシステム。
(項目43)
前記第一と第二の時間ウィンドウとは、相互に重複する、項目42に記載のシステム。(項目44)
前記第一の時間ウィンドウは、前記第二の時間ウィンドウよりも短い継続時間を有する、項目42に記載のシステム。
(項目45)
前記第一の時間ウィンドウは、前記第二の時間ウィンドウとは異なる開始時間を有する、項目42に記載のシステム。
(項目46)
前記三次元画像は、1センチメートル未満の分解能を有する、項目1に記載のシステム。
(項目47)
三次元撮像方法であって、
広い視野を有する場面を照射することに十分な発散を有する光パルスを放出することと、
該場面によって反射または散乱された該光パルスの部分を広い視野にわたって受容することと、
該受容された光パルスを時間の関数として変調器を用いて変調して、変調された受容光パルス部分を形成することと、
該受容光パルス部分に対応する第一の画像を生成することと、
該変調された受容光パルス部分に対応する第二の画像を生成することと、
該第一および第二の画像に基づいて、該場面の三次元画像を取得することと
を含む、方法。
(項目48)
前記第一の画像を生成することは、前記第二の画像を第三の画像に追加することを含む、項目47に記載の方法。
(項目49)
前記変調器で変調することは、前記受容された光パルス部分の偏光状態を変調することを含む、項目47に記載の方法。
(項目50)
波長λを有する光の偏光を変調する変調器であって、
横ポッケルスセルのスタックであって、各横ポッケルスセルは、電気光学材料のスラブと、該スラブの対向する主要表面上にそれぞれ配置される第一および第二の電極とを備える、横ポッケルスセルのスタックと、
各横ポッケルスセルの該第一の電極と電気的に接触している第一の導体と、
各横ポッケルスセルの該第二の電極と電気的に接触している第二の導体と、
該第一および第二の導体と電気的に連絡している電圧源と
を備え、
各横ポッケルスセルの該スラブは、
にほぼ等しい長さLを有し、ここで、mは、整数であり、dは、該スラブの厚さであり、nは、該スタックの中の横ポッケルスセルの数である、変調器。
(項目51)
前記電圧源は、前記第一および第二の導体を介して、各横ポッケルスセルの前記第一と第二の電極とにわたって100V未満の電圧を印加するように構成される、項目50に記載の変調器。
(項目52)
前記電圧源は、前記第一および第二の導体を介して、各横ポッケルスセルの前記第一と第二の電極とにわたって25V未満の電圧を印加するように構成される、項目50に記載の変調器。
(項目53)
前記電気光学材料は、リン酸二水素カリウム(KDP)、リン酸二重水素カリウム(KDP)、ニオブ酸リチウム(LN)、周期的に分極されたニオブ酸リチウム、タンタル酸リチウム、リン酸チタニルルビジウム(RTP)、ベータホウ酸バリウム(BBO)、およびそれらの同形体から成る群より選択される、項目50に記載の変調器。
(項目54)
前記電気光学材料は、周期的に分極されたニオブ酸リチウムを含む、項目50に記載の変調器。
(項目55)
前記スラブは、100μm未満の厚さを有する、項目50に記載の変調器。
(項目56)
前記第一および第二の電極は、透明導体を備える、項目50に記載の変調器。
(項目57)
前記波長は、可視範囲内にある、項目50に記載の変調器。
(項目58)
前記波長は、近赤外範囲内にある、項目50に記載の変調器。
(項目59)
前記波長は、1400nmと2500nmとの間にある、項目50に記載の変調器。
(項目60)
少なくとも40度の受入角度を有する、項目50に記載の変調器。
(項目61)
少なくとも5度の受入角度を有する、項目50に記載の変調器。
(項目62)
少なくとも1度の受入角度を有する、項目50に記載の変調器。
(項目63)
少なくとも1インチの有効口径を有する、項目50に記載の変調器。
(項目64)
少なくとも2インチの有効口径を有する、項目50に記載の変調器。
(項目65)
光の偏光を変調する変調器であって、該変調器は、
横ポッケルスセルのスタックであって、各横ポッケルスセルは、電気光学材料のスラブと、該スラブの対向する主要表面上にそれぞれ配置される第一および第二の電極とを備える、横ポッケルスセルのスタックと、
各横ポッケルスセルの該第一の電極と電気的に接触している第一の導体と、
各横ポッケルスセルの該第二の電極と電気的に接触している第二の導体と、
該第一および第二の導体と電気的に連絡している電圧源と
を備え、該第一および第二の導体は、該電気光学材料とほぼ同じ屈折率を有する透明導体を備える、変調器。
本発明の好ましい実施形態が本明細書において説明されているが、種々の変更および修正が行われてもよいことが当業者に明白となるであろう。添付の請求項は、本発明の真の精神および範囲内に入る全てのそのような変更および修正を網羅することを目的とする。

Claims (15)

  1. 三次元撮像システムであって、
    前記システムは、
    場面を照射するために光パルスを放出するように構成される照射サブシステムと、
    前記場面によって反射または散乱された前記光パルスの部分を受容するように構成されるセンササブシステムであって、
    前記センササブシステムは、
    前記受容された光パルスの部分の強度を時間の関数として変調して、変調された受容光パルス部分を形成するように構成される複数の変調器と、
    前記複数の変調器の各々に対する変調波形の時間および形状を制御する手段と、
    前記複数の変調器の各々に対して、前記受容された光パルスの部分に対応する第一の画像および前記変調された受容光パルス部分に対応する第二の画像を生成する手段と
    を備える、センササブシステムと、
    前記第一の画像および前記第二の画像に基づいて三次元画像を取得するように構成されるプロセッササブシステムと
    を備える、システム。
  2. 前記照射サブシステムは、1つ以上のビーム成形要素を備え、前記光パルスは、前記1つ以上のビーム成形要素を通過する、請求項1に記載のシステム。
  3. 前記場面によって反射または散乱された前記光パルスの部分を受容するように構成される受容レンズをさらに備える、請求項1に記載のシステム。
  4. 前記照射サブシステムは、前記光パルスの空間的コヒーレンスまたは時間的コヒーレンスを低減するように構成される1つ以上の光学的要素を備える、請求項1に記載のシステム。
  5. 前記センササブシステムは、1つ以上の偏光光学的要素をさらに含み、前記1つ以上の偏光光学的要素は、前記光パルスの部分を受容する、請求項1に記載のシステム。
  6. 前記複数の変調器のうちの第一の変調器に対して第一の波形を生成する手段と、前記複数の変調器のうちの第二の変調器に対して第二の波形を生成する手段とをさらに備える、請求項1に記載のシステム。
  7. 三次元撮像の方法であって、
    前記方法は、
    場面を照射するために光パルスを放出することと、
    前記場面によって反射または散乱された前記光パルスの部分を受容することと、
    複数の変調器により、前記受容された光パルスの部分を時間の関数として変調して、変調された受容光パルス部分を形成することと、
    前記受容された光パルスの部分に対応する第一の画像を生成することと、
    複数の第二の画像を生成することであって、前記複数の第二の画像の各々は、前記複数の変調器のそれぞれから出力された前記変調された受容光パルス部分に対応する、ことと、
    前記第一の画像および前記第二の画像に基づいて前記場面の三次元画像を取得することと
    を含む、方法。
  8. 三次元撮像システムであって、
    前記システムは、
    場面を照射するために光パルスを放出するように構成される照射サブシステムと、
    前記場面によって反射または散乱された前記光パルスの部分を受容するように構成されるセンササブシステムであって、
    前記センササブシステムは、
    前記受容された光パルスの部分の強度を時間の関数として変調して、変調された受容光パルス部分を形成するように構成される横変調器と、
    前記受容された光パルスの部分に対応する第一の画像および前記変調された受容光パルス部分に対応する第二の画像を生成する手段と
    を備える、センササブシステムと、
    前記第一の画像および前記第二の画像に基づいて三次元画像を取得するように構成されるプロセッササブシステムと
    を備える、システム。
  9. 前記照射サブシステムは、1つ以上のビーム成形要素を備え、前記光パルスは、前記1つ以上のビーム成形要素を通過する、請求項8に記載のシステム。
  10. 前記場面によって反射または散乱された前記光パルスの部分を受容するように構成される受容レンズをさらに備える、請求項8に記載のシステム。
  11. 前記照射サブシステムは、前記光パルスの空間的コヒーレンスまたは時間的コヒーレンスを低減するように構成される1つ以上の光学的要素を備える、請求項8に記載のシステム。
  12. 前記センササブシステムは、1つ以上の偏光光学的要素をさらに含み、前記1つ以上の偏光光学的要素は、前記光パルスの部分を受容する、請求項8に記載のシステム。
  13. 複数の横変調器をさらに備える、請求項8に記載のシステム。
  14. 三次元撮像の方法であって、
    前記方法は、
    場面を照射するために光パルスを放出することと、
    前記場面によって反射または散乱された前記光パルスの部分を受容することと、
    横ポッケルスセルにより、前記受容された光パルスの部分を時間の関数として変調して、変調された受容光パルス部分を形成することと、
    前記受容された光パルスの部分に対応する第一の画像を生成することと、
    前記変調された受容光パルス部分に対応する第二の画像を生成することと、
    前記第一の画像および前記第二の画像に基づいて前記場面の三次元画像を取得することと
    を含む、方法。
  15. 複数の横ポッケルスセルにより、前記受容された光パルスの部分を時間の関数として変調して、変調された受容光パルス部分を形成することと、
    複数の第二の画像を生成することであって、前記複数の第二の画像の各々は、それぞれの横ポッケルスセル変調器から出力された前記変調された受容光パルス部分に対応する、ことと、
    前記第一の画像および前記第二の画像に基づいて前記場面の三次元画像を取得することと
    をさらに含む、請求項14に記載の方法。
JP2016063536A 2008-11-25 2016-03-28 高解像度三次元撮像のシステムおよび方法 Active JP6452202B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US11778808P 2008-11-25 2008-11-25
US61/117,788 2008-11-25
US12109608P 2008-12-09 2008-12-09
US61/121,096 2008-12-09
US16641309P 2009-04-03 2009-04-03
US61/166,413 2009-04-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014029114A Division JP5909513B2 (ja) 2008-11-25 2014-02-19 高解像度三次元撮像のシステムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018206296A Division JP2019015745A (ja) 2008-11-25 2018-11-01 高解像度三次元撮像のシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2016153795A true JP2016153795A (ja) 2016-08-25
JP6452202B2 JP6452202B2 (ja) 2019-01-16

Family

ID=42195868

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2011537744A Active JP5485288B2 (ja) 2008-11-25 2009-11-25 高解像度三次元撮像のシステムおよび方法
JP2014029114A Active JP5909513B2 (ja) 2008-11-25 2014-02-19 高解像度三次元撮像のシステムおよび方法
JP2016063536A Active JP6452202B2 (ja) 2008-11-25 2016-03-28 高解像度三次元撮像のシステムおよび方法
JP2018206296A Pending JP2019015745A (ja) 2008-11-25 2018-11-01 高解像度三次元撮像のシステムおよび方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2011537744A Active JP5485288B2 (ja) 2008-11-25 2009-11-25 高解像度三次元撮像のシステムおよび方法
JP2014029114A Active JP5909513B2 (ja) 2008-11-25 2014-02-19 高解像度三次元撮像のシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018206296A Pending JP2019015745A (ja) 2008-11-25 2018-11-01 高解像度三次元撮像のシステムおよび方法

Country Status (7)

Country Link
US (6) US8471895B2 (ja)
EP (2) EP2359593B1 (ja)
JP (4) JP5485288B2 (ja)
CN (1) CN102292980B (ja)
DK (1) DK2359593T3 (ja)
HU (1) HUE039300T2 (ja)
WO (1) WO2010068499A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180071928A (ko) * 2016-12-20 2018-06-28 한국과학기술원 대표 광선 기반의 점유맵 업데이트 방법 및 시스템

Families Citing this family (292)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916638B1 (ko) * 2007-08-02 2009-09-08 인하대학교 산학협력단 구조광을 이용한 토공량 산출 장치 및 방법
CN102292980B (zh) 2008-11-25 2015-04-01 泰特拉维公司 高分辨率三维成像的系统和方法
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US8436893B2 (en) * 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8514284B2 (en) * 2009-12-17 2013-08-20 Raytheon Company Textured pattern sensing and detection, and using a charge-scavenging photodiode array for the same
US11609336B1 (en) 2018-08-21 2023-03-21 Innovusion, Inc. Refraction compensation for use in LiDAR systems
US8660324B2 (en) * 2010-03-29 2014-02-25 Raytheon Company Textured pattern sensing using partial-coherence speckle interferometry
US8780182B2 (en) 2010-03-31 2014-07-15 Raytheon Company Imaging system and method using partial-coherence speckle interference tomography
KR101666020B1 (ko) * 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
US9753128B2 (en) * 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
IL208568B (en) * 2010-10-07 2018-06-28 Elbit Systems Ltd Mapping, discovering and tracking objects in an external arena by using active vision
CN102985932B (zh) 2010-10-11 2016-03-30 英派尔科技开发有限公司 对象建模
KR101680762B1 (ko) * 2010-10-29 2016-11-29 삼성전자주식회사 3d 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
KR101346982B1 (ko) * 2010-11-08 2014-01-02 한국전자통신연구원 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
KR101798063B1 (ko) * 2010-12-14 2017-11-15 삼성전자주식회사 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR101722641B1 (ko) * 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US9888225B2 (en) * 2011-02-04 2018-02-06 Koninklijke Philips N.V. Method of recording an image and obtaining 3D information from the image, camera system
US9052497B2 (en) 2011-03-10 2015-06-09 King Abdulaziz City For Science And Technology Computing imaging data using intensity correlation interferometry
TWI493277B (zh) * 2011-03-18 2015-07-21 Hon Hai Prec Ind Co Ltd 立體取像裝置
EP2697858B1 (en) * 2011-04-14 2019-10-23 Yale University Method for imaging using a random laser
US9099214B2 (en) 2011-04-19 2015-08-04 King Abdulaziz City For Science And Technology Controlling microparticles through a light field having controllable intensity and periodicity of maxima thereof
US9137463B2 (en) * 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US20120300040A1 (en) * 2011-05-25 2012-11-29 Microsoft Corporation Imaging system
US20120300024A1 (en) * 2011-05-25 2012-11-29 Microsoft Corporation Imaging system
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
US20130101158A1 (en) * 2011-10-21 2013-04-25 Honeywell International Inc. Determining dimensions associated with an object
DE102012207931A1 (de) * 2012-01-07 2013-07-11 Johnson Controls Gmbh Kameraanordnung zur Distanzmessung
US9069075B2 (en) * 2012-02-10 2015-06-30 GM Global Technology Operations LLC Coupled range and intensity imaging for motion estimation
DE102012002922A1 (de) * 2012-02-14 2013-08-14 Audi Ag Time-Of-Flight-Kamera für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betrieb einer Time-Of-Flight-Kamera
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
US9357204B2 (en) * 2012-03-19 2016-05-31 Fittingbox Method for constructing images of a pair of glasses
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9587804B2 (en) * 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
JP5958837B2 (ja) * 2012-05-28 2016-08-02 パナソニックIpマネジメント株式会社 奥行き推定撮像装置
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9402067B2 (en) * 2012-10-22 2016-07-26 Samsung Electronics Co., Ltd. Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
US9348019B2 (en) 2012-11-20 2016-05-24 Visera Technologies Company Limited Hybrid image-sensing apparatus having filters permitting incident light in infrared region to be passed to time-of-flight pixel
FR2998666B1 (fr) * 2012-11-27 2022-01-07 E2V Semiconductors Procede de production d'images avec information de profondeur et capteur d'image
WO2014100950A1 (en) * 2012-12-24 2014-07-03 Carestream Health, Inc. Three-dimensional imaging system and handheld scanning device for three-dimensional imaging
CN103149569B (zh) * 2013-02-25 2014-12-10 昆山南邮智能科技有限公司 基于小波变换的激光雷达高压线识别方法
US9134114B2 (en) 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
EP3014407A4 (en) 2013-06-28 2017-08-02 Chia Ming Chen Controlling device operation according to hand gestures
US9267784B2 (en) 2013-07-15 2016-02-23 Faro Technologies, Inc. Laser line probe having improved high dynamic range
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US20150070489A1 (en) * 2013-09-11 2015-03-12 Microsoft Corporation Optical modules for use with depth cameras
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
IL229490A (en) * 2013-11-18 2017-11-30 Tidhar Gil A multichannel flash detection system
US9377362B2 (en) * 2013-12-04 2016-06-28 Microtech Instruments, Inc. Systems and methods for high-contrast, near-real-time acquisition of terahertz images
JP2015115041A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
US9658061B2 (en) 2013-12-31 2017-05-23 Faro Technologies, Inc. Line scanner that uses a color image sensor to improve dynamic range
US9531967B2 (en) 2013-12-31 2016-12-27 Faro Technologies, Inc. Dynamic range of a line scanner having a photosensitive array that provides variable exposure
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US10104365B2 (en) * 2014-04-26 2018-10-16 Tetravue, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3D imaging
CN106796020A (zh) 2014-04-29 2017-05-31 陈家铭 灯控系统和方法
US11122180B2 (en) * 2014-05-02 2021-09-14 Dentsply Sirona Inc. Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3D scan
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US9256944B2 (en) 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
EP2990821A1 (en) * 2014-08-26 2016-03-02 Kabushiki Kaisha TOPCON Laser surveying device
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9977512B2 (en) 2014-10-24 2018-05-22 Intersil Americas LLC Open loop correction for optical proximity detectors
CN104331923A (zh) * 2014-11-06 2015-02-04 张振宇 一种码制三维全息传感系统构造方法
KR102312273B1 (ko) * 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
US9638801B2 (en) * 2014-11-24 2017-05-02 Mitsubishi Electric Research Laboratories, Inc Depth sensing using optical pulses and fixed coded aperature
EP3227742B1 (en) * 2014-12-07 2023-03-08 Brightway Vision Ltd. Object detection enhancement of reflection-based imaging unit
US10795005B2 (en) * 2014-12-09 2020-10-06 Intersil Americas LLC Precision estimation for optical proximity detectors
IL236364B (en) * 2014-12-21 2019-01-31 Elta Systems Ltd Flash detection system and methods
US9897698B2 (en) 2015-02-23 2018-02-20 Mitsubishi Electric Research Laboratories, Inc. Intensity-based depth sensing system and method
US10430933B2 (en) * 2015-02-27 2019-10-01 The Bringham and Women's Hospital, Inc. Imaging systems and methods of using the same
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
KR102114969B1 (ko) 2015-06-08 2020-06-08 삼성전자주식회사 광학 장치 및 깊이 정보 생성 방법
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
CN105163025B (zh) * 2015-08-31 2020-01-31 联想(北京)有限公司 图像捕获方法和电子设备
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10886309B2 (en) * 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
JP6852085B2 (ja) * 2015-11-30 2021-03-31 ルミナー テクノロジーズ インコーポレイテッド 分布型レーザー及び複数のセンサー・ヘッドを備える光検出及び測距システム、並びに、光検出及び測距システムのパルス・レーザー
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
JP2017133931A (ja) * 2016-01-27 2017-08-03 倉敷紡績株式会社 画像生成装置、ならびに距離画像およびカラー画像の生成方法
FI20165148A (fi) * 2016-02-25 2017-08-26 Arcdia Int Oy Ltd Kaksoisfotoniviritteistä fluoresenssia hyödyntävä bioaffiniteettimääritysmenetelmä
KR20190003480A (ko) * 2016-02-29 2019-01-09 테트라뷰 인코포레이티드 3d 이미지화 시스템 및 방법
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10451740B2 (en) 2016-04-26 2019-10-22 Cepton Technologies, Inc. Scanning lidar systems for three-dimensional sensing
US10341565B2 (en) * 2016-05-10 2019-07-02 Raytheon Company Self correcting adaptive low light optical payload
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US9766060B1 (en) * 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
DE102016115277A1 (de) 2016-08-17 2018-02-22 Julian Berlow Optische Vorrichtung
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
KR102618542B1 (ko) * 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
US10605984B2 (en) * 2016-12-01 2020-03-31 Waymo Llc Array of waveguide diffusers for light detection using an aperture
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
KR102580275B1 (ko) 2016-12-30 2023-09-18 이노뷰전, 인크. 다중파장 라이다 설계
US10942257B2 (en) 2016-12-31 2021-03-09 Innovusion Ireland Limited 2D scanning high precision LiDAR using combination of rotating concave mirror and beam steering devices
US11054508B2 (en) 2017-01-05 2021-07-06 Innovusion Ireland Limited High resolution LiDAR using high frequency pulse firing
US11009605B2 (en) 2017-01-05 2021-05-18 Innovusion Ireland Limited MEMS beam steering and fisheye receiving lens for LiDAR system
KR102569841B1 (ko) 2017-01-05 2023-08-24 이노뷰전, 인크. LiDAR를 인코딩 및 디코딩하기 위한 방법 및 시스템
KR101922046B1 (ko) * 2017-01-13 2018-11-27 한국과학기술원 편광 변조 포켈스 셀과 마이크로 편광자 카메라를 사용하는 고 해상도 및 거리정밀도를 갖는 3차원 플래시 라이다 시스템
US20180275274A1 (en) * 2017-03-23 2018-09-27 Innovusion Ireland Limited High resolution lidar using multi-stage multi-phase signal modulation, integration, sampling, and analysis
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US11561084B2 (en) * 2017-04-19 2023-01-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Polarization sensitive devices, methods and applications
DE102017208705A1 (de) 2017-05-23 2018-11-29 Robert Bosch Gmbh Sendeeinheit zur Emission von Strahlung in die Umgebung
DE102017209259A1 (de) * 2017-06-01 2018-12-06 Robert Bosch Gmbh Lidarsystem
US11187806B2 (en) 2017-07-24 2021-11-30 Huawei Technologies Co., Ltd. LIDAR scanning system
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
CN107644454B (zh) * 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置
US10591276B2 (en) 2017-08-29 2020-03-17 Faro Technologies, Inc. Articulated arm coordinate measuring machine having a color laser line probe
US10699442B2 (en) 2017-08-29 2020-06-30 Faro Technologies, Inc. Articulated arm coordinate measuring machine having a color laser line probe
US11460550B2 (en) 2017-09-19 2022-10-04 Veoneer Us, Llc Direct detection LiDAR system and method with synthetic doppler processing
US10708493B2 (en) * 2017-09-21 2020-07-07 Diego Bezares Sánchez Panoramic video
US11194022B2 (en) 2017-09-29 2021-12-07 Veoneer Us, Inc. Detection system with reflection member and offset detection array
EP3925210A4 (en) * 2017-10-16 2022-05-18 nLIGHT, Inc. SYSTEM AND METHOD OF SHIMMER REDUCTION
WO2019079642A1 (en) 2017-10-19 2019-04-25 Innovusion Ireland Limited LIDAR WITH EXTENDED DYNAMIC RANGE
WO2019094627A1 (en) * 2017-11-08 2019-05-16 Arizona Board Of Regents On Behalf Of The University Of Arizona Imaging method and apparatus using circularly polarized light
US11585901B2 (en) 2017-11-15 2023-02-21 Veoneer Us, Llc Scanning lidar system and method with spatial filtering for reduction of ambient light
US11375174B2 (en) * 2017-11-27 2022-06-28 Nlight, Inc. System and method of reducing ambient background light in a pulse-illuminated image
US11016179B2 (en) * 2017-12-03 2021-05-25 Munro Design & Technologies, Llc Digital image processing systems for three-dimensional imaging systems with image intensifiers and methods thereof
DE102017222614A1 (de) 2017-12-13 2019-06-13 Robert Bosch Gmbh Vorrichtung zur Umgebungserfassung sowie Verfahren zu dessen Betrieb
US11493601B2 (en) 2017-12-22 2022-11-08 Innovusion, Inc. High density LIDAR scanning
CN110192120A (zh) * 2017-12-22 2019-08-30 索尼半导体解决方案公司 信号发生装置
US11823403B2 (en) 2017-12-27 2023-11-21 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11212512B2 (en) * 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
US10437082B2 (en) 2017-12-28 2019-10-08 Tetravue, Inc. Wide field of view electro-optic modulator and methods and systems of manufacturing and using same
US11272162B2 (en) * 2018-01-08 2022-03-08 Nlight, Inc. Method and system for reducing returns from retro-reflections in active illumination system
US11675050B2 (en) 2018-01-09 2023-06-13 Innovusion, Inc. LiDAR detection systems and methods
US20200025881A1 (en) 2018-01-09 2020-01-23 Innovusion Ireland Limited Lidar detection systems and methods that use multi-plane mirrors
DE102018101995B8 (de) * 2018-01-30 2019-08-14 Willi Gerndt Vorrichtung zur Messung nach dem Lichtschnitt-Triangulationsverfahren
US10236027B1 (en) * 2018-02-12 2019-03-19 Microsoft Technology Licensing, Llc Data storage using light of spatially modulated phase and polarization
WO2019165130A1 (en) 2018-02-21 2019-08-29 Innovusion Ireland Limited Lidar detection systems and methods with high repetition rate to observe far objects
US11927696B2 (en) 2018-02-21 2024-03-12 Innovusion, Inc. LiDAR systems with fiber optic coupling
US11808888B2 (en) 2018-02-23 2023-11-07 Innovusion, Inc. Multi-wavelength pulse steering in LiDAR systems
US20190265339A1 (en) 2018-02-23 2019-08-29 Innovusion Ireland Limited Distributed lidar systems
US11567182B2 (en) 2018-03-09 2023-01-31 Innovusion, Inc. LiDAR safety systems and methods
WO2019173898A1 (en) * 2018-03-15 2019-09-19 Metrio Sensors Inc. System, apparatus, and method for improving performance of imaging lidar systems
GB201804550D0 (en) * 2018-03-21 2018-05-02 Trw Ltd A 3D imaging system and method of 3D imaging
US11789132B2 (en) 2018-04-09 2023-10-17 Innovusion, Inc. Compensation circuitry for lidar receiver systems and method of use thereof
US11289873B2 (en) 2018-04-09 2022-03-29 Innovusion Ireland Limited LiDAR systems and methods for exercising precise control of a fiber laser
US10996540B2 (en) * 2018-04-26 2021-05-04 Mycronic AB Compact alpha-BBO acousto-optic deflector with high resolving power for UV and visible radiation
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
WO2019222448A1 (en) * 2018-05-16 2019-11-21 Trustees Of Boston University Ray-surface positioning systems and methods
US10884105B2 (en) 2018-05-31 2021-01-05 Eagle Technology, Llc Optical system including an optical body with waveguides aligned along an imaginary curved surface for enhanced beam steering and related methods
CN108983250B (zh) * 2018-06-01 2021-02-23 Oppo广东移动通信有限公司 接近检测方法及装置、电子装置、存储介质和设备
CN114114295A (zh) 2018-06-15 2022-03-01 图达通爱尔兰有限公司 用于聚焦感兴趣的范围的lidar系统和方法
CN108845332B (zh) * 2018-07-04 2020-11-20 歌尔光学科技有限公司 基于tof模组的深度信息测量方法及装置
US11054546B2 (en) 2018-07-16 2021-07-06 Faro Technologies, Inc. Laser scanner with enhanced dymanic range imaging
EP3633406B1 (en) * 2018-07-18 2022-05-11 Shenzhen Goodix Technology Co., Ltd. Time-of-flight system and calibration method
US11860316B1 (en) 2018-08-21 2024-01-02 Innovusion, Inc. Systems and method for debris and water obfuscation compensation for use in LiDAR systems
US11579300B1 (en) 2018-08-21 2023-02-14 Innovusion, Inc. Dual lens receive path for LiDAR system
US11796645B1 (en) 2018-08-24 2023-10-24 Innovusion, Inc. Systems and methods for tuning filters for use in lidar systems
US11614526B1 (en) 2018-08-24 2023-03-28 Innovusion, Inc. Virtual windows for LIDAR safety systems and methods
US11579258B1 (en) 2018-08-30 2023-02-14 Innovusion, Inc. Solid state pulse steering in lidar systems
CN112867962A (zh) * 2018-09-11 2021-05-28 恩耐公司 电光调制器及其用于三维成像的使用和制造方法
US20200088883A1 (en) * 2018-09-19 2020-03-19 Here Global B.V. One-dimensional vehicle ranging
DE112019005684T5 (de) 2018-11-14 2021-08-05 Innovusion Ireland Limited Lidar-systeme und verfahren, bei denen ein mehrfacettenspiegel verwendet wird
WO2020106972A1 (en) 2018-11-21 2020-05-28 The Board Of Trustees Of The Leland Stanford Junior University Wide-field nanosecond imaging methods using wide-field optical modulators
DE102018221083A1 (de) * 2018-12-06 2020-06-10 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
US11353558B2 (en) 2018-12-29 2022-06-07 Gm Cruise Holdings Llc Multiple laser, single resonator lidar
US11079480B2 (en) 2018-12-29 2021-08-03 Gm Cruise Holdings Llc FMCW lidar with wavelength diversity
WO2020146493A1 (en) 2019-01-10 2020-07-16 Innovusion Ireland Limited Lidar systems and methods with beam steering and wide angle signal detection
US10861165B2 (en) * 2019-01-11 2020-12-08 Microsoft Technology Licensing, Llc Subject tracking with aliased time-of-flight data
US11486970B1 (en) 2019-02-11 2022-11-01 Innovusion, Inc. Multiple beam generation from a single source beam for use with a LiDAR system
DE102019206318A1 (de) 2019-05-03 2020-11-05 Robert Bosch Gmbh Kumulative Kurzpulsemission für gepulste LIDAR-Vorrichtungen mit langer Belichtungszeit
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11617541B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for fluorescence imaging
US11633089B2 (en) 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
US11187657B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Hyperspectral imaging with fixed pattern noise cancellation
US11172811B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11540696B2 (en) 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11457154B2 (en) 2019-06-20 2022-09-27 Cilag Gmbh International Speckle removal in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US10841504B1 (en) 2019-06-20 2020-11-17 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11221414B2 (en) 2019-06-20 2022-01-11 Cilag Gmbh International Laser mapping imaging with fixed pattern noise cancellation
US11531112B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system
US11412920B2 (en) 2019-06-20 2022-08-16 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11516387B2 (en) 2019-06-20 2022-11-29 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11233960B2 (en) 2019-06-20 2022-01-25 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11624830B2 (en) 2019-06-20 2023-04-11 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for laser mapping imaging
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11700995B2 (en) 2019-06-20 2023-07-18 Cilag Gmbh International Speckle removal in a pulsed fluorescence imaging system
US11432706B2 (en) 2019-06-20 2022-09-06 Cilag Gmbh International Hyperspectral imaging with minimal area monolithic image sensor
US11622094B2 (en) 2019-06-20 2023-04-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11122967B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US20200397246A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Minimizing image sensor input/output in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11674848B2 (en) 2019-06-20 2023-06-13 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for hyperspectral imaging
US11412152B2 (en) 2019-06-20 2022-08-09 Cilag Gmbh International Speckle removal in a pulsed hyperspectral imaging system
US11892403B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US10979646B2 (en) 2019-06-20 2021-04-13 Ethicon Llc Fluorescence imaging with minimal area monolithic image sensor
US11265491B2 (en) 2019-06-20 2022-03-01 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11877065B2 (en) 2019-06-20 2024-01-16 Cilag Gmbh International Image rotation in an endoscopic hyperspectral imaging system
US11337596B2 (en) 2019-06-20 2022-05-24 Cilag Gmbh International Controlling integral energy of a laser pulse in a fluorescence imaging system
US11218645B2 (en) 2019-06-20 2022-01-04 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11187658B2 (en) 2019-06-20 2021-11-30 Cilag Gmbh International Fluorescence imaging with fixed pattern noise cancellation
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11280737B2 (en) 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11612309B2 (en) 2019-06-20 2023-03-28 Cilag Gmbh International Hyperspectral videostroboscopy of vocal cords
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11895397B2 (en) 2019-06-20 2024-02-06 Cilag Gmbh International Image synchronization without input clock and data transmission clock in a pulsed fluorescence imaging system
US11671691B2 (en) 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US10952619B2 (en) 2019-06-20 2021-03-23 Ethicon Llc Hyperspectral and fluorescence imaging and topology laser mapping with minimal area monolithic image sensor
US11237270B2 (en) 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
US11172810B2 (en) 2019-06-20 2021-11-16 Cilag Gmbh International Speckle removal in a pulsed laser mapping imaging system
US11294062B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Dynamic range using a monochrome image sensor for hyperspectral and fluorescence imaging and topology laser mapping
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11375886B2 (en) 2019-06-20 2022-07-05 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for laser mapping imaging
US11252326B2 (en) 2019-06-20 2022-02-15 Cilag Gmbh International Pulsed illumination in a laser mapping imaging system
US11716543B2 (en) 2019-06-20 2023-08-01 Cilag Gmbh International Wide dynamic range using a monochrome image sensor for fluorescence imaging
US11122968B2 (en) 2019-06-20 2021-09-21 Cilag Gmbh International Optical fiber waveguide in an endoscopic system for hyperspectral imaging
JP7151639B2 (ja) * 2019-06-26 2022-10-12 住友電装株式会社 コネクタ
WO2020259928A1 (en) 2019-06-27 2020-12-30 Ams International Ag Imaging system and detection method
CN110297251A (zh) * 2019-06-27 2019-10-01 杭州一隅千象科技有限公司 多台tof实现的大幅面空间覆盖的方法及系统
CN112213730A (zh) 2019-07-10 2021-01-12 睿镞科技(北京)有限责任公司 三维测距方法和装置
US11579257B2 (en) 2019-07-15 2023-02-14 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11474218B2 (en) 2019-07-15 2022-10-18 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
KR102646521B1 (ko) * 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
US11313969B2 (en) 2019-10-28 2022-04-26 Veoneer Us, Inc. LiDAR homodyne transceiver using pulse-position modulation
EP4057526A4 (en) * 2019-11-08 2023-08-02 Shimadzu Corporation OPTICAL COMMUNICATION DEVICE
US11019276B1 (en) * 2019-11-14 2021-05-25 Hand Held Products, Inc. Apparatuses and methodologies for flicker control
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US20210208276A1 (en) * 2020-01-07 2021-07-08 Liturex (Guangzhou) Co. Ltd High dynamic range lidar
US11828851B2 (en) 2020-01-20 2023-11-28 The Board Of Trustees Of The Leland Stanford Junior University Wide-field resonant electro-optic imaging devices and applications
KR20210112525A (ko) 2020-03-05 2021-09-15 에스케이하이닉스 주식회사 이미지 센서 및 3차원 센서를 갖는 카메라 모듈
CN111338154B (zh) * 2020-03-09 2022-02-08 Oppo广东移动通信有限公司 一种电致变色光圈、驱动电路及摄像头
CN113554575B (zh) * 2020-04-23 2022-10-11 华东交通大学 一种基于偏振原理的高反物体表面高光去除方法
CN113884019B (zh) * 2020-07-03 2024-04-05 睿镞科技(北京)有限责任公司 三维成像系统及方法
US11181807B1 (en) 2020-07-14 2021-11-23 Rosemount Aerospace Inc. Ranging of objects in a scene using difference imaging and fast shutter control
US11361455B2 (en) * 2020-07-22 2022-06-14 Microsoft Technology Licensing, Llc Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
WO2022165650A1 (zh) * 2021-02-02 2022-08-11 华为技术有限公司 一种探测装置、控制方法、融合探测系统及终端
US11921234B2 (en) 2021-02-16 2024-03-05 Innovusion, Inc. Attaching a glass mirror to a rotating metal motor frame
US11422267B1 (en) 2021-02-18 2022-08-23 Innovusion, Inc. Dual shaft axial flux motor for optical scanners
US11789128B2 (en) 2021-03-01 2023-10-17 Innovusion, Inc. Fiber-based transmitter and receiver channels of light detection and ranging systems
US11326758B1 (en) 2021-03-12 2022-05-10 Veoneer Us, Inc. Spotlight illumination system using optical element
US11555895B2 (en) 2021-04-20 2023-01-17 Innovusion, Inc. Dynamic compensation to polygon and motor tolerance using galvo control profile
US11614521B2 (en) 2021-04-21 2023-03-28 Innovusion, Inc. LiDAR scanner with pivot prism and mirror
GB202105701D0 (en) * 2021-04-21 2021-06-02 Ams Sensors Singapore Pte Ltd A method of forming a three-dimensional image
US11662439B2 (en) 2021-04-22 2023-05-30 Innovusion, Inc. Compact LiDAR design with high resolution and ultra-wide field of view
US11624806B2 (en) 2021-05-12 2023-04-11 Innovusion, Inc. Systems and apparatuses for mitigating LiDAR noise, vibration, and harshness
EP4314884A1 (en) 2021-05-21 2024-02-07 Innovusion, Inc. Movement profiles for smart scanning using galvonometer mirror inside lidar scanner
US11732858B2 (en) 2021-06-18 2023-08-22 Veoneer Us, Llc Headlight illumination system using optical element
CN117751282A (zh) * 2021-07-08 2024-03-22 拉莫特特拉维夫大学有限公司 时间超分辨率
US11768294B2 (en) 2021-07-09 2023-09-26 Innovusion, Inc. Compact lidar systems for vehicle contour fitting
CN114552355B (zh) * 2022-01-27 2023-06-09 中国科学院福建物质结构研究所 一种偏振分离复合腔钬激光器
US11871130B2 (en) 2022-03-25 2024-01-09 Innovusion, Inc. Compact perception device
CN116380807B (zh) * 2023-06-05 2023-08-11 中国科学院苏州生物医学工程技术研究所 一种偏振薄膜成像方法以及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62235923A (ja) * 1986-04-04 1987-10-16 Sumitomo Special Metals Co Ltd 光シヤツタ素子
DE4439298A1 (de) * 1994-11-07 1996-06-13 Rudolf Prof Dr Ing Schwarte 3D-Kamera nach Laufzeitverfahren
JP2000146523A (ja) * 1998-09-02 2000-05-26 Sony Corp 距離測定装置および方法
JP2003279889A (ja) * 2002-01-15 2003-10-02 Eastman Kodak Co レーザ投影ディスプレイシステム
JP2005091003A (ja) * 2003-09-12 2005-04-07 Omron Corp 2次元分光装置及び膜厚測定装置
JP2006300616A (ja) * 2005-04-18 2006-11-02 Matsushita Electric Works Ltd 空間情報検出システム
JP2007235023A (ja) * 2006-03-03 2007-09-13 Hitachi High-Technologies Corp 欠陥観察方法および装置
JP2008003099A (ja) * 1995-06-22 2008-01-10 3Dv Systems Ltd 改善された光学測距カメラ

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1272583B (de) * 1965-04-09 1968-07-11 Philips Patentverwaltung Verfahren zur photooptischen Aufzeichnung bzw. Speicherung von aus Einzelsymbolen bestehenden Informationen
US3644017A (en) 1968-12-02 1972-02-22 Baird Atomic Inc Electro-optic light modulator with area selection
JPS5636405B2 (ja) 1971-09-18 1981-08-24
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
CH667340A5 (de) * 1985-04-30 1988-09-30 Cerberus Ag Lichtschranke.
US4967270A (en) 1989-05-08 1990-10-30 Kaman Aerospace Corporation Lidar system incorporating multiple cameras for obtaining a plurality of subimages
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
US6736321B2 (en) * 1995-12-18 2004-05-18 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) system employing wavefront control methods for reducing the power of speckle-pattern noise digital images acquired by said system
US5200793A (en) 1990-10-24 1993-04-06 Kaman Aerospace Corporation Range finding array camera
US5157451A (en) * 1991-04-01 1992-10-20 John Taboada Laser imaging and ranging system using two cameras
US5162861A (en) 1991-04-01 1992-11-10 Tamburino Louis A Laser imaging and ranging system using one camera
US5144482A (en) * 1991-05-13 1992-09-01 Gould Dennis R Three dimensional viewing apparatus including a stack of transparent plates and related method
JP2839784B2 (ja) * 1992-04-03 1998-12-16 株式会社東海理化電機製作所 形状測定用光源装置
US5686990A (en) * 1992-12-08 1997-11-11 The Charles Stark Draper Laboratory, Inc. Optical source isolator with polarization maintaining optical fiber and aspheric collimating and focusing lens
US5394413A (en) 1994-02-08 1995-02-28 Massachusetts Institute Of Technology Passively Q-switched picosecond microlaser
JPH08313215A (ja) * 1995-05-23 1996-11-29 Olympus Optical Co Ltd 2次元距離センサ
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
JPH10185566A (ja) * 1996-12-19 1998-07-14 Commuter Herikoputa Senshin Gijutsu Kenkyusho:Kk 自機位置測定装置および方法
US7796081B2 (en) * 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
JP2000333207A (ja) * 1999-05-20 2000-11-30 Olympus Optical Co Ltd 3次元電子カメラ
US7046711B2 (en) * 1999-06-11 2006-05-16 High Q Laser Production Gmbh High power and high gain saturation diode pumped laser means and diode array pumping device
AU5646299A (en) * 1999-09-08 2001-04-10 3Dv Systems Ltd. 3d imaging system
US6515737B2 (en) 2000-01-04 2003-02-04 The Regents Of The University Of California High-resolution imaging and target designation through clouds or smoke
US6456793B1 (en) 2000-08-03 2002-09-24 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
US7140543B2 (en) * 2000-11-24 2006-11-28 Metrologic Instruments, Inc. Planar light illumination and imaging device with modulated coherent illumination that reduces speckle noise induced by coherent illumination
US7444013B2 (en) * 2001-08-10 2008-10-28 Stmicroelectronics, Inc. Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
US20040041082A1 (en) * 2001-11-27 2004-03-04 Harmon Gary R. Molecular sensing array
DE10157810A1 (de) * 2001-11-27 2003-06-05 Up Transfer Ges Fuer Wissens U Dreidimensionale optische Formerfassung durch Intensitätskodierung der Pulslaufzeit
AU2003207799A1 (en) * 2002-02-04 2003-09-02 Bae Systems Information And Electronic Systems Integration Inc. Reentry vehicle interceptor with ir and variable fov laser radar
US6781763B1 (en) 2002-04-01 2004-08-24 The United States Of America As Represented By The Secretary Of The Air Force Image analysis through polarization modulation and combination
US7224382B2 (en) * 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
EP1521981B1 (en) * 2002-07-15 2008-02-20 Matsushita Electric Works, Ltd. Light receiving device with controllable sensitivity and spatial information detecting apparatus using the same
US7257278B2 (en) * 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
US7301138B2 (en) 2003-12-19 2007-11-27 General Atomics Method and apparatus for dual polarization imaging
JP4566685B2 (ja) 2004-10-13 2010-10-20 株式会社トプコン 光画像計測装置及び光画像計測方法
ATE427621T1 (de) * 2005-02-03 2009-04-15 Sony Ericsson Mobile Comm Ab Optisches gerat
US7535617B2 (en) * 2005-08-18 2009-05-19 The United States Of America As Represented By The Secretary Of The Army Portable acousto-optical spectrometers
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US7995191B1 (en) 2006-06-29 2011-08-09 Sandia Corporation Scannerless laser range imaging using loss modulation
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US7751109B1 (en) 2006-09-14 2010-07-06 The United States Of America As Represented By The Secretary Of The Army Electro-optic shutter
JP4403162B2 (ja) * 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
JP5665159B2 (ja) * 2007-02-23 2015-02-04 パナソニックIpマネジメント株式会社 距離画像センサ
JP5190663B2 (ja) * 2007-03-27 2013-04-24 スタンレー電気株式会社 距離画像生成装置
JP4831760B2 (ja) * 2007-03-29 2011-12-07 日本放送協会 3次元情報検出方法及びその装置
US8259203B2 (en) * 2007-12-05 2012-09-04 Electro Scientific Industries, Inc. Method and apparatus for achieving panchromatic response from a color-mosaic imager
FR2937734B1 (fr) 2008-10-28 2012-10-26 Commissariat Energie Atomique Procede et dispositif de mesure de caracteristiques optiques d'un objet
CN102292980B (zh) 2008-11-25 2015-04-01 泰特拉维公司 高分辨率三维成像的系统和方法
TWI551173B (zh) * 2014-09-12 2016-09-21 Space Micro - positioning Mobile Device Management System and Its Management Method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62235923A (ja) * 1986-04-04 1987-10-16 Sumitomo Special Metals Co Ltd 光シヤツタ素子
DE4439298A1 (de) * 1994-11-07 1996-06-13 Rudolf Prof Dr Ing Schwarte 3D-Kamera nach Laufzeitverfahren
JP2008003099A (ja) * 1995-06-22 2008-01-10 3Dv Systems Ltd 改善された光学測距カメラ
JP2000146523A (ja) * 1998-09-02 2000-05-26 Sony Corp 距離測定装置および方法
JP2003279889A (ja) * 2002-01-15 2003-10-02 Eastman Kodak Co レーザ投影ディスプレイシステム
JP2005091003A (ja) * 2003-09-12 2005-04-07 Omron Corp 2次元分光装置及び膜厚測定装置
JP2006300616A (ja) * 2005-04-18 2006-11-02 Matsushita Electric Works Ltd 空間情報検出システム
JP2007235023A (ja) * 2006-03-03 2007-09-13 Hitachi High-Technologies Corp 欠陥観察方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180071928A (ko) * 2016-12-20 2018-06-28 한국과학기술원 대표 광선 기반의 점유맵 업데이트 방법 및 시스템
KR101949609B1 (ko) 2016-12-20 2019-02-19 한국과학기술원 대표 광선 기반의 점유맵 업데이트 방법 및 시스템

Also Published As

Publication number Publication date
US20210281818A1 (en) 2021-09-09
EP2359593B1 (en) 2018-06-06
US8471895B2 (en) 2013-06-25
DK2359593T3 (en) 2018-09-03
US20240031549A1 (en) 2024-01-25
US20130278713A1 (en) 2013-10-24
HUE039300T2 (hu) 2018-12-28
WO2010068499A1 (en) 2010-06-17
CN102292980B (zh) 2015-04-01
JP2019015745A (ja) 2019-01-31
JP2012510064A (ja) 2012-04-26
US20150296201A1 (en) 2015-10-15
US10218962B2 (en) 2019-02-26
JP5909513B2 (ja) 2016-04-26
US10897610B2 (en) 2021-01-19
EP3396416A1 (en) 2018-10-31
JP5485288B2 (ja) 2014-05-07
US11627300B2 (en) 2023-04-11
JP6452202B2 (ja) 2019-01-16
US20100128109A1 (en) 2010-05-27
EP2359593A4 (en) 2014-01-22
JP2014143690A (ja) 2014-08-07
US20200059638A1 (en) 2020-02-20
CN102292980A (zh) 2011-12-21
US9007439B2 (en) 2015-04-14
EP2359593A1 (en) 2011-08-24

Similar Documents

Publication Publication Date Title
JP6452202B2 (ja) 高解像度三次元撮像のシステムおよび方法
US11516456B2 (en) Method and system for robust and extended illumination waveforms for depth sensing in 3D imaging
US11212512B2 (en) System and method of imaging using multiple illumination pulses
US11375174B2 (en) System and method of reducing ambient background light in a pulse-illuminated image
US11792383B2 (en) Method and system for reducing returns from retro-reflections in active illumination system
US20220141446A1 (en) System and method for glint reduction

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181207

R150 Certificate of patent or registration of utility model

Ref document number: 6452202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250