JP2013534639A - 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム - Google Patents

飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム Download PDF

Info

Publication number
JP2013534639A
JP2013534639A JP2013520728A JP2013520728A JP2013534639A JP 2013534639 A JP2013534639 A JP 2013534639A JP 2013520728 A JP2013520728 A JP 2013520728A JP 2013520728 A JP2013520728 A JP 2013520728A JP 2013534639 A JP2013534639 A JP 2013534639A
Authority
JP
Japan
Prior art keywords
phase
tof system
tof
optical energy
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013520728A
Other languages
English (en)
Other versions
JP5834079B2 (ja
Inventor
シュ,チャンピン
ペリー,トラヴィス
ヒルズ,ゲイジ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2013534639A publication Critical patent/JP2013534639A/ja
Application granted granted Critical
Publication of JP5834079B2 publication Critical patent/JP5834079B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Abstract

位相に基づくTOFシステムは、多くの高次高調波が生じるだろうということにもかかわらず、変調コントラストを増強するために、素早い立ち上がり及び立ち下がり時間を有した光波形を好適に発生させる。このシステムは、システムのメモリー要件をむやみに増大させることなく、良好な変調コントラストを維持しながら高次高調波に起因するシステムのバイアス誤差を低減するために、奇数の位相で好適に動作する。このシステムは、時間及び温度にわたって、TOFの発生した光学的エネルギー波形における高次高調波を動的に好ましくキャリブレーション(及び補償)することが可能である。光学的エネルギーの送信チャネル又は検出チャネル内において、検出増幅器ゲインが修正されることができ、及び/又は、検出器信号の積分時間が修正されることができ、及び/又は、キャリブレーション及び誤差の低減を実施するデジタル値が利用されることができる。その結果のTOFシステムは、キャリブレーション要件を低減して、改善された位相対距離の特性で動作することが可能である。
【選択図】図2

Description

[0001] 飛行時間(Time-of-Flight:TOF)の原理に基づく3次元(3D)カメラは、撮影中の場面内にある物体から距離情報を取得する。距離情報は、カメラのセンサーアレイの各ピクセルにおいて独立に生成される。代表的なそのようなシステムは、米国特許番号6,323,942「CMOSと親和的な3次元イメージセンサーIC」(2001年)、及び米国特許番号6,515,740「量子効率変調を用いたCMOSと親和的な3次元イメージセンシングのための方法」(2003年)に記載されており、これらの特許は、当初Canesta社に譲渡され、現在はMicrosoft社に譲渡されている。
[0002] 米国特許番号6,323,942に記載されるように、TOFシステムは、光学的エネルギー(能動的な光学的エネルギー)を放射し、目標物体により反射されたそのエネルギーの少なくとも一部が当該システムへ戻って来てセンサーのアレイによって検出されるまでにどのくらい時間がかかるかを測定する。TOFシステムへ向かって反射される前により遠くにある目標物体の表面領域へと伝搬していく放射された光学的エネルギーは、仮にその目標物体が当該システムにもっと近い場所に存在していたとした場合よりも長いTOFを有するだろう。往復のTOF時間をtで表せば、目標物体とTOFシステム間の距離はZであり、ここでZ=t・C/2であり、Cは光速である。このようなシステムは、光度データ(信号の振幅)とTOF距離の両方を取得することが可能であり、目標物体の3次元画像をリアルタイムで現実化することが可能である。都合がよいことに、このようなシステムは、環境光(受動的な光学的エネルギー)の存在下であってもなくても動作することが可能であり、可動部分、例えばシャッターやモーターなしで動作することが可能である。
[0003] より高性能なTOFシステムが米国特許6,515,740に記載されており、当該特許では、変調された送信光信号と目標物体から反射された光信号間の相対的な位相シフトを調べることによって、TOFが測定される。図1Aは、740特許による典型的な位相シフト検出システム100を表す。反射された光信号をこのシステムのピクセルのアレイにおける多数の位置にわたって検出することにより、深度画像と呼ばれる測定信号が得られる。この深度画像は、目標物体の表面の3次元画像を表現するものである。
[0004] 図1Aを参照すると、TOFシステム100は、ピクセル検出器140の2次元アレイ130を含んでおり、ピクセル検出器140のそれぞれは、当該検出器により出力された検出電荷を処理するための専用回路素子150を有している。代表的な適用例では、アレイ130には、100×100のピクセル140と、従って100×100の処理回路150とが含まれ得る。IC110はまた、マイクロプロセッサー又はマイクロコントローラーユニット160、メモリー170(好ましくはランダムアクセスメモリー即ちRAMとリードオンリーメモリー即ちROMを含む)、高速分散可能クロック180、並びに、様々な計算及び入力/出力(I/O)回路190を含むことができる。他の機能の中でもとりわけ、コントローラーユニット160は、物体までの距離の計算及び物体の速度の計算を実施することができる。
[0005] マイクロプロセッサー160の制御の下で、光学的エネルギー源120は、励振器115によって周期的に活性化され、物体目標20に向けてレンズ125を介して光学的エネルギーを放射する。典型的には、この光学的エネルギーは、例えば半導体レーザー、VCSEL(垂直共振器面発光レーザー)、又はLEDデバイス120によって放射された光である。デバイス120から放射された光学的エネルギーのいくらかは、目標物体20の表面から反射され、集合的に135で示される開口視野絞り及びレンズを通過し、そして、画像が形成されるピクセル検出器140の2次元アレイ130上に当たるだろう。ある実施態様では、それぞれの画像ピクセル検出器140が、放射器120によって送信された光学的エネルギーが目標物体20に到達し反射されて2次元センサーアレイ130により検出されるのに要した飛行時間(TOF)を捕捉する。このTOF情報を利用して、距離Zが決定されることが可能である。都合がよいことに、システム100は、1つのIC110上に、チップ外部のコンポーネントを比較的ほとんど持たずに実現されることが可能である。
[0006] 典型的に、光学的エネルギー源120は、好ましくは低パワー(例えばおそらく1Wピーク)の周期的な波形を放射し、シャッター時間(おそらく10ms)として知られる期間にわたって既知の周波数(おそらく30MHz乃至数百MHz)の光学的エネルギー放射を発生させる。放射器120からの光学的エネルギーとピクセル検出器140における検出された光学的エネルギー信号は互いに同期しており、各ピクセル検出器について、位相差及び従って距離Zが測定されることが可能となっている。使用される当該検出方法は、740及び496特許においてホモダイン検波と呼ばれている。位相に基づくホモダイン検波TOFシステムは、米国特許6,906,793「3次元センシングに関する電荷制御のための方法及び装置」にも記載されており、当該特許は、当初Canesta社に譲渡され、現在は本件の譲受人であるMicrosoft社に譲渡されている。出願人は、前記793特許をここに参照として組み入れる。
[0007] 2次元イメージセンサーアレイ130によって検出された光学的エネルギーは、Φで示された位相シフトの情報に加えて、Aで示された光源の振幅又は強度の情報を含んでいるだろう。図1B及び1Cに典型的な波形で表されるように、受信された位相シフトの情報(図1C)はTOFの分だけ異なっており、Zデータを含むDATAを生じさせるように処理されることが可能である。放射器120によって送信された光学的エネルギーの各パルス列に対して、目標物体20のうち見えている部分の3次元画像が取得され、その3次元画像から強度及びZデータが取得される(DATA)。米国特許6,515,740及び6,580,496に記載されているように、深度情報Zの取得には、放射された光学的エネルギーとピクセル検出された信号間で90°位相シフトした、目標物体(又は場面)20の少なくとも2つのサンプルを取得することが必要である。2つのサンプルは最小の数であるが、ピクセル検出器の性能の不整合、付随する電子的実装における不整合、及び他の誤差に起因する検出誤差の低減を可能にするために、好ましくは、位相が90°離れた4つのサンプルが取得される。1つ毎のピクセル検出器ベースで、測定された4つのサンプルデータが統合されて、実際のZ深度情報データが生成される。位相シフトシステムの様々な実施態様の具体化に関する更なる詳細は、米国特許6,515,740及び6,580,496に見出すことができる。
[0008] 図1Dは、量子効率変調を用いたCMOSと親和的な3次元イメージセンシングのためのシステムと題された米国特許6,580,496、又は3次元センシングに関する電荷制御のための方法及び装置と題された米国特許6,906,793における、図10の固定位相遅延の実施態様に関して記載されたものと同様であり、双方の特許は、当初Canesta社に譲渡され、現在は本件の譲受人であるMicrosoft社に譲渡されている。(出願人は、これら496及び793特許をここに参照として組み入れる。)図1Dにおいて、量子効率変調されたそれぞれの差動ピクセル検出器、例えば140−1からの発生した光電流は、差動的に検出(DIF.DETECT)され差動的に増幅(AMP)されて、信号B・cos(Φ)、B・sin(Φ)を生じさせる。ここで、Bは輝度係数である。
[0009] TOFシステムの通常のランタイム動作中に、位相選択制御信号(位相選択)に応答して、0°又は90°の固定の位相シフト遅延(遅延)が切り換え可能に挿入可能である。送信信号と受信信号間の位相差(図1B、1Cを参照)を導出し、他のデータの中でもとりわけTOFを導出するために、量子効率変調を用いてホモダイン混合が行われる。位相に基づくTOFシステムにおけるホモダイン検波のより詳細な説明は、496特許に見出される。正弦波型の周期的な波形が図1Dに示されているが、非正弦波の波形が代わりに利用されることができる。図1Dに類似した検出構成が、本発明の実施態様と共に用いられることができる。
[0010] このように、図1Aによって例示されたTOFシステムは、変調されて送信された光と目標物体で反射された光の間の位相遅延(Φ)を取得することが可能である。位相ΦはTOFセンサーアレイと目標物体を隔てている(Z)距離に比例するが、位相遅延は相対的な量であり、それ自体はZ距離と等しくはない。例えば、Zが増加するにつれて位相Φは増加するが、360°の増加以降、位相は折り重なって、Zのそれ以上の増加は、再び0°から始まるΦの更なる増加をもたらすだろう。実際には、通常、Zの真の測定値を得るために、位相データの曖昧さを解消する、即ちエイリアスを除去する能力を持ったTOFシステムが提供される。
[0011] 当初Canesta社に譲渡され、現在は本件の譲受人であるMicrosoft社に譲渡された米国特許7,719,662により例示されているように、放射状の情報の代わりにデカルト(即ち実世界のX、Y、Z)座標の使用を可能とするキャリブレーション方法をTOFシステムに更に提供することが有益である。(TOFのピクセル又はセンサーは、アレイ130のそれぞれのピクセル140に対して異なるある放射角度に沿って位相遅延を測定する。)662特許によれば、キャリブレーションの1つの機能は、センサー140の応答から幾何学的な座標、即ち既知の参照点を基準としたX、Y、及びZ情報へのマッピングを作成することと定義されることができる。(X及びY座標はTOFシステムの光軸からの水平方向及び鉛直方向のオフセットであり、Zはセンサーと目標物体又は撮影場面内の物体との間の垂直距離である。)そのようなマッピングには、XYキャリブレーションに加えて深度キャリブレーションが含まれ得る。662特許は、目標物体がXY平面における異なるZ深度に物理的に再配置される際に、その異なるZの値における深度データを収集することを要しないキャリブレーションマッピング方法を開示した(いわゆる「バイ・イグザンプル(by example)」法)。そのように収集されたデータはルックアップテーブル(LUT)に集められて格納されることが可能であり、このルックアップテーブルは、取得された深度データに対して補正を行うために、ランタイム動作中のTOFシステムに利用可能である。
[0012] 幾何学的なキャリブレーションに加えて、限定ではないが温度や周りの照明条件を含む、ある環境的な要因に対処するための他のタイプのキャリブレーションが実施されなければならない。例えば、センサーアレイ130の温度変化は、ピクセル140においていわゆる暗電流を増加させることがあり、この暗電流が今度は測定された位相Φを変化させることがある。周囲の光は光源120からのシステム放射光と干渉し、位相誤差を引き起こすことがある。完全なキャリブレーション手順には、好ましくは、そのような環境的変化の影響をモデル化するステップが含まれるだろう。環境的条件が変化した場合、そのようにすることで、ランタイム動作中にこれらの影響が動的に除去されることが可能である。
[0013] このように、センサーアレイからの所与の位相応答が、キャリブレーションテーブルに格納されている値を補間することによって距離に変換される。しかしながら、位相対距離の伝達関数曲線は高調波を含んでおり、不十分なサンプリングに起因して精度が損なわれることを避けるために、こうした高調波をモデル化したキャリブレーションテーブルに十分な量のデータポイントが格納されなければならない。テーブルのサイズを大きくすることによってしか低減することができない補間誤差も存在する。
[0014] 比較的高速なランタイム処理によって実施するには「バイ・イグザンプル」法が手っ取り早いが、いくつかの欠点を有している。一組の動作範囲を設定することとそれに引き続く補間は、振幅で数cmにもなり得る誤差を引き起こす。更に、センサーの動作範囲が大きくなるにつれて、精度を維持するためにより多くのデータがキャリブレーションテーブルに格納されなければならない。このことは、より大きなキャリブレーションテーブルを生じさせ、より長い補間時間に加えてより多量の格納領域を必要とする。格納領域は例えば数MBのオーダーになることがあり、これは組み込みシステムで使用するには非常に大きい。実践的な観点からの別の問題は、目標物体が再配置される際の大きな視野(field of view:FOV)と動作範囲に対してセンサーからデータを取得するのに必要となる、大きな物理的スペースである。例えば、100°のFOVと5mの動作範囲を有したセンサーは、およそ12m×12mの目標物体を要し、この目標物体はキャリブレーション中に0から5mの間を移動しなければならない。キャリブレーション中に目標物体の再配置のための十分な物理的スペースが与えられれば、そしてキャリブレーション手順のための十分な時間が与えられれば、先行技術に係るそのような「バイ・イグザンプル」キャリブレーションは実行されることが可能である。しかし、先行技術のそのようなキャリブレーション手順はコストが高くつき、体積の大きな製品のキャリブレーションにはあまり適さない。
[0015] ルックアップテーブル(LUT)にキャリブレーションの補正項を静的に格納することは、キャリブレーションに対する従来から行われてきたアプローチである。しかしながら、TOFシステムがまだ新しかった時に作成されたLUTの係数値は、TOFシステムが時を経るにつれて、又は個々のコンポーネントが例えば温度と共に変化するにつれて、もはや良好なキャリブレーション補正をもたらさないことがある。更に、LUTの値を格納することは、システムメモリー記憶装置のオーバーヘッドを増大させることがある。
[0016] 米国特許7,719,662は、3次元カメラシステムのための検出位相から距離へのキャリブレーションを実現するいくつかの有効な方法及びシステムに取り組んだ。662特許は、より少ない時間とより小さい物理的スペースしか必要としない、実現されるべき方法及びシステムについて記載している。しかしながら、一般に、更なる改良が望まれる。
[0017] どのようなTOFシステムの設計にもトレードオフが存在する。一方、方形波の光学的エネルギー波形の放射は変調のコントラストを好適に増強するが、方形波を特徴付けている素早い立ち上がり及び立ち下がり時間は、望まれない高次高調波の原因となる。
[0018] 必要とされるのは、TOFシステムによって取得される位相に基づくデータ中の高調波成分に起因する、バイアス誤差と呼ばれることもある誤差を低減する方法及びシステムである。好ましくは、そのような方法及びシステムは、放射された方形波の光学的エネルギー波形に関して高い変調コントラストを好適に可能にしながら、当該波形に付随する高次高調波を有したバイアス誤差成分を補償するであろう。バイアス誤差の変化が、放射された光学的エネルギーの波形における時間及び温度に起因する変動によって生じることがある。そのような場合、TOFシステムに対するキャリブレーション要件を変化させることによって、バイアス誤差の変化を補償することが必要となり、又は少なくともそうすることが望まれるようになる。好ましくは、そのような方法及びシステムは、高い変調コントラストを維持したまま、メモリー要件を増加させることなく、そしてできればメモリー要件を減少させることにより、動的に動作可能であるべきである。そのような方法及びシステムの実現は、TOFシステムの良好なキャリブレーションに対して、変化するシステム及び/又は環境的条件にわたってすら改善された直線性を動的にもたらすであろう。
[0019] 本発明は、そのような方法及びシステムを提供する。
[0020] 最新のTOFシステムは、典型的に、多相位相シフトを用いてZ深度データを取得する。例えば、放射された光学的エネルギーの変調周波数について4つの位相シフト0°、90°、180°、270°を用いて深度データを取得する。あるシステムによる高速なキャリブレーションは、ルックアップテーブルに格納された補正パラメーターをTOFシステムのキャリブレーションモデルに提供し、そしてまた位相オフセット補正も提供した。しかしながら、TOFシステムが時を経るにつれて、又はシステムの変化例えば温度変化につれて、格納された補正モデル化データの実効性は損なわれることがあった。対照的に、本発明の実施態様は、先行技術のTOFシステムにおける典型的には静的なモデル化を用いることなく、TOFシステムの動的なキャリブレーションを行うことが可能である。
[0021] 本発明は、位相に基づくTOFシステムを、例えばN=4、N=6等の偶数の位相シフトではなく、好ましくはN=3、N=5、N=7等の奇数の位相シフトで動作させることが、TOFシステムの非直線性を実質的にもたらす高次高調波からのバイアス誤差を好都合に低減するということを認識する。そのようなバイアス誤差の補正又は補償は、先行技術のTOFシステムでは明示的に提供されてこなかった。加えて、奇数の位相シフトを用いることは、変調コントラスト(センサー検出器の効率の指標)を好都合に最大化することが可能である。本発明は、TOFシステムが方形波形状の光学的エネルギーを放射することを可能にし、この波形は、増強された高い変調コントラストを望ましいことに促進するが、望ましくないことに高次高調波を多く含んでいる。しかしながら、こうした高次高調波からのバイアス誤差は、本発明の実施態様に従って低減される。更に、補正データのための記憶装置の要件は好適に低減され、例えば、位相の数が3よりかなり大きい場合においてさえ、補正データを格納するのに2つのメモリーバンクで十分である。全般的に言えば、記憶装置のオーバーヘッドを増大させずに、変調コントラストを増強させないにしてもそれを維持したまま、より良好なキャリブレーション補正が動的に達成される。そのようなキャリブレーション補正には、TOFシステムの放射された光波形における時間及び温度にわたる位相‐距離測定の変化を含んだバイアス誤差成分の、動的な補償が含まれる。本発明の実施態様は、TOFシステムの性能を更に増大させるために、奇数の位相シフトの使用をルックアップテーブル(LUT)と組み合わせることが可能である。オプションとして用いられる場合、LUTは、好ましくは、高次高調波からの残留しているバイアス誤差を更に低減することが可能な精密な補正を行うための補正データを格納する。本発明の態様は、ソフトウェア及び/又はハードウェアによって実現されることができる。
[0022] 本発明の他の特徴及び利点は、添付の図面と共に、好適な実施態様が詳細に記載された以下の記述から現れるだろう。
図1Aは、従来技術による、米国特許6,515,740により例示されたような位相に基づく3次元飛行時間イメージングシステムを表すブロック図である。 図1Bは、従来技術による、図1Aのブロック図に関する典型的な波形の関係を表す。 図1Cは、従来技術による、図1Aのブロック図に関する典型的な波形の関係を表す。 図1Dは、従来技術による、固定位相遅延(fixed-phase delay:FPD)量子効率変調検出器における典型的な差動光検出器及び関連する電子回路を表すブロック図である。 図1Eは、従来技術による、TOFシステムの深度対位相マッピング特性に関する理想的な直線成分に重ね合わせられた非直線的な高調波成分を表す。 図2は、本発明の実施態様による、ゲイン変調、積分時間変調、及び/又は、高次高調波に起因する残留誤差のより一層精密な補正のためのオプションのルックアップテーブル(LUT)の実施を含むデジタル動作による、多相の位相シフトキャリブレーションのいくつか又は全てを可能にする、動的に選択可能な多相の位相シフトキャリブレーションを与えられたTOFシステムを表す。 図3Aは、本発明の実施態様による、四相動作のTOFシステムに対する光入力対変調周期/距離を表す。 図3Bは、本発明の実施態様による、四相動作のTOFシステムに対するピクセル又は検出器Aの出力対変調周期/距離を表す。 図3Cは、本発明の実施態様による、四相動作のTOFシステムに対するピクセル又は検出器Bの出力対変調周期/距離を表す。 図3Dは、本発明の実施態様による、四相動作のTOFシステムに対する検出器Bの出力対変調周期/距離を表す。 図3Eは、本発明の実施態様による、四相動作のTOFシステムに対する差動検出器(A−B)の出力対変調周期/距離を表す。 図3Fは、本発明の実施態様による、四相動作のTOFシステムに対する位相対変調周期/距離を表す。 図3Gは、本発明の実施態様による、四相高調波を示す極座標プロットである。 図3Hは、本発明の実施態様による、四相高調波に対する位相対変調周期/距離を表す。 図3Iは、本発明の実施態様による、四相高調波に対するアクティブ輝度対変調周期/距離を表す。 図4Aは、本発明の実施態様による、五相動作のTOFシステムに対する光入力対変調周期/距離を表す。 図4Bは、本発明の実施態様による、五相動作のTOFシステムに対するピクセル又は検出器Aの出力対変調周期/距離を表す。 図4Cは、本発明の実施態様による、五相動作のTOFシステムに対するピクセル又は検出器Bの出力対変調周期/距離を表す。 図4Dは、本発明の実施態様による、五相動作のTOFシステムに対する検出器Bの出力対変調周期/距離を表す。 図4Eは、本発明の実施態様による、五相動作のTOFシステムに対する差動検出器(A−B)の出力対変調周期/距離を表す。 図4Fは、本発明の実施態様による、五相動作のTOFシステムに対する位相対変調周期/距離を表す。 図4Gは、本発明の実施態様による、五相高調波を示す極座標プロットである。 図4Hは、本発明の実施態様による、五相高調波に対する位相対変調周期/距離を表す。 図4Iは、本発明の実施態様による、五相高調波に対するアクティブ輝度対変調周期/距離を表す。 図5Aは、本発明の実施態様による、七相動作のTOFシステムに対する光入力対変調周期/距離を表す。 図5Bは、本発明の実施態様による、七相動作のTOFシステムに対するピクセル又は検出器Aの出力対変調周期/距離を表す。 図5Cは、本発明の実施態様による、七相動作のTOFシステムに対するピクセル又は検出器Bの出力対変調周期/距離を表す。 図5Dは、本発明の実施態様による、七相動作のTOFシステムに対する検出器Bの出力対変調周期/距離を表す。 図5Eは、本発明の実施態様による、七相動作のTOFシステムに対する差動検出器(A−B)の出力対変調周期/距離を表す。 図5Fは、本発明の実施態様による、七相動作のTOFシステムに対する位相対変調周期/距離を表す。 図5Gは、本発明の実施態様による、七相高調波を示す極座標プロットである。 図5Hは、本発明の実施態様による、七相高調波に対する位相対変調周期/距離を表す。 図5Iは、本発明の実施態様による、七相高調波に対するアクティブ輝度対変調周期/距離を表す。
[0046] 言及されたように、TOFシステムから信頼できる正確な深度Zデータを取得することは、TOFシステムのランタイム動作中におけるキャリブレーション特性が既知であることを要する。TOFのいくつかの特性は、いわゆる「バイ・イグザンプル」キャリブレーション手法を用いてアプリオリに取得されることが可能である。米国特許番号7,719,662は、キャリブレーションの間、目標物体は静止したままであるが、距離により生じる位相を模擬するために、放射された光学的エネルギーの変調周波数に位相が挿入される、改良されたキャリブレーション方法について記載した。そのようなキャリブレーションは高速であり、またデータを取得するのに大きな空間を必要としなかった。電気的なキャリブレーションモデル(センシングシステムの幾何学的特性ではなく電気的特性に依存した位相対距離特性)及び楕円的なキャリブレーションモデル(センシングシステムの電気的特性ではなく幾何学的特性に依存した位相対距離特性)を含んだモデルが構築され、格納された。
[0047] しかし、TOFの特性は、時間にわたって、及び環境的変化、例えば温度変化にわたって、静的ではなく動的である傾向にある。したがって、TOFシステムが新しい(そして新たにキャリブレーションされた)時点においては非常に正確であり得る格納されたキャリブレーションモデルのデータは、TOFシステムに対する温度変化を含むシステムの変化に起因して、より正確ではなくなる場合がある。
[0048] 本発明は、TOFシステムのランタイム動作中に良好な直線性のキャリブレーションデータを取得及び維持する、多相位相動的キャリブレーションの方法及びシステムを提供する。
[0049] 図2は、TOFシステム200を表し、そのメモリー170は、他のデータの中でもとりわけ、例えば、160のようなオンチッププロセッサー、又はオフチッププロセッサーによって、実行されると本発明の実施態様を実施するルーチンを格納している。(特に明記されない限り、図1Aにおけるものと同様の符号を付された図2のコンポーネント及びシステムは、同一又は実質的に同一であるとみなされ得る。)更に、メモリー170の領域215は、本発明の実施態様により作成されたデータを格納するのに使用されることができ、又は、そのようなデータは、ICチップ210の外部、例えばオフチップメモリー270に格納されることができる。図2のシステム200’は多数の光源120を用いることができることに留意されたい。メモリー領域170はまた、本発明によって利用される少なくとも1つのルックアップテーブル(LUT)を格納することができる。このLUTは、オプションとして、高次高調波に起因するこのシステムの小さな残留誤差に対してすらより精密な補正を可能にする、動的に収集された補正データを含む補正データを格納することが可能である。本発明の実施態様は、高調波に関連する誤差を更に補正するピクセル毎ベースの補正係数を格納した少なくとも1つのLUTのための、例えば170、215等の記憶装置を含むことができる。
[0050] 高速Zキャリブレーションは、好ましくは、できるだけ少ないデータポイントを持つ位相対距離マッピングを時間的及び空間的に効率のよい方法で作成する。システム200の基礎的な電子検出特性を捉えるために、この位相対距離マッピングは、理想的には直線的であるべきであるが、実際には、図1Eに示されるように、高調波を含んでいるだろう。こうした直線性からの望まれない偏差は、これから説明されるように、より高次の奇数次高調波の存在に起因すると考えられている。本発明の実施態様は、時間及び温度にわたってより直線的な位相対距離の伝達関数を動的に提供することを目指している。その結果は、深度測定が精密なキャリブレーションにより依存しないTOFシステムである。
[0051] 本発明では、本質的に静的な補正データに頼るのではなく、出願人は、奇数の位相、例えば、N=3(0°、120°、240°)、N=5(0°、72°、144°、216°、288°)、N=7等を用いて位相に基づくTOFシステムを動作させるのが有利であるということを見出した。奇数の位相を用いてTOFデータを取得することは、図1Eによって明示された高調波のリップル状の悪影響に起因するバイアス誤差を好都合に低減する。
[0052] 都合の良いことに、本発明の実施態様を用いて良好な変調コントラストが得られ、また、Nの大きさにかかわらず僅か2つのメモリーバンクがキャリブレーションデータを格納するのに十分である。多くの適用場面では必要とされないだろうが、望まれる場合には、ルックアップテーブル(LUT)を利用することによって高調波のバイアス誤差の更なる低減が達成されることが可能である。1つの実施態様では、そのようなLUTは、好ましくは、TOFシステムの動的ベースで一番最近取得された補正データを格納する。このLUTの利用はオプションであるが、TOFシステムの位相対深度距離の関係における残留している非直線性をより最適に補正して、より精密な補正をもたらすことが可能である。
[0053] 再び図2に目を向けると、TOFシステム200’は、多くの点で例えば図1A、1B、1C、1Dに関して説明されたものに類似しており、これらの図では、言及されたように同様の符号は実質的に同様のコンポーネント又は機能を表し得る。位相に基づくTOFシステム200’によって取得されたデータはDATA’と表記されており、他のアプリケーション及び/又はデバイスへエクスポートされることができる。図2に示されるように、システム200’は、好ましくは、230、240、250で表記された少なくとも1つのモード又は動作モジュールを含んでおり、ここで、システム200’は、好ましくは動的に切り換え可能に、これらのモードのうちの少なくとも1つのモードで動作することが可能である。現在のTOFシステムのランタイム動作条件に最も良く適合するようシステム200が3つのモード230、240、250のうちの望ましい1つのモードへ動的に又は静的に切り換わることを可能にするように、電子スイッチ260が象徴的に示されている。システム200はまた、放射器120からの光学的エネルギーの変調周波数が所望の位相値を持つようにすることが可能な位相シフター制御ユニット220を含んでいる。
[0054] 本明細書において既に言及されたように、多くの先行技術のTOFシステム、例えば図1Aにおけるシステム100は、4つの位相を用いて、正弦波型の波形を有した放射された光学的エネルギーによって動作される。仮にこの波形が理想的な正弦波であれば、TOFシステム100は非直線的な歪みを呈しないであろうが、現実には、そのような歪みが存在するだろう。例えば、四相システムは、典型的に、あるZ距離においておよそ±4°の誤差を持った深度Z値を生じさせるだろう。この誤差は、主として、擬似的三角波形に対応する相関関数(correlation function:CF)のより高次の高調波に起因している。例えば、理想的な三角形形状のCFに対する高調波の相対的な振幅は、周波数領域において、f 1、f 0、f 1/9、f 0、f 1/25、f 0、f 1/49等のように展開されることが可能である。ここで、fはTOFシステムに適用される基本周波数である。もちろん、現実のシステムでは、より高次の項の高調波は、存在する非直線性の歪みに起因して完全にゼロまでは減少しないだろう。
[0055] 典型的に静的なLUTを用いたキャリブレーション又は補償方法は深度Zのより高い測定精度を得るのに利用されることが可能である一方、当該LUTの中身を現在のTOFシステムの動作条件に合うように容易に動的に変更することは不可能である。仮に例えば、おそらくは変調の不安定性、波形歪み等に起因した相関関数(CF)の3次又はより高次の高調波の悪影響を解消するように、LUTの中身を変更することが可能であるなら、有益であろう。静的に格納されたLUTの補正キャリブレーション値に依存したTOFシステムは、支配的な3次高調波又はより高次の高調波によって引き起こされる振幅係数変化及び/又は位相シフト変化に対して特に弱い。
[0056] 例えば、3次高調波をk=m・cos(3ωt+fi0)と表現することが可能であり、ここで、mはノミナル係数、ωは放射器120からの光学的エネルギーにおける変調信号の基本角周波数、tは飛行時間による時間遅延、fi0はシステム的なノイズ、温度の影響等を示すパラメーターであるTOFシステムの位相オフセットである。値kは、四相に基づくTOFシステムにおいてシステム誤差を生じさせるシステム位相オフセットにおける支配的な項である。係数mとシステム位相オフセットfi0は、波の変形及び/又は他の変動に起因して変化し得る。当然のことながら、純正なLUTのキャリブレーション又は補正のアプローチにとって、kの大きさが変化した場合に適切に補償を行うことは骨が折れることであり得る。従来の四相TOFシステムはまた、特に目標物体が高い反射率を持っている場合に、センサー又はピクセルの飽和に悩まされることがある。目標物体が素早く動いていると、取得された深度データの一フレームは、後処理では直すことが難しいぼやけた画像を含有することがある。当然のことながら、もし深度データがより短い時間期間で取得されることが可能であれば、ぼやけやアレイ130内のピクセルの飽和が生じる機会は相対的に小さくなる。
[0057] 経済性を含む実践的な設計の検討は、光源120がLED又は半導体レーザーであり、励振器115からの変調信号、及びアレイ130の様々なピクセル検出器140に加えられる検波信号が矩形又は方形の波形を有することを要求するかもしれない。そのような素早い立ち上がり及び立ち下がり時間の波形信号は、例えば増大した変調コントラストによって顕在化し、TOFシステムの相関感度を増強させることが可能である。
[0058] 理論的には、理想的な検出器システムは、方形波の波形については100%の変調コントラストを呈し、正弦波の波形については50%の変調コントラストを呈するであろう。しかし、変調コントラストの観点からは有利であるのに対して、方形波の使用は、TOFシステムの深刻な非直線的歪みをもたらすことがあり、この歪みは、システムが測定するZ深度値の絶対的な精度を低下させるだろう。これから説明されるように、本発明の実施態様は、好都合に、高調波のバイアス誤差を低減し、変調コントラストを増大させ、画像のぼやけ及びピクセル飽和のおそれを減少させ、メモリー記憶に対する要件を減少させる。
[0059] 本発明の実施態様は、好ましくはシステムの光学的エネルギーの送信チャネル又は経路において、あるいは3次元受信チャネル又は経路において、奇数Nの位相シフトのステップをTOFシステム200’に好適に適用する。説明の容易化のため、図2は、位相シフトが受信チャネル又は経路において示された実施態様を表している。スイッチ260が水平位置にあり、例えばゲイン変調係数G設定ユニットであるモジュール240に結合されていると想定されたい。このモードでは、TOFシステムの発振器ユニット(例えば、クロック180、プロセッサー160、I/O190)は、変調周波数f0を有したRF変調信号を励振器115によって発生させる。この駆動信号は光学的エネルギー放射器120に結合され、放射器120は、対象の目標物体20の一部分を少なくとも部分的に照射する光学的エネルギーを放射する。この能動的なエネルギー(能動光)のいくらかは、目標物体によってTOFシステム200’へ向けて反射され、光学系135を通過し、そして、アレイ130内のピクセル検出器又はセンサー140上に当たる。この光学的エネルギーがシステム200’から出射し、目標物体20により反射され、そして一部分がTOFシステム200’に戻ってくるのに要する時間が、飛行時間即ちTOF、tである。150等の電子回路は、好ましくは、アナログ/デジタル変換、少なくとも1つの可変利得増幅器、及び例えばI/O190の読み出し能力といったような機能を含んでいる。励振器115及び放射器120を駆動するRF変調信号は、同時に位相シフター220にも結合され、各ピクセル検出器を通じてTOFシステムによって取得中の光学深度画像を取り出すのに利用される。
[0060] 代表的な変調タイプには、量子効率変調及びホモダイン検波が含まれる。例えば米国特許番号6,515,740を参照されたい。スイッチ260が真ん中の位置にある場合、検波された信号のゲインは、様々な増幅器ゲイン要素、例えばゲインG、ゲインG、…Gを設定する係数設定ユニット240により調整されて好適に可変である。このようにゲイン修正された信号は、次いで、ICチップ210上、又はチップ外部の何れかにおいてデジタル化され、例えばメモリー215にオンチップで、又はメモリー270にオフチップで格納されることが可能である。オンチップ又はオフチップで格納されたものは、おそらくメモリー170、215の一部分の中にある、又はオフチップでメモリー270の中にある、データバンク、好ましくは1つ又は2つのデータバンクとみなされることができる。最終的に、処理又は前処理された信号情報は、他のデバイス及び/又はアプリケーションによる利用のために、DATA’としてエクスポートされることが可能である。好ましい実施態様では、設定ユニット240における様々なゲインは大きさが可変であり、その瞬間におけるTOFシステムの環境に最も良く適応するように、ランタイム動作中に動的に変化することが可能である。
[0061] 今なお図2を参照して、今度は、スイッチ260が一番上の位置に移動し、積分時間修正ユニット230に結合されていると想定されたい。様々なt、t、…tのエントリーは、ピクセル信号の異なる積分時間を表記している。(通常、入射したフォトンエネルギーによりピクセルで発生した検出電流は、コンデンサーで積分されて検出可能な信号となる。)この動作モードでは、検波された検出信号の積分時間が、位相シフトユニット220からのそれぞれの位相シフトと同期的に、積分時間修正ユニット230によって可変に調整される。ここでも、積分時間が可変に修正された検出信号のデジタル化は、ICチップ210の内部又は外部で行われることができる。
[0062] 今度は、スイッチ260が一番下の位置にあり、デジタル数値ユニット250に結合されていると想定されたい。このデジタル数値ユニット250は、D、D、…Dと表記されたデジタル数値を格納しており、位相ユニット220からの位相変化と同期して動作する。生成されたデータは、オンチップ又はオフチップで、例えばメモリー170、215及び/又はメモリー270に格納されることができる。
[0063] 「スイッチ」230は抽象的な表現であって、回転可能な機械式物理的スイッチではないということは理解される。好適な実施態様では、スイッチ230は、現在の作動環境において現在のランタイムにおけるTOFシステム200’の動作に最も良く適合するように、ゲイン修正モード、積分時間修正モード、及びデジタル値修正モードの間で、動的にオンザフライでモードを切り換えることが可能である。様々な動作モードにおいて、N個の位相シフトは、対応する相関係数CFの一周期の中において、又はその一周期にわたって分割された、均等な又は少なくとも不均等な間隔であるということが想定されている。例えば、N個の均等に分割された位相シフトは、位相シフトの集合:
{0,1・2π/N,2・2π/N,…(k−1)・2π/N}
を与える。
[0064] 最初のシフトは、任意の位相の値fi0に上記の中括弧の中の任意の値を加えたものであり得る。TOFのピクセルアレイ130内の各ピクセル140(図2を参照)は、次のような位相φに対応する出力Z深度情報を生じさせる。
[0065] ここで、Vは位相のステップk=1、2、3、…Nにおけるピクセルの出力信号であり、正弦関数項は修正係数を規定する。この一般的な定式化は、位相シフトを表す3、4、5乃至任意の整数Nを含む。位相シフトの数の増加は、より高次の高調波によって引き起こされる望まれないシステム的な誤差をキャンセルし、又は選択的にキャンセルするだろう。上記の逆正接関数の展開は、実数領域の成分と虚数領域の成分を生じさせるだろう。Nの大きさとは無関係に、これら2つの成分、即ち実数と虚数の集合は、ランタイムのキャリブレーション補正における使用のため、僅か2つのメモリーバンク、例えばオンチップメモリー215又はオフチップメモリー270に格納されることができる。
[0066] 以下の表1は、周波数領域においてシステム的な誤差をもたらす高調波の項をまとめたものである。高次高調波から生じるバイアスのキャンセル(又は少なくとも実質的な低減)を表している、表1におけるゼロの存在に注目されたい。
[0067] 表1を参照すると、N=4の位相シフトに関し、3次高調波が本発明によって本質的にゼロに低減され、TOFのシステム的な誤差を実質的に低減するだろうということに注目されたい。N=8の位相シフトの場合、項[2,3,4,5,6,7,8,10,11,12,113,114,…]の高次高調波は、たとえこれらの項が大きく、又は様々な環境条件及び他の条件と共にその大きさが変化しても、システム的な誤差をもたらさないだろう。
[0068] 以下の表2は、上述された可変ゲインモード、可変積分時間モード、及びデジタル動作におけるTOFシステム200’の動作を表している。
[0069] 位相シフトの数Nは任意の整数であり、最初の即ち第1の位相シフトは任意の位相の値をとり得ることに留意されたい。Nが奇数の整数である場合には、方形波信号で動作しているTOFシステムにおける非常に高次の高調波に対する抵抗、例えば低減が存在する。他方、偶数のNの位相シフトの使用は、方形波信号で動作しているTOFシステムにおけるより高次の奇数次高調波に対して、より少ない低減を与えるだろう。
[0070] 言及されたように、方形波形状のTOFシステムの光学的放射波形及び高変調コントラストの使用と、より低い変調コントラストをもたらすが、立ち上がり及び立ち下がり時間には望まれない高次高調波があまり多くは含まれない、おそらくは三角形形状の波形の使用との間には、設計のトレードオフが存在する。本発明は、好都合にも、両者の良いところを提供する。TOFシステムは、より高い変調コントラストにとっては望ましいが高次高調波の発生にとっては望ましくない、素早い立ち上がり及び立ち下がり遷移時間を有した波形を放射する。しかしながら、高次高調波に起因するバイアス誤差は、本発明に従って低減されている。
[0071] 2πの中で均等に分割されたN個の位相シフトは、相関関数(CF)の一周期の中において、あるいはまた、一周期よりも長く、例えばN+k、k+1、2…にわたって適用されることができる。この方法を実現した実施態様は、最小の高調波を持つ最大の変調コントラスト、即ち、先行技術の方法を用いては容易に、場合によっては全く達成できない要素を可能とする。
[0072] 都合の良いことに、TOFシステムにおける温度の影響は、本発明に従って、高次の奇数次高調波の実質的な低減と共に実質的に低減される。本方法は動的に自己キャリブレーションを行うので、環境の温度変化、及びTOFシステム内のシステムコンポーネントにおける変動にもかかわらず、キャリブレーションはシステムの寿命にわたって頑強である。先行技術によるアプリオリに決定されたキャリブレーションデータを有する静的なLUTの使用は、特に光学的エネルギー及びピクセル検出器の波形がランタイム動作中に変化する場合に、終始一貫して良好なキャリブレーションデータを提供することが全くもって不可能である。固定の距離及びフレームレートにおいて、本発明の実施態様は、N個の位相シフトを増加させることによってダイナミックレンジを都合良く拡大する。
[0073] 言及されたように、奇数の位相の利用に関する非対称性のおかげで、均一性(uniformity)が高められる。好都合なことに、この非対称性は、ピクセルの飽和即ちピクセルに対応するアナログ/デジタル変換器の飽和を低減する望ましい効果をもたらす。実際のところ、飽和に対する誤差が増加するレートは、TOFシステムが従来の四相方法で動作される場合よりも小さい。したがって、先行技術のキャリブレーションのアプローチを長い間悩ませてきた高調波に起因する誤差は、ここにおいて低減される。能動的な強度の情報(TOFシステムの能動的な即ち放射された光学的エネルギーに対するピクセル応答)は、典型的に、多くのTOFシステムにおいてフィルタリングのために利用される。更に典型的なTOFシステムは、その能動的な強度のデータにも同様に高調波の誤差を有している。本発明は、能動的な強度の高調波における誤差を都合良く低減し、フィルタリングがTOFシステムに適用された場合により少ない誤差をもたらす。本発明の利点を説明したので、様々な位相シフトを用いて取得されたいくつかの実際のデータが、これより説明される。
[0074] 図3A−3Iは、四相モード(N=4)で動作するTOFシステム200’を表している。図3Aは、理想的な入射光学的エネルギーを表し、図3B及び3Cは、ピクセルバンクA内の検出器の出力、及びピクセルバンクB内の検出器の出力を表している。ピクセル検出の詳細は、Canesta社の、現在はMicrosoft社の、本明細書において参照された様々な特許に見出すことができ、ここでは繰り返して説明しない。図3Dは、検出器Bについての四相データ対変調周期/距離のプロットであり、一方図3Eは、差分(A−B)検出器データ対変調周期/距離を表している。丸数字は4つの位相を示している。図3Fは、位相対変調周期/距離を表しており、伝達関数におけるいくつかの望ましくないリップルと非直線性を示している。
[0075] 図3Gは、四相動作における高調波の極座標プロットであり、一方図3Hは、四相における高調波対変調周期/距離を表している。図3Iは、能動的な輝度(例えば、周囲の光学的エネルギー等に対する応答とは対照的に、120により放射された光学的エネルギーに対する応答)対変調周期/距離を表している。
[0076] 図4A−4Iは、五相動作に対する同様のプロットを表している。図4Fにおける五相対変調周期/距離伝達関数の改善された直線性に、特に図3Fの高調波で歪んだ四相伝達関数と対比して注目されたい。同じように、図4H及び4Iにプロットされたデータ上には、相対的に小さい乱れしか存在しない。
[0077] 図5A−5Iは、七相動作に対する同様のプロットを表している。図5Fに示された位相対変調周期/距離の伝達関数は、非常に直線的である。同じように、七相動作に対する図5H及び5Iに示されたデータ上には、ほとんど乱れが存在しない。これらの伝達関数の高い直線性は、図4Fの高調波で歪んだ伝達関数に対して有利に改善されている。奇数の位相は偶数の位相の使用よりも好ましいことが明白である。
[0078] TOFシステムの受信チャネル又は機能に関連して様々な実施態様が説明されてきたが、代わりに光学的放射チャネルに関して実施化がなされてもよいということが理解される。何れの実施においても、本発明は、位相に基づくTOFシステムのより高次の高調波によって引き起こされるシステム的誤差を実質的に低減する、自己キャリブレーション方法を提供する。好都合なことに、システム的誤差を低減しながら、同時に良好な変調コントラスト性能が維持される。
[0079] 任意の整数Nの位相シフトが用いられることができ、また、最初の位相シフトは任意の値をとることができる。しかしながら、TOFシステムを方形波で動作させる場合においてさえより高次の高調波による乱れが低減されることから、奇数の位相シフトを用いることが有利であり得る。奇数の位相は、TOFシステムに対してより高い負荷をもたらすが、より高次の高調波の影響を低減する。対照的に、偶数の位相による動作は、より軽いシステム負荷をもたらすが、より高次の高調波に対する除去の有効性はより低い。Nの大きさにかかわらず、キャリブレーションデータを格納するには2つのメモリーバンクで十分であるだろう。N個の位相シフトステップがTOFシステムの送信チャネル又は受信チャネルにおいて実施されることができる。何れの実施においても、温度の影響を含むシステム誤差が実質的に低減される。
[0080] 本発明の様々な実施態様は、システム200’が、ノイズを増加させることなくより高次の高調波を低減する自己キャリブレーションを達成すると同時に、先行技術の位相に基づくTOFシステムよりも高いレベル、例えば70%の変調コントラストを達成することを可能にする。好都合なことに、本発明は頑強且つ動的である。更に、固定のZ距離によるデータ取得のフレームレートが与えられたとすると、本発明は、目標物体が動くことによってぼやけが生じるおそれがより少ない拡大したダイナミックレンジをもたらす。何故なら、Nの増加は、データがより多くの、しかしより短い時間の増分で取得されることを意味するからである。奇数の位相の使用は、更に、アナログ/デジタル変換ユニットを含むデバイス及びシステムを飽和させることをより起こり難くする。TOFシステムによって取得された能動的強度情報もまた、能動的強度情報を用いる補正方法がそうであるように、本発明によって都合良く利益を得る。
[0081] 以下の特許請求の範囲によって規定される本発明の主題及び趣旨から逸脱することなく、開示された実施態様に対して変更及び変形がなされることができる。

Claims (10)

  1. 誤差を低減するように飛行時間(TOF)システムを自己キャリブレーションする方法であって、
    前記TOFシステムは、既知の変調周波数の位相の光学的エネルギーを放射し、ピクセルのアレイを用いて距離Z離れた目標物体から反射された前記光学的エネルギーの一部分を検出し、放射された前記光学的エネルギーの位相を基準として、検出された反射光学的エネルギーの位相シフトを調べることによって深度Zを測定し、
    前記方法は、以下のステップ:
    (a)前記ピクセルのアレイから取得数Nを用いて検出データを取得するステップであって、Nは(i)偶数及び(ii)奇数からなるグループから選択される、ステップと、
    (b)前記TOFシステムが、(i)検出ゲイン修正モード、(ii)検出積分時間修正モード、及び(iii)デジタル値修正モードからなるグループから選択されたモードでランタイム中に動作するようにするステップであって、選択された前記モードが前記TOFシステムに自己キャリブレーションデータを提供する、ステップと、
    (c)1つの前記モード中に取得された自己キャリブレーションデータを第1及び第2のメモリー位置に格納するステップと、
    (d)格納された前記自己キャリブレーションデータを、キャリブレーション誤差を低減するように前記TOFシステムのランタイム動作中に利用するステップと、
    を含み、
    前記方法は、(i)高次高調波に起因するバイアス誤差、(ii)前記TOFシステムによって放射された光学的エネルギーの波形の変動に起因するバイアス誤差、及び(iii)前記アレイ内の前記ピクセルによって受信された波形の変動に起因するバイアス誤差のうちの少なくとも1つを低減する、
    方法。
  2. 前記ステップ(b)は、前記TOFシステムのランタイム動作中に動的に実行される、請求項1に記載の方法。
  3. 前記ステップ(b)においてランタイム中に前記TOFシステムが検出ゲイン修正モードで動作し、(i)量子効率変調及び(ii)ホモダイン検波のうちの少なくとも1つが前記TOFシステム内で実施される、請求項1に記載の方法。
  4. TOFシステムの検波された信号のゲインは、1つ毎の位相変化ベースで修正され、ゲイン修正された前記検波信号は、デジタル化されて少なくとも第1及び第2メモリーバンクに格納される、請求項3に記載の方法。
  5. 前記ステップ(b)においてランタイム中に前記TOFシステムが検出積分時間修正モードで動作し、(i)量子効率変調及び(ii)ホモダイン検波のうちの少なくとも1つが前記TOFシステム内で実施される、請求項1に記載の方法。
  6. 前記ステップ(b)においてTOFシステムの検波されたピクセル検出信号の積分時間は、1つ毎の位相変化ベースで同期して修正され、検波されたピクセル検出信号は、次いでデジタル化されて少なくとも第1及び第2メモリーバンクに格納される、請求項5に記載の方法。
  7. 前記ステップ(b)においてランタイム中に前記TOFシステムがデジタル値修正モードで動作し、(i)量子効率変調及び(ii)ホモダイン検波のうちの少なくとも1つが前記TOFシステム内で実施される、請求項1に記載の方法。
  8. 前記ステップ(b)においてTOFシステムの検波されたピクセル検出信号は、1つ毎の位相変化ベースで予め格納されたデジタルの数値と対応付けられる、請求項7に記載の方法。
  9. 位相シフトは、(i)位相シフトは実質的に互いと均等である、及び(ii)位相シフトは対応する相関係数の周期にわたって互いと少なくとも不均等な間隔で分割されている、からなるグループから選択された少なくとも1つの特性を有する、請求項1に記載の方法。
  10. 既知の変調周波数の位相の光学的エネルギーを放射し、ピクセルのアレイを用いて距離Z離れた目標物体から反射された前記光学的エネルギーの一部分を検出し、放射された前記光学的エネルギーの位相を基準として、検出された反射光学的エネルギーの位相シフトを調べることによって深度Zを測定するタイプの飛行時間(TOF)システムであって、
    前記TOFシステムは、
    前記ピクセルのアレイから取得数Nを用いて検出データを取得するための手段であって、Nは(i)偶数及び(ii)奇数からなるグループから選択される、手段と、
    前記TOFシステムが、(i)検出ゲイン修正モード、(ii)検出積分時間修正モード、及び(iii)デジタル値修正モードからなるグループから選択されたモードでランタイム中に動作するようにするための手段であって、選択された前記モードが前記TOFシステムに自己キャリブレーションデータを提供する、手段と、
    1つの前記モード中に取得された自己キャリブレーションデータを第1及び第2のメモリー位置に格納するメモリーと、
    格納された前記自己キャリブレーションデータを、キャリブレーション誤差を低減するように前記TOFシステムのランタイム動作中に利用するための手段と、
    を含み、
    前記TOFシステムは、(i)高次高調波に起因するバイアス誤差、(ii)前記TOFシステムによって放射された光学的エネルギーの波形の変動に起因するバイアス誤差、及び(iii)前記アレイ内の前記ピクセルによって受信された波形の変動に起因するバイアス誤差からなるグループから選択された少なくとも1つのタイプの低減されたバイアス誤差を呈する、
    TOFシステム。
JP2013520728A 2010-07-16 2011-06-30 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム Expired - Fee Related JP5834079B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36528410P 2010-07-16 2010-07-16
US61/365,284 2010-07-16
US13/092,350 US8587771B2 (en) 2010-07-16 2011-04-22 Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US13/092,350 2011-04-22
PCT/US2011/042643 WO2012009170A1 (en) 2010-07-16 2011-06-30 Method and system for multi-phase dynamic calibration of three-dimensional (3d) sensors in a time-of-flight system

Publications (2)

Publication Number Publication Date
JP2013534639A true JP2013534639A (ja) 2013-09-05
JP5834079B2 JP5834079B2 (ja) 2015-12-16

Family

ID=45466720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013520728A Expired - Fee Related JP5834079B2 (ja) 2010-07-16 2011-06-30 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム

Country Status (8)

Country Link
US (1) US8587771B2 (ja)
EP (1) EP2593810B1 (ja)
JP (1) JP5834079B2 (ja)
KR (1) KR101834025B1 (ja)
CN (1) CN102346248B (ja)
HK (1) HK1183709A1 (ja)
IL (1) IL224105A (ja)
WO (1) WO2012009170A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031240A1 (ja) * 2014-08-29 2016-03-03 株式会社デンソー 光飛行型測距装置
WO2016072089A1 (ja) * 2014-11-06 2016-05-12 株式会社デンソー 光飛行型測距装置およびその方法
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
KR101762504B1 (ko) * 2015-08-31 2017-07-28 고려대학교 산학협력단 레이저 거리 센서를 이용한 바닥 장애물 검출 방법
JP2019504326A (ja) * 2016-02-08 2019-02-14 株式会社デンソー マルチパス誤差を検出するための飛行時間型距離測定装置及び方法
WO2020084851A1 (ja) * 2018-10-25 2020-04-30 ソニーセミコンダクタソリューションズ株式会社 演算処理装置、測距装置及び演算処理方法
WO2022269995A1 (ja) * 2021-06-23 2022-12-29 ソニーセミコンダクタソリューションズ株式会社 測距装置および方法、並びにプログラム

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953149B2 (en) 2009-02-17 2015-02-10 Microsoft Corporation CMOS three-dimensional image sensor detectors having reduced inter-gate capacitance, and enhanced modulation contrast
US8964028B2 (en) * 2009-12-21 2015-02-24 Mesa Imaging Ag Stray light compensation method and system for time of flight camera systems
EP2815251B1 (en) * 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US9664790B2 (en) * 2012-05-21 2017-05-30 pmdtechnologies ag Time of flight camera system
US10324033B2 (en) * 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US9270885B2 (en) * 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US9020202B2 (en) 2012-12-08 2015-04-28 Masco Canada Limited Method for finding distance information from a linear sensor array
US10660526B2 (en) 2012-12-31 2020-05-26 Omni Medsci, Inc. Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors
WO2014105520A1 (en) 2012-12-31 2014-07-03 Omni Medsci, Inc. Near-infrared lasers for non-invasive monitoring of glucose, ketones, hba1c, and other blood constituents
WO2014143276A2 (en) 2012-12-31 2014-09-18 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for natural gas leak detection, exploration, and other active remote sensing applications
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
JPWO2015072319A1 (ja) * 2013-11-13 2017-03-16 日本電気硝子株式会社 プロジェクター用蛍光ホイール及びプロジェクター用発光デバイス
EP3101382A4 (en) 2014-01-29 2017-08-30 LG Innotek Co., Ltd. Device for extracting depth information and method thereof
US9681123B2 (en) 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
WO2015156684A2 (en) * 2014-04-08 2015-10-15 University Of Waikato Signal harmonic error cancellation method and apparatus
US9716819B2 (en) * 2014-09-29 2017-07-25 Samsung Electronics Co., Ltd. Imaging device with 4-lens time-of-flight pixels and interleaved readout thereof
US9578311B2 (en) 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
US9702976B2 (en) 2014-10-27 2017-07-11 Microsoft Technology Licensing, Llc Time of flight camera
US9823352B2 (en) 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
US9812486B2 (en) * 2014-12-22 2017-11-07 Google Inc. Time-of-flight image sensor and light source driver having simulated distance capability
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US20160360185A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration
US9853545B2 (en) 2015-06-30 2017-12-26 Microsoft Technology Licensing, Llc Power regulator having current and voltage modes
GB2539909A (en) 2015-06-30 2017-01-04 Airbus Operations Ltd Aircraft fuel measurement
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
CN106815867B (zh) * 2015-11-30 2020-10-30 宁波舜宇光电信息有限公司 Tof相机标定与校正系统及其设备与方法
DE102016201741A1 (de) * 2016-02-04 2017-08-10 Hella Kgaa Hueck & Co. Verfahren zur Höhenerkennung
EP3236286B1 (en) 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
KR101866764B1 (ko) * 2016-05-13 2018-06-18 충남대학교산학협력단 통합픽셀로 구성된 거리영상센서
US10598783B2 (en) 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
KR20180021509A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
JP6848364B2 (ja) 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
KR101882384B1 (ko) 2016-12-06 2018-07-26 경희대학교 산학협력단 다중 센서의 신뢰도 향상을 위한 통합적 교차 교정 장치 및 방법
US10209360B2 (en) 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10451741B2 (en) 2017-04-30 2019-10-22 Microsoft Technology Licensing, Llc Time of flight camera
CN111095018B (zh) 2017-08-31 2022-03-29 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统、用于提高固态光探测和测距(lidar)分辨率的系统和方法
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108020818A (zh) * 2017-12-07 2018-05-11 东北大学 一种在噪声下基于滑动dft的正弦脉冲信号测距方法
US10852402B2 (en) * 2017-12-07 2020-12-01 Texas Instruments Incorporated Phase anti-aliasing using spread-spectrum techniques in an optical distance measurement system
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
US10705194B2 (en) * 2018-03-21 2020-07-07 Zoox, Inc. Automated detection of sensor miscalibration
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
DE102018119435A1 (de) 2018-08-09 2020-02-13 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Kalibrierung einer Time-Of-Flight-Kamera
US10895925B2 (en) 2018-10-03 2021-01-19 Microsoft Technology Licensing, Llc Touch display alignment
CN111025310A (zh) * 2018-10-09 2020-04-17 光宝电子(广州)有限公司 误差校正系统及其方法
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
DE112019006048T5 (de) * 2018-12-04 2021-09-30 Iee International Electronics & Engineering S.A. Verfahren zur korrigierten Tiefenmessung mit einer TOF-Kamera unter Verwendung von amplitudenmoduliertem Dauerlicht
WO2020130855A1 (en) 2018-12-21 2020-06-25 Chronoptics Limited Time of flight camera data processing system
KR102196035B1 (ko) * 2018-12-26 2020-12-29 (주)미래컴퍼니 펄스 위상 이동을 이용한 3차원 거리측정 카메라의 비선형 거리 오차 보정 방법
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US11272157B2 (en) * 2019-02-15 2022-03-08 Analog Devices International Unlimited Company Depth non-linearity compensation in time-of-flight imaging
WO2020165401A1 (en) * 2019-02-15 2020-08-20 Sony Semiconductor Solutions Corporation Time of flight device and method
KR102648089B1 (ko) 2019-03-26 2024-03-19 삼성전자주식회사 이미징 장치 및 이미지 센서
US11630190B2 (en) * 2019-03-29 2023-04-18 Sony Semiconductor Solutions Corporation Electronic device, method and computer program
US11500100B2 (en) * 2019-04-15 2022-11-15 Microsoft Technology Licensing, Llc Time-of-flight measurements using linear inverse function
US11885880B2 (en) 2019-07-31 2024-01-30 Microsoft Technology Licensing, Llc Unwrapped phases for time-of-flight modulation light
KR20210032669A (ko) 2019-09-17 2021-03-25 삼성전자주식회사 비행 시간 센서 및 비행 시간 센서의 에러 보정 방법
CN110596725B (zh) * 2019-09-19 2022-03-04 深圳奥锐达科技有限公司 基于插值的飞行时间测量方法及测量系统
CN110596724B (zh) * 2019-09-19 2022-07-29 深圳奥锐达科技有限公司 动态直方图绘制飞行时间距离测量方法及测量系统
CN110579753A (zh) * 2019-09-21 2019-12-17 北醒(北京)光子科技有限公司 一种深度传感器校准系统及方法
US11619723B2 (en) * 2019-09-23 2023-04-04 Microsoft Technology Licensing, Llc Multiple-mode frequency sharing for time-of-flight camera
CN111077512B (zh) * 2019-11-26 2023-12-26 歌尔光学科技有限公司 Tof模组标定方法及系统
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
US11079515B2 (en) 2019-12-18 2021-08-03 Microsoft Technology Licensing, Llc Micro lens time-of-flight sensor having micro lens heights that vary based on image height
KR102251115B1 (ko) * 2020-04-23 2021-05-13 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
US11651503B2 (en) 2020-06-16 2023-05-16 Microsoft Technology Licensing, Llc Determining depth in a depth image
CN111624582B (zh) * 2020-07-07 2023-03-17 Oppo广东移动通信有限公司 周期误差标定方法、装置及周期误差标定系统
EP3961258A1 (en) * 2020-08-26 2022-03-02 Melexis Technologies NV Distortion determination apparatus and method of determining a distortion

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09269372A (ja) * 1996-04-02 1997-10-14 Hamamatsu Photonics Kk 光波距離計
JP2000517427A (ja) * 1996-09-05 2000-12-26 ルドルフ シュヴァルト 電磁波の位相情報および/または振幅情報を調べるための方法と装置
JP2006214998A (ja) * 2005-02-07 2006-08-17 Matsushita Electric Works Ltd 測距装置
JP2008164496A (ja) * 2006-12-28 2008-07-17 Toyota Central R&D Labs Inc 計測装置
JP2009063303A (ja) * 2007-09-04 2009-03-26 Fujifilm Corp 測距方法および装置
US7719662B2 (en) * 2006-07-06 2010-05-18 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6580496B2 (en) 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6906793B2 (en) * 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
US6515740B2 (en) * 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6697010B1 (en) 2002-04-23 2004-02-24 Lockheed Martin Corporation System and method for moving target detection
EP1703741A1 (en) 2005-03-17 2006-09-20 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3-d imaging system
US20070127009A1 (en) 2005-12-07 2007-06-07 Su-Ling Chen Multi-modulation frequency laser range finder and method for the same
US7821619B2 (en) 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
EP2116864A1 (en) 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
EP2157401A1 (en) 2008-08-18 2010-02-24 Holding Prodim Systems B.V. Apparatus and method for measuring spatial co-ordinates
US9580496B2 (en) * 2011-05-06 2017-02-28 Nexvet Australia Pty Ltd Therapeutic canine immunoglobulins and methods of using same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09269372A (ja) * 1996-04-02 1997-10-14 Hamamatsu Photonics Kk 光波距離計
JP2000517427A (ja) * 1996-09-05 2000-12-26 ルドルフ シュヴァルト 電磁波の位相情報および/または振幅情報を調べるための方法と装置
JP2006214998A (ja) * 2005-02-07 2006-08-17 Matsushita Electric Works Ltd 測距装置
US7719662B2 (en) * 2006-07-06 2010-05-18 Canesta, Inc. Method and system for fast calibration of three-dimensional (3D) sensors
JP2008164496A (ja) * 2006-12-28 2008-07-17 Toyota Central R&D Labs Inc 計測装置
JP2009063303A (ja) * 2007-09-04 2009-03-26 Fujifilm Corp 測距方法および装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016050832A (ja) * 2014-08-29 2016-04-11 株式会社デンソー 光飛行型測距装置
WO2016031240A1 (ja) * 2014-08-29 2016-03-03 株式会社デンソー 光飛行型測距装置
CN106662641B (zh) * 2014-11-06 2019-08-16 株式会社电装 光飞行型测距装置及其方法
WO2016072089A1 (ja) * 2014-11-06 2016-05-12 株式会社デンソー 光飛行型測距装置およびその方法
JP2016090435A (ja) * 2014-11-06 2016-05-23 株式会社デンソー 光飛行型測距装置
CN106662641A (zh) * 2014-11-06 2017-05-10 株式会社电装 光飞行型测距装置及其方法
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
KR101762504B1 (ko) * 2015-08-31 2017-07-28 고려대학교 산학협력단 레이저 거리 센서를 이용한 바닥 장애물 검출 방법
US10514702B2 (en) 2015-08-31 2019-12-24 Korea University Research And Business Foundation Method for detecting floor obstacle using laser range finder
JP2019504326A (ja) * 2016-02-08 2019-02-14 株式会社デンソー マルチパス誤差を検出するための飛行時間型距離測定装置及び方法
WO2020084851A1 (ja) * 2018-10-25 2020-04-30 ソニーセミコンダクタソリューションズ株式会社 演算処理装置、測距装置及び演算処理方法
CN112771409A (zh) * 2018-10-25 2021-05-07 索尼半导体解决方案公司 运算处理设备、测距设备和运算处理方法
WO2022269995A1 (ja) * 2021-06-23 2022-12-29 ソニーセミコンダクタソリューションズ株式会社 測距装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US8587771B2 (en) 2013-11-19
EP2593810A1 (en) 2013-05-22
KR101834025B1 (ko) 2018-03-02
EP2593810B1 (en) 2016-03-23
KR20130042552A (ko) 2013-04-26
US20120013887A1 (en) 2012-01-19
JP5834079B2 (ja) 2015-12-16
CN102346248A (zh) 2012-02-08
HK1183709A1 (zh) 2014-01-03
WO2012009170A1 (en) 2012-01-19
EP2593810A4 (en) 2013-05-22
CN102346248B (zh) 2014-03-19
IL224105A (en) 2016-09-29

Similar Documents

Publication Publication Date Title
JP5834079B2 (ja) 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム
JP5918763B2 (ja) 階層的な飛行時間(tof)システムのディエリアシング方法およびシステム
EP3715907B1 (en) Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
EP2073035A1 (en) Recording of 3D images of a scene
US20210173054A1 (en) Optical range calculation apparatus and method of range calculation
US20220066004A1 (en) Distortion determination apparatus and method of determining a distortion
CN112034485A (zh) 利用飞行时间相机的反射率感测
Payne et al. Illumination waveform optimization for time-of-flight range imaging cameras
EP3859380A1 (en) Optical range calculation apparatus and method of extending a measurable range
Li et al. Measurement linearity and accuracy optimization for time-of-flight range imaging cameras
EP3721261A1 (en) Distance time-of-flight modules
US11802962B2 (en) Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
US20220244393A1 (en) Electronic device and method for time-of-flight measurement
US20220075063A1 (en) Method and Apparatus for Time-of-Flight Sensing
WO2022172690A1 (ja) 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム
US20210364612A1 (en) Method of optical detection and optical detection apparatus
JP2022071897A (ja) 測距装置
Jongenelen et al. Development of a real-time full-field range imaging system
CN116299363A (zh) 一种iToF模组的两相位采样标定与校正方法及装置
CN115436960A (zh) 用于确定表示从场景中对象反射光的强度值的方法和设备
Van Den Hauwe et al. Systematic noise analysis of CAPD based time-of-flight cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150515

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151030

R150 Certificate of patent or registration of utility model

Ref document number: 5834079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees