JP2004538491A - 三次元距離画像を記録するための方法及び装置 - Google Patents

三次元距離画像を記録するための方法及び装置 Download PDF

Info

Publication number
JP2004538491A
JP2004538491A JP2003521393A JP2003521393A JP2004538491A JP 2004538491 A JP2004538491 A JP 2004538491A JP 2003521393 A JP2003521393 A JP 2003521393A JP 2003521393 A JP2003521393 A JP 2003521393A JP 2004538491 A JP2004538491 A JP 2004538491A
Authority
JP
Japan
Prior art keywords
integration
time
light
trigger
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003521393A
Other languages
English (en)
Other versions
JP4488170B2 (ja
Inventor
メンゲル ペーター
デーメンス ギュンター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10138531A external-priority patent/DE10138531A1/de
Priority claimed from DE10153742A external-priority patent/DE10153742A1/de
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2004538491A publication Critical patent/JP2004538491A/ja
Application granted granted Critical
Publication of JP4488170B2 publication Critical patent/JP4488170B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used

Abstract

短時間積分を用いる光検出器でもって光伝播時間を測定することにより対象面の三次元距離画像を記録するための方法及び装置が提案される。送信側の光パルス(1)の開始時にトリガ信号が形成され、このトリガ信号は同時に受信側において所定の時間遅延(DT)でもって、逆反射される光パルス(3)を受信するための少なくとも1つの積分窓(21、22)を開くために使用される。例えば最大値または零通過のような所定のイベントが求められ、このイベントは積分窓に相対的な時間的な位置においてトリガ遅延を決定し、このトリガ遅延は光伝播時間と相関され、対象点距離dの算出を可能にする。

Description

【技術分野】
【0001】
三次元画像の迅速でロバストな検知は、殊に多くの分野におけるセンサ技術にとってますます重要になってきている。公知の三角測量法は距離値の三角法による計算に測定基礎が必要とされるので約2mまでの近距離にしか適しておらず、制限的にしか適用できない。殊に例えば20cmから50mまでの比較的広範な測定領域に関しては、三次元(3D)に検知及び評価するコストの掛からない測定システムにとって、例えば自動車技術、ナビゲーションまたは建築技術、セキュリティ技術及びオートフォーメーション技術の領域におけるような多用な適用が生じる。今日では比較的大きい3Dシーン及び3D対象は相応に高いコスト及び時間がかかる写真測量または3Dレーザレーダを用いるスキャニングでもって統計的に測定できるに過ぎない。
【0002】
ドイツ連邦共和国特許明細書第198 33 207号には、距離画像ないし間隔画像を迅速且つコストを掛けずに光伝播時間測定の評価により形成するために、CMOS光センサの極端に短い積分時間、例えば30nsが同様に短いレーザパルスと組み合わされて使用される方法が記載されている。レーザパルスの送出と同時にトリガによってCMOS画像センサにおける測定窓が開かれ、レーザパルスの光強度は測量すべき対象において反射された後に積分時間T及びTでもって連続して2回測定することにより検出される。積分時間T及びTでもって2つの測定窓において積分された強度U及びUの測定から、次の計算の関係により伝播時間Tしたがって対象点までの距離を正確に算出することができる。
【0003】
【数1】
Figure 2004538491
【0004】
照明として、積分時間T1及びT2と同期しており、また短い立ち上がり時間(約1ns)並びに可能な限り一定の出力を有するレーザ光源が使用される。
【0005】
もっともこの式を使用するには、差分及び商が形成されるので、光電圧がCMOS画像センサのノイズ限界を顕著に上回っていなければならない光強度でもって測定することが必要とされる。たしかに複数のレーザパルス照明の結果を加算することができるが、信号/雑音比の改善はレーザパルスの数の根を用いてしか達成することができない。さらには、CMOS画像センサの積分特性におけるレーザパルスの最終的な上昇エッジ並びに不可避な非線形性は測定エラーに繋がり、この測定エラーには付加的な較正方法が必要とされる。
【0006】
本発明の課題は、距離測定範囲を拡大することができ、センサ信号が光パルスの形状に依存せず且つ送信側にとって比較的少ない光出力を実現する、光伝播時間測定を用いる三次元距離画像を記録するための方法及び装置を提供することである。
【0007】
解決手段は請求項1、3ないし請求項14または15の特徴をそれぞれ組み合わせることによって生じる。有利な実施形態は従属請求項より生じる。
【0008】
本発明は、積分時間を画素毎に調節することができる、短時間積分を用いる複数の画素ないし画像セルを有するCMOS光センサ並びに3D距離画像を形成するための光パルス照明を使用する。このために使用される光源を一様に制御する必要があるが、点状にも面状にも構成することができる。距離値を検出するために、CMOSセンサのノイズ限界までの確実な光伝播時間測定を実現することを目的とした新たな測定原理が使用される。このためにトリガ信号によって送信側では光パルスの送出が、また受信側では時間窓の開放と同義である電子シャッタの開放がCMOSセンサにおいて制御される。このことは受信側において、例えば1/10ナノ秒の増分での遅延線を介する段階的に上昇する時間遅延でもって生じる。したがって送出されたレーザパルス及び積分窓は時間的に増していく時間遅延でもって相互にずらされ、段階的に上昇するトリガ遅延毎に少なくとも1つの光パルスが送出される。レーザパルス出力を低減するために、可能であれば、全てのトリガ遅延に多重露光が適用され、最後に信号評価が実施される。そのようにして測定された積分センサ信号は処理ユニットに記憶される。
【0009】
生じた遅延と相応の対象点の光伝播時間が相関する場合には、解決手段に応じて積分信号における最大値が生じ、この最大値は処理ユニットに記憶されている値から高い感度及び精度を用いる補間法によって求めることができる。したがって3D距離値を時間窓と逆反射された光パルスとの間の最大限の合致に関して求められたトリガ遅延に基づいて規定することができ、また結果、光伝播時間は光パルスの形状並びにCMOS画像センサの線形特性に依存せずとも十分に得られる。換言すれば、画像点までの距離はこの状態までにアクティブにされた遅延段の数から生じる。ここでレーザパルスと積分時間は、可能な限り明確な相関最大値を得るためにほぼ同じ継続時間である。しかしながら積分時間は回路技術的な理由から約30nsに制限されている。
【0010】
提起された課題の別の解決手段は同様に光受信器の短時間積分を使用し、並びに受信側の積分窓に相対的である、段階的に行われるレーザパルスの時間的な遅延を使用する。しかしながら短時間積分は同一の積分時間、すなわち同じ長さの積分窓でもって、並行にまたは連続して2回行われる。このことは、相前後して起動され且つ直接的に連続する2つの時間窓に関して行われる。ここで並行なやり方とは、前の積分窓及び後の積分窓が同時に照明及び検出されることを意味する。例えば遅延によって時間遅延された、送信側のレーザパルスに相対的な積分窓のトリガは変化することなく実施される。連続した処理は、第1の積分窓を用いるまたは第1の積分窓による評価を意図し、それに基づき第2の積分窓に関連する第2のそれに続くフェーズが評価され、それぞれ記憶された積分値が相互に比較される。評価のこの場合には、レーザパルスの継続時間は積分時間の継続時間ないし積分窓の長さに比べて短い。
【0011】
レーザパルスの長さは例えば4nsでも良く、これに対して積分窓は例えば30ns続く。この評価方式によって対象点距離は光伝播時間を求めることにり同様に検出される。このことは、段階的に変化する所定のトリガ遅延に対応付けることができ、可能な限り一義的に評価できる受信側のイベントを探すことにより生じる。第1の変形においては、レーザパルス及び積分窓の受信側における合致に関して最大値が探された。ここで説明する評価方式では、第1の積分窓から第2の積分窓への移行時に光パルスが存在する時点が検出される。逆反射された光パルスは受信側においてその半分が第1の積分窓に属し、他方の半分が第2の積分窓に属する場合には、同一の光成分ないし同一の電圧が生じる。同様に、殆ど零であるこれら2つの電圧値の差分も評価することができる。この零通過は非常に急峻であるので、これを求めるのは比較的容易である。
【0012】
レーザ保護規定に基づきクリティカルなレーザ出力を決して上回らないようにするために多重照明が使用される。しかしながら、これに伴い達成される重要な利点は、相前後して到来する複数の光パルスを積分セルにおいて累積することにある。これらは各光パルスにおける積分セルを相応に開閉することによって積分され、その結果実質的にノイズ範囲に依存する十分に高い信号レベルが各積分セルに存在する。したがって、局所的な分布が画像のピクセル分布に対応する複数の積分セルに関しては、全体的に良好に評価できる複数の電圧信号を得ることができる。複数の積分窓の時間の掛かる読み出しが多重照明の終了時に初めて行われると、評価は比較的迅速に実行される。
【0013】
別の重要な利点は1つの軸における光ビームの共線的な案内である。
【0014】
以下では本発明を制限しない図面に基づいて実施例を説明する。ここで、
図1は、三次元距離画像を形成するための測定装置を示し、
図2は、相関的な光伝播時間測定方法の原理を示し、
図3は、伝播時間遅延Tを検出するために最大値を求めるための補間を示し、
図4から7は、CMOSセンサにおける異なる短時間積分を用いる距離画像の形成を説明するものである。
【0015】
・測定すべき全体の3Dシーンは画像記録のために、ナノ秒範囲の立ち上がり時間を有する短い光パルスで連続的に照明される。光パルスの送出は各測定プロセスについて制御及び処理ユニットによって設定されるトリガを介して開始される(図1)。トリガ信号の一部は同時にプログラミング可能な遅延線を介して案内され、1/10ナノ秒範囲の増分を有する所定の時間遅延T後にCMOS光センサにおける電子シャッタを開くための開始信号として使用され、この電子シャッタは所定の短い積分時間(例えば30ns)後に再び閉じられる。このことは逆反射された光パルス3を受信するために時間窓が開かれることと同義である。開かれた時間窓において到来する光パルスを積分することができる。積分時間、すなわち窓が開かれている継続時間は有利には光パルスの時間的な継続時間に等しく選択される。
【0016】
・送出された光パルスは3Dシーンの対象において散乱され、戻ってくる光はCMOSセンサにおける相応の光学系を介して電子シャッタの積分時間内に検知される。種々の対象点がセンサから異なる距離を有するので、位置に対応する光パルスによって異なる伝播時間遅延Tが得られる。したがって距離dにある所定の1つの対象点に関しては対応する受信側の画素において積分センサ信号U(T、T)が目下調節されたトリガ遅延TでのCMOS積分窓2と光パルス3との時間的なオーバラップ(数学的な畳み込み関数)から生じる(図2)。
【0017】
・トリガ遅延Tが値0で始まり増分n×ΔT(=T)で増加すると、センサ信号U(T、T)は差し当たりこの画素に関する光伝播時間Tがトリガ遅延Tと等しくなるまで上昇する。この場合戻ってくるレーザパルス3とCMOSセンサの測定窓2との最大のオーバラップが存在するので、ここでは積分された強度に関する最大値が生じる。トリガ遅延Tがそれ以上にさらに増加すると時間的なオーバラップ領域は再び減少し、したがって積分センサ信号(電圧U)が低減する。
【0018】
・したがって3D距離画像を非常に低い光出力の使用下での極限値検出を用いる簡単な強度比較測定から形成することができる。制御及び処理ユニットは一連の異なるトリガ遅延n×ΔT(経過インデックスn=0からi)に関して、CMOS光センサ全体の対応するセンサ信号U(T、T)を記憶し、続いて個々の画素それぞれに関する最大値U(T、TMaxを求める。対応するトリガ遅延Tからこの画素に関する光伝播時間T=i×ΔT(図2を参照されたい)を検出することができ、この光伝播時間から対応する対象点の距離d、d=cT/2(c−光速度)を検出することができる。
【0019】
・一般的に光伝播時間Tは増分的に調節されたトリガ遅延n×ΔTと正確には等しくなく、図3に示されているような中間値を取る。したがって最大値検出に補間法を使用することが予定される。理想的なパルス形状には線形の方法が十分である。しかしながら実際の条件では、二次多項式またはスプライン関数を基礎とする高度な補間法を使用することが有利である。光伝播時間Tに関する結果は補間曲線の最大値からだけではなく、必要に応じて他の形状判定、交点などから求めることができる。種々の伝播時間Tを有する光パルス3を測定する際には、信号値の補間曲線は調節されたトリガ遅延Tに関連する位置においてしかずらされないので、距離値dが既知である場合に事前に記録された、記憶されている基準曲線との比較による評価も実施することができる。したがって補間方法及び基準比較方法でもって、距離検出の結果を精度の点で改善することができ、調節すべきトリガ遅延の数を所望の距離解像度に関して低減することができる。
【0020】
・電子的なトリガ遅延に関しては有利にはCMOS技術におけるプログラミング可能な遅延線(Programmable Delay Lines)を使用することができる。例えば、標準的に0.25nsの増分及び256のプログラム可能なセッティングを有する遅延素子が入手可能である。将来的な発展においては0.1nsでの増分が考えられる。したがって1.5cmの距離解像度が可能となり、この距離解像度を補間によってさらに0.5cm改善することができる。
【0021】
・図1に示された制御及び処理ユニットを部分的にまたは完全にCMOSセンサの電子制御ユニット内に集積することができる。
【0022】
・約千の画素を有する距離画像は室内管理及びセキュリティ管理にとって殆どの場合既に十分である。10mの距離測定範囲に対して0.5%の解像度(5cm)を有する距離画像を形成しようとする場合、補間によって、ΔT=0.6nsの遅延増分でもって約100の画像記録が必要とされる。このことは、5MHzのCMOSセンサ画素データレートを想定すると、全体の3D距離画像を検知するために1000×0.2μs×100=20msの測定時間が生じる(約50の3D画像/s)。
【0023】
目下調節されたトリガ遅延Tでもって測定する際に、付加的にさらに多くの光パルスを同様にチップにおいて加算することができ、これによって信号/雑音比を更に改善することができ、多重照明を対象の反射率に応じて適応的に調節することができる。
【0024】
図4から図7を用いて詳細に説明する、CMOSセンサにおける差動短時間積分の方法は以下のことを内容とする:
提案される方法は同様に光受信器の短時間積分、並びに段階的に行われる1つまたは複数の積分窓に相対的なレーザパルスの時間遅延を使用する。しかしながら提起された課題の第1の解決手段とは、短時間積分が同一の積分時間Tでもって並行または連続して2回実施されるという点で異なり、2つの同じ長さの積分窓21、22は直接的に連続して起動され、したがって1つの共通の時間的な限界を有する。
【0025】
光パルスの継続時間は有利には積分時間Tに比べて短い。光伝播時間に関する測定プロセスは送出されたレーザパルスが積分時間Tに相対的に遅延時間増分ΔTだけずらされることである。光電的な変換においては、トリガ遅延Tが進行する際の電圧Uの積分値はレーザパルスが2つの積分窓21、22の一方に完全に属する間は変化しない。図4はこの状態を示し、レーザパルスは左側の図においては第1の積分窓21内にあり、右側の図においては第2の積分窓22内に現れる。図4の中央の図においては、レーザパルス3は半分が第1の積分窓内にあり、他方の半分が第2の積分窓内にある。この移行の直前に、受信した光強度の電圧Uの積分値はそれぞれの積分窓から時間的に推移することによって相応に減少するが、他方ではそれに直ぐ続く積分窓において積分された光強度は相応に増大する。したがって対象位置までのそれぞれの距離dに対応するトリガ遅延が所定である場合には、2つの積分窓において測定される電圧は等しい。電圧の差はほぼ零である。この零通過は非常に急峻であるので、したがって精確に検出することができる。さらには簡単な補間方法で重要な精度を達成することができる。
【0026】
図7はCMOSセンサにおける差動短時間積分での短信号の評価を図示したものである。電圧/時間グラフに示された関数は測定点をつなぎ合わせることによって確立され、個々の測定点は一定のトリガ遅延Tを用いた測定から生じる。このトリガ遅延は、遅延時間増分ΔTまたはその倍数と加算された初期値または零値からなる。段階的に一定に維持されるそれぞれのトリガ遅延の値に対して測定点が生じる。測定点を記録している間に例えば前述の多重照明が行われ、その結果積分はこの多重照明が終了すると初めて行われる。
【0027】
図5においてはさらに、使用される直接的に連続する2つの積分窓のうちの1つからの電圧値が負に移行し、関数は零通過を示すことが分かる。参照記号nでもって零通過前の遅延段の番号が表される。図5に表されたピクセル距離dに関する等式において対象とセンサとの距離は値nを包含している。図5に示された関数の零通過は通常補間方法によって求められる。図4から図7を同時に考慮する際に、積分窓21、22の時間的なコーナ値(Eckwert)は時点T、T及びTによって表されまた明示されている。第1の積分窓21に関しては、この積分窓21がTにおいて開かれ、Tにおいて閉じられることを意味する。第2の積分窓22はTにおいて開かれ、Tにおいて閉じられる。
【0028】
図6及び図7はそれぞれ複数のフォトダイオードのうちの1つに関連し、このフォトダイオードは1つの光電チップにおいて1つの画素に関して受信されたそれぞれの光パルスを記録し、転送する。直接的に連続する同じ長さの時間窓を介する短時間積分は受信側のトリガ遅延と関連しており、このトリガ遅延は段階的に殊に同一の値だけ増加する。時間的に一定な各トリガ遅延において、少なくとも1回の照明及び少なくとも1回の積分が時間窓に関して行われている。一定のトリガ遅延を有する各段では、殊に多重照明が行われる。
【0029】
光伝播時間を用いた評価により距離値に変換することができるトリガ遅延値の検出は、受信した光パルスが段階的に2つの直接的に連続する積分窓21、22を掃引走査することによって行われる。評価は好適にはアナログ電圧信号値のディジタル化に続いて行われる。この方法の利点は2つの時間窓内の積分が絶対的に等しいことである。照明は異なるレーザパルスに由来するが、その経過は極僅かに相互に偏差するにすぎない。
【0030】
図6には、構造的に並行な評価が可能である評価回路が示されている。各積分窓には構造的に等しい積分器が配属されている。生じた信号はそれぞれ中間記憶ユニットSHを介して差動増幅器に加えられ、これによって差画像を形成することができる。しかしながら測定の際の時間的な積分範囲は連続して繋がっているので、積分は時間的にずらされている。つまりセクションAではTからTまでの時間枠が第1の積分窓21に応じて考慮され、セクションBではTからTまでの相応の時間枠においては積分窓22の枠が考慮される。
【0031】
図7は同一の方法原理を示すが、ここではフォトダイオードの構成は並行な積分を可能にする。フォトダイオードは2つの別個のセクションに分割されており、各セクションは同一の光学的な強度を受信する。このためには図7に示されているような、菱形のパターンが殊に良好に適している。フォトダイオードを2つの別個のフォトダイオードに分離することにより、完全に相互作用の無い2つの積分が実行される。したがって図7による回路は、全体のフォトダイオードにおいてそれぞれ存在する2つのセクションの並行な評価を可能にし、これらのセクションはそれぞれ1つの積分器に供給される。一方の時間的な積分はやはりTからTまでの時間枠における第1の積分窓21に関連し、第2の積分はTからTまでの時間における第2の積分窓に関連する。更なる評価は図6に示したやり方と同様に行われる。
【0032】
本発明による方法でもって、距離測定に関連する測定精度を従来技術に比べ三倍に改善することができる。それに必要とされるレーザ出力をファクタ10ほど低減することができる。
【図面の簡単な説明】
【0033】
【図1】三次元距離画像を形成するための測定装置を示す。
【図2】相関的な光伝播時間測定方法の原理を示す。
【図3】伝播時間遅延Tを検出するために最大値を求めるための補間を示す。
【図4】CMOSセンサにおける異なる短時間積分を用いる距離画像の形成を示す。
【図5】CMOSセンサにおける異なる短時間積分を用いる距離画像の形成を示す。
【図6】CMOSセンサにおける異なる短時間積分を用いる距離画像の形成を示す。
【図7】CMOSセンサにおける異なる短時間積分を用いる距離画像の形成を示す。

Claims (19)

  1. 光パルス(1)を光源から対象面に送出し、逆反射された光パルス(3)を光検出器を用いて短時間積分でもって受信し、対象点距離(d)をそれぞれ光パルスの光伝播時間(T0)から算出する、光伝播時間に基づいて対象の三次元距離画像を記録するための方法において、
    光パルス(1)を開始するために形成されるトリガ信号を同時に受信側において、時間増分(ΔT)で段階的に増加するトリガ遅延(T)でもって、逆反射された光パルス(3)を受信するための少なくとも1つの積分窓を開くために使用し、
    各所定のトリガ遅延(T)において、逆反射された光パルス(3)を累積的に積分するために各照明時に開かれた積分窓に多重照明を行うことを特徴とする、光伝播時間に基づいて対象の三次元距離画像を記録するための方法。
  2. 前記トリガ信号を受信側において、逆反射された光パルス(3)を受信するための1つの積分窓(2)を反復的に開くために使用し、
    対象点のそれぞれの距離(d)を、積分された電圧(U)が最大値に達した際に、近似的に前記光伝播時間(T)に等しい所属のトリガ遅延(T)から求める、請求項1記載の方法。
  3. 積分窓(2)の時間的な長さは光パルス(1、3)の継続時間と等しい、請求項1または2記載の方法。
  4. 前記トリガ信号を受信側において、逆反射された光パルス(3)をそれぞれ受信するために、直接的に連続する第2の積分窓(22)が続く第1の積分窓(21)を反復的に開くために使用し、
    前記短時間積分を前記2つの積分窓(21、22)に対して並行または連続的に同一の積分時間(T)でもって実施し、
    前記光パルス(3)の継続時間は前記積分時間(T)に比べて短く、
    光パルス(3)が第1の積分窓(21)と第2の積分窓(22)との間の共通の境界に位置し、該2つの積分窓(21、22)に属する積分されたそれぞれの電圧(U)の値が等しいときに、対象点のそれぞれの距離(d)が算出され、対応するトリガ遅延(T)を距離値(d)に変換し、該トリガ遅延(T)は前記光伝播時間(T)に相応する、請求項1記載の方法。
  5. 前記積分された電圧(U)の値を比較する代わりに電圧を負にし、連続して起動される積分窓に属する電圧間の零通過を検出する、請求項4記載の方法。
  6. センサ素子として使用されるフォトダイオードを2つの別個のセクションに分割し、各セクションが同一の光強度を受信する、請求項4または5記載の方法。
  7. 対象の反射率または個々の対象点が大きく異なる場合には、可能な限り多くの対象点に対して積分された強度値が飽和領域近傍にあるように多重照明の数を選択する、請求項1から6までのいずれか1項記載の方法。
  8. 照明にレーザまたはレーザダイオードの光を使用する、請求項1から7までのいずれか1項記載の方法。
  9. 受信側における画像記録の最初の光パルス(3)に関してトリガ遅延は零である、請求項1から8までのいずれか1項記載の方法。
  10. 積分窓(2)の時間的な長さは一定である、請求項1から9までのいずれか1項記載の方法。
  11. 前記トリガ遅延の増分は0.25ナノ秒よりも短い、請求項1から10までのいずれか1項記載の方法。
  12. 前記電圧(U)の最大値ないし零通過の検出に補間法を使用する、請求項1から11までのいずれか1項記載の方法。
  13. 二次多項式またはスプライン関数を基礎とする補間法を使用する、請求項12記載の方法。
  14. 電圧値を評価するために、事前に記憶された基準曲線と既知の距離(d)との比較を行う、請求項1から13までのいずれか1項記載の方法。
  15. 前記トリガ遅延(T)をプログラム可能な遅延線の使用により生じさせる、請求項1から14までのいずれか1項記載の方法。
  16. 請求項1から3または7から15のいずれか1項記載の方法を実施する装置において、
    対象面を照明するための1つの光源を備えた光パルス照明部と、
    ピクセル毎の短時間積分を用いる光検出器としての複数のセンサ点を備えたCMOSセンサと、
    送信側及び受信側のトリガを少なくとも制御し、電圧信号(U)から距離値を算出する制御及び処理ユニットと、
    段階的に調節可能なトリガ遅延を用意する、制御及び処理ユニットとCMOS受信センサとの間の遅延線と、
    前記光パルス照明部及び前記CMOS受信センサへのそれぞれのトリガ線と、
    から構成されることを特徴とする装置。
  17. 請求項1または4から15のいずれか1項記載の方法を実施する装置において、
    対象面を照明するための1つの光源を備えた光パルス照明部と、
    ピクセル毎の短時間積分を用いる光検出器としての複数のセンサ点を備えたCMOSセンサと、
    送信側及び受信側のトリガを少なくとも制御し、差動増幅器を使用して電圧信号(U)から距離値を算出する制御及び処理ユニットと、
    段階的に調節可能なトリガ遅延を用意する、制御及び処理ユニットとCMOS受信センサとの間の遅延線と、
    前記光パルス照明部及び前記CMOS受信センサへのそれぞれのトリガ線と、
    から構成されることを特徴とする装置。
  18. 前記制御及び処理ユニットは少なくとも部分的にCMOS受信センサの電子ユニットに集積されている、請求項16または17記載の装置。
  19. フォトダイオードの電圧値が並行または連続的に積分器に供給され、続いて中間記憶ユニットに記憶され、選択的に差動増幅器、次いで処理ユニットへと供給される、請求項16から18までのいずれか1項記載の装置。
JP2003521393A 2001-08-06 2002-08-01 三次元距離画像を記録するための方法及び装置 Expired - Lifetime JP4488170B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10138531A DE10138531A1 (de) 2001-08-06 2001-08-06 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
DE10153742A DE10153742A1 (de) 2001-10-31 2001-10-31 Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes
PCT/DE2002/002843 WO2003016944A2 (de) 2001-08-06 2002-08-01 Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes

Publications (2)

Publication Number Publication Date
JP2004538491A true JP2004538491A (ja) 2004-12-24
JP4488170B2 JP4488170B2 (ja) 2010-06-23

Family

ID=26009886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003521393A Expired - Lifetime JP4488170B2 (ja) 2001-08-06 2002-08-01 三次元距離画像を記録するための方法及び装置

Country Status (6)

Country Link
US (1) US7212278B2 (ja)
EP (1) EP1423731B1 (ja)
JP (1) JP4488170B2 (ja)
KR (1) KR100770805B1 (ja)
DE (1) DE50208355D1 (ja)
WO (1) WO2003016944A2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008207244A (ja) * 2007-01-29 2008-09-11 Tdk Corp 接合装置の検出対象物の検出方法、接合装置及び接合方法
JP2009020109A (ja) * 2007-07-16 2009-01-29 Hilti Ag パルス反射混合法を用いた手持ち式レーザ距離測定器
JP2009040404A (ja) * 2007-08-08 2009-02-26 Harman Becker Automotive Systems Gmbh 車両照明システム
WO2010013779A1 (ja) * 2008-07-30 2010-02-04 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
KR20100128797A (ko) * 2009-05-29 2010-12-08 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
JP2011089986A (ja) * 2009-10-22 2011-05-06 Sick Ag 距離又は距離変化を測定するためのセンサ及び方法
KR101367281B1 (ko) 2007-11-13 2014-02-25 삼성전자주식회사 깊이 영상 생성 방법 및 장치
JP2016506492A (ja) * 2012-11-27 2016-03-03 イー・2・ブイ・セミコンダクターズ 深さ情報および画像センサにより画像を生成する方法
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
JP2016183974A (ja) * 2007-12-21 2016-10-20 レッダーテック インコーポレイテッド 検出及び測距方法及びシステム
JPWO2015128915A1 (ja) * 2014-02-28 2017-03-30 パナソニックIpマネジメント株式会社 測距装置及び測距方法
JP2017517748A (ja) * 2014-04-26 2017-06-29 テトラビュー, インコーポレイテッド 三次元撮像における奥行き検知のための、安定して広範囲の照明用波形のための方法とシステム
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method
US11204421B2 (en) 2016-02-17 2021-12-21 Panasonic intellectual property Management co., Ltd Distance measuring device

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE360827T1 (de) * 2003-03-19 2007-05-15 Fiat Ricerche Dreidimensionales bilderzeugungssytem
GB2421383A (en) * 2004-12-07 2006-06-21 Instro Prec Ltd Surface profile measurement
US7345743B1 (en) * 2005-03-21 2008-03-18 Advanced Optical Systems Wide angle laser range and bearing finder
DE102005046950B3 (de) * 2005-09-30 2006-12-21 Siemens Ag Vorrichtung und Verfahren zur Aufnahme von Abstandsbildern
JP2007170856A (ja) * 2005-12-19 2007-07-05 Denso Corp 距離データ生成方法、距離画像生成装置、光電センサ
DE102006029025A1 (de) * 2006-06-14 2007-12-27 Iris-Gmbh Infrared & Intelligent Sensors Vorrichtung und Verfahren zur Abstandsbestimmung
US20080179298A1 (en) * 2007-01-29 2008-07-31 Tdk Corporation Method of detecting an object to be detected in a joining device, joining device, and joining method
DE102007010236B4 (de) 2007-03-02 2008-11-20 Toposys Topographische Systemdaten Gmbh Vorrichtung und Verfahren zur Entfernungsbestimmung mittels Lichtpulsen
FR2927196B1 (fr) * 2008-02-01 2010-02-12 Commissariat Energie Atomique Pixel pour imagerie active 3d.
KR101023705B1 (ko) * 2008-07-31 2011-03-25 한국전기연구원 임펄스 신호를 이용한 정밀 무선 거리측정 장치 및 그의 동작방법
EP2159603B1 (de) * 2008-09-01 2011-11-09 Sick Ag Objektfeststellungsverfahren und Objektfeststellungssensor
US9645681B2 (en) 2009-09-23 2017-05-09 Pixart Imaging Inc. Optical touch display system
TWI443308B (zh) * 2009-12-03 2014-07-01 Pixart Imaging Inc 測距裝置、3d影像感測裝置以及光學式觸控系統
US8638425B2 (en) 2009-12-03 2014-01-28 Pixart Imaging Inc. Distance-measuring device with increased signal-to-noise ratio and method thereof
US8477291B2 (en) * 2009-12-16 2013-07-02 Raytheon Company System and method for ranging of targets
CN101915914B (zh) * 2010-07-30 2012-10-24 南京信息工程大学 一种基于查找表的遥感影像逐像元大气校正方法
AT511310B1 (de) * 2011-04-07 2013-05-15 Riegl Laser Measurement Sys Verfahren zur entfernungsmessung
DE102013225676B4 (de) * 2012-12-17 2018-06-07 pmdtechnologies ag Lichtlaufzeitkamera mit einer Bewegungserkennung
DE102013112553A1 (de) 2013-11-14 2015-06-03 Odos Imaging Ltd. Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts
CN103605123B (zh) * 2013-12-04 2016-08-31 中国科学院遥感与数字地球研究所 基于氧a通道气溶胶散射效应的参数化遥感方法
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US9256944B2 (en) 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
FR3024907A1 (fr) 2014-08-18 2016-02-19 St Microelectronics Grenoble 2 Procede de mesure de temps de vol a l'aide de diodes spad
US9443312B2 (en) * 2014-08-29 2016-09-13 Leica Geosystems Ag Line parametric object estimation
DE102014013099B4 (de) * 2014-09-03 2019-11-14 Basler Aktiengesellschaft Verfahren und Vorrichtung zur vereinfachten Erfassung eines Tiefenbildes
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
DE102014117097B3 (de) 2014-11-21 2016-01-21 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
DE102014117705B3 (de) 2014-12-02 2016-02-18 Odos Imaging Ltd. Abstandsmessvorrichtung und Verfahren zum Bestimmen eines Abstands
US10451740B2 (en) * 2016-04-26 2019-10-22 Cepton Technologies, Inc. Scanning lidar systems for three-dimensional sensing
US10762651B2 (en) 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
DE102016014851A1 (de) * 2016-12-14 2018-06-14 Alexander Zielbach Umrisspulsmodulationsmessung
US11140340B2 (en) 2017-12-26 2021-10-05 Robert Bosch Gmbh Single-chip RGB-D camera
JP7042453B2 (ja) * 2018-03-20 2022-03-28 パナソニックIpマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及びプログラム
WO2020049906A1 (ja) * 2018-09-03 2020-03-12 パナソニックIpマネジメント株式会社 距離測定装置
KR20210127153A (ko) * 2019-01-15 2021-10-21 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 비행시간 디바이스 및 3d 광 검출기

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2594959B1 (fr) * 1986-02-24 1988-09-09 Electricite De France Procede et dispositif de mesure optique de la distance et de la vitesse d'une cible
US4915498A (en) * 1988-04-19 1990-04-10 Malek Joseph H Range imaging sensor
US5291262A (en) * 1989-03-27 1994-03-01 Dunne Jeremy G Laser surveying instrument
US5148175A (en) * 1991-07-05 1992-09-15 Sperry Marine Inc. High resolution variable range gate generator with programmable timing
DE4305011C2 (de) * 1993-02-18 1995-03-23 Deutsche Aerospace Pulslaufzeit-Meßverfahren
US5625446A (en) * 1993-10-18 1997-04-29 United Technologies Corporation Optical measurement system for articles with varying surface reflectivity
CN1253636A (zh) * 1995-06-22 2000-05-17 3Dv系统有限公司 远心光阑3维照相机及方法
WO1999034235A1 (de) * 1997-12-23 1999-07-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
DE19833207A1 (de) * 1998-07-23 2000-02-17 Siemens Ag Verfahren und Vorrichtung zur Aufnahme eines dreidimensionalen Abstandsbildes

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4572935B2 (ja) * 2007-01-29 2010-11-04 Tdk株式会社 接合装置の検出対象物の検出方法、接合装置及び接合方法
JP2008207244A (ja) * 2007-01-29 2008-09-11 Tdk Corp 接合装置の検出対象物の検出方法、接合装置及び接合方法
JP2009020109A (ja) * 2007-07-16 2009-01-29 Hilti Ag パルス反射混合法を用いた手持ち式レーザ距離測定器
JP2009040404A (ja) * 2007-08-08 2009-02-26 Harman Becker Automotive Systems Gmbh 車両照明システム
KR101367281B1 (ko) 2007-11-13 2014-02-25 삼성전자주식회사 깊이 영상 생성 방법 및 장치
USRE49342E1 (en) 2007-12-21 2022-12-20 Leddartech Inc. Distance detection method and system
JP2016183974A (ja) * 2007-12-21 2016-10-20 レッダーテック インコーポレイテッド 検出及び測距方法及びシステム
KR101508410B1 (ko) 2008-07-30 2015-04-07 고쿠리츠 다이가꾸 호우진 시즈오까 다이가꾸 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법
US8537218B2 (en) 2008-07-30 2013-09-17 National University Corporation Shizuoka University Distance image sensor and method for generating image signal by time-of-flight method
WO2010013779A1 (ja) * 2008-07-30 2010-02-04 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP2010032425A (ja) * 2008-07-30 2010-02-12 National Univ Corp Shizuoka Univ 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
KR101668869B1 (ko) * 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
KR20100128797A (ko) * 2009-05-29 2010-12-08 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
JP2011089986A (ja) * 2009-10-22 2011-05-06 Sick Ag 距離又は距離変化を測定するためのセンサ及び方法
JP2016506492A (ja) * 2012-11-27 2016-03-03 イー・2・ブイ・セミコンダクターズ 深さ情報および画像センサにより画像を生成する方法
JPWO2015128915A1 (ja) * 2014-02-28 2017-03-30 パナソニックIpマネジメント株式会社 測距装置及び測距方法
US9927516B2 (en) 2014-02-28 2018-03-27 Panasonic Intellectual Property Management Co., Ltd. Distance measuring apparatus and distance measuring method
JP2017517748A (ja) * 2014-04-26 2017-06-29 テトラビュー, インコーポレイテッド 三次元撮像における奥行き検知のための、安定して広範囲の照明用波形のための方法とシステム
US11516456B2 (en) 2014-04-26 2022-11-29 Nlight, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3D imaging
WO2016075945A1 (ja) * 2014-11-14 2016-05-19 株式会社デンソー 光飛行型測距装置
US11204421B2 (en) 2016-02-17 2021-12-21 Panasonic intellectual property Management co., Ltd Distance measuring device
US10775502B2 (en) 2016-11-10 2020-09-15 Ricoh Company, Ltd Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method

Also Published As

Publication number Publication date
WO2003016944A3 (de) 2003-10-09
US20040233416A1 (en) 2004-11-25
KR20040019387A (ko) 2004-03-05
WO2003016944A2 (de) 2003-02-27
KR100770805B1 (ko) 2007-10-26
US7212278B2 (en) 2007-05-01
DE50208355D1 (de) 2006-11-16
EP1423731B1 (de) 2006-10-04
JP4488170B2 (ja) 2010-06-23
EP1423731A2 (de) 2004-06-02

Similar Documents

Publication Publication Date Title
JP4488170B2 (ja) 三次元距離画像を記録するための方法及び装置
US7554652B1 (en) Light-integrating rangefinding device and method
US6535275B2 (en) High resolution 3-D imaging range finder
EP3519854B1 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US20220196812A1 (en) Time of flight sensor
US7379100B2 (en) Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
US7834985B2 (en) Surface profile measurement
US9927516B2 (en) Distance measuring apparatus and distance measuring method
US6323942B1 (en) CMOS-compatible three-dimensional image sensor IC
CA2716980C (en) Light-integrating rangefinding device and method
KR20010033549A (ko) 3차원 거리 측정 이미지를 기록하기 위한 방법 및 장치
EP3550329A1 (en) System and method for determining a distance to an object
EP2914973B1 (en) Device and method for measuring distance values and distance images
US20220187430A1 (en) Time of flight calculation with inter-bin delta estimation
US7907258B2 (en) Method of detecting a light pulse reflected on an object to determine the distance from the object, sensor and device for implementing same
US20230375678A1 (en) Photoreceiver having thresholded detection
EP4198553A1 (en) Method, device and program for estimating object reflectivity in a lidar system
US20230273316A1 (en) Imaging apparatus and method
JP7003949B2 (ja) 光測距装置
Li et al. Three dimensional imaging laser radar system for short-range target detection and identification

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070912

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071015

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071022

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090513

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090520

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090612

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100219

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100323

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4488170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250