JP2000517427A - 電磁波の位相情報および/または振幅情報を調べるための方法と装置 - Google Patents

電磁波の位相情報および/または振幅情報を調べるための方法と装置

Info

Publication number
JP2000517427A
JP2000517427A JP10512124A JP51212498A JP2000517427A JP 2000517427 A JP2000517427 A JP 2000517427A JP 10512124 A JP10512124 A JP 10512124A JP 51212498 A JP51212498 A JP 51212498A JP 2000517427 A JP2000517427 A JP 2000517427A
Authority
JP
Japan
Prior art keywords
modulation
light
pixel
modulated
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10512124A
Other languages
English (en)
Other versions
JP4060365B2 (ja
Inventor
ルドルフ シュヴァルト
Original Assignee
ルドルフ シュヴァルト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE19704496A external-priority patent/DE19704496C2/de
Application filed by ルドルフ シュヴァルト filed Critical ルドルフ シュヴァルト
Publication of JP2000517427A publication Critical patent/JP2000517427A/ja
Application granted granted Critical
Publication of JP4060365B2 publication Critical patent/JP4060365B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Abstract

(57)【要約】 本発明は、電磁波の位相および/または振幅情報を調べる方法と、その装置に関するものである。かかる方法で得られた画像データの空間深さ分解能を提供するために、本発明による方法は以下の段階を含む:少なくとも2つの感光変調光ゲートGamとGbmおよび関連蓄積ゲートGaとGbを有する少なくとも1つの画素を含む光混合素子の表面に電磁波が照射され、Uam(t)=U0+Um(t)およびUbm(t)=U0−Um(t)として構成されている変調光ゲート電圧Uam(t)およびUbm(t)が、変調光ゲートGamおよびGbmに印加される段階;U0および変調電圧Um(t)の振幅以上の大きさを持つ直流電圧が、蓄積ゲートGaおよびGbに印加される段階;入射電磁波によって変調光ゲートGamおよびGbmの空間電荷領域に生じた電荷キャリアが、変調光ゲート電圧Uam(t)とUbm(t)の極性の関数として、ドリフト電界の電位勾配および対応蓄積ゲートGaまたはGbへのドリフトを受けさせられる段階;蓄積ゲートGaおよびGbにドリフトされた電荷qaとqbがそれぞれ転送(divert)される段階。当該光混合素子は、少なくとも1つの画素を有している。該画素は、少なくとも2つの感光変調光ゲート(Gam,Gbm)と、該変調光ゲートに対応し、入射電磁波によって区分されている蓄積ゲート(Ga,Gb)とから構成されている。複数の光混合素子をアセンブルすることによってアレイを形成できる。

Description

【発明の詳細な説明】 電磁波の位相情報および/または振幅情報を調べるための方法と装置 本発明は、電磁波の位相情報および振幅情報を調べる方法と装置に関する。 本明細書中、位相という言葉は、位相トランシット時間および関係各信号形状 に基づいて使用されもする特定のトランシット時間を表す。 以下、電磁波ではなく光波について言及する。但し、これは、可視電磁波のス ペクトル領域のみに対する限定を意味するものではなく、単に簡素化することを 目的としている。 電子測定技術および通信技術で、広帯域、高周波数の信号の振幅と位相の点か ら周波数成分を測定する場合、未知の信号を正弦振動に掛けるまたは正弦振動と 混合し、統合またはローパスフィルタリング処理によって同一周波数の信号成分 が存在する状態で生じる一定成分を測定する位相検出器を利用することが多い。 この方法により、任意の調整可能な相対位相位置の混合信号を利用して、未知 の信号の相関関数が得られる。混合周波数を変える(掃引する)ことにより、未 知の信号をそのスペクトル成分に分解できる。また、少なくとも3つの位相位置 により、同周波数の未知の周波数成分の振幅と位相が変わる安定成分を求めるこ とができる。 今日、測定および通信技術分野で重要性を増しつつある当該光信号の研究は、 特に電気信号について先述した電子測定値後確認のある光電変換器としての広帯 域光検出器によって実施されている。 関連経費の高額さ故、これらの方法および関係測定装置は、通常、1チャネル または2チャネルのタイプのものだけである。しかしながら、光信号の場合は、 高周波成分を備えた(特定の画像系列全体の)非常に多くの並列チャネルを同時 に測定しなくてはならないことが多い。 また、2次元光波のスペクトル変調特性の他に関心を集めているのは、所定の 空間および時間範囲内の高速動作である。更に、例えば光レーダー法によって、 3次元オブジェクトを迅速かつ正確に測定したいという要望があるが、それには 光速のエコー信号の結果としてサブナノ秒範囲の超高速な検出器が必要である。 同時に、能動的または受動的に明るい3次元オブジェクトを走査するという面倒 な操作を無くすことが望まれている場合、前述の検出器は検出器アレイとしても 利用できなくてはならない。 そのような3Dカメラは、ドイツ特許出願公開明細書第44 39 298号 に提案されており、本発明はその内容を基本出発点に採用している。 図10は、エコートランシット時間または位相トランシット時間のプロセスを 基礎とする3Dカメラを示すものである。変調光送信器107と103によって 照射され、3次元オブジェクト100から反射されるHF変調光波101は、同 位相波面の遅延の深さ情報をすべてを含んでいる。入射光波が、ホモダインミキ シングまたは復調プロセスに対応する同一周波数の2次元光ミキサ104によっ て受信開口102内で再び変調される場合、安定した高周波インタフェログラム が得られる。 このHFインタフェログラムは、従来のCCDカメラ104で記録することが でき、また、画像処理装置106を使って更なる処理を施すことが可能である。 CCD光電量(photoelectric charge)の混合生成物の定 常成分の統合は、2つのミキシング信号の相関関数の構成に対応している。エコ ートランシット時間および振幅による距離関連の位相遅延は、例えば、0°と1 0°と240°、または、0°と90°と180°と270°など、復調ミキシ ング周波数の種々の位相により、3つ以上のインターフェログラムから画素的に 計算できる。 光空間変調器またはSLMとも呼ばれる2次元光ミキサ103または104は 、この場合、例えば、ポッケルス(Pockels)セルを有しているが、この ポッケルスセルは資料に一連の重大な欠点が記載されている。 前述以外の実行オプションはLCDウィンドウによって提供されが、こられは 明らかに安価であるものの、所望帯域幅の観点から見ると約1000分の1ほど 低すぎる。 像増幅器に使用されている、いわゆるマイクロチャネルプレートの利用も高価 で費用がかかる。マイクロチャネルに印加されてマイクロチャネル内の2次電子 放出に影響を及ぼす加速電圧を変調することによって利得を変調できる。 また、最先端技術で、CCD光検出器アレイを基礎とする2次元相関器が提案 されている:「The Lock-In CCD-Two-Dimensional Synchronous Detection of Li ght」スピリグ(Spirig)、セイツ(Seitz)他著、IEEE Journal of Qu antum Electronics,Vol.31,No.9、pp.1705-1708、1995年9月。該文献中、 正弦変調光の位相を確認するために、光画素(photopixel)が4つの トランスファゲートによって識別される。各正弦周期ごとに、4つのトランスフ ァゲートによりそれぞれの等距離サンプルが取られ、それによって簡単に位相を 計算できる。最初に、帯域幅を著しく制限した走査時間内で高調光信号の統合が 行われるために、前述手順は指摘した課題にとっては遅すぎる。また、その後で なければ、走査サンプルとして引き継いだ蓄積電荷を利用する所望のミキシング 処理を実施できない。 そこで、本発明の目的は、位相および/または振幅情報、および光波の包絡線 を調べるための方法と装置であって、よりシンプルで、より帯域幅が広く、より 安価な相関器の概念と、設定可能照明による3次元オブジェクトの高速測定を可 能とする方法と装置を提供することである。 前述の目的は、請求の範囲1記載の方法、請求の範囲14記載の光混合素子( photonic mixing element)、請求の範囲20記載の光 混合素子配列、および請求の範囲23記載の装置によって達成される。 本発明による原理は、変調光ゲート電圧と、隣接する少なくとも2つの感光変 調光ゲートの下の材料の光波によって光発生する少数電荷キャリアの分離とによ ってもたらされるドリフトを基礎とするものである。この場合、それぞれの関連 極性または位相に応じて変調光ゲートに印加される変調光ゲート電圧Uam(t) とUbm(t)の影響を受けて、前述の電荷キャリアが、好ましくはdc電圧Ua とUbの2倍でバイアスをかけられた蓄積ゲートにドリフトされる。変調光ゲー トの電圧Uam(t)とUbm(t)は補足的に印加されることが好ましく、また、 バイアス電圧およびそれぞれプッシュプル関係に重畳される変調電圧+Um(t )と−Um(t)から構成されることが好ましい。2つの変調光ゲートは一緒に 矩形面を形成することが好ましい。2つの変調光ゲートのみを備えている画素は 、2重画素と呼ぶこともできる。 本発明による原理は、電磁波によって生じる光電量子効果を前提とするもので ある。それにも関わらず、光波に対する照会が常に行われるが、これは制限と解 釈されるものではない。 実際のミキシングすなわち乗算処理は、変調光ゲートの右側または左側への、 光発生電荷キャリアの変調電圧依存または位相依存ドリフト(「チャージスイン グ(charge swing)」)にある。これに関し、前述のように分離されて 蓄積ゲートに集められ、所定時間内の集積に関係ある電子読出システムに伝達さ れる電荷キャリア間の荷電差は、変調入射光信号の包絡線と変調電圧Um(t) との相関関数に関する測定値である。 同時に、蓄積ゲートにドリフトされて通過する前述の電荷キャリアの電荷合計 は、チャージスイングの位置による影響を受けない状態にあり、最適な画素強度 または画素濃淡値として利用できる。 入射光波の相対位相または時間遅延を求めるには、前述のように、交流電圧成 分、直流電圧成分、および相対位相の3つのパラメータについて3種類の測定を 行う必要がある。従って、電送器の放射光波に対する3種類の位相ずれを備えた 変調光ゲート電圧によって作動される3つの感光変調光ゲートを持った光混合素 子画素構成を含むことが可能である。 しかしながら、結果として得られる相関振幅から、光混合素子の各画素の受信 信号の位相を求めることが望ましい場合、ミキサ信号の異なる4つの位相に関わ る4種類の測定を利用する。これにより、ノイズを大幅に低減できる重複決定( over−determination)が提供される。 1画素あたり2つの変調光ゲートの変調光ゲート電圧をプッシュプル構成する ことにより、前述の測定の各2種類を同時に実施できる。したがって、例えばH F変調の場合、異なる4つの必要測定値を得るには、それぞれ放射光の位相に対 し、変調光ゲート電圧Uam(t)とUbm(t)について0°/180°および9 0°/270°の位相差で、それぞれ90°ずらして2種類の測定を行うだけで 十分である。 したがって、特に好ましい構成は、それぞれ1つの画素を形成する光混合素子 が、対称に配置された4つの変調光ゲートを有し、それぞれ相互に対向するよう に配置した各2つの変調光ゲートがプッシュプルまたは180°位相シフト変調 光ゲート電圧に応じて作用し、この場合、2重画素に関連させて先に述べた、変 調光ゲート電圧の0°/180°および90°/270°の位相差で其々90° ずらされた2種類の測定が同時に実施される構成である。このような画素を4重 画素と呼ぶこともできる。 また、変調光ゲート電圧Uam(t)とUbm(t)の位相シフトの較正の場合、 送信器によって照射される光波の一部が、基準として、複数の光混合素子の配列 から成る複数の画素のうちの少なくとも1つに向けられることが可能であること が好ましい。そして、この直接照射画素から得られる位相および振幅の情報は、 較正操作に利用できるとともに、位相シフトを所定値に調整するのに利用するこ ともできる。 逆に、能動オブジェクトが放射する入射光波の、個別励起される未知の変調の 場合、少なくとも1つの光混合素子によって、ロックイン増幅器の既知の高レベ ル分解能で光波を測定できる。この目的のため、光混合素子は、送信器に代わる 同調可能な変調用発振器(tunable modulation gener ator)とともに、位相ロックループを形成する。また、ロックイン増幅で、 例えばHF変調のために位相ロックロープが使用され、デジタル変調のために遅 延ロックロープが利用される。 受動物体を調べる場合、種々の方法によって照射光の変調および変調光ゲート 電圧Uam(t)とUbm(t)の対応変調を行うことができる。まず、連続HF変 調を生じさせることができる。その場合、荷電差および電荷合計は、画素強度に よる影響を遡及的に受ける可能性のある間隔で繰り返し読み出され、光波の位相 および振幅情報の評価が行われる。 例えば、各ケースで干渉背景照明を簡単に上回るためには、有利な手順は、パ ルス形HF変調と照明による間欠モード動作である。その場合、光発生電荷は、 高周波パルスのときにそれぞれ集積されて、後で評価される。 特に反射光波の位相またはトランシット時間を調べる場合、位相またはトラン シット時間の分解能のレベルを増大するために、例えばチャープ法などの狭い相 関関数により、レーダー技術で周知のHFパルス圧縮法を利用することが可能で ある。その場合、個々の光混合素子の変調信号と、所定の位相関係で照射される 送信器の光波と、調査対称の位相関係で反射される光波とは、チャープによって 繰り返し変調される。チャープ変調により、適当な方法で、光混合素子の変調光 ゲート電圧と送信器によって照射される光の間に調整可能な遅延を挿入すること により、多くの課題が解決され、または照明されているシーンのやっかいな多重 反射が抑制される。 以下に記載する擬似ノイズ変調(PN変調)は、ベースバンドPN変調および HF−PN変調といった別の形態の変調として利用できる。繰返し光信号の場合 の抽出−保持操作を利用するサンプリング手順は、ニードルパルスによる混合お よび相関の特殊ケースである。本発明による光混合素子は、パルス変調の前述お よび他の用途のために有利に利用できる。 言及される変調モードは、それ自体はすべて現状技術において周知である。 蓄積ゲートにドリフトされた電荷は、かくして種々方法による別の処理の対象 となる。一方、光混合素子は、CCD技術を利用して作製することができる。そ の場合、電荷は蓄積ゲートの下に集められすなわち集積され、その後、従来の方 法によって、例えば3相シフトサイクルでCCD読出回路に移動され、p拡散ま たはn拡散によって読み出される。 他方、光混合素子は、画素特定電子読出しおよび信号前処理システムを備えた 能動画素としてCMOS技術を利用して具現される。その場合、実際には、CC D技術で公知の読出回路は、変調ゲートの両側に直接に取り付けられている。そ の場合、蓄積ゲートは、ブロック低容量pnダイオードの形であることが好まし く、到来した光発生電荷は、好ましくは電極GaおよびGbによって、電子画素読 出しおよび信号前処理システムに転送され、そこで記憶および処理される。 したがって、後者の場合、チャージスイングの2つの電荷成分は連続的に読み 出され、例えば電荷増幅器により、下流に接続した各キャパシタに実質的にリア クションフリーに記憶される。 それぞれの新測定操作以前に、現状技術において、関連荷電キャパシタが電子 リセットスイッチによって放電され、望ましくはリセット状態のときに測定した 故障電圧を実際の測定値の修正に利用することが行われている。画素に関してリ アクションフリーの読出手順を利用することにより、CCD技術を利用して実施 した場合と比較して、光混合素子の全体動力学ならびにそれを利用する測定方法 が著しく改善される、という利点が提供される。 別の好適方法において、好ましくはオンチップ集積の形態で、電子画素読出し および信号前処理システムで位相および振幅情報を直接計算できる。そのような 特定用途光電チップ(ASOC)またはそのような能動画素センサ(APS)に より、測定速度が向上し、画素に関する位相および/または振幅の前処理が可能 となる。 本発明の重要利点は、電荷の発生および分離と同時に変調が行われることであ る。つまり、検出と混合が、同時に、しかも余分なノイズや帯域制限を伴う中間 段階無しで、実行される。したがって、特に現状技術において生じてしまうタイ ムドリフトエラーが防止され、時間および空間の点で検出操作とは切り離される 電荷変調と集積動作が必然的に生じるが、これらが抑制を受けることはない。 本発明の更に別の利点は、光混合素子の上限周波数である。プッシュプル変調 電圧による電荷転送の限界周波数は、最大ドリフト長または転送距離、つまり変 調光ゲートの全長の点で、関係MOSトランジスタの限界周波数に匹敵し、従っ てGHzレンジに達する。また、面倒なコモンモード信号は反対称電荷キャリア の分離および差分形成(difference formation)によって 抑制される。例えば背景照明など、変調信号と相関しない各干渉信号は、電荷差 が除かれて、結果的に信号対ノイズ比が高くなる。また、同一チップ上で、検出 、混合、電荷キャリア集積、および差分形成を組み合わせることにより、わずか な タイムドリフトだけになる。また、単一半導体構造内で、実質的に全部の測定関 数を併合処理することが可能となる。 変調器としてポッケルスセルを利用したドイツ特許出願公開明細書第44 3 9 298号に開示されている最新技術と比較した場合、必要変調電圧は、10 00ボルトレンジではなく、1ボルトレンジという僅かな変調電圧に過ぎない。 また、本発明による光混合素子の2次元配列では、受信器側に大きな開口が確保 される。 また、位相および/または振幅情報を求めるのに際してコヒーレント光も偏光 も不要である。したがって、例えば、光の偏りおよび波長に対応する選択フィル タを上流に配置することにより、入射光波の他の特定特性を利用できる。更に、 当該配置によって、現状技術で利用されている電子ミキサおよび広帯域光検出増 幅器を排除することにより、高レベルな感度がもたらされる。 調査対象である光波のスペクトル帯幅は、光ゲートの下の空聞電荷領域に使用 される材料のスペクトル感光度によって決まる。すなわち、例えば、シリコンの 場合は約0.3〜1.1μmの波長範囲、InGaAsの場合は約0.8〜1. 6μmの範囲、InSbの場合は約1〜5.5μmの範囲である。 光混合素子は、0次元、1次元、または2次元構成で配置することが可能であ り、従って、スペクトルの広い使用幾何学形状を実現できる。これに関し、例え ば、各画素の距離情報を求めて3次元シーンのカメラショットを極めて高速に実 現できるように、例えば10〜1000MHzの変調帯域幅で数十万個の光混合 素子を並列関係に作動させることができる。位相画像ψ(x,y)または(変調 照明の場合)動径ベクトルまたはボクセル距離による距離画像または深さ画像R (x,y)は、蓄積ゲートに供給されて読み出される電荷の荷電差によって画素 的に求められる。関係電荷の合計から、従来の画素濃淡値A(x,y)が得られ る。この2つを組み合わせることにより、階調画像または3次元画像A(x,y ,z)が得られる。 これに関し、3次元画像繰返し率は約10Hz〜千数百Hzの範囲内で、使用 光混合素子の数と光強度のレベルに依存している。追加カラーフィルタにより、 距離画像R(x,y)の通常カラー値、赤(x,y)、緑(x,y)、青(x,y)を 得ることができる。 特に混合および電荷キャリアを集積する集積構造により、光混合素子に関して 単純な構造が提供される。結局、1点だけでなく1次元または2次元のシーンを 記録する場合、反射する可能性のある入射光波の画像形成には、従来の光学的画 像形成システムで十分であるので、受信チャネルに特別に費用をかける必要がな い。測定装置は、光送受信システムの同期ズームによって種々の3次元シーンに 柔軟に対応できる。 本発明による方法、および、対応する混合素子または複数混合素子配列の場合 、画素の位相すなわち画素トランシット時間および画素輝度が、能動画素センサ 構造(APS)によって直接確認されるのであれば、好ましくは同一チップ上に 配置された多重構造(いわゆる、オンチップ多重構造)によって選択的または連 続的に読み出されることが望ましい。これにより、処理速度が向上し、また、他 の所要要素数が減少する。 濃淡画像のように、更に画素の輝度を関連蓄積ゲートの電荷合計として評価す る場合、特に好適な本発明の実施態様は、背景照明の場合、つまり、変調光の横 にある非変調光の場合に、一方で照明オン時、他方で変調光が無い状態つまり変 調光源切断後で実現される濃淡画像間の差を生じる手順により、蓄積ゲートの上 記追加照明によって生じた電荷を計算によって除去する。蓄積ゲートの基本輝度 または基本電荷量には相関情報が含まれていないので、実際の相関情報は、基本 量を差し引いた後に更に明瞭に示される。 前述のように、該実施態様が、線状アレイ、面状アレイ、または空間状アレイ のいずれかで複数の混合素子を使用する場合に適していることは明白である。こ こで「線状」アレイという用語は、まっすぐな列に並んでまたは連続的に配置し た混合素子一式のみを意味するのではなく、一般に、まっすぐかもしれないし、 曲がっているかもしれない線に沿って配置されている混合素子一式のことを意味 する。面状配列の場合、混合素子は原則として、実際的理由から好適であるにせ よ、矩形行列の形態の平面状の混合素子アレイだけでなく、例えば球面シェルの 内面の曲面上など、任意の所望パターンで配列できる。また、ある角度をなす複 数の表面、すなわち、互いに1つの角度を含む2つの表面上に同時に混合素子の アレイを適用することも可能であり、そのような配列は一部の用途に適している 。この種の配列は、「空間状アレイ」という用語で表される。 複数の、場合によっては数百または数千の混合素子から成る前述のアレイの場 合、本発明による方法の有利で望ましい構成は、画素または混合素子の少なくと も1つが、照明として作用する輝度変調電磁波の一部によって直接照射される構 成であり、その場合、そのようにして得られた測定結果は、前述の少なくとも1 つの画素で、別の位相および輝度の結果を較正するために使用される。これに関 しては、そのような画素が送信器によって選択的に異なる輝度レベルで活性化さ れる場合、または、複数の基準画素が使用される状況下でそれら各画素が別々の レベルで活性化される場合に望ましい。これにより、測定信号の大きな動的スコ ープによって起こりうるエラーを回避することが可能となる。 これは、前述種類の1次元以上の混合素子配列の場合に、MOS技術を利用し てシリコン基板上に画素を作製し、それらの画素を好ましくはCCD構造を備え た多重構造を利用して読み出せるのであれば、好ましい。 本発明による混合画素は、デジタル写真カメラまたはビデオカメラに用いるの に特に適していることを理解されたい。この目的のために必要なことは、集積受 信光学系と、電子評価系と、そこから計算される濃淡値およびトランシット時間 または距離画像用にデジタルメモリを備えた、種々の信号、合計信号および関連 基準信号の信号処理系と、を有している適切な混合素子配列(例えば、矩形行列 の形)を用意することだけである。該配列は、適切な送信器、または変調電磁波 か変調光によって3次元シーンを照らす適切な光源、および受信光学系に応じて 適切に調節できる送信光学系も備えており、これらの構成要素がすべて組み合わ されてデジタルカメラとしての小型装置を構成する。これに関し、デジタル写真 カメラとデジタルビデオカメラの違いは、基本的には、関係ビデオカメラではか なり多数の画像を相当に短い時間間隔で記録および記憶しなくてはならないので 、関係画像シーケンスの記憶および再生に適した装置を用意しなくてはならない 、 ということだけである。 また、すべての用途において、シーンの照明は種々スペクトル領域の変調光に よってのみ行われるので、そのようにして得られた画像の色成分すなわち色彩成 分を、同時供給される空間的深さ情報と共に利用することにより、完全なカラー 画像を獲得および再現できることを理解されたい。 より高い帯域幅の場合、および、例えば効果的エッジ検出の場合も、特に感光 面のエッジ部に生じる変調ゲートの理想電位構成からの逸脱が実質的に排除され るように、画素中央部への入射光を少なくする微小レンズ光学系を、混合素子ま たは画素と関連付けて用いることが望ましい場合がある。微小レンズ光学系によ ってもたらされる、混合素子の検出器平面のピンぼけ画像形成によって保証され ることは、2つの半画素間の中央にランダムに広がるエッジの画像生成によって 、相関関係または誤った深さ情報をシミュレートする種々の電荷を蓄積ゲートに 生じないことである。 本発明による光混合素子を備えたアレイは、問題となっている配列という観点 から、また、探索対象、場合によっては追跡対象となっている物体の深さ情報す なわち物体距離に対して付加的なされる検討によって、所定の1、2、または3 次元構造を検出したり、場合によっては追跡するのにも、極めて適している。 具体的観点から言うと、変調信号の振幅と、変調信号のX座標、Y座標、およ び時間座標T(ここで、XとYは混合素子行列の平面上に伸びる2つの1次独立 座標であり、時間Tは変調信号のトランシット時間の遅延を意味する)の変位(Δ X,ΔY,ΔT)によって3次元相関が実現され、それによって所定空間内で所 定3次元物体が探索され、検出され、場合によっては追跡される。 本発明による光混合素子は、更に、光データ転送の分野においても広範囲な用 途がある。これに関し、本発明による光混合素子は、単に、場合によっては信号 再生を伴う従来の信号受信器の光ダイオードに代わって使用され、その場合、変 調信号の形状は最適方法によって信号形状に適合され、変調信号の位相は位相ロ ックループにおいて最適方法によって受信信号の位相位置に適合される。つまり 、信号自体からクロックが選られ、該クロックは、受信信号の最適重み付けに利 用 され、それにより、信号をノイズのある面倒な背景から最適方法で分離すること ができる。このように、従来の光ダイオードと比較して、光データ伝送の感度と 精度を大幅に向上できる。これにより、中間増幅を行ったり、時間、周波数、お よび多重コードモードの並列通信チャネルを増やしたりせずに、光送信部の長さ を大幅に増大することもできる。 最後に、本発明による光混合素子は、例えば、信号を符号化出力できる衛星送 信機によって極めて正確な位置測定を提供する公知GPSシステムに組み込まれ ているものと基本的に同様な操作モードを備えた光学系の位置検出システムに利 用することも可能である。当該光学式位置検出システムでは、GPSシステムで 公知の衛星送信機を、例えばレーザダイオードおよび光拡散または分散システム で位置を調べる物体の、より近くに相応に配置される広分散変調光源と交換し、 一方、受信機は物体の1つ以上の光混合素子によって、好ましくは、種々の変調 により種々の点に固定的に配置された光源からの信号を検出するために種々の方 向に向けられた複数の光混合素子によって、形成される。その場合、関係信号ト ランシット時間と同様に、コード化変調によって、固定光源と、位置を知りたい 物体と、が明確に関係付けられ、それによって位置を求めることができる。 更に別の用途は、光データ伝送用のデマルチプレクサという使い方である。光 混合素子による特殊変調および関連相関という形のコード化により、種々のチャ ネルを明確に関係付けることができる。 本発明による光混合素子の高レベルな位相感度の更に別の用途および使い方は 、サニャック(Sagnac)効果の測定、すなわち、回転基準系の光波のトラ ンシット時間すなわち位相シフトの測定である。この目的のために、変調光は好 ましくは何回かターンさせて敷設してある光ファイバに結合され、光ファイバの 出力によって本発明による光混合素子の1つを照射する。この混合素子の変調ゲ ートは、供給された光波と同じ周波数で変調されるので、光混合素子における電 荷分布という形態の相関結果から、現在の周波数または位相シフトに関する測定 値を求めることができる。回転軸が光ファイバまたは導波路のターン部の平面に ない基準系を1回転する間に、周波数とトランシット時間、およびそれに伴って 位 相位置も変化し、それらは光混合素子によって自動的に検出される。これに関し て言うと、光混合素子を使って、非コヒーレント光によって前述のサニャック効 果を基礎とするファイバジャイロコンパスシステムを具現でき、しかも該ジャイ ロコンパスシステムは現状技術による対応エラー源として長期安定性関連の問題 を生じることはなく、光検出器下流の高周波増幅器および電子ミキサが完全に除 去されることは注目に値する。 また、本発明による光混合素子によって、前述のシステムで実現される絶対方 向測定の他に、例えば、一部の光波が、光導波管に誘導される以前にビームスプ リッタ内で除去されて静止物体の方に向けられることによって、移動物体の速度 測定を実施することも可能である。その場合、静止物体から反射した光が適切な 光混合素子受信器によって捕捉され、既に複数事例について説明した方法により 、ここではドップラ周波数偏位について評価される。、 直線画像または行列画像の付加的深さ情報の個々の意味と重要性に応じて、任 意の数の光混合素子を、CCD−、CMOS−、またはTFA(ASIC上の薄 膜)−画像センサの適切な技術で集積することが可能である。 また、本発明による3次元直線または行列カメラを使用する場合、従来の2次 元カメラを付加的に使うことが適切な場合があり、その場合、3次元カメラへの 能動変調照明素子および他の非変調照明素子のスペクトル割当てと供給をビーム スプリッタによって実行することが好ましい。 3次元測定または調査で光混合画素を利用するときに、距離が大きくて変調光 が弱すぎる場合、少なくとも2つの3次元直線または行列カメラを組み合わせた ものを使うことが可能である。その場合、本発明による測定または調査は、近傍 領域ではトランシット時間原理を基礎として、遠方領域では特に既存の背景照明 を利用した三角測量原理を基礎として行われる。 その場合、近傍領域の深さ測定は、この場合は少なくとも2つのカメラで並行 に、先述した通りに実施される。 遠方領域の深さ測定の場合、PMDチップの中央点を通るように形成されたカ メラの光軸が、例えばPMDチップを水平および垂直方向およびPMDチップ間 隔を基準として適切に移動させることによって、測定対象の体積領域の共通交差 点に向けられ、それと同時に、カメラの光学系の焦点がこの距離に設定される。 事前に適切な調節を行うことにより、画素の輝度値が該体積領域の最大の深さ鮮 鋭度と符合する。 当該体積領域内で物体を検出および識別するときに、差分画像に関して、画素 の振幅が一致する場合、短時間に印加される交流変調電圧によって光混合素子の 総和画像(sum image)が追加され、該総和画像は設定距離データと関 連付けて評価され、一方、一致しない画素の振幅は、ゼロに設定した変調電圧Uma =Umb=0によって差分画像から除去される。 このように、変調送信器照明の範囲外も、角度走査によって測定および調査さ れる。このとき、所要角度は、PMDチップの適切移動と、各ステレオカメラの 回転と、および/または装置全体の枢動によって達成される。 多数の可能用途のほんの一部を、本明細書中に部分的に詳細に、または部分的 に簡単に説明した。これらの可能用途は、それ以外の可能用途も記した以下の表 にも記載されている。その更なる説明は本発明の適用範囲を超えるものであり、 その点で、以下の表は決して徹底したものではない。 更に具体的に述べると、可能用途は、以下の領域において有意であるとともに 、構想可能である。 −デジタル式3次元写真カメラ −デジタル式3次元ビデオカメラ −危険領域監視 −セキュリティ技術と「インテリジェントビル」 −自動車の乗員の検出および識別「インテリジェントエアバッグ」 −電子式3次元バックミラー −道路交通の交通状況認識 −自律性車両のナビゲーション −非コヒーレントファイバジャイロとドップラー速度測定 −自律性輸送車両の制御 −産業クリーニングロボット −個人識別、アクセス権の証明および確認 −例えば車両などの物体の識別 −生産監視、材料試験、100%品質試験 −ロボットハンドおよび強靭で小型のあらゆるソリッドステートの「3次 元アイ」、 −車両速度および走行距離測定、道路状況検出、交通渋滞 −トラックフリー信号、線路上の接触ワイヤ監視 −医用工学、内視鏡検査 −光学式自由空間またはライン通信のためCDMA技術 −例えば、マルチメディア領域における会話形3次元通信 −1列の光混合素子による移動物体の3次元測定 これに関し、本発明の光混合素子(以下、「光ミキサデバイス」を表す“PM D”と略す)は、以下の長所に重点が置かれている。 1.PMDの組合わせ:1/100〜1/1000mm2という極めて小さい 空間に、検出、プッシュプル、混合および集積を組み込んである→電気−光学の 相関。 2.2倍/4倍PMD:優れた動特性およびグループトランシット時間定常性 を備えた2個または4個の高価な広帯域増幅器、および、それぞれ2個または4 個の電子ミキサと、取り替えた。 3.送信器と受信器の間の高レベルな電子クロストーク感度を解消。 4.数十万個の並列電気光学変調器を備えた高レベルな集積性。 5.PMD−3次元写真またはビデオカメラは、光送受信器用の光ズームシス テムにより、完全統合可能であり、しかも小型、軽量、強靭で、柔軟に適応可能 。開口角約5°〜50°で、距離約20cm〜50mという自然表面測定ボリュ ーム。 6.10Hz〜1000Hzレンジの超高速3次元画像記録。感度およびS/ N比は、現在のCCDまたはCMOSカメラに対応。 7.予想深さ分解能は、各測定時間、照明強度、関連光学、および最適基準に よる間隔に応じ、約0.5mm〜50mm。 8.GHzレンジまでの各画素サイズに応じて最大帯域幅。 9.1ボルト未満の範囲の変調電圧。 10.無コヒーレント光、偏光、または狭帯域光が要求され、スペクトル領域 は感光材料に対応(例えば、InSbの場合は、5.5μm以下)。 11.データ融合による3次元深さ画像および2次元濃淡値画像の同時記録に より、3次元濃淡値画像(または3次元カラー画像)の最適評価を実現。 12.集積時間Tiを強度に応じて変更することにより、読出回路が約8ビッ トずつダイナミックを増加できる。 ここで、図面を参照しながら、実施例によって与えられる実施態様を介して本 発明を以下に更に詳細に説明する。 図1のa)は、CCD技術を利用した本発明による光混合素子の第1の実施例 の画素断面図である、b)〜f)は、2つの相補形変調光ゲート電圧Uam(t) とUbm(t)の種々の位相および時間のポテンシャル分布Us(t)である。 図2は、ライン間伝送読出装置の一部を含むCCD技術を利用した2つの線形 配置画素のブロック図である。 図3は、入射光の強度分布と、HF変調の場合の電圧Usep(t)、Ua(t)、Uam (t)、Ubm(t)、およびUb(t)の電位パターンを示す図である。 図4は、相対位相すなわちトランシット時間シフトψoptmτに対応するH F変 図5はPN変調の図で、a)に変調信号を示し、b)にTbの第3および第4 図6のa)は、変調光ゲートおよび蓄積ゲート下に中間変調光ゲートG0とポ テンシャル分布を備えた本発明による光混合素子のCCD技術を利用した第2の 実施態様の画素の断面図であり、b)が正、c)が負の変調電圧Um(t)の場 合の図である。 図7のa)は、本発明による光混合素子の第3の実施態様の画素の断面図であ り、b)〜f)は、図1と同様の種々位相のポテンシャル分布を示す図である。 図8は、4重画素と呼ばれる、4つの変調光ゲートと4つの蓄積ゲートとを備 えた本発明による光混合素子の第4の実施例の画素を示す平面図である。 図9は、4つの変調光ゲートと、4つの蓄積ゲートと、中央対称中間ゲートG0 とを備えた本発明による光混合素子の第5の実施例の画素を示す平面図である 。 図10は、光波の位相および振幅情報を調べるための、現状技術で周知の装置 の線図である。 図11は、高周波変調の場合の光波の位相および振幅情報を調べるための本発 明による装置の線図である。 図12は、例えば、PN変調または矩形変調の場合の光波の位相および振幅情 報を調べるための、本発明による装置の線図である。 図13のa)は、CMOS技術を利用した電子画素読出しおよび前処理システ ムを備えた本発明による光混合素子の第6の実施態様の画素の断面図であり、b )とc)は、変調光ゲート電圧の2つの位相または極性のための、図6と同様な ポテンシャル分布を示す図である。 図14は、好ましくはデジタル変調用の、4つの変調光ゲートと4つの蓄積ゲ ートと中間ゲートG0とを備えた、十字形に構成された光混合素子の第6の実施 例の画素の平面図である。 図1aに、CCD構造の実施例を用いた光混合素子の独立素子1の断面図を示 す。この場合、光混合素子は、画素1の他に、電圧供給および信号テークオフ動 作に必要な構造を備えている。外側ゲートGsepは、隣接構造に対して当該画素 の境界を電気的に定める役割しかない。 図1記載の配列は、p添加シリコン基板2上に形成されている。まず最初に、 提案概念である混合すなわち乗法演算に関連して、純粋なCW高周波変調の場合 について検討する。 断面に関して言うと、図1b〜fは、混合手順の種々位相のポテンシャル分布 を模式的に示している。中間変調光ゲートGamとGbmは感光部で、反転状態にあ る。これらは、例えばポリシリコンの導電性すなわち一部が光学的に透明な上カ バーの正のバイアス電圧U0と、重畳プッシュプル電圧Um(t)とによって作動 される。これにより、変調電圧Uam(t)=Uo+Um(t)およびUbm(t)= Uo−Um(t)がそれぞれ与えられる。 これらは、例えば酸化シリコンまたは窒化シリコンから成る絶縁層3の真下に ある空間電荷領域の入射光波の光子によって生成される負電荷キャリアを乗法に より分離させる。これらの電荷キャリア(当該実施例では、電子)は、変調プッ シュプル電圧の影響を受けて、正の蓄積ゲートGaまたはGbのごく近傍にドリ フトし、そこで集積されるが、多数の電荷キャリアまたはホールはp−Si基板 の接地端子に流れる。後方照明も可能である。 図2に、相関によって得られる電荷値の逐次処理用に拡散接合を備えた電子読 出しシステムを一端に配した、3次元CCDシフトレジスタの形態のライン間伝 送読出装置7の一部を含む、本発明による光混合素子の2つの画素1の平面図で ある。例えば、n番の画素のラインの全蓄積ゲート下の電荷蓄積に要する所定時 間Tの後、GaおよびGbの下の電荷qaおよびqbは、それぞれトランスファゲー トTGaおよびTGbを介して、3相読出しシフトレジスタに渡される。境界分離 ゲートGsepは、望ましくない外部影響から相関画素を保護する。境界分離ゲー トGsepは接地電位であることが好ましい。 図3に、図1に関連する電圧構成を示す。変調光ゲートGamおよびGbmは、位 相対立HF変調電圧Um(t)を含む図3記載の変調光ゲート電圧によって作動 される。変調光ゲート電圧は次のように示される。 Uam=U0+Umcos(ωmt) (1a) および Ubm=U0+Umcos(ωmt−180°) =U0−Umcos(ωmt) (1b) 図1b〜fでは、HF変調信号の期間Tm内のt0〜t8の時間系列における、 代表的画素1の問題の全ゲートの、該画素1の空間的範囲を超える空間電荷領域 のポテンシャル分布Us(s)がはっきりと示されている。相対的に高い正電圧 により、光発生電荷キャリアが、変調光ゲート電圧Uam(t)およびUbm(t) の極性に応じて、図1に断面を示した画素1の左側または右側に向かって大多数 がドリフトした後に、蓄積ゲートGaとGbに蓄積される。この動作は、光変調電 圧と変調光ゲート電圧Uam(t)が同じ周波数を備えているときに特定の効果を 呈する。それぞれの位相差ψoptに応じた、蓄積ゲートGaおよびGbへの電荷キ ャ る。 基礎となる相関手順は、数学的に次のように説明される。光混合素子の2次元 アレイの最も一般的な場合の受信平面では、z=0で、入射変調光波は一般にPopt (x,y,t−τ)で表される。入射変調光波は、そこで作用するプッシュ プル変調信号を備えた光発生電荷キャリアによって、Um(x,y,z)という 一般的な形で表され、2つの蓄積ゲートの電荷差について概算乗算または概算積 分によってリンクされる。対応する相関関数ψUmPopt(x,y,t)は、例え ば、蓄積ゲートGaおよびGbへの電荷キャリアドリフトの全平均化差分Δqab て、次のトリプルコンボリューションとして表現される。 但し、トランシット時間差τ=ψopt/ωm、変調角周波数Wmおよび、構造依存 であるが動作原理の点で重要でない定数k1およびk2、で表される。 本発明による光混合素子は、光電子の分離電荷高速転送と、そのプッシュプル 記憶と、差分および合計評価とにより、高い位置および時間分解能レベルで前述 の目的を達成する。これに関し、不安定な光波の場合に時間依存の平均化ドリフ る偏り成分が抑制され、同時に、変調電圧Um(t)により光信号Popt(t−τ )に関して所望の相関関数が構成される。 この手順を以下に詳しく説明する。Uam(t)およびUbm(t)によって生じ るHFドリフト電界により、それぞれ正の側への電子がドリフトされる。例えば 、変調光ゲート電圧Uam(t)=U0+Um(t)の正の半波のとき、すなわちUbm (t)=U0−Um(t)の負の半波のときに、光発生電荷キャリアが蓄積ゲー トGaにドリフトし、そこで電荷量qaとして集積または渡される(図1bとcの 上2つの変調光ゲート電圧分布を参照)。図3では、安定した調和変調照明の場 合の1画素あたりの光強度が次のように示される。 Popt(t−τ)=P0+Pmcos(ωt−ψopt) (3) 式中、P0はバックグランド照明を含む平均値であり、Pmは変調振幅であり、ωm はHF変調周波数であり、ψoptは位相遅延であり、τ=ψopt/ωmは変調位相 Gamに対する入射光波の対応トランシット時間遅延である。1画素当たりの総発 生光電流は次の通りである。 i(t)=Sλ・Popt(t−τ) =Sλ・[P0+Pmcos(ωmt−ψopt)] (4) i(t)=I0+Im・cos(ωmt−ψopt)] (5) ここで、パラメータi(t)=ia(t)+ib(t)、I0はP0に基づく画素光電 流の平均値、ImはPmに基づく変調光電流の交互振幅、Sλはスペクトル感度で ある。この1画素あたりの総光電流は、2つの成分、具体的に述べると、蓄積 ゲートGaの電流ia(t)と蓄積ゲートGbの電流ib(t)に分けられる。これ らの値は、CCD技術の場合はそれぞれの蓄積ゲートGaおよびGbの下で統合さ れ、画素に関して読出しを行うCMOS技術の場合は好ましくは電子読出しシス 何の支障もない。最大の電荷分離は、角度ψopt=0、τ=0で達成される。こ の状況を図3に示す。 適切な変調振幅、無視できるほどのドリフトトランシット時間、pm=P0の1 ると、調和変調によって以下が与えられる。 図4に、前述の理想化平均画素電流の構成を示す。これらは、HF変調受信光 と、変調光ゲートGamおよびGbmに印加されるHF変調光ゲート電圧とに起因す る、逆位相形相関関数である。その合計は、平均光パワーP0に相当する。時間 T=N*Tmにわたって(すなわち、HF変調電圧のN回の期間Tmにわたって) 蓄積される総電荷量により、以下が与えられる。 ここで、位相遅延に対応するトランシット時間τ=ψopt/ωmである。以下、qaT は、qaだけで示す。全部の画素1の蓄積ゲートGaおよびGbそれぞれの電荷 総計は、位置的に離散した2つのHFインタフェログラム、a−インタフェログ ラムおよびb−インタフェログラムを構成する。b−インタフェログラムはa− インタフェログラムから180°ずれており、それらの差分を出すことによって 、求めようとしている、数式(2)に示した、トランシット時間決定差分HFイ ンタフェログラムが出る。 図11は、光混合素子のアレイを基礎として直接混合を利用する本発明による 3次元カメラの模式図である。図10に記載の現状技術で公知の3次元カメラの 概念と比較して、図11では、光学的受動3次元物体を照射するための送信器4 の変調を、レーザダイオードの電流の直接変調によって実施している。その場合 、HF発振器13によって変調がもたらされる。距離が大きい場合、例えば、好 ましくは一般的な変調電流で、目の安全のために複数の波長から成る強力レーザ ダイオードアレイを使うことが有利である。 第1の光学系5は、物体6の表面に光波の画像を形成する。物体6から反射さ れた光波は、次に、第2の光学系6を介して、光混合素子アレイ8の表面に投射 される。 更に光混合素子アレイ8はHF発振器13によって活性化されるが、この活性 化は、HF発振器13よる、放射光波の位相に対する種々の位相シフトによって 行われる。まだ光混合素子アレイ8の信号の評価がオンチップで行われていない 場合には、評価装置9によって評価がなされる。 本発明による測定装置によれば、提案される3次元カメラの概念には、本発明 による光混合素子アレイのほかに、高い絞り値の他の光変調器は不要であり、こ れによって経済的に有利な構造が提供される。 こうして得られた相関振幅から画素の位相ψoptを求めるために、ミキサ信号 の異なる4つの信号の場合、前述のように、全部で4つの異なるインタフェログ ラムが使用される。ミキサ信号の4つの位相は、変調光ゲート電圧UamとUbmの 位相関係が、0°/180°の状態から90°/270°の状態に切り換わった 状況、すなわち90°遅延した状況で生じる。これにより、実際の、すなわち、 同相成分に対する2つの対応仮想成分すなわち直交成分が与えられ、そこから、 求めている画素位相を前述の数式(10)によって計算できる。 同時に、この動作モードにより、背景の明るさおよび混合操作によってもたら される厄介なオフセット電圧を解消できる。 また、一例として、光混合素子アレイの平面の好ましくは同一周波数の変調電 圧Um(x,y,t)を利用した2D相関によるCW変調3次元光波に関して記 載した測定操作に加え、本発明による測定装置を、パルス形の変調信号と組み合 わせて有利に利用することも可能である。 特に、光の疑似ノイズ変調は、3次元光波の高精度トランシット時間測定に有 利である。一例として、光学的受動3次元物体の調査または測定するための実施 態様を図12に示す。図11の調和変調に関わる実施態様と同様に、本発明によ る装置は、所定の強度でPN(疑似ノイズ)変調された光で3次元物体6を照射 する適切な照明装置を有し、反射されて受信された光は、好ましくは発振器13 によって生成される対応PN変調信号を利用して、相関手順にかけられる。 ワード長TW=TB(2N−1)が増加する、その種のPN信号に関する相関は 、ビット幅TBと相等しい半値幅を有する三角ニードルパルスに似ており、従っ て、全照明体積すなわち照明された全空間を明確かつ完全に測定するためには、 変調光ゲートの同一信号形状の、光変調PN信号と復調PNプッシュプル電圧Um (t)との間の相対遅延TDは、連続的または段階的にTB段で、最大エコート ランシット時間の全体遅延レンジを、少なくとも1度は通過しなければならない 。この目的のため、制御および評価装置9によって遅延TDに関する調節ができ る遅延部材11が役に立つ。 図5aに、矩形の15ビットPN系列の例に関して、変調信号Um(t)を示 す。光混合素子による相関の結果は、相対遅延τに関連して図5bに示した平均 図8、9、14に記載された、以下に説明する4倍画素の場合、変調光ゲート GcmおよびGdmに印加され、バイアス電圧U0に重畳されるプッシュプル変調光 ゲート電圧は、変調光ゲートGaおよびGbに印加されるプッシュプル変調光ゲー ト電圧に対して、TBだけ遅延されること、すなわちUcm(t)=Uo+Um(t −TB)およびUdm(t)=Uo+Um(t−TB)が好ましく、それによって、非 常に有利な振幅およびトランシット時間測定がもたらされる。 変調電圧に関する所定の遅延Tdを除き、送信器4によって照射される光強度 const.*opt(t)は、同一PN信号構造を含む。反射は、エコートラン シット時間後に光混合素子に達する。背景明度の無い理想的なケースでは、TD =0のそれぞれの相対トランシット時間遅延τに基づく、プッシュプル変調電圧 初にこの相関特性から、例えば、前後に重なるように並べられた部分的に透明な 複数の物体区別したり、多重反射を解消するために、同一動径ベクトル上で複数 の物体反射が区別できることが分かる。 更に、図5cに記載されているように、平均ドリフト電流差の合計および差は 、二重画素の場合は連続的に生成されることが好ましく、四重画素の場合はそれ ぞれ対応する電子画素読出および信号前処理システム15で同時に生成されるこ とが好ましい。これにより、ゼロ以外の信号値が発生するTB〜2TB幅の測定ウ ィンドウだけにあるような高感度測定が実現される。合計を評価することにより 、最小振幅を基礎とする測定の妥当性を判断できる。また、差は有用なTB幅測 定ウィンドウで急勾配直線構成を示し、それにより、高分解能でトランシット時 間を求めることができる。以下は、ここで理想的と考えられる例に該当する。 提案される対応光検出器アレイを基礎としてPN変調により3次元物体を光学 的に測定するための対応測定装置のブロック図は、図12から分かるように、特 に簡素な構造である点に特徴がある。この場合、発振器10および遅延部材11 の他に、図11に記載のものと同じ構造が含まれている。 本発明によれば、かなり低レベルな分解能で速やかに距離を確認するために、 周期Tおよび好ましくは同一パルスおよび間隔持続時間TBの発振器10は、送 信器4の単純な矩形変調を利用している。トランシット時間確認作業は数式(9 ) に基づいて実施される。分解能のレベルは、2分の1に減少する周期持続時間T にともなって段階的に増加する。その場合、第1の測定ステップの次に第2のス テップが続く。第2のステップは、周期は同じであるが時間シフトTd=T/4 がある。 一例として図1に記載されている、本発明による光混合素子の画素1の断面を 、プッシュプル変調電圧によって生じる電位勾配に関して適した構成によって、 その限界周波数について最適化することができる。これに関し、図6に一例とし て変調光ゲートGamとGbmとの間に中間ゲートG0を配置した実施態様を記載す る。該中間ゲートは、バイアス電圧U0であって、変調光ゲートGamおよびGbm と共に3つの電位段階を構成することが好ましい。望まれるのは、できる限り均 一な電位勾配、すなわち、できる限り一定な変調ドリフト電界であるが、これは 2から3、またはそれ以上に段階数を増加することによって達成される。感光空 間電荷領域においては、いずれにしても該段階の定義または断言の程度は、絶縁 層3からの間隔にともなって減少する。この効果は、本発明による別の実施態様 で、更に詳しく述べると、「埋設チャネル」として知られているもの、すなわち 、絶縁層から数μm離れ、変調光ゲートの下のp基板にいくぶんか深く入ってい る、弱く不純物拡散されたnチャネルを使うことによって、利用される。蓄積ゲ ートGaおよびGbが光波によって点灯したり、余分な電荷キャリアが発生しない ように、この配置構成は蓄積ゲートGaおよびGbのシェーディング12も有して いる。 図1のものと比較して、2つの変調光ゲートが共通の蓄積ゲートGs,nでそれ ぞれ分離されている点のみが異なっており、それによって、より高度な充填作用 を達成する、光混合素子の特定の構成および接続を図7に示す。この配置構成も 、蓄積ゲートGaおよびGbのシェーディング12を有している。この場合、プッ シュプル変調電圧の極性すなわちGam,nおよびGbm,nのシーケンスは画素毎に変 化する。このゲートの三重周期は、同時に、三相シフトレジスタとして作動させ ることによる直接読出しにも適している。ある種の応用装置については許容でき る欠点は、それぞれの隣接画素にも及ぶ電荷分布であり、それによって見掛け画 素サイズが大きくなって対象方向の位置分解能が低下する。 これら内部関係および影響を計算することにより、電位差を評価すると、10 0%有効電荷と比較して、中央の画素がわずか50%しか得られず、隣接する2 つの画素がそれぞれ25%ずつ得ると考えられる。 電荷分布を説明するために、図1と同様に、図7にCW変調のポテンシャル分 布の種々の段階を示す。 図8に、CW変調の場合にI状態とQ状態の間でIQ(I:同相、Q:直角位 相)の切換えを必要としない光混合素子の画素デザインの更に有利な実施態様を 示す。前述の二重画素に代わって、変調光ゲートGam、Gbm、Gcm、およびGdm と、対応蓄積ゲートGa、Gb、Gc、およびGdを備える四重画素が提案される。 該四重画素は、プッシュプル変調光ゲート電圧Uam(t)、Ubm(t)、Ucm(t) およびUdm(t)が相互にシフトされる、特にHF変調の場合は90°シフトさ れるように、4つの位相位置について同時に相関させることができる、 従って、前述の変調光ゲートψam=0°のGamとψbm=180°のGbmに関す る直交配置に、画素内に対称に組み込まれて、同じ原理に基づいて作動する別の 2つの変調光ゲートψcm=90°のGcmとψdm=270°のGdmが存在する。こ れにより、対応蓄積ゲートGa、Gb、Gc、およびGdをの下、または、関連電子 読出システムの中に独立した電荷qa、qb、qc、およびqdによる4相電荷蓄積 がなされ、次のように、単純な算術演算によって、関連位相ψoptが直接算出さ れる。 個々の画素の濃淡値を簡単に求めるために、画素の全部の蓄積ゲートのここの 電荷を合計する;qPixel=qa+qb+qc+qd。4つの電荷それぞれに対応する 読出プロセスは、この場合、画素的統合信号前処理を行うCMOS技術を利用す るアクティブ画素デザインによって実施されることが好ましい。 図8と同様に、図9に光混合素子の四重画素を示すが、好ましくは電位U0の 中央矩形中間ゲートG0によって、図6に記載されているように平滑な電位勾配 を備えている。 図9と同様に、図14に、デジタル変調信号に最適な構造を備えた光混合素子 の四重画素を示す。好ましくは矩形の変調光ゲートの間に配置された中間ゲート G0は、図9と同様な方法で、変調光ゲート電圧によってもたらされる電位勾配 を平滑化する役割を果たす。 最後に第13図は、画素1の更に他の好適な実施例を示し、この実施例は、上 で議論した実施例とは異なり、CCD技術を使用せず、電子画素的読み出しおよ び信号前処理システム15と共にCMOS技術を使用して実行したものである。 この場合、チャージスイング上の電荷キャリアの変調電圧依存ドリフトの動作モ ードは、上で議論した実施例と同一である。第13図に示す実施例の唯一の相違 点は、蓄積ゲートGaとGbに対してドリフトした電荷qaとqbに対してそれ以外 の処理を実行する方法である。 本実施例では、蓄積ゲートGaとGbは、ブロックpnダイードの形態である。 これらの正にバイアスした蓄積ゲートGaとGbは、第13図において好ましくは 弱く不純を拡散したp−Si基板上にn+不純物を拡散した電極を形成したもの である。「フローティング拡散」動作モードとして知られているものまたは高抵抗 電圧読み出しモードでは、CCD技術を使用する場合と同様に、電荷qaとqbは 、蓄積ゲートGaとGbの容量上に集積し、電圧値の形で高抵抗モードで読み出す 。 電流読み出しモードをまた有利に使用することが可能であり、このモードでは 、光発生電荷キャリアはポテンシャルウエル内に集積されず、蓄積ゲートGaと Gbにそれぞれ接続された適当な電流読み出し回路による出力拡散によって連続 的に通過される。これらの電荷は、次に、例えば、それぞれの外部容量上に集積 される。 画素を集中的に照射した場合、蓄積ゲート電圧を増幅器のフィードバックによ って実質的に一定に保持する電流読み出しモードにおいて、読み出し回路は、蓄 積電荷qaとqbの量がポテンシャルウエル上における反応または実際上このポテ ンシャルウエルのオーバフローによって生じないことを保障する。これによって 、光混合素子のダイナミックスが大幅に改善される。この場合、変調ゲートの 絶縁層の下に位置する弱く不純物を拡散したnチャンネル(「埋め込み層」)を含 む上記の技術は、改善を行う、なかんずく限界周波数を増加させることができる 。 CMOS技術を使用して光混合素子を構築すると、アクティブ画素設計(AP S)を使用することが更に可能になり、この場合、各画素において、読み出しお よび信号前処理回路を光混合素子に集積することが可能になる。これによって、 電気信号が外部回路に通過する前に、画素において信号を直接前処理することが 可能になる。特に、この方法では、位相と振幅の情報をチップ上で直接計算する ことが可能になり、その結果、測定速度が更に速くなる。 本発明の更に他の構成では、例えば、物体の形状、位置、色彩、偏光、速度 ベクトル、輝度または物体の性質の組合わせのような種々の基準に基づいて、受 動的または能動的に照明されている3次元物体の電子的サーチおよび追跡手順に 対して、好ましくは2次元光混合素子のアレイを使用する。 例えば、最初は未知の入射光波の3D測定における種々の変調信号(例えば、 周波数またはコードの変更)の通路において、もし局部的な相関関係がゼロに等 しくない差分ドリフト電流の基準によって見出されたなら、次にその物体の範囲 を、できる限りその後に変化の発生した場合に、特に画像の深さをまた含む規制 ループによって、特に上記の物体の性質に関して連続的に測定することができる 。 この光混合素子は、以下で説明する種々の動作モードで使用される。 この点で、蓄積ゲートGaとGbにおける合計電荷は、これが入射光波の合計強 度、qa+qb=const.*Popt,ges*Tに必ず対応し、ここでT=統合時 間であるので、重要ではない。測定するための多くの方法に使用することができる。この目的のため、必ずP0 >=Pm(第3a図参照)である基本輝度に対して考慮を払う。 例えば、変調光によって送信器4の照明した物体6を任意に測定する場合、こ の送信器のパワーがオンまたはオフされ、従ってPmは有限数になるかまたはゼ ロに等しくなる。同時に、任意に変調電圧Um(t)はゼロになるかまたは送信 器に使用され、入射光に含まれているコンフィギュレーションに切り替えられる か、または統合時間中一定である電圧Um0に切り替えられる。 従って、P0≠0の場合、4つの重要な動作モードが与えられる。 1.)Pm=0とUm=0の場合、Δqab=0。 2.)Pmが有限数であり、Um(t)がHF変調信号である場合、Δqab=0。 3.)Pmが有限数であり高周波変調信号ΔqabがUm(t)の関数である場合、 相対的トランシット時間τと入力光パワー成分Pm(t)は、この方法で変調さ れる。 4.)もし統合時間Tの間に、入射平均光強度P0と一定変調電圧Um0が存在すれ ば、差分電荷ΔqabはUm0と平均光パワーP0の関数である。 強度変調されていない光波の場合、本発明の更に他の構成によって、可能な動 作モードの中の第4のケースに従って、例えば、2D画像処理に対して光混合素 子が提供され、使用される。 その場合、混合素子は、例えば、好ましくはRAM素子によって高速上書き可 能なUm0の個々の変調電圧ワードの画素的関係により、限定的かつ互いに独立に それぞれ変調電圧ワードから導き出される。 これは、Um(t)の設定が、前述の使用例のように周期的または準周期的に 行われるのではなく、例えば所定の画像内容に基づいてまたは測定された画像内 容に基づいて、非周期的に行われることを意味している。Um(t)=0の場合 、すべての差分電流がゼロであるので、関連差分画像D(x,y)の振幅または 輝度もゼロになる。 したがって、差分画像輝度はUm(x,y,t)の変動によって特に影響を受 ける可能性がある。このように、本発明によれば、深さ情報の側面が無い場合を 除き、例えば前述の物体探索用および追跡用などの、例えば前述の画素的に関連 付けられた制御可能なメモリセルにより、あらゆる光波または画像に対して、す なわち変調されていないものに対しても、超高速設定可能な重み付け関数G(x ,y,t)=K1 *m(x,y,t)による多目的画像処理を施すことができる 。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(GH,KE,LS,MW,S D,SZ,UG,ZW),EA(AM,AZ,BY,KG ,KZ,MD,RU,TJ,TM),AL,AM,AT ,AU,AZ,BA,BB,BG,BR,BY,CA, CN,CU,CZ,DK,EE,ES,FI,GB,G E,GH,HU,IL,IS,JP,KE,KG,KP ,KR,KZ,LC,LK,LR,LS,LT,LU, LV,MD,MG,MK,MN,MW,MX,NO,N Z,PL,PT,RO,RU,SD,SE,SG,SI ,SK,SL,TJ,TM,TR,TT,UA,UG, US,UZ,VN,YU,ZW 【要約の続き】 の画素を有している。該画素は、少なくとも2つの感光 変調光ゲート(Gam,Gbm)と、該変調光ゲートに対応 し、入射電磁波によって区分されている蓄積ゲート(Ga ,Gb)とから構成されている。複数の光混合素子をア センブルすることによってアレイを形成できる。

Claims (1)

  1. 【特許請求の範囲】 1.電磁波の位相および/または振幅情報を決定する方法において、 −電磁波を少なくとも1つの画素を有する光混合素子の表面に照射し、上記の 画素は少なくとも2つの感光変調光ゲートGamとGbmおよび関連する蓄積ゲート GaとGbを有し、 −上記の変調光ゲートGam bmにUam(t)= Uo+Um(t)およびUbm(t)=Uo−Um(t)の形式の変調光ゲート電圧Uam (t)とUbm(t)を加え、 −上記の蓄積ゲートGaとGbに大きさがUoの合計と少なくとも同じ大きさの dc電圧と変調電圧Um(t)の振幅を印加し、 −入射電磁波によって変調光ゲートGamとGbmの空間電荷領域に生成された電 荷キャリアを変調光ゲート電圧Uam(t)とUbm(t)の極性および上記の対応 する蓄積ゲートGaとGbに対するドリフトに応じてドリフト電界のポテンシャル グラディエントに照射し、 −それぞれの蓄積ゲートGaとGbにドリフトした上記の電荷qaとqbを取り去 ることを特徴とする方法。 2. −強度変調電磁波を送信器によって照射し、 −物体から反射された電磁波を光混合素子表面に照射し、 −変調光ゲート電圧Uam(t)とUbm(t)は上記の送信器の照射した上記の 電磁波の位相と固定位相関係にあり、 −上記の生成された電荷キャリアを上記のプッシュプル変調光ゲート電圧Uam (t)とUbm(t)の位相に応じてドリフト電界のポテンシャルグラディエント に更に照射することを特徴とする請求の範囲第1項記載の方法。 3.−上記の送信器の照射した上記の電磁波の位相に対する上記の変調光ゲー ト電圧Uam(t)とUbm(t)の2つの異なった位相シフトΔψ1とΔψ2につい て、 電荷qa1とqb1並びにqa2とqb2を取り去り電荷の差分(qa1−qb1)と(qa2 −qb2)を形成し、 −下記等式 に従って上記の入射電磁波の画素の位相ψoptを送信器の照射した上記の電磁波 の位相に対して決定し、従って上記の画素の受け取った電磁波のトランジット時 間を決定することを特徴とする請求の範囲第2項記載の方法。 4.−4つの変調光ゲートGam、Gbm、GcmとGdmおよび4つの関連する蓄積 ゲートGa、Gb、GcとGdによって、送信器の照射した上記の電磁波の位相に対 する変調光ゲート電圧Uam(t)=Uo+Um1(t)とUbm(t)=Uo−Um1( t)とUcm(t)=U1+Um2(t)とUdm(t)=U1−Um2(t)の2つの異 なった位相シフトΔψ1とΔψ2について、同時に電荷qa、qb、qcとqdを分離 して取り去り、 −下記等式 に従って、上記の送信器の照射した上記の電磁波の画素の位相ψoptおよびこれ と共に上記のピクセルの受け取った電磁波のトランジット時間を決定することを 特徴とする請求の範囲第3項記載の方法。 5.−上記の光混合素子は複数の画素を有し、 −少なくとも1つの画素が、上記の送信器からの上記の強度変調電磁波の一部 と共に直接照射され、 −上記の照射した電磁波と上記の変調光ゲート電圧Uam(t)とUbm(t) との間の位相シフトの校正を上記の画素によって測定した上記の位相シフトから 実行することを特徴とする先行する請求の範囲の1つに記載の方法。 6.−独立して励起された未知の強度変調を有する電磁波を上記の光混合素子 の表面に照射し、 −上記の変調光ゲート電圧Uam(t)とUbm(t)を同調可能変調用発振器に よって生成し、 −上記の生成した電荷キャリアを上記のプッシュプル変調光ゲート電圧Uam( t)とUbm(t)の位相に応じてドリフト電界のポテンシャルグラディエントに 更に照射し、 −上記の光混合素子と上記の変調用発振器は少なくとも1つの位相ロックルー プを形成し、上記の電磁波をロックイン法に従って測定することを特徴とする請 求の範囲第1項記載の方法。 7.連続または非連続HF変調疑似ノイズ変調またはチャープ変調を周期的変 調として使用することを特徴とする請求の範囲第1項ないし第6項の1つに記載 の方法。 8.上記の変調はHF変調であり、好ましくは、移動シフトΔψ=0°/18 0°と90°/270°に対する上記の電荷qaとqbおよび場合によってはqc とqdを取り去ることを特徴とする請求の範囲第7項記載の方法。 9.定常状態変調を変調光ゲート電圧Uam=Uo+UmOおよびUbm=Uo−Umo と共に使用し、設定可能変調dc電圧UmOは時間に対して一定であり、上記の変 調dc電圧によってジオ電荷qaとqbとの差から得られる差分画像を具体的にウ エイト付けすることを特徴とする請求の範囲第1項記載の方法。 10.上記の蓄積ゲートGaとGbの下方の電荷qaとqbを集積し、多重構造、 好ましくはCCD構造によって読み出すことを特徴とする請求の範囲第1項ない し第9項の1つに記載の方法。 11.上記の蓄積ゲートGaとGbはpnダイオードの形態であり、好ましくは ブロック低容量pnダイオードであって好ましくはCMOS技術を使用し、上記 の電荷qaとqbおよび場合によってはqcとqdを電圧または電流として直接読み 出すことを特徴とする請求の範囲第1項ないし第9項の1つに記載の方法。 12.上記の画素位相または画素トランシット時間および画素輝度は、アクテ ィブ画素センサ構造(APS)によって直接確認し、好ましくはワンチップ多重 構造によって選択的および/または連続的に読み出すことを特徴とする請求の範 囲第11項記載の方法。 13.上記の画素輝度は、濃淡画像としての上記の関連蓄積ゲートの電荷の合 計としてそれぞれ評価することを特徴とする請求の範囲第1項ないし第12項記 載の方法。 14.背景照明または外部からの非変調追加照明の場合、上記の濃淡画像の差 分を一方では上記の変調照明がオンになり他方では上記の変調照明がオフになる 場合、補正パラメータとして使用することを特徴とする請求の範囲第1項ないし 第13項記載の方法。 15.複数の独立した混合素子を線、面または空間アレイに使用することを特 徴とする請求の範囲第1項ないし第14項の1つに記載の方法。 16.上記の画素の内の少なくとも1つを照明として機能する上記の強度変調 電磁波の一部と共に直接照射し、上記の少なくとも1つの画素における測定を使 用して上記のその他の位相と輝度の結果を校正し、異なったレベルの強度または 異なった値に設定することのできる強度のレベルを有する送信器によって好まし くは1個または複数個の基準画素を作用させることを特徴とする請求の範囲第1 5項記載の方法。 17.−少なくとも1つの画素(1)、 −少なくとも2つの感光変調光ゲート(Gam、Gbm)、および −上記の変調光ゲート(Gam、Gbm)と関連し、入射電磁波に対して遮蔽される 蓄積ゲート(Ga、Gb)を具備することを特徴とする光混合素子。 18.中間ゲート(Go)を上記の変調光ゲート(Gam、Gbm)の間に構成す ることを特徴とする請求の範囲第17項記載の混合素子。 19.上記の素子(1)は、4個の好ましくは対照的に構成された変調光ゲー ト(Gam、Gbm、Gcm、Gdm)と蓄積ゲート(Ga、Gb、Gc、Gd)を有するこ とを特徴とする請求の範囲第17項または第18項記載の混合素子。 20.上記の蓄積ゲート(Ga、GbおよびGc、Gd)は、pnダイオードの形 態であり、好ましくはブロック低容量pnダイオードであって好ましくはCMO S技術のダイオードであり、電荷qaとqbおよび場合によってはqcとqdを電圧 または電流として直接読み出すことができることを特徴とする請求の範囲第17 項ないし第19項の1つに記載の混合素子。 21.最大変調速度を増加するため、上記の画素は、GaAs技術を使用して 生成し、好ましくは「埋込みチャンネル」型(例えば埋込みnチャンネル)であ り、集積ドリフト電界を有することを特徴とする請求の範囲第17項ないし第2 0項記載の混合素子。 22.上記の素子(1)は、一部には画素関連信号処理を有し、一部にはライ ンまたは場合によってはマトリックス関連信号処理を有するアクティブ画素セン サ構造の形態であることを特徴とする請求の範囲第17項ないし第21項記載の 混合素子。 23.上記の遮蔽部は、上記の変調光ゲートの縁部領域までまた延びているこ とを特徴とする請求の範囲第17項ないし第22項記載の混合素子。 24.上記の光混合素子が1次元、2次元、または3次元に構成されているこ とを特徴とする装置に関する請求の範囲第17項ないし第23項の1つに記載の 少なくとも2つの光混合素子を有する混合素子構成。 25.2つの隣接して構成された異なる画素(n、n+1)とそれぞれ関連す る変調光ゲート(Gam、n、Gam、n+1)と(Gbm、n、Gbm、n+1)はそれぞれ共通の 蓄積ゲート(GS)を有し、上記の変調光ゲート(Gam、n、Gam、n+1)と(Gbm、 n 、Gbm、n+1)は同一の変調光ゲート電圧Uam(t)とUbm(t)によってそれ ぞれ動作されることを特徴とする請求の範囲第24項記載の混合素子構成。 26.基準画素としての少なくとも1つの画素(1)の直接照射用にデバイス を設け、これによって送信器から照射した強度変調電磁照射の一部を問題の1個 または複数個の画素に向けることを特徴とする請求の範囲第24項または第25 項記載の混合素子構成。 27.上記の直接照射用のデバイスは、上記の照射の強度の空間および/また は時間に関する変動のために設けられることを特徴とする請求の範囲第26項記 載の混合素子構成。 28.上記の画素(1)はシリコン基板(2)上にMOS技術を使用して実施 され、多重構造、好ましくはCCD構造によって読み出すことができることを特 徴とする請求の範囲第24項ないし第27項の1つに記載の1次元または多次元 混合素子構成。 29.マイクロレンズ光システムを設け、上記のマイクロレンズ光システムは 画像の記録に使用する各混合素子用に対してそれ自身のマイクロレンズを実質的 に生成し、上記のマイクロレンズによって入射照射は上記の混合素子の中央領域 に合焦し、これによって上記の混合素子のサイズを小さくすることができること を特徴とする請求の範囲第24項ないし第28項の1つに記載の混合素子構成。 30.−装置に関する請求の範囲第17項ないし第23項の1つに記載の少な くとも1つの光混合素子を有し、 −変調用発振器(10、13)を有し、 −照射した電磁波が所定の方法で上記の変調用発振器(10、13)によって 強度変調される送信器(4)を有し、 −物体(6)から反射した上記の電磁波は上記の光混合素子の面上に照射され 、 −上記の変調用発振器(10、13)は上記の光混合素子に上記の送信器から 照射した電磁波の位相に対して所定の位相関係にある変調電圧Um(t)を供給 することを特徴とする電磁波位相情報決定装置。 31.請求の範囲第24項ないし第29項の1つに場合によって記載の光シス テム(7)と混合素子構成を設け、上記の光システム(7)は上記の反射した電 磁波の画像を上記の混合素子または上記の混合素子構成上に形成することを特徴 とする先行する装置に関する請求の範囲に記載の装置。 32.関連光受信システム、差異信号、合計信号および関連基準信号用の電子 的評価および信号処理システム、濃淡画像およびトランシット時間または距離画 像用デジタルメモリ、変調電磁波によって3次元シーンを照明する送信器、およ び上記の光受信システムに対応し、コンパクトユニットの形態でデジタル3D写 真用カメラを形成する調整可能光送信システムを光混合素子に設けることを特徴 とする請求の範囲第30項または第31項記載の装置。 33.デジタル3次元記録用ビデオカメラを形成するため、関連光受信システ ム、差異信号、合計信号および関連基準信号用の電子的評価および信号処理シス テム、濃淡画像およびトランシット時間または距離画像用デジタルメモリ、変調 電磁波によって3次元シーンを照明する送信器、および上記の光受信システムに 対応する調整可能光送信システムを光混合素子構成に設け、更にデジタル画像シ ーケンスを格納するメモリ手段を設けることを特徴とする請求の範囲第30項ま たは第31項記載の装置。 34.上記の送信器には種々のスペクトル領域の光波を照射するデバイスを設 け、カラー画像またはカラー画像成分を生成することを特徴とする請求の範囲第 32項または第33項記載の装置。
JP51212498A 1996-09-05 1997-09-05 電磁波の位相情報および/または振幅情報を調べるための方法と装置 Expired - Lifetime JP4060365B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE19635932 1996-09-05
DE19635932.5 1996-09-05
DE19704496A DE19704496C2 (de) 1996-09-05 1997-02-07 Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
DE19704496.4 1997-02-07
PCT/DE1997/001956 WO1998010255A1 (de) 1996-09-05 1997-09-05 Verfahren und vorrichtung zur bestimmung der phasen- und/oder amplitudeninformation einer elektromagnetischen welle

Publications (2)

Publication Number Publication Date
JP2000517427A true JP2000517427A (ja) 2000-12-26
JP4060365B2 JP4060365B2 (ja) 2008-03-12

Family

ID=26029051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51212498A Expired - Lifetime JP4060365B2 (ja) 1996-09-05 1997-09-05 電磁波の位相情報および/または振幅情報を調べるための方法と装置

Country Status (14)

Country Link
US (2) US6825455B1 (ja)
EP (1) EP1009984B1 (ja)
JP (1) JP4060365B2 (ja)
CN (1) CN1103045C (ja)
AT (1) ATE254758T1 (ja)
AU (1) AU715284B2 (ja)
BR (1) BR9712804B1 (ja)
CA (1) CA2264051C (ja)
CZ (1) CZ300055B6 (ja)
ES (1) ES2206748T3 (ja)
HU (1) HU227654B1 (ja)
MX (1) MXPA99002142A (ja)
RU (1) RU2182385C2 (ja)
WO (1) WO1998010255A1 (ja)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532122A (ja) * 2000-04-28 2003-10-28 セーエスウーエム、サントル、スイス、デレクトロニック、エ、ド、ミクロテクニック、ソシエテ、アノニム 変調された電磁波を空間的に分解して光検出し復調するための装置及び方法
JP2004525351A (ja) * 2000-12-11 2004-08-19 カネスタ インコーポレイテッド 量子効率変調を用いたcmosコンパチブルの三次元イメージセンシングのためのシステム
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2005518677A (ja) * 2002-02-22 2005-06-23 ルドルフ シュワルテ 電気信号および光信号の検出・処理方法および装置
WO2005078386A1 (ja) * 2004-02-18 2005-08-25 National University Corporation Shizuoka University 光飛行時間型距離センサ
JP2006023276A (ja) * 2004-04-05 2006-01-26 Pmd Technologies Gmbh 光混合装置
JP2006078490A (ja) * 2004-09-13 2006-03-23 Pmd Technologies Gmbh 信号の遅延敏感測定のための方法及び装置
JP2006105887A (ja) * 2004-10-08 2006-04-20 Synthesis Corp 立体視装置およびそれを備えた立体画像表示システム
JP2006153771A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 計測装置
US7119350B2 (en) 2002-04-08 2006-10-10 Matsushita Electric Works, Ltd. Spatial information detecting device using intensity-modulated light and a beat signal
JP2006524800A (ja) * 2003-03-10 2006-11-02 セーエスウーエム、サントル、スイス、デレクトロニック、エ、ド、ミクロテクニック、ソシエテ、アノニム 強度変調信号の復調のための電気回路、装置および方法
US7138646B2 (en) 2002-07-15 2006-11-21 Matsushita Electric Works, Ltd. Light receiving device with controllable sensitivity and spatial information detecting apparatus with charge discarding device using the same
JP2006337286A (ja) * 2005-06-03 2006-12-14 Ricoh Co Ltd 形状計測装置
JP2007506269A (ja) * 2003-09-18 2007-03-15 イーツェー−ハウス ゲーエムベーハー 3次元距離測定用の光電子センサおよびデバイス
WO2007119626A1 (ja) * 2006-03-31 2007-10-25 National University Corporation Shizuoka University 半導体測距素子及び固体撮像装置
US7362419B2 (en) 2004-09-17 2008-04-22 Matsushita Electric Works, Ltd. Range image sensor
JP2008145348A (ja) * 2006-12-12 2008-06-26 Denso Corp 光センサ、距離検出装置、および距離検出方法
KR100852446B1 (ko) 2000-10-16 2008-08-14 슈바르테, 루돌프 신호 파형의 진폭 및 위상을 감지 및 처리하기 위한 방법
JP2008249430A (ja) * 2007-03-29 2008-10-16 Nippon Hoso Kyokai <Nhk> 3次元情報検出方法及びその装置
JP2009510412A (ja) * 2005-09-29 2009-03-12 カール ツァイス マイクロイメージング ゲーエムベーハー 試料を深さ分解して光学的に検出するための装置および方法
WO2009139312A1 (ja) 2008-05-15 2009-11-19 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
US7636625B2 (en) 2003-05-28 2009-12-22 Robert Bosch Gmbh Device for classifying at least one object with the aid of an environmental sensor system
JP2010002326A (ja) * 2008-06-20 2010-01-07 Stanley Electric Co Ltd 移動ベクトル検出装置
US7834305B2 (en) 2004-07-30 2010-11-16 Panasonic Electric Works Co., Ltd. Image processing device
JP2012501435A (ja) * 2008-08-27 2012-01-19 サムスン エレクトロニクス カンパニー リミテッド 深さ映像獲得装置および方法
JP2012049547A (ja) * 2003-06-17 2012-03-08 Microsoft Corp 三次元及び色彩検出における電荷管理のための方法及び装置
JP2013534639A (ja) * 2010-07-16 2013-09-05 マイクロソフト コーポレーション 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム
WO2016031240A1 (ja) * 2014-08-29 2016-03-03 株式会社デンソー 光飛行型測距装置
JP2016527482A (ja) * 2014-01-13 2016-09-08 ソフトキネティク センサーズ エヌブイ 飛行時間システムを駆動するための方法
JP2016170038A (ja) * 2015-03-12 2016-09-23 本田技研工業株式会社 光通信装置、送信信号、及びプログラム
JP2018513967A (ja) * 2015-03-17 2018-05-31 コーネル・ユニバーシティーCornell University 深度フィールドイメージング装置、方法および応用
JP2019144261A (ja) * 2013-06-06 2019-08-29 ヘプタゴン・マイクロ・オプティクス・プライベート・リミテッドHeptagon Micro Optics Pte. Ltd. 撮像システムおよびそれを動作させる方法
US10571572B2 (en) 2017-11-27 2020-02-25 Microsoft Technology Licensing, Llc Time of flight camera
US10895925B2 (en) 2018-10-03 2021-01-19 Microsoft Technology Licensing, Llc Touch display alignment
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
US11079515B2 (en) 2019-12-18 2021-08-03 Microsoft Technology Licensing, Llc Micro lens time-of-flight sensor having micro lens heights that vary based on image height
WO2021235222A1 (ja) * 2020-05-19 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその駆動制御方法、並びに、測距装置
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor

Families Citing this family (164)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU715284B2 (en) * 1996-09-05 2000-01-20 Rudolf Schwarte Method and apparatus for determining the phase and/or amplitude information of an electromagnetic wave
US6815791B1 (en) * 1997-02-10 2004-11-09 Fillfactory Buried, fully depletable, high fill factor photodiodes
US7199410B2 (en) * 1999-12-14 2007-04-03 Cypress Semiconductor Corporation (Belgium) Bvba Pixel structure with improved charge transfer
DE19821974B4 (de) * 1998-05-18 2008-04-10 Schwarte, Rudolf, Prof. Dr.-Ing. Vorrichtung und Verfahren zur Erfassung von Phase und Amplitude elektromagnetischer Wellen
DE19916123B4 (de) * 1999-04-09 2015-02-05 Pmdtechnologies Gmbh Erfassung von Phase und Amplitude elektromagnetischer Wellen
DE19951154A1 (de) * 1999-10-23 2001-05-17 Garwe Frank Verfahren und Vorrichtung zur Bestimmung von Probeneigenschaften über zeitaufgelöste Lumineszenz
WO2002087118A1 (en) * 2000-07-24 2002-10-31 Litton Systems, Inc. Polarization diversity detector mask selection algorithm
CA2424139C (en) 2000-10-09 2008-07-15 S-Tec Gmbh Sensing the phase and amplitude of electromagnetic waves
DE10118183B4 (de) * 2001-04-11 2005-06-23 Siemens Ag Röntengerät
US6924887B2 (en) 2002-03-27 2005-08-02 Sarnoff Corporation Method and apparatus for generating charge from a light pulse
US6657706B2 (en) * 2002-03-27 2003-12-02 Sarnoff Corporation Method and apparatus for resolving relative times-of-arrival of light pulses
AU2003212211A1 (en) * 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
LU90912B1 (de) 2002-04-19 2003-10-20 Iee Sarl Sicherheitsvorrichtung fuer ein Fahrzeug
RU2002112876A (ru) * 2002-05-17 2004-03-27 Леонид Викторович Волков (RU) Система формирования объемных изображений в миллиметровом и субмиллиметровом диапазоне волн
US20110015518A1 (en) * 2002-06-13 2011-01-20 Martin Schmidt Method and instrument for surgical navigation
GB2389960A (en) * 2002-06-20 2003-12-24 Suisse Electronique Microtech Four-tap demodulation pixel
EP1535340A1 (en) * 2002-07-16 2005-06-01 STMicroelectronics N.V. Tfa image sensor with stability-optimized photodiode
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US6777662B2 (en) 2002-07-30 2004-08-17 Freescale Semiconductor, Inc. System, circuit and method providing a dynamic range pixel cell with blooming protection
WO2004021546A2 (de) 2002-08-09 2004-03-11 Conti Temic Microelectronic Gmbh Verkehrsmittel mit einer 3d-entfernungsbildkamera und verfahren zu dessen betrieb
DE10259135A1 (de) * 2002-12-18 2004-07-01 Conti Temic Microelectronic Gmbh Verfahren und Anordnung zur Referenzierung von 3D Bildaufnehmern
EP2023399B1 (en) 2003-09-02 2020-01-08 Sony Depthsensing Solutions SA/NV Photonic Mixer
US7521663B2 (en) 2003-09-18 2009-04-21 Mesa Imaging Ag Optoelectronic detector with multiple readout nodes and its use thereof
US20050243302A1 (en) * 2004-01-20 2005-11-03 Bedabrata Pain Two dimensional range-imaging
EP1612511B1 (en) 2004-07-01 2015-05-20 Softkinetic Sensors Nv TOF rangefinding with large dynamic range and enhanced background radiation suppression
DE102004035847A1 (de) * 2004-07-23 2006-03-23 BSH Bosch und Siemens Hausgeräte GmbH Verfahren zur Erkennung der Spülgutbeladung und Geschirrspülmaschine
EP1624491B1 (en) 2004-08-04 2009-05-27 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Solid-state photosensor with electronic aperture control
DE102004037870B4 (de) * 2004-08-04 2007-02-15 Siemens Ag Optisches Modul für ein den Außenvorraum in Fahrtrichtung eines Kraftfahrzeuges erfassendes Assistenzsystem
US7808022B1 (en) 2005-03-28 2010-10-05 Cypress Semiconductor Corporation Cross talk reduction
US7750958B1 (en) 2005-03-28 2010-07-06 Cypress Semiconductor Corporation Pixel structure
WO2006102916A1 (de) * 2005-03-31 2006-10-05 Infineon Technologies Ag Verfahren zum ermitteln einer strahlungsleistung und eine belichtungsvorrichtung
EP1746410B1 (en) 2005-07-21 2018-08-22 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Apparatus and method for fluorescence lifetime imaging
WO2007025398A1 (de) * 2005-08-31 2007-03-08 Baumer Electric Ag Vorrichtung und verfahren zur phasendiskriminierung bei einem optischen distanzsensor
EP1762862A1 (en) 2005-09-09 2007-03-14 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Method and device for 3D imaging
WO2007036553A1 (de) * 2005-09-30 2007-04-05 Siemens Aktiengesellschaft Vorrichtung und verfahren zur aufnahme von entfernungsbildern
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
JP2007175294A (ja) * 2005-12-28 2007-07-12 Ge Medical Systems Global Technology Co Llc イメージセンサ及びその制御方法並びにx線検出器及びx線ct装置
US20070200943A1 (en) * 2006-02-28 2007-08-30 De Groot Peter J Cyclic camera
DE102006017003A1 (de) * 2006-04-11 2007-10-18 Friedrich-Alexander-Universität Erlangen-Nürnberg Endoskop zur Tiefendatenakquisition
EP1903299A1 (en) 2006-09-20 2008-03-26 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Method and system for acquiring a 3-D image of a scene
JP4807253B2 (ja) * 2006-12-28 2011-11-02 株式会社デンソー 画像データ生成装置及び受光デバイス
DE102007004349A1 (de) * 2007-01-29 2008-07-31 Robert Bosch Gmbh Nachtsichtsystem, insbesondere für ein Fahrzeug, und Verfahren zum Erstellen eines Nachtsichtbildes
EP1952752B2 (de) 2007-01-31 2019-10-16 Richard Wolf GmbH Endoskopsystem
DE102007012624B3 (de) * 2007-03-16 2008-06-12 K.A. Schmersal Holding Kg Vorrichtung und Verfahren zur Aufnahme eines dreidimensionalen Abstandsbildes
US7586077B2 (en) 2007-07-18 2009-09-08 Mesa Imaging Ag Reference pixel array with varying sensitivities for time of flight (TOF) sensor
US7889257B2 (en) * 2007-07-18 2011-02-15 Mesa Imaging Ag On-chip time-based digital conversion of pixel outputs
EP2026097A1 (en) * 2007-08-08 2009-02-18 Harman Becker Automotive Systems GmbH Vehicle illumination system
US8027029B2 (en) 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
EP2073035A1 (en) * 2007-12-18 2009-06-24 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Recording of 3D images of a scene
WO2009097516A1 (en) 2008-01-30 2009-08-06 Mesa Imaging Ag Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras
KR101448152B1 (ko) * 2008-03-26 2014-10-07 삼성전자주식회사 수직 포토게이트를 구비한 거리측정 센서 및 그를 구비한입체 컬러 이미지 센서
DE102008018637A1 (de) * 2008-04-11 2009-10-15 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung
EP2138865A1 (en) 2008-06-25 2009-12-30 IEE International Electronics &amp; Engineering S.A.R.L. Method and device for recording 3D images of a scene
DE102008031601A1 (de) * 2008-07-07 2010-01-14 Pmd Technologies Gmbh Sensor zur Messung eines Einfallwinkels elektromagnetischer Strahlung
DE102008047103B4 (de) * 2008-09-12 2011-03-24 Cnrs Centre National De La Recherche Scientifique Vorrichtung und Verfahren zur dreidimensionalen Bildgebung mit THz-Strahlung
EP2264481A1 (en) 2009-06-04 2010-12-22 IEE International Electronics & Engineering S.A. Method and device for acquiring a range image
CN102484681A (zh) * 2009-06-09 2012-05-30 美萨影像股份公司 解调像素中的电荷域电子减法系统及其方法
JP5439975B2 (ja) * 2009-06-23 2014-03-12 富士ゼロックス株式会社 イメージセンサおよび画像読取装置
EP2275833A1 (en) 2009-07-01 2011-01-19 IEE International Electronics & Engineering S.A.R.L. Range camera and range image acquisition method
US9117712B1 (en) * 2009-07-24 2015-08-25 Mesa Imaging Ag Demodulation pixel with backside illumination and charge barrier
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
WO2011020921A1 (en) 2009-08-21 2011-02-24 Iee International Electronics & Engineering S.A. Time-of-flight sensor
EP2302564A1 (en) 2009-09-23 2011-03-30 Iee International Electronics & Engineering S.A. Real-time dynamic reference image generation for range imaging system
DE102009045555A1 (de) 2009-10-12 2011-04-14 Ifm Electronic Gmbh Überwachungskamera
GB2474631A (en) 2009-10-14 2011-04-27 Optrima Nv Photonic Mixer
US8754939B2 (en) 2009-11-09 2014-06-17 Mesa Imaging Ag Multistage demodulation pixel and method
JP5740413B2 (ja) 2010-01-06 2015-06-24 メサ・イメージング・アー・ゲーMesa Imaging Ag ピクセルアレイと記憶アレイを別個に備える復調センサ
WO2011117162A1 (en) 2010-03-25 2011-09-29 Iee International Electronics & Engineering S.A. Optoelectronic sensor and method for detecting impinging-light attribute
DE102011007464A1 (de) 2010-04-19 2011-10-20 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Visualisierung einer Szene
DE102010043768B3 (de) * 2010-09-30 2011-12-15 Ifm Electronic Gmbh Lichtlaufzeitkamera
GB2486208A (en) * 2010-12-06 2012-06-13 Melexis Tessenderlo Nv Demodulation sensor and method for detection and demodulation of temporarily modulated electromagnetic fields for use in Time of Flight applications.
FR2971343B1 (fr) * 2011-02-07 2014-07-04 Keopsys Dispositif aeroporte de telemetrie par laser, a division d'impulsions, et systeme de releve topographique correspondant
WO2012149422A1 (en) 2011-04-29 2012-11-01 Conroy Richard Michael Resonant modulation for low power range imaging cameras
EP2758801B1 (en) 2011-09-20 2019-11-06 Heptagon Micro Optics Pte. Ltd. Time of flight sensor with subframe compression and method
DE102012109129B4 (de) 2011-09-27 2017-06-29 Heptagon Micro Optics Pte. Ltd. Sensor-Pixelanordnung und getrennte Anordnung einer Speicherung und Akkumulation mit parallelem Erfassen und Auslesen
US9190540B2 (en) 2011-12-21 2015-11-17 Infineon Technologies Ag Photo cell devices for phase-sensitive detection of light signals
DE102012203596B4 (de) * 2012-03-07 2023-11-23 pmdtechnologies ag Lichtlaufzeitsensor
US9030354B2 (en) 2012-03-12 2015-05-12 International Business Machines Corporation Imaging architecture with code-division multiplexing for large aperture arrays
US8853813B2 (en) 2012-04-30 2014-10-07 Infineon Technologies Ag Photo cell devices and methods for spectrometric applications
CN102692622B (zh) * 2012-05-28 2014-07-02 清华大学 基于密集脉冲的激光探测方法
EP2867923B1 (en) * 2012-06-27 2020-01-15 Teledyne Dalsa B.V. Image sensor and apparatus comprising such image sensor
GB2506685A (en) 2012-10-08 2014-04-09 Melexis Technologies Nv Determining and/or Compensating Range Offset of a Range Sensor
DE102013225438B4 (de) * 2012-12-14 2017-02-23 pmdtechnologies ag Lichtlaufzeitsensor mit Referenzpixel
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
US9141198B2 (en) 2013-01-08 2015-09-22 Infineon Technologies Ag Control of a control parameter by gesture recognition
KR102007277B1 (ko) 2013-03-11 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
LU92173B1 (en) * 2013-03-20 2014-09-22 Iee Sarl Distance determination method
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9984508B2 (en) * 2015-05-20 2018-05-29 Micron Technology, Inc. Light-based radar system for augmented reality
US9874693B2 (en) 2015-06-10 2018-01-23 The Research Foundation For The State University Of New York Method and structure for integrating photonics with CMOs
US10677924B2 (en) 2015-06-23 2020-06-09 Mezmeriz, Inc. Portable panoramic laser mapping and/or projection system
US10419723B2 (en) 2015-06-25 2019-09-17 Magna Electronics Inc. Vehicle communication system with forward viewing camera and integrated antenna
US10137904B2 (en) 2015-10-14 2018-11-27 Magna Electronics Inc. Driver assistance system with sensor offset correction
US11027654B2 (en) 2015-12-04 2021-06-08 Magna Electronics Inc. Vehicle vision system with compressed video transfer via DSRC link
US10191154B2 (en) 2016-02-11 2019-01-29 Massachusetts Institute Of Technology Methods and apparatus for time-of-flight imaging
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10703204B2 (en) 2016-03-23 2020-07-07 Magna Electronics Inc. Vehicle driver monitoring system
US10571562B2 (en) 2016-03-25 2020-02-25 Magna Electronics Inc. Vehicle short range sensing system using RF sensors
US10337993B2 (en) 2016-04-15 2019-07-02 Massachusetts Institute Of Technology Methods and apparatus for fluorescence lifetime imaging with periodically modulated light
US10534081B2 (en) 2016-05-02 2020-01-14 Magna Electronics Inc. Mounting system for vehicle short range sensors
FI127463B (en) * 2016-05-10 2018-06-29 Aabo Akademi Aabo Akademi Univ Artifact to determine resolution of imaging based on electromagnetic radiation and / or mechanical waves
US10040481B2 (en) 2016-05-17 2018-08-07 Magna Electronics Inc. Vehicle trailer angle detection system using ultrasonic sensors
US10768298B2 (en) 2016-06-14 2020-09-08 Magna Electronics Inc. Vehicle sensing system with 360 degree near range sensing
US11454719B2 (en) 2016-07-08 2022-09-27 Magna Electronics Inc. 2D MIMO radar system for vehicle
US10239446B2 (en) 2016-07-13 2019-03-26 Magna Electronics Inc. Vehicle sensing system using daisy chain of sensors
US10708227B2 (en) 2016-07-19 2020-07-07 Magna Electronics Inc. Scalable secure gateway for vehicle
US10641867B2 (en) 2016-08-15 2020-05-05 Magna Electronics Inc. Vehicle radar system with shaped radar antennas
US10852418B2 (en) 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US10836376B2 (en) 2016-09-06 2020-11-17 Magna Electronics Inc. Vehicle sensing system with enhanced detection of vehicle angle
US10677894B2 (en) 2016-09-06 2020-06-09 Magna Electronics Inc. Vehicle sensing system for classification of vehicle model
DE102016223568B3 (de) 2016-10-14 2018-04-26 Infineon Technologies Ag Optische Sensoreinrichtung mit tiefen und flachen Steuerelektroden
US10347129B2 (en) 2016-12-07 2019-07-09 Magna Electronics Inc. Vehicle system with truck turn alert
US10462354B2 (en) 2016-12-09 2019-10-29 Magna Electronics Inc. Vehicle control system utilizing multi-camera module
US10703341B2 (en) 2017-02-03 2020-07-07 Magna Electronics Inc. Vehicle sensor housing with theft protection
US10782388B2 (en) 2017-02-16 2020-09-22 Magna Electronics Inc. Vehicle radar system with copper PCB
US11536829B2 (en) 2017-02-16 2022-12-27 Magna Electronics Inc. Vehicle radar system with radar embedded into radome
US11142200B2 (en) 2017-02-23 2021-10-12 Magna Electronics Inc. Vehicular adaptive cruise control with enhanced vehicle control
DE102017105142B4 (de) 2017-03-10 2021-09-16 Infineon Technologies Ag Laufzeit-Bilderzeugungsvorrichtungen und ein Verfahren zum Anpassen einer Referenzfrequenz
US10884103B2 (en) 2017-04-17 2021-01-05 Magna Electronics Inc. Calibration system for vehicle radar system
US10870426B2 (en) 2017-06-22 2020-12-22 Magna Electronics Inc. Driving assistance system with rear collision mitigation
CN108638969A (zh) 2017-06-30 2018-10-12 麦格纳电子(张家港)有限公司 与拖车传感器通信的车辆视觉系统
EP3525449B1 (en) * 2017-08-30 2021-09-29 Sony Semiconductor Solutions Corporation Image-capturing element and image-capturing device
US10962638B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with surface modeling
US11150342B2 (en) 2017-09-07 2021-10-19 Magna Electronics Inc. Vehicle radar sensing system with surface segmentation using interferometric statistical analysis
US10962641B2 (en) 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with enhanced accuracy using interferometry techniques
US10877148B2 (en) 2017-09-07 2020-12-29 Magna Electronics Inc. Vehicle radar sensing system with enhanced angle resolution using synthesized aperture
US10933798B2 (en) 2017-09-22 2021-03-02 Magna Electronics Inc. Vehicle lighting control system with fog detection
US11391826B2 (en) 2017-09-27 2022-07-19 Magna Electronics Inc. Vehicle LIDAR sensor calibration system
EP3474038A1 (en) 2017-10-23 2019-04-24 ams International AG Image sensor for determining a three-dimensional image and method for determining a three-dimensional image
US11486968B2 (en) 2017-11-15 2022-11-01 Magna Electronics Inc. Vehicle Lidar sensing system with sensor module
US10816666B2 (en) 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US10016137B1 (en) 2017-11-22 2018-07-10 Hi Llc System and method for simultaneously detecting phase modulated optical signals
US10299682B1 (en) 2017-11-22 2019-05-28 Hi Llc Pulsed ultrasound modulated optical tomography with increased optical/ultrasound pulse ratio
US11167771B2 (en) 2018-01-05 2021-11-09 Magna Mirrors Of America, Inc. Vehicular gesture monitoring system
US11112498B2 (en) 2018-02-12 2021-09-07 Magna Electronics Inc. Advanced driver-assistance and autonomous vehicle radar and marking system
US11047977B2 (en) 2018-02-20 2021-06-29 Magna Electronics Inc. Vehicle radar system with solution for ADC saturation
US11199611B2 (en) 2018-02-20 2021-12-14 Magna Electronics Inc. Vehicle radar system with T-shaped slot antennas
US10368752B1 (en) 2018-03-08 2019-08-06 Hi Llc Devices and methods to convert conventional imagers into lock-in cameras
CN108519604B (zh) * 2018-03-08 2021-08-10 北京理工大学 一种基于伪随机码调制解调的固态面阵激光雷达测距方法
JP7054639B2 (ja) 2018-03-16 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 受光素子および電子機器
CN108507688B (zh) * 2018-04-10 2019-05-03 中国人民解放军国防科技大学 大数目激光阵列的相位探测与控制方法
US11206985B2 (en) 2018-04-13 2021-12-28 Hi Llc Non-invasive optical detection systems and methods in highly scattering medium
US11857316B2 (en) 2018-05-07 2024-01-02 Hi Llc Non-invasive optical detection system and method
KR102615195B1 (ko) * 2018-07-19 2023-12-18 삼성전자주식회사 ToF 기반의 3D 이미지 센서 및 그 이미지 센서를 구비한 전자 장치
EP3640677B1 (en) 2018-10-17 2023-08-02 Trimble Jena GmbH Tracker of a surveying apparatus for tracking a target
EP3640590B1 (en) 2018-10-17 2021-12-01 Trimble Jena GmbH Surveying apparatus for surveying an object
US11808876B2 (en) 2018-10-25 2023-11-07 Magna Electronics Inc. Vehicular radar system with vehicle to infrastructure communication
US11683911B2 (en) 2018-10-26 2023-06-20 Magna Electronics Inc. Vehicular sensing device with cooling feature
US11638362B2 (en) 2018-10-29 2023-04-25 Magna Electronics Inc. Vehicular radar sensor with enhanced housing and PCB construction
US11454720B2 (en) 2018-11-28 2022-09-27 Magna Electronics Inc. Vehicle radar system with enhanced wave guide antenna system
US11096301B2 (en) 2019-01-03 2021-08-17 Magna Electronics Inc. Vehicular radar sensor with mechanical coupling of sensor housing
US11332124B2 (en) 2019-01-10 2022-05-17 Magna Electronics Inc. Vehicular control system
US11294028B2 (en) 2019-01-29 2022-04-05 Magna Electronics Inc. Sensing system with enhanced electrical contact at PCB-waveguide interface
US11609304B2 (en) 2019-02-07 2023-03-21 Magna Electronics Inc. Vehicular front camera testing system
EP3696498A1 (en) 2019-02-15 2020-08-19 Trimble Jena GmbH Surveying instrument and method of calibrating a survey instrument
KR20220004647A (ko) * 2019-05-06 2022-01-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 타임-오브-플라이트 디바이스 및 방법
US11267393B2 (en) 2019-05-16 2022-03-08 Magna Electronics Inc. Vehicular alert system for alerting drivers of other vehicles responsive to a change in driving conditions
US11866063B2 (en) 2020-01-10 2024-01-09 Magna Electronics Inc. Communication system and method
RU2738602C1 (ru) * 2020-03-03 2020-12-14 Федеральное государственное бюджетное образовательное учреждение высшего образования "Казанский национальный исследовательский технический университет им. А.Н. Туполева - КАИ" Способ одновременного измерения частоты, фазы, начальной фазы и амплитуды гармонического сигнала
US11823395B2 (en) 2020-07-02 2023-11-21 Magna Electronics Inc. Vehicular vision system with road contour detection feature
US20220011431A1 (en) * 2020-07-10 2022-01-13 Xin Jin Camera sensor for lidar with doppler-sensing pixels
US11749105B2 (en) 2020-10-01 2023-09-05 Magna Electronics Inc. Vehicular communication system with turn signal identification

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873561A (en) * 1988-04-19 1989-10-10 Wen David D High dynamic range charge-coupled device
DE3930632A1 (de) 1989-09-13 1991-03-14 Steinbichler Hans Verfahren zur direkten phasenmessung von strahlung, insbesondere lichtstrahlung, und vorrichtung zur durchfuehrung dieses verfahrens
JP2581863B2 (ja) 1991-12-26 1997-02-12 三菱電機株式会社 立体形状計測装置及び立体形状計測用センサ
US5155383A (en) 1992-02-03 1992-10-13 Motorola, Inc. Circuit and method of resetting a master/slave flipflop
US5517043A (en) * 1994-10-25 1996-05-14 Dalsa, Inc. Split pixel interline transfer imaging device
DE4439298A1 (de) * 1994-11-07 1996-06-13 Rudolf Prof Dr Ing Schwarte 3D-Kamera nach Laufzeitverfahren
JPH08313215A (ja) 1995-05-23 1996-11-29 Olympus Optical Co Ltd 2次元距離センサ
US5646733A (en) * 1996-01-29 1997-07-08 Medar, Inc. Scanning phase measuring method and system for an object at a vision station
AU715284B2 (en) * 1996-09-05 2000-01-20 Rudolf Schwarte Method and apparatus for determining the phase and/or amplitude information of an electromagnetic wave

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003532122A (ja) * 2000-04-28 2003-10-28 セーエスウーエム、サントル、スイス、デレクトロニック、エ、ド、ミクロテクニック、ソシエテ、アノニム 変調された電磁波を空間的に分解して光検出し復調するための装置及び方法
KR100852446B1 (ko) 2000-10-16 2008-08-14 슈바르테, 루돌프 신호 파형의 진폭 및 위상을 감지 및 처리하기 위한 방법
JP2004525351A (ja) * 2000-12-11 2004-08-19 カネスタ インコーポレイテッド 量子効率変調を用いたcmosコンパチブルの三次元イメージセンシングのためのシステム
JP2005518677A (ja) * 2002-02-22 2005-06-23 ルドルフ シュワルテ 電気信号および光信号の検出・処理方法および装置
JP4828794B2 (ja) * 2002-02-22 2011-11-30 ルドルフ シュワルテ 電気信号および光信号の検出・処理方法および装置
US7119350B2 (en) 2002-04-08 2006-10-10 Matsushita Electric Works, Ltd. Spatial information detecting device using intensity-modulated light and a beat signal
US7138646B2 (en) 2002-07-15 2006-11-21 Matsushita Electric Works, Ltd. Light receiving device with controllable sensitivity and spatial information detecting apparatus with charge discarding device using the same
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2006524800A (ja) * 2003-03-10 2006-11-02 セーエスウーエム、サントル、スイス、デレクトロニック、エ、ド、ミクロテクニック、ソシエテ、アノニム 強度変調信号の復調のための電気回路、装置および方法
US7636625B2 (en) 2003-05-28 2009-12-22 Robert Bosch Gmbh Device for classifying at least one object with the aid of an environmental sensor system
JP2012049547A (ja) * 2003-06-17 2012-03-08 Microsoft Corp 三次元及び色彩検出における電荷管理のための方法及び装置
JP4814095B2 (ja) * 2003-09-18 2011-11-09 イーツェー−ハウス ゲーエムベーハー 3次元距離測定用の光電子センサおよびデバイス
JP2007506269A (ja) * 2003-09-18 2007-03-15 イーツェー−ハウス ゲーエムベーハー 3次元距離測定用の光電子センサおよびデバイス
JP2005235893A (ja) * 2004-02-18 2005-09-02 National Univ Corp Shizuoka Univ 光飛行時間型距離センサ
WO2005078386A1 (ja) * 2004-02-18 2005-08-25 National University Corporation Shizuoka University 光飛行時間型距離センサ
US7671391B2 (en) 2004-02-18 2010-03-02 National University Corporation Shizuoka University Time-of-light flight type distance sensor
JP2006023276A (ja) * 2004-04-05 2006-01-26 Pmd Technologies Gmbh 光混合装置
US7834305B2 (en) 2004-07-30 2010-11-16 Panasonic Electric Works Co., Ltd. Image processing device
JP2006078490A (ja) * 2004-09-13 2006-03-23 Pmd Technologies Gmbh 信号の遅延敏感測定のための方法及び装置
US7362419B2 (en) 2004-09-17 2008-04-22 Matsushita Electric Works, Ltd. Range image sensor
JP2006105887A (ja) * 2004-10-08 2006-04-20 Synthesis Corp 立体視装置およびそれを備えた立体画像表示システム
JP4645177B2 (ja) * 2004-11-30 2011-03-09 パナソニック電工株式会社 計測装置
JP2006153771A (ja) * 2004-11-30 2006-06-15 Matsushita Electric Works Ltd 計測装置
JP2006337286A (ja) * 2005-06-03 2006-12-14 Ricoh Co Ltd 形状計測装置
JP2009510412A (ja) * 2005-09-29 2009-03-12 カール ツァイス マイクロイメージング ゲーエムベーハー 試料を深さ分解して光学的に検出するための装置および方法
JP5110535B2 (ja) * 2006-03-31 2012-12-26 国立大学法人静岡大学 半導体測距素子及び固体撮像装置
US7843029B2 (en) 2006-03-31 2010-11-30 National University Corporation Shizuoka University Semiconductor range-finding element and solid-state imaging device
WO2007119626A1 (ja) * 2006-03-31 2007-10-25 National University Corporation Shizuoka University 半導体測距素子及び固体撮像装置
JP2008145348A (ja) * 2006-12-12 2008-06-26 Denso Corp 光センサ、距離検出装置、および距離検出方法
JP2008249430A (ja) * 2007-03-29 2008-10-16 Nippon Hoso Kyokai <Nhk> 3次元情報検出方法及びその装置
US8599364B2 (en) 2008-05-15 2013-12-03 Hamamatsu Photonics K.K. Range sensor and range image sensor
US9041917B2 (en) 2008-05-15 2015-05-26 Hamamatsu Photonics K.K. Range sensor and range image sensor
WO2009139312A1 (ja) 2008-05-15 2009-11-19 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP2010002326A (ja) * 2008-06-20 2010-01-07 Stanley Electric Co Ltd 移動ベクトル検出装置
JP2012501435A (ja) * 2008-08-27 2012-01-19 サムスン エレクトロニクス カンパニー リミテッド 深さ映像獲得装置および方法
JP2013534639A (ja) * 2010-07-16 2013-09-05 マイクロソフト コーポレーション 飛行時間システムにおける3次元(3d)センサーの多相位相動的キャリブレーションのための方法及びシステム
KR101834025B1 (ko) 2010-07-16 2018-03-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 삼차원의 다위상 동적 교정 방법 및 시스템
JP2019144261A (ja) * 2013-06-06 2019-08-29 ヘプタゴン・マイクロ・オプティクス・プライベート・リミテッドHeptagon Micro Optics Pte. Ltd. 撮像システムおよびそれを動作させる方法
JP2016527482A (ja) * 2014-01-13 2016-09-08 ソフトキネティク センサーズ エヌブイ 飛行時間システムを駆動するための方法
WO2016031240A1 (ja) * 2014-08-29 2016-03-03 株式会社デンソー 光飛行型測距装置
JP2016050832A (ja) * 2014-08-29 2016-04-11 株式会社デンソー 光飛行型測距装置
JP2016170038A (ja) * 2015-03-12 2016-09-23 本田技研工業株式会社 光通信装置、送信信号、及びプログラム
JP2018513967A (ja) * 2015-03-17 2018-05-31 コーネル・ユニバーシティーCornell University 深度フィールドイメージング装置、方法および応用
US10605916B2 (en) 2015-03-17 2020-03-31 Cornell University Depth field imaging apparatus, methods, and applications
US10983216B2 (en) 2015-03-17 2021-04-20 Cornell University Depth field imaging apparatus, methods, and applications
US10928489B2 (en) 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10571572B2 (en) 2017-11-27 2020-02-25 Microsoft Technology Licensing, Llc Time of flight camera
US10901087B2 (en) 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
US10895925B2 (en) 2018-10-03 2021-01-19 Microsoft Technology Licensing, Llc Touch display alignment
US11435476B2 (en) 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
US11079515B2 (en) 2019-12-18 2021-08-03 Microsoft Technology Licensing, Llc Micro lens time-of-flight sensor having micro lens heights that vary based on image height
WO2021235222A1 (ja) * 2020-05-19 2021-11-25 ソニーセミコンダクタソリューションズ株式会社 受光装置およびその駆動制御方法、並びに、測距装置

Also Published As

Publication number Publication date
HUP0001087A2 (hu) 2000-08-28
ATE254758T1 (de) 2003-12-15
JP4060365B2 (ja) 2008-03-12
AU4376197A (en) 1998-03-26
CA2264051A1 (en) 1998-03-12
EP1009984B1 (de) 2003-11-19
US7053357B2 (en) 2006-05-30
HU227654B1 (en) 2011-10-28
HUP0001087A3 (en) 2004-01-28
CZ69399A3 (cs) 1999-08-11
MXPA99002142A (es) 2004-08-27
ES2206748T3 (es) 2004-05-16
BR9712804A (pt) 1999-11-23
CA2264051C (en) 2005-07-26
US20050092897A1 (en) 2005-05-05
CZ300055B6 (cs) 2009-01-21
EP1009984A1 (de) 2000-06-21
AU715284B2 (en) 2000-01-20
RU2182385C2 (ru) 2002-05-10
US6825455B1 (en) 2004-11-30
CN1233323A (zh) 1999-10-27
WO1998010255A1 (de) 1998-03-12
BR9712804B1 (pt) 2011-04-19
CN1103045C (zh) 2003-03-12

Similar Documents

Publication Publication Date Title
JP4060365B2 (ja) 電磁波の位相情報および/または振幅情報を調べるための方法と装置
KR101696335B1 (ko) 다중 스펙트럼 센서
Bronzi et al. Automotive three-dimensional vision through a single-photon counting SPAD camera
Luan Experimental investigation of photonic mixer device and development of TOF 3D ranging Ssystems based on PMD technology
US7060957B2 (en) Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
RU99106432A (ru) Способ и устройство для определения информации об амплитуде и фазе электромагнитной волны
DE19704496A1 (de) Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
JP2002516490A (ja) 電磁波の位相及び振幅を検出するための装置並びに方法
Spirig et al. The multitap lock-in CCD with offset subtraction
US7417744B2 (en) Coherent hybrid electromagnetic field imaging
Schwarte et al. New optical four-quadrant phase detector integrated into a photogate array for small and precise 3D cameras
US10727952B1 (en) Heterodyne starring array active imager with spread spectrum illuminator
Muñiz et al. High frame-rate phase camera for high-resolution wavefront sensing in gravitational-wave detectors
KR100458629B1 (ko) 전자파의 진폭정보와 위상을 감지하는 방법 및 장치
Lange et al. Seeing distances–a fast time‐of‐flight 3D camera
US20150268630A1 (en) Ultra-High Resolution Digital Holographic Camera
US10587347B1 (en) Heterodyne starring array active imager
JP2024515340A (ja) 抑制されたドップラー周波数シフトを有するlidarシステム
Luan et al. Three-dimensional intelligent sensing based on the PMD technology
Luan Experimentelle Untersuchungen des Photomischdetektors (PMD) und Entwicklung der PMD-basierten 3D-TOF-Entfernungsmesssysteme
Hoefler et al. 3D profiling by optical demodulation with an image intensifier
Kahlmann et al. 3D-TOF sensors in the automobile
WO2023174646A1 (en) Time-of-flight demodulation circuitry and time-of-flight demodulation method
Hossain et al. A 3D image sensor based on current assisted photonic mixing demodulator in 0.18 µm CMOS technology
WO2009156300A1 (en) Method and device for recording 3d images of a scene

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060317

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061124

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term