JP2003532122A - 変調された電磁波を空間的に分解して光検出し復調するための装置及び方法 - Google Patents
変調された電磁波を空間的に分解して光検出し復調するための装置及び方法Info
- Publication number
- JP2003532122A JP2003532122A JP2001581152A JP2001581152A JP2003532122A JP 2003532122 A JP2003532122 A JP 2003532122A JP 2001581152 A JP2001581152 A JP 2001581152A JP 2001581152 A JP2001581152 A JP 2001581152A JP 2003532122 A JP2003532122 A JP 2003532122A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- electromagnetic radiation
- pulse
- light
- ccd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 21
- 230000035945 sensitivity Effects 0.000 claims abstract description 7
- 230000005670 electromagnetic radiation Effects 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 24
- 238000005516 engineering process Methods 0.000 claims description 17
- 230000007423 decrease Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims 2
- 230000010363 phase shift Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 description 19
- 230000005855 radiation Effects 0.000 description 17
- 238000005286 illumination Methods 0.000 description 14
- 238000005070 sampling Methods 0.000 description 13
- 239000002800 charge carrier Substances 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- KUVIULQEHSCUHY-XYWKZLDCSA-N Beclometasone Chemical compound C1CC2=CC(=O)C=C[C@]2(C)[C@]2(Cl)[C@@H]1[C@@H]1C[C@H](C)[C@@](C(=O)COC(=O)CC)(OC(=O)CC)[C@@]1(C)C[C@@H]2O KUVIULQEHSCUHY-XYWKZLDCSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 101150008563 spir gene Proteins 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
次元(1D)又は2次元(2D)装置及びその方法に関する。これにより、時間
的に変調され空間的に符号化された放射電磁界の位相、振幅及びオフセットを測
定できる。本発明は、部品を動かさずに2D又は3Dレンジデータを与える飛行
時間(TOF)レンジイメージングシステムにおいて優先的に使用される。この
ようなレンジカメラは、マシンビジョン、監視、あらゆる種類の安全装置の応用
、自動ナビゲーション及びマルチメディアの応用において使用可能である。本発
明は、測距システムから離れた位置にある物体に対しても高い距離精度が必要で
ある測距応用において、特に、目標距離とは関係なく距離精度を必要とする応用
において特に有益である。
は、可視の紫外線又は赤外線放射を表す。
アレイが開示されている。1つのピクセルは、1つの単一のフォトサイト(フォ
トダイオード又はCCDゲート)を含み、これは、電気スイッチ(CCD転送ゲ
ート又はトランジスタスイッチとして実現)により1以上の光保護された格納サ
イト(CCDピクセル又はMOSキャパシタとして実現)に接続される。フォト
サイトは、入射光により生じる電荷を蓄積する。このように短時間蓄積した後、
光電荷は、スイッチを作動させることにより格納サイトに転送される。このよう
な電荷の付加は、CCD技術において実現されると、繰り返して実行可能である
。復調応用の場合、統合時間は、変調信号の周期よりかなり短くなるように選択
される。したがって、装置は、時間的なエイリアシングが生じないような速度で
入射変調信号をサンプリングするために使用され得る。
現するために、CCDの原理が常に使用されてきた。1つ以上の転送ゲート(電
気スイッチ)により1つのフォトゲートをいくつかの格納ゲートに接続すること
で、常にスペースが占められる。現在の技術では、例えば、4つの転送ゲートに
よりフォトサイトにアクセスすることにより、フォトゲートが比較的大きくなる
。フォトサイトから格納サイトへの電荷転送(スイッチの応答/効率)が、比較
的少なく速度が遅い。さらに、実際のところ、4つの転送ゲートの転送効率を等
しくすることが難しい。したがって、現在の実用的な具現化では、飛行時間(T
OF)の応用に必要とされる実際の周波数(>1MHz)での単一のスイッチ/
格納の組み合わせが不均等になる。これらの作用により、現在の技術では、1つ
のスイッチと1つの格納サイトからなる装置と特別な動作モードとして実現又は
動作された場合のTOF応用に対して、ドイツ特許第4440613C1号の教
示しか使用されず、すなわち、サンプリング点がパラレルではなく時間的にシリ
アルに獲得されるように動作されなければならない。これは、移動物体を含む高
速に変化する場面をTOF測定しなければならない場合、深刻な制限となる。
調フォトゲート(MPG)と専用の蓄積ゲート(AG)とからなる同様のピクセ
ル構造が記載されている。MPG対が、平衡モードで(平衡モジュレータ)とし
て常に動作される。電荷キャリアは、入射変調光によりMPGの下にある空乏領
域に光学的に発生され、電位の傾きにより蓄積ゲートに案内される。この電位の
傾きは、MPGに適用される制御信号に依存する。
して2つの位相と連続して動作されることで、受光した光の時間遅延を測定でき
る1つのみのMPG対でのピクセルの具現化を含む。ドイツ特許第444061
3C1号の実用的な具現化にあるように、「同位相」及び「直角位相」信号をこ
のようにシリアルに獲得することは、場面が高速に変化するTOF応用に使用さ
れる場合、深刻な欠点となる。
4つのAGでの具現化が提示され、この場合、常に2つのMPGが平衡化された
変調対を作り出し、両方の対が互いに異なる位相で動作される。このようにして
、入射光の4相測定値(サンプリング点)がパラレルに測定可能である。ドイツ
特許第4440613C1号の場合のように、4つの異なる局所的な場所から光
感知エリアにアクセスすることにより、電荷の分布が非均一的になり、各蓄積ゲ
ートに異なるオフセットを与え、これは、補償が複雑なものである。ドイツ特許
出願公開第19704496A1号には、2つの異なる可能性が提案されている
。
積され、多重構造により、例えば、CCDにより、蓄積時間後読み出される。
直接実現可能であり、信号は、電圧又は電流として(例えば、APS構造体で)
読み出されるか、又は、位相及び全強度を測定するために、これらの信号が後処
理構造体に直接供給される。
てしまい、センサのピクセルサイズを常に大幅に増大させるため、その開口率が
減少する。さらに、発生した光電流を蓄積前に増幅ステージに直接供給すること
により、さらなるノイズ源が信号に付加され、特に、低出力の光入力信号に対し
て構造体の性能が低下する。
704496A1号に基づいている。ここでは、MPGのいくつかの特別な寸法
及び配列が提言されている。MPGは、照明波長の大きさのゲート幅と、この大
きさの10から50倍のゲート長さを有する長く小さなストライプとして与えら
れる。いくつかのパラレルMPG−AG対が、1つのピクセルエレメントをなす
。1つのピクセルエレメント内にあるすべてのMPG−AG対は、同じ平衡化さ
れた変調制御信号で動作される。すべてのAGが、一対の読み出しワイヤに適切
に接続され、和と差の電流を発生させる後処理回路を与える。1つのピクセルは
、1以上のピクセルエレメントからなり、各ピクセルエレメントは、いくつかの
MPG対からなる。1つのピクセルがいくつかのピクセルエレメントで実現され
ると、ドイツ特許出願公開第19821974A1号の教示は、異なる位相関係
において、特に、90°の位相差で(異なるピクセルエレメントにおいて同位相
及び直角位相測定)ピクセルエレメント動作することを意図している。さらに、
ドイツ特許出願公開第19821974A1号において、光を(光感知)MPG
にのみ集束させるために、マイクロレンズ又はストライプレンズの使用が推奨さ
れている。しかしながら、これらの光学構造体は、1つのピクセルに撮像される
場面の詳細の局所的に不均一な部分を修正しない。大きなピクセルサイズが原因
で特に予想されるこのような不均一性により、測定にエラーが生じる。これは、
同位相ピクセルエレメントが、直角位相ピクセルエレメントとは別の場面の部分
を獲得するためである。
(比較的大きな)ピクセルサイズが50×50μm2から500×500μm2で
ある点が挙げられる。したがって、多数の10、000ピクセルのより大きなア
レイとして実現することは適切ではない。上述したようにMPGが長く狭い理由
は、光から発生した電荷キャリアをAG内に輸送する距離を短くする必要がある
ためである。距離が短い場合のみ、構造体は、高い変調周波数(増大された帯域
幅)を復調するために使用可能である。MPGが、長さが短く幅が狭いMPGで
実現されると、各ピクセルの感光エリアは、予想されるスペースを消費するピク
セル内後処理回路に対して、非常に小さいものとなるであろう。長さが長く幅が
狭いいくつかの変調構造体を実現し、それらをパラレルに配設して動作させるこ
とにより、(電荷キャリア用のドリフト進路が狭くなることにより)帯域幅を損
失することなく感光エリアを増大させることは、光学的な開口率を増大させる的
確な方法である。しかしながら、増大された開口率は、より大きなピクセルでの
み実現され得るため、アレイにおいて実現されるピクセルの総数は、上記先行技
術の特許出願に記載されている装置では大幅に制限される。
変調された光源が配置される。照明源と目標間の距離の2乗に伴い、照明された
物体又は目標の光出力密度は減少するため、検出器の受光強度も目標の距離の2
乗に従って減少する。これは、センサから離れた位置にある目標の測定精度が、
目標付近の精度より悪いためである。
パルスで動作される(Schroeder W.、Schulze S.、“Laserkamera:3D-Daten、Schne
ll、Robust、Flexibel"、Daimler-Benz Aerospace:Raumfahrt-Infrastruktur、1998
を参照)。受信機は、高速の電気、光学又は電子光学スイッチ機構として、又は
それと組み合わせて実現され、この機構は、例えば、MOSスイッチ、光電子増
倍管(1D)又はマイクロチャネル基板(MCP)、イメージ増倍管、又は特殊
なCCDの「完全な基板シャッタ機構」(Sankaranarayanan L. et al.、“1 GHz
CCD Transient Detector"、IEEE ch3075-9/91、1991)である。Spirig、Lange及びS
chwarteのロックイン又は復調ピクセルが、この種の動作に使用可能である(Spir
ig T.、“Smart CCD/CMOS Based Image Sensors with Programmable、Realtime Te
mporal…"、Diss.ETH No.11993、Zurich、1997;Lange R.et al.、“Time-of-flight
range imaging with a custom solid-state image sensor"、Proc.SPIE、Vol.3823
、pp.180-191、Munich、June 1999、Lange R.et al.、"Demodulation pixels in CCD
and CMOS technologies for time-of-flight ranging"、Proc.SPIE、Vol.3965A、Sa
n Jose、January 2000、Schwarte R.ドイツ特許出願公開第19704496A1
号)。
了すると閉じる。受信機に蓄積される光の量は、スイッチのオン時間により規定
され時間ウィンドウと、受け取った光パルスのオン時間の遅延時間ウィンドウの
重なり合いに依存する。スイッチとパルス幅の両方のオン時間は、同じ長さをも
つように選択される。したがって、距離がゼロの目標は、光パルスの全量を受け
取り、完全な光パルスが蓄積される。光源から離れた位置にある目標は、少量の
光パルスしか蓄積しない。システムは、パルス幅Tと光速度cの積の半分で規定
される、光パルスの電波レンジ内の距離L<Lmaxのみを測定できる。
る。先行技術のシャッタ動作では、蓄積された受信信号の減衰がさらに距離依存
になる。
されなければならず、すなわち、背景オフセットを測定し減じるために任意の能
動照明を用いない第1の追加の測定と、後方散乱光の振幅を測定するためにオン
に切り換えられた能動照明を用いた第2の追加の測定が実行されなければならな
い。
間的に分解して光検出し復調する装置及び方法を提供することである。さらに、
本発明のさらなる目的は、装置と目標間の距離を決定する装置及び方法を提供す
ることである。これは、独立クレームに規定されるような装置及び方法により達
成される。
面の同じ部分を撮像するマイクロ光学素子を用いることからなる。これらのフォ
トサイトのそれぞれには、少なくとも1つ、好ましくは2つの格納エリアが隣接
しており、この中にフォトサイトからの電荷が即座に(数MHzから数十又は数
百MHzの速度で)移動され、本質的にノイズがなく蓄積される。これは、電荷
結合素子(CCD)の原則を用いることにより可能である。本発明による装置は
、2つのタイプの変調された放射電磁界に対して2つのモードで優先的に動作さ
れ得る。
り、すなわち、第1のフォトサイト及びその格納エリアと比較して4分の1の繰
り返し周期で遅延させて、第2のフォトサイト及びその格納エリアにクロック信
号を適用することにより、正弦波の放射信号が復調される。
リアに切り換えることにより、パルス状の放射信号が測定される。第2のフォト
サイト及びその格納エリアは、放射を放出及び受け入れることなくオフセット測
定用に使用される。
ための装置は、1次元又は2次元配列のピクセルを含む。ピクセルは、入射電磁
放射を電気信号に変換する少なくとも2つの要素を含み、各変換要素は、前記電
気信号を格納する少なくとも1つの要素に関連し、前記少なくとも1つの格納要
素は、入射電磁放射にアクセス不能又は無感応である。ピクセルは、ピクセルに
入射する電磁放射を空間的に平均化し、平均化された電磁放射をピクセルの前記
変換要素に均等に分配する光学要素を含む。
ための方法は、 (a)電磁放射を1次元又は2次元配列のピクセルに衝突させるステップと、 (b)少なくとも2つの変換要素において、ピクセルに入射する電磁放射を少
なくとも2つの電気信号に変換するステップと、 (c)少なくとも1つの格納要素に、前記少なくとも2つの電気信号のそれぞ
れを格納するステップとを含む。ステップ(c)の前に、ピクセルに入射する電
磁放射は空間的に平均化され、平均化された電磁放射はピクセルの前記変換要素
に均等に分配される。
れた時間間隔の間、パルス状の電磁放射を放出するための手段と、第2の制限さ
れた時間間隔の間、入射電磁放射を検出するための手段と、前記第1及び第2の
時間間隔が重複しないように、前記放出手段及び検出手段を制御するための手段
とを含む。検出手段は、本発明による時間的に変調された電磁波を空間的に分解
して光検出し復調するための上述した装置であることが好ましい。
の制限された時間間隔の間、前記測定システムから前記物体へ電磁放射のパルス
を放出するステップと、前記物体から前記電磁放射の少なくとも一部を反射及び
/又は散乱するステップと、第2の制限された時間間隔の間、前記物体から反射
及び/又は散乱された電磁放射を検出するステップとを含み、前記第1及び前記
第2の時間間隔が重複しないものである。検出には、時間的に変調された電磁波
を空間的に分解して光検出し復調するための上述した方法が使用されることが好
ましい。
ど光がない状態でも維持される高い感度、同時データ獲得、小さいピクセルサイ
ズ、及び正弦波とパルス状の放射信号に利用可能な信号光子を使用する際に最大
効率を兼ね備える。
2つの感光エリアに均等に分配する役割を担う。これにより、ピクセルごとに2
つの光学的に同一のフォトサイトがあり、エッジに対して、又は、一般的に言え
ば、1つのピクセルに撮像されたあらゆる空間的な不均等性に無感応な測定が得
られる。小さなピクセルサイズ及び高度に平衡で単純な構造により、光学的なマ
イクロ構造は、容易に実現され製造され組み立てられる。
に対して蓄積時間を短くして、シリアルに画像を復調することにより、高ダイナ
ミックレンジが達成される。各ピクセルに蓄積時間が短い画像も格納するための
さらなるCCDゲートが実現されることにより、蓄積時間が短い画像と蓄積時間
が長い画像を獲得する間、センサが完全に読み出される必要はない。
セルは、大きなアレイ(数万ピクセルから数十万ピクセル)に配列され、読み出
しは、CCDの原則を用いて、例えば、「フレーム転送構造」で実行され得る。
この代わりとして、ピクセルは、小さなCCD構造(電荷転送効率(CTE)が
90%より大きなピクセル当たり3から20CCDゲートで十分である)を実現
する可能性を与える相補型金属酸化膜半導体(CMOS)プロセスで実現され得
る。このようなCMOSプロセスで、各ピクセルは、アドレスデコーダによりア
クセス可能な読み出し増幅器を得ることができる(アクティブ・ピクセル・セン
サ(APS)の原理)。以下に、CCDとCMOSの両方のさらなる詳細な具現
化が記載される。CMOS−APS/CCDを実現化により、単一のCCDのみ
の具現化に比べて以下の利点が得られる。
(ROI)が規定され、例えば、特別な領域が、異なるフレームレートで異なる
照明時間又は読み出しを得ることができる。
は、ダンプノード又はセンスノードにダンプされ、隣接したピクセルを乱さない
。
ジャ全体を介して移動させる代わりに、電荷は、各ピクセル内で電圧に変換され
る。
ルは、2つのフォトサイトを含む。これらのサイトのそれぞれは、CCDゲート
(転送、変調又はサンプリングゲート)により好ましくは2つの側から高度に対
称的にアクセスされる。これらのサンプリングゲートのそれぞれは、フォトサイ
トから専用格納ゲートに電荷キャリアを転送し、結果的に、各ピクセル内に4つ
の隔離された格納サイトが優先的に得られる。したがって、サンプリング点は、
同じ時間に測定され、ピクセルは、ゆっくりと変化するプロセス又は動きのない
プロセスの観察に制限されない。本発明による装置は、ゼロから数十MHz又は
数百MHzまでもの範囲にある変調された放射電磁界(例えば、変調された光)
の復調帯域幅を有する。
サイトに繰り返し付加され蓄積される。このようなCCDの電荷付加能力は、ほ
ぼノイズがないプロセスであり、これにより、システムは、蓄積時間を延長する
だけで、比較的低い光出力で動作できる。これは、ピクセル内後処理電子装置で
のピクセル具現化より有利である。
提供しながら、先行技術で達し得るものよりも小さいサイズが実現される。これ
は、ピクセル内に復調された位相情報を格納しても、各ピクセル内にさらなる後
処理電子装置を実現することに比べ、より少量のスペースしか占めないため可能
である。
以上、好ましくは4つの時間的なサンプリング値Ai(i=0、1、2、3)が
、例えば、T/2(Tは変調時間)に等しい長さの後続の、場合によっては部分
的に重複する時間間隔の間、対応する時間間隔中繰り返し蓄積することにより測
定される。A0及びA2は、第1のフォトサイトで測定され、A1及びA3は、第2
のフォトサイトで測定される。位相角度φは、以下の式により求められる。
1のフォトサイトは、放射パルスの到達時間中、第1の格納エリアから第2の格
納エリアに切り換えられるため、放射信号の第1の部分が、第1の格納エリア内
に蓄積され、放射信号の残りは、第2の格納エリアに蓄積される。第1の格納エ
リアB0に蓄積された信号があり、第2の格納エリアB1に信号がある。第2のフ
ォトサイトは、以下の方法でオフセット測定するために用いられる。すなわち、
放射パルスの完全な信号が、第2のフォトサイトの第1の格納エリアに蓄積され
、信号C0を発生する。C0は、B0及びB1の和に等しいため、強度画像を直接表
す。B0及びB1の和とC0の偏差は、1つのピクセルにおける両方のフォトサイ
ト間の光学的又は電気的不均等性を修正するために使用可能である(ピクセルの
較正)。その後、第2のフォトサイトは、第2の格納エリアに切り換えられ、パ
ルス状の放射を受けない時間中、背景放射と暗電流は、この第2の格納エリアに
蓄積され、信号C1を発生する。その比率
アの時間的な感度関数も完全な2進数ではない(時間の連続した関数である)た
め、比率qは、一般的に、到達時間の非線形関数である。したがって、正確な距
離情報を出すための測距で較正されなければならない。
れる。
それ以降にスイッチをスタートさせることである。後者の場合、レンジカメラの
前にある一定の距離レンジが、「蓄積ウィンドウ」外のものであるため測定不能
である。しかしながら、スイッチの開時間は同じままである。これにより、セン
サからより離れた位置にある目標は、レンジカメラ付近の物体より光パルスの長
い周期を蓄積する。距離の2乗に比例する拡散反射目標からの後方散乱光の減衰
とともに(ランベルト反射目標と仮定)、光パルスの結果的に得られる蓄積され
た信号シェアは、目標の距離とともに線形に減少する。図2に、この概念が示さ
れている。
記載した「逆シャッタ動作」とこの動作とを組み合わせることにより、蓄積され
た信号は、目標の距離に依存せず、目標がランベルトリフレクタであれば、その
軽減率にのみ依存する。これは、受け入れた線形傾斜の蓄積により、蓄積された
信号は、全受信信号の平均値を参照すれば、距離の平均値に比例するからである
。この受信信号の平均値が、目標の信号強度に対して逆2乗の依存関係をもつた
め、全蓄積信号は、目標の距離に依存しない。これは、目標の軽減特性にのみ依
存する。したがって、この方法は、物体の軽減を測定するために使用可能である
(ランベルトリフレクタであることが分かっている場合)。
測定値がまったく情報を含まないと思うかもしれない。しかしながら、以下の事
実を考慮すべきである。
変調されていないDC照明)に参照する場合にのみ得られる。後者の測定結果は
、物体の距離に依存する。カメラから離れた位置にある照明された物体は、カメ
ラ付近にあるものより暗い。これらの参照測定でのみ距離を計算できる。この利
点は、全レンジにわたって変調された測定の一定の信号対雑音比を獲得する点で
ある。さらに、この測定では信号が距離に依存するため、センサの特別に高いダ
イナミックレンジが不要である。
ではなく、光強度が物体の距離の2乗に従って減少するわけではない。したがっ
て、測定は情報を含む。
サのダイナミックレンジに対する要求が減少することである。したがって、この
方法は、場面を照明するために能動照明が使用される他の応用でも用いられ、す
べての物体が、それらの照明への距離とは関係なく、同じ輝度で現れなければな
らない。他の応用の中に、能動照明(例えば、IR)を用いる引用された監視応
用がある。この応用において、カメラは、カメラから離れた位置にある目標(た
とえば、泥棒)と、カメラの近くにある目標の両方を見る必要がある。従来の目
標照明では、遠い位置にある物体を見ることができるように照明が選択されると
、カメラの近くにある目標は飽和状態になり、これは、情報がないことを意味す
る。
い。その代わりに、それらは、典型的な「スイッチ」特性を有する。例えば、そ
れらは、非常に短い時間に切り換えを行わないが、例えば、線形又は方形の応答
により与えられるある一定の「スイッチ」時間を有する。装置の中には、この「
シャッタ効率」は、例えば、調節可能な外部制御電圧により、外部から影響を与
えられ時間の経過に従って変化するものがある。これらの感度の変化は、これま
での記載では考慮されなかったものである。時間の経過に従って感度が線形に増
大するスイッチが、例えば、(傾斜状のパルスではなく)単一の方形パルス照明
と組み合わせて使用されることにより、上記セクション(b)に記載されるもの
と同じ結果が得られる。また、光パルスの形状は、スイッチの転送特性に適用さ
れ得る。
光パルスの形状が変更されるだけでなく、検出器の転送特性も修正されることが
非常に多い。また、動作モード(a)から(d)の組み合わせも可能である。
的なサンプリング点)は、連続的にではなく、同時に、すなわち、パラレルに実
行され得る。
万ピクセルから数十万ピクセル)としての具現化に理論的に適切である。
クロレンズが使用される場合は、最大100%のものを与える。
トが使用される。したがって、ピクセルは、1つのピクセルに撮像される場面の
詳細内の局所的な場面の差に感応しない。
に効率的な具現化が可能となる、最大100%の有効開口率が得られる。さらに
、マイクロレンズアセンブリの組み立てや位置決めは、1次元にのみ延長するた
め、比較的容易になる。
に対して強い。その代わり、蓄積された信号が十分に強い場合のみ後処理が実行
される。
MOS−APS/CCD技術における具現化に応じて、少なくとも一組のオフセ
ットフリー)である。
記載される。
いる。ピクセル50は、例えば、2つの感光フォトサイト51.1、51.2を
含む。第1のフォトサイト51.1が、位相角度0°に対して第1のフォトゲー
ト52.1を、位相角度180°に対して第2のフォトゲート52.2を有し、
第2のフォトサイト51.2が、位相角度90°に対して第3のフォトゲート5
2.3を、位相角度270°に対して第4のフォトゲート52.4を有する。各
フォトサイト51.1(又は51.2)にある2つのフォトゲート52.1、5
2.2(又は52.3、52.4のそれぞれ)の間には、好ましくは固定電位に
維持される中央のフォトゲート53.1(又は53.2)がある。ピクセル50
は、光保護された格納ゲート54.1から54.4をさらに含み、これらのゲー
トのそれぞれが、フォトゲート52.1から52.4に関連付けされる。第1の
格納ゲート54.1は、位相角度0°の信号を格納するためのものであり、第2
の格納ゲート54.2は、位相角度180°の信号を格納するためのものであり
、第3の格納ゲート54.3は、位相角度90°の信号を格納するためのもので
あり、第4の格納ゲート54.4は、位相角度270°の信号を格納するための
ものである。第2の格納ゲート54.2及び第3の格納ゲート54.3は、分離
ゲート55により隔離される。1つのピクセル50内にあるすべてのゲートは、
別々に制御され得る。
いて、類似した要素は、図1と同じ参照符号が付され、再度説明しない。
撮像された場面3を発生させる標準的な対物レンズ2を含むことが好ましい。装
置は、マイクロレンズアレイ4と、光学的な特定用途向け集積回路(ASIC)
5をさらに含む。
50の詳細が示されている。マイクロレンズアレイの各ピクセル40は、例えば
、マイクロレンズ又は複数のマイクロレンズとして、回折素子又は複数の回折素
子として実現可能な光学的なマイクロ構造体41を含む。光学的なマイクロ構造
体41の目的は、撮像場面のピクセル30の平均的な光強度をASICピクセル
50の2つの光学的に同一のフォトサイト51.1、51.2に均等に分配する
ことである。これは、ピクセル50に割り当てられた場面のエリア30が部分的
に白色であり部分的に黒色であり、このエリア30に対応するフォトサイト51
.1、51.2のエリア31.1、31.2が網状線で描かれている均一に灰色
である一例を選択することにより、図3に略図的に示されている。図3の略図に
おいて、光学的なマイクロ構造体41は、2つの下位構造体42.1、42.2
からなる。第1の下位構造体42.1は、強度を平均化するためのものであり、
第2の下位構造体42.2は、平均化された強度を2つのフォトサイト51.1
、51.2に分配するためのものである。
しい。
クセル50.1(又は50.2、…)は、2つの感光エリア51.1、51.2
からなる。これらのエリア51.1(又はそれぞれ51.2)のそれぞれは、2
つ又は3つの感光変調ゲート52.1、52.2(又は52.3、52.4)に
分割され、この場合、中央のフォトゲート53.1(又は53.2)とともに3
ゲートの具現化が示されている。復調/蓄積動作中、中央のゲート53.1(又
は53.2)は、存在すれば、固定電位に維持され、外側の変調ゲート52.1
、52.2(又は52.3、52.4)は、平衡させて変調される。その後、光
学的に発生して電荷キャリアが、変調ゲート52.1、52.2(又は52.3
、52.4)下の実際の電位勾配に応じて、近接する格納ゲート54.1、54
.2(又は54.3、54.4)に分配される。格納ゲート54.1、54.2
(又は54.3、54.4)は、追加の輸送ゲート55により互いに隔離される
。1つのピクセル50.1内にある2つの変調ゲート対52.1、52.2及び
52.3、52.4は、互いに90°の位相差で動作されるため、一方の対52
.1、52.2は、同位相部分を蓄積し、他方の対52.3、52.4は、直角
位相部分を蓄積する。ピクセル50.1内の各ゲートは、個々に制御可能であり
、すべてのピクセル50.1、50.2、…はパラレルに動作される。
1の部分的に感光性のあるエリア56は、蓄積用のロックインCCDアレイとし
て作用し、第2の光保護されたエリア57は、格納用のメモリCCDアレイとし
て作用する。したがって、ピクセルゲートは、3相CCDアレイのように動作し
て、格納CCD57に画像を転送する。その後、これは、さらなる光信号のひず
みから保護されて読み出される。読み出し中、次の画像が蓄積される。第1のエ
リア56から第2のエリア57への画像転送中、スメアーが起こる場合がある。
しかしながら、1つのピクセル50.1(50.2、…)に属するすべてのサン
プリング点が同じ寄生のオフセット電荷を蓄積するため、測定された位相結果に
深刻な影響を与えない。さらに、単色光源又は狭い帯域フィルタと組み合わせた
制限されたスペクトル帯域幅を有する光源を使用することにより、背景照明及び
スメアー効果が効率的に提言する(能動照明は、格納CCD57に画像をシフト
中に「オフ」に切り換えられる)。
ル情報を妨げないように、非反射防止構造体が組み合わされる。さらに、第1の
エリア56の上部にある電荷ダンプ拡散58により、寄生電荷を取り除くことが
できる。CCDゲートの寸法は、正方形のピクセル50.1、50.2、…を得
る(すなわち、ゲートの幅が長さの約12倍になる)ように優先的に選択される
。
D原理との好適な組み合わせである。
現される。CMOS−APS/CCDの具現化は、各ピクセルが個々にアドレス
され読み出され、反射防止の問題又はスメアーの問題が生じないため、単一CC
Dの具現化より好適であるように見える。図5から7に、CMOS−APS/C
CD技術で実現される3つの異なる実施形態が示されている。
示す。単一のサンプリング点は、従来のCCDラインのようなCCDゲートを動
作させることにより連続して読み出しノードに転送される。この転送中、さらな
る電荷が光学的に発生しないことに注目されたい。
出し用のOUTゲート61及びセンス拡散62を含む。ピクセル50は、アドレ
ス可能なピクセル内APS読み出し回路70を含む。
.2を有する実施形態を示す。この場合、2つのセンス拡散62.1、62.2
(又はそれぞれ62.3、62.4)は、2つの側からアクセス可能な1つのセ
ンスノード63.1(又は63.2)に短絡させられる。これにより、感光CC
Dゲートを介してサンプリング値を移動させることなく、読み出しステージ当た
り2つのサンプリング点を読み出すことができる。確かに、センス拡散62.1
から62.4は、より大きな静電容量(因数2未満)と、より悪い変換率(電子
当たりの電圧増加)を得るが、この欠点は耐え得るものである。言及すべきこと
は、ピクセル50当たり2つの読み出しステージ70.1、70.2を使用する
ことによる固定パターンノイズが問題ないことである。これは、(3)式の評価
アルゴリズムにおいて平衡化モードのサンプリング点が減算されたためである。
固定パターンノイズは、主に、オフセット部分をピクセル値に付加する。このオ
フセットは、減算後になくなる。これを、「1対のオフセットフリー電荷蓄積」
と呼ぶ。
。
された光源(又は送信機)101は、通常、検出器(又は受信機)103の付近
に配置される。照明された物体又は目標102の光出力密度が、照明源101と
目標102間の距離Lの2乗に従って減少するため、検出器103での受信強度
Irecも、目標距離Lの2乗に従って減少する。光パルス104が伝送されると
、受信機103のスイッチ105が開く。スイッチ105は、光パルス104が
終了すると閉じる。受信機103に蓄積された光の量は、スイッチ105のオン
時間により規定された時間ウィンドウ107と、受けた光パルス104のオン時
間の遅延時間ウィンドウ106の重なり合いに依存する。スイッチ105のオン
時間とパルス幅の両方は、同じ長さTをもつように選択される。したがって、距
離がゼロ(L=0)の目標102は、光パルス104の全量を受け、完全な光パ
ルス104が蓄積される。光源101から遠くに離れた目標102は、光パルス
104の一部分のみを蓄積する。パルス幅Tと光速度cの積の半分により規定さ
れた光パルス104の伝播範囲内の距離L<Lmaxのみが測定される。受光した
光の量は、図9に示されているように、発光能動照明源101までの目標の距離
Lの2乗に従って減少する。先行技術のシャッタ動作により、蓄積された受信信
号がさらに距離に依存して減衰する。
いる。「逆シャッタ動作」と呼ばれるこの方法によれば、スイッチ105は、光
パルス伝送の終了時又はそれ以降に開始される。レンジカメラから遠くに離れる
目標102は、レンジカメラ付近の目標102より光パルス104の長い周期を
蓄積する。距離Lの2乗に比例する拡散反射目標102からの後方散乱光の減衰
とともに(ランベルト反射目標と仮定)、光パルスの結果的に得られる蓄積され
た信号シェアは、目標102の距離Lに対して線形的に減少するのみである(図
11を参照)。
の方法は、方形パルスの代わりに下降傾斜パルス104を使用し、図10及び図
11に関して説明した「逆シャッタ動作」とこの動作とを組み合わせる。これに
より、蓄積された信号は、目標102がランベルトリフレクタであれば、目標の
距離Lに依存せず、その軽減率にのみ依存する。
形態を示す。
形態を示す。
形態を示す。
Claims (18)
- 【請求項1】 1次元又は2次元配列のピクセル(50)を含み、ピクセル(50)が、 入射電磁放射を電気信号に変換する少なくとも2つの要素(51.1、51.
2)を含み、各変換要素(51.1、51.2)が、 前記電気信号を格納する少なくとも1つの要素(54.1から54.4)に関
連し、前記少なくとも1つの格納要素(54.1から54.4)が、入射電磁放
射にアクセス不能又は無感応である、時間的に変調された電磁波を空間的に分解
して光検出し復調するための装置において、 ピクセル(50)は、ピクセル(50)に入射する電磁放射を空間的に平均化
し、平均化された電磁放射をピクセル(50)の前記変換要素(51.1、51
.2)に均等に分配する光学要素(41)を含むことを特徴とする装置。 - 【請求項2】 前記光学要素(41)は、屈折及び/又は回折光学要素を含む請求項1に記載
の装置。 - 【請求項3】 ピクセル(50)は、2つの変換要素(51.1、51.2)を有する請求項
1又は2に記載の装置。 - 【請求項4】 各変換要素(51.1)は、2つの格納要素(54.1、54.2)と関連す
る請求項1から3のいずれか一項に記載の装置。 - 【請求項5】 ピクセル(50)の前記配列は、CCD又はCMOS−APS/CCD技術に
おいて実現される請求項1から4のいずれか1項に記載の装置。 - 【請求項6】 (a)電磁放射を1次元又は2次元配列のピクセル(50)に衝突させるステ
ップと、 (b)少なくとも2つの変換要素(51.1、51.2)において、ピクセル
(50)に入射する電磁放射を少なくとも2つの電気信号に変換するステップと
、 (c)少なくとも1つの格納要素(54.1から54.4)に、前記少なくと
も2つの電気信号のそれぞれを格納するステップとを含む、時間的に変調された
電磁波を空間的に分解して光検出し復調するための方法において、 ステップ(c)の前に、ピクセル(50)に入射する電磁放射は空間的に平均
化され、平均化された電磁放射はピクセル(50)の前記変換要素(51.1、
51.2)に均等に分配されることを特徴とする方法。 - 【請求項7】 ピクセル(50)の2つの変換要素(51.1、51.2)は、互いに90°
位相シフトして動作される請求項6に記載の方法。 - 【請求項8】 各ピクセル(50)は、個々にアドレスされ読み出される請求項6又は7に記
載の方法。 - 【請求項9】 第1の制限された時間間隔の間、パルス状の電磁放射(104)を放出するた
めの手段(101)と、 第2の制限された時間間隔(107)の間、入射電磁放射を検出するための、
好ましくは請求項1から5のいずれか1項に記載の手段(103)とを含む、前
記装置と物体(102)との間の距離(L)を決定するための装置において、 前記第1及び第2の時間間隔が重複しないように、前記放出手段(101)及
び検出手段(103)を制御するための手段(105)を備えたことを特徴とす
る装置。 - 【請求項10】 前記制御手段(105)は、前記第1及び第2の時間間隔が本質的に同じ持続
時間(T)を有するものである請求項9に記載の装置。 - 【請求項11】 前記制御手段(105)は、前記第2の時間間隔が、前記第1の時間間隔が終
了したときに始まるものである請求項9又は10に記載の装置。 - 【請求項12】 前記放出手段(101)は、方形パルス又は下降傾斜パルスを放出するための
ものである請求項9から11のいずれか1項に記載の装置。 - 【請求項13】 前記検出手段(103)の感度及び/又は前記パルス(104)の形は、それ
らの結果が時間に応じて線形的に減少するように選択されるものである請求項9
から12のいずれか1項に記載の装置。 - 【請求項14】 第1の制限された時間間隔の間、測定システムから物体(102)へ電磁放射
のパルス(104)を放出するステップと、 前記物体から前記電磁放射の少なくとも一部を反射及び/又は散乱するステッ
プと、 第2の制限された時間間隔(107)の間、前記物体(102)から反射及び
/又は散乱された電磁放射を検出する、好ましくは請求項6から8のいずれか1
項に記載のステップとを含む前記測定システムと前記物体(102)との間の距
離(L)を決定するための方法において、 前記第1及び前記第2の時間間隔が重複しないことを特徴とする方法。 - 【請求項15】 前記第1及び前記第2の時間間隔は、本質的に同じ持続時間(T)を有する請
求項14に記載の方法。 - 【請求項16】 前記第2の時間間隔は、前記第1の時間間隔が終了するときに始まる請求項1
4又は15に記載の方法。 - 【請求項17】 前記パルス(104)は、方形パルス又は下降傾斜パルスである請求項14か
ら16のいずれか1項に記載の方法。 - 【請求項18】 検出感度及び/又は前記パルスの形は、それらの結果が時間に応じて線形的に
減少するように選択されるものである請求項14から17のいずれか1項に記載
の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00109271.7 | 2000-04-28 | ||
EP00109271A EP1152261A1 (en) | 2000-04-28 | 2000-04-28 | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
PCT/CH2001/000184 WO2001084182A1 (en) | 2000-04-28 | 2001-03-26 | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003532122A true JP2003532122A (ja) | 2003-10-28 |
Family
ID=8168592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001581152A Pending JP2003532122A (ja) | 2000-04-28 | 2001-03-26 | 変調された電磁波を空間的に分解して光検出し復調するための装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7060957B2 (ja) |
EP (1) | EP1152261A1 (ja) |
JP (1) | JP2003532122A (ja) |
WO (1) | WO2001084182A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005166810A (ja) * | 2003-12-01 | 2005-06-23 | Sanyo Electric Co Ltd | 固体撮像素子 |
JP2005235893A (ja) * | 2004-02-18 | 2005-09-02 | National Univ Corp Shizuoka Univ | 光飛行時間型距離センサ |
JP2006337286A (ja) * | 2005-06-03 | 2006-12-14 | Ricoh Co Ltd | 形状計測装置 |
US7362419B2 (en) | 2004-09-17 | 2008-04-22 | Matsushita Electric Works, Ltd. | Range image sensor |
WO2008047640A1 (fr) * | 2006-10-18 | 2008-04-24 | Panasonic Electric Works Co., Ltd. | Dispositif de détection d'informations spatiales |
JP2008544263A (ja) * | 2005-06-27 | 2008-12-04 | エイチエル−プラナー・テクニク・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | 電磁波検出用装置及びそのような装置製造のための方法 |
KR20110090501A (ko) * | 2010-02-04 | 2011-08-10 | 삼성전자주식회사 | 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템 |
JP2016024234A (ja) * | 2014-07-16 | 2016-02-08 | キヤノン株式会社 | 撮像装置 |
KR20190057125A (ko) * | 2016-10-03 | 2019-05-27 | 제노마틱스 엔브이 | 이미징 어레이 내의 픽셀의 노출 값으로부터 백그라운드 광을 차감하기 위한 방법 및 이를 이용한 픽셀 |
Families Citing this family (295)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
DE10207610A1 (de) * | 2002-02-22 | 2003-09-25 | Rudolf Schwarte | Verfahren und Vorrichtung zur Erfassung und Verarbeitung elektrischer und optischer Signale |
GB2389960A (en) | 2002-06-20 | 2003-12-24 | Suisse Electronique Microtech | Four-tap demodulation pixel |
KR100682566B1 (ko) * | 2002-07-15 | 2007-02-15 | 마츠시다 덴코 가부시키가이샤 | 제어 가능한 감도를 가진 수광 장치 및 그러한 수광장치를 이용하는 공간 정보 검출 장치 |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7545494B2 (en) * | 2003-07-23 | 2009-06-09 | Bayer Technology Services Gmbh | Analytical system and method for analyzing nonlinear optical signals |
ATE367587T1 (de) * | 2003-10-29 | 2007-08-15 | Fraunhofer Ges Forschung | Abstandssensor und verfahren zur abstandserfassung |
EP1622200A1 (en) * | 2004-07-26 | 2006-02-01 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Solid-state photodetector pixel and photodetecting method |
EP1624490B1 (en) | 2004-08-04 | 2018-10-03 | Heptagon Micro Optics Pte. Ltd. | Large-area pixel for use in an image sensor |
DE102004038302A1 (de) * | 2004-08-04 | 2006-03-16 | Iris-Gmbh Infrared & Intelligent Sensors | Expertensystem und mobiles Assistenzgerät |
DE102005011116B4 (de) * | 2005-03-10 | 2012-03-15 | Agtatec Ag | Vorrichtung zur Ansteuerung und/oder Überwachung eines Flügels |
EP1746410B1 (en) * | 2005-07-21 | 2018-08-22 | CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement | Apparatus and method for fluorescence lifetime imaging |
DE602005020614D1 (de) | 2005-08-08 | 2010-05-27 | Iee | Verfahren und Vorrichtung für redundante Abstandsmessung und für das Aufheben von Phasenversatz |
ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
EP1762862A1 (en) * | 2005-09-09 | 2007-03-14 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Method and device for 3D imaging |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
US8355117B2 (en) | 2005-12-21 | 2013-01-15 | Ecole Polytechnique Federale De Lausanne | Method and arrangement for measuring the distance to an object |
DE602006007361D1 (de) * | 2006-10-24 | 2009-07-30 | Fiat Ricerche | Optisches Verfahren und Vorrichtung zur Messung der Entfernung von einem Hindernis |
DE202007018027U1 (de) * | 2007-01-31 | 2008-04-17 | Richard Wolf Gmbh | Endoskopsystem |
DE102007006556B4 (de) | 2007-02-09 | 2012-09-06 | B/E Aerospace Systems Gmbh | Verfahren zur Sauerstoffnotversorgung in einem Flugzeug |
US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
US8005237B2 (en) | 2007-05-17 | 2011-08-23 | Microsoft Corp. | Sensor array beamformer post-processor |
US8629976B2 (en) | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
US8385557B2 (en) | 2008-06-19 | 2013-02-26 | Microsoft Corporation | Multichannel acoustic echo reduction |
US8325909B2 (en) | 2008-06-25 | 2012-12-04 | Microsoft Corporation | Acoustic echo suppression |
US8203699B2 (en) | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
US8487938B2 (en) | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8565476B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8565477B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US20100199231A1 (en) | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8448094B2 (en) * | 2009-01-30 | 2013-05-21 | Microsoft Corporation | Mapping a natural input device to a legacy system |
US8773355B2 (en) | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
US8988437B2 (en) | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
US9313376B1 (en) | 2009-04-01 | 2016-04-12 | Microsoft Technology Licensing, Llc | Dynamic depth power equalization |
US8660303B2 (en) | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
US9015638B2 (en) | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US8253746B2 (en) | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US8638985B2 (en) * | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
US9498718B2 (en) | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US9182814B2 (en) | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
US8625837B2 (en) | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
US8418085B2 (en) | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
US8693724B2 (en) | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
US8487871B2 (en) | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
EP2264481A1 (en) | 2009-06-04 | 2010-12-22 | IEE International Electronics & Engineering S.A. | Method and device for acquiring a range image |
EP2275833A1 (en) | 2009-07-01 | 2011-01-19 | IEE International Electronics & Engineering S.A.R.L. | Range camera and range image acquisition method |
US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
DE102009037596B4 (de) | 2009-08-14 | 2014-07-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur |
WO2011020921A1 (en) | 2009-08-21 | 2011-02-24 | Iee International Electronics & Engineering S.A. | Time-of-flight sensor |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
US9141193B2 (en) | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
US8330134B2 (en) | 2009-09-14 | 2012-12-11 | Microsoft Corporation | Optical fault monitoring |
US8508919B2 (en) | 2009-09-14 | 2013-08-13 | Microsoft Corporation | Separation of electrical and optical components |
US8976986B2 (en) | 2009-09-21 | 2015-03-10 | Microsoft Technology Licensing, Llc | Volume adjustment based on listener position |
US8760571B2 (en) | 2009-09-21 | 2014-06-24 | Microsoft Corporation | Alignment of lens and image sensor |
US8428340B2 (en) | 2009-09-21 | 2013-04-23 | Microsoft Corporation | Screen space plane identification |
EP2302564A1 (en) | 2009-09-23 | 2011-03-30 | Iee International Electronics & Engineering S.A. | Real-time dynamic reference image generation for range imaging system |
US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
US8452087B2 (en) | 2009-09-30 | 2013-05-28 | Microsoft Corporation | Image selection techniques |
US8723118B2 (en) | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US9400548B2 (en) | 2009-10-19 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture personalization and profile roaming |
US8988432B2 (en) | 2009-11-05 | 2015-03-24 | Microsoft Technology Licensing, Llc | Systems and methods for processing an image for target tracking |
US8843857B2 (en) | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
US20110150271A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Motion detection using depth images |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US9019201B2 (en) | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
US8933884B2 (en) | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
US8676581B2 (en) | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
US8265341B2 (en) | 2010-01-25 | 2012-09-11 | Microsoft Corporation | Voice-body identity correlation |
US8864581B2 (en) | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US8687044B2 (en) | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
US8717469B2 (en) | 2010-02-03 | 2014-05-06 | Microsoft Corporation | Fast gating photosurface |
US8659658B2 (en) | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
US8499257B2 (en) | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US20110199302A1 (en) * | 2010-02-16 | 2011-08-18 | Microsoft Corporation | Capturing screen objects using a collision volume |
US8928579B2 (en) | 2010-02-22 | 2015-01-06 | Andrew David Wilson | Interacting with an omni-directionally projected display |
US8411948B2 (en) | 2010-03-05 | 2013-04-02 | Microsoft Corporation | Up-sampling binary images for segmentation |
US8422769B2 (en) * | 2010-03-05 | 2013-04-16 | Microsoft Corporation | Image segmentation using reduced foreground training data |
US8655069B2 (en) | 2010-03-05 | 2014-02-18 | Microsoft Corporation | Updating image segmentation following user input |
US20110223995A1 (en) | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
US8213680B2 (en) | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
WO2011117162A1 (en) | 2010-03-25 | 2011-09-29 | Iee International Electronics & Engineering S.A. | Optoelectronic sensor and method for detecting impinging-light attribute |
US8514269B2 (en) | 2010-03-26 | 2013-08-20 | Microsoft Corporation | De-aliasing depth images |
US8523667B2 (en) | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
US8605763B2 (en) | 2010-03-31 | 2013-12-10 | Microsoft Corporation | Temperature measurement and control for laser and light-emitting diodes |
US9098873B2 (en) | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
US8379919B2 (en) | 2010-04-29 | 2013-02-19 | Microsoft Corporation | Multiple centroid condensation of probability distribution clouds |
US8284847B2 (en) | 2010-05-03 | 2012-10-09 | Microsoft Corporation | Detecting motion for a multifunction sensor device |
US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
US8498481B2 (en) | 2010-05-07 | 2013-07-30 | Microsoft Corporation | Image segmentation using star-convexity constraints |
US8457353B2 (en) | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
US8803888B2 (en) | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
US9008355B2 (en) | 2010-06-04 | 2015-04-14 | Microsoft Technology Licensing, Llc | Automatic depth camera aiming |
US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
US9557574B2 (en) | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
US8330822B2 (en) | 2010-06-09 | 2012-12-11 | Microsoft Corporation | Thermally-tuned depth camera light source |
US8749557B2 (en) | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
US9384329B2 (en) | 2010-06-11 | 2016-07-05 | Microsoft Technology Licensing, Llc | Caloric burn determination from body movement |
US8675981B2 (en) | 2010-06-11 | 2014-03-18 | Microsoft Corporation | Multi-modal gender recognition including depth data |
US8982151B2 (en) | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
US8558873B2 (en) | 2010-06-16 | 2013-10-15 | Microsoft Corporation | Use of wavefront coding to create a depth image |
US8296151B2 (en) | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
US8381108B2 (en) | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
US8416187B2 (en) | 2010-06-22 | 2013-04-09 | Microsoft Corporation | Item navigation using motion-capture data |
US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
US8613666B2 (en) | 2010-08-31 | 2013-12-24 | Microsoft Corporation | User selection and navigation based on looped motions |
US8437506B2 (en) | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US20120058824A1 (en) | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
US8988508B2 (en) | 2010-09-24 | 2015-03-24 | Microsoft Technology Licensing, Llc. | Wide angle field of view active illumination imaging system |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US8548270B2 (en) | 2010-10-04 | 2013-10-01 | Microsoft Corporation | Time-of-flight depth imaging |
US9484065B2 (en) | 2010-10-15 | 2016-11-01 | Microsoft Technology Licensing, Llc | Intelligent determination of replays based on event identification |
US8592739B2 (en) | 2010-11-02 | 2013-11-26 | Microsoft Corporation | Detection of configuration changes of an optical element in an illumination system |
US8866889B2 (en) | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
US8667519B2 (en) | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US10726861B2 (en) | 2010-11-15 | 2020-07-28 | Microsoft Technology Licensing, Llc | Semi-private communication in open environments |
US9349040B2 (en) | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
KR101812035B1 (ko) * | 2010-11-30 | 2017-12-26 | 삼성전자 주식회사 | 컬러 이미지와 깊이 이미지를 동시에 얻을 수 있는 이미지 센서, 이미지 센서의 동작 방법 및 이미지 센서를 포함하는 이미지 처리 시스템 |
US10234545B2 (en) | 2010-12-01 | 2019-03-19 | Microsoft Technology Licensing, Llc | Light source module |
US8553934B2 (en) | 2010-12-08 | 2013-10-08 | Microsoft Corporation | Orienting the position of a sensor |
US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
US8408706B2 (en) | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
KR101691156B1 (ko) | 2010-12-14 | 2016-12-30 | 삼성전자주식회사 | 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치 |
KR101798063B1 (ko) | 2010-12-14 | 2017-11-15 | 삼성전자주식회사 | 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치 |
US8920241B2 (en) | 2010-12-15 | 2014-12-30 | Microsoft Corporation | Gesture controlled persistent handles for interface guides |
US8884968B2 (en) | 2010-12-15 | 2014-11-11 | Microsoft Corporation | Modeling an object from image data |
US9171264B2 (en) | 2010-12-15 | 2015-10-27 | Microsoft Technology Licensing, Llc | Parallel processing machine learning decision tree training |
US8448056B2 (en) | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
US8994718B2 (en) | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
US9848106B2 (en) | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
US9821224B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
US8385596B2 (en) | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
US9123316B2 (en) | 2010-12-27 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive content creation |
US8488888B2 (en) | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
EP2477043A1 (en) * | 2011-01-12 | 2012-07-18 | Sony Corporation | 3D time-of-flight camera and method |
US9247238B2 (en) | 2011-01-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Reducing interference between multiple infra-red depth cameras |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
US8401242B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Real-time camera tracking using depth maps |
US8724887B2 (en) | 2011-02-03 | 2014-05-13 | Microsoft Corporation | Environmental modifications to mitigate environmental factors |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US8497838B2 (en) | 2011-02-16 | 2013-07-30 | Microsoft Corporation | Push actuation of interface controls |
US9551914B2 (en) | 2011-03-07 | 2017-01-24 | Microsoft Technology Licensing, Llc | Illuminator with refractive optical element |
US9067136B2 (en) | 2011-03-10 | 2015-06-30 | Microsoft Technology Licensing, Llc | Push personalization of interface controls |
US8571263B2 (en) | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
US9470778B2 (en) | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
US8503494B2 (en) | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
US8824749B2 (en) | 2011-04-05 | 2014-09-02 | Microsoft Corporation | Biometric recognition |
US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
US9259643B2 (en) | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
US10671841B2 (en) | 2011-05-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Attribute state classification |
US8888331B2 (en) | 2011-05-09 | 2014-11-18 | Microsoft Corporation | Low inductance light source module |
US9137463B2 (en) | 2011-05-12 | 2015-09-15 | Microsoft Technology Licensing, Llc | Adaptive high dynamic range camera |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
US8788973B2 (en) | 2011-05-23 | 2014-07-22 | Microsoft Corporation | Three-dimensional gesture controlled avatar configuration interface |
US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
US9594430B2 (en) | 2011-06-01 | 2017-03-14 | Microsoft Technology Licensing, Llc | Three-dimensional foreground selection for vision system |
US8526734B2 (en) | 2011-06-01 | 2013-09-03 | Microsoft Corporation | Three-dimensional background removal for vision system |
US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
US9724600B2 (en) | 2011-06-06 | 2017-08-08 | Microsoft Technology Licensing, Llc | Controlling objects in a virtual environment |
US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US9098110B2 (en) | 2011-06-06 | 2015-08-04 | Microsoft Technology Licensing, Llc | Head rotation tracking from depth-based center of mass |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US9013489B2 (en) | 2011-06-06 | 2015-04-21 | Microsoft Technology Licensing, Llc | Generation of avatar reflecting player appearance |
US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
US8597142B2 (en) | 2011-06-06 | 2013-12-03 | Microsoft Corporation | Dynamic camera based practice mode |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
US8786730B2 (en) | 2011-08-18 | 2014-07-22 | Microsoft Corporation | Image exposure using exclusion regions |
KR101854188B1 (ko) | 2011-10-25 | 2018-05-08 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법 |
US9557836B2 (en) | 2011-11-01 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth image compression |
US9117281B2 (en) | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
US8854426B2 (en) | 2011-11-07 | 2014-10-07 | Microsoft Corporation | Time-of-flight camera with guided light |
US8724906B2 (en) | 2011-11-18 | 2014-05-13 | Microsoft Corporation | Computing pose and/or shape of modifiable entities |
US8509545B2 (en) | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
US8803800B2 (en) | 2011-12-02 | 2014-08-12 | Microsoft Corporation | User interface control based on head orientation |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
US8971612B2 (en) | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US8630457B2 (en) | 2011-12-15 | 2014-01-14 | Microsoft Corporation | Problem states for pose tracking pipeline |
US8879831B2 (en) | 2011-12-15 | 2014-11-04 | Microsoft Corporation | Using high-level attributes to guide image processing |
US8811938B2 (en) | 2011-12-16 | 2014-08-19 | Microsoft Corporation | Providing a user interface experience based on inferred vehicle state |
US9342139B2 (en) | 2011-12-19 | 2016-05-17 | Microsoft Technology Licensing, Llc | Pairing a computing device to a user |
US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
KR101955334B1 (ko) | 2012-02-07 | 2019-03-07 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 |
US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
US9210401B2 (en) | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
KR101911133B1 (ko) | 2012-06-21 | 2018-10-23 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 깊이 카메라를 이용한 아바타 구성 |
US9836590B2 (en) | 2012-06-22 | 2017-12-05 | Microsoft Technology Licensing, Llc | Enhanced accuracy of user presence status determination |
WO2014000793A1 (en) | 2012-06-27 | 2014-01-03 | Teledyne Dalsa B.V. | Image sensor and apparatus comprising such image sensor |
US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
KR101858577B1 (ko) | 2012-10-10 | 2018-05-16 | 삼성전자주식회사 | 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치 |
US9402067B2 (en) | 2012-10-22 | 2016-07-26 | Samsung Electronics Co., Ltd. | Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system |
US8882310B2 (en) | 2012-12-10 | 2014-11-11 | Microsoft Corporation | Laser die light source module with low inductance |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9251590B2 (en) | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
KR102007277B1 (ko) | 2013-03-11 | 2019-08-05 | 삼성전자주식회사 | 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서 |
US9092657B2 (en) | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
US9274606B2 (en) | 2013-03-14 | 2016-03-01 | Microsoft Technology Licensing, Llc | NUI video conference controls |
US9953213B2 (en) | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
US9442186B2 (en) | 2013-05-13 | 2016-09-13 | Microsoft Technology Licensing, Llc | Interference reduction for TOF systems |
US9462253B2 (en) | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
US9443310B2 (en) | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
US9674563B2 (en) | 2013-11-04 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for recommending content |
US9769459B2 (en) | 2013-11-12 | 2017-09-19 | Microsoft Technology Licensing, Llc | Power efficient laser diode driver circuit and method |
DE102013112553A1 (de) * | 2013-11-14 | 2015-06-03 | Odos Imaging Ltd. | Beleuchtungsvorrichtung und Verfahren zum Beleuchten eines Objekts |
US9508385B2 (en) | 2013-11-21 | 2016-11-29 | Microsoft Technology Licensing, Llc | Audio-visual project generator |
US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
US9696265B2 (en) * | 2014-11-04 | 2017-07-04 | Exnodes Inc. | Computational wafer inspection filter design |
US20160290790A1 (en) * | 2015-03-31 | 2016-10-06 | Google Inc. | Method and apparatus for increasing the frame rate of a time of flight measurement |
FR3036187B1 (fr) * | 2015-05-12 | 2019-09-13 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de correction d’une image de fluorescence |
GB201516701D0 (en) * | 2015-09-21 | 2015-11-04 | Innovation & Business Dev Solutions Ltd | Time of flight distance sensor |
US10401496B2 (en) | 2015-09-30 | 2019-09-03 | Ams Sensors Singapore Pte. Ltd. | Optoelectronic modules operable to collect distance data via time-of-flight and triangulation |
EP3159711A1 (en) | 2015-10-23 | 2017-04-26 | Xenomatix NV | System and method for determining a distance to an object |
DE102016219519B4 (de) | 2015-10-30 | 2024-08-22 | pmdtechnologies ag | Lichtlaufzeitkamerasystem |
US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
US10191154B2 (en) | 2016-02-11 | 2019-01-29 | Massachusetts Institute Of Technology | Methods and apparatus for time-of-flight imaging |
US10257932B2 (en) | 2016-02-16 | 2019-04-09 | Microsoft Technology Licensing, Llc. | Laser diode chip on printed circuit board |
US10462452B2 (en) | 2016-03-16 | 2019-10-29 | Microsoft Technology Licensing, Llc | Synchronizing active illumination cameras |
US10190983B2 (en) | 2016-04-15 | 2019-01-29 | Massachusetts Institute Of Technology | Methods and apparatus for fluorescence lifetime imaging with pulsed light |
EP3301480A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System and method for determining a distance to an object |
EP3301478A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System for determining a distance to an object |
EP3301477A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System for determining a distance to an object |
EP3343246A1 (en) | 2016-12-30 | 2018-07-04 | Xenomatix NV | System for characterizing surroundings of a vehicle |
DE102017106072B3 (de) | 2017-03-21 | 2018-03-29 | Elmos Semiconductor Aktiengesellschaft | Verfahren zur Erfassung der Verzögerung zwischen einem Strompuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit |
DE102017106073B3 (de) | 2017-03-21 | 2018-03-29 | Elmos Semiconductor Aktiengesellschaft | Verfahren zur Erfassung der Verzögerung zwischen einem Spannungspuls an einem Leuchtmittel und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit |
DE102017106071B3 (de) | 2017-03-21 | 2018-03-29 | Elmos Semiconductor Aktiengesellschaft | Verfahren zur Erfassung der Verzögerung zwischen einem Lichtpuls und einem Shutter-an-Signal zur Verbesserung von Verfahren und Vorrichtungen zur Messung der Lichtlaufzeit |
DE102017106076B3 (de) | 2017-03-21 | 2018-07-26 | Elmos Semiconductor Aktiengesellschaft | Vorrichtung zur Signalverzögerung unter Benutzung eines Referenzoszillators und deren Anwendung in einer TOF-Kamera |
DE102017106077B3 (de) | 2017-03-21 | 2018-07-26 | Elmos Semiconductor Aktiengesellschaft | Vorrichtung zur Signalverzögerung unter Benutzung eines Quarz-Oszillators und deren Anwendung in einer TOF-Kamera |
DE102017106078B3 (de) | 2017-03-21 | 2018-07-26 | Elmos Semiconductor Aktiengesellschaft | Vorrichtung zur Signalverzögerung unter Benutzung eines MEMS Oszillators und deren Anwendung in einer TOF-Kamera |
EP3392674A1 (en) * | 2017-04-23 | 2018-10-24 | Xenomatix NV | A pixel structure |
SE542644C2 (en) * | 2017-05-30 | 2020-06-23 | Photon Sports Tech Ab | Method and camera arrangement for measuring a movement of a person |
US10016137B1 (en) | 2017-11-22 | 2018-07-10 | Hi Llc | System and method for simultaneously detecting phase modulated optical signals |
US10335036B2 (en) | 2017-11-22 | 2019-07-02 | Hi Llc | Pulsed ultrasound modulated optical tomography using lock-in camera |
CN111465871B (zh) | 2017-12-15 | 2024-10-11 | 齐诺马蒂赛股份有限公司 | 用于确定到对象的距离的系统和方法 |
DE102018115007A1 (de) | 2018-02-20 | 2019-08-22 | Iris-Gmbh Infrared & Intelligent Sensors | Vorrichtung und Verfahren zur Türraumüberwachung |
US10368752B1 (en) | 2018-03-08 | 2019-08-06 | Hi Llc | Devices and methods to convert conventional imagers into lock-in cameras |
US11206985B2 (en) | 2018-04-13 | 2021-12-28 | Hi Llc | Non-invasive optical detection systems and methods in highly scattering medium |
US11857316B2 (en) | 2018-05-07 | 2024-01-02 | Hi Llc | Non-invasive optical detection system and method |
JP7463671B2 (ja) * | 2019-08-01 | 2024-04-09 | Toppanホールディングス株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
KR20210084752A (ko) | 2019-12-27 | 2021-07-08 | 삼성전자주식회사 | 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19821974A1 (de) * | 1998-05-18 | 1999-11-25 | Rudolf Schwarte | Vorrichtung und Verfahren zur Erfassung von Phase und Amplitude elektromagnetischer Wellen |
JP2000517427A (ja) * | 1996-09-05 | 2000-12-26 | ルドルフ シュヴァルト | 電磁波の位相情報および/または振幅情報を調べるための方法と装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4796997A (en) * | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US4915498A (en) * | 1988-04-19 | 1990-04-10 | Malek Joseph H | Range imaging sensor |
US5497269A (en) * | 1992-06-25 | 1996-03-05 | Lockheed Missiles And Space Company, Inc. | Dispersive microlens |
DE4440613C1 (de) * | 1994-11-14 | 1996-07-25 | Leica Ag | Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes |
US5850282A (en) * | 1995-10-11 | 1998-12-15 | Canon Kabushiki Kaisha | Distance measuring device |
US6002423A (en) * | 1996-01-16 | 1999-12-14 | Visidyne, Inc. | Three-dimensional imaging system |
FR2745457B1 (fr) * | 1996-02-23 | 1998-04-24 | Suisse Electronique Microtech | Reseau de cellules photosensibles et capteur d'images comportant un tel reseau |
DE19704496C2 (de) * | 1996-09-05 | 2001-02-15 | Rudolf Schwarte | Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle |
-
2000
- 2000-04-28 EP EP00109271A patent/EP1152261A1/en not_active Withdrawn
-
2001
- 2001-03-26 JP JP2001581152A patent/JP2003532122A/ja active Pending
- 2001-03-26 WO PCT/CH2001/000184 patent/WO2001084182A1/en active Application Filing
- 2001-03-26 US US10/258,784 patent/US7060957B2/en not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000517427A (ja) * | 1996-09-05 | 2000-12-26 | ルドルフ シュヴァルト | 電磁波の位相情報および/または振幅情報を調べるための方法と装置 |
DE19821974A1 (de) * | 1998-05-18 | 1999-11-25 | Rudolf Schwarte | Vorrichtung und Verfahren zur Erfassung von Phase und Amplitude elektromagnetischer Wellen |
JP2002516490A (ja) * | 1998-05-18 | 2002-06-04 | ルドルフ シュワルテ | 電磁波の位相及び振幅を検出するための装置並びに方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005166810A (ja) * | 2003-12-01 | 2005-06-23 | Sanyo Electric Co Ltd | 固体撮像素子 |
JP4660086B2 (ja) * | 2003-12-01 | 2011-03-30 | 三洋電機株式会社 | 固体撮像素子 |
JP2005235893A (ja) * | 2004-02-18 | 2005-09-02 | National Univ Corp Shizuoka Univ | 光飛行時間型距離センサ |
US7362419B2 (en) | 2004-09-17 | 2008-04-22 | Matsushita Electric Works, Ltd. | Range image sensor |
JP2006337286A (ja) * | 2005-06-03 | 2006-12-14 | Ricoh Co Ltd | 形状計測装置 |
JP2008544263A (ja) * | 2005-06-27 | 2008-12-04 | エイチエル−プラナー・テクニク・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | 電磁波検出用装置及びそのような装置製造のための方法 |
KR100957084B1 (ko) | 2006-10-18 | 2010-05-13 | 파나소닉 전공 주식회사 | 공간 정보 검출 장치 |
US7755743B2 (en) | 2006-10-18 | 2010-07-13 | Panasonic Electric Works Co., Ltd. | Spatial information detecting apparatus |
WO2008047640A1 (fr) * | 2006-10-18 | 2008-04-24 | Panasonic Electric Works Co., Ltd. | Dispositif de détection d'informations spatiales |
KR20110090501A (ko) * | 2010-02-04 | 2011-08-10 | 삼성전자주식회사 | 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템 |
KR101681198B1 (ko) | 2010-02-04 | 2016-12-01 | 삼성전자주식회사 | 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템 |
JP2016024234A (ja) * | 2014-07-16 | 2016-02-08 | キヤノン株式会社 | 撮像装置 |
KR20190057125A (ko) * | 2016-10-03 | 2019-05-27 | 제노마틱스 엔브이 | 이미징 어레이 내의 픽셀의 노출 값으로부터 백그라운드 광을 차감하기 위한 방법 및 이를 이용한 픽셀 |
KR102471540B1 (ko) * | 2016-10-03 | 2022-11-28 | 제노마틱스 엔브이 | 이미징 어레이 내의 픽셀의 노출 값으로부터 백그라운드 광을 차감하기 위한 방법 및 이를 이용한 픽셀 |
US11543501B2 (en) | 2016-10-03 | 2023-01-03 | Xenomatix Nv | Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same |
Also Published As
Publication number | Publication date |
---|---|
US20040008394A1 (en) | 2004-01-15 |
WO2001084182A1 (en) | 2001-11-08 |
US7060957B2 (en) | 2006-06-13 |
EP1152261A1 (en) | 2001-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003532122A (ja) | 変調された電磁波を空間的に分解して光検出し復調するための装置及び方法 | |
US8760549B2 (en) | Demodulation pixel with daisy chain charge storage sites and method of operation therefor | |
US7947939B2 (en) | Detection of optical radiation using a photodiode structure | |
KR102471540B1 (ko) | 이미징 어레이 내의 픽셀의 노출 값으로부터 백그라운드 광을 차감하기 위한 방법 및 이를 이용한 픽셀 | |
Möller et al. | Robust 3D measurement with PMD sensors | |
Lange et al. | Demodulation pixels in CCD and CMOS technologies for time-of-flight ranging | |
US9140795B2 (en) | Time of flight sensor with subframe compression and method | |
US9442196B2 (en) | Demodulation sensor with separate pixel and storage arrays | |
CA2624299C (en) | Device and method for the demodulation of modulated electromagnetic wave fields | |
US9214492B2 (en) | Multispectral sensor | |
US8829408B2 (en) | Sensor pixel array and separated array of storage and accumulation with parallel acquisition and readout wherein each pixel includes storage sites and readout nodes | |
US20090224139A1 (en) | Drift Field Demodulation Pixel with Pinned Photo Diode | |
US20070182949A1 (en) | Method and arrangement for measuring the distance to an object | |
US7521663B2 (en) | Optoelectronic detector with multiple readout nodes and its use thereof | |
JP2022522952A (ja) | 飛行時間型装置および3d光学検出器 | |
Büttgen et al. | High-speed and high-sensitive demodulation pixel for 3D imaging | |
Pancheri et al. | Sensors based on in-pixel photo-mixing devices | |
Kim | A Study on High-Linearity High-Resolution Time-of-Flight Image Sensors Using Time-domain Feedback | |
Kawahito | Time-of-Flight Techniques | |
Carpenter et al. | High performance 7.4-micron interline transfer CCD platform for applied imaging markets | |
Seitz et al. | CCD and APS/CMOS technology for smart pixels and image sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120605 |