JP2022504249A - イメージングセンサ - Google Patents
イメージングセンサ Download PDFInfo
- Publication number
- JP2022504249A JP2022504249A JP2021518588A JP2021518588A JP2022504249A JP 2022504249 A JP2022504249 A JP 2022504249A JP 2021518588 A JP2021518588 A JP 2021518588A JP 2021518588 A JP2021518588 A JP 2021518588A JP 2022504249 A JP2022504249 A JP 2022504249A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- tof sensor
- logic
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 8
- 239000002800 charge carrier Substances 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 2
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000004913 activation Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 6
- 101150044955 tof1 gene Proteins 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 230000035508 accumulation Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 101000879673 Streptomyces coelicolor Subtilisin inhibitor-like protein 3 Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- HPIGCVXMBGOWTF-UHFFFAOYSA-N isomaltol Natural products CC(=O)C=1OC=CC=1O HPIGCVXMBGOWTF-UHFFFAOYSA-N 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
イメージング3D飛行時間型センサ(TOFセンサ)は、3次元空間における物体および人間を検出するために特に適している。この能力は、基本原理から結果的に得られる。センサのそれぞれの画素において、センサの検出領域内に存在する物体までの距離は、光パルスの通過時間(飛行時間またはtime of flight(tof)とも呼ばれる)に基づいて特定される。したがって、センサは、センサのそれぞれの画素(ピクセルとも呼ばれる)ごとに、それぞれの画素と、これらの画素上に結像される物体表面区分との間の距離に相当する距離値が含まれたデータセットを反映するセンサ出力信号を供給する。これにより、センサは、3次元画像を供給し、この3次元画像を、対応する処理アルゴリズムを用いて分析することができる。例えば、所定の空間区域の内部に物体が存在するかどうかに関して、センサ出力信号を分析することが公知である。特定の用途では、1つまたは複数のイメージング3D飛行時間型センサを用いて、人間と機械部品とが、例えば機械の動作範囲内において危険なほど接近しているかどうかを検出することができる。
(排他的ではないが)好ましくは、近赤外範囲内の電磁ビームを送出するための少なくとも1つの光送信器と、複数のビーム受信器の配列から構成されている撮像素子とを有する3D-TOFセンサが公知である。個々のビーム受信器は、撮像素子の、ひいては3D-TOFセンサのそれぞれ1つのピクセル(画素)に対応する。
E1=P(R)*kref*(T-tof)
E2=P(R)*kref*(tof+T-T)=P(R)*kref*tof
なお、
E1;E2は、受信器AおよびBに関する1回の走査当たりのエネルギであり、
T=tA=tB=tiは、最大距離が4.5m(一義性範囲)である場合における最大飛行時間=30nsであり、
krefは、ターゲットの反射係数であり、
tofは、パルスの飛行時間であり、
P(R)は、kref=1の場合における反射されたパルス出力である。
A;Bは、メモリ容量AまたはB内に蓄積された電荷量であり、
pは、比例係数であり、この比例係数の具体的な特性は、この比例係数を考慮するためには重要ではない。
Q1=A/(A+B) (商形成による反射率への依存性の排除)
Q2=B/(A+B)
それぞれの容量に関する正規化された電荷量から、飛行時間に関するそれぞれ1つの値を形成することができる:
tof1=(1-Q1)・T
tof2=Q2・T
tof=1/2(tof1+tof2) (平均値)
S=1/2(c*tof) なお、cは、光速である。
受信器Aと受信器Bとは、同一に動作される。メモリ容量AaとAbとは、オフセットされてスイッチングされ、Abは、(上述したように)Bの機能を引き受ける。
信号の4相走査のために、追加的なメモリ容量が使用される。図1では、2つの積分期間を有する信号走査が説明されているが(2相)、ここでは、信号を4回走査することができ、この場合、走査点は、それぞれ信号の周期の1/4だけオフセットされる(図2を参照のこと)。変形例では、周期期間Tを有する周期的なパルスシーケンスを送出信号として使用することもできる。
φ=tan-1(Aa-Ab)/(Ba-Bb)
厳密に言えば、位相角度の計算は、正弦波信号にのみ当てはまる。
S=(φ*T)/2π
Tは、この場合、周期信号の周期である。
それぞれの画素ごとに1つのアクティブピクセルセンサ(APS)を設けることが公知である。アクティブピクセルセンサは、典型的に1つのフォトダイオードと、複数の(電界効果)トランジスタとを有する。フォトダイオードに当たる光は、フォトダイオードのバリア層に電荷を放出し、これにより、入射した光子の結果としてダイオードの両端の(逆)電圧が降下する。アクティブピクセルセンサは、以下のように動作される。すなわち、アクティブ化期間の開始時に、フォトダイオードの両端の電圧がリセットトランジスタによって、定義された初期値にセットされる。アクティブ化期間の間、フォトダイオードのバリア層の容量は、入射して反射された光パルスによって引き起こされる光電流によって放電される。フォトダイオードの両端の電圧は、反射された光パルスの強度と、光パルスのうちの、アクティブピクセルセンサのアクティブ化期間に属する部分の持続時間とに比例して降下する。アクティブ化期間の終了時に、フォトダイオードの両端で降下した電圧の電圧値が読み出され、アナログの後処理に供給されるか、または即座にアナログ-デジタル変換器(ADC)に供給される。このためにそれぞれの画素は、増幅器トランジスタを有し、この増幅器トランジスタは、選択トランジスタによって1つの行の全ての画素のための共通の読み出し線路へと、大抵は列ごとにスイッチングされる。アクティブピクセルセンサは、CMOS(Complementary Metal-Oxide-Semiconductor)技術で実装可能である。フォトダイオードのバリア層内の電荷は、例えば熱プロセスによっても放出される可能性があるので、典型的に、本来の光信号に重畳する信号ノイズが生じる。
上記の信号ノイズを軽減するために、フォトダイオードの両端の電圧を、アクティブ化期間の終了時に一度測定するだけでなく、全逆電圧(暗電圧)を回復するためにフォトダイオードをリセットした後に続いてもう一度測定して、ノイズ信号成分を少なくとも部分的に補償することができる基準信号を取得することが公知である。
画像センサのピクセルは、以下の構成要素、
・アクティブピクセルセンサ(本明細書ではAPSセルとも呼ばれる)
・APSセルに関連付けられたCDSステージ、および
・ピクセルを読み出すためのサンプルアンドホールドステージ(S&H)
を有することができる。
本発明の目標は、危険な故障が非常に発生しにくく、好ましくは1100年に1回未満の確率でしか発生し得ないように、上述したTOFセンサの構造を構成することである(ISO 13849-1によるSIL3またはカテゴリ4,PL e)。
ピクセルマトリクスは、少なくとも2つの別個の独立したブロックを有し、少なくとも2つの別個の信号経路においてデータを伝送し、かつ/または
撮像素子のピクセルマトリクスのピクセルは、少なくとも、感光性の受信器と、電荷担体を保存するためのメモリセルとを有し、かつ/または
信号経路は、少なくとも、アナログ-デジタル変換器(ADC)と、プログラマブルロジックと、メモリセルと、これらに接続されたプロセッサとから構成されており、かつ/または
撮像素子は、少なくとも、全てのブロックのための1つのグローバルシャッターを有し、グローバルシャッターは、プログラマブルロジックの制御信号によってトリガ可能であり、100ns未満の最小シャッター時間を設定可能であり、かつ/または
信号経路は、互いに独立して、かつ互いにリアクションレスに接続されており、かつ/または
信号経路は、ロジックまたはプロセッサのデータを相互に交換可能となるように接続されており、かつ/または
撮像素子のそれぞれのブロックには、当該ブロックにおいて物体側の同じ像が結像されるように、独自の結像光学系が対応付けられている。光学系同士の間の距離は、視差が解像不可能となるほど短く選択され、かつ/または
それぞれのブロックには、少なくとも1つの照明源が対応付けられており、照明源は、ロジックによってグローバルシャッターと同期される。
それぞれのブロックに、1つの光学フィルタ、または複数の光学フィルタからなるシステムを介して狭い光学スペクトル範囲が対応付けられ、かつ/または
複数の光学フィルタからなるシステムは、撮像素子上に直接的に設けられたフィルタと、光学系の結像システム内の少なくとも1つのさらなるフィルタとによって形成され、かつ/または
撮像素子の複数のブロック上に設けられたエッジフィルタとしての光学フィルタは、ブロック同士の厳密なスペクトル分離を保証し、その一方で、光学的な結像システム内のフィルタは、バンドフィルタとして構成されていて、複数のブロックのスペクトル範囲を含み、かつ/または
複数のブロックのそれぞれのスペクトル範囲にはそれぞれ1つの照明源が対応付けられており、この照明源は、対応するブロックの光学フィルタの透過範囲にちょうど対応する波長で光を放射する
ことを特徴とする。
第1の処理ステップでは、グローバルシャッターが、事前に決定された露光時間でトリガされる。その結果、両方のブロック上では、それぞれのピクセルのメモリ内に、物体結像に相当するそれぞれ1つの電荷画像が存在することとなる。
第2の処理ステップでは、第1のブロックの画像データが第1のブロックの処理ライン(読み出しブロック1)に伝送され、画像データが第2のブロックの処理ライン(読み出しブロック2)に伝送される、等々である。このステップの結果、これらのブロックには、今や、デジタル形式の画像データが存在することとなる。
本発明の第1の変形例の枠内では、少なくとも2つのピクセル(ピクセルAおよびB)を用いた上記の原理は、信号経路AとBとの比較を伴う連続的な並列処理が達成されるように適用される。信号の比較は、信号処理のそれぞれ異なるレベルで実施される(図4を参照のこと)。
複数のピクセルを回路レベルで組み合わせることは、技術的に公知である。この方法は、
・解像度を下げるため、
・画像速度を上げるため、または
・感度を改善して、ノイズを低減するため
に使用される。
信号経路が二重に構成されるのと同様に、光学的にビニングされたピクセルを用いた3D-TOFセンサの照明も、少なくとも二重に構成される。少なくとも2つの送信器グループが、交互に使用される(図10を参照のこと)。
光学的ビニングと、追加的な信号ステップとにより、光受信器と、信号処理パイプラインとが同じ信号値を供給しているかどうかをチェックすることができる。信号値の同等性は、差分値によって判定可能であり、この差分値は、規定可能なしきい値を下回っていることが求められる。
信号ルーティングの一貫した並列性の特に有利な実施形態は、送信器グループがそれぞれ異なる波長で送信し、その一方で、ピクセルAおよびピクセルBが、それぞれ異なる波長に対してそれぞれ選択的に反応できるようにすることによって達成可能である(図12aおよび図12bを参照のこと)。
ロジックAは、チャネルAの光受信器のための制御信号、すなわち例えば、信号経路Aのための図18~図20に示されているCDSステージのスイッチを制御するための制御信号を供給する。ロジックBは、チャネルBの光受信器のための制御信号、すなわち例えば、信号経路Bのための図18~図20に示されているCDSステージのスイッチを制御するための制御信号を供給する。これらのロジックの同期化により、読み出しプロセスにおいてそれぞれ正しいピクセルペアがアドレス指定される。信号値の有効性は、比較器信号によって判定される。
画像サイクルの間に、プロセッサは、上流に配置されているロジックにデジタルの入力値(乱数)を送信する。ロジックは、この乱数を各自の処理パイプラインに導入し、この乱数に基づいて出力値を計算し、この出力値は、それぞれのプロセッサのプロセッサルーチンにより、その正しさに関してチェックされる。処理プロセスは、ロジック間での入力値の交換を含む。すなわち、それぞれのロジックのチェックプロセスは、チャネルAの入力値およびチャネルBの入力値を用いて計算を行う。
第1の実施形態では、両方のプロセッサが、それぞれ同一の演算を実行する。それぞれのプロセッサは、独自のメモリと、独自のインターフェースとを有する。
ピクセルAでは、スイッチS1a,S3aが閉成されており、スイッチS2a,S4a,およびS5aが開成されている。
ピクセルAでは:
Q’1a=C1a(Va-Vref); Q’2a=C2a(Vref-Vouta(n))
ピクセルBでは:
Q’1b=C1b(Vb-Vref); Q’2b=C2b(Vref-Voutb(n))
ピクセルAでは、スイッチS2a,S4aが閉成されており、スイッチS1a,S3a,およびS5aが開成されている。
Q’’1a=C1a(Vb-Vref); Q’’2a=C2a(Vref-Vouta(n+1))
ピクセルBでは:
Q’’1b=C1b(Va-Vref); Q’’2b=C2b(Vref-Voutb(n+1))
ピクセルAでは:
Q’1a+Q’2a=Q’’1a+Q’’2a
Vouta(n+1)=C1a(Vb-Va)+C2aVout(n)
Voutb(n+1)=C1b(Va-Vb)+C2bVout(n)
全てのスイッチが開成されており、スイッチSa5およびSb5のみが閉成されている。このフェーズでは、演算増幅器は、両方のピクセルにおける比較器として機能する。
差分形成Vb-VaおよびVa-Vbの導入は、4相モードにおいても非常に有利に使用可能である。この場合には、位相シフトφを以下のように計算することにより、さらに上の方で説明したように、個々の値を読み出すことなく差分形成を利用して位相角度を計算することができる:
φ=tan-1(Aa-Ab)/(Ba-Bb)
本発明の第2の変形例によれば、撮像素子(イメージャ)が、例えば、好ましくは複数の並列の読み出しチャネルを有する高解像度のCMOS技術によって構成される(図21を参照のこと)。このアーキテクチャの目的は、高解像度にもかかわらず高フレームレートを達成することである。読み出しチャネルは、通常、撮像素子マトリクスの複数の行または複数の列を組み合わせる。このような組み合わせは、以下ではブロックまたはイメージャブロックと呼ばれる(図22を参照のこと)。
1-撮像素子、
2-感光面、
4-スペクトルフィルタAを有するイメージャブロックA、
5-スペクトルフィルタBを有するイメージャブロックB、
7-イメージャブロックAのための読み出しチャネル、
8-イメージャブロックBのための読み出しチャネル。
本実施例は、2チャネル構造に基づく。撮像素子(イメージャ)は、ブロックAとブロックBとに分割されている。本実施例では、それぞれのブロックは、640×1024画素を有する。ブロックAおよびブロックBのためのデジタルの読み出しチャネルは、対応するロジックAおよびBにルーティングされている。これらのロジックブロックが既に、集積回路の一部を含んでいるか、または外部のロジック回路、例えばFPGAを含んでいるかは、重要ではない。
Q1=A/(A+B) (商形成による反射率への依存性の排除)
Q2=B/(A+B)
tof1=(1-Q1)*T
tof2=Q2*T
tof=1/2(tof1+tof2) (平均値)
S=1/2(c*tof)
さらなる演算では、両方の深部画像AおよびBの同一性が、ピクセルごとの比較によってチェックされる。この比較は、両方のロジック上で、または下流に接続されたプロセッサ上で実施可能である。
ピクセルレベルでの場合(さらに上の方および図8ならびに図9を参照のこと)と同様に、2D振幅画像内のピクセルマトリクスの機能のチェックも、ブロックレベルで実施可能である(図23および図24を参照のこと)。このことは、ブロックAおよびブロックBの両方において反射された光パルスを同時に走査することによって達成される。この場合にも、ブロックAおよびブロックBの両方のピクセルのメモリに十分な電荷量が蓄積されるまで、反射された光パルスの送信および走査のサイクルを複数回繰り返すべきである。
上述したチェックサイクルは、照明源をチェックするためにも同様に適している。本実施例では、合計4つの照明源が使用される。本実施例では、チャネルAまたはチャネルBのロジックによってそれぞれ2つが制御される。
1.チャネルAの照明源の深部撮像と比較して2倍の長さ(例えば、60ns)で、光パルスを開始する。
2.光パルスの2倍の長さ(例えば、120ns)で、ブロックAおよびBの両方におけるグローバルシャッターを同時に開始する。
3.ブロックAの画像(画像A0)と、ブロックBの画像(画像B0)とをそれぞれのチャネルのロジックブロックに保存する。
4.チャネルBの照明源の深部撮像と比較して2倍の長さ(例えば、60ns)で、光パルスを開始する。
5.光パルスの2倍の長さ(例えば、120ns)で、ブロックAおよびBの両方におけるグローバルシャッターを同時に開始する。
6.ブロックAの画像(画像A1)と、ブロックBの画像(画像B1)とをそれぞれのチャネルのロジックブロックに保存する。
7.LA光源を用いた露光時におけるAサブマトリクスからのそれぞれのピクセル値A(i,j)およびBサブマトリクスからのそれぞれのピクセルB(i,j)を、LB光源を用いた露光からの対応する値と比較する。最大の差分値が定義される。この値を上回っている場合には欠陥が生じており、失敗信号をトリガすることができる。所定数のピクセルペアにおいて差分値を上回った場合にのみ失敗信号をトリガすることも考えられる。比較値は、ロジックと、下流に接続されたプロセッサとの両方において評価可能である。
本実施例は、引き続き、2チャネル構造に基づく。ただし、今や、撮像素子(イメージャ)は、ブロックAaおよびAbとブロックBaおよびBbとに分割されている。本実施例では、それぞれのブロックは、640×512画素を有する。ブロックAおよびブロックBのためのデジタルの読み出しチャネルは、対応するロジックAおよびBにルーティングされている。
φ=tan^(-1) [(Ba-Bb)/(Aa-Ab)]
S=(φ*T)/(2π)
Tは、この場合、周期信号の周期である。
1-撮像素子、
2-感光面、
3-追加的な光チャネル、
4-スペクトルフィルタAを有するイメージャブロックA、
5-スペクトルフィルタBを有するイメージャブロックB、
6-追加的な読み出しチャネル、
7-イメージャブロックAのための読み出しチャネル、
8-イメージャブロックBのための読み出しチャネル。
Claims (15)
- 少なくとも2つの信号経路(チャネルAおよびB)に分割されたピクセル構造を有する少なくとも1つのピクセルマトリクスを有する3D-TOFセンサであって、
前記信号経路は、ピクセル配置に応じて、両方の前記信号経路に対して信号伝搬時間が同一になるようにルーティングされており(Hツリー)、
それぞれの信号経路は、独自の独立したアナログ信号出力(信号Aおよび信号B)を有し、
前記3D-TOFセンサは、少なくとも2つの光送信器グループをさらに有し、そのうちのそれぞれの送信器グループが、少なくとも1つの送信器を含む、
3D-TOFセンサ。 - 前記送信器は、赤外線スペクトル範囲内で動作する、請求項1記載の3D-TOFセンサ。
- 前記ピクセルマトリクスのそれぞれの信号経路のために、対応する前記信号経路のピクセルから到来する信号値を制御および処理するための独自のロジック(信号経路Aのロジックおよび信号経路Bのロジック)が設けられている、請求項1または2記載の3D-TOFセンサ。
- それぞれの信号経路の前記ロジックは、前記信号値を相互に交換することにより、両方の信号経路の前記信号値を処理することによって振幅および距離値を特定するように構成されている、請求項3記載の3D-TOFセンサ。
- 前記第1のチャネルのピクセル(ピクセルA)の感光面と、前記第2のチャネルのピクセル(ピクセルB)の感光面とは、両方のピクセルが同じ光量を受信するように光学的に接続されている、請求項1または2のうちの少なくとも1項記載の3D-TOFセンサ。
- 前記第1のチャネルのピクセル(ピクセルA)の感光面と、前記第2のチャネルのピクセル(ピクセルB)の感光面とは、拡散器によって接続されており、
前記拡散器は、それぞれ前記チャネルAからのピクセル(ピクセルA)の前記感光面と、前記チャネルBからのピクセル(ピクセルB)の前記感光面とにわたって光量を均等に分配する、
請求項3記載の3D-TOFセンサ。 - 前記3D-TOFセンサは、比較器ステージを有し、
前記比較器ステージは、前記ピクセルマトリクスの複数の出力部に並列に存在する信号値同士を互いに比較するように、かつ/または比較器しきい値としての規定値と比較するように構成されている、
請求項1から6までの少なくとも1項記載の3D-TOFセンサ。 - 前記3D-TOFセンサは、2つのアナログ-デジタル変換器を有し、
前記2つのアナログ-デジタル変換器は、それぞれの前記信号経路Aまたは前記信号経路Bにおけるアナログ信号値AおよびBをデジタル化するように構成されており、それぞれ前記信号経路Aの前記ロジックまたは前記信号経路Bの前記ロジックに接続されている、
請求項1から7までの少なくとも1項記載の3D-TOFセンサ。 - 前記3D-TOFセンサは、前記送信器の開始によって前記ピクセルAと前記ピクセルBとを同時にアクティブ化することにより、前記信号値Aと前記信号値Bとを追加的な特別な信号処理ステップにおいて比較することによって光受信器の機能可能性をチェックするように構成されている、請求項1から8までの少なくとも1項記載の3D-TOFセンサ。
- 前記3D-TOFセンサは、1つの送信器グループのみの前記送信器の開始によって前記ピクセルAまたは前記ピクセルBのいずれかをアクティブ化することにより、さらなる追加的な信号ステップによって前記送信器の機能可能性をチェックするように構成されている、請求項1から9までの少なくとも1項記載の3D-TOFセンサ。
- それぞれの前記信号経路は、プロセッサを有し、
前記プロセッサは、前記チャネルの前記ロジックの前記信号経路に接続されており、
それぞれのプロセッサに、それぞれの前記ロジックによって送信された計算された振幅および距離値が送信される、
請求項1から10までの少なくとも1項記載の3D-TOFセンサ。 - 2つの前記プロセッサのうちの一方は、安全性指向のプロセッサであり、
前記安全性指向のプロセッサは、少なくとも、2つの独立したリアクションレスのコンピューティングコアを有し、1つの出力に対して2つの入力(1oo2-one out of two)を処理する、
請求項11記載の3D-TOFセンサ。 - ピクセルマトリクスを有する撮像素子を有するイメージングセンサを備えた3D-TOFセンサであって、
前記撮像素子は、前記ピクセルマトリクスの、少なくとも2つの別個の独立したブロックの各々において画像データを読み出すことができ、少なくとも2つの別個の信号経路において前記データを伝送し、
前記撮像素子の前記ピクセルマトリクスのピクセルは、少なくとも、感光性の受信器と、電荷担体を保存するためのメモリセルとを有し、
前記信号経路は、アナログ-デジタル変換器と、プログラマブルロジックと、メモリセルと、これらに接続されたプロセッサとを有し、
前記撮像素子は、少なくとも、全てのブロックのための1つのグローバルシャッターを有し、前記グローバルシャッターは、前記プログラマブルロジックの制御信号によってトリガ可能であり、100ns未満の最小シャッター時間を設定可能であり、
前記信号経路は、互いに独立して、かつ互いにリアクションレスに接続されており、
前記信号経路は、前記ロジックまたは前記プロセッサのデータを相互に交換可能となるように接続されている、
3D-TOFセンサ。 - 前記撮像素子のそれぞれのブロックには、当該ブロックにおいて物体側の同じ像が結像されるように、独自の結像光学系が対応付けられており、
それぞれのブロックには、少なくとも1つの照明源が対応付けられており、前記照明源は、前記ロジックによって前記グローバルシャッターと同期される、
請求項13記載の3D-TOFセンサ。 - 前記センサは、それぞれのブロックが、対応する前記信号経路の前記ロジックによって制御することができる別個のグローバルシャッターを有することを特徴とする、請求項13または14記載の3D-TOFセンサ。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018124551 | 2018-10-04 | ||
DE102018124551.3 | 2018-10-04 | ||
DE102019124573 | 2019-09-12 | ||
DE102019124573.7 | 2019-09-12 | ||
PCT/EP2019/076963 WO2020070311A1 (de) | 2018-10-04 | 2019-10-04 | Bildgebender sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022504249A true JP2022504249A (ja) | 2022-01-13 |
JP7459074B2 JP7459074B2 (ja) | 2024-04-01 |
Family
ID=68165559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021518588A Active JP7459074B2 (ja) | 2018-10-04 | 2019-10-04 | イメージングセンサ |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210373164A1 (ja) |
EP (1) | EP3861374A1 (ja) |
JP (1) | JP7459074B2 (ja) |
CN (1) | CN113167900B (ja) |
SG (1) | SG11202104500RA (ja) |
WO (1) | WO2020070311A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3849173A1 (en) * | 2020-01-13 | 2021-07-14 | ams Sensors Belgium BVBA | Pixel cell, image sensor and method for operating a pixel cell |
CN113970757A (zh) * | 2020-07-23 | 2022-01-25 | 华为技术有限公司 | 一种深度成像方法及深度成像系统 |
DE102022133586A1 (de) | 2022-12-16 | 2024-06-27 | Ams-Osram International Gmbh | Optische messvorrichtung und verfahren |
CN117518135B (zh) * | 2023-12-29 | 2024-04-16 | 苏州识光芯科技术有限公司 | 基于tcspc的探测装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7242478B1 (en) * | 2003-12-05 | 2007-07-10 | Surface Optics Corporation | Spatially corrected full-cubed hyperspectral imager |
JP2008145348A (ja) * | 2006-12-12 | 2008-06-26 | Denso Corp | 光センサ、距離検出装置、および距離検出方法 |
JP2010256291A (ja) * | 2009-04-28 | 2010-11-11 | Toyota Motor Corp | 距離画像撮影装置 |
WO2017050633A1 (en) * | 2015-09-21 | 2017-03-30 | Photonic Vision Limited | Time of flight distance sensor |
US20170176250A1 (en) * | 2015-12-21 | 2017-06-22 | Stmicroelectronics (Research & Development) Limited | Single photon avalanche diode (spad) array including distributed or tree for readout |
US20170257617A1 (en) * | 2016-03-03 | 2017-09-07 | Facet Technology Corp. | Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis |
JP2018077122A (ja) * | 2016-11-09 | 2018-05-17 | ファナック株式会社 | 撮像装置及び撮像方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1901093B1 (de) * | 2006-09-15 | 2018-11-14 | Triple-IN Holding AG | Aufnahme von Entfernungsbildern |
FR2985140B1 (fr) * | 2011-12-22 | 2014-08-29 | Commissariat Energie Atomique | Capteur de vision tridimensionnelle integre |
ITMI20130334U1 (it) * | 2013-09-30 | 2015-03-31 | Datalogic IP Tech Srl | Sensore a soppressione di sfondo |
CN108463995B (zh) * | 2015-11-26 | 2020-11-03 | 欧都思影像公司 | 成像系统、距离测量装置、操作成像系统和距离测量装置的方法 |
WO2017098725A1 (ja) * | 2015-12-08 | 2017-06-15 | パナソニックIpマネジメント株式会社 | 固体撮像装置、距離測定装置および距離測定方法 |
EP3182162B1 (en) * | 2015-12-18 | 2022-02-16 | STMicroelectronics (Grenoble 2) SAS | Multi-zone ranging and intensity mapping using spad based tof system |
US10557925B2 (en) * | 2016-08-26 | 2020-02-11 | Samsung Electronics Co., Ltd. | Time-of-flight (TOF) image sensor using amplitude modulation for range measurement |
GB201704452D0 (en) * | 2017-03-21 | 2017-05-03 | Photonic Vision Ltd | Time of flight sensor |
-
2019
- 2019-10-04 US US17/282,084 patent/US20210373164A1/en active Pending
- 2019-10-04 CN CN201980080136.9A patent/CN113167900B/zh active Active
- 2019-10-04 SG SG11202104500RA patent/SG11202104500RA/en unknown
- 2019-10-04 EP EP19783510.1A patent/EP3861374A1/de active Pending
- 2019-10-04 WO PCT/EP2019/076963 patent/WO2020070311A1/de unknown
- 2019-10-04 JP JP2021518588A patent/JP7459074B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7242478B1 (en) * | 2003-12-05 | 2007-07-10 | Surface Optics Corporation | Spatially corrected full-cubed hyperspectral imager |
JP2008145348A (ja) * | 2006-12-12 | 2008-06-26 | Denso Corp | 光センサ、距離検出装置、および距離検出方法 |
JP2010256291A (ja) * | 2009-04-28 | 2010-11-11 | Toyota Motor Corp | 距離画像撮影装置 |
WO2017050633A1 (en) * | 2015-09-21 | 2017-03-30 | Photonic Vision Limited | Time of flight distance sensor |
US20170176250A1 (en) * | 2015-12-21 | 2017-06-22 | Stmicroelectronics (Research & Development) Limited | Single photon avalanche diode (spad) array including distributed or tree for readout |
US20170257617A1 (en) * | 2016-03-03 | 2017-09-07 | Facet Technology Corp. | Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis |
JP2018077122A (ja) * | 2016-11-09 | 2018-05-17 | ファナック株式会社 | 撮像装置及び撮像方法 |
Non-Patent Citations (1)
Title |
---|
角田浩: ""第5部 7.安全計装システム"", 生産現場情報化ハンドブック[ISBN: 4-7693-7130-6], vol. 初版第1刷, JPN6023032471, 25 November 2004 (2004-11-25), pages 637 - 646, ISSN: 0005124699 * |
Also Published As
Publication number | Publication date |
---|---|
SG11202104500RA (en) | 2021-05-28 |
WO2020070311A1 (de) | 2020-04-09 |
JP7459074B2 (ja) | 2024-04-01 |
EP3861374A1 (de) | 2021-08-11 |
CN113167900B (zh) | 2025-01-14 |
US20210373164A1 (en) | 2021-12-02 |
CN113167900A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022504249A (ja) | イメージングセンサ | |
JP6823815B2 (ja) | 固体撮像装置、距離測定装置および距離測定方法 | |
CN110023785B (zh) | 距离测定装置 | |
JP7140601B2 (ja) | ライダー装置及びライダー装置を動作させる方法 | |
KR102040368B1 (ko) | 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 | |
US11662443B2 (en) | Method and apparatus for determining malfunction, and sensor system | |
US11991341B2 (en) | Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module | |
US20160327386A1 (en) | Optical distance measuring device and method for optical distance measurement | |
US11269065B2 (en) | Muilti-detector with interleaved photodetector arrays and analog readout circuits for lidar receiver | |
KR102357873B1 (ko) | 비행시간 수신기용 랜덤 하드웨어 결함 및 열화 방지 보호 장치 | |
CA2650235A1 (en) | Distance measuring method and distance measuring element for detecting the spatial dimension of a target | |
JP6773724B2 (ja) | 精度情報を出力する測距装置 | |
AU2009259721A1 (en) | Sensor device for the spectrally resolved capture of valuable documents and a corresponding method | |
US11947068B2 (en) | Electromagnetic wave detection apparatus and information acquisition system | |
WO2018065427A1 (en) | System for determining a distance to an object | |
JP2019144533A (ja) | 多重スペクトルセンサの応答バランス取り | |
US11563873B2 (en) | Wide-angle 3D sensing | |
JPWO2019050024A1 (ja) | 距離測定方法および距離測定装置 | |
CN112748441A (zh) | 一种探测器阵列异常像素的识别方法 | |
EA042729B1 (ru) | Визуализирующий датчик | |
US20200200908A1 (en) | Object monitoring system including distance measuring device | |
JP4673674B2 (ja) | 形状測定装置 | |
JP6693757B2 (ja) | 距離画像生成装置および方法 | |
US20210341622A1 (en) | Sensor system | |
JP2017133931A (ja) | 画像生成装置、ならびに距離画像およびカラー画像の生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7459074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |