JP2022504249A - イメージングセンサ - Google Patents

イメージングセンサ Download PDF

Info

Publication number
JP2022504249A
JP2022504249A JP2021518588A JP2021518588A JP2022504249A JP 2022504249 A JP2022504249 A JP 2022504249A JP 2021518588 A JP2021518588 A JP 2021518588A JP 2021518588 A JP2021518588 A JP 2021518588A JP 2022504249 A JP2022504249 A JP 2022504249A
Authority
JP
Japan
Prior art keywords
pixel
signal
tof sensor
logic
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021518588A
Other languages
English (en)
Other versions
JP7459074B2 (ja
Inventor
トゥーン-ホーエンシュタイン アンドレアス
レーダー ハラルト
ローター ヴァーグナー ヴィルフリート
Original Assignee
イーリス-ゲゼルシャフト ミット ベシュレンクテル ハフツング インフラレッド アンド インテリジェント センサーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーリス-ゲゼルシャフト ミット ベシュレンクテル ハフツング インフラレッド アンド インテリジェント センサーズ filed Critical イーリス-ゲゼルシャフト ミット ベシュレンクテル ハフツング インフラレッド アンド インテリジェント センサーズ
Publication of JP2022504249A publication Critical patent/JP2022504249A/ja
Application granted granted Critical
Publication of JP7459074B2 publication Critical patent/JP7459074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

イメージング3D飛行時間型センサは、3次元空間における物体および人間を検出するために特に適している。この能力は、基本原理から結果的に得られる。センサのそれぞれの画素において、観察空間内に存在する物体までの距離は、光パルスの通過時間(time of flight)に基づいて特定される。したがって、センサは、3次元画像を供給し、この3次元画像を、対応する処理アルゴリズムを用いて分析することができる。特定の用途事例では、とりわけ人間と機械との間、機械と機械との間、または機械と空間との間の相互作用において、検出が確実(安全)に実施されることが必要である。安全性の程度は、安全完全性の水準(SIL-safety integrity level)における種々の基準に分類される。

Description

概要
イメージング3D飛行時間型センサ(TOFセンサ)は、3次元空間における物体および人間を検出するために特に適している。この能力は、基本原理から結果的に得られる。センサのそれぞれの画素において、センサの検出領域内に存在する物体までの距離は、光パルスの通過時間(飛行時間またはtime of flight(tof)とも呼ばれる)に基づいて特定される。したがって、センサは、センサのそれぞれの画素(ピクセルとも呼ばれる)ごとに、それぞれの画素と、これらの画素上に結像される物体表面区分との間の距離に相当する距離値が含まれたデータセットを反映するセンサ出力信号を供給する。これにより、センサは、3次元画像を供給し、この3次元画像を、対応する処理アルゴリズムを用いて分析することができる。例えば、所定の空間区域の内部に物体が存在するかどうかに関して、センサ出力信号を分析することが公知である。特定の用途では、1つまたは複数のイメージング3D飛行時間型センサを用いて、人間と機械部品とが、例えば機械の動作範囲内において危険なほど接近しているかどうかを検出することができる。
特定の用途事例では、とりわけ人間と機械との間、機械と機械との間、または機械と空間との間の相互作用において、検出が、特に高信頼性に実施されること、すなわち確実(安全)に実施されることが必要である。
安全性の程度は、安全完全性の水準(SIL-safety integrity level)における種々の基準に分類される:
Figure 2022504249000002
従来技術
(排他的ではないが)好ましくは、近赤外範囲内の電磁ビームを送出するための少なくとも1つの光送信器と、複数のビーム受信器の配列から構成されている撮像素子とを有する3D-TOFセンサが公知である。個々のビーム受信器は、撮像素子の、ひいては3D-TOFセンサのそれぞれ1つのピクセル(画素)に対応する。
典型的に、ビーム受信器は、2つのグループ(ビーム受信器A、ビーム受信器B)に分割されており、マトリクスとして配置されている。
それぞれのビーム受信器は、受光素子(例えば、フォトダイオードまたはフォトゲート)と、少なくとも1つのメモリ容量とを有する。
TOFセンサの一般的な動作方式は、以下のとおりである:
時点t0において、送信器がアクティブ化され、この送信器は、短い期間ti(例えば、30ns)の間、tiに対応する光パルス持続時間で光パルスを送出する。それと同時に、同じく短いアクティブ化期間tA(例えば、同じく30ns)の間、ビーム受信器Aがアクティブ化される。光パルスは、物体において反射され、飛行時間tofの分だけオフセットされて、ビーム受信器Aによって記録される。アクティブ化期間tAの間に、反射された光パルスのエネルギによって電荷、すなわち光電子が受光素子内に放出される。光パルスの記録から結果的に生じる電荷量(放出された光電子の数に相当)は、メモリ容量(A1)上に保存される。受信器Aは、反射された光パルスのうちの、時間差tA-tofに対応する部分のみを受信することができる。なぜなら、反射された光パルスは、アクティブ化期間の開始に対して飛行時間tofの分だけ遅延して受光素子に当たるからであり、したがって、アクティブ化期間と、反射された光パルスの持続時間とは、重複期間の間、部分的にのみ時間的に重複する。重複期間は、光パルスの通過時間または飛行時間に反比例する(図1を参照のこと)。それに応じて、放出される光電子の数も、光パルスの通過時間または飛行時間に少なくともほぼ反比例する。
時間遅延Δ=t0+tA(この例では再び30ns)を伴って、すなわち、第1のアクティブ化期間tAの終了の直後に続いて、ビーム受信器Bがアクティブ化される。ビーム受信器Bは、第2のアクティブ化期間tB(この例でも30ns)の間、アクティブである。この受信器も、反射された光パルスのうちの、時間差Δ=tof+ti-tA(ti=tAの場合には、tofである)に対応する部分であって、ひいては、この時間差(光パルスの通過時間または飛行時間)に比例して対応する部分のみを記録する。対応する電荷量は、メモリ容量B1上に保存される。
反射された信号は、反射された物体の反射率および距離によっては非常に弱くなる可能性があるので、増幅機構を設けることが必要である。このことは、上述した測定を複数回繰り返し、十分な信号レベルに達するまで、その時々の記録された電荷量がメモリ容量上に蓄積されることによって達成される。
次いで、以下のようにして距離を計算することができる:
E1=P(R)*kref*(T-tof)
E2=P(R)*kref*(tof+T-T)=P(R)*kref*tof
なお、
E1;E2は、受信器AおよびBに関する1回の走査当たりのエネルギであり、
T=tA=tB=tiは、最大距離が4.5m(一義性範囲)である場合における最大飛行時間=30nsであり、
krefは、ターゲットの反射係数であり、
tofは、パルスの飛行時間であり、
P(R)は、kref=1の場合における反射されたパルス出力である。
電荷量は、1回の走査プロセス当たりのそれぞれのエネルギ値に比例する。
単純化すると、200回の蓄積に関して以下のように記述することができる:
Figure 2022504249000003
なお、
A;Bは、メモリ容量AまたはB内に蓄積された電荷量であり、
pは、比例係数であり、この比例係数の具体的な特性は、この比例係数を考慮するためには重要ではない。
正規化(両方の容量内に蓄積された電荷量の合計による除算)により、反射率に依存しない正規化された電荷量Q1およびQ2を形成することができる。
Q1=A/(A+B) (商形成による反射率への依存性の排除)
Q2=B/(A+B)
それぞれの容量に関する正規化された電荷量から、飛行時間に関するそれぞれ1つの値を形成することができる:
tof1=(1-Q1)・T
tof2=Q2・T
誤差のない理想的なケースでは、このようにして特定された両方の飛行時間tof1とtof2とが同じになり、すなわちtof1=tof2になる。平均値を形成することにより、場合によって生じる測定誤差を軽減することができる:
tof=1/2(tof1+tof2) (平均値)
センサと、反射する物体との間の測定距離は、以下の結果になる:
S=1/2(c*tof) なお、cは、光速である。
上述した構造の拡張された変形例は、それぞれの受信器が、2つのメモリ容量を有することにある(受信器AがAaおよびAbを有し;受信器BがBaおよびBbを有する)。この特性から、拡張された機能オプションが得られる。
第1のオプション:
受信器Aと受信器Bとは、同一に動作される。メモリ容量AaとAbとは、オフセットされてスイッチングされ、Abは、(上述したように)Bの機能を引き受ける。
2つの光受信器の代わりに、それぞれ2つのメモリ容量
Figure 2022504249000004
を有するただ1つの光受信器のみが使用される。このような配置の利点は、適切に構成した場合、受信器の密度が増加する(解像度が良好になる)ことにあり得る。
第2のオプション:
信号の4相走査のために、追加的なメモリ容量が使用される。図1では、2つの積分期間を有する信号走査が説明されているが(2相)、ここでは、信号を4回走査することができ、この場合、走査点は、それぞれ信号の周期の1/4だけオフセットされる(図2を参照のこと)。変形例では、周期期間Tを有する周期的なパルスシーケンスを送出信号として使用することもできる。
反射された信号の、飛行時間tofに起因する位相シフトφに関しては、容量内に蓄積された電荷量Aa、Ab、Ba、およびBbから、以下のように計算可能である。
φ=tan-1(Aa-Ab)/(Ba-Bb)
厳密に言えば、位相角度の計算は、正弦波信号にのみ当てはまる。
続いて、位相シフトφからセンサと反射する物体との間の距離Sを計算することができる:
S=(φ*T)/2π
Tは、この場合、周期信号の周期である。
第2のオプションに関して示されている関係は、周期信号として正弦波の形態が選択された場合にも当てはまる。
どの手法が目的に適っているかは、TOFセンサの具体的な用途およびシステム設計に大きく依存している。
図1のもとで説明されている手法は、通常、非常に小さいデューティ比(例えば、25Wより大きいパルス出力;1:1000)での非常に強力なパルスを用いて使用されるが、図2に示されているパルスシーケンスは、1W~4Wのパルス出力で1:1の出力のデューティ比を用いて使用される。同じことが、光源の正弦波変調のためのピーク出力の選択にも当てはまる。目の安全性を遵守することにより、使用する出力の制限に注意すべきである。
アクティブピクセルセンサ(APS)の使用
それぞれの画素ごとに1つのアクティブピクセルセンサ(APS)を設けることが公知である。アクティブピクセルセンサは、典型的に1つのフォトダイオードと、複数の(電界効果)トランジスタとを有する。フォトダイオードに当たる光は、フォトダイオードのバリア層に電荷を放出し、これにより、入射した光子の結果としてダイオードの両端の(逆)電圧が降下する。アクティブピクセルセンサは、以下のように動作される。すなわち、アクティブ化期間の開始時に、フォトダイオードの両端の電圧がリセットトランジスタによって、定義された初期値にセットされる。アクティブ化期間の間、フォトダイオードのバリア層の容量は、入射して反射された光パルスによって引き起こされる光電流によって放電される。フォトダイオードの両端の電圧は、反射された光パルスの強度と、光パルスのうちの、アクティブピクセルセンサのアクティブ化期間に属する部分の持続時間とに比例して降下する。アクティブ化期間の終了時に、フォトダイオードの両端で降下した電圧の電圧値が読み出され、アナログの後処理に供給されるか、または即座にアナログ-デジタル変換器(ADC)に供給される。このためにそれぞれの画素は、増幅器トランジスタを有し、この増幅器トランジスタは、選択トランジスタによって1つの行の全ての画素のための共通の読み出し線路へと、大抵は列ごとにスイッチングされる。アクティブピクセルセンサは、CMOS(Complementary Metal-Oxide-Semiconductor)技術で実装可能である。フォトダイオードのバリア層内の電荷は、例えば熱プロセスによっても放出される可能性があるので、典型的に、本来の光信号に重畳する信号ノイズが生じる。
相関デュアルサンプリング(CDS)
上記の信号ノイズを軽減するために、フォトダイオードの両端の電圧を、アクティブ化期間の終了時に一度測定するだけでなく、全逆電圧(暗電圧)を回復するためにフォトダイオードをリセットした後に続いてもう一度測定して、ノイズ信号成分を少なくとも部分的に補償することができる基準信号を取得することが公知である。
このような相関デュアルサンプリングを実現するセンサは、それぞれのピクセルごとに、本明細書ではCDSステージと呼ばれる対応する回路を有する。CDSステージは、例えば演算増幅器を用いて実装可能である。
ピクセルの構造
画像センサのピクセルは、以下の構成要素、
・アクティブピクセルセンサ(本明細書ではAPSセルとも呼ばれる)
・APSセルに関連付けられたCDSステージ、および
・ピクセルを読み出すためのサンプルアンドホールドステージ(S&H)
を有することができる。
本発明
本発明の目標は、危険な故障が非常に発生しにくく、好ましくは1100年に1回未満の確率でしか発生し得ないように、上述したTOFセンサの構造を構成することである(ISO 13849-1によるSIL3またはカテゴリ4,PL e)。
本発明によれば、上記の目標を達成するために、少なくとも2つの信号経路(チャネルAおよびB)に分割されたピクセル構造を有する少なくとも1つのピクセルマトリクスを有する3D-TOFセンサであって、信号経路は、ピクセル配置に応じて、両方のチャネルに対して信号伝搬時間が同一になるようにルーティングされており(Hツリー)、それぞれの信号経路は、独自の独立した(eigenen unabhaengigen)アナログ信号出力(信号Aおよび信号B)を有し、3D-TOFセンサは、少なくとも2つの光送信器グループをさらに有し、そのうちのそれぞれの送信器グループが、少なくとも1つの送信器を含む、3D-TOFセンサが提案される。
好ましくは、送信器は、光の赤外線スペクトル範囲内で動作するように、赤外光で出力するように構成されている。
好ましくは、ピクセルマトリクスのそれぞれの信号経路のために、制御するための独自のロジック(信号経路Aのロジックおよび信号経路Bのロジック)が設けられている。この場合、それぞれの信号経路のロジックは、好ましくは、チャネルデータを相互に交換することにより、両方のチャネルの信号値を処理することによって振幅および距離値を特定するように構成されている。
本発明の第1の変形例によれば、第1のチャネルのピクセル(ピクセルA)の感光面と、第2のチャネルのピクセル(ピクセルB)の感光面とは、両方のピクセルが常に同じ光量を受信するように光学的に接続されている。
第1のチャネルのピクセル(ピクセルA)の感光面と、第2のチャネルのピクセル(ピクセルB)の感光面とは、拡散器によって接続可能であり、拡散器は、それぞれチャネルAからのピクセル(ピクセルA)の感光面と、チャネルBからのピクセル(ピクセルB)の感光面とにわたって光量を均等に分配する。この方法は、本明細書では光学的ビニングと呼ばれる。この場合、それぞれ1つのピクセルAを含むピクセルグループの信号経路と、それぞれ1つのピクセルBを含むピクセルグループの信号経路とは、互いに電気的には接続されていない。用途事例では、チャネルAおよびチャネルBにおけるピクセルを並列にアドレス指定することにより、ピクセルマトリクスを読み出すことができる。したがって、ピクセルマトリクスの出力部には、常に同時に、信号A1および信号B1の信号値、信号A2および信号B2の信号値、・・・信号Anおよび信号Bnの信号値が存在することとなる。
好ましくは、比較器ステージが設けられており、比較器ステージは、ピクセルマトリクスの複数の出力部に並列に存在する信号値同士を互いに比較するように構成されている。この場合、比較器のデジタル化された出力値は、好ましくはロジックAまたはBのうちの少なくとも一方において規定値と比較される。2つの信号値が大きな差を有しており、ひいては、例えば差に関する比較器比較値を上回った場合には、ロジックが、好ましくは失敗信号を形成し、3D-TOFセンサのピクセルの読み出しプロセスが中止される。
好ましくは、アナログ-デジタル変換器(ADC)が設けられており、アナログ-デジタル変換器(ADC)は、チャネルAまたはチャネルBに対応付けられており、それぞれのチャネルにおけるアナログ信号値AおよびBをデジタル化し、それぞれチャネルAのロジックまたはチャネルBのロジックに供給するように構成されている。続いて、デジタル化されたチャネル値同士を比較することができる。このためにチャネルデータは、好ましくは相互に交換される。計算された差分値が比較値を上回った場合には、ロジックが、好ましくは失敗信号を形成し、読み出しプロセスが中止される。
好ましくは、3D-TOFセンサは、追加的な特別な信号処理ステップを実施するように構成されており、より詳細には、信号値Aと信号値Bとを追加的な特別な信号処理ステップにおいて比較することによって光受信器の機能可能性をチェックするように構成されている。(少なくとも1つの送信器グループの)送信器の開始によってピクセルAとピクセルBとが同時にアクティブ化され、より正確には、それぞれのピクセルのメモリ容量がアクティブ化される。アクティブ化期間は、2相モードの場合には、光パルス持続時間の長さの2倍に相当し、4相モードの場合には、ちょうど光パルス持続時間の長さに相当する。この信号ステップによれば、光学的にビニングされたピクセルを有するピクセルマトリクスの出力部において、両方のチャネルAおよびBの出力部における信号値がそれぞれ同じになることが期待される。信号値が同じである(比較器しきい値を下回っている)ということは、ピクセルが機能可能であることを示唆している。
好ましくは、3D-TOFセンサは、送信器グループの機能可能性がチェックされるさらなる追加的な信号処理ステップを実施するように構成されている。(1つの送信器グループのみの)送信器の開始によってピクセルAまたはピクセルBのいずれかがアクティブ化され、より正確には、それぞれのピクセルの対応するメモリ容量がアクティブ化される。アクティブ化期間は、画像サイクルと比較してそれぞれ2倍のアクティブ化持続時間で実施される。アクティブ化期間の持続時間は、2相モードの場合には、光パルス持続時間の2倍に相当し、4相モードの場合には、ちょうど光パルス持続時間に相当する。このさらなる追加的な信号ステップの結果として、光学的にビニングされたピクセルを有するピクセルマトリクスの出力部において、両方のチャネルAおよびBの出力部における信号値がそれぞれ異なることが期待される。
アナログピクセルマトリクスの出力部における信号値が異なっているということは、それぞれの送信器グループが光パルスを送出し、機能可能であることを示唆している。
一方の送信器グループが証明されると、他方の送信器グループにも同じ方法を実施することができる。好ましい方法は、2つの画像サイクルの間で送信器グループをその時々で交代することである。
好ましくは、3D-TOFセンサは、画像サイクルの開始が、第1の送信器グループのチェック(請求項10)によって実施され、次いで、光受信器のチェック(請求項9)が実施され、その後、本来の画像処理が続くように構成されている。画像サイクルが完了すると、次の(すなわち、少なくとも第2の)送信器グループによる次の画像サイクルが開始する。この送信器グループの交代は、必要に応じて任意に継続される。
1つの変形例によれば、3D-TOFセンサは、複数の送信器グループを、少なくとも2つのそれぞれ異なる波長範囲(場合によっては重複可能)で動作させることにより、第1の送信器グループをチェックする信号ステップ(請求項10)を省略するように構成可能であり、ピクセルマトリクスは、対応する光学フィルタにより、それぞれの光学フィルタが2つの波長範囲のうちの一方のみを通過させることによって、ピクセルAおよびピクセルBが2つのそれぞれ異なる波長範囲のうちの一方に規定されるように構成されている。特に好ましい解決策は、第1の送信器グループおよびチャネルAのピクセルのために850nmの波長を使用し、第2の送信器グループおよびチャネルBのピクセルのために940nmの波長を使用することである。ここで、請求項7記載の信号ステップが実施される場合には、第1の送信器グループと第2の送信器グループとが同時にアクティブ化される。チャネルAのピクセルは、第1の波長範囲(850nm)内の反射された光パルスを受信し、チャネルBのピクセルは、第2の波長範囲(940nm)内の反射された光パルスを受信する。チャネルAおよびBの出力部において、それぞれ隣同士にアドレス指定されたピクセルに対して同じ大きさの信号値が存在する場合、または信号値が所定の比率で存在する場合には、このことは、2つのチャネルのアドレス指定された光受信器と、2つの送信器グループとの両方が機能可能であることの証拠である。
好ましくは、この場合にも、両方の波長に応じて上述した光学フィルタリングの信号値の一致を改善するために、光学的ビニングを補足的に実施することもできる。
好ましくは、それぞれ異なる波長に対してそれぞれ異なる量子効率が補償されるように、すなわち、3D-TOFセンサが無傷である場合にはチャネルAおよびBの出力部において同じ大きさの信号値が存在するように、チャネルAおよびチャネルBの光受信器の面積を、選択された波長に応じて適合させることにより、3D-TOFセンサを改善することができる。
好ましくは、それぞれの信号経路は、独自のプロセッサを有し、プロセッサは、チャネルのロジックの信号経路に接続されている。さらに好ましくは、プロセッサは、それぞれの他方のチャネルの入力部に接続されている。したがって、それぞれのプロセッサに、それぞれのロジックによって特定された計算された振幅および距離値が送信される。
それぞれのチャネルロジックのロジック演算は、好ましくは、それぞれのプロセッサが他方のプロセッサから完全に独立して少なくとも1つのチェック値(乱数)を計算することによってチェックされる。典型的に、2相モードの場合には1つのチェック値が計算され、4相モードの場合には2つのチェック値が計算される。それぞれのチェック値は、プロセッサによって同じチャネルのロジックに伝送される。ロジックは、伝送されたチェック値と、他方のチャネルのチェック値とを用いて、少なくとも1つの出力値、有利には2つの出力値を計算する。出力値を計算するためには、振幅および距離値を計算するための演算と同じ演算が使用される。出力値は、それぞれのチャネルのプロセッサに伝送される。プロセッサは、期待される出力値をプロセッサ自身の側で計算し、自身のチャネルのロジックから受信した出力値をプロセッサ自身が計算した出力値と照合し、偏差が発生している場合には失敗信号を出力する。
特に好ましい実施形態では、2つのプロセッサのうちの一方は、安全性指向のプロセッサである。安全性指向のプロセッサは、少なくとも、2つの独立したリアクションレスのコンピューティングコアを有し、1つの出力に対して2つの入力(1oo2-one out of two)を処理する。好ましくは、このアーキテクチャは、画像演算を安全な画像処理プロセスと安全でない画像処理プロセスに分割するために使用される。安全なプロセスは、もっぱら、3D-TOFセンサの定義された視野内において期待された標準位置からの個々の画素の偏差が発生するかどうかのみを検査する(3D点群の変形)。このような偏差が発生した場合には、警報信号が出力される。
安全でないプロセッサ上では、点群の変形の本来の原因を突きとめることを目的として、複雑な画像処理が実施される(例えば、人間、手、頭の動きの認識など)。
本発明の第2の変形例によれば、好ましくは以下の点で秀でている3D-TOFセンサが提案される:
3D-TOFセンサは、ピクセルマトリクスを有する撮像素子を有し、
ピクセルマトリクスは、少なくとも2つの別個の独立したブロックを有し、少なくとも2つの別個の信号経路においてデータを伝送し、かつ/または
撮像素子のピクセルマトリクスのピクセルは、少なくとも、感光性の受信器と、電荷担体を保存するためのメモリセルとを有し、かつ/または
信号経路は、少なくとも、アナログ-デジタル変換器(ADC)と、プログラマブルロジックと、メモリセルと、これらに接続されたプロセッサとから構成されており、かつ/または
撮像素子は、少なくとも、全てのブロックのための1つのグローバルシャッターを有し、グローバルシャッターは、プログラマブルロジックの制御信号によってトリガ可能であり、100ns未満の最小シャッター時間を設定可能であり、かつ/または
信号経路は、互いに独立して、かつ互いにリアクションレスに接続されており、かつ/または
信号経路は、ロジックまたはプロセッサのデータを相互に交換可能となるように接続されており、かつ/または
撮像素子のそれぞれのブロックには、当該ブロックにおいて物体側の同じ像が結像されるように、独自の結像光学系が対応付けられている。光学系同士の間の距離は、視差が解像不可能となるほど短く選択され、かつ/または
それぞれのブロックには、少なくとも1つの照明源が対応付けられており、照明源は、ロジックによってグローバルシャッターと同期される。
好ましくは、撮像素子は、それぞれのブロックが、対応する信号経路のロジックによって制御することができる別個のグローバルシャッターを有することを特徴とする。
好ましくは、撮像素子は、複数のブロックのグローバルシャッターがただ1つの信号経路のただ1つのロジック信号のみに依存していて、それぞれのグローバルシャッターの依存性が、設定可能な遅延時間(レジスタ値)によって設定されていることを特徴とする。
代替的または追加的に、撮像素子は、さらに好ましくは、
それぞれのブロックに、1つの光学フィルタ、または複数の光学フィルタからなるシステムを介して狭い光学スペクトル範囲が対応付けられ、かつ/または
複数の光学フィルタからなるシステムは、撮像素子上に直接的に設けられたフィルタと、光学系の結像システム内の少なくとも1つのさらなるフィルタとによって形成され、かつ/または
撮像素子の複数のブロック上に設けられたエッジフィルタとしての光学フィルタは、ブロック同士の厳密なスペクトル分離を保証し、その一方で、光学的な結像システム内のフィルタは、バンドフィルタとして構成されていて、複数のブロックのスペクトル範囲を含み、かつ/または
複数のブロックのそれぞれのスペクトル範囲にはそれぞれ1つの照明源が対応付けられており、この照明源は、対応するブロックの光学フィルタの透過範囲にちょうど対応する波長で光を放射する
ことを特徴とする。
このことは、前述した形式の撮像素子を用いて2D画像データを確実に撮影するための、以下の方法ステップを有する方法に相当する:
第1の処理ステップでは、グローバルシャッターが、事前に決定された露光時間でトリガされる。その結果、両方のブロック上では、それぞれのピクセルのメモリ内に、物体結像に相当するそれぞれ1つの電荷画像が存在することとなる。
第2の処理ステップでは、第1のブロックの画像データが第1のブロックの処理ライン(読み出しブロック1)に伝送され、画像データが第2のブロックの処理ライン(読み出しブロック2)に伝送される、等々である。このステップの結果、これらのブロックには、今や、デジタル形式の画像データが存在することとなる。
以下、本発明を、図面を参照しながら実施例に基づいてより詳細に説明する。
送出された光パルス(emitted pulse)の通過時間の測定に基づくTOF原理による距離測定を示す図である。 反射された光パルスの4相走査を用いた、図1と同様の通過時間の測定を示す図である。 2つの並列な経路と、これらの経路間の相互比較とを用いた、本発明によるTOFセンサの基本構造を示す図である。 図3に示されている基本構造を、3D-TOFセンサのピクセルレベルでどのようにして実装することができるかを示す図である。 a~cは、1つのピクセルマトリクスの複数のピクセルをどのようにして2つのチャネル(チャネルAおよびチャネルB)に分割することができるかの複数の異なる変形例を示す図である。 a,bは、光学的ビニングをどのようにして実装することができるかを示す断面図である。 図5aのピクセルマトリクスを例にして、ペアごとに評価されるべきチャネルAおよびBのピクセルを、光学的ビニングによってどのようにして光学的に並列に接続することができるかを示す図である。 反射された光パルスの同時走査を示す図である。 図8に示されている原理に従って図6および図7のピクセルマトリクスを走査するための回路図である。 光パルスを出力するための照明も二重に構成されていて、交互に使用されるそれぞれ2つの送信器を有する2つの送信器グループを有し得ることを示す図である。 図8に示されているピクセルAおよびBの同時走査の代わりに、ピクセルのうちの1つ、すなわちピクセルAまたはピクセルBのみが走査され、このようにして、アクティブ化された送信器グループの光量に対する尺度が得られることを示す図である。 a,bは、ピクセルマトリクスのそれぞれのピクセルAおよびピクセルBが、それぞれ異なる波長またはそれぞれ異なる波長範囲に対して感受性を有し得ることを示す図である。 ピクセルの量子効率がそれぞれの波長ごとにそれぞれ異なるべきである場合に、ピクセル面積の拡大によって量子効率の低下を補償することにより同等の水準を有する出力信号を取得するために、図12aまたは図12bの1つのピクセルマトリクスにおける複数のピクセルがそれぞれ異なる大きさの面積を有し得ることを示す図である。 それぞれ2つの波長範囲内で動作するチャネルAおよびBをチェックするためのさらなる比較器を有するロジック回路を示す図である。 チャネルAおよびBの信号を評価するための2つの同一のプロセッサAおよびBの代わりに、2つのそれぞれ異なるプロセッサを使用することができ、そのうちの一方が安全性指向のプロセッサであることを示す図である。 画像センサの原理構造を示す図であり、ここでは、CDSステージの演算増幅器が、回路の拡張により、ピクセルAの信号値とピクセルBの信号値とをアナログピクセルレベルで比較するための比較器としても機能する。 読み出しサイクルを示す図である。 第1のスイッチング状態における、図16の画像センサのCDSステージを示す図である。 第2のスイッチング状態における、図16の画像センサのCDSステージを示す図である。 第3のスイッチング状態における、図16の画像センサのCDSステージを示す図である。 ピクセルをブロックごとに読み出すために使用される複数の並列な読み出しチャネルを有する、高解像度の撮像素子を示す図である。 それぞれ異なる波長範囲に対して感受性を有する2つのピクセルブロックAおよびBを有する撮像素子を示す図である。 ピクセルマトリクスの機能のチェックを、ピクセルレベルと同様にブロックレベルでも実施することができることを示す図である(図8と比較のこと)。 2つのブロックAおよびBに分割されたピクセルマトリクスを読み出すための画像処理回路を示す図である。 追加的な光チャネルが設けられている、図22と同様の撮像素子を示す図である。 ただ1つのグローバルシャッターのみを有する撮像素子による、反射された光パルスの直列の走査を示す図である。
本発明の出発点は、EN ISO 13849(機械安全性)に記載されるような一般的な装置である。これによれば、少なくとも2つの信号経路を有するシステムを構成して、両方の並列な信号経路を相互比較することによって完全性を達成可能にすることにより、SIL3(カテゴリ4;PL e)を達成することができる(図3を参照のこと)。
図3に示されている3D-TOFセンサ10の原理構造によれば、3D-TOFセンサ10は、ピクセルによって形成可能な2つの入力ユニット12Aおよび12Bを有する(図4と比較のこと)。入力ユニットによって生成された出力信号、すなわち例えば、ピクセルの出力信号は、それぞれロジック14Aおよび14Bに供給され、これらのロジック14Aおよび14Bは、入力ユニット12Aおよび12Bの出力信号を評価する。ロジック14Aと14Bとは、相互比較の目的で互いに接続されている。相互比較の枠内において、とりわけ、ロジック14Aと14Bとがそれぞれ同じ出力信号を供給しているかどうかがチェックされる。相互比較の結果が肯定的であった場合には、入力ユニット12Aおよび12Bによって検出されて、ロジック14Aおよび14Bによって処理された信号が、それぞれの出力ユニット16Aおよび16Bに出力される。
したがって、図3および図4の3D-TOFセンサは、2つの並列な信号経路を有し、そのうちの一方は、入力ユニット12A、処理ロジック14A、および出力ユニット16Aによって形成され、そのうちの第2の信号経路は、入力ユニット12B、処理ロジック14B、および出力ユニット16Bによって形成される。したがって、第1の信号経路は、チャネルAを形成し、第2の信号経路は、チャネルBを形成する。ここで、この並列システムを3D-TOFセンサに適用することが提案される。
したがって、以下では「信号経路」および「チャネル」という用語を同義語として使用する。
本発明の第1の変形例
本発明の第1の変形例の枠内では、少なくとも2つのピクセル(ピクセルAおよびB)を用いた上記の原理は、信号経路AとBとの比較を伴う連続的な並列処理が達成されるように適用される。信号の比較は、信号処理のそれぞれ異なるレベルで実施される(図4を参照のこと)。
全てのピクセルAおよびBは、それぞれ同じ行、列の形態のマトリクスとして、またはチェス盤として配置される。
信号経路は、チャネルAおよびチャネルBに従って一貫して分離されて構成されている。このことは、シリコン内に組み込まれた受信器マトリクスがもっぱらアナログに構成されるか、またはアナログおよびデジタルに構成されるかに関係なく、アナログ信号経路およびデジタル信号経路の両方に当てはまる(図5を参照のこと)。
すなわち、2つの実装オプションが存在し、つまり、アナログ回路部品のみをシリコン内に組み込み、FPGA上の外部ロジックを使用するか、または全てのコンポーネントをシリコンまたは他の半導体材料内に完全に組み込むか、の2つの実装オプションが存在する。
光学的ビニング/受信器機能のチェック
複数のピクセルを回路レベルで組み合わせることは、技術的に公知である。この方法は、
・解像度を下げるため、
・画像速度を上げるため、または
・感度を改善して、ノイズを低減するため
に使用される。
新たな試みとして、ピクセルAとBとが同一の光出力(画像)を受信することを保証するために、光学的ビニングが導入される。
光学的ビニングは、ピクセルAおよびBを覆うように均質化拡散器を配置することによって達成可能である。この配置は、ピクセルAおよびBのうちのそれぞれ関係する感光面(光受信器)のみが光学的に接続されるように実施可能である。しかしながら、ピクセルの幾何形状全体を覆うように拡散器を敷設することも可能である。さらなる変形例は、CMOSイメージセンサの開口率(fill factor)を高めるために既に頻繁に使用されているようなマイクロ光学系の使用によって得られる。その場合、マイクロ光学系は、拡散器を覆うように配置される。
本発明の第1の変形例のさらなる実施例では、拡散器とマイクロ光学系とを、マイクロ光学に基づいて1つの要素内に実装することもできる。
ピクセルAおよびBのマトリクス配置に基づいて、それぞれA1とB1、A2とB2・・・AnとBnとが互いに光学的に接続され、ただし、信号の通過時間を同一に維持するためにA1およびB1、A2およびB2、またはAnおよびBnのアナログ信号経路が、長さに関してそれぞれ同一に構成されていることが前提である。この要件は、それぞれの光学的にビニングされたピクセルのスイッチングトランジスタのデジタル制御信号にも当てはまる(図6および図7を参照のこと)。
並列化された光受信器の機能可能性は、追加的な信号ステップによってチェックされる。この信号ステップの目的は、チャネルAとBとが同一の信号値を供給するかどうかをチェックすることである。これらの信号値は、ノイズレベル(ゼロ信号)を格段に上回っている必要がある。
このことは、反射された光パルスを同時に走査することによって達成される。走査時間は、2相モードの場合には、光パルス持続時間の長さの2倍に相当し(図8を参照のこと)、4相モードの場合には、ちょうど光パルス持続時間の長さに相当する。この場合にも、ピクセルAおよびピクセルBの両方のメモリに十分な電荷量が蓄積されるまで、反射された光パルスの送信および走査のサイクルを、好ましくは複数回、繰り返すべきである。
図9には、回路図が示されている。光学的にビニングされたピクセル(A1およびB2)のメモリは、積分フェーズの終了後に同時に選択され、アナログマトリクスの出力に適用される。ピクセルA1およびB1の電荷量の1回目の比較は、アナログ信号経路において(例えば、比較器の使用によって)実施される。AとBとの間の電圧差が、事前に定義されたしきい値を下回っているかどうかがチェックされる。このサイクルは、ピクセル内に存在するメモリの数(2相または4相)に応じて、1つのピクセルにつき1回または2回、実行可能である。メモリaおよびbの回路技術的な並列化を実現することも可能である。
さらに、信号値は、アナログ-デジタル変換器(ADC AおよびADC B;図9を参照のこと)においてデジタル化されて、2回目の比較が実施される。演算は、後続するロジックによって、かつ/またはそれぞれのロジックAまたはBに後続するプロセッサAまたはBによっても実施可能である。ロジックAおよびロジックBは、実装の形態という点で、プロセッサAおよびプロセッサBとは異なる。ロジックは、回路レベルでロジック演算を実現する回路であり、例えば、FPGA(フィールドプログラマブルゲートアレイ)の形態で設けることができる。これに対して、プロセッサの機能方式は、シーケンスプログラミングによって(例えば、ファームウェアの形態で)指定されている。プロセッサは、例えば、デジタルシグナルプロセッサ(DSP)であり得る。
アナログ領域またはデジタル領域において定義された差分値を上回ると、ロジックブロックにおいて失敗信号がトリガされ、撮像が停止される。この失敗信号は、信号経路を介してプロセッサインターフェース(出力部)に直接的に伝送される。
その後、安全な制御に関連するプロセッサ出力により、機械を安全停止へと導くことができる(図9を参照のこと)。
照明源の二重構成/送信器の機能可能性のチェック
信号経路が二重に構成されるのと同様に、光学的にビニングされたピクセルを用いた3D-TOFセンサの照明も、少なくとも二重に構成される。少なくとも2つの送信器グループが、交互に使用される(図10を参照のこと)。
1つの送信器グループは、少なくとも1つの送信器から構成されている。図10には、送信器グループの二重構成が示されており、それぞれ2つの送信器によって表されている。送信器1および3と、送信器2および4とが、それぞれ並列かつ交互に動作される。送信器として、LEDまたはレーザーダイオード(例えば、VCSEL)を使用することができる(図10を参照のこと)。
送信器機能をチェックするための延長されたサイクル
光学的ビニングと、追加的な信号ステップとにより、光受信器と、信号処理パイプラインとが同じ信号値を供給しているかどうかをチェックすることができる。信号値の同等性は、差分値によって判定可能であり、この差分値は、規定可能なしきい値を下回っていることが求められる。
このステップでは、送信器の機能可能性に関して判断することはできない。送信器の機能可能性に関する情報は、さらなる追加的な処理ステップによって提供可能である。
図8に図示されている、ピクセルAおよびピクセルBの反射された光パルスの同時走査の代わりに、ただ1つのピクセル、すなわちAまたはBのいずれかのみが走査される場合には、比較器ステージ(アナログ)またはデジタルのロジック部分での差分値決定の際に、アクティブ化された送信器グループからの光量に対する尺度を提供する、しきい値を上回る信号が生じる(図11を参照のこと)。
画像サイクルの実行中、信号経路を監視するために、本来の画像生成に先行して図8および図11による信号ステップが行われる。
Figure 2022504249000005
送信器グループ1と送信器グループ2とは、サイクル中に交互にアクティブ化される。
送信器の波長の分割による、送信器機能の代替的なチェックメカニズム
信号ルーティングの一貫した並列性の特に有利な実施形態は、送信器グループがそれぞれ異なる波長で送信し、その一方で、ピクセルAおよびピクセルBが、それぞれ異なる波長に対してそれぞれ選択的に反応できるようにすることによって達成可能である(図12aおよび図12bを参照のこと)。
この方法の利点は、図11に関連して説明した信号ステップを、第1の送信器グループおよび第2の送信器グループに対して繰り返し実施する必要がなく、このステップを同時に実施することが可能となることにある。なぜなら、両方の送信器グループを同時にアクティブ化することができ、波長選択性によって受信器を選択的に識別することができるからである。
次いで、光学的ビニングが、波長選択的に実施される。すなわち、1つの典型的な実施形態は、850nmの中心波長と、第2の受信器グループのためには940nmの中心波長とを有する、狭帯域フィルタおよび均質化機能の利用であり得る。
1つの特別な実施形態では、複数の光受信器の感光面を、それぞれ異なる波長のそれぞれ異なる量子効率同士が均衡されるように構成することができる(シリコン内では、940nmの場合の量子効率は、850nmの場合と比較して約30%低下する)。低い量子感度を有する受信器の感光面を比較的大きくすることによって、欠点を補償することができる(図13を参照のこと)。
図12は、波長選択による解決策の種々の配置を示す。図12aでは、それぞれAおよびBが、両方の波長で動作する。AおよびBの機能性は、それぞれの波長ごとにチェックされる。その結果、さらなる比較器を利用することができる。どのような波長が使用されるかに応じて、ロジックAまたはロジックBのいずれかが、比較器信号を処理する(図14)。
図12bのフィルタ配置が使用され、チェックステップにおいて2つのそれぞれ異なる波長を有する送信器グループが同時にアクティブ化される場合には、送信器チェックと受信器チェックとを同時に実施することができる。チャネルAとBとの間での比較器出力部における差分信号が、定義されたしきい値よりも小さいことにより、両方の送信器グループと、両方のチャネルの光受信器とが機能可能であると結論付けることができる。
ロジックAおよびBの機能
ロジックAは、チャネルAの光受信器のための制御信号、すなわち例えば、信号経路Aのための図18~図20に示されているCDSステージのスイッチを制御するための制御信号を供給する。ロジックBは、チャネルBの光受信器のための制御信号、すなわち例えば、信号経路Bのための図18~図20に示されているCDSステージのスイッチを制御するための制御信号を供給する。これらのロジックの同期化により、読み出しプロセスにおいてそれぞれ正しいピクセルペアがアドレス指定される。信号値の有効性は、比較器信号によって判定される。
さらなる処理ステップでは、これらのチャネルのデジタルの差分信号が、それぞれのロジックにおいて別個に計算される。このために、それぞれのロジックは、デジタル化されたチャネルデータを、これらが有効であると見なされる限りにおいて交換し合う。ピクセルAおよびBのデジタル化された差分信号がしきい値を上回ると、対応するプロセッサに失敗信号が伝達される。
両方のロジックは、信号振幅値および距離値を互いに独立して計算する。ロジックAの計算された値は、プロセッサAに伝送され、ロジックBの値は、プロセッサBに伝送される。計算された値はさらに、それぞれ相互に送信される。次いで、それぞれのプロセッサは、振幅値および距離値の比較を実施する。比較の結果、偏差が判明した場合には、対応するプロセッサが失敗信号を送信する。
ロジックの機能テスト
画像サイクルの間に、プロセッサは、上流に配置されているロジックにデジタルの入力値(乱数)を送信する。ロジックは、この乱数を各自の処理パイプラインに導入し、この乱数に基づいて出力値を計算し、この出力値は、それぞれのプロセッサのプロセッサルーチンにより、その正しさに関してチェックされる。処理プロセスは、ロジック間での入力値の交換を含む。すなわち、それぞれのロジックのチェックプロセスは、チャネルAの入力値およびチャネルBの入力値を用いて計算を行う。
計算関数は、距離値および振幅値を求めるための演算に相当する。プロセッサでの比較の結果、エラーが判明した場合には、それぞれのプロセッサを介して失敗信号が出力される。
プロセッサAおよびBの機能
第1の実施形態では、両方のプロセッサが、それぞれ同一の演算を実行する。それぞれのプロセッサは、独自のメモリと、独自のインターフェースとを有する。
出力OUT AおよびOUT Bは、下流に配置されたレベル(例えば、安全性指向の制御)で処理される。
複雑な画像処理演算のため、例えば人間の動きを分析するためにとりわけ有利である第2の実施形態では、一方のプロセッサ(例えば、チャネルA)のために、安全性指向のプロセッサが使用される。
安全性指向のプロセッサは、自身の内部に、並列化されたリアクションレスのアーキテクチャを有する。このようなプロセッサは、既知であり(例えば、HICore1-https://www.hima.com/en/products-services/hicore-1/)、例えば、いわゆる1oo2構造(one out of two)を有する。この場合、処理プロセスは、安全なプロセスと、安全でないプロセスとに分割される。
分割について、以下の例に基づいて説明することとする。
作業空間を監視する場合には、安全性領域への手の侵入を阻止すること、または安全性領域に手が侵入するとすぐに機械を停止することが重要である。
手の認識は、特定の複雑な画像処理演算(計算時間)を必要とするので、ある特定の領域が3次元の安全性ゾーンとして定義されるように、プロセスが分割される。その結果、安全性指向のプロセッサは、FOV(field of view:視野)内の定義された安全性ゾーン内の点群の位置のみをコントロールする。点群が偏差(変形)していれば、失敗信号がもたらされることとなろう。点群の位置の監視は、比較的簡単な演算である。
他方のプロセッサ上では、どのような物体が安全性ゾーンに侵入したかが調査される。対応する演算は、複雑であり、最新の高級言語を使用して実装される。手の場合には、ここから、例えば操作員への指示が結論される(図15を参照のこと)。
さらに、ピクセルAの信号値とピクセルBの信号値とをアナログピクセルレベルで比較するための比較器としても回路を拡張することにより、CDSステージの演算増幅器を実装することが可能である。
図16は、対応する画像センサの原理構造を示す。以下の図18~図20には、種々異なるスイッチング状態におけるCDSステージがより詳細に示されている。
ここでは、1つのピクセルが、例えばAPSセルと、CDSステージと、サンプルアンドホールドステージ(図面ではS&Hが付されている)とから構成される。
CDSステージは、一方では、所要の多重露光のための蓄積器として使用されると同時に、APSセルのフォトダイオードのリセットに起因するノイズ成分を抑制するための、かつ背景光を分離するためのステージとしても使用される。
ここで、新たな試みとして、既に説明したシーケンスによる隣接ピクセルとの相互比較がCDSステージに導入される。
図17は、読み出しサイクルを示す。
機能方式は、CDSステージの機能を用いて良好に説明可能である。
フェーズ1:
ピクセルAでは、スイッチS1a,S3aが閉成されており、スイッチS2a,S4a,およびS5aが開成されている。
ピクセルBでは、スイッチS1b,S3bが閉成されており、スイッチS2b,S4b,およびS5bが開成されている。
次の比率が得られる:
ピクセルAでは:
Q’1a=C1a(Va-Vref); Q’2a=C2a(Vref-Vouta(n))
ピクセルBでは:
Q’1b=C1b(Vb-Vref); Q’2b=C2b(Vref-Voutb(n))
図18は、CDSステージの第1のスイッチング状態におけるピクセルAおよびピクセルBを示しており、CDSステージは、フェーズ1においてこの第1のスイッチング状態を取る。
フェーズ2:
ピクセルAでは、スイッチS2a,S4aが閉成されており、スイッチS1a,S3a,およびS5aが開成されている。
ピクセルBでは、スイッチS2b,S4bが閉成されており、スイッチS1b,S3b,およびS5bが開成されている。
ピクセルAでは:
Q’’1a=C1a(Vb-Vref); Q’’2a=C2a(Vref-Vouta(n+1))
ピクセルBでは:
Q’’1b=C1b(Va-Vref); Q’’2b=C2b(Vref-Voutb(n+1))
その場合、キルヒホッフの電流則によって以下のように記述可能である:
ピクセルAでは:
Q’1a+Q’2a=Q’’1a+Q’’2a
この方程式に電荷の関係を代入すると、対応する変換後に、以下の結果が得られる:
Vouta(n+1)=C1a(Vb-Va)+C2aVout(n)
これと同等にして、ピクセルBの出力部における比率が得られる:
Voutb(n+1)=C1b(Va-Vb)+C2bVout(n)
コンデンサC2aまたはC2bの十分な出力電圧を達成するために、フェーズ1およびフェーズ2が複数回(N回)繰り返される。
図19は、CDSステージの第2のスイッチング状態におけるピクセルAおよびピクセルBを示しており、CDSステージは、フェーズ2においてこの第2のスイッチング状態を取る。
フェーズ3-チェックフェーズ
全てのスイッチが開成されており、スイッチSa5およびSb5のみが閉成されている。このフェーズでは、演算増幅器は、両方のピクセルにおける比較器として機能する。
結果として生じるコンデンサCa2およびCb2の電圧が、それぞれ基準電圧と比較される。
図20は、CDSステージの第3のスイッチング状態におけるピクセルAおよびピクセルBを示しており、CDSステージは、フェーズ3においてこの第3のスイッチング状態を取る。
容量Ca2の両端には、複数回蓄積された電圧差Vb-Vaが存在している。
容量Cb2の両端には、複数回蓄積された電圧差Va-Vbが存在している。
次に、以下の3つのケースを比較する。
1.N×Vouta(n+1)=N×Voutb(n+1) -これは、ピクセルAとピクセルBとが同じ値を供給する理想的なケースである。この理想的なケースは、現実の構成要素の物理的特性に起因して理論的な性質を有するに過ぎない。
2.N×Vouta(n+1)≒N×Voutb(n+1) -ピクセルAおよびピクセルBの出力部における値は、ほぼ同じである。一方の値は、他方の値よりも若干高いか、または若干低いかのいずれかである。この場合には、両方のピクセルを、機能可能であると見なすことができる。
比較器の両方の出力線路上に、ロジック0が出現する。
3.N×Vouta(n+1)≠N×Voutb(n+1) -ピクセルAの出力値は、ピクセルBの出力値よりも格段に大きいか、または格段に小さいかのいずれかである。1つのピクセルを、欠陥があると見なすべきである。
このケースでは、Vb>>Vaであれば、ピクセルAの出力部にロジック1が存在するであろう。
Vb<<Vaであれば、ピクセルBの出力部にロジック1が存在するであろう。
比較の後、CDSステージがリセットされ、新たなサイクルを開始することができる。
それぞれのCDSステージのスイッチは、対応する信号経路に対応付けられたロジックAまたはBによって制御される。
追加的な動作方式:
差分形成Vb-VaおよびVa-Vbの導入は、4相モードにおいても非常に有利に使用可能である。この場合には、位相シフトφを以下のように計算することにより、さらに上の方で説明したように、個々の値を読み出すことなく差分形成を利用して位相角度を計算することができる:
φ=tan-1(Aa-Ab)/(Ba-Bb)
前提条件は、2つのさらなるピクセルを利用することである。したがって、4ピクセルのグループまたは2ピクセルのグループにより、ただし合計4つのメモリセルを用いて、完全な4相のアーキテクチャが得られる。
本発明の第2の変形例
本発明の第2の変形例によれば、撮像素子(イメージャ)が、例えば、好ましくは複数の並列の読み出しチャネルを有する高解像度のCMOS技術によって構成される(図21を参照のこと)。このアーキテクチャの目的は、高解像度にもかかわらず高フレームレートを達成することである。読み出しチャネルは、通常、撮像素子マトリクスの複数の行または複数の列を組み合わせる。このような組み合わせは、以下ではブロックまたはイメージャブロックと呼ばれる(図22を参照のこと)。
図22は、詳細には以下のものを示す:
1-撮像素子、
2-感光面、
4-スペクトルフィルタAを有するイメージャブロックA、
5-スペクトルフィルタBを有するイメージャブロックB、
7-イメージャブロックAのための読み出しチャネル、
8-イメージャブロックBのための読み出しチャネル。
本発明の第2の変形例は、このように画像フィールドを複数の読み出しブロックに分割することを利用している。
以下では、本発明のさらなる変形例を、第1の実施例に基づいてより詳細に説明する。
好ましくは非常に高解像度の、例えば1280×1024ピクセルを有する画像フィールドが、作成された読み出しチャネルに従って複数のブロックに分割される。それぞれの読み出しブロックは、別個にトリガ可能な1つのグローバルシャッターによって動作する。
それぞれのブロックにはさらに、独自の結像光学系が対応付けられる。光学系同士の間の距離は、像側の物体距離が短くても視差がもはや解像されなくなるように、非常に短くなっている。すなわち、それぞれのブロック上において、物体側の同じ結像が形成される。
光学系および撮像素子のこの配置は、図4の並列化された読み出しおよび画像処理回路において使用される。
深部画像の計算:
本実施例は、2チャネル構造に基づく。撮像素子(イメージャ)は、ブロックAとブロックBとに分割されている。本実施例では、それぞれのブロックは、640×1024画素を有する。ブロックAおよびブロックBのためのデジタルの読み出しチャネルは、対応するロジックAおよびBにルーティングされている。これらのロジックブロックが既に、集積回路の一部を含んでいるか、または外部のロジック回路、例えばFPGAを含んでいるかは、重要ではない。
ロジックAおよびBは、それぞれのグローバルシャッター信号を制御し、それに応じて照明LAおよびLBも制御する。照明源は、同期して動作される。両方の照明源は、持続時間ti=tAの間、時点t0でのブロックAのグローバルシャッター信号によって同時にトリガされる。光パルスは、ターゲットにおいて反射され、飛行時間tofの分だけオフセットされて、ブロックAの全ての受信器Aによって記録される。光パルスの記録から結果的に生じる電荷量(光電子)は、それぞれの受信器に所属するメモリ容量(A1)上に保存される。ブロックAの受信器Aは、反射された光パルスのうちの、時間差tA-tofに比例して対応する部分のみを受信することができる。
ブロックBの受信器のグローバルシャッターは、時間遅延t0+tAを伴ってアクティブ化される。受信器Bは、時間tB(この例では、tA=tB)の間、アクティブである。この受信器も、反射された光パルスのうちの、時間差tof+ti-tA(ti=tAの場合には、tofである)に比例して対応する部分のみを記録する。対応する電荷量は、ブロックBのそれぞれの受信器に所属するメモリ容量B1上に保存される。
反射された信号は、ターゲットの反射率および距離によっては非常に弱くなる可能性があるので、増幅機構を設けることが必要である。このことは、上述した測定を複数回繰り返し、十分な信号レベルに達するまで、その時々の記録された電荷量がそれぞれ所属するメモリ容量上に蓄積されることによって達成される。このプロセスを、例えば100回繰り返すことができる。
その結果、ブロックAのメモリ容量A1には、t0~tAの期間にわたる画像が存在し、その一方で、メモリ容量B1には、tA~tBの期間にわたる画像が存在することとなる。
これら両方の画像は、それぞれの読み出しチャネルを介してそれぞれのロジックに伝達される。続いて、これらのロジックは、画像情報を相互に交換し、上記の規則に従ってピクセルごとにそれぞれ別個に深部画像を計算する:
Q1=A/(A+B) (商形成による反射率への依存性の排除)
Q2=B/(A+B)
tof1=(1-Q1)*T
tof2=Q2*T
tof=1/2(tof1+tof2) (平均値)
S=1/2(c*tof)
この計算規則は、ピクセルが、常に受信器マトリクス内での各自の位置に応じて計算されるように適用される。すなわち、選択された配置に応じて、A0,0とB0,0;A0,1とB0,1;・・・Am,nとBm,nである:
Figure 2022504249000006
計算の最後には、両方のロジックが、それぞれ1つの距離画像を含む。両方の距離画像は、一回だけ決定することができる温度依存性のキャリブレーション係数を除いて、同一であることが求められる。
深部画像の比較による機能のチェック:
さらなる演算では、両方の深部画像AおよびBの同一性が、ピクセルごとの比較によってチェックされる。この比較は、両方のロジック上で、または下流に接続されたプロセッサ上で実施可能である。
定義された期待される比較値から相違していてもよいピクセルペアの数のしきい値を、比較のために定義することができる。しきい値は、ピクセルペアが同じ値を供給しているかどうかと、何を等しいまたは等しくないと見なすべきかとを定義する。さらに、等しくないペアの数を、判定パラメータとして利用することができる。
少なくとも1つのプロセッサ上において定義されたしきい値を上回ると、プロセッサのうちの少なくとも一方が、出力部において失敗信号を生成する。
深部画像AとBとの比較は、既に複数の比較関数を合計している。これらの比較関数には、ピクセル感度、ゲート関数(積分/蓄積)、読み出し、ADC、およびロジック演算が含まれる。
ピクセルマトリクスの完全な機能可能性の有効性は、振幅画像のピクセルごとの比較によっても達成可能である。
2D振幅画像内のピクセルマトリクスの機能のチェック:
ピクセルレベルでの場合(さらに上の方および図8ならびに図9を参照のこと)と同様に、2D振幅画像内のピクセルマトリクスの機能のチェックも、ブロックレベルで実施可能である(図23および図24を参照のこと)。このことは、ブロックAおよびブロックBの両方において反射された光パルスを同時に走査することによって達成される。この場合にも、ブロックAおよびブロックBの両方のピクセルのメモリに十分な電荷量が蓄積されるまで、反射された光パルスの送信および走査のサイクルを複数回繰り返すべきである。
蓄積サイクルの完了後、ブロックAおよびBの画像が読み出され、両方のロジック上でピクセルごとに比較される。比較値は、ロジックと、下流に接続されたプロセッサとの両方において評価可能である。
ピクセル同士を等しいまたは等しくないと見なす必要があるかどうかを判定するしきい値を、比較のために定義することができる。さらに、失敗信号が生成される前に、定義された差異の分だけ互いに相違していてもよい(等しくない)ピクセルペアの数を定義することができる。少なくとも1つのチャネル上において定義されたしきい値を上回ると、プロセッサのうちの少なくとも一方が、出力部において失敗信号を生成する。
照明源のチェック:
上述したチェックサイクルは、照明源をチェックするためにも同様に適している。本実施例では、合計4つの照明源が使用される。本実施例では、チャネルAまたはチャネルBのロジックによってそれぞれ2つが制御される。
ここで、それぞれのチェックサイクルにおいてチャネルAの照明源またはチャネルBの照明源のいずれかを使用することにより、照明源をチェックすることができる。
相互比較による受信器信号値の比較とは異なり、照明源の比較は、それぞれのチャネルでの直列での比較によって実施される。
チェックは、本実施形態では以下のように実施される:
1.チャネルAの照明源の深部撮像と比較して2倍の長さ(例えば、60ns)で、光パルスを開始する。
2.光パルスの2倍の長さ(例えば、120ns)で、ブロックAおよびBの両方におけるグローバルシャッターを同時に開始する。
3.ブロックAの画像(画像A0)と、ブロックBの画像(画像B0)とをそれぞれのチャネルのロジックブロックに保存する。
4.チャネルBの照明源の深部撮像と比較して2倍の長さ(例えば、60ns)で、光パルスを開始する。
5.光パルスの2倍の長さ(例えば、120ns)で、ブロックAおよびBの両方におけるグローバルシャッターを同時に開始する。
6.ブロックAの画像(画像A1)と、ブロックBの画像(画像B1)とをそれぞれのチャネルのロジックブロックに保存する。
7.LA光源を用いた露光時におけるAサブマトリクスからのそれぞれのピクセル値A(i,j)およびBサブマトリクスからのそれぞれのピクセルB(i,j)を、LB光源を用いた露光からの対応する値と比較する。最大の差分値が定義される。この値を上回っている場合には欠陥が生じており、失敗信号をトリガすることができる。所定数のピクセルペアにおいて差分値を上回った場合にのみ失敗信号をトリガすることも考えられる。比較値は、ロジックと、下流に接続されたプロセッサとの両方において評価可能である。
本発明を、第2の実施例に基づいて説明する。
第1の実施例のように、好ましくは非常に高解像度の、例えば1280×1024画素を有する画像フィールドが、作成された読み出しチャネルに従って複数のブロックに分割される。第1の実施例とは異なり、それぞれの読み出しブロックが再び細分化される。すなわち、それぞれの読み出しブロックは、別個にトリガ可能な2つのグローバルシャッターによって動作する。
それぞれのサブブロック(Aa,Ab,Ba,Bb)にはさらに、独自の結像光学系が対応付けられる。ここでは4つである光学系同士の間の距離は、像側の物体距離が短くても視差がもはや解像されなくなるように、非常に短くなっている。すなわち、それぞれのサブブロック上において、物体側の同じ結像が形成される。
光学系およびイメージャのこの配置は、図24の並列化された読み出しおよび画像処理回路において使用される。
深部画像の計算:
本実施例は、引き続き、2チャネル構造に基づく。ただし、今や、撮像素子(イメージャ)は、ブロックAaおよびAbとブロックBaおよびBbとに分割されている。本実施例では、それぞれのブロックは、640×512画素を有する。ブロックAおよびブロックBのためのデジタルの読み出しチャネルは、対応するロジックAおよびBにルーティングされている。
ロジックAおよびBは、それぞれのグローバルシャッター信号を制御し、それに応じて照明LAおよびLBも制御する。照明源は、同期して動作される。
第1の実施例では、2つの積分期間を有する信号走査が説明されているが(2相)、ここでは、信号が4回走査され、この場合、走査点は、それぞれ信号の周期の1/4だけオフセットされる。
長さ30nsの光パルスを用いた実施例に関して、ここから、以下のように説明可能な走査シーケンスがもたらされるであろう:サブブロックAaに対して0~30ns、サブブロックBaに対して30ns~60ns、サブブロックAbに対して60ns~90ns、およびサブブロックBbに対して90ns~120ns(図2も参照のこと)。
示されている関係は、周期信号として正弦波の形態が選択された場合にも当てはまる。
反射された信号は、ターゲットの反射率および距離によっては非常に弱くなる可能性があるので、既に上述した増幅機構を設けることが必要である。このことは、測定を複数回繰り返し、十分な信号レベルに達するまで、その時々の記録された電荷量がサブブロック内のピクセルのそれぞれ所属するメモリ容量上に蓄積されることによって達成される。このプロセスを、例えば100回繰り返すことができる。
その結果、サブブロックのピクセルのメモリ容量には、それぞれ4分の1周期ごとにそれぞれ1つの画像が存在することとなる。ここから位相、ひいては1ピクセル当たりの距離Sを、以下の規則に従って計算することができる:
φ=tan^(-1) [(Ba-Bb)/(Aa-Ab)]
S=(φ*T)/(2π)
Tは、この場合、周期信号の周期である。
厳密に言えば、位相角度の計算は、正弦波信号にのみ当てはまる。矩形波信号の場合には、距離特性曲線の線形性を高めるために対応する補正を使用すべきである。とりわけT/2での走査により、4相走査の場合における距離特性曲線の線形性を改善することが可能となる。
第1の実施例において記載されたチェックプロセスが、同様にして実施される。
以下では、図26に示されている第3の実施例について説明する。
先行する例とは異なり、ピクセルマトリクス全体のためにただ1つのグローバルシャッターのみが利用される。先行する実施例では、深部画像の位相のために2つのグローバルシャッターが利用された(図1、図8、図11、および図23を参照のこと)ので、2つの位相画像を同時に(並列に)撮影することが可能であったが、図26に示されている実施例は、ただ1つのグローバルシャッターのみを有する撮像素子を基礎としている。この場合には、図26に示されているように、2つの位相画像を次々に(直列に)撮影しなければならない。その他の点では、第1の実施例と同じ光学構造を設けることができる。ピクセルマトリクスは、両方の読み出しチャネルに沿って2つのブロックAとBに分割される。それぞれのブロックには、独自の結像光学系が対応付けられる。両方の光学系同士の間の距離は、像側の物体距離が短くても視差がもはや解像されなくなるように、非常に短くなっている。すなわち、それぞれのブロック上において、物体側の同じ結像が形成される。
第1の実施例とは異なり、それぞれのブロックは、追加的に1つの光学フィルタ、または複数のフィルタからなるシステムを含む。フィルタまたはフィルタシステムは、それぞれのブロックの透過波長を、それぞれ対応する光源の光源波長に一致する狭いスペクトル帯域に制限する(図25を参照のこと)。
図25の実施例は、追加的な光チャネル3と、追加的な読み出しチャネル6とを有するという点で、図22の実施例とは異なっている。図25は、詳細には以下のものを示す:
1-撮像素子、
2-感光面、
3-追加的な光チャネル、
4-スペクトルフィルタAを有するイメージャブロックA、
5-スペクトルフィルタBを有するイメージャブロックB、
6-追加的な読み出しチャネル、
7-イメージャブロックAのための読み出しチャネル、
8-イメージャブロックBのための読み出しチャネル。
図示された全ての実施例について当てはまるように、それぞれの3D-TOFセンサは、複数の送信器グループを、少なくとも2つのそれぞれ異なる波長範囲(場合によっては重複可能)で動作させることにより、第1の送信器グループをチェックする信号ステップを省略するように構成可能であり、ピクセルマトリクスは、対応する光学フィルタにより、それぞれの光学フィルタが2つの波長範囲のうちの一方のみを通過させることによって、ピクセルAおよびピクセルB(またはブロックAおよびブロックB)が2つのそれぞれ異なる波長範囲のうちの一方に規定されるように構成されている。特に好ましい解決策は、第1の送信器グループおよびチャネルAのピクセルのために850nmの波長を使用し、第2の送信器グループおよびチャネルBのピクセルのために940nmの波長を使用することである。

Claims (15)

  1. 少なくとも2つの信号経路(チャネルAおよびB)に分割されたピクセル構造を有する少なくとも1つのピクセルマトリクスを有する3D-TOFセンサであって、
    前記信号経路は、ピクセル配置に応じて、両方の前記信号経路に対して信号伝搬時間が同一になるようにルーティングされており(Hツリー)、
    それぞれの信号経路は、独自の独立したアナログ信号出力(信号Aおよび信号B)を有し、
    前記3D-TOFセンサは、少なくとも2つの光送信器グループをさらに有し、そのうちのそれぞれの送信器グループが、少なくとも1つの送信器を含む、
    3D-TOFセンサ。
  2. 前記送信器は、赤外線スペクトル範囲内で動作する、請求項1記載の3D-TOFセンサ。
  3. 前記ピクセルマトリクスのそれぞれの信号経路のために、対応する前記信号経路のピクセルから到来する信号値を制御および処理するための独自のロジック(信号経路Aのロジックおよび信号経路Bのロジック)が設けられている、請求項1または2記載の3D-TOFセンサ。
  4. それぞれの信号経路の前記ロジックは、前記信号値を相互に交換することにより、両方の信号経路の前記信号値を処理することによって振幅および距離値を特定するように構成されている、請求項3記載の3D-TOFセンサ。
  5. 前記第1のチャネルのピクセル(ピクセルA)の感光面と、前記第2のチャネルのピクセル(ピクセルB)の感光面とは、両方のピクセルが同じ光量を受信するように光学的に接続されている、請求項1または2のうちの少なくとも1項記載の3D-TOFセンサ。
  6. 前記第1のチャネルのピクセル(ピクセルA)の感光面と、前記第2のチャネルのピクセル(ピクセルB)の感光面とは、拡散器によって接続されており、
    前記拡散器は、それぞれ前記チャネルAからのピクセル(ピクセルA)の前記感光面と、前記チャネルBからのピクセル(ピクセルB)の前記感光面とにわたって光量を均等に分配する、
    請求項3記載の3D-TOFセンサ。
  7. 前記3D-TOFセンサは、比較器ステージを有し、
    前記比較器ステージは、前記ピクセルマトリクスの複数の出力部に並列に存在する信号値同士を互いに比較するように、かつ/または比較器しきい値としての規定値と比較するように構成されている、
    請求項1から6までの少なくとも1項記載の3D-TOFセンサ。
  8. 前記3D-TOFセンサは、2つのアナログ-デジタル変換器を有し、
    前記2つのアナログ-デジタル変換器は、それぞれの前記信号経路Aまたは前記信号経路Bにおけるアナログ信号値AおよびBをデジタル化するように構成されており、それぞれ前記信号経路Aの前記ロジックまたは前記信号経路Bの前記ロジックに接続されている、
    請求項1から7までの少なくとも1項記載の3D-TOFセンサ。
  9. 前記3D-TOFセンサは、前記送信器の開始によって前記ピクセルAと前記ピクセルBとを同時にアクティブ化することにより、前記信号値Aと前記信号値Bとを追加的な特別な信号処理ステップにおいて比較することによって光受信器の機能可能性をチェックするように構成されている、請求項1から8までの少なくとも1項記載の3D-TOFセンサ。
  10. 前記3D-TOFセンサは、1つの送信器グループのみの前記送信器の開始によって前記ピクセルAまたは前記ピクセルBのいずれかをアクティブ化することにより、さらなる追加的な信号ステップによって前記送信器の機能可能性をチェックするように構成されている、請求項1から9までの少なくとも1項記載の3D-TOFセンサ。
  11. それぞれの前記信号経路は、プロセッサを有し、
    前記プロセッサは、前記チャネルの前記ロジックの前記信号経路に接続されており、
    それぞれのプロセッサに、それぞれの前記ロジックによって送信された計算された振幅および距離値が送信される、
    請求項1から10までの少なくとも1項記載の3D-TOFセンサ。
  12. 2つの前記プロセッサのうちの一方は、安全性指向のプロセッサであり、
    前記安全性指向のプロセッサは、少なくとも、2つの独立したリアクションレスのコンピューティングコアを有し、1つの出力に対して2つの入力(1oo2-one out of two)を処理する、
    請求項11記載の3D-TOFセンサ。
  13. ピクセルマトリクスを有する撮像素子を有するイメージングセンサを備えた3D-TOFセンサであって、
    前記撮像素子は、前記ピクセルマトリクスの、少なくとも2つの別個の独立したブロックの各々において画像データを読み出すことができ、少なくとも2つの別個の信号経路において前記データを伝送し、
    前記撮像素子の前記ピクセルマトリクスのピクセルは、少なくとも、感光性の受信器と、電荷担体を保存するためのメモリセルとを有し、
    前記信号経路は、アナログ-デジタル変換器と、プログラマブルロジックと、メモリセルと、これらに接続されたプロセッサとを有し、
    前記撮像素子は、少なくとも、全てのブロックのための1つのグローバルシャッターを有し、前記グローバルシャッターは、前記プログラマブルロジックの制御信号によってトリガ可能であり、100ns未満の最小シャッター時間を設定可能であり、
    前記信号経路は、互いに独立して、かつ互いにリアクションレスに接続されており、
    前記信号経路は、前記ロジックまたは前記プロセッサのデータを相互に交換可能となるように接続されている、
    3D-TOFセンサ。
  14. 前記撮像素子のそれぞれのブロックには、当該ブロックにおいて物体側の同じ像が結像されるように、独自の結像光学系が対応付けられており、
    それぞれのブロックには、少なくとも1つの照明源が対応付けられており、前記照明源は、前記ロジックによって前記グローバルシャッターと同期される、
    請求項13記載の3D-TOFセンサ。
  15. 前記センサは、それぞれのブロックが、対応する前記信号経路の前記ロジックによって制御することができる別個のグローバルシャッターを有することを特徴とする、請求項13または14記載の3D-TOFセンサ。
JP2021518588A 2018-10-04 2019-10-04 イメージングセンサ Active JP7459074B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102018124551 2018-10-04
DE102018124551.3 2018-10-04
DE102019124573 2019-09-12
DE102019124573.7 2019-09-12
PCT/EP2019/076963 WO2020070311A1 (de) 2018-10-04 2019-10-04 Bildgebender sensor

Publications (2)

Publication Number Publication Date
JP2022504249A true JP2022504249A (ja) 2022-01-13
JP7459074B2 JP7459074B2 (ja) 2024-04-01

Family

ID=68165559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518588A Active JP7459074B2 (ja) 2018-10-04 2019-10-04 イメージングセンサ

Country Status (6)

Country Link
US (1) US20210373164A1 (ja)
EP (1) EP3861374A1 (ja)
JP (1) JP7459074B2 (ja)
CN (1) CN113167900B (ja)
SG (1) SG11202104500RA (ja)
WO (1) WO2020070311A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3849173A1 (en) * 2020-01-13 2021-07-14 ams Sensors Belgium BVBA Pixel cell, image sensor and method for operating a pixel cell
CN113970757A (zh) * 2020-07-23 2022-01-25 华为技术有限公司 一种深度成像方法及深度成像系统
DE102022133586A1 (de) 2022-12-16 2024-06-27 Ams-Osram International Gmbh Optische messvorrichtung und verfahren
CN117518135B (zh) * 2023-12-29 2024-04-16 苏州识光芯科技术有限公司 基于tcspc的探测装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242478B1 (en) * 2003-12-05 2007-07-10 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
JP2008145348A (ja) * 2006-12-12 2008-06-26 Denso Corp 光センサ、距離検出装置、および距離検出方法
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
WO2017050633A1 (en) * 2015-09-21 2017-03-30 Photonic Vision Limited Time of flight distance sensor
US20170176250A1 (en) * 2015-12-21 2017-06-22 Stmicroelectronics (Research & Development) Limited Single photon avalanche diode (spad) array including distributed or tree for readout
US20170257617A1 (en) * 2016-03-03 2017-09-07 Facet Technology Corp. Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis
JP2018077122A (ja) * 2016-11-09 2018-05-17 ファナック株式会社 撮像装置及び撮像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901093B1 (de) * 2006-09-15 2018-11-14 Triple-IN Holding AG Aufnahme von Entfernungsbildern
FR2985140B1 (fr) * 2011-12-22 2014-08-29 Commissariat Energie Atomique Capteur de vision tridimensionnelle integre
ITMI20130334U1 (it) * 2013-09-30 2015-03-31 Datalogic IP Tech Srl Sensore a soppressione di sfondo
CN108463995B (zh) * 2015-11-26 2020-11-03 欧都思影像公司 成像系统、距离测量装置、操作成像系统和距离测量装置的方法
WO2017098725A1 (ja) * 2015-12-08 2017-06-15 パナソニックIpマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
EP3182162B1 (en) * 2015-12-18 2022-02-16 STMicroelectronics (Grenoble 2) SAS Multi-zone ranging and intensity mapping using spad based tof system
US10557925B2 (en) * 2016-08-26 2020-02-11 Samsung Electronics Co., Ltd. Time-of-flight (TOF) image sensor using amplitude modulation for range measurement
GB201704452D0 (en) * 2017-03-21 2017-05-03 Photonic Vision Ltd Time of flight sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242478B1 (en) * 2003-12-05 2007-07-10 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
JP2008145348A (ja) * 2006-12-12 2008-06-26 Denso Corp 光センサ、距離検出装置、および距離検出方法
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
WO2017050633A1 (en) * 2015-09-21 2017-03-30 Photonic Vision Limited Time of flight distance sensor
US20170176250A1 (en) * 2015-12-21 2017-06-22 Stmicroelectronics (Research & Development) Limited Single photon avalanche diode (spad) array including distributed or tree for readout
US20170257617A1 (en) * 2016-03-03 2017-09-07 Facet Technology Corp. Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis
JP2018077122A (ja) * 2016-11-09 2018-05-17 ファナック株式会社 撮像装置及び撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
角田浩: ""第5部 7.安全計装システム"", 生産現場情報化ハンドブック[ISBN: 4-7693-7130-6], vol. 初版第1刷, JPN6023032471, 25 November 2004 (2004-11-25), pages 637 - 646, ISSN: 0005124699 *

Also Published As

Publication number Publication date
SG11202104500RA (en) 2021-05-28
WO2020070311A1 (de) 2020-04-09
JP7459074B2 (ja) 2024-04-01
EP3861374A1 (de) 2021-08-11
CN113167900B (zh) 2025-01-14
US20210373164A1 (en) 2021-12-02
CN113167900A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP2022504249A (ja) イメージングセンサ
JP6823815B2 (ja) 固体撮像装置、距離測定装置および距離測定方法
CN110023785B (zh) 距离测定装置
JP7140601B2 (ja) ライダー装置及びライダー装置を動作させる方法
KR102040368B1 (ko) 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너
US11662443B2 (en) Method and apparatus for determining malfunction, and sensor system
US11991341B2 (en) Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
US20160327386A1 (en) Optical distance measuring device and method for optical distance measurement
US11269065B2 (en) Muilti-detector with interleaved photodetector arrays and analog readout circuits for lidar receiver
KR102357873B1 (ko) 비행시간 수신기용 랜덤 하드웨어 결함 및 열화 방지 보호 장치
CA2650235A1 (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
JP6773724B2 (ja) 精度情報を出力する測距装置
AU2009259721A1 (en) Sensor device for the spectrally resolved capture of valuable documents and a corresponding method
US11947068B2 (en) Electromagnetic wave detection apparatus and information acquisition system
WO2018065427A1 (en) System for determining a distance to an object
JP2019144533A (ja) 多重スペクトルセンサの応答バランス取り
US11563873B2 (en) Wide-angle 3D sensing
JPWO2019050024A1 (ja) 距離測定方法および距離測定装置
CN112748441A (zh) 一种探测器阵列异常像素的识别方法
EA042729B1 (ru) Визуализирующий датчик
US20200200908A1 (en) Object monitoring system including distance measuring device
JP4673674B2 (ja) 形状測定装置
JP6693757B2 (ja) 距離画像生成装置および方法
US20210341622A1 (en) Sensor system
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240319

R150 Certificate of patent or registration of utility model

Ref document number: 7459074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150