JP2022515047A - LiDARシステムおよび自動車 - Google Patents

LiDARシステムおよび自動車 Download PDF

Info

Publication number
JP2022515047A
JP2022515047A JP2021533443A JP2021533443A JP2022515047A JP 2022515047 A JP2022515047 A JP 2022515047A JP 2021533443 A JP2021533443 A JP 2021533443A JP 2021533443 A JP2021533443 A JP 2021533443A JP 2022515047 A JP2022515047 A JP 2022515047A
Authority
JP
Japan
Prior art keywords
photodetector
lidar system
light wavelength
wavelength range
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021533443A
Other languages
English (en)
Other versions
JP7190576B2 (ja
Inventor
ホレチェク,アンネマリエ
カミル,ムスタファ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2022515047A publication Critical patent/JP2022515047A/ja
Application granted granted Critical
Publication of JP7190576B2 publication Critical patent/JP7190576B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • B60W2420/408

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

環境に関する奥行き情報を検出するために光ビームで環境を走査するように構成されたLiDARシステム(1)であって、さらに、環境に関する色情報を検出するように構成されるLiDARシステム(1)を述べる。さらに、そのようなLiDARシステム(1)を備える自動車であって、LiDARシステム(1)が動作接続された自動車を述べる。

Description

本発明は、環境に関する奥行き情報を検出するために光ビームで環境を走査するように構成されたLiDARシステムに関する。
本発明は、さらに、そのようなLiDARシステムを備える自動車であって、LiDARシステムが動作接続された自動車に関する。
そのようなLiDARシステムおよび自動車は、一般に知られている。LiDARシステムおよび自動車は、例えば光検出器としてアバランシェフォトダイオードを備え、例えば、光検出器として単一光子アバランシェフォトダイオード(single-photon avalanche diode;SPAD)または代替としてシリコン光電子増倍管(SiPM)を備える。LiDARシステムは、光ビームを送出するためにレーザ光源を有することができる。光検出器は、環境から反射された光ビームを受け取るように配置される。次いで、光検出器の受信信号から、評価電子機器が奥行き情報を取得することができる。
例えば、米国特許出願公開第2017 176579号明細書から、レーザ光源、ビーム偏向器、光検出器、レンズ、および対応する電子機器からなるLiDARシステム(「電気光学デバイス」)が知られている。上記特許出願公開は、センサの信号対雑音比を高めるために検出器ピクセルを連続的にアクティブ化させるシステムを開示している。その教示から、上記開示が、LiDARシステムのマイクロミラーベースの実装形態であることは当業者には明らかである。しかし、上記のLiDARシステムは、走査型ではなく一様な照明パターン(「フラッシュ」)を提供するため、各検出器ユニットは一時的に並列にアクティブになる。
米国特許出願公開第2018 003821号明細書には、複数の光源、光検出器、レンズ、および対応する電子機器からなるLiDARシステム(「物体検出器」)が開示されている。光源は、個別に順に駆動可能なレーザダイオードである。米国特許出願公開第2018 003821号明細書は、各光源が、正確に1つの受光素子に割り当てられることを開示している。ピクセルは、個別に、同時に/並列で読み出される。検出器タイプはSPADとして設計することができ、上記明細書では、取り得る実施形態としてこれが挙げられているが、図面から、アバランシェフォトダイオード(avalanche photo diode;APD)を有するLiDARシステムと当業者には理解される。
さらに、赤、緑、青(RGB)の色チャネルを有し、かつ個別の光検出器を備えるSPADセンサシステムが一般に知られている。
米国特許出願公開第2016 240579号明細書は、「色覚」デバイスを開示しており、このデバイスでは、RGBピクセルがSPADピクセルと結合して1つのユニットを形成する。しかし、RGBピクセルおよびSPADピクセルは、それぞれ個別に読み出され、データはその後初めて、信号処理の枠組みで結合される。
独国特許発明第69733014号明細書は、一般的技術水準とみなされ、LiDARスキャナを使用するシステムを開示している。追加の狭角CCDカメラが、テクスチャデータおよびカラーデータを検出する。シーンの標準RGB画像を表示することができ、RGBエクスポートが可能である。
独国特許出願公開第10 2016 211 013号明細書は、一般的技術水準とみなされ、LiDARデバイスを開示しており、LiDARデバイスではLiDARデバイスの検出機構がカラーフィルタおよび/またはバンドパスフィルタを備える。検出面としてSPADフォトダイオードが設けられている。
独国特許出願公開第10 2006 010 295号明細書は、少なくとも2つの異なるタイプのイメージセンサを備えるカメラシステムを開示し、これもまた一般的技術水準とみなされる。例えば、CMOSイメージセンサがSPADイメージセンサと組み合わされる。センサデータから合成される3D画像の信頼性は、物体(例えば、形状、大きさ、色など)の冗長撮像によって高められる。
本発明によれば、冒頭で述べた種類のLiDARシステムであって、さらに、環境に関する色情報を検出するように構成されるLiDARシステムが提供される。
[発明の利点]
本発明によるLiDARシステムは、環境に関する色情報の検出機能を加えて拡張されるという利点がある。したがって、LiDARシステム1は、奥行き情報を検出するための従来のLiDAR走査機能と、色情報を検出するためのパッシブカラーイメージカメラとを同時に提供する。物体の大半の色特性を検出し、好ましくは物体までの距離と時間的に同期して関連付けることができる。パッシブカラーイメージカメラは、単一デバイスにLiDAR動作機能と共に組み合わせることができる。
好ましくは、LiDARシステムは、環境に関する色情報を検出するために、1つまたは複数の光検出器の受信信号から色信号を生成するように構成される。好ましくは、1つまたは複数の光検出器は、さらに、奥行き情報を検出するように構成される。光検出器は、いずれにせよ奥行き情報を検出するためにLiDARシステムに存在していることが多く、したがって追加の機能を担うことができる。二重の機能を持たせて光検出器を使用することで、例えば、色情報と奥行き情報との最適な時間同期が可能になる。それに対応して、LiDARシステムは、色情報および奥行き情報を好ましくは同期して検出し、好ましくは評価電子機器によって好ましくはやはり同期して出力するように構成される。したがって、好ましくは、単一の光路での奥行きの検出と色の検出の組合せも可能にされ、これは、例えば設置サイズの面で利点をもたらし得る。特に好ましくは、LiDARシステムは、環境に関する色情報を検出するために、複数の光検出器の受信信号から合成色信号を生成するように構成される。この目的のために、適切に構成された評価電子機器をLiDARシステムに設けることができる。合成色信号は、好ましくはRGB信号であり、特に好ましくは、赤、緑、および青に加えて赤外線(IR)データも含むRGBIR信号である。したがって、LiDARシステムは、合成色信号を生成するようにすでに構成されているため、時間的に後に続く評価の枠組みで、合成色信号を生成するための受信信号の後続の合成をなくすことができる。環境内の物体の特性を検出するために、3つの追加のパラメータが、RGB信号を介してLiDARシステムによって検出される。これにより、例えば機械学習アルゴリズムを改良することができる。好ましい光検出器は、半導体検出器であり、特にシリコン、ガリウムヒ素、またはリン化インジウムから製造される。さらに、色信号を生成するための光検出器の使用は、よく使われる一般的なカラーカメラがカラーピクセルに関して必要とするミリ秒単位の露光時間を、ナノ秒単位に短縮することができるという利点を有することができる。
好ましくは、LiDARシステムは、第1の光検出器アレイと第2の光検出器アレイとを備える。第1の光検出器アレイは、好ましくは、第1の光波長域を受け取るように構成される。第1の光波長域は、好ましくは赤色光の光波長域である。したがって、第1の光波長域は、特に585nm~780nmである。しかし、第1の光波長域は、上または下に若干ずれてもよく、または上記区間内の所定の値、例えば正確に650nmに固定されてもよい。したがって、第1の光検出器アレイの選択範囲は、用途に応じて増減させることができる。第2の光検出器アレイは、好ましくは、第2の光波長域を受け取るように構成される。第2の光波長域は、好ましくは緑色光の光波長域である。したがって、第1の光波長域は、特に497nm~585nmである。しかし、第2の光波長域は、上または下に若干ずれてもよく、または上記区間内の所定の値、例えば正確に510nmに固定されてもよい。したがって、第2の光検出器アレイの選択範囲は、用途に応じて増減させることができる。好ましくは、第1の光波長域は、少なくとも部分的に第2の光波長域と異なる。いくつかの実施形態では、第1の光波長域と第2の光波長域とが重畳するように企図される。別の実施形態では、第1の光波長域と第2の光波長域とが分離されるように企図される。したがって、LiDARシステムは、2つの光波長域を環境に関する異なる色情報として検出することを可能にする。したがって、言い換えると、本実施形態でのLiDARシステムは、奥行き情報を検出するための従来のLiDAR走査機能と、色情報を検出するための2色パッシブカラーイメージカメラ(すなわち第1の光波長域および第2の光波長域に関する)とを同時に提供する。これは、コストの削減、設置サイズの縮小、ならびに調整および較正の労力の省略につながり得る。
いくつかの実施形態では、LiDARシステムは、第3の光検出器アレイを備える。好ましくは、第3の光検出器アレイは、第3の光波長域を受け取るように構成される。第3の光波長域は、好ましくは青色光の光波長域である。したがって、第3の光波長域は、特に380nm~497nmである。しかし、第3の光波長域は、上または下に若干ずれてもよく、または上記区間内の所定の値、例えば正確に490nmに固定されてもよい。したがって、第3の光検出器アレイの選択範囲は、用途に応じて増減させることができる。いくつかの実施形態では、第3の光波長域は、少なくとも部分的に第1の光波長域と異なる。いくつかの実施形態では、第3の光波長域は、少なくとも部分的に第2の光波長域と異なる。しかし、いくつかの実施形態は、第3の光波長域と第2の光波長域とが重畳するように企図される。検出のための3つの光波長域が設けられる場合、3色の色信号、特にRGB信号をLiDARシステムによって容易に提供することができる。特定の実施形態では、3色の色信号は、3つの色信号のそれぞれ1つが提供される3つの個別の色チャネルを介してLiDARシステムによって提供することができる。
いくつかの実施形態では、LiDARシステムは、第4の光検出器アレイを備える。第4の光検出器アレイは、好ましくは、第4の光波長域を受け取るように構成される。第4の光波長域は、好ましくはIR光の光波長域である。したがって、第4の光波長域は、特に700nm~1mmである。しかし、第4の光波長域は、上または下に若干ずれてもよく、または上記区間内の所定の値、例えば正確に780nmに固定されてもよい。したがって、第4の光検出器アレイの選択範囲は、用途に応じて増減させることができる。いくつかの実施形態では、第4の光波長域は、近赤外線(NIR)および/または中赤外線(MIR)および/または遠赤外線(FIR)の範囲にある。好ましくは、第4の光波長域は、少なくとも部分的に第1の光波長域と異なる。さらに、好ましくは、第4の光波長域は、少なくとも部分的に第2の光波長域と異なる。同様に、好ましくは、第4の光波長域は、少なくとも部分的に第3の光波長域と異なる。いくつかの実施形態では、第1の光波長域と第4の光波長域とは重畳する。しかし、いくつかの実施形態では、第1の光波長域と第4の光波長域とは互いに分離される。LiDARシステムが4つの光検出器アレイを備える場合、4色の色信号、特にRGBIR信号をLiDARシステムによって容易に提供することができる。4つの色信号は、4つの色信号のそれぞれ1つが提供される4つの個別の色チャネルを介してLiDARシステムによって提供することができる。
好ましくは、第1の光検出器アレイは、赤色信号を提供する。好ましくは、第2の光検出器アレイは、緑色信号を提供する。好ましくは、第3の光検出器アレイは、青色信号を提供する。好ましくは、第4の光検出器アレイは、IR信号を提供する。しかし、いくつかの実施形態では、第1の光検出器アレイは、赤色信号とIR信号との両方を組み合わせて提供することができる。この場合、第1の光波長域は、特に585nm~1mmである。したがって、赤色信号、緑色信号、青色信号、およびIR信号は、3つの光検出器アレイのみを用いて、好ましくは3つの色チャネルのみを介して提供することができる。
いくつかの実施形態では、2つ以上の光検出器アレイが共通の検出器マトリックスに配置される。好ましくは、2つ以上の光検出器アレイが一体の検出器構成部品を形成する。これは、作動前に個々の光検出器アレイを互いに依存して構成する必要がもはやなくなり、2つ以上の光検出器アレイを事前に構成された一体の構成部品として提供することができるため、調整および構成の労力を低減することができるという利点がある。特に好ましくは、すべての光検出器アレイが共通の検出器マトリックスに配置され、一体の検出器構成部品を形成する。好ましくは、検出器マトリックスは行および列を有し、好ましくは、行の数が列の数と同じである。好ましくは、3つ以上の行および/または3つ以上の列があり、特に好ましくは4つ以上の行および/または4つ以上の列があり、非常に好ましくは5つ以上の行および/または5つ以上の列がある。
好ましくは、光検出器はそれぞれ、光検出器アレイの正確に1つに割り当てられる。好ましくは、さらに、検出器マトリックス内で行および/または列で互いに隣接する光検出器が、異なる光検出器アレイに割り当てられる。好ましくは、検出器マトリックスの各行において、複数、特に好ましくは正確に2つの光検出器アレイが交互に組まれる。好ましくは、それぞれの光検出器アレイによって受け取られるべき光波長域に対して透過性を有する光波長フィルタが、各光検出器の上流に配置される。第1の光検出器アレイの光検出器の上流にそれぞれ配置された光波長フィルタは、好ましくは、第1の光波長域に対して透過性を有する。第2の光検出器アレイの光検出器の上流にそれぞれ配置された光波長フィルタは、好ましくは、第2の光波長域に対して透過性を有する。第3の光検出器アレイの光検出器の上流にそれぞれ配置された光波長フィルタは、好ましくは、第3の光波長域に対して透過性を有する。第4の光検出器アレイの光検出器の上流にそれぞれ配置された光波長フィルタは、好ましくは、第4の光波長域に対して透過性を有する。言い換えると、それぞれの光検出器アレイへの光検出器の割り当ては、それぞれ上流に配置された光波長フィルタによって決定される。異なる光波長フィルタの数が、光検出器アレイの数を決定する。したがって、例えば、合計で3つの異なる光波長域に対して透過性を有する複数の光波長フィルタが設けられた場合、それによって3つの光検出器アレイが定義される。これによる利点は、光検出器自体は、すべて同一に、特にそれらによって受け取られる光波長に関してすべて同一に設計することができること、およびそれぞれ上流に配置された光波長フィルタのみが、その下流にある光検出器によってどの光波長域が検出されるかを決定することであり得る。しかし、代替として、光検出器自体を波長選択的に構成し、したがって検出方向において上流に配置される光波長フィルタを省略することもできる。この場合、同じ波長選択性を有するすべての光検出器が、それらのそれぞれの波長選択性によって定義されるそれぞれの光検出器アレイを形成する。
好ましくは、複数の光波長フィルタが共通の検出器マトリックスに配置され、一体のフィルタ構成部品を形成する。言い換えると、フィルタマトリックスは、好ましくは、受光路内で、SiPM構成でのSPADベースの検出器(SPADアレイ)の上流に配置される。特に好ましくは、光波長フィルタのそれぞれ1つが光検出器の1つの上流に配置されるように、フィルタマトリックスの構成が検出器マトリックスの構成に対応する。これは、作動前に個々の光波長フィルタが互いに依存して構成される必要がもはやなくなり、2つ以上の光波長フィルタを事前に構成された一体の構成部品として提供することができるため、調整および構成の労力を低減することができるという利点がある。特に好ましくは、すべての光波長フィルタが共通のフィルタマトリックスに配置され、一体のフィルタ構成部品を形成する。好ましくは、フィルタマトリックスは行および列を有し、好ましくは、行の数が列の数と同じである。好ましくは、3つ以上の行および/または3つ以上の列があり、特に好ましくは4つ以上の行および/または4つ以上の列があり、非常に好ましくは5つ以上の行および/または5つ以上の列がある。好ましくは、フィルタマトリックスの行および列の数は、検出器マトリックスの行および列の数に対応する。したがって、様々な光検出器アレイを定義するために、フォトダイオードをそれぞれの光波長フィルタで正確に覆うのは特に容易であり得る。それに対応して、好ましいフィルタマトリックスは、RGBIRカラーフィールドアレイまたは修正型ベイヤーフィルタである。好ましくは、光波長フィルタは、有機色素またはコーティングされたブラッグフィルタ構造体から製造することができる。したがって、本発明は、安価であり狭帯域の光波長フィルタアレイの使用を可能にする。
好ましくは、光検出器の少なくとも1つは、単一光子アバランシェフォトダイオードである。そのような単一光子アバランシェフォトダイオードは、個々の光子をそれらの光波長に関係なく計数するように構成される。これは、LiDARシステムの構成を簡素化する。なぜなら、好ましくは光検出器の上流に光波長フィルタが配置されることにより、光検出器自体が光波長をフィルタリングする必要がなく、すでにフィルタリングされた光子を計数するだけでよいからである。これは、複数の同一の光検出器、したがって安価な解決策の使用を可能にする。したがって、特に好ましくは、すべての光検出器が単一光子アバランシェフォトダイオードである。言い換えると、個々のSPADは、光子を計数するだけでよい。しかし、フィルタマトリックスの個々の光波長フィルタは、適切な周波数または波長の光子のみを透過するので、それらの下流に配置された個々のSPADはこれらの光子を正確に計数し、その後、これらの光子を色またはIRチャネルに割り当てることができる。好ましくは、単一光子アバランシェフォトダイオードの受信信号から奥行き情報も色情報も取得される。したがって、単一光子アバランシェフォトダイオードは、一般的なカラーカメラに比べて好ましくは露光時間を大幅に短縮して、二重の機能を担うことができる。
好ましくは、検出器構成部品とフィルタ構成部品とが一体の構成要素を形成する。フィルタ構成部品と検出器構成部品とは、例えば、関連するクリーンルームプロセスで高度に集積されて製造され、一体の構成要素に組み立てることができる。これにより、後の調整の労力をなくすことができる。好ましくは、検出器構成部品とフィルタ構成部品とは、一体の構成要素を形成するために、互いに一体化して結合され、特に接着される。これは、一体の構成要素を製造するための簡単であり安価であり効率の良い方法であり得る。特定の実施形態では、光検出器は、フィルタ構成部品と検出器構成部品との間に形成された内部空間内にそれぞれ個別に封入される。したがって、各光検出器は、検出器構成部品において個別に十分に保護することができる。しかし、いくつかの実施形態では、複数の光検出器が共通の内部空間に封入されるように企図される。
いくつかの実施形態では、光検出器アレイの1つまたは複数が、正確に1つの光検出器を含む。いくつかの実施形態では、光検出器アレイの1つまたは複数が、2つ以上の光検出器を含む。好ましくは、光検出器の数は、2つ以上の、またはすべての光検出器アレイに関して同じである。しかし、いくつかの実施形態では、IR信号を提供する光検出器アレイにおける光検出器の数は、残りの光検出器アレイにおける光検出器の数よりも少ない、または多い。ここで、好ましくは、残りの光検出器アレイにおける光検出器の数は同じである。
本発明によれば、さらに、冒頭で述べた種類の自動車であって、上述したLiDARシステムが動作接続された自動車が提供される。
本発明による自動車は、LiDARシステムによって、環境に関する色情報の検出機能が加えられて拡張されるという利点を有する。したがって、LiDARシステムは、奥行き情報を検出するための従来のLiDAR走査機能と、色情報を検出するためのパッシブカラーイメージカメラとを同時に自動車に提供する。物体の大半の色特性を検出し、好ましくは物体までの距離と時間的に同期して関連付けることができる。パッシブカラーイメージカメラは、単体でLiDAR動作と組み合わせることができる。
好ましい自動車は、乗用車、トラック、二輪車、特にオートバイ、およびバスである。LiDARシステムは、自動車において、少なくとも半自動運転機能のため、特にモノビデオ半自動運転のための制御ユニットに、適切なインターフェースを介して動作接続することができる。自動車は、さらに3Dカメラを備えることができる。
本発明の有利な発展形態は、従属請求項に示し、本明細書で述べる。
本発明の実施形態を、図面および以下の説明に基づいてより詳細に説明する。
一体の検出器マトリックスと、検出器マトリックスの上流に配置された一体のフィルタマトリックスとを備える、本発明の第1の実施形態によるLiDARシステムを示す図である。 本発明の第1の実施形態によるLiDARシステムの一体の検出器構成部品の概略上面図である。 図1による検出器マトリックスおよびフィルタマトリックスを通る側断面図である。 本発明の第2の実施形態による代替のフィルタマトリックスの上面図である。
図1に、本発明による第1の実施形態でのLiDARシステム1が示されている。LiDARシステム1は、自動車(図示せず)に配置され、自動車に動作接続される。分かりやすくするために、当業者に知られているLiDARシステム1の様々な詳細、例えば環境を走査するために光ビームを送出する働きをするレーザ光源は省略する。
図1に示されるLiDARシステム1は、以下で詳細に説明するように、環境に関する奥行き情報を検出するために光ビームで環境を走査するように構成され、さらに,環境に関する色情報を検出するように構成される。
LiDARシステム1は、検出器構成部品2とフィルタ構成部品3とを含む。検出器構成部品2は、複数の光検出器4、ここでは例として9つの同一の光検出器4を含む。LiDARシステム1は、光検出器4によって環境に関する色情報を検出するように構成される。
より正確には、LiDARシステム1は、環境に関する色情報を検出するために、複数の光検出器4の受信信号から色信号を生成するように構成される。
個々の光検出器4は、図示される第1の例示的実施形態では、光検出器3の検出方向において検出器構成部品2の上流に配置されたフィルタ構成部品3によって定義される3つの光検出器アレイにグループ分けされる。フィルタ構成部品3は、フィルタフレーム5と、ここでもまた9つの光波長フィルタ7a~cを有するフィルタマトリックス6とを含み、9つの光波長フィルタ7a~cのうちそれぞれ3つが同一であり、すなわちそれぞれ3つが同じ光波長を透過する。フィルタマトリックス6は、市松模様のような修正型ベイヤーフィルタとして設計される。それぞれ別の光波長を透過する光波長フィルタ7a~cが、互いに隣接して配置される。
光検出器4は、単一光子アバランシェフォトダイオードであり、すべて同一に設計され、すなわち光波長に関係なく個々の光子を単に計数することができる。それぞれの光検出器アレイへの光検出器4の所属は、それぞれの光検出器4の上流に配置されているフィルタマトリックス6の光波長フィルタ7a~cがどの光波長域に透過性を有するかによってのみ決まる。
したがって、図示される実施形態では、検出器構成部品2は、9つの同一の個々の光検出器4を有する一体の3×3検出器マトリックス8を含む。フィルタ構成部品3は、第1の光波長域として赤色光のみを透過する3つの赤色フィルタ7aと、第2の光波長域として緑色光のみを透過する3つの緑色フィルタ7bと、第3の光波長域として青色光のみを透過する3つの青色フィルタ7cとを有する3×3フィルタマトリックス6を含む。したがって、第1の光波長域、第2の光波長域、および第3の光波長域は互いに異なる。
3つの赤色フィルタ7aの下流に配置された光検出器4は、第1の光検出器アレイを形成し、第1の光検出器アレイは、上流に配置された赤色フィルタ7aを通して、第1の波長域、すなわち赤色光の波長域を受け取るように構成される。したがって、3つの赤色フィルタ7aは、ここでは3つの同一の単一光子アバランシェフォトダイオードからなる第1の光検出器アレイを定義する。
3つの緑色フィルタ7bの下流に配置された光検出器4は、第2の光検出器アレイを形成し、第2の光検出器アレイは、上流に配置された緑色フィルタ7bを通して、第2の波長域、すなわち緑色光の波長域を受け取るように構成される。したがって、3つの緑色フィルタ7bは、ここでは3つのさらなる同一の単一光子アバランシェフォトダイオードからなる第2の光検出器アレイを定義する。
3つの青色フィルタ7cの下流に配置された光検出器4は、第3の光検出器アレイを形成し、第3の光検出器アレイは、上流に配置された青色フィルタ7cを通して、第3の波長域、すなわち青色光の波長域を受け取るように構成される。したがって、3つの青色フィルタ7cは、ここでは3つのさらなる同一の単一光子アバランシェフォトダイオードからなる第3の光検出器アレイを定義する。
したがって、9つの光検出器4はそれぞれ、明白に光検出器アレイの正確に1つに割り当てられ、それぞれの光検出器アレイによって受け取られるべき光波長域、すなわち赤色光、緑色光または青色光に対して透過性を有する光波長フィルタ7a~cが、各光検出器4の上流に配置される。これは、光波長フィルタ7a~cのそれぞれ1つが光検出器4の1つの上流に配置されるように、フィルタマトリックス6の構成が検出器マトリックス8の構成に対応することを意味する。
言い換えると、図1は、検出器マトリックス8に関して、光検出器4としての複数の相互接続されたSPADダイオードからなるSiPM配列をここでは例として3×3マクロピクセルとして提供する、本発明による第1の構成を示す。この検出器マトリックスの上流には、LiDARシステム1の受光路内でフィルタマトリックス6が使用され、したがって、各SPADは、それぞれ上流に配置された光波長フィルタ7a~cによって特定される、選択された光波長の光子を計数するだけでよい。図示しない実施形態では、赤色フィルタ7aは、赤色光および赤外線のみを透過する複合の赤色および赤外線フィルタとして設計することができる。
次に、図2は、検出器構成部品2の上面図を示す。検出器構成部品2は、9つの同一の光検出器からなる3×3検出器マトリックス8と、検出器マトリックス8を支持するキャリアプレート9とを含む。すなわち、フィルタマトリックス6についての知識がなければ、9つの同一の光検出器4のどれがどの光検出器アレイに割り当てられるかを認識することはできない。言い換えると、これは、フィルタマトリックス6の交換により、光検出器4の割り当ても変更することができることを意味する。
各光検出器4は、導電路構成10を介して、例えば評価制御集積回路によって形成された評価電子機器11に接続される。評価電子機器11は、環境に関する色情報を検出するために、光検出器4の受信信号から色信号を生成するように構成される。評価電子機器11は、記憶されている割り当てテーブルから、ここでは3つの異なる光検出器アレイへの検出器マトリックス8の個々の光検出器4の割り当てを認識し、したがって、例えば、赤色フィルタ7aが上流に配置されている光検出器4の計数信号を、第1の光検出器アレイからの受信信号として、したがって赤色信号として評価することができる。第1の例示的実施形態では、評価電子機器11は、すべての光検出器4の受信信号を合成して一体のRGB色信号として出力するように構成される。同時に、評価電子機器11は、光検出器4の受信信号から、環境に関する奥行き情報を取得するように構成される。したがって、各光検出器4に二重の機能が与えられる。
図3は、検出器構成部品2およびフィルタ構成部品3を通る側断面図を示す。フィルタマトリックス6を備えるフィルタ構成部品3は、検出器マトリックス8を備える検出器構成部品2に一体化して結合される。この目的のために、フィルタ構成部品3は、縁部領域にある接続箇所12で検出器構成部品2に接着される。したがって、検出器構成部品2とフィルタ構成部品3とが互いに恒久的に結合される。したがって、検出器構成部品2とフィルタ構成部品3とが一体の構成要素を形成する。光検出器4は、検出器構成部品2とフィルタ構成部品3との間に形成される内部空間13に封入される。したがって、個々の光検出器4は、湿気など外的な環境の影響から保護される。図示される例示的実施形態では、それぞれ1つの光検出器4が内部空間13に個別に封入される。しかし、別の例示的実施形態では、2つ以上の光検出器4が内部空間13に一緒に封入される。言い換えると、図3は、クリーンルームプロセスで、例えば一体化する接着剤接続によってフィルタマトリックス6を半導体ダイオード、すなわち光検出器4にシームレスに接合することを示すために、単一のSPAD、したがって光検出器4の断面図面を示す。このようにして、検出器構成部品2とフィルタ構成部品3とからなる封入型の一体の構成要素が形成される。
図4は、本発明の第2の実施形態による代替フィルタマトリックス6の上面図を示す。ここでも、フィルタマトリックス6は、ベイヤーフィルタとして設計される。ここでもフィルタフレーム5内に配置されているフィルタマトリックス6は、第1の実施形態とは異なり、4行5列、すなわち20個の光波長フィルタ7a~dを有する4×5フィルタマトリックス6である。図示されていないが、LiDARシステム1の第2の実施形態における検出器マトリックス8は、それに対応して4×5検出器マトリックス8内に20個の同一の検出器4を備え、したがってフィルタマトリックス6の構成は、ここでも検出器マトリックス8の構成に対応し、フィルタマトリックス6のそれぞれ1つの光波長フィルタ7a~dが、受信方向において検出器マトリックス8の1つの光検出器4の上流に配置される。ここでは、3つだけでなく4つの異なる光波長フィルタ7a~dが提供され、それぞれが特定の光波長域を透過する。
それにより、図4の代替のフィルタマトリックス6を有するLiDARシステム1は、第4の光波長域、すなわち赤外線を受け取るように構成された追加の第4の光検出器アレイを含む。すなわち、第4の光波長フィルタ7dは、赤外線のみを透過する赤外線フィルタである。したがって、第4の光波長域は、この例示的実施形態においても赤色光、緑色光、および青色光である第1の光波長域、第2の光波長域、および第3の光波長域とは異なる。3つの赤外線フィルタ7dの下流に配置された光検出器4は、第4の光検出器アレイを形成し、第4の光検出器アレイは、上流に配置された赤外線フィルタ7dを通して、第4の波長域、すなわち赤外光の波長域を受け取るように構成される。したがって、3つの赤外線フィルタ7dは、ここでは3つの同一の単一光子アバランシェフォトダイオードからなる第4の光検出器アレイを定義する。図4から分かるように、第4の光検出器アレイにおける光検出器4の数は、第2の例示的実施形態における3つの別の光検出器アレイそれぞれにおける光検出器4の数よりも少ない。図4では、例示として、それぞれ1つの赤色フィルタ7a、緑色フィルタ7b、青色フィルタ7c、および赤外線フィルタ7dに参照符号を付してある。それぞれのハッチングは、それぞれ同じ光波長に対する透過性を有するそれぞれ別の光波長フィルタ7a~dを示すが、見やすくするためにそれらのフィルタには参照符号を付していない。
このようにして、LiDARシステム1、およびLiDARシステム1と動作接続された自動車が提供され、LiDARシステム1は、環境に関する奥行き情報を検出するために光ビームで環境を走査するように構成され、LiDARシステム1は、さらに、環境に関する色情報を検出するように構成される。示される解決策では、光検出器4の上流にそれぞれ1つの光波長フィルタ7a~dが配置され、したがって、光検出器4は光子を計数するだけでなく、色情報を選択的に受信するようにも構成される。次いで、評価電子機器11が、色情報と奥行き情報との両方を評価し、例えば、光検出器4によって得られるRGB信号またはRGBIR信号を出力することができる。したがって、言い換えると、LiDARシステム1は、奥行き情報を検出するための従来のLiDAR走査機能と、色情報を検出するためのパッシブカラーイメージカメラとを同時に提供する。

Claims (10)

  1. 環境に関する奥行き情報を検出するために光ビームで前記環境を走査するように構成されたLiDARシステム(1)において、さらに、前記環境に関する色情報を検出するように構成されることを特徴とするLiDARシステム(1)。
  2. 前記環境に関する前記色情報を検出するために、1つまたは複数の光検出器(4)の受信信号から色信号を生成するように構成された、請求項1に記載のLiDARシステム(1)。
  3. 第1の光検出器アレイと、第2の光検出器アレイとを備え、前記第1の光検出器アレイが、第1の光波長域を受け取るように構成され、前記第2の光検出器アレイが、第2の光波長域を受け取るように構成され、前記第1の光波長域が、前記第2の光波長域と少なくとも部分的に異なる、請求項2に記載のLiDARシステム(1)。
  4. 第3の光検出器アレイを備え、前記第3の光検出器アレイが、第3の光波長域を受け取るように構成され、前記第3の光波長域が、前記第1の光波長域と少なくとも部分的に異なり、かつ前記第2の光波長域と少なくとも部分的に異なる、請求項3に記載のLiDARシステム(1)。
  5. 第4の光検出器アレイを備え、前記第4の光検出器アレイが、第4の光波長域を受け取るように構成され、前記第4の光波長域が、前記第1の光波長域と少なくとも部分的に異なり、前記第2の光波長域と少なくとも部分的に異なり、かつ前記第3の光波長域と少なくとも部分的に異なる、請求項4に記載のLiDARシステム(1)。
  6. 2つ以上の光検出器アレイが共通の検出器マトリックスに配置され、一体の検出器構成部品を形成する、請求項3から5のいずれか一項に記載のLiDARシステム(1)。
  7. 前記光検出器(4)がそれぞれ、前記光検出器アレイの正確に1つに割り当てられ、それぞれの前記光検出器アレイによって受け取られるべき前記光波長域に対して透過性を有する光波長フィルタ(7a~c)が、各光検出器(4)の上流に配置される、請求項3から6のいずれか一項に記載のLiDARシステム(1)。
  8. 複数の前記光波長フィルタ(7a~d)が共通の検出器マトリックス(6)に配置され、一体のフィルタ構成部品(3)を形成し、前記フィルタマトリックス(6)の構成が前記検出器マトリックス(8)の構成に対応し、したがって前記光波長フィルタ(7a~d)のそれぞれ1つが、前記光検出器(4)の1つの上流に配置される、請求項7に記載のLiDARシステム(1)。
  9. 前記光検出器(4)の少なくとも1つが、単一光子アバランシェフォトダイオードであり、前記単一光子アバランシェフォトダイオードの受信信号から奥行き情報も色情報も取得される、請求項2から7のいずれか一項に記載のLiDARシステム(1)。
  10. 請求項1から9のいずれか一項に記載のLiDARシステム(1)を備える自動車であって、前記LiDARシステム(1)が動作接続された自動車。
JP2021533443A 2018-12-12 2019-12-05 LiDARシステムおよび自動車 Active JP7190576B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018221530.8 2018-12-12
DE102018221530.8A DE102018221530A1 (de) 2018-12-12 2018-12-12 LiDAR-System sowie Kraftfahrzeug
PCT/EP2019/083810 WO2020120278A1 (de) 2018-12-12 2019-12-05 Lidar-system sowie kraftfahrzeug

Publications (2)

Publication Number Publication Date
JP2022515047A true JP2022515047A (ja) 2022-02-17
JP7190576B2 JP7190576B2 (ja) 2022-12-15

Family

ID=68808374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533443A Active JP7190576B2 (ja) 2018-12-12 2019-12-05 LiDARシステムおよび自動車

Country Status (7)

Country Link
US (1) US20210381824A1 (ja)
EP (1) EP3894884A1 (ja)
JP (1) JP7190576B2 (ja)
KR (1) KR20210096266A (ja)
CN (1) CN113196087A (ja)
DE (1) DE102018221530A1 (ja)
WO (1) WO2020120278A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021201074A1 (de) 2021-02-05 2022-08-11 Robert Bosch Gesellschaft mit beschränkter Haftung Detektorbaugruppe und optischer Sensor
DE102021202427A1 (de) 2021-03-12 2022-09-15 Continental Automotive Gmbh Detektorvorrichtung und Sensoreinheit

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離(rgb−z)センサー
JP2008145386A (ja) * 2006-12-13 2008-06-26 Fujifilm Corp 距離画像取得装置及び方法
US20100302528A1 (en) * 2009-06-02 2010-12-02 Velodyne Acoustics, Inc. Color lidar scanner
JP2015081921A (ja) * 2013-10-21 2015-04-27 ジック アーゲー 回転軸を中心に運動する走査ユニットを備えるセンサ
US20160240579A1 (en) * 2015-02-17 2016-08-18 Omnivision Technologies, Inc. Stacked embedded spad image sensor for attached 3d information
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
JP2017519188A (ja) * 2014-04-21 2017-07-13 ファロ テクノロジーズ インコーポレーテッド ダイクロイックビームスプリッタを有する各種信号捕捉用の三次元スキャナ
US20180252800A1 (en) * 2015-09-21 2018-09-06 Photonic Vision Limited Time of flight distance sensor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
DE102006010295B4 (de) 2006-03-07 2022-06-30 Conti Temic Microelectronic Gmbh Kamerasystem mit zumindest zwei Bildaufnehmern
DE102009036595A1 (de) * 2009-08-07 2011-02-10 Conti Temic Microelectronic Gmbh Bildgebender Multifunktions-Sensor
DE102016102610A1 (de) * 2015-02-13 2016-08-18 Zoller + Fröhlich GmbH Laserscanner
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
DE102016211013A1 (de) 2016-06-21 2017-12-21 Robert Bosch Gmbh Lidar-Vorrichtung und Verfahren zum Analysieren eines Objekts
JP6819098B2 (ja) 2016-07-01 2021-01-27 株式会社リコー 物体検出装置、センシング装置及び移動体装置
US10404925B2 (en) * 2016-09-29 2019-09-03 Honeywell International Inc. Chip scale multispectral imaging and ranging

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007526453A (ja) * 2004-01-28 2007-09-13 カネスタ インコーポレイテッド 単一チップの赤、緑、青、距離(rgb−z)センサー
JP2008145386A (ja) * 2006-12-13 2008-06-26 Fujifilm Corp 距離画像取得装置及び方法
US20100302528A1 (en) * 2009-06-02 2010-12-02 Velodyne Acoustics, Inc. Color lidar scanner
JP2015081921A (ja) * 2013-10-21 2015-04-27 ジック アーゲー 回転軸を中心に運動する走査ユニットを備えるセンサ
JP2017519188A (ja) * 2014-04-21 2017-07-13 ファロ テクノロジーズ インコーポレーテッド ダイクロイックビームスプリッタを有する各種信号捕捉用の三次元スキャナ
US20160240579A1 (en) * 2015-02-17 2016-08-18 Omnivision Technologies, Inc. Stacked embedded spad image sensor for attached 3d information
JP2016176750A (ja) * 2015-03-19 2016-10-06 株式会社豊田中央研究所 光学的測距装置
US20180252800A1 (en) * 2015-09-21 2018-09-06 Photonic Vision Limited Time of flight distance sensor

Also Published As

Publication number Publication date
KR20210096266A (ko) 2021-08-04
CN113196087A (zh) 2021-07-30
WO2020120278A1 (de) 2020-06-18
JP7190576B2 (ja) 2022-12-15
DE102018221530A1 (de) 2020-06-18
EP3894884A1 (de) 2021-10-20
US20210381824A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US20200236306A1 (en) Imaging system for vehicle
US20180302611A1 (en) 3D Time of Flight Camera and Method of Detecting Three-Dimensional Image Data
US8408821B2 (en) Visible and infrared dual mode imaging system
JP5331107B2 (ja) 撮像装置
US20080158359A1 (en) Solid-state imaging device, camera, vehicle and surveillance device
US20080143829A1 (en) Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device
US9945718B2 (en) Image sensors with multi-functional pixel clusters
KR102250192B1 (ko) 이종 화소 구조를 갖는 이미지 센서
KR20110084367A (ko) 촬상 장치
JP7190576B2 (ja) LiDARシステムおよび自動車
EP2533008A1 (en) Vehicle optical sensor system
US20140293042A1 (en) Spectral filtering for vehicular driver assistance systems
JP2022511045A (ja) ライダーシステムおよび自動車
CN112514377B (zh) 摄像装置和摄像系统
US10404925B2 (en) Chip scale multispectral imaging and ranging
JP7444174B2 (ja) 撮像素子、表示装置、及び、撮像システム
US11244977B2 (en) Imaging sensor
EP3182453A1 (en) Image sensor for a vision device and vision method for a motor vehicle
US10440249B2 (en) Vehicle vision system camera with semi-reflective and semi-transmissive element
US20220210361A1 (en) Device, system, moving body, and substrate
WO2023079840A1 (ja) 撮像装置および電子機器
KR102661039B1 (ko) 촬상 소자 및 촬상 장치
KR20200138158A (ko) 촬상 소자 및 촬상 장치
JPH0792267A (ja) 信号光抽出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7190576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150