JP2022515047A - LiDARシステムおよび自動車 - Google Patents
LiDARシステムおよび自動車 Download PDFInfo
- Publication number
- JP2022515047A JP2022515047A JP2021533443A JP2021533443A JP2022515047A JP 2022515047 A JP2022515047 A JP 2022515047A JP 2021533443 A JP2021533443 A JP 2021533443A JP 2021533443 A JP2021533443 A JP 2021533443A JP 2022515047 A JP2022515047 A JP 2022515047A
- Authority
- JP
- Japan
- Prior art keywords
- photodetector
- lidar system
- light wavelength
- wavelength range
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000003287 optical effect Effects 0.000 claims description 28
- 238000011144 upstream manufacturing Methods 0.000 claims description 27
- 238000003491 array Methods 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- GPXJNWSHGFTCBW-UHFFFAOYSA-N Indium phosphide Chemical compound [In]#P GPXJNWSHGFTCBW-UHFFFAOYSA-N 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- B60W2420/408—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、さらに、そのようなLiDARシステムを備える自動車であって、LiDARシステムが動作接続された自動車に関する。
米国特許出願公開第2016 240579号明細書は、「色覚」デバイスを開示しており、このデバイスでは、RGBピクセルがSPADピクセルと結合して1つのユニットを形成する。しかし、RGBピクセルおよびSPADピクセルは、それぞれ個別に読み出され、データはその後初めて、信号処理の枠組みで結合される。
[発明の利点]
本発明によるLiDARシステムは、環境に関する色情報の検出機能を加えて拡張されるという利点がある。したがって、LiDARシステム1は、奥行き情報を検出するための従来のLiDAR走査機能と、色情報を検出するためのパッシブカラーイメージカメラとを同時に提供する。物体の大半の色特性を検出し、好ましくは物体までの距離と時間的に同期して関連付けることができる。パッシブカラーイメージカメラは、単一デバイスにLiDAR動作機能と共に組み合わせることができる。
本発明による自動車は、LiDARシステムによって、環境に関する色情報の検出機能が加えられて拡張されるという利点を有する。したがって、LiDARシステムは、奥行き情報を検出するための従来のLiDAR走査機能と、色情報を検出するためのパッシブカラーイメージカメラとを同時に自動車に提供する。物体の大半の色特性を検出し、好ましくは物体までの距離と時間的に同期して関連付けることができる。パッシブカラーイメージカメラは、単体でLiDAR動作と組み合わせることができる。
本発明の実施形態を、図面および以下の説明に基づいてより詳細に説明する。
個々の光検出器4は、図示される第1の例示的実施形態では、光検出器3の検出方向において検出器構成部品2の上流に配置されたフィルタ構成部品3によって定義される3つの光検出器アレイにグループ分けされる。フィルタ構成部品3は、フィルタフレーム5と、ここでもまた9つの光波長フィルタ7a~cを有するフィルタマトリックス6とを含み、9つの光波長フィルタ7a~cのうちそれぞれ3つが同一であり、すなわちそれぞれ3つが同じ光波長を透過する。フィルタマトリックス6は、市松模様のような修正型ベイヤーフィルタとして設計される。それぞれ別の光波長を透過する光波長フィルタ7a~cが、互いに隣接して配置される。
Claims (10)
- 環境に関する奥行き情報を検出するために光ビームで前記環境を走査するように構成されたLiDARシステム(1)において、さらに、前記環境に関する色情報を検出するように構成されることを特徴とするLiDARシステム(1)。
- 前記環境に関する前記色情報を検出するために、1つまたは複数の光検出器(4)の受信信号から色信号を生成するように構成された、請求項1に記載のLiDARシステム(1)。
- 第1の光検出器アレイと、第2の光検出器アレイとを備え、前記第1の光検出器アレイが、第1の光波長域を受け取るように構成され、前記第2の光検出器アレイが、第2の光波長域を受け取るように構成され、前記第1の光波長域が、前記第2の光波長域と少なくとも部分的に異なる、請求項2に記載のLiDARシステム(1)。
- 第3の光検出器アレイを備え、前記第3の光検出器アレイが、第3の光波長域を受け取るように構成され、前記第3の光波長域が、前記第1の光波長域と少なくとも部分的に異なり、かつ前記第2の光波長域と少なくとも部分的に異なる、請求項3に記載のLiDARシステム(1)。
- 第4の光検出器アレイを備え、前記第4の光検出器アレイが、第4の光波長域を受け取るように構成され、前記第4の光波長域が、前記第1の光波長域と少なくとも部分的に異なり、前記第2の光波長域と少なくとも部分的に異なり、かつ前記第3の光波長域と少なくとも部分的に異なる、請求項4に記載のLiDARシステム(1)。
- 2つ以上の光検出器アレイが共通の検出器マトリックスに配置され、一体の検出器構成部品を形成する、請求項3から5のいずれか一項に記載のLiDARシステム(1)。
- 前記光検出器(4)がそれぞれ、前記光検出器アレイの正確に1つに割り当てられ、それぞれの前記光検出器アレイによって受け取られるべき前記光波長域に対して透過性を有する光波長フィルタ(7a~c)が、各光検出器(4)の上流に配置される、請求項3から6のいずれか一項に記載のLiDARシステム(1)。
- 複数の前記光波長フィルタ(7a~d)が共通の検出器マトリックス(6)に配置され、一体のフィルタ構成部品(3)を形成し、前記フィルタマトリックス(6)の構成が前記検出器マトリックス(8)の構成に対応し、したがって前記光波長フィルタ(7a~d)のそれぞれ1つが、前記光検出器(4)の1つの上流に配置される、請求項7に記載のLiDARシステム(1)。
- 前記光検出器(4)の少なくとも1つが、単一光子アバランシェフォトダイオードであり、前記単一光子アバランシェフォトダイオードの受信信号から奥行き情報も色情報も取得される、請求項2から7のいずれか一項に記載のLiDARシステム(1)。
- 請求項1から9のいずれか一項に記載のLiDARシステム(1)を備える自動車であって、前記LiDARシステム(1)が動作接続された自動車。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018221530.8 | 2018-12-12 | ||
DE102018221530.8A DE102018221530A1 (de) | 2018-12-12 | 2018-12-12 | LiDAR-System sowie Kraftfahrzeug |
PCT/EP2019/083810 WO2020120278A1 (de) | 2018-12-12 | 2019-12-05 | Lidar-system sowie kraftfahrzeug |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022515047A true JP2022515047A (ja) | 2022-02-17 |
JP7190576B2 JP7190576B2 (ja) | 2022-12-15 |
Family
ID=68808374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021533443A Active JP7190576B2 (ja) | 2018-12-12 | 2019-12-05 | LiDARシステムおよび自動車 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210381824A1 (ja) |
EP (1) | EP3894884A1 (ja) |
JP (1) | JP7190576B2 (ja) |
KR (1) | KR20210096266A (ja) |
CN (1) | CN113196087A (ja) |
DE (1) | DE102018221530A1 (ja) |
WO (1) | WO2020120278A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021201074A1 (de) | 2021-02-05 | 2022-08-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Detektorbaugruppe und optischer Sensor |
DE102021202427A1 (de) | 2021-03-12 | 2022-09-15 | Continental Automotive Gmbh | Detektorvorrichtung und Sensoreinheit |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007526453A (ja) * | 2004-01-28 | 2007-09-13 | カネスタ インコーポレイテッド | 単一チップの赤、緑、青、距離(rgb−z)センサー |
JP2008145386A (ja) * | 2006-12-13 | 2008-06-26 | Fujifilm Corp | 距離画像取得装置及び方法 |
US20100302528A1 (en) * | 2009-06-02 | 2010-12-02 | Velodyne Acoustics, Inc. | Color lidar scanner |
JP2015081921A (ja) * | 2013-10-21 | 2015-04-27 | ジック アーゲー | 回転軸を中心に運動する走査ユニットを備えるセンサ |
US20160240579A1 (en) * | 2015-02-17 | 2016-08-18 | Omnivision Technologies, Inc. | Stacked embedded spad image sensor for attached 3d information |
JP2016176750A (ja) * | 2015-03-19 | 2016-10-06 | 株式会社豊田中央研究所 | 光学的測距装置 |
JP2017519188A (ja) * | 2014-04-21 | 2017-07-13 | ファロ テクノロジーズ インコーポレーテッド | ダイクロイックビームスプリッタを有する各種信号捕捉用の三次元スキャナ |
US20180252800A1 (en) * | 2015-09-21 | 2018-09-06 | Photonic Vision Limited | Time of flight distance sensor |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5988862A (en) | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
DE102006010295B4 (de) | 2006-03-07 | 2022-06-30 | Conti Temic Microelectronic Gmbh | Kamerasystem mit zumindest zwei Bildaufnehmern |
DE102009036595A1 (de) * | 2009-08-07 | 2011-02-10 | Conti Temic Microelectronic Gmbh | Bildgebender Multifunktions-Sensor |
DE102016102610A1 (de) * | 2015-02-13 | 2016-08-18 | Zoller + Fröhlich GmbH | Laserscanner |
US10324171B2 (en) | 2015-12-20 | 2019-06-18 | Apple Inc. | Light detection and ranging sensor |
DE102016211013A1 (de) | 2016-06-21 | 2017-12-21 | Robert Bosch Gmbh | Lidar-Vorrichtung und Verfahren zum Analysieren eines Objekts |
JP6819098B2 (ja) | 2016-07-01 | 2021-01-27 | 株式会社リコー | 物体検出装置、センシング装置及び移動体装置 |
US10404925B2 (en) * | 2016-09-29 | 2019-09-03 | Honeywell International Inc. | Chip scale multispectral imaging and ranging |
-
2018
- 2018-12-12 DE DE102018221530.8A patent/DE102018221530A1/de active Pending
-
2019
- 2019-12-05 JP JP2021533443A patent/JP7190576B2/ja active Active
- 2019-12-05 EP EP19816653.0A patent/EP3894884A1/de active Pending
- 2019-12-05 US US17/286,370 patent/US20210381824A1/en active Pending
- 2019-12-05 WO PCT/EP2019/083810 patent/WO2020120278A1/de unknown
- 2019-12-05 CN CN201980082298.6A patent/CN113196087A/zh active Pending
- 2019-12-05 KR KR1020217021247A patent/KR20210096266A/ko not_active Application Discontinuation
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007526453A (ja) * | 2004-01-28 | 2007-09-13 | カネスタ インコーポレイテッド | 単一チップの赤、緑、青、距離(rgb−z)センサー |
JP2008145386A (ja) * | 2006-12-13 | 2008-06-26 | Fujifilm Corp | 距離画像取得装置及び方法 |
US20100302528A1 (en) * | 2009-06-02 | 2010-12-02 | Velodyne Acoustics, Inc. | Color lidar scanner |
JP2015081921A (ja) * | 2013-10-21 | 2015-04-27 | ジック アーゲー | 回転軸を中心に運動する走査ユニットを備えるセンサ |
JP2017519188A (ja) * | 2014-04-21 | 2017-07-13 | ファロ テクノロジーズ インコーポレーテッド | ダイクロイックビームスプリッタを有する各種信号捕捉用の三次元スキャナ |
US20160240579A1 (en) * | 2015-02-17 | 2016-08-18 | Omnivision Technologies, Inc. | Stacked embedded spad image sensor for attached 3d information |
JP2016176750A (ja) * | 2015-03-19 | 2016-10-06 | 株式会社豊田中央研究所 | 光学的測距装置 |
US20180252800A1 (en) * | 2015-09-21 | 2018-09-06 | Photonic Vision Limited | Time of flight distance sensor |
Also Published As
Publication number | Publication date |
---|---|
KR20210096266A (ko) | 2021-08-04 |
CN113196087A (zh) | 2021-07-30 |
WO2020120278A1 (de) | 2020-06-18 |
JP7190576B2 (ja) | 2022-12-15 |
DE102018221530A1 (de) | 2020-06-18 |
EP3894884A1 (de) | 2021-10-20 |
US20210381824A1 (en) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200236306A1 (en) | Imaging system for vehicle | |
US20180302611A1 (en) | 3D Time of Flight Camera and Method of Detecting Three-Dimensional Image Data | |
US8408821B2 (en) | Visible and infrared dual mode imaging system | |
JP5331107B2 (ja) | 撮像装置 | |
US20080158359A1 (en) | Solid-state imaging device, camera, vehicle and surveillance device | |
US20080143829A1 (en) | Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device | |
US9945718B2 (en) | Image sensors with multi-functional pixel clusters | |
KR102250192B1 (ko) | 이종 화소 구조를 갖는 이미지 센서 | |
KR20110084367A (ko) | 촬상 장치 | |
JP7190576B2 (ja) | LiDARシステムおよび自動車 | |
EP2533008A1 (en) | Vehicle optical sensor system | |
US20140293042A1 (en) | Spectral filtering for vehicular driver assistance systems | |
JP2022511045A (ja) | ライダーシステムおよび自動車 | |
CN112514377B (zh) | 摄像装置和摄像系统 | |
US10404925B2 (en) | Chip scale multispectral imaging and ranging | |
JP7444174B2 (ja) | 撮像素子、表示装置、及び、撮像システム | |
US11244977B2 (en) | Imaging sensor | |
EP3182453A1 (en) | Image sensor for a vision device and vision method for a motor vehicle | |
US10440249B2 (en) | Vehicle vision system camera with semi-reflective and semi-transmissive element | |
US20220210361A1 (en) | Device, system, moving body, and substrate | |
WO2023079840A1 (ja) | 撮像装置および電子機器 | |
KR102661039B1 (ko) | 촬상 소자 및 촬상 장치 | |
KR20200138158A (ko) | 촬상 소자 및 촬상 장치 | |
JPH0792267A (ja) | 信号光抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7190576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |