JP2022505485A - Lidarシステム及び方法 - Google Patents

Lidarシステム及び方法 Download PDF

Info

Publication number
JP2022505485A
JP2022505485A JP2021521533A JP2021521533A JP2022505485A JP 2022505485 A JP2022505485 A JP 2022505485A JP 2021521533 A JP2021521533 A JP 2021521533A JP 2021521533 A JP2021521533 A JP 2021521533A JP 2022505485 A JP2022505485 A JP 2022505485A
Authority
JP
Japan
Prior art keywords
photodetector
light
lidar system
sensor
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021521533A
Other languages
English (en)
Other versions
JP7453220B2 (ja
JPWO2020148567A5 (ja
Inventor
ステインバーグ,アミット
ナタン シャミール,オレン
エシェル,ロネン
バキシュ,イダン
レヴィ,シャハル
ロゼンズウェイグ,オレン
シャニ,マチチャフ
イファット,ユヴァル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innoviz Technologies Ltd
Original Assignee
Innoviz Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innoviz Technologies Ltd filed Critical Innoviz Technologies Ltd
Publication of JP2022505485A publication Critical patent/JP2022505485A/ja
Publication of JPWO2020148567A5 publication Critical patent/JPWO2020148567A5/ja
Application granted granted Critical
Publication of JP7453220B2 publication Critical patent/JP7453220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • B60Q1/0023Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/003Bistatic lidar systems; Multistatic lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4868Controlling received signal intensity or exposure of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)

Abstract

Figure 2022505485000001
システム及び方法は、LIDARシステムの最小所定距離内の物体を検出し得る。LIDARシステムは、光源及び光偏向器を制御して、光源によって照射される空間内に位置している物体を照射し、LIDARセンサの視野内に位置している第1の物体までの距離を決定して、補助センサから、視野の外部にある第2の物体から反射された光を示す反射信号を受信し、第2の反射信号に基づき、第2の物体が所定の距離内に位置していると判断し、その判断に基づき、光源及び光偏向器の少なくとも1つを調整して、光源によって放出された光の蓄積されたエネルギー密度が最大許容曝露レベルを超えるのを防ぐように構成されたプロセッサを含み得る。
【選択図】図7A

Description

(関連出願の相互参照)
本出願は、2018年10月19日に出願された米国仮特許出願第62/747,761号、及び2018年11月1日に出願された米国仮特許出願第62/754,055号に対する優先権を主張する。前述の出願は、参照により全体として本明細書に組み込まれる。
本開示は、一般に、周囲環境をスキャンするための技術に関し、例えば、LIDAR技術を用いて周囲環境内の物体を検出するシステム及び方法に関する。
運転者支援システム及び自律走行車の出現によって、自動車は、車両のナビゲーションに影響を及ぼし得る障害物、危険、物体、及び他の物理パラメータを識別することを含めて、周囲の状況を信頼性高く検知し解釈できるシステムを搭載することが必要となっている。この目的のため、単独で又は冗長的に動作するレーダ、LIDAR、カメラベースのシステムを含む多くの異なる技術が提案されている。
運転者支援システム及び自律走行車に伴う1つの検討すべき事項は、雨、霧、暗さ、明るい光、及び雪を含む様々な条件においてシステムが周囲の状況を判断する能力である。光検出と測距(LIDAR:light detection and ranging system、LADARとしても知られている)は、物体に光を照射して反射したパルスをセンサで測定することで物体までの距離を測定することによって、様々な条件で良好に機能することができる技術の一例である。レーザは、LIDARシステムにおいて使用できる光源の一例である。あらゆる検知システムと同様、LIDARベースの検知システムが自動車業界によって充分に導入されるため、システムは、遠方の物体の検出を可能とする信頼性の高いデータを提供しなければならない。しかしながら、現在、LIDARシステムを目に安全なものにする(すなわち、投影光放出が目の角膜及びレンズに吸収されて網膜に熱損傷を与える場合に生じ得る人の目に対する損傷を与えないようにする)必要によって、LIDARシステムの最大照射パワーは制限されている。
本開示のシステム及び方法は、目の安全の規制に従いながらLIDARシステムの性能を向上させることを対象とする。
本開示に従った実施形態は、ユーザの環境からの画像を自動的にキャプチャ及び処理するための装置及び方法、ならびにユーザの環境からキャプチャされた画像に関連した情報を処理するためのシステム及び方法を提供する。
一実施形態では、LIDARシステムは、少なくとも1つのプロセッサを含み得る。少なくとも1つのプロセッサは、光源及び光偏向器の少なくとも1つを制御して、光源によって照射されている空間内に位置する第1の物体及び第2の物体を照射し、第1の物体はLIDARシステムのLIDARセンサの視野内に位置し、第2の物体はLIDARセンサの視野の外部に位置しており;LIDARセンサから受信した第1の反射信号に基づき第1の物体までの距離を決定し、第1の反射信号は第1の物体から反射された光を示しており;第2の物体から反射された光を示す第2の反射信号を、補助センサから受信し;第2の反射信号に基づき、第2の物体はLIDARシステムから所定の距離内に位置すると判断し;その判断に基づき、光源及び光偏向器の少なくとも1つを調整して所定の距離内の光源によって放出された光の蓄積されたエネルギー密度が最大許容曝露レベルを超えるのを防ぐ、ように構成され得る。
一実施形態では、方法は、LIDARシステムの最小閾値安全距離内の物体を検出し得る。方法は、光源及び光偏向器の少なくとも1つを制御して、光源によって照射されている空間内に位置する第1の物体及び第2の物体を照射することであって、第1の物体はLIDARシステムのLIDARセンサの視野内に位置し、第2の物体はLIDARセンサの視野の外部に位置している照射すること;LIDARセンサから受信した第1の反射信号に基づき第1の物体までの距離を決定することであって、第1の反射信号は第1の物体から反射された光を示している決定すること;第2の物体から反射された光を示す第2の反射信号を、補助センサから受信すること;第2の反射信号に基づき、第2の物体はLIDARシステムから所定の距離内に位置すると判断すること;ならびにその判断に基づき、光源及び光偏向器の少なくとも1つを調整して所定の距離内の光源から放出された光の蓄積されたエネルギー密度が最大許容曝露レベルを超えるのを防ぐこと、を含み得る。
一実施形態では、LIDARシステムは、光を空間に向けて投影するように構成された光源、LIDARセンサの一次視野内の複数の物体から反射された光を検出するように構成されたLIDARセンサ、及びLIDARセンサが死角領域内から物体を検出できるように、光を第2の物体からLIDARセンサへ向けるための光学コンポーネントを含み得、死角領域は空間内に含まれるが、一次視野の外側である。
一実施形態では、複数の性能特性を有する光検出センサは、検出領域を有する半導体フォトダイオードチップ及び検出領域内に配置された光検出器アレイを含み得る。光検出器アレイは、第1の性能特性を有する第1の光検出器であって、第1の光検出器は、複数の対象物体に向けて伝送されて複数の対象物体の少なくとも第1の物体から第1の光検出器に反射された光に基づき第1の検出信号を生成するように構成されており、第1の検出信号は複数の対象物体に向けて伝送されて複数の対象物体の第1の物体から第1の光検出器に反射された光の飛行時間を示す、第1の光検出器;及び第1の性能特性とは異なる第2の性能特性を有する第2の光検出器であって、第2の光検出器は、複数の対象物体に向けて伝送されて複数の対象物体の少なくとも第2の物体から第2の光検出器に反射された光に基づき第2の検出信号を生成するように構成されており、第2の検出信号は第1の検出信号から検出できない複数の対象物体の少なくとも1つの存在を示す、第2の光検出器を含み得る。
一実施形態では、方法は、複数の性能特性を持つ光検出センサを使用して物体を検出し得る。方法は、第1の性能特性を有する第1の光検出器によって、複数の対象物体に向けて伝送されて複数の対象物体の少なくとも第1の物体から第1の光検出器に反射された光に基づき第1の検出信号を生成することであって、第1の検出信号は複数の対象物体に向けて伝送されて複数の対象物体の少なくとも第1の物体から第1の光検出器に反射された光の飛行時間を示す、第1の検出信号を生成すること;及び第1の性能特性とは異なる第2の性能特性を有する第2の光検出器によって、複数の対象物体に向けて伝送されて複数の対象物体の少なくとも第2の物体から第2の光検出器に反射された光に基づき第2の検出信号を生成することであって、第2の検出信号は第1の検出信号から検出できない複数の対象物体の少なくとも1つの存在を示す、第2の検出信号を生成することを含み得る。
一実施形態では、LIDARを装備した道路車両用の検査システムは、少なくとも1つのプロセッサを含み得る。少なくとも1つのプロセッサは、特定の車両のLIDARシステムの少なくとも1つの最新の動作パラメータにアクセスすること、少なくとも1つの履歴動作パラメータにアクセスすること、少なくとも1つの履歴動作パラメータ及び少なくとも1つの最新の動作パラメータを分析してLIDARシステムの動作における劣化の指標を決定すること、LIDARシステムの動作における劣化の指標及び特定の車両に非特有の格納データを分析してLIDARシステムの状態を判断すること、ならびにLIDARシステムの判断された状態に基づき、改善措置をトリガーすることを含む動作を実行するように構成され得る。
一実施形態では、方法は、LIDARを装備した道路車両を検査し得る。方法は、特定の車両のLIDARシステムの少なくとも1つの最新の動作パラメータにアクセスすること、少なくとも1つの履歴動作パラメータにアクセスすること、少なくとも1つの履歴動作パラメータ及び少なくとも1つの最新の動作パラメータを分析してLIDARシステムの動作における劣化の指標を決定すること、劣化の指標及び特定の車両に非特有の格納データを分析してLIDARシステムの状態を判断すること、ならびにLIDARシステムの判断された状態に基づき、改善措置をトリガーすることを含み得る。
他の開示される実施形態に従って、非一時的コンピュータ読み取り可能記憶媒体はプログラム命令を記憶することができ、この命令は、少なくとも1つのプロセッサによって実行され、本明細書に記載される方法の任意のものを実施する。
前述の一般的な説明及び以下の詳細な説明は、単なる例示及び説明であり、特許請求の範囲を限定するものではない。
本開示に組み込まれてその一部を構成する添付図面は、開示される様々な実施形態を示している。
開示される実施形態に従った例示的なLIDARシステムを示す図である。 開示される実施形態に従った、車両上に搭載されたLIDARシステムの単一スキャンサイクルの例示的な出力を示す画像である。 開示される実施形態に従ったLIDARシステムの出力から決定されたポイントクラウドモデルの表現を示す別の画像である。 本開示の実施形態に従った投影ユニットの構成を示す図である。 本開示の実施形態に従ったスキャンユニットの構成を示す図である。 本開示の実施形態に従った検知ユニットの構成を示す図である。 視野の単一部分の単一フレーム時間における放出パターンを示す4つの例示的な図を含む。 視野全体の単一フレーム時間における放出スキームを示す3つの例示的な図を含む。 視野全体の単一フレーム時間中に投影された実際の光放出及び受光された反射を示す図である。 本開示の実施形態に従った第1の例示的な実施を示す図である。 本開示の実施形態に従った第2の例示的な実施を示す図である。 本開示のいくつかの実施形態に従ったLIDARシステムの視野例を示す略図である。 本開示のいくつかの実施形態に従った、補助センサを含むLIDARシステムの視野例を示す略図である。 本開示のいくつかの実施形態に従った、補助センサを含むLIDARシステムの構成例を示す略図である。 本開示のいくつかの実施形態に従った補助センサアレイ例を示す略図である。 本開示のいくつかの実施形態に従った、補助センサを含むLIDARシステムの別の構成例を示す略図である。 開示される実施形態に従ったLIDARシステムの最小所定距離内で物体を検出するためのプロセス例を示すフローチャートである。 本開示のいくつかの実施形態に従った複数のタイプの光検出器をもつ光検出器アレイを備えたセンサを有するLIDARシステム例を示す略図である。 本開示のいくつかの実施形態に従った光検出器アレイの構成例を示す。 開示される実施形態に従った複数の性能特性をもつ光検出センサを使用して物体を検出するためのプロセス例を示すフローチャートである。 開示される実施形態に従った複数の性能特性をもつ光検出センサを使用してLIDARシステムを操作するためのプロセス例を示すフローチャートである。 本開示のいくつかの実施形態に従ったLIDARシステムを検査するためのシステム例を示す略図である。 本開示のいくつかの実施形態に従った検査システム例を示す略図である。 本開示のいくつかの実施形態に従ったLIDARシステムを検査するためのプロセス例を示すブロック図である。 開示される実施形態に従ったLIDARシステムを検査するためのプロセス例を示すフローチャートである。
以下の詳細な説明は添付図面を参照する。可能な限り、図面及び以下の記載では同一の参照番号を用いて同一又は同様の部分を指し示す。本明細書ではいくつかの例示的な実施形態を記載するが、変更、適合、及びその他の実施も可能である。例えば、図面に示されたコンポーネントに対する置換、追加、又は変更を行うことができ、開示される方法に対するステップの置換、並べ替え、除去、又は追加によって本明細書に記載される例示的な方法を変更することができる。従って、以下の詳細な説明は開示される実施形態及び例に限定されない。適正な範囲は添付の特許請求の範囲によって規定される。
用語の定義
開示される実施形態は光学システムを含み得る。本明細書で用いる場合、「光学システム」という用語は、光の発生、検出、及び/又は操作のために使用される任意のシステムを広く含む。単に一例として、光学システムは、光を発生、検出、及び/又は操作するための1つ以上の光学コンポーネントを含み得る。例えば、光源、レンズ、ミラー、プリズム、ビームスプリッタ、コリメータ、偏光光学系、光学変調器、光学スイッチ、光学増幅器、光学検出器、光学センサ、光ファイバ、半導体光学コンポーネントは、それぞれ必ずしも必須ではないが、光学システムの一部となり得る。1つ以上の光学コンポーネントに加えて、光学システムは、電気的コンポーネント、機械的コンポーネント、化学反応コンポーネント、及び半導体コンポーネントのような、他の非光学コンポーネントも含み得る。非光学コンポーネントは、光学システムの光学コンポーネントと協働することができる。例えば光学システムは、検出された光を分析するための少なくとも1つのプロセッサを含み得る。
本開示に従って、光学システムはLIDARシステムとすることができる。本明細書で用いる場合、「LIDARシステム」という用語は、反射光に基づいて1対の有形物体(tangible object)間の距離を示すパラメータの値を決定することができる任意のシステムを広く含む。一実施形態において、LIDARシステムは、LIDARシステムが放出した光の反射に基づいて1対の有形物体間の距離を決定できる。本明細書で用いる場合、「距離を決定する」という用語は、1対の有形物体間の距離を示す出力を発生することを広く含む。決定された距離は、1対の有形物体間の物理的寸法を表すことができる。単に一例として、決定された距離は、LIDARシステムとLIDARシステムの視野内の別の有形物体との間の飛行距離線を含み得る。別の実施形態において、LIDARシステムは、LIDARシステムが放出した光の反射に基づいて1対の有形物体間の相対速度を決定することができる。1対の有形物体間の距離を示す出力の例には、有形物体間の標準的な長さ単位の数(例えばメートル数、インチ数、キロメートル数、ミリメートル数)、任意の長さ単位の数(例えばLIDARシステム長の数)、距離と別の長さとの比(例えばLIDARシステムの視野内で検出された物体の長さに対する比)、時間量(例えば標準的な単位、任意の単位又は比、例えば有形物体間を光が移動するのに要する時間として与えられる)、1つ以上のロケーション(例えば承認された座標を用いて規定される、既知のロケーションに対して規定される)、及びその他のものが含まれる。
LIDARシステムは、反射光に基づいて1対の有形物体間の距離を決定することができる。一実施形態において、LIDARシステムは、光信号の放出とセンサによるその検出の時点との間の時間期間を示す時間情報を生成するセンサの検出結果を処理することができる。この時間期間は時として光信号の「飛行時間(time of flight)」と称される。一例において、光信号は短いパルスであり、受信の際にその立ち上がり時間及び/又は立ち下がり時間を検出することができる。関連する媒体(通常は空気)中における光の速度に関する既知の情報を用いて、光信号の飛行時間に関する情報を処理することで、放出と検出との間で光信号が移動する距離を提供できる。別の実施形態において、LIDARシステムは、周波数位相シフト(又は多周波数位相シフト)に基づいて距離を決定することができる。具体的には、LIDARシステムは、光信号の(例えば最終的な測度を与えるためいくつかの連立方程式を解くことによって)1つ以上の変調位相シフトを示す情報を処理することができる。例えば、放出された光学信号を1つ以上の一定周波数によって変調できる。放出された信号と検出された反射との間の変調の少なくとも1つの位相シフトは、放出と検出との間で光が移動した距離を示すことができる。変調は、連続波光信号、準連続波光信号、又は別のタイプの放出される光信号に適用され得る。距離を決定するため、LIDARシステムによって追加情報を使用できることに留意するべきである。追加情報は例えば、信号の投影ロケーションと検出ロケーションとの間のロケーション情報(例えば相対位置)(特に、相互に距離が離れている場合)、及びその他のものである。
いくつかの実施形態において、LIDARシステムは、LIDARシステムの環境内の複数の物体を検出するために使用できる。「LIDARシステムの環境内の物体を検出する」という用語は、LIDARシステムに関連付けられた検出器の方へ光を反射した物体を示す情報を発生することを広く含む。2つ以上の物体がLIDARシステムによって検出された場合、異なる物体に関して発生された情報、例えば、自動車が道路を走行している、鳥が木にとまっている、人が自転車に触れる、ライトバン(van)が建物の方へ移動するといった情報は、相互に連絡することができる。LIDARシステムが物体を検出する環境の寸法は、実施に伴って変動し得る。例えばLIDARシステムは、LIDARシステムが搭載されている車両の環境内で、最大で100m(又は200m、300m等)の水平方向距離まで、及び最大で10m(又は25m、50m等)の垂直方向距離まで、複数の物体を検出するために使用できる。別の例においてLIDARシステムは、車両の環境内で、又は既定の水平方向範囲内(例えば25°、50°、100°、180°等)で、及び既定の垂直方向高さ(例えば±10°、±20°、+40°~20°、±90°、又は0°~90°)まで、複数の物体を検出するため使用できる。
本明細書で用いる場合、「物体を検出する」という用語は、物体の存在を決定することを広く指すことができる(例えば、物体はLIDARシステムに対して及び/又は別の基準ロケーションに対して特定の方向に存在し得る、又は、物体は特定の空間体積内に存在し得る)。これに加えて又はこの代わりに、「物体を検出する」という用語は、物体と別のロケーション(例えばLIDARシステムのロケーション、地球上のロケーション、又は別の物体のロケーション)との間の距離を決定することを指す可能性がある。これに加えて又はこの代わりに、「物体を検出する」という用語は、物体を識別すること(例えば自動車、木、道路のような物体の種類を分類すること、特定の物体(例えばワシントン記念塔)を認識すること、自動車登録番号を判定すること、物体の組成(例えば固体、液体、透明、半透明)を明らかにすること、物体の運動パラメータ(例えば移動中であるか、その速度、移動方向、物体の膨張)を決定することを指す可能性がある。これに加えて又はこの代わりに、「物体を検出する」という用語は、ポイントクラウドマップを発生することを指す可能性がある。ポイントクラウドマップの1つ以上のポイントの各々は、物体内のロケーション又は物体面上のロケーションに対応する。一実施形態において、視野のポイントクラウドマップ表現に関するデータ解像度は、視野の0.1°×0.1°又は0.3°×0.3°に関連付けることができる。
本開示に従って、「物体」という用語は、その少なくとも一部から光を反射することができる有限の組成物を広く含む。例えば物体は、少なくとも部分的に固体である(例えば自動車、木)、少なくとも部分的に液体である(例えば道路の水たまり、雨)、少なくとも部分的に気体である(例えば煙、雲)、多数の別個の粒子から成る(例えば砂あらし、霧、スプレー)、例えば~1ミリメートル(mm)、~5mm、~10mm、~50mm、~100mm、~500mm、~1メートル(m)、~5m、~10m、~50m、~100mのような1つ以上の大きさであり得る。また、より小さいか又は大きい物体、及びこれらの例の間の任意の大きさも検出できる。様々な理由から、LIDARシステムは物体の一部のみを検出する場合があることに留意するべきである。例えば、場合によっては、光は物体のいくつかの側面のみから反射される(例えば、LIDARシステムに対向する側面のみが検出される)。他の場合、光は物体の一部のみに投影される(例えば、レーザビームが道路又は建物に投影される)。また他の場合、物体は、LIDARシステムと検出された物体との間の別の物体によって部分的に遮られる。また他の場合、LIDARのセンサは物体の一部から反射された光のみを検出し得る。これは例えば、周囲光又は他の干渉が物体のいくつかの部分の検出を妨害するからである。
本開示に従って、LIDARシステムは、LIDARシステムの環境をスキャンすることで物体を検出するように構成できる。「LIDARシステムの環境をスキャンする」という用語は、LIDARシステムの視野又は視野の一部を照射することを広く含む。一例において、LIDARシステムの環境をスキャンすることは、光偏向器を移動又は枢動させて、視野の様々な部分へ向かう様々な方向に光を偏向させることによって達成できる。別の例において、LIDARシステムの環境をスキャンすることは、視野に対するセンサの位置決め(すなわちロケーション及び/又は向き)を変えることによって達成できる。別の例において、LIDARシステムの環境をスキャンすることは、視野に対する光源の位置決め(すなわちロケーション及び/又は向き)を変えることによって達成できる。更に別の例において、LIDARシステムの環境をスキャンすることは、少なくとも1つの光源及び少なくとも1つのセンサが視野に対して固定して(rigidly)移動するようにそれらの位置を変えることによって達成できる(すなわち、少なくとも1つのセンサ及び少なくとも1つの光源の相対的な距離及び向きは維持される)。
本明細書で用いる場合、「LIDARシステムの視野」という用語は、物体を検出することができるLIDARシステムの観察可能な環境の範囲を広く含み得る。LIDARシステムの視野(FOV)は様々な条件によって影響を受け得ることに留意するべきである。様々な条件は、限定ではないが、LIDARシステムの向き(例えばLIDARシステムの光軸の方向)、環境に対するLIDARシステムの位置(例えば地面、及び隣接地形、及び障害物からの距離)、LIDARシステムの動作パラメータ(例えば放出パワー、計算設定、規定の動作角度)等である。LIDARシステムの視野は、例えば立体角を用いて規定することができる(例えばφ、θ角を用いて規定される。φ及びθは、例えばLIDARシステム及び/又はそのFOVの対称軸に対する垂直面において規定される)。一例において、視野は、特定の範囲内(例えば最大で200m)で規定することができる。
同様に、「瞬時視野(instantaneous field of view)」という用語は、任意の所与の瞬間にLIDARシステムによって物体を検出することができる観察可能な環境の範囲を広く含み得る。例えばスキャンLIDARシステムでは、瞬時視野はLIDARシステムの全FOVよりも狭く、LIDARシステムのFOVの他の部分における検出を可能とするためLIDARシステムのFOV内で移動させることができる。LIDARシステムのFOV内での瞬時視野の移動は、LIDARシステムへの光ビーム及び/又はLIDARシステムからの光ビームを異なる方向に偏向させるようにLIDARシステムの(又はLIDARシステム外部の)光偏向器を移動させることによって達成できる。一実施形態において、LIDARシステムは、LIDARシステムが動作している環境内のシーン(scene)をスキャンするように構成できる。本明細書で用いる場合、「シーン」という用語は、LIDARシステムの視野内の物体のいくつか又は全てを、LIDARシステムの動作期間中の相対位置で及び現在の状態で広く含み得る。例えばシーンは、地上の要素(例えば土、道路、草、歩道、路面標識)、空、人工物体(例えば車両、建物、標識)、植物、人物、動物、光投影要素(例えば懐中電灯、太陽、他のLIDARシステム)等を含み得る。
開示される実施形態は、再構築3次元モデルの生成に使用される情報を取得することを含み得る。使用できるタイプの再構築3次元モデルの例には、ポイントクラウドモデル及びポリゴンメッシュ(Polygon Mesh)(例えば三角形メッシュ)が含まれる。「ポイントクラウド」及び「ポイントクラウドモデル」という用語は、当技術分野において周知であり、ある特定の座標系に空間的に位置付けられるデータポイントセットを含むものと解釈するべきである(すなわち、各座標系によって記述される空間内に識別可能ロケーションを有する)。「ポイントクラウドポイント」という用語は、空間(無次元であるか、又は例えば1cmのような微小セル空間である場合がある)内のポイントを指し、そのロケーションは座標セットを用いたポイントクラウドモデルによって記述できる(例えば(X、Y、Z)、(r、φ、θ))。単に一例として、ポイントクラウドモデルは、そのポイントのいくつか又は全てのための追加情報を記憶することができる(例えば、カメラ画像から生成されたポイントのための色情報)。同様に、他のいずれのタイプの再構築3次元モデルも、その物体のいくつか又は全てのための追加情報を記憶することができる。同様に、「ポリゴンメッシュ」及び「三角形メッシュ」という用語は当技術分野において周知であり、とりわけ、1つ以上の3D物体(多面体等)の形状を画定する頂点(vertex)、稜線(edge)、及び面(face)のセットを含むように解釈するべきである。面は、レンダリングを簡略化できるという理由から、三角形(三角形メッシュ)、四角形、又は他の単純な凸多角形のうち1つ以上を含み得る。また、面は、より一般的な凹多角形、又はくぼみ(hole)を有する多角形を含み得る。ポリゴンメッシュは、頂点-頂点メッシュ、面-頂点メッシュ、ウイングドエッジメッシュ(Winged-edge mesh)、及びレンダーダイナミックメッシュ(Render dynamic mesh)のような様々な技法を用いて表現できる。ポリゴンメッシュの様々な部分(例えば頂点、面、稜線)は、直接的に及び/又は相対的に、ある特定の座標系に空間的に位置付けられる(すなわち、各座標系によって記述される空間内に識別可能ロケーションを有する)。再構築3次元モデルの生成は、任意の標準的な、専用の、及び/又は新規の写真測量技法を用いて実施することができ、それらの多くは当技術分野において既知である。LIDARシステムによって他のタイプの環境モデルも生成できることに留意するべきである。
開示される実施形態に従って、LIDARシステムは、光を投影するように構成された光源を用いる少なくとも1つの投影ユニットを含み得る。本明細書で用いる場合、「光源」という用語は、光を放出するように構成された任意のデバイスを広く指す。一実施形態において、光源は、固体レーザ、レーザダイオード、高出力レーザのようなレーザ、又は発光ダイオード(LED)ベースの光源のような代替的な光源とすればよい。更に、図面全体を通して示されている光源112は、光パルス、連続波(CW)、準CW等、異なるフォーマットの光を放出することができる。例えば、使用できる光源の1つのタイプは、垂直キャビティ面発光レーザ(VCSEL:vertical-cavity surface-emitting laser)である。使用できる別のタイプの光源は、外部キャビティダイオードレーザ(ECDL:external cavity diode laser)である。いくつかの例では、光源は約650nmから1150nmの間の波長の光を放出するように構成されたレーザダイオードを含み得る。あるいは、光源は、約800nmから約1000nm、約850nmから約950nm、又は約1300nmから約1600nmの波長の光を放出するように構成されたレーザダイオードを含み得る。別段の指示がない限り、数値に関する「約」という用語は、言及された値に対して最大5%の分散として規定される。投影ユニット及び少なくとも1つの光源についての更なる詳細は、図2Aから図2Cを参照して以下で説明する。
開示される実施形態に従って、LIDARシステムは、視野をスキャンするため光源からの光を偏向させるように構成された少なくとも1つの光偏向器を用いる少なくとも1つのスキャンユニットを含み得る。「光偏向器」という用語は、光を最初の経路から逸脱させるように構成されている任意の機構又はモジュールを広く含み、例えば、ミラー、プリズム、制御可能レンズ、機械的ミラー、機械的スキャンポリゴン(scanning polygon)、アクティブ回折(例えば制御可能LCD)、リスレープリズム(Risley prism)、非機械電子光学ビームステアリング(Vscentにより作製されるもの等)、偏光格子(Boulder Non-Linear Systemsにより提供されるもの等)、光学フェーズドアレイ(OPA:optical phased array)、及びその他のものである。一実施形態において、光偏向器は、少なくとも1つの反射要素(例えばミラー)、少なくとも1つの屈折要素(例えばプリズム、レンズ)等、複数の光学コンポーネントを含み得る。一例において、光偏向器は、光を様々な角度数に(例えば別々の角度数に、又は連続的な角度数範囲に)逸脱させるように、可動性であり得る。光偏向器は、任意選択的に、様々なやり方で制御可能であり得る(例えば、α度に偏向させる、偏向角をΔαだけ変える、光偏向器のコンポーネントをMミリメートル移動させる、偏向角が変わる速度を変化させる)。更に光偏向器は、任意選択的に、単一の面(例えばθ座標)内で偏向の角度を変えるように動作可能であり得る。光偏向器は、任意選択的に、2つの非平行の面(例えばθ及びφ座標)内で偏向の角度を変えるように動作可能であり得る。この代わりに又はこれに加えて、光偏向器は任意選択的に、所定の設定間で(例えば所定のスキャンルートに沿って)又はその他で偏向の角度を変えるように動作可能であり得る。LIDARシステムにおける光偏向器の使用に関して、光偏向器をアウトバウンド方向(送信方向すなわちTXとも称される)で用いて、光源からの光を視野の少なくとも一部へ偏向できることに留意するべきである。しかしながら、光偏向器をインバウンド方向(受信方向すなわちRXとも称される)で用いて、視野の少なくとも一部からの光を1つ以上の光センサへ偏向させることも可能である。スキャンユニット及び少なくとも1つの光偏向器についての更なる詳細は、図3Aから図3Cを参照して以下で説明する。
開示される実施形態は、視野をスキャンするために光偏向器を枢動することを含み得る。本明細書で用いる場合、「枢動する(pivot)」という用語は、物体(特に固体の物体)を、回転中心を実質的に固定したままに維持しながら、1つ以上の回転軸を中心として回転させることを広く含む。一実施形態において、光偏向器の枢動は、固定軸(例えばシャフト)を中心として光偏向器を回転させることを含み得るが、必ずしもそうとは限らない。例えばいくつかのMEMSミラー実施では、MEMSミラーは、ミラーに接続された複数の曲げ部(bender)の作動によって動くことができ、ミラーは回転に加えてある程度の空間並進を生じ得る。それにもかかわらず、このようなミラーは実質的に固定された軸を中心として回転するように設計できるので、本開示に従って、枢動すると見なされる。他の実施形態において、あるタイプの光偏向器(例えば非機械電子光学ビームステアリング、OPA)は、偏向光の偏向角を変えるために移動コンポーネントも内部移動も必要としない。光偏向器の移動又は枢動に関する検討は、必要な変更を加えて、光偏向器の偏向挙動を変化させるように光偏向器を制御することにも適用できることに留意するべきである。例えば光偏向器を制御することで、少なくとも1つの方向から到達する光ビームの偏向角を変化させることが可能となる。
開示される実施形態は、光偏向器の単一の瞬時位置に対応する視野の部分に関連した反射を受信することを含み得る。本明細書で用いる場合、「光偏向器の瞬時位置」(「光偏向器の状態」とも称される)という用語は、ある瞬間的な時点に又は短い時間期間にわたって光偏向器の少なくとも1つの制御されたコンポーネントが位置している空間内のロケーション又は位置を広く指す。一実施形態において、光偏向器の瞬時位置は基準系(frame of reference)に対して測定することができる。基準系はLIDARシステム内の少なくとも1つの固定点に関連し得る。又は、例えば基準系はシーン内の少なくとも1つの固定点に関連し得る。いくつかの実施形態において、光偏向器の瞬時位置は、光偏向器(例えばミラー、プリズム)の1つ以上のコンポーネントのある程度の移動を含み得るが、この移動は通常、視野のスキャン中の最大変化度に対して限られた程度のものである。例えばLIDARシステムの視野全体のスキャンは、光の偏向を30°の範囲にわたって変化させることを含み得る。また、少なくとも1つの光偏向器の瞬時位置は、光偏向器の0.05°内の角度シフトを含み得る。他の実施形態において、「光偏向器の瞬時位置」という用語は、LIDARシステムによって生成されるポイントクラウド(又は別のタイプの3Dモデル)の単一ポイントのデータを与えるために処理される光の取得中の光偏向器の位置を指し得る。いくつかの実施形態において、光偏向器の瞬時位置は、偏向器がLIDAR視野の特定の小領域(sub-region)の照射中に短時間停止する固定の位置又は向きに一致し得る。他の場合、光偏向器の瞬時位置は、光偏向器がLIDAR視野の連続的又は半連続的なスキャンの一部として通過する、光偏向器の位置/向きのスキャン範囲に沿った特定の位置/向きと一致し得る。いくつかの実施形態では、LIDAR FOVのスキャンサイクル中に光偏向器が複数の異なる瞬時位置に位置付けられるように光偏向器を移動させることができる。言い換えると、スキャンサイクルが発生する時間期間中、偏向器を一連の異なる瞬時位置/向きに移動させることができ、偏向器は、スキャンサイクル中の異なる時点でそれぞれ異なる瞬時位置/向きに到達できる。
開示される実施形態に従って、LIDARシステムは、視野内の物体からの反射を検出するように構成された少なくとも1つのセンサを用いる少なくとも1つの検知ユニットを含み得る。「センサ」という用語は、電磁波の特性(例えば電力、周波数、位相、パルスタイミング、パルス持続時間)を測定することができ、測定された特性に関する出力を生成するための任意のデバイス、要素、又はシステムを広く含む。いくつかの実施形態において、少なくとも1つのセンサは、複数の検出要素から構築された複数の検出器を含み得る。少なくとも1つのセンサは、1つ以上のタイプの光センサを含み得る。少なくとも1つのセンサは、他の特性(例えば感度、大きさ)が異なる同じタイプの複数のセンサを含み得ることに留意するべきである。他のタイプのセンサを用いてもよい。例えば、ある距離範囲(特に近距離)における検出の向上、センサのダイナミックレンジの向上、センサの時間的応答の向上、及び、様々な環境条件(例えば大気温度、雨等)における検出の向上のような様々な理由から、いくつかのタイプのセンサを組み合わせて使用することも可能である。
一実施形態において、少なくとも1つのセンサは、一般的なシリコン基板上で検出要素として機能する、アバランシェフォトダイオード(APD:avalanche photodiode)、単一光子アバランシェダイオード(SPAD:single photon avalanche diode)から構築された固体単一光子検知デバイスであるSiPM(Silicon photomultiplier、シリコン光電子増倍管)を含む。一例において、SPAD間の典型的な距離は約10μmから約50μの間であり、各SPADは約20nsから約100nsの間の回復時間を有し得る。他の非シリコン材料による同様の光電子増倍管も使用できる。SiPMデバイスはデジタル/スイッチングモードで動作するが、全ての微小セルが並列に読み出されて、異なるSPADによって検出される単一の光子から数百及び数千の光子までのダイナミックレンジ内で信号を発生することを可能とするので、SiPMはアナログデバイスである。異なるタイプのセンサ(例えばSPAD、APD、SiPM、PINダイオード、光検出器)からの出力が組み合わされて単一の出力になり、これをLIDARシステムのプロセッサによって処理できることに留意するべきである。検知ユニット及び少なくとも1つのセンサについての更なる詳細は、図4Aから図4Cを参照して以下で説明する。
開示される実施形態に従って、LIDARシステムは、様々な機能を実行するように構成された少なくとも1つのプロセッサを含むか又は少なくとも1つのプロセッサと通信することができる。少なくとも1つのプロセッサは、1つ又は複数の入力に対して論理動作を実行する電気回路を有する任意の物理デバイスを構成し得る。例えば少なくとも1つのプロセッサは、特定用途向け集積回路(ASIC)、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置(CPU)の全体又は一部、グラフィック処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、又は命令の実行もしくは論理動作の実行に適した他の回路を含む、1つ以上の集積回路(IC)を含み得る。少なくとも1つのプロセッサによって実行される命令は、例えば、コントローラに一体化されているか又は埋め込まれたメモリに予めロードするか、又は別個のメモリに記憶することができる。メモリは、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、光学ディスク、磁気媒体、フラッシュメモリ、他の永久メモリ、固定メモリ、もしくは揮発性メモリ、又は命令を記憶することができる他の任意の機構を含み得る。いくつかの実施形態において、メモリは、LIDARシステムの環境内の物体に関するデータを表す情報を記憶するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは2つ以上のプロセッサを含み得る。各プロセッサは同様の構成を有するか、又は、それらのプロセッサは相互に電気的に接続されるかもしくは切断された異なる構成とすることができる。例えばプロセッサは、別々の回路とするか、又は単一の回路に一体化することができる。2つ以上のプロセッサを用いる場合、これらのプロセッサは、独立して又は協働して動作するように構成できる。これらのプロセッサは、電気的に、磁気的に、光学的に、音響的に、機械的に、又はそれらの相互作用を可能とする他の手段によって、結合することができる。処理ユニット及び少なくとも1つのプロセッサについての更なる詳細は、図5Aから図5Cを参照して以下で説明する。
システムの概要
図1Aは、投影ユニット102、スキャンユニット104、検知ユニット106、及び処理ユニット108を含むLIDARシステム100を示す。LIDARシステム100は車両110上に搭載可能である。本開示の実施形態に従って、投影ユニット102は少なくとも1つの光源112を含み、スキャンユニット104は少なくとも1つの光偏向器114を含み、検知ユニット106は少なくとも1つのセンサ116を含み、処理ユニット108は少なくとも1つのプロセッサ118を含み得る。一実施形態において、少なくとも1つのプロセッサ118は、視野120をスキャンするため、少なくとも1つの光源112の動作と少なくとも1つの光偏向器114の移動を連携させるように構成できる。スキャンサイクル中、少なくとも1つの光偏向器114の各瞬時位置を視野120の特定の部分122に関連付けることができる。更に、LIDARシステム100は、視野120の方へ投影される光を誘導する及び/又は視野120内の物体から反射された光を受光するための少なくとも1つの任意選択的な光学ウィンドウ124を含み得る。任意選択的な光学ウィンドウ124は、投影光のコリメーション及び反射光の集束のような異なる目的に供することができる。一実施形態において、任意選択的な光学ウィンドウ124は、開口、平坦なウィンドウ、レンズ、又は他の任意のタイプの光学ウィンドウとすればよい。
本開示に従って、LIDARシステム100は、自律走行又は半自律走行の道路車両(例えば自動車、バス、ライトバン、トラック、及び他の任意の地上車)において使用することができる。LIDARシステム100を備えた自律走行道路車両は、環境をスキャンし、人の入力なしで目的地車両まで運転することができる。同様に、LIDARシステム100は、自律型/半自律型航空機(例えばUAV、ドローン、クワッドコプター、及び他の任意の航空機もしくは飛行デバイス)、又は自律型もしくは半自律型の水上船(例えばボート、船、潜水艦、及び他の任意の船舶)においても使用され得る。LIDARシステム100を備えた自律型航空機及び水上船は、環境をスキャンし、自律的に又は遠隔の人のオペレータを用いて目的地までナビゲートすることができる。一実施形態に従って、車両110(道路車両、航空機、又は水上船)は、車両110が動作している環境の検出及びスキャンに役立てるためLIDARシステム100を使用することができる。
LIDARシステム100又はそのコンポーネントのいずれも、本明細書で開示される実施形態例及び方法のいずれとも一緒に使用され得ることに留意すべきである。更に、LIDARシステム100のいくつかの態様は例示的な車両ベースのLIDARプラットフォームに関連して説明されるが、LIDARシステム100、そのコンポーネントのいずれか、又は本明細書で説明するプロセスのいずれかは、他のプラットフォームタイプのLIDARシステムに適用可能であり得る。
いくつかの実施形態において、LIDARシステム100は、車両110の周りの環境をスキャンするための1つ以上のスキャンユニット104を含み得る。LIDARシステム100は、車両110の任意の部分に取り付けるか又は搭載することができる。検知ユニット106は、車両110の周囲からの反射を受信し、視野120内の物体から反射した光を示す反射信号を処理ユニット108に転送することができる。本開示に従って、スキャンユニット104は、車両110のバンパー、フェンダー、サイドパネル、スポイラ、屋根、ヘッドライトアセンブリ、テールライトアセンブリ、バックミラーアセンブリ、フード、トランク、又はLIDARシステムの少なくとも一部を収容できる他の任意の適切な部分に搭載するか又は組み込むことができる。場合によっては、LIDARシステム100は車両110の環境の完全な周囲ビューをキャプチャする。このため、LIDARシステム100は360°の水平方向視野を有し得る。一例において、図1Aに示されているように、LIDARシステム100は車両110の屋根に搭載された単一のスキャンユニット104を含み得る。あるいはLIDARシステム100は、それぞれ視野を有する複数のスキャンユニット(例えば2、3、4、又はそれ以上のスキャンユニット104)を含み、これらの視野を合わせると車両110の周りの360度のスキャンによって水平方向視野をカバーすることができる。LIDARシステム100は任意のやり方で配置された任意の数のスキャンユニット104を含み、使用されるユニット数に応じて各ユニットが80°から120°又はそれ未満の視野を有し得ることは、当業者に認められよう。更に、各々が単一のスキャンユニット104を備えた複数のLIDARシステム100を車両110上に搭載することによって、360°の水平方向視野を得ることも可能である。それにもかかわらず、1つ以上のLIDARシステム100が完全な360°の視野を与える必要はないこと、及び、いくつかの状況ではより狭い視野が有用であり得ることに留意するべきである。例えば車両110は、車両の前方に75°の視野を有する第1のLIDARシステム100と、場合によっては後方に同様のFOVを有する(任意選択的に、より小さい検出範囲を有する)第2のLIDARシステム100と、を必要とする可能性がある。また、様々な垂直方向視野角も実施され得ることに留意するべきである。
図1Bは、開示される実施形態に従った、車両110上に搭載されたLIDARシステム100の単一のスキャンサイクルからの例示的な出力を示す画像である。この例において、スキャンユニット104は車両110の右ヘッドライトアセンブリに組み込まれている。画像における全ての灰色ドットは、検知ユニット106によって検出された反射から決定された車両110の周りの環境内のロケーションに対応する。ロケーションに加えて、各灰色ドットは、例えば強度(例えばそのロケーションからどのくらいの量の光が戻るか)、反射率、他のドットに対する近接、及びその他のもの等、様々なタイプの情報に関連付けることも可能である。一実施形態において、LIDARシステム100は、視野の複数のスキャンサイクルで検出された反射から複数のポイントクラウドデータエントリを生成して、例えば車両110の周りの環境のポイントクラウドモデルの決定を可能とすることができる。
図1Cは、LIDARシステム100の出力から決定されたポイントクラウドモデルの表現を示す画像である。開示される実施形態に従って、車両110の周りの環境の生成されたポイントクラウドデータエントリを処理することにより、ポイントクラウドモデルから周囲ビュー画像を生成できる。一実施形態において、ポイントクラウドモデルは、ポイントクラウド情報を処理して複数のフィーチャを識別するフィーチャ抽出モジュールに提供することができる。各フィーチャは、ポイントクラウド及び/又は車両110の周りの環境内の物体(例えば自動車、木、人物、及び道路)の様々な様相(aspect)に関するデータを含み得る。フィーチャは、同一の解像度のポイントクラウドモデルを有する(すなわち、任意選択的に同様の大きさの2Dアレイに配置された同数のデータポイントを有する)、又は異なる解像度を有し得る。フィーチャは、任意の種類のデータ構造内に記憶することができる(例えばラスタ、ベクトル、2Dアレイ、1Dアレイ)。更に、車両110の表現、境界線、又は(例えば図1Bに示されているような)画像内の領域もしくは物体を分離する境界ボックス、及び1つ以上の識別された物体を表すアイコンのような仮想フィーチャを、ポイントクラウドモデルの表現の上に重ねて、最終的な周囲ビュー画像を形成できる。例えば、周囲ビュー画像の中央に車両110の記号を重ねることができる。
投影ユニット
図2Aから図2Gは、LIDARシステム100における投影ユニット102の様々な構成及びその役割を示す。具体的には、図2Aは単一の光源を備えた投影ユニット102を示す図であり、図2Bは共通の光偏向器114に照準を合わせた複数の光源を備えた複数の投影ユニット102を示す図であり、図2Cは一次及び二次光源112を備えた投影ユニット102を示す図であり、図2Dは投影ユニット102のいくつかの構成で使用される非対称偏向器を示す図であり、図2Eは、非スキャンLIDARシステムの第1の構成を示す図であり、図2Fは、非スキャンLIDARシステムの第2の構成を示す図であり、図2Gは、アウトバウンド方向においてスキャンし、インバウンド方向においてスキャンしないLIDARシステムを示す図である。投影ユニット102の図示される構成は多くの変形及び変更を有し得ることは当業者に認められよう。
図2Aは、投影ユニット102が単一の光源112を含むLIDARシステム100のバイスタティック構成の一例を示す。「バイスタティック構成(bi-static configuration)」という用語は、LIDARシステムから出射する投影光及びLIDARシステムに入射する反射光が実質的に異なる光路を通るLIDARシステム構成を広く指す。いくつかの実施形態では、LIDARシステム100のバイスタティック構成は、完全に異なる光学コンポーネントの使用によるか、平行であるが、完全には分離されていない光学コンポーネントの使用によるか、又は光路の一部だけに対して同一の光学コンポーネントの使用による、光路の分離を含み得る(光学コンポーネントは、例えば、ウィンドウ、レンズ、ミラー、ビームスプリッタ等を含み得る)。図2Aに示される例において、バイスタティック構成は、アウトバウンド光及びインバウンド光が単一の光学ウィンドウ124を通過するが、スキャンユニット104は2つの光偏向器を含む構成を含んでいる。第1の光偏向器114Aはアウトバウンド光用であり、第2の光偏向器114Bはインバウンド光用のものである(LIDARシステムのインバウンド光は、シーン内の物体から反射した放出光を含み、更に、他のソースから到達する周囲光も含み得る)。図2E及び図2Gに示される例において、バイスタティック構成は、アウトバウンド光が第1の光学ウィンドウ124Aを通過し、インバウンド光は第2の光学ウィンドウ124Bを通過する構成を含んでいる。前述の全ての構成例において、インバウンド光路及びアウトバウンド光路は相互に異なる。
この実施形態において、LIDARシステム100の全てのコンポーネントは、単一の筐体200内に収容するか、又は複数の筐体間に分割することができる。図示のように、投影ユニット102は、光(投影光204)を放出するように構成されたレーザダイオード202A(又は共に結合された1つ以上のレーザダイオード)を含む単一の光源112に関連付けられている。1つの非限定的な例では、光源112によって投影される光は、約800nmから約950nmの間の波長であり、約50mWから約500mWの間の平均パワーを有し、約50Wから約200Wの間のピークパワーを有し、約2nsから約100nsの間のパルス幅を有し得る。更に、光源112は任意選択的に、レーザダイオード202Aによって放出された光の操作のため(例えばコリメーションや集束等のため)に使用される光学アセンブリ202Bに関連付けることができる。他のタイプの光源112も使用可能であり、本開示はレーザダイオードに限定されないことに留意するべきである。更に、光源112は、光パルス、変調周波数、連続波(CW)、準CW、又は使用される特定の光源に対応した他の任意の形態のように、様々なフォーマットで光を放出することができる。投影フォーマット及び他のパラメータは、処理ユニット108からの命令のような異なるファクタに基づいて、時々光源によって変更されることがある。投影光は、視野120に投影光を誘導するためのステアリング要素として機能するアウトバウンド偏向器114Aの方へ投影される。この例において、スキャンユニット104は、視野120内の物体208から反射して戻った光子(反射光206)をセンサ116の方へ誘導する枢動可能帰還偏向器114Bも含む。反射光はセンサ116によって検出され、物体に関する情報(例えば物体212までの距離)は処理ユニット118によって決定される。
この図において、LIDARシステム100はホスト210に接続されている。本開示に従って、「ホスト」という用語は、LIDARシステム100とインタフェースで接続する任意のコンピューティング環境を指し、車両システム(例えば車両110の一部)、試験システム、セキュリティシステム、調査システム、交通制御システム、都会モデリングシステム、又はその周囲を監視する任意のシステムであり得る。そのようなコンピューティング環境は、少なくとも1つのプロセッサを含む、及び/又はクラウドを介してLIDARシステム100に接続され得る。いくつかの実施形態において、ホスト210は、カメラや、ホスト210の様々な特徴(例えば加速度、ハンドルの偏向、車の後退等)を測定するように構成されたセンサのような外部デバイスに対するインタフェースも含み得る。本開示に従って、LIDARシステム100は、ホスト210に関連付けられた静止物体(例えば建物、三脚)、又はホスト210に関連付けられた携帯型システム(例えば携帯型コンピュータ、ムービーカメラ)に固定することができる。本開示に従って、LIDARシステム100をホスト210に接続することで、LIDARシステム100の出力(例えば3Dモデル、反射率画像)をホスト210に提供できる。具体的には、ホスト210はLIDARシステム100を用いて、ホスト210の環境又は他の任意の環境の検出及びスキャンに役立てることができる。更に、ホスト210は、LIDARシステム100の出力を、他の検知システム(例えばカメラ、マイクロフォン、レーダシステム)の出力と一体化するか、同期するか、又は他の方法で共に使用することができる。一例において、LIDARシステム100はセキュリティシステムによって使用され得る。
また、LIDARシステム100は、LIDARシステム100内で情報を転送するためサブシステム及びコンポーネントを相互接続するバス212(又は他の通信機構)も含み得る。任意選択的に、バス212(又は別の通信機構)は、LIDARシステム100をホスト210と相互接続するため使用することができる。図2Aの例において、処理ユニット108は、少なくとも部分的にLIDARシステム100の内部フィードバックから受信した情報に基づいて、投影ユニット102、スキャンユニット104、及び検知ユニット106の動作を連携させて規制するための2つのプロセッサ118を含む。言い換えると、処理ユニット108は、LIDARシステム100を閉ループ内で動的に動作させるように構成できる。閉ループシステムは、要素のうち少なくとも1つからのフィードバックを有し、受信したフィードバックに基づいて1つ以上のパラメータを更新することによって特徴付けられる。更に、閉ループシステムは、フィードバックを受信し、少なくとも部分的にそのフィードバックに基づいてそれ自体の動作を更新することができる。動的システム又は要素は、動作中に更新できるものである。
いくつかの実施形態によれば、LIDARシステム100の周りの環境をスキャンすることは、視野120を光パルスで照射することを含み得る。光パルスは、パルス持続時間、パルス角分散、波長、瞬時パワー、光源112からの異なる距離における光子密度、平均パワー、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、偏光、及びその他のもののようなパラメータを有し得る。また、LIDARシステム100の周りの環境をスキャンすることは、反射光の様々な様相を検出し特徴付けることを含み得る。反射光の特徴は、例えば飛行時間(すなわち放出から検出までの時間)、瞬時パワー(例えばパワーシグネチャ(power signature))、帰還パルス全体の平均パワー、及び帰還パルス期間における光子分布/信号を含み得る。光パルスの特徴を対応する反射の特徴と比較することによって、距離を推定し、場合によっては物体212の反射強度のような物理特性も推定することができる。このプロセスを、所定のパターン(例えばラスタ、リサジュー、又は他のパターン)で複数の隣接部分122に繰り返すことによって、視野120の全体的なスキャンを達成できる。以下で更に詳しく検討するように、いくつかの状況においてLIDARシステム100は、各スキャンサイクルにおいて視野120の部分122の一部にのみ光を誘導することができる。これらの部分は相互に隣接している場合があるが、必ずしもそうとは限らない。
別の実施形態において、LIDARシステム100は、ホスト210(例えば車両コントローラ)と通信を行うためのネットワークインタフェース214を含み得る。LIDARシステム100とホスト210との間の通信は破線の矢印によって表されている。一実施形態においてネットワークインタフェース214は、総合デジタル通信網(ISDN:integrated services digital network)カード、ケーブルモデム、衛星モデム、又は対応するタイプの電話線にデータ通信接続を与えるモデムを含み得る。別の例として、ネットワークインタフェース214は、コンパチブルなローカルエリアネットワーク(LAN)にデータ通信接続を与えるLANカードを含み得る。別の実施形態において、ネットワークインタフェース214は、無線周波数受信器及び送信器及び/又は光学(例えば赤外線)受信器及び送信器に接続されたイーサネットポートを含み得る。ネットワークインタフェース214の具体的な設計及び実施は、LIDARシステム100及びホスト210が動作するように意図された1又は複数の通信ネットワークに依存する。例えば、ネットワークインタフェース214を用いて、3DモデルやLIDARシステム100の動作パラメータのようなLIDARシステム100の出力を外部システムに提供することができる。他の実施形態では、通信ユニットを用いて、例えば外部システムから命令を受信し、検査された環境に関する情報を受信し、別のセンサからの情報を受信することができる。
図2Bは、複数の投影ユニット102を含むLIDARシステム100のモノスタティック構成の一例を示す。「モノスタティック構成(monostatic configuration)」という用語は、LIDARシステムから出射する投影光及びLIDARシステムに入射する反射光が実質的に同一の光路を通るLIDARシステム構成を広く指す。一例において、アウトバウンド光ビーム及びインバウンド光ビームは、アウトバウンド光ビーム及びインバウンド光ビームの両方が通る少なくとも1つの光学アセンブリを共有し得る。別の例では、アウトバウンド光は光学ウィンドウ(図示せず)を通過し、インバウンド光放射は同一の光学ウィンドウ(図示せず)を通過し得る。モノスタティック構成は、スキャンユニット104が単一の光偏向器114を含み、これが投影光を視野120の方へ誘導すると共に反射光をセンサ116の方へ誘導する構成を含み得る。図示のように、投影光204及び反射光206は双方とも非対称偏向器216に入射する。「非対称偏向器」という用語は、2つの側を有する任意の光学デバイスであって、一方の側から入射する光ビームを第2の側から入射する光ビームを偏向させるのとは異なる方向に偏向させ得るものを指す。一例において、非対称偏向器は投影光204を偏向させず、反射光206をセンサ116の方へ偏向させる。非対称偏向器の一例は偏光ビームスプリッタを含み得る。別の例において、非対称216は、光を一方向にのみ通過させることができる光アイソレータを含み得る。非対称偏向器216の概略図が図2Dに示されている。本開示に従って、LIDARシステム100のモノスタティック構成は、反射光が光源112に入射するのを防止すると共に全ての反射光をセンサ116の方へ誘導することで検出感度を増大させる非対称偏向器を含み得る。
図2Bの実施形態において、LIDARシステム100は、共通の光偏向器114に照準を合わせた単一の光源112をそれぞれ備える3つの投影ユニット102を含む。一実施形態において、複数の光源112(2つ以上の光源を含む)は実質的に同じ波長で光を投影することができ、各光源112は概ね、視野の異なるエリア(120A、120B、120Cとして図に示されている)に関連付けられている。これによって、1つの光源112で達成され得るよりも広い視野のスキャンが可能となる。別の実施形態では、複数の光源102は異なる波長で光を投影することができ、全ての光源112を視野120の同じ部分(又は重複部分)に誘導することができる。
図2Cは、投影ユニット102が一次光源112A及び二次光源112Bを含むLIDARシステム100の例を示す。一次光源112Aは、SNR及び検出範囲を最適化するため、人の目に感知されるよりも長い波長の光を投影することができる。例えば一次光源112Aは、約750nmから1100nmの間の波長の光を投影できる。これに対して二次光源112Bは、人の目に見える波長の光を投影することができる。例えば二次光源112Bは、約400nmから700nmの間の波長の光を投影できる。一実施形態において、二次光源112Bは、一次光源112Aによって投影される光と実質的に同じ光路に沿って光を投影できる。双方の光源は時間同期することができ、同時に又は交互のパターンで光放出を投影できる。交互のパターンは、光源が同時にアクティブにならないことを意味し、相互干渉を軽減することができる。波長範囲及び活性化スケジュールの他の組み合わせも実施され得ることは当業者に認められよう。
いくつかの実施形態に従って、二次光源112BがLIDAR光学出力ポートに近すぎる場合、人はまばたきする可能性がある。これによって、近赤外スペクトルを利用する典型的なレーザ源では実現できない目に安全な機構を保証し得る。別の実施形態において、二次光源112Bは、POS(point of service:サービス提供時点管理)における較正及び信頼性のため使用することができる。これは、車両110に対して地面から特定の高さの特別なリフレクタ/パターンを用いて行われるヘッドライトの較正と多少類似した方法で行われる。POSのオペレータは、LIDARシステム100から指定距離にある試験パターンボード等の特徴的なターゲット上のスキャンパターンを単に目視検査することで、LIDARの較正を調べることができる。更に、二次光源112Bは、LIDARがエンドユーザのため動作しているという動作信頼性のための手段を提供できる。例えばシステムは、光偏向器114の前に人が手を置いてその動作を試すことができるように構成され得る。
また、二次光源112Bは、一次光源112Aが故障した場合にバックアップシステムとして兼用できる非可視要素も有し得る。この特徴は、高い機能的安全性ランクを有するフェイルセーフデバイスに有用であり得る。二次光源112Bが可視であることを踏まえ、更にコスト及び複雑さの理由から、二次光源112Bは一次光源112Aよりも小さいパワーを伴い得る。従って、もし一次光源112Aが故障した場合、システムの機能性は二次光源112Bの機能及び能力セットへ低下することになる。二次光源112Bの能力は一次光源112Aの能力よりも劣る場合があるが、LIDARシステム100のシステムは、車両110が目的地に安全に到着できるように設計され得る。
図2Dは、LIDARシステム100の一部となり得る非対称偏向器216を示す。図示されている例において、非対称偏向器216は、反射面218(ミラー等)及び一方向偏向器220を含む。必ず当てはまるわけではないが、非対称偏向器216は任意選択的に静電型偏向器(static deflector)とすることができる。非対称偏向器216は、例えば図2B及び図2Cに示すように、少なくとも1つの偏向器114を介した光の送信及び受信に共通の光路を可能とするため、LIDARシステム100のモノスタティック構成において使用できる。しかしながら、ビームスプリッタのような典型的な非対称偏向器は、特に送信路よりもパワー損失に敏感である可能性のある受信路において、エネルギー損失によって特徴付けられる。
図2Dに示されているように、LIDARシステム100は送信路に位置決めされた非対称偏向器216を含むことができる。非対称偏向器216は、送信光信号と受信光信号とを分離するための一方向偏向器220を含む。任意選択的に、一方向偏向器220は送信光に対して実質的に透明であり、受信光に対して実質的に反射性であり得る。送信光は投影ユニット102によって生成され、一方向偏向器220を通ってスキャンユニット104へ進むことができる。スキャンユニット104は送信光を光アウトレットの方へ偏向させる。受信光は光インレットを通って少なくとも1つの偏向要素114に到達し、偏向要素114は反射信号を光源から離れて検知ユニット106へ向かう別の経路に偏向させる。任意選択的に、非対称偏向器216は、一方向偏向器220と同一の偏光軸で直線偏光される偏光光源112と組み合わせてもよい。特に、アウトバウンド光ビームの断面は反射信号の断面よりも著しく小さい。従って、LIDARシステム100は、放出された偏光ビームを非対称偏向器216の寸法まで集束させるか又は他の方法で操作するための1つ以上の光学コンポーネント(例えばレンズ、コリメータ)を含み得る。一実施形態において、一方向偏向器220は、偏光ビームに対して事実上透明である偏光ビームスプリッタとすることができる。
いくつかの実施形態に従って、LIDARシステム100は、放出光の偏光を変えるための光学系222(例えば4分の1波長位相差板)を更に含み得る。例えば、光学系222は放出光ビームの直線偏光を円偏光に変えることができる。視野から反射してシステム100に戻った光は、偏向器114を通って光学系222に到達し、送信光とは逆回りの円偏光である。次いで光学系222は、受信した反対回りの偏光を、偏光ビームスプリッタ216と同一の軸でない直線偏光に変換する。上記のように、ターゲットまでの距離を伝達するビームの光学分散のため、受信光部分は送信光部分よりも大きい。
受信光の一部は一方向偏向器220に入射し、一方向偏向器220は、いくらかのパワー損失を伴って光をセンサ106の方へ反射する。しかしながら、受信光の別の部分は、一方向偏向器220を取り囲む反射面218(例えば偏光ビームスプリッタのスリット)に入射する。反射面218は、実質的にパワー損失なしで光を検知ユニット106の方へ反射する。一方向偏向器220は、様々な偏光軸及び方向から構成された光を反射し、これは最終的には検出器に到達する。任意選択的に、検知ユニット106は、レーザ偏光に依存せず、主に特定波長範囲の入射光子量に対する感度が高いセンサ116を含むことができる。
提案される非対称偏向器216は、貫通孔を備えた単純なミラーに比べてはるかに優れた性能を提供することに留意するべきである。孔を備えたミラーでは、孔に到達した反射光は全て検出器から失われる。しかしながら偏向器216では、一方向偏向器220がその光のかなりの部分(例えば約50%)を各センサ116の方へ偏向させる。LIDARシステムにおいて、遠隔距離からLIDARに到達する光子数は極めて限られるので、光子捕獲率の向上は重要である。
いくつかの実施形態に従って、ビーム分割及びステアリングのためのデバイスが記載される。第1の偏光を有する光源から偏光ビームを放出することができる。放出されたビームは偏光ビームスプリッタアセンブリを通過するように誘導できる。偏光ビームスプリッタアセンブリは、第1の側の一方向スリット及び反対側のミラーを含む。一方向スリットによって、放出された偏光ビームを4分の1波長位相差板の方へ伝達することができる。4分の1波長位相差板は、放出された信号を偏光信号から線形信号へ(又はその逆に)変化させることで、後に反射ビームが一方向スリットを通過できないようにする。
図2Eは、スキャンユニット104のないLIDARシステム100のバイスタティック構成の例を示す。視野全体(又は実質的に視野全体)を偏向器114なしで照射するために、投影ユニット102は任意選択的に光源のアレイ(例えば、112A~112F)を含み得る。一実施形態において、光源のアレイは、プロセッサ118によって制御される光源の線形アレイを含み得る。例えば、プロセッサ118は、光源の線形アレイに平行レーザビームを第1の任意選択的な光学ウィンドウ124Aに向かって連続的に投影させ得る。第1の任意選択的な光学ウィンドウ124Aは、投影光を拡散させて、水平に広くて垂直に狭いビームを連続して形成するためのディフューザレンズを含み得る。任意選択的に、システム100の少なくとも1つの光源112の一部又は全部は、光を同時に投影し得る。例えば、プロセッサ118は、光源のアレイに、複数の非隣接の光源112からの光ビームを同時に投影させ得る。図示例では、光源112A、光源112D、及び光源112Fは、レーザビームを第1の任意選択的な光学ウィンドウ124Aに向かって同時に投影し、それにより視野を3つの狭い垂直ビームで照射する。第4の光源112Dからの光ビームは、視野内の物体に到達し得る。物体から反射した光は、第2の光学ウィンドウ124Bによってキャプチャされ得、センサ116へ方向転換され得る。投影光及び反射光の光路は実質的に異なるので、図2Eに示される構成は、バイスタティック構成であると考えられる。投影ユニット102は、2次元アレイ等の非線形構成に、6角形タイルに、又は任意の他の方法で、配置された複数の光源112も含み得ることに留意されたい。
図2Fは、スキャンユニット104のないLIDARシステム100のモノスタティック構成の一例を示す。図2Eに示されている実施形態例と同様、偏向器114なしで視野全体を照射するために、投影ユニット102は光源のアレイ(例えば、112A~112F)を含み得る。しかし、図2Eとは対照的に、LIDARシステム100のこの構成は、投影光及び反射光の両方のための単一の光学ウィンドウ124を含み得る。非対称偏向器216を使用すると、反射光はセンサ116へ方向転換され得る。投影光及び反射光の光路は実質的に相互に類似しているので、図2Eに示される構成は、モノスタティック構成であると考えられる。投影光及び反射光の光路の文脈における「実質的に類似(substantially similar)」という用語は、その2つの光路の間の重なりが80%以上、85%以上、90%以上、又は95%以上であり得ることを意味する。
図2Gは、LIDARシステム100のバイスタティック構成の一例を示す。この図におけるLIDARシステム100の構成は、図2Aに示される構成と類似している。例えば、両方の構成はアウトバウンド方向における投影光を視野の方へ誘導するためのスキャンユニット104を含む。しかし、図2Aの実施形態とは対照的に、この構成では、スキャンユニット104はインバウンド方向における反射光を方向転換しない。代わりに、反射光は第2の光学ウィンドウ124Bを通過してセンサ116に入る。投影光及び反射光の光路は実質的に相互に異なるので、図2Gに示される構成は、バイスタティック構成であると考えられる。投影光及び反射光の光路の文脈における「実質的に異なる(substantially different)」という用語は、その2つの光路の間の重なりが10%未満、5%未満、1%未満、又は0.25%未満であり得ることを意味する。
スキャンユニット
図3Aから図3Dは、LIDARシステム100におけるスキャンユニット104の様々な構成及びその役割を示す。具体的には、図3AはMEMSミラー(例えば方形)を備えたスキャンユニット104を示す図であり、図3BはMEMSミラー(例えば円形)を備えたスキャンユニット104を示す図であり、図3CはモノスタティックスキャンLIDARシステムで使用されるリフレクタのアレイを備えたスキャンユニット104を示す図であり、図3DはLIDARシステム100の周りの環境を機械的にスキャンする例示的なLIDARシステム100を示す図である。スキャンユニット104の図示されている構成は単なる例示であり、本開示の範囲内で多くの変形及び変更を有し得ることは、当業者に認められよう。
図3Aは、単一軸の方形MEMSミラー300を備えた例示的なスキャンユニット104を示す。この例において、MEMSミラー300は少なくとも1つの偏向器114として機能する。図示のように、スキャンユニット104は1つ以上のアクチュエータ302(具体的には302A及び302B)を含み得る。一実施形態において、アクチュエータ302は、半導体(例えばシリコン)で作製することができ、作動コントローラによって印加された電気信号に応答して寸法を変える圧電層(例えばPZT、チタン酸ジルコン酸塩、窒化アルミニウム)と、半導体層と、ベース層と、を含む。一実施形態において、アクチュエータ302の物理特性は、電流が流れた場合にアクチュエータ302に加わる機械的応力を決定し得る。圧電材料が活性化されると、これがアクチュエータ302に力を加えてアクチュエータ302を曲げる。一実施形態において、ミラー300が特定の角度位置に偏向した場合のアクティブ状態の1つ以上のアクチュエータ302の抵抗率(Ractive)を測定し、休止状態の抵抗率(Rrest)と比較することができる。Ractiveを含むフィードバックは、予想角と比べられる実際のミラー偏向角を決定するための情報を与え、必要に応じてミラー300の偏向を補正することができる。RrestとRactiveとの差を、ループを閉じるように機能し得る角度偏向値へのミラー駆動に相関付けることができる。この実施形態は、実際のミラー位置の動的追跡のために使用され、線形モード及び共振モードの双方のMEMSミラースキームにおいて応答、振幅、偏向効率、及び周波数を最適化することができる。この実施形態については図32から図34を参照して以下で更に詳しく説明する。
スキャン中、接点304Aから接点304Bまで(アクチュエータ302A、ばね306A、ミラー300、ばね306B、及びアクチュエータ302Bを介して)電流が流れ得る(図では破線で表されている)。絶縁ギャップ310のような半導体フレーム308の絶縁ギャップによって、アクチュエータ302A及び302Bは、ばね306及びフレーム308を介して電気的に接続された2つの別個のアイランドとなり得る。電流、又は任意の関連付けられた電気的パラメータ(電圧、電流周波数、容量、比誘電率等)を、関連した位置フィードバックによって監視することができる。コンポーネントのうち1つが損傷する機械的故障の場合、構造を流れる電流が変わり、機能的な較正値から変化する。極端な状況では(例えば、ばねが破損した場合)、故障した要素による電気チェーンの回路遮断のため、電流は完全に中断する。
図3Bは、二軸円形MEMSミラー300を備えた別の例示的なスキャンユニット104を示す。この例において、MEMSミラー300は少なくとも1つの偏向器114として機能する。一実施形態において、MEMSミラー300は約1mmから約5mmの間の直径を有し得る。図示のように、スキャンユニット104は、それぞれ異なる長さである可能性がある4つのアクチュエータ302(302A、302B、302C、及び302D)を含み得る。図示する例において、電流(図では破線で表されている)は接点304Aから接点304Dへ流れるが、他の場合、電流は接点304Aから接点304Bへ、接点304Aから接点304Cへ、接点304Bから接点304Cへ、接点304Bから接点304Dへ、又は接点304Cから接点304Dへ流れ得る。いくつかの実施形態に従って、二軸MEMSミラーは、水平方向及び垂直方向に光を偏向させるように構成できる。例えば二軸MEMSミラーの偏向角は、垂直方向に約0°から30°の間であり、水平方向に約0°から50°の間とすることができる。ミラー300の図示されている構成は多くの変形及び変更を有し得ることは当業者に認められよう。一例において、少なくとも偏向器114は、二軸方形ミラー又は単一軸円形ミラーを有することも可能である。円形ミラー及び方形ミラーの例は、単に一例として図3A及び図3Bに示されている。システム仕様に応じて任意の形状を採用できる。一実施形態においては、アクチュエータ302を少なくとも偏向器114の一体的な部分として組み込んで、MEMSミラー300を移動させるためのパワーを直接与えられるようになっている。更に、MEMSミラー300は1つ以上の剛性支持要素によってフレーム308に接続され得る。別の実施形態では、少なくとも偏向器114は静電又は電磁MEMSミラーを含み得る。
上述のように、モノスタティックスキャンLIDARシステムは、投影光204の放出及び反射光206の受光のために同じ光路の少なくとも一部を利用する。アウトバウンド経路の光ビームはコリメートされて細いビームに集束され得るが、帰還経路の反射は分散のためより大きい光部分に広がる。一実施形態において、スキャンユニット104は帰還経路において大きい反射エリアを有し、反射(すなわち反射光206)をセンサ116へ方向転換する非対称偏向器216を有し得る。一実施形態において、スキャンユニット104は、大きい反射エリアを備えたMEMSミラーを含むことができ、視野及びフレームレート性能に対する影響は無視できる程度である。非対称偏向器216についての更なる詳細は図2Dを参照して以下に与えられる。
いくつかの実施形態において(例えば図3Cに例示されているように)、スキャンユニット104は、小型の光偏向器(例えばミラー)を備えた偏向器アレイ(例えばリフレクタアレイ)を含み得る。一実施形態においては、同期して動作する個別の小型の光偏向器のグループとして光偏向器114を実施することで、光偏向器114は、より大きな偏向角及び高いスキャンレートで実行可能となる。偏向器アレイは事実上、有効エリアに関して大型の光偏向器(例えば大型のミラー)として機能できる。偏向器アレイは、共有ステアリングアセンブリ構成を用いて動作させることができる。この構成によって、センサ116は、光源112によって同時に照射される視野120の実質的に同じ部分からの反射光子を収集できる。「同時に」という用語は、2つの選択された機能が、一致するか又は重複する時間期間中に発生することを意味する。この場合、一方が他方の持続期間中に開始及び終了するか、又は後のものが他方の完了前に開始する。
図3Cは、小型のミラーを有するリフレクタアレイ312を備えたスキャンユニット104の一例を示す。この実施形態において、リフレクタアレイ312は少なくとも1つの偏向器114として機能する。リフレクタアレイ312は、(個別に又は一緒に)枢動し、光パルスを視野120の方へ向かわせるように構成された複数のリフレクタユニット314を含み得る。例えばリフレクタアレイ312は、光源112から投影された光のアウトバウンド経路の一部であり得る。具体的には、リフレクタアレイ312は、投影光204を視野120の一部へ誘導することができる。また、リフレクタアレイ312は、視野120の照射部分内に位置する物体の表面から反射した光の帰還経路の一部であり得る。具体的には、リフレクタアレイ312は、反射光206をセンサ116の方へ又は非対称偏向器216の方へ誘導することができる。一例において、リフレクタアレイ312の面積は約75から約150mmの間であり得る。ここで、各リフレクタユニット314は約10μmの幅を有し、支持構造は100μmよりも低くすることができる。
いくつかの実施形態によれば、リフレクタアレイ312は、操縦可能(steerable)偏向器の1つ以上のサブグループを含み得る。電気的に操縦可能な偏向器の各サブグループは、リフレクタユニット314のような1つ以上の偏向器ユニットを含み得る。例えば、各操縦可能偏向器ユニット314は、MEMSミラー、反射面アセンブリ、及び電気機械アクチュエータのうち少なくとも1つを含むことができる。一実施形態において、各リフレクタユニット314は、1つ以上の別個の軸の各々に沿って特定の角度に傾斜するように個々のプロセッサ(図示せず)によって個別に制御することができる。あるいは、リフレクタアレイ312は、リフレクタユニット314の少なくとも一部が同時に枢動してほぼ同じ方向を指し示すようにリフレクタユニット314の移動を同期して管理するよう構成された共通コントローラ(例えばプロセッサ118)に関連付けることができる。
更に、少なくとも1つのプロセッサ118は、アウトバウンド経路用の少なくとも1つのリフレクタユニット314(以降、「送信用ミラー」と称する)、及び、帰還経路用のリフレクタユニット314のグループ(以降、「受信用ミラー」と称する)を選択することができる。本開示に従って、送信用ミラーの数を増やすと、反射光子ビームの広がりが増大する可能性がある。更に、受信用ミラーの数を減らすと、受信フィールドが狭くなり、周囲光条件(雲、雨、霧、極端な熱、及び他の環境条件)が補償され、信号対雑音比が改善する可能性がある。また、上記のように、放出光ビームは典型的に反射光部分よりも細いので、偏向アレイの小さい部分によって充分に検出できる。更に、送信に使用される偏向アレイの部分(例えば送信用ミラー)から反射した光がセンサ116に到達するのを阻止し、これによって、システム動作に対するLIDARシステム100の内部反射の効果を低減できる。また、少なくとも1つのプロセッサ118は、1つ以上のリフレクタユニット314を枢動させて、例えば熱的効果及び利得効果による機械的障害及びドリフトを克服することができる。一例において、1つ以上のリフレクタユニット314は、意図されるもの(周波数、レート、速度等)とは異なるように移動する可能性があるが、それらの移動は偏向器を適切に電気的に制御することによって補償され得る。
図3Dは、LIDARシステム100の環境を機械的にスキャンする例示的なLIDARシステム100を示す。この例において、LIDARシステム100は、LIDARシステム100の軸を中心として筐体200を回転させるためのモータ又は他の機構を含み得る。あるいは、モータ(又は他の機構)は、1つ以上の光源112及び1つ以上のセンサ116が搭載されているLIDARシステム100の剛性構造を機械的に回転させ、これによって環境をスキャンすることができる。上述のように、投影ユニット102は、光放出を投影するように構成された少なくとも1つの光源112を含み得る。投影された光放出はアウトバウンド経路に沿って視野120の方へ進むことができる。具体的には、投影光204が任意選択的な光学ウィンドウ124の方へ進む場合、投影された光放出は偏向器114Aによって反射されて出射アパーチャ314を通ることができる。反射された光放出は、物体208から帰還経路に沿って検知ユニット106の方へ進むことができる。例えば、反射光206が検知ユニット106の方へ進む場合、反射光206は偏向器114Bによって反射される。1つ以上の光源又は1つ以上のセンサを同期して回転させるための回転機構を備えたLIDARシステムは、内部光偏向器を操縦する代わりに(又はそれに加えて)この同期させた回転を用い得ることは、当業者によって認められよう。
視野120のスキャンが機械的である実施形態において、投影された光放出は、投影ユニット102をLIDARシステム100の他の部分から分離する壁316の一部である出射アパーチャ314へ誘導できる。いくつかの例において、壁316は、偏向器114Bを形成するため反射性材料で覆われた透明な材料(例えばガラス)で形成することができる。この例において、出射アパーチャ314は、反射性材料で覆われていない壁316の部分に相当し得る。これに加えて又はこの代わりに、出射アパーチャ314は壁316の孔又は切断部を含み得る。反射光206は、偏向器114Bによって反射され、検知ユニット106の入射アパーチャ318の方へ誘導され得る。いくつかの例において、入射アパーチャ318は、特定の波長範囲内の波長を検知ユニット106に入射させると共に他の波長を減衰させるように構成されたフィルタウィンドウを含み得る。視野120からの物体208の反射は、偏向器114Bによって反射されてセンサ116に入射することができる。反射光206のいくつかの特性を投影光204と比較することによって、物体208の少なくとも1つの様相を決定できる。例えば、投影光204が光源112によって放出された時点とセンサ116が反射光206を受光した時点とを比較することによって、物体208とLIDARシステム100との間の距離を決定できる。いくつかの例では、物体208の形状、色、材料のような他の様相も決定され得る。
いくつかの例において、LIDARシステム100(又は、少なくとも1つの光源112及び少なくとも1つのセンサ116を含むその一部)を、少なくとも1つの軸を中心として回転させて、LIDARシステム100の周囲の3次元マップを決定することができる。例えば、視野120をスキャンするため、矢印320で示されているように実質的な垂直軸を中心としてLIDARシステム100を回転させることができる。図3Dは、矢印320で示されているように軸を中心として時計回りにLIDARシステム100を回転させることを示すが、これに加えて又はこの代わりに、LIDARシステム100を反時計回りに回転させてもよい。いくつかの例において、LIDARシステム100は垂直軸を中心として360度回転させることができる。他の例において、LIDARシステム100は、LIDARシステム100の360度よりも小さいセクタに沿って前後に回転させ得る。例えば、LIDARシステム100を、完全な回転を行うことなく軸を中心として前後に揺れるプラットフォーム上に搭載することができる。
検知ユニット
図4Aから図4Eは、LIDARシステム100における検知ユニット106の様々な構成及びその役割を示す。具体的には、図4Aは、検出器アレイを備えた例示的な検知ユニット106を示す図であり、図4Bは、2次元センサを用いたモノスタティックスキャンを示す図であり、図4Cは、2次元センサ116の一例を示す図であり、図4Dは、センサ116に関連付けられたレンズアレイを示す図であり、図4Eは、レンズ構造を示す3つの図を含む。図示されている検知ユニット106の構成は単なる例示であり、本開示の原理と一致する多くの代替的な変形及び変更を有し得ることは、当業者に認められよう。
図4Aは、検出器アレイ400を備えた検知ユニット106の一例を示す。この例において、少なくとも1つのセンサ116は検出器アレイ400を含む。LIDARシステム100は、LIDARシステム100から異なる距離に位置する(数メートル又はそれ以上であり得る)視野120内の物体(例えば自転車208A及び雲208B)を検出するように構成されている。物体208は、固体の物体(例えば道路、木、自動車、人物)、流体の物体(例えば霧、水、大気中の粒子)、又は別のタイプの物体(例えばほこり又は照射された粉末状物体)であり得る。光源112から放出された光子が物体208に当たると、光子は反射、屈折、又は吸収される。典型的には、図に示されているように、物体208Aから反射した光子のうち一部分のみが任意選択的な光学ウィンドウ124に入射する。距離の15cmまでの変化によって1nsの移動時間差が生じるので(光子は物体208との間で光の速度で移動するので)、異なる物体に当たった異なる光子の移動時間の時間差は、充分に迅速な応答で光時間センサによって検出可能であり得る。
センサ116は、視野120から反射して戻ってきた光子パルスの光子を検出するための複数の検出要素402を含む。検出要素は全て、(例えば図示されているような)矩形配列又は他の任意の配列を有し得る検出器アレイ400に含まれ得る。検出要素402は同時に又は部分的に同時に動作することができる。具体的には、各検出要素402はサンプリング期間ごとに(例えば1ナノ秒ごとに)検出情報を提供し得る。一例において、検出器アレイ400は、共通のシリコン基板上の単一光子アバランシェダイオード(SPAD、検出要素402として機能する)のアレイから構築された固体単一光子検知デバイスであるSiPM(シリコン光電子増倍管)とすることができる。他の非シリコン材料による同様の光電子増倍管も使用できる。SiPMデバイスはデジタル/スイッチングモードで動作するが、全ての微小セルが並列に読み出されて、異なるSPADによって検出される単一の光子から数百及び数千の光子までのダイナミックレンジ内で信号を発生することを可能とするので、SiPMはアナログデバイスである。上述のように、2つ以上のタイプのセンサが実施され得る(例えばSiPM及びAPD)。場合によっては、検知ユニット106は、別個の又は共通のシリコン基板上に、SiPMアレイに一体化された少なくとも1つのAPD及び/又はSiPMに隣接して配置された少なくとも1つのAPD検出器を含む。
一実施形態において、検出要素402を複数の領域404にグループ化することができる。これらの領域は、センサ116内の(例えば検出器アレイ400内の)幾何学的ロケーション又は環境であり、様々な形状に形成できる(例えば図示のような矩形、方形、環状等、又は他の任意の形状)。ある領域404の幾何学的エリア内に含まれる個々の検出器の全てがその領域に属するわけではないが、ほとんどの場合、領域間の境界にある程度の重複が望ましい場合を除いて、それらの検出器は、センサ310の他のエリアをカバーする他の領域404には属さない。図4Aに示されているように、これらの領域は非重複領域404であり得るが、重複する場合もある。全ての領域に、その領域に関連した領域出力回路406を関連付けることができる。領域出力回路406は、対応する検出要素402のグループの領域出力信号を提供できる。例えば、出力回路406の領域は加算回路であり得るが、他の形態の各検出器の出力の単一出力への組み合わせも採用され得る(スカラー、ベクトル、又は他の任意のフォーマットにかかわらず)。任意選択的に、各領域404は単一のSiPMであるが、必ずしもそうとは限らず、1つの領域は、単一のSiPMの小部分、いくつかのSiPMのグループ、又は異なるタイプの検出器の組み合わせとしてもよい。
図示されている例において、処理ユニット108は、(例えば車両110内の)ホスト210(の内部又は外部の)分離された筐体200Bに配置され、検知ユニット106は、反射光を分析するための専用プロセッサ408を含み得る。あるいは、反射光206を分析するために処理ユニット108を使用してもよい。LIDARシステム100は、図示されている例とは異なるやり方で複数の筐体に実装できることに留意するべきである。例えば、光偏向器114を、投影ユニット102及び/又は検知モジュール106とは異なる筐体に配置してもよい。一実施形態において、LIDARシステム100は、電気ワイヤ接続、無線接続(例えばRF接続)、光ファイバケーブル、及び上記のものの任意の組み合わせのような異なるやり方で相互に接続された複数の筐体を含むことができる。
一実施形態において、反射光206の分析は、異なる領域の個々の検出器の出力に基づいて反射光206の飛行時間を決定することを含み得る。任意選択的に、プロセッサ408は、複数の領域の出力信号に基づいて反射光206の飛行時間を決定するように構成できる。飛行時間に加えて、処理ユニット108は反射光206を分析して帰還パルス全体の平均パワーを決定することができ、帰還パルス期間における光子分布/信号(「パルス形状」)を決定できる。図示されている例において、任意の検出要素402の出力は直接プロセッサ408に送信されず、領域404の他の検出器の信号と組み合わされ(例えば加算され)た後にプロセッサ408に渡すことができる。しかしながら、これは単なる例示であり、センサ116の回路は検出要素402からの情報を他のルートで(領域出力回路406を介することなく)プロセッサ408に送信することも可能である。
図4Bは、2次元センサ116を用いてLIDARシステム100の環境をスキャンするように構成されたLIDARシステム100を示す図である。図4Bの例において、センサ116は、4×6の検出器410(「画素」とも称される)の行列である。一実施形態において、画素サイズは約1×1mmとすることができる。センサ116は、2つの非平行な軸(例えば、図示の例に示されているような直交軸)において検出器410の2つ以上のセット(例えば行、列)を有するという意味で2次元である。センサ116内の検出器410の数は、例えば所望の分解能、信号対雑音比(SNR)、所望の検出距離等に応じて、様々な実施において変動し得る。例えば、センサ116は5から5,000までのいずれかの数の画素を有し得る。別の例(図には示していない)では、センサ116を1次元行列としてもよい(例えば1×8画素)。
各検出器410は複数の検出要素402を含み得る。検出要素402は、例えばアバランシェフォトダイオード(APD)、単一光子アバランシェダイオード(SPAD)、アバランシェフォトダイオード(APD)と単一光子アバランシェダイオード(SPAD)の組み合わせ、又は、レーザパルス送信イベントから受信イベントまでの飛行時間及び受信光子の強度の双方を測定する検出要素である。例えば各検出器410は、20から5,000までのいずれかの数のSPADを含み得る。各検出器410内の検出要素402の出力を、加算、平均化、又は他の方法で組み合わせて、一体的な画素出力を与えることができる。
図示されている例において、検知ユニット106は、LIDARシステム100の視野120よりも小さい視野を有する2次元センサ116(又は複数の2次元センサ116)を含み得る。この考察において、視野120(いずれの方向にも移動、回転、又は横揺れすることなくLIDARシステム100によってスキャンできる全視野)を「第1のFOV412」と表記し、より小さいセンサ116の視野を「第2のFOV412」(「瞬時FOV」と言い換え可能である)と表記する。第1のFOV412に対する第2のFOV414の対象範囲は、LIDARシステム100の具体的な用途に応じて異なり、例えば0.5%から50%の間とすることができる。一例において、第2のFOV412は垂直方向に細長い0.05°から1°の間とすればよい。LIDARシステム100が2つ以上の2次元センサ116を含む場合であっても、それらのセンサアレイの視野の組み合わせは依然として第1のFOV412よりも小さく、例えば少なくとも5分の1、少なくとも10分の1、少なくとも20分の1、少なくとも50分の1であり得る。
第1のFOV412をカバーするため、スキャンユニット106は、異なる時点で環境の異なる部分から到達する光子をセンサ116へ誘導することができる。図示されているモノスタティック構成では、投影光204を視野120の方へ誘導すると共に、少なくとも1つの偏向器114が瞬時位置に配置された場合、スキャンユニット106は反射光206をセンサ116へ誘導することができる。典型的に、第1のFOV412のスキャン中の各時点で、LIDARシステム100によって放出される光ビームは、(角度開口で)第2のFOV414よりも大きい環境の部分をカバーし、スキャンユニット104及びセンサ116によって集光される環境の部分を含む。
図4Cは2次元センサ116の一例を示す図である。この実施形態において、センサ116は8×5の検出器410の行列であり、各検出器410は複数の検出要素402を含む。一例において、検出器410Aはセンサ116の第2の行(「R2」と表記されている)及び第3の列(「C3」と表記されている)に位置し、4×3の検出要素402の行列を含む。別の例において、検出器410Bはセンサ116の第4の行(「R4」と表記されている)及び第6の列(「C6」と表記されている)に位置し、3×3の検出要素402の行列を含む。従って、各検出器410内の検出要素402の数は一定であるか又は異なる場合があり、共通アレイ内の異なる検出器410は異なる数の検出要素402を有し得る。各検出器410内の全ての検出要素402の出力を、加算、平均化、又は他の方法で組み合わせて、単一の画素出力値を提供することができる。図4Cの例における検出器410は矩形の行列(直線の行及び直線の列)に配列されているが、例えば円形の配列又はハニカム配列のような他の配列を用いてもよい。
いくつかの実施形態によれば、各検出器410からの測定によって、光パルス放出イベントから受信イベントまでの飛行時間及び受信光子の強度を決定することが可能となる。受信イベントは、光パルスが物体208から反射された結果であり得る。飛行時間は、反射物体から任意選択的な光学ウィンドウ124までの距離を表すタイムスタンプ値であり得る。飛行時間値は、時間相関単一光子計数(TCSPC:Time Correlated Single Photon Counter)のような光子検出及び計数方法、信号積分及び検定(signal integration and qualification)のようなアナログの光子検出方法(アナログ-デジタル変換又は簡素な比較器による)、又は他の方法によって認識することができる。
いくつかの実施形態において、また図4Bを参照すると、スキャンサイクル中、少なくとも1つの光偏向器114の各瞬時位置を視野120の特定の部分122に関連付けることができる。センサ116の設計によって、視野120の単一部分からの反射光と複数の検出器410との関連付けが可能となる。従って、LIDARシステムのスキャン解像度は、(1スキャンサイクル当たりの)瞬時位置の数にセンサ116内の検出器410の数を乗算することによって表され得る。各検出器410(すなわち各画素)からの情報は、3次元空間においてキャプチャされた視野が構築される基本データ要素を表す。これは例えば、ポイントクラウド表現の基本要素を含み、空間位置及び関連付けられた反射強度値を有する。一実施形態において、複数の検出器410によって検出された視野120の単一部分からの反射は、視野120のその単一部分内に位置する様々な物体から戻ってきた可能性がある。例えば、視野120の単一部分は遠視野で50×50cmよりも大きい場合があり、相互に部分的に重なった2つ、3つ、又はそれ以上の物体を容易に含み得る。
図4Dは、ここに開示される主題の例に従ったセンサ116の一部の横断面図である。センサ116の図示されている部分は、4つの検出要素402(例えば4つのSPAD、4つのAPD)を含む検出器アレイ400の一部を含む。検出器アレイ400は、相補型金属酸化膜半導体(CMOS)で実現された光検出器センサとすればよい。検出要素402の各々は、基板周囲内に位置決めされた検知エリアを有する。必ずしもそうとは限らないが、センサ116は、狭い視野を有するモノスタティックLiDARシステムにおいて使用することができる(例えば、スキャンユニット104が異なる時点で異なる視野部分をスキャンするので)。入射光ビームのための狭い視野は、実施された場合、焦点外の撮像の問題を解消する。図4Dに例示されているように、センサ116は複数のレンズ422(例えばマイクロレンズ)を含むことができ、各レンズ422は入射光を異なる検出要素402の方へ(例えば検出要素402のアクティブエリアの方へ)誘導することができ、これは焦点外の撮像が問題でない場合に使用可能であり得る。センサ116に到達する光のほとんどを検出要素402のアクティブエリアの方へ偏向させ得るので、レンズ422を用いて検出器アレイ400の開口率(optical fill factor)及び感度を増大することができる。
図4Dに例示されているような検出器アレイ400は、様々な方法(例えばインプラント)によってシリコン基板内に埋め込まれたいくつかの層を含むことができ、この結果、検知エリア、金属層に対する接点要素、及び絶縁要素(例えばシャロートレンチインプラント(STI)、ガードリング、光学トレンチ等)が得られる。検知エリアは、CMOS検出器における体積測定要素(volumetric element)であり、デバイスに適正な電圧バイアスが印加された場合に、入射する光子の電流への光学的変換を可能とする。APD/SPADの場合、検知エリアは、電界の組み合わせによって、光子吸収により生じた電子を増倍エリアの方へ引っ張り、このエリアで光子誘起電子が増幅されて、増倍された電子のアバランシェ破壊を引き起こす。
前側の照射された検出器(例えば図4Dに示されているような)は、半導体(シリコン)の上にある金属層と同じ側に入力光ポートを有する。金属層は、個々の光検出器要素(例えばアノード及びカソード)と、バイアス電圧、クエンチング/バラスト要素、及び共通アレイ内の他の光検出器のような様々な要素との電気的接続を実現する必要がある。光子が検出器の検知エリアに入射する際に通過する光学ポートは、金属層を介した通路で構成されている。この通路を介したいくつかの方向からの光の通過は、1つ以上の金属層(例えば図4Dの最も左側の検出器要素402に図示されている金属層ML6)によって阻止され得ることに留意するべきである。このような阻止は、検出器の全体的な光吸収効率を低下させる。
図4Eは、ここに開示される主題の例に従った、それぞれにレンズ422が関連付けられた3つの検出要素402を示す。402(1)、402(2)、及び402(3)と表記された図4Eの3つの検出要素の各々は、センサ116の検出要素402の1つ以上に関連付けて実施され得るレンズ構成を示している。これらのレンズ構成の組み合わせも実施できることに留意するべきである。
検出要素402(1)に関して図示されているレンズ構成では、関連付けられたレンズ422の焦点は半導体表面よりも上に位置することができる。任意選択的に、検出要素の異なる金属層の開口は、関連付けられたレンズ422によって生じる集束光の円錐形と整合した様々な大きさを有し得る。このような構造は、デバイス全体としてアレイ400の信号対雑音比及び分解能を改善することができる。パワーの伝送及び接地シールドのために大きい金属層が重要であり得る。この手法は例えば、入射光ビームが平行光線で構成され、撮像焦点が検出信号に対して何の影響も及ぼさない場合、狭い視野を有するモノスタティックLiDAR設計において有用であり得る。
検出要素402(2)に関して図示されているレンズ構成では、スイートスポットを識別することによって、検出要素402による光子検出の効率を改善することができる。具体的には、CMOSで実装される光検出器は、検知体積エリア内に、光子がアバランシェ効果を生じる確率が最も高いスイートスポットを有し得る。従って、検出要素402(2)で例証されるように、レンズ422の焦点を検知体積エリア内部のスイートスポットロケーションに位置決めすることができる。レンズ形状及び焦点からの距離は、レンズから半導体材料内に埋め込まれた検知スイートスポットロケーションまでの経路に沿ってレーザビームが通過する全ての要素の屈折率を考慮に入れることができる。
図4Eの右側の検出要素に関して図示されているレンズ構成では、拡散器及び反射要素を用いて、半導体材料における光子吸収の効率を改善することができる。具体的には、近IR波長は、シリコン材料の著しく長い経路によって、この経路を進む光子の高い吸収確率を達成する必要がある。典型的なレンズ構成では、光子は検知エリアを横断することがありし、吸収されて検出可能電子にならない可能性がある。光子が電子を生じる確率を改善する長い吸収経路によって、検知エリアの大きさは、典型的な製造プロセスで製造されるCMOSデバイスにとって実用的でない寸法(例えば数十um)になる。図4Eの最も右側の検出器要素は、入射光子を処理するための技法を示している。関連付けられたレンズ422は入射光を拡散器要素424上に集束する。一実施形態において、光センサ116は、検出器のうち少なくともいくつかの外面から離れたギャップ内に位置する拡散器を更に含み得る。例えば拡散器424は、光ビームを横方向へ(例えばできる限り垂直方向に)検知エリア及び反射性光学トレンチ426の方へ向けることができる。拡散器の位置は、焦点、焦点よりも上方、又は焦点よりも下方である。この実施形態において、入射光は、拡散器要素が配置されている特定のロケーション上に集束され得る。任意選択的に、検出器要素422は、光子誘起電子が失われて有効検出効率を低下させ得る非アクティブエリアを光学的に回避するように設計される。反射性光学トレンチ426(又は他の形態の光学的に反射性の構造)は、光子を検知エリア内で往復させ、これによって検出の可能性が増大する。理想的には、光子が吸収されて電子/ホール対を生成するまで無制限に、光子は、検知エリア及び反射性トレンチから成るキャビティ内でトラップされる。
本開示に従って、入射する光子を吸収して高い検出確率に寄与するため、長い経路が生成される。また、検出要素422において、他の検出器に漏れて誤検出イベントを発生する可能性のあるなだれ中の寄生光子のクロストーク効果を低減するため、光学トレンチも実施することができる。いくつかの実施形態によれば、より高い歩留まりの受信信号を利用する、つまり、できるだけ多くの受信信号を受信し、信号の内部劣化で失われる信号が少なくなるように、光検出器アレイを最適化することができる。光検出器アレイは、(a)任意選択的に基板の上にある金属層を適切に設計することによって、半導体表面よりも上のロケーションに焦点を移動させること、(b)基板の最も応答性の高い/感度の高いエリア(すなわちは「スイートスポット」)に焦点を誘導すること、(c)基板よりも上方に拡散器を追加して信号を「スイートスポット」の方へ誘導すること、及び/又は反射性材料をトレンチに追加して、偏向された信号を反射して「スイートスポット」に戻すことによって、改善することができる。
いくつかのレンズ構成において、レンズ422は、対応する検出要素402の中心の上方に焦点があるように位置決めされ得るが、必ずしもそうとは限らないことに留意するべきである。他のレンズ構成では、対応する検出要素402の中心に対するレンズ422の焦点の位置は、検出アレイ400の中心からの各検出要素402の距離に基づいてシフトされる。これは、中心から遠い検出器要素の方が軸から大きく外れた角度で光を受光する比較的大きい検出アレイ400において有用であり得る。焦点のロケーションを(例えば検出アレイ400の中心の方へ)シフトさせると、入射角の補正が可能となる。具体的には、焦点のロケーションを(例えば検出アレイ400の中心の方へ)シフトさせると、検出器の表面に対して同一角度に位置決めされた全ての検出要素で実質的に同じレンズ422を用いながら、入射角の補正が可能となる。
検出要素402のアレイにレンズ422のアレイを追加することは、視野の小さい部分のみをカバーする比較的小さいセンサ116を用いる場合に有用であり得る。そのような場合、シーンからの反射信号は実質的に同じ角度から検出器アレイ400に到達するので、全ての光を個々の検出器上に容易に集束できるからである。また、一実施形態においては、空間的な区別性(distinctiveness)を犠牲にして、アレイ400全体の検出確率の増大を促進する(検出器/サブ検出器間の無効エリアで光子が「無駄になる」ことを防止する)ため、LIDARシステム100でレンズ422を用いることができる。この実施形態は、空間的な区別性を優先するCMOS RGBカメラのような従来の実施(すなわち、検出要素Aの方向に伝搬する光をレンズによって検出要素Bの方へ誘導することはできない、つまり、アレイの別の検出要素に「流す(bleed)」ことはできない)とは対照的である。任意選択的に、センサ116は、各々が対応する検出要素402に相関付けられたレンズ422のアレイを含むが、レンズ422のうち少なくとも1つは、第1の検出要素402へ伝搬する光を第2の検出要素402の方へ偏向させる(これによってアレイ全体の検出確率を増大することができる)。
具体的には、本開示のいくつかの実施形態に従って、光センサ116は光検出器のアレイ(例えば検出器アレイ400)を含むことができ、各光検出器(例えば検出器410)は、各検出器の外面を光が通過した場合に電流を流すように構成されている。更に、光センサ116は、光検出器のアレイの方へ光を誘導するように構成された少なくとも1つのマイクロレンズを含むことができ、少なくとも1つのマイクロレンズは焦点を有する。光センサ116は更に、少なくとも1つのマイクロレンズと光検出器のアレイとの間に介在すると共に少なくとも1つのマイクロレンズからアレイへ光を通過させるギャップを有する導電性材料の少なくとも1つの層を含むことができ、少なくとも1つの層は、少なくとも1つのマイクロレンズとアレイとの間に空間を維持するような大きさに形成され、ギャップ内で、光検出器のアレイの検出表面から離間したロケーションに焦点(例えば焦点は平面であり得る)を位置付ける。
関連する実施形態において、各検出器は複数の単一光子アバランシェダイオード(SPAD)又は複数のアバランシェフォトダイオード(APD)を含み得る。導電性材料は多層金属狭窄部(constriction)とすることができ、導電性材料の少なくとも1つの層はアレイ内の検出器に電気的に接続することができる。一例において、導電性材料の少なくとも1つの層は複数の層を含む。更に、ギャップは、少なくとも1つのマイクロレンズから焦点の方へ収束し、かつ、焦点の領域からアレイの方へ発散するような形状とすることができる。他の実施形態において、光センサ116は、各光検出器に隣接した少なくとも1つのリフレクタを更に含み得る。一実施形態において、レンズアレイに複数のマイクロレンズを配置し、検出器アレイに複数の検出器を配置することができる。別の実施形態において、複数のマイクロレンズは、アレイ内の複数の検出器へ光を投影するように構成された単一のレンズを含み得る。
非限定的な例として図2E、図2F及び図2Gを参照すると、システム100の1つ以上センサ116は、光を、スキャン偏向器114から、又はスキャンなしでFOVから直接、受信し得ることが分かる。たとえFOV全体からの光が少なくとも1つのセンサ116に同時に到着しても、いくつかの実施態様において、1つ以上のセンサ116は、任意の所定の時間における検出出力のためにFOVの部分だけをサンプリングし得る。例えば、投影ユニット102の照射がFOVの異なる部分を異なる時に(偏向器114を使用するかどうか、及び/又は異なる光源112を異なる時に作動させることにより)照射する場合、光は検知ユニット106の全ての画素又はセンサ116に到着し得、そしてLIDAR照射を検出すると予期される画素/センサだけが検出出力のために活発にデータを収集し得る。このように、画素/センサの残りは、不必要に周囲雑音を収集しない。スキャン-アウトバウンド又はインバウンド方向における-に言及すると、実質的に異なるスケールのスキャンが実装され得ることが分かる。例えば、いくつかの実施態様において、スキャンされる領域はFOVの1%又は0.1%をカバーし得、他方、他の実施態様において、スキャンされる領域はFOVの10%又は25%をカバーし得る。FOV値の他の全ての相対部分も、言うまでもなく、実装され得る。
処理ユニット
図5Aから図5Cは、本開示のいくつかの実施形態に従った処理ユニット108の様々な機能を示している。具体的には、図5Aは視野の単一の部分の単一のフレーム時間内の放出パターンを示す図であり、図5Bは視野全体の単一のフレーム時間内の放出スキームを示す図であり、図5Cは単一のスキャンサイクル中に視野の方へ投影された実際の光放出を示す図である。
図5Aは、少なくとも1つの光偏向器114の瞬時位置に関連付けられた視野120の単一の部分122の単一のフレーム時間内の放出パターンの4つの例を示す。本開示の実施形態に従って、処理ユニット108は、視野120のスキャンにおいて光束を変動させ得るように、少なくとも1つの光源112及び光偏向器114を制御する(又は、少なくとも1つの光源112及び少なくとも1つの光偏向器114の動作を連携させる)ことができる。他の実施形態に従って、処理ユニット108は少なくとも1つの光源112のみを制御し、光偏向器114は固定の既定パターンで移動又は枢動させることができる。
図5Aの図AからDは、視野120の単一の部分122の方へ放出された光のパワーを経時的に示す。図Aにおいて、プロセッサ118は、視野120のスキャン中に初期光放出が視野120の部分122の方へ投影されるように光源112の動作を制御することができる。投影ユニット102がパルス光光源を含む場合、初期光放出は1つ以上の初期パルス(「パイロットパルス」とも称される)を含み得る。処理ユニット108は、初期光放出に関連付けられた反射についてのパイロット情報をセンサ116から受信することができる。一実施形態において、パイロット情報は、1つ以上の検出器(例えば1つ以上のSPAD、1つ以上のAPD、1つ以上のSiPM等)の出力に基づく単一の信号として、又は複数の検出器の出力に基づく複数の信号として表現され得る。一例において、パイロット情報はアナログ及び/又はデジタル情報を含み得る。別の例において、パイロット情報は単一の値及び/又は(例えば異なる時点及び/又はセグメントの異なる部分の)複数の値を含み得る。
初期光放出に関連付けられた反射についての情報に基づいて、処理ユニット108は、この後に視野120の部分122の方へ投影される光放出のタイプを決定するように構成できる。視野120の特定部分について決定されたこの後の光放出は、同一のスキャンサイクル中に(すなわち同一のフレーム内で)、又は後続のスキャンサイクルで(すなわち後続のフレーム内で)実施され得る。
図Bにおいて、プロセッサ118は、視野120のスキャン中に異なる強度の光パルスが視野120の単一の部分122の方へ投影されるように光源112の動作を制御することができる。一実施形態において、LIDARシステム100は、1つ以上の異なるタイプの深度マップを生成するように動作可能であり得る。深度マップのタイプは例えば、ポイントクラウドモデル、ポリゴンメッシュ、深度画像(画像の各画素もしくは2Dアレイの深度情報を保持する)、又はシーンの他の任意のタイプの3Dモデルのうちいずれか1つ以上である。深度マップのシーケンスは、異なる深度マップが異なる時点で生成される時系列であり得る。スキャンサイクル(「フレーム」と言い換え可能である)に関連付けられたシーケンスの各深度マップは、対応するその後のフレーム時間の期間内に生成できる。一例において、典型的なフレーム時間は1秒未満持続し得る。いくつかの実施形態において、LIDARシステム100は、固定フレームレート(例えば毎秒10フレーム、毎秒25フレーム、毎秒50フレーム)を有するか、又はフレームレートは動的であり得る。他の実施形態において、シーケンス内の異なるフレームのフレーム時間は同一でない場合がある。例えばLIDARシステム100は、毎秒10フレームのレートを実施し、(平均)100ミリ秒で第1の深度マップ、92ミリ秒で第2のフレーム、142ミリ秒で第3のフレームを生成する等とすることができる。
図Cにおいて、プロセッサ118は、視野120のスキャン中に異なる持続時間に関連付けられた光パルスが視野120の単一の部分122の方へ投影されるように光源112の動作を制御することができる。一実施形態において、LIDARシステム100は、各フレームにおいて異なる数のパルスを発生するように動作可能であり得る。パルスの数は0から32の間のパルス(例えば1、5、12、28、又はそれ以上のパルス)で変動する可能性があり、以前の放出から得られた情報に基づき得る。光パルス間の時間は所望の検出範囲に依存し、500nsから5000nsまでの間とすることができる。一例において、処理ユニット108は、各光パルスに関連付けられた反射についての情報をセンサ116から受信することができる。この情報(又は情報の欠如)に基づいて、処理ユニット108は追加の光パルスが必要であるか否かを判定できる。図AからDにおける処理時間及び放出時間の期間は縮尺どおりでないことに留意するべきである。具体的には、処理時間は放出時間よりも著しく長い場合がある。図Dにおいて、処理ユニット102は連続波光源を含み得る。一実施形態において、初期光放出は光が放出される時間期間を含み、後続の放出は初期光放出に連続しているか、又は不連続であり得る。一実施形態において、連続的な放出の強度は経時的に変化し得る。
本開示のいくつかの実施形態に従って、放出パターンは、視野120の各部分ごとに決定することができる。言い換えると、プロセッサ118は、視野120の異なる部分の照射の差別化を可能とするように光放出を制御できる。一例において、プロセッサ118は、同一スキャンサイクル(例えば初期放出)からの反射光の検出に基づいて、視野120の単一の部分122に対する放出パターンを決定することができる。これによってLIDARシステム100は極めて動的となる。別の例において、プロセッサ118は、以前のスキャンサイクルからの反射光の検出に基づいて、視野120の単一の部分122に対する放出パターンを決定することができる。後続の放出について、以下のうちいずれか1つのような光源パラメータの異なる値を決定することによって、後続の放出のパターンに差が生じ得る。
a.後続の放出の全体的なエネルギー
b.後続の放出のエネルギープロファイル
c.1フレーム当たりの光パルス繰り返し数
d.持続時間、レート、ピーク、平均パワー、及びパルス形状等の光変調特性
e.偏光や波長等、後続の放出の波動特性
本開示に従って、後続の放出の差別化を異なる用途に供することができる。一例において、安全性が検討事項である視野120の部分では放出パワーレベルを制限すると共に、視野120の他の部分ではより高いパワーレベルを放出することができる(これによって信号対雑音比及び検出範囲を改善する)。これは目の安全に関連するが、更に、皮膚の安全、光学システムの安全、検知材料の安全、及びそれ以外のものにも関連し得る。別の例では、同一フレーム又は以前のフレームからの検出結果に基づいて、より有益である視野120の部分(例えば関心領域、遠くにあるターゲット、低反射ターゲット等)の方へ、より大きいエネルギーを誘導すると共に、視野120の他の部分への照射エネルギーを制限することができる。処理ユニット108は、単一のスキャンフレーム時間内で単一の瞬時視野からの検出信号を数回処理できることに留意するべきである。例えば、各パルスの放出後、又はある数のパルスの放出後に、後続の放出を決定できる。
図5Bは、視野120の単一のフレーム時間における放出スキームの3つの例を示す。本開示の実施形態に従って、少なくとも処理ユニット108は、取得情報を用いて、動的にLIDARシステム100の動作モードを調整する及び/又はLIDARシステム100の特定のコンポーネントのパラメータ値を決定できる。取得情報は、視野120でキャプチャされた処理データから決定するか、又はホスト210から(直接的又は間接的に)受信することができる。処理ユニット108は、取得情報を用いて、視野120の異なる部分をスキャンするためのスキャンスキームを決定できる。取得情報は、現在の光条件、現在の気候条件、ホスト車両の現在の運転環境、ホスト車両の現在のロケーション、ホスト車両の現在の軌道、ホスト車両の周りの道路の現在の地形、又は光反射によって検出できる他の任意の条件もしくは物体を含み得る。いくつかの実施形態において、決定されるスキャンスキームは以下のうち少なくとも1つを含み得る。(a)スキャンサイクルの一部としてアクティブにスキャンされる視野120内の部分の指定、(b)視野120の異なる部分における光放出プロファイルを規定する投影ユニット102の投影プラン、(c)例えば偏向方向、周波数を規定し、リフレクタアレイ内のアイドル要素を指定するスキャンユニット104の偏向プラン、及び(d)検出器の感度又は応答パターンを規定する検知ユニット106の検出プラン。
更に処理ユニット108は、少なくとも部分的に、視野120内の少なくとも1つの関心領域及び視野120内の少なくとも1つの非関心領域の識別を得ることによって、スキャンスキームを決定できる。いくつかの実施形態において処理ユニット108は、少なくとも部分的に、視野120内の少なくとも1つの高い関心領域及び視野120内の少なくとも1つの低い関心領域の識別を得ることによって、スキャンスキームを決定できる。視野120内の少なくとも1つの関心領域の識別は、例えば、視野120内でキャプチャされた処理データから、別のセンサ(例えばカメラ、GPS)のデータに基づいて、ホスト210から(直接的に又は間接的に)受信して、又は上記のもののいずれかの組み合わせによって決定され得る。いくつかの実施形態において、少なくとも1つの関心領域の識別は、監視することが重要である視野120内の部分、エリア、セクション、画素、又は物体の識別を含み得る。関心領域として識別される可能性のあるエリアの例は、横断歩道、移動する物体、人物、付近の車両、又は車両ナビゲーションに役立ち得る他の任意の環境条件もしくは物体を含み得る。非関心領域(又は低関心領域)として識別される可能性のあるエリアの例は、静的な(移動していない)遠くの建物、スカイライン、地平線よりも上のエリア、及び視野内の物体であり得る。視野120内の少なくとも1つの関心領域の識別を取得したら、処理ユニット108は、スキャンスキームを決定するか又は既存のスキャンスキームを変更することができる。(上述したように)光源パラメータを決定又は変更することに加えて、処理ユニット108は、少なくとも1つの関心領域の識別に基づいて検出器リソースを割り当てることができる。一例においては、ノイズを低減するため、処理ユニット108は、関心領域に相当すると予想される検出器410を活性化し、非関心領域に相当すると予想される検出器410を無効にすることができる。別の例において、処理ユニット108は、例えば反射パワーが低い長距離検出に対するセンサ感度を増大するように、検出器感度を変更できる。
図5Bの図AからCは、視野120をスキャンするための異なるスキャンスキームの例を示す。視野120内の方形はそれぞれ、少なくとも1つの偏向器114の瞬時位置に関連付けられた異なる部分122を表している。説明文500に、方形の充填パターンによって表される光束レベルが記載されている。図Aは、全ての部分が同じ重要度/優先度を有し、それらにデフォルト光束が割り当てられている第1のスキャンスキームを示す。第1のスキャンスキームは、始動段階で利用するか、又は別のスキャンスキームと周期的に交互に用いて予想外の物体/新しい物体について全視野を監視することができる。一例において、第1のスキャンスキームの光源パラメータは、一定振幅で光パルスを発生するように構成できる。図Bは、視野120の一部に高光束が割り当てられ、視野120の残り部分にデフォルト光束及び低光束が割り当てられている第2のスキャンスキームを示す。最も関心の低い視野120の部分に低光束を割り当てることができる。図Cは、視野120内で小型車両及びバス(シルエットを参照)が識別されている第3のスキャンスキームを示す。このスキャンスキームでは、車両及びバスの輪郭を高いパワーで追跡し、車両及びバスの中央部分に低レベルの光束を割り当てる(又は光束を割り当てない)ことができる。このような光束割り当てによって、光学予算の多くを識別された物体の輪郭に集中させ、重要度の低い中央部には少なくすることができる。
図5Cは、単一のスキャンサイクル中に視野120の方へ向かう光の放出を示している。図示の例において、視野120は8×9の行列によって表現され、72のセルの各々は、少なくとも1つの光偏向器114の異なる瞬時位置に関連付けられた別個の部分122に対応する。この例示的なスキャンサイクルにおいて、各部分は、その部分の方へ投影された光パルスの数を表す1つ以上の白いドットを含み、いくつかの部分は、センサ116によって検出されたその部分からの反射光を表す黒いドットを含む。図示されているように、視野120は、視野120の右側のセクタI、視野120の中央のセクタII、及び視野120の左側のセクタIIIという3つの部分に分割されている。この例示的なスキャンサイクルにおいて、セクタIは最初に1部分当たり単一の光パルスが割り当てられ、過去に関心領域として識別されたセクタIIは最初に1部分当たり3つの光パルスが割り当てられ、セクタIIIは最初に1部分当たり2つの光パルスが割り当てられる。図示のように、視野120のスキャンによって4つの物体208が明らかとなっている。すなわち、近視野(例えば5から50メートルの間)における2つの自由形状の物体、中視野(例えば50から150メートルの間)における角の丸い方形の物体、及び、遠視野(例えば150から500メートルの間)における三角形の物体である。図5Cの検討では光束の割り当ての例としてパルス数を使用するが、視野の異なる部分に対する光束の割り当ては他のやり方で実施できることに留意するべきである。例えば、パルス持続時間、パルス角分散、波長、瞬時パワー、光源112からの異なる距離における光子密度、平均パワー、パルスパワー強度、パルス幅、パルス繰り返し率、パルスシーケンス、パルスデューティサイクル、波長、位相、偏光、及びその他のものを使用できる。図5Cの単一のスキャンサイクルのような光放出の説明は、LIDARシステム100の様々な機能を例証している。第1の実施形態において、プロセッサ118は、2つの光パルスを用いて第1の距離にある第1の物体(例えば角の丸い方形の物体)を検出し、3つの光パルスを用いて第1の距離よりも遠い第2の距離にある第2の物体(例えば三角形の物体)を検出するように構成されている。第2の実施形態において、プロセッサ118は、関心領域が識別されている視野の部分に多くの光を割り当てるように構成されている。具体的には、この例において、セクタIIは関心領域として識別され、従って3つの光パルスが割り当てられたのに対し、視野120の残り部分には2つ以下の光パルスが割り当てられた。第3の実施形態において、プロセッサ118は、最初に1部分当たり2つの光パルスが割り当てられたセクタIIIの一部である図5Cの部分B1、B2、及びC1に対し、単一の光パルスだけが投影されるように光源112を制御するよう構成されている。これを行う理由は、処理ユニット108が第1の光パルスに基づいて近視野の物体を検出したからである。また、他の検討すべき事項の結果として、最大より少ないパルス量の割り当ても実行できる。例えば、少なくともいくつかの領域において、第1の距離の物体(例えば近視野の物体)が検出されると、視野120のこの部分へ放出する全体的な光量を低減することができる。
LIDARシステム100の様々なコンポーネント及びそれらに関連した機能についての更なる詳細及び例は、2016年12月28日に出願された本出願人の米国特許出願第15/391,916号、2016年12月29日に出願された本出願人の米国特許出願第15/393,749号、2016年12月29日に出願された本出願人の米国特許出願第15/393,285号、2016年12月29日に出願された本出願人の米国特許出願第15/393,593号に含まれる。これらは援用により全体が本願に含まれる。
例示的な実施:車両
図6Aから図6Cは、車両(例えば車両110)におけるLIDARシステム100の実施を示す。上述した又は以下に記載するLIDARシステム100の態様はいずれも、車両110に組み込んで距離検知車両を提供することができる。具体的には、この例においてLIDARシステム100は、複数のスキャンユニット104と、場合によっては複数の投影ユニット102とを、単一の車両内に一体化している。一実施形態において、車両はそのようなLIDARシステムを利用して、重複ゾーン内及び重複ゾーンを超えた所でのパワー、範囲、及び精度の向上、更に、FOVの感度の高い部分(例えば車両の前方移動方向)における冗長性の向上が可能となる。図6Aに示されているように、車両110は、視野120Aのスキャンを制御するための第1のプロセッサ118Aと、視野120Bのスキャンを制御するための第2のプロセッサ118Bと、これら2つの視野のスキャンの同期を制御するための第3のプロセッサ118Cと、を含み得る。一例において、プロセッサ118Cは車両コントローラとすることができ、第1のプロセッサ118Aと第2のプロセッサ118Bとの間の共有インタフェースを有し得る。共有インタフェースは、時間的及び/又は空間的スペースにおける重複を形成するため、中間処理レベルでのデータ交換及び組み合わせ視野のスキャンの同期を可能とする。一実施形態において、共有インタフェースを用いて交換されるデータは、(a)重複した視野及び/又はその近傍の画素に関連付けられた受信信号の飛行時間、(b)レーザステアリング位置ステータス、(c)視野内の物体の検出ステータスとすることができる。
図6Bは、視野120Aと視野120Bとの間の重複領域600を示す。図示する例において、重複領域は、視野120Aからの24の部分122及び視野120Bからの24の部分122に関連している。重複領域が規定されてプロセッサ118A及び118Bに既知であると仮定すると、各プロセッサは、複数の光源の光を対象とした目の安全の限度に従うため、又は光学予算を維持するといった他の理由から、重複領域600に放出される光の量を制限するように設計できる。更に、プロセッサ118A及び118Bは、スキャンユニット104Aとスキャンユニット104Bとの間のゆるい同期によって、及び/又はレーザ伝送タイミングの制御によって、及び/又は検出回路を有効にするタイミングによって、2つの光源が放出する光の干渉を回避できる。
図6Cは、視野120Aと視野120Bとの間の重複領域600をどのように用いて車両110の検出距離を増大させ得るかを示している。本開示に従って、重複ゾーン内に公称光放出を投影する2つ以上の光源112を利用することで、有効検出範囲を増大できる。「検出範囲」という用語は、LIDARシステム100が物体を明瞭に検出できる車両110からのおおよその距離を含み得る。一実施形態において、LIDARシステム100の最大検出範囲は約300メートル、約400メートル、又は約500メートルである。例えば200メートルの検出範囲では、LIDARシステム100は、車両110から200メートル(又はそれ以下)に位置する物体を、時間のうち95%超、99%超、99.5%超で検出し得る。物体の反射率が50%未満(例えば20%未満、10%未満、又は5%未満)である場合も。更に、LIDARシステム100は1%未満の誤警報率を有し得る。一実施形態において、時間的及び空間的スペースに配置された2つの光源からの投影光を用いて、SNRを改善し、従って重複領域に位置する物体の範囲及び/又はサービス品質を向上させることができる。プロセッサ118Cは、視野120A及び120Bにおける反射光から高レベルの情報を抽出できる。「情報を抽出する」という用語は、当業者に既知の任意の手段によって、キャプチャした画像データ内で、物体、個体、ロケーション、イベント等に関連した情報を識別する任意のプロセスを含み得る。更に、プロセッサ118A及び118Bは、物体(道路の区切り、背景、歩行者、車両等)や運動ベクトルのような高レベル情報を共有することで、各プロセッサがもうすぐ関心領域になりそうな周辺領域に注意を向けることを可能とする。例えば、視野120A内の移動中の物体が間もなく視野120B内に入ることを判定できる。
例示的な実施:調査システム
図6Dは、調査システムにおけるLIDARシステム100の実施を示している。上述のように、LIDARシステム100は静止物体650に固定することができ、静止物体650は、より広い視野を得るためLIDARシステム100の筐体を回転させるためのモータ又は他の機構を含み得る。あるいは、調査システムが複数のLIDARユニットを含むことも可能である。図6Dに示す例では、調査システムは単一の回転可能LIDARシステム100を用いて、視野120を表す3Dデータを取得すると共に、この3Dデータを処理して、人物652、車両654、環境の変化、又は他の任意の形態のセキュリティにとって重要なデータを検出することができる。
本開示のいくつかの実施形態に従って、3Dデータは、小売業プロセスを監視するため分析することができる。一実施形態において、3Dデータは、物理的なセキュリティを必要とする小売業プロセスで使用できる(例えば、小売施設内への侵入、小売施設の内部又は周囲での破壊行為、保護エリアへの不正アクセス、及び駐車場内の自動車の周囲での不審な行動の検出)。別の実施形態において、3Dデータは、公共の安全のために使用できる(例えば、店舗敷地で滑って転ぶ人、店舗の床に危険な液体をこぼすこと又はそれによる通行妨害、店舗の駐車場での襲撃又は誘拐、火災非常口の通行妨害、及び店舗エリア内又は店舗外での混雑の検出)。別の実施形態において、3Dデータはビジネス機密データ収集のために使用できる(例えば、店舗エリアを通る人を追跡して、何人が通過するか、どこで立ち止まるか、どのくらいの間立ち止まるか、彼らの買い物習慣がどのように購買習慣と比較されるかを明らかにする)。
本開示の他の実施形態に従って、3Dデータは、交通違反の取り締まりのために分析し使用することができる。具体的には、3Dデータを用いて、法定最高速度又は何らかの他の道路交通法の要件を超えて走行している車両を識別できる。一例では、LIDARシステム100を用いて、信号が赤である時に一時停止線又は指定の停止位置を超えている車両を検出できる。別の例では、LIDARシステム100を用いて、公共交通機関用に確保された車線を走行している車両を識別できる。更に別の例では、LIDARシステム100を用いて、赤信号では特定の方向転換が禁止されている交差点で方向転換している車両を識別できる。
バイスタティックLIDAR用の仮想保護筐体(VPH)
場合によっては、非常に近距離で物体を検出することが望ましくあり得、それは目の安全のために特に重要であり得る。通常の状況では、LIDARシステムは、照射空間内で、個体等の、物体を検出し、その物体に対して目の安全レベルが維持されるのを確実にするためにLIDARシステムによって放出される光を制限するように構成され得る。しかし、場合によっては、照射空間内の物体はLIDARシステムによって検出されない可能性がある。例えば、物体がLIDARシステムによって照射されているが、LIDARシステムのセンサの検出領域の外部である死角領域が存在し得る。これは、例えば、異なる光学ウィンドウ及び/又は異なる光路が光の放出のため、及び光反射の検出のために使用されるLIDARシステムにおいて起こり得る。そのため、安全でない露光量レベルを制限するために、近距離で物体を検出するための追加の手段が提供され得る。
図7Aは、本開示のいくつかの実施形態に従ったLIDARシステム100の視野例を示す略図である。図7Aに示されている実施形態では、LIDARシステム100は、図2Aに関して前述されているように、バイスタティックシステムであり得る。そのため、LIDARシステム100によって放出された光及びLIDARシステム100に入る反射光は、実質的に異なる光路を通過し得る。LIDARシステム100のバイスタティック構成は、図のように、光源112及びセンサ116(例えば、「主センサ」)を含み得る。
バイスタティック構成では、LIDARシステム100の視野全体は光源112及び/又はセンサ116によって完全にはカバーされない可能性がある。例えば、LIDARシステム100は、環境700(図1Aに関して前述した、視野120に対応し得る)内の物体を検出するように構成され得る。図7Aに示されるように、いくつかの実施形態では、光源112は、照射空間701に対応する環境700の部分にだけ光を投影し得、センサ116は、センサの視野702からだけ光を検出し得る。理想的には、照射空間701及び視野702は完全に重なり合い(又は可能な限り重なり合い)、従ってLIDARシステム100の瞬時視野を最大限にする。しかし、バイスタティック構成の性質に起因して、部分701及び702は、図7Aに示されるように、完全には重なり合わない可能性がある。そのため、環境700は、照射空間701内であるが、視野702の外部である領域を表す死角領域703を含み得る。その結果、死角領域703内の物体によって反射された任意の光は、センサ116によって検出可能ではない可能性があり、従って、LIDARシステム100によって認知されない可能性がある。図7Aに示されているLIDARシステム100の視野はほんの一例として提供されており、部分701及び702の相対範囲は、例示目的のために現実の世界に存在し得るシナリオよりも誇張され得ることが理解されるはずである。更に、図7AはLIDARシステム100の概略図であり、そのため、LIDARシステム100は、上で更に詳細に説明されているとおり、センサ116及び光源112に加えて、光偏向器、ウィンドウ、及び/又は他のコンポーネントを含み得る。更に、本開示は、図7Aに示されている構成以外のLIDARシステムにも関連し得る。
前述の効果の結果として、死角領域703内から反射された光を検出するための追加の手段が提供され得る。例えば、LIDARシステム100は、光源112によって放出される光の量又は強度を制限又は調整する目的で、死角領域703内の物体の存在を検出するように構成され得る。これは、例えば、LIDARシステム100を目にとって安全にして、様々な安全規制に適合するために重要であり得る。光源112は、前述のように、照射空間701内にスキャンパターンで光を放出し得る。いくつかの実施形態では、LIDARシステム100は、環境700内で、物体711等の、物体を検出するように構成され得、検出された物体に基づき光源112の強度又は照射パワーを調整し得る。例えば、LIDARシステム100は、センサ116を使用して、光源112によって放出された光によって損傷を与えられ得る個体又は他の物体を検出し得、物体の方向に伝送される光の量又は強度を制限し得る。物体711が個体(例えば、人)である場合、これは、目に安全な照射レベルがその個体に向けられていることになり得る。
しかし、このシナリオでは、死角領域703は、眼損傷の高まるリスクを提示し得る。これは、照射空間701及び視野702が交わらない近距離(例えば、距離閾値705内)において特に当てはまり得る。図7Aに示されるように、光源112は、死角領域703内の物体710(例えば、個体)の方に向けられている光720を放出し得る。物体710によって反射された光は、図7Aに示されているLIDARシステム内のセンサ116によって検出されない可能性があるので、LIDARシステム100は、光源112の強度又は照射パワーを調整することができない可能性があり、従って、物体710は、物体711が被るよりも高い強度の光を被り得る。その結果、物体710は、眼損傷のリスク又はより強い光の他の影響がより高い可能性がある。そのため、LIDARシステム100は、死角領域703内の物体を検出するための補助センサ又は他の手段を含み得る。本開示を通してバイスタティックLIDARシステムが説明されているが、本明細書で開示される実施形態は、照射される領域の全てはLIDARセンサによって検出されない可能性がある他のタイプのLIDARシステムに同様に適用され得ることが理解される。
図7Bは、本開示のいくつかの実施形態に従った、補助センサ716を含むLIDARシステム100の視野例を示す略図である。補助センサ716は、死角領域703内の物体から反射された光を検出するように構成され得る。補助センサ716は、補助センサ視野704内から光を検出するように構成され得る。補助センサ716は、補助センサ視野704が死角領域703(又は複数の死角領域703)の全部又は一部をカバーするように構成され得る。そのため、光源112から放出された光720が物体710の方に向けられている場合、物体710によって反射された光は、補助センサ716によって検出され得る。LIDARシステム100は従って、物体710を検出することが可能であり得、それに応じて、物体710の方に向けられた光の強度又は量を調整し得る。これは、LIDARシステム100が照射空間701内で安全な露光レベルを維持するのを可能にし得、LIDARシステム100が1つ以上の安全規制に適合するのを可能にし得る。その結果、補助センサ716を含めることにより、LIDARシステム100はLIDARシステムに関連する安全性リスクを低減するための仮想「保護筐体」を含み得る。
補助センサ716は、センサ116と同じタイプ又は類似のタイプのセンサであり得、そのため、前述したセンサ116の任意の特徴、特性及び/又は実施形態も補助センサ716に当てはまり得る。例えば、補助センサ716は補助センサ視野704から反射して戻ってきた光子パルスの光子を検出するための複数の検出要素を含み得る。検出要素は全て(前述の検出器アレイ400に類似した)検出器アレイに含まれ得る。検出要素は相互に同時に又は部分的に同時に動作し得る。いくつかの実施形態では、センサ716は、SiPM(シリコン光電子増倍管)のアレイを含み得、共通のシリコン基板上の検出要素として機能する単一光子アバランシェダイオード(SPAD)のアレイを含み得る。前述のとおり、各SPADは、約20ns~約100nsの間の回復時間を有し得る。他の非シリコン材料による同様の光電子増倍管も使用され得る。更に、前述のとおり、2つ以上のタイプのセンサが実装され得る(例えば、SiPM及びAPD)。補助センサ716は、SiPMアレイに組み込まれた少なくとも1つのAPD及び/又は別個もしくは共通のシリコン基板上でSiPMアレイに隣接して配置された少なくとも1つのAPD検出器を含み得る。いくつかの実施形態では、補助センサ716は、センサ116とは異なり得る。補助センサ716は、飛行時間分析に関与していない可能性があるので、好都合により安価な形のセンサ(例えば、より低品質、より低複雑度等)であり得、コストを削減する。補助センサ716は、超低強度反射レベルを検出しない可能性があるので(近くの物体からの反射は比較的大密度の光子を含むことが予想されるので)、好都合に低価格な形のセンサ(例えば、より低品質、より低複雑度等)であり得る。補助センサ716は、カメラ又は他の形のセンサであり得る。いくつかの実施形態では、センサ116は、第1のタイプのフォトダイオードセンサを含み得、補助センサ716は、第2のタイプのフォトダイオードセンサを含み得る。第2のタイプのフォトダイオードセンサは、第1のタイプのフォトダイオードセンサの回復時間よりも短い回復時間を有し得る。
センサ116、光源112、及び/又は補助センサ716は、単一の筐体内に収容され得るか、又は複数の筐体の間で分割され得る。例えば、いくつかの実施形態では、前述のとおり、センサ116、光源112、及び/又は補助センサ716は全て、筐体200内に収容され得る。いくつかの実施形態では、補助センサ716は、筐体200の外部に配置され得る。例えば、LIDARシステム100がナビゲーションのために使用される実施形態では、筐体200は車両110に取り付けられ得る。補助センサ716は、車両110のバンパー、フェンダー、サイドパネル、スポイラ、ルーフ、ヘッドライトアセンブリ、テールライトアセンブリ、バックミラーアセンブリ、ボンネット、トランク又は任意の他の適切な部分等の、車両110の別の部分に取り付けられるか、又は組み込まれ得、別個の筐体を含み得る。そのため、補助センサ716は、筐体200から数センチ以内(例えば、5cm、10cm、20cm未満等)に配置され得る。いくつかの実施形態では、補助センサ716は、センサ116とは異なる角度で配置され得る。例えば、補助センサ716の光軸は、LIDARセンサの光軸に関して(例えば、少なくとも10°、20°、30°、40°、50°、60°だけ)傾斜し得る。
LIDARシステム100は、LIDARシステム100と関連付けられた眼損傷のリスクを軽減させるために、補助センサ716と関連付けられた1つ以上の追加のコンポーネントを含み得る。図8Aは、本開示のいくつかの実施形態に従った、補助センサ716を含むLIDARシステム100の構成例を示す略図である。前述のとおり、図8Aに示されている実施形態では、LIDARシステム100はバイスタティック構成を含み得る。そのため、LIDARシステム100は、主スキャン及び検知機能と関連付けられた光偏向器114A及び114Bを含み得る。第1の光偏向器114Aは、光源112からのアウトバウンド光を偏向させるように構成され得、第2の光偏向器114Bは、センサ112に向かうインバウンド光を偏向させるように構成され得る。しかし、本開示は、光偏向器のないLIDARシステム(例えば、光源が制御可能ではない場合)にも適用され得ることが理解される。LIDARシステム100は、1つ以上のプロセッサを更に含み得る。前述の実施形態と同様、LIDARシステム100は、光源112及び/又は光偏向器114Aの動作を調整するためのプロセッサ718Aならびにセンサ116及び/又は光偏向器114Bの動作を調整するためのプロセッサ718Bを含み得る。LIDARシステム100は、光源112及び/又はセンサ116と関連付けられた様々な機能を調整し得るプロセッサ718C等の、追加のプロセッサを含み得る。
LIDARシステム100は、光偏向器714及びプロセッサ718D等の、補助センサ716と関連付けられた追加のコンポーネントを更に含み得る。光偏向器714は、補助光センサ716に向かうインバウンド光(例えば、補助センサ視野704からの光)を偏向させるように構成され得る。光偏向器714は(光偏向器114A及び114Bと同様に)スキャン光偏向器であり得る(前述のとおり)か、又は非スキャン光偏向器であり得る。プロセッサ718Dは、センサ716及び/又は光偏向器714の動作を制御又は調整するように構成され得、本明細書で前述した動作(例えば、プロセス900)の1つ以上を実行するように構成され得る。プロセッサ718Dは、プロセッサ718A、718B、及び/又は718Cと通信するように構成され得、補助センサ716及び/又は光偏向器714の動作は、光源112、センサ116、光偏向器114A及び114B、ならびに/又はLIDARシステム100の他のコンポーネントと連係され得る。
図7Bに関して前述されているように、補助センサ716は、死角領域703内の物体によって反射された光を検出するように構成され得る。いくつかの実施形態では、反射光は、光源112によって放出され得る。他の実施形態では、補助センサ716は、補助光源と関連付けられ得る。補助光源は、光源112よりも簡素化された光源であり得る(例えば、LED等)か、又は光源112に類似し得る(例えば、補助光偏向器等を含む)。補助センサ716及び補助光源は、前述のとおり、モノスタティック又はバイスタティック構成であり得る。いくつかの実施形態では、補助センサ716は、光源112又は補助光源から放出された光のいずれかに基づき、飛行時間情報を使用して死角領域703内の物体までの距離を決定するように構成され得る。補助センサ716の追加物体検出機能は、図8Cに関して以下で説明される。
いくつかの実施形態では、図8Aに示されているコンポーネントの1つ以上は、一緒にグループ化されるか、又は相互に関連付けられ得る。例えば、光偏向器114A及び114Bは、前述のとおり、スキャンユニット104の一部であり得る。光偏向器714もスキャンユニット104の一部であり得るか、又は別個であり得る。同様に、補助センサ716は、検知ユニット106の一部であり得、プロセッサ718Dは、処理ユニット108の一部であり得る。プロセッサ718Cは、補助センサ716及び光偏向器714、ならびにLIDARシステム100の他のコンポーネントの動作を調整するように更に構成され得る。
いくつかの実施形態では、LIDARシステム100は、図8Aに示されているものよりも多いか、又は少ないコンポーネントを有し得る。例えば、プロセッサ718A、718B、718C、及び718Dの1つ以上によって実行される動作は、単一のプロセッサによって実行され得るか、又は追加のプロセッサの間で分割され得る。LIDARシステム100は、投影ユニット102、スキャンユニット104、及び/又は検知ユニット106の各々を制御するように構成された単一のプロセッサを含み得、それは、補助センサ716及び/又は光偏向器714も含み得る。LIDARシステム100は、前述した、光学ウィンドウ124等の、1つ以上の光学ウィンドウを更に含み得る。光偏向器114A、114B、及び714は全て、単一の光学ウィンドウと関連付けられ得るか、又は複数の光学ウィンドウと関連付けられ得る。例えば、偏向器114A及び114Bは、第1の光学ウィンドウと関連付けられ得、光偏向器714は第2の光学ウィンドウと関連付けられ得る等。当業者は、LIDARシステム100の示された構成は多数の変形及び修正を有し得ることを理解するであろう。
いくつかの実施形態では、補助センサ716は、光路を光源112と共有するように構成され得る。図8Bは、本開示のいくつかの実施形態に従った補助センサ716を含むLIDARシステム100の別の構成例を示す略図である。この実施形態では、補助センサ716及び光源112は両方とも、単一の光偏向器(例えば、114A)を使用し得る。そのため、光偏向器114Aは、前述のとおり、非対称偏向器を含み得る。LIDARシステム100は、図のように、光源112からの光を光偏向器114Aまで通過させるが、光偏向器114Aで受信された光をセンサ716に偏向させるのを可能にするように構成された非対称偏向器715を更に含み得る。この構成では、照射空間701及び補助センサ視野704は同じであり得、それにより、光源112のスキャン範囲全体にわたって目の安全レベルが維持されるのを確実にする。別の実施形態では、非対称偏向器715を含むのではなく、光偏向器114Aは、複数のミラーをアレイ形式で含み得る。この実施形態では、複数のミラーの第1のミラーは、光源からの光を照射空間701の方に向けるように構成され得、複数のミラーの少なくとも第2のミラーは、照射空間からの反射信号を補助センサ716の方に向けるように構成され得る。
いくつかの実施形態では、補助センサ716は、近距離又は短距離検出に制限され得る。いくつかの実施形態では、LIDARシステム100は、補助センサ716によって受信された光の強度を低減するためのフィルタを更に含み得る。そのため、もっと遠くの対象に反射した光は、フィルタによって弱められる。LIDARシステム100は、異なるパラメータ(例えば、波長、符号化等)の光源を低光度で使用し得る。別の実施形態では、LIDARシステム100は、光源112によって光が放出された後の時間を制限し得、その間、補助センサ716は反射光を測定する。それ故、LIDARシステム100は、光が進む速度に基づき、補助センサ716を近距離検出に制限し得る。
他の実施形態例では、補助センサ716は物体710までの距離を決定するように構成され得る。図8Cは、本開示のいくつかの実施形態に従った補助センサ716を含むLIDARシステム100の別の構成例を示す略図である。この実施形態では、補助センサ716は、補助センサ視野704(図示せず)から反射された光を受信するように構成された検出要素のアレイを含み得る。各検出要素は、破線822で示されるように、特定の角度と関連付けられ得る。検出要素は、検出要素の角度が死角領域703をカバーするように、配置され得る。この構成を使用すると、LIDARシステム100は、死角領域内の物体を検出することが可能であり得、物体の近似距離、位置、サイズ、形状等を更に判断し得る。例えば、光源112は光720を放出し得、光720は物体710に反射し得る。光720は、光720の放出時における光偏向器114Aの位置に基づき、既知の角度θで放出され得る。物体710によって反射された光をどの検出要素が受信するかに基づき、LIDARシステム100は、LIDARシステム100に対して物体710までの距離を決定するように構成され得る。例えば、反射光が検出要素821で受信される場合、検出要素821と光偏向器114Aとの間の距離、光720が伝送される角度θ、及び検出要素821の瞬時視野の方向に基づき、物体821までの距離が三角法に基づいて(例えば、ルックアップテーブル-LUT-又は計算の使用)決定され得る。物体710のおおよそのサイズ及び形状も、物体710によって反射された光を検出する補助センサ716の検出要素の数に基づいて判断され得る。かかる情報は、物体710の方に向けられた光の強度を低減するために光センサ112及び/又は光偏向器114Aを調整する際に有用であり得る。例えば、LIDARシステム100は、物体710の位置に基づいて選択的に光強度を調整する。言い換えれば、LIDARシステム100は、物体710が位置している照射空間701の領域の方に向けられた光の強度を低減するように構成され得るが、他の全ての領域に対しては通常の動作強度を維持し得る。
図8Cに示されている補助センサ716は、例示目的で簡略化されており、追加の検出要素を様々な角度で含み得る。いくつかの実施形態では、補助センサは、水平方向に(図8Cに示されているように)及び/又は垂直方向にも広がる角度をもつ2Dアレイであり得る。傾斜しているか、もしくは互い違いの2Dアレイ、六角形アレイ、又は任意の他の適切な配列等の、他の構成も使用され得る。図8Dは、本開示のいくつかの実施形態に従った補助センサ例716を示す略図である。図のように、補助センサ716は、検出要素821の2Dアレイを含み得る。検出要素は各々、関連付けられた角度を有し得、3D空間内で死角領域703をカバーするように配列され得る。図8Cに関して前述した技術を使用すると、LIDARシステム100は、死角領域703内の物体を、特に近距離で、更に正確に検出し得る。いくつかの実施形態では、センサ116及び補助センサ716は、図8Dに示されているように、複数の検出要素を含む単一のチップ上に収容され得る。検出要素の一部(補助センサ716と関連付けられた境界された領域によって示されている)は、死角領域703内の物体を検出するために構成され得る。残りの検出要素は、上で詳細に説明したように、通常の飛行時間物体検出と関連付けられ得る。本開示は、図8Dに示されている検出要素の構成に制限されないことが理解される。補助センサ716と関連付けられた検出要素は、任意の数の行もしくは列、行及び/もしくは列全体は含まない検出要素のグループ化、分散された検出要素の範囲、又は任意の他の適切な構成に配列され得る。
他の実施形態例では、LIDARシステム100は、死角領域703内の物体が検出され得るように、環境700からの光を回折するするように構成された追加の光学コンポーネントを含み得る。図8Eは、本開示のいくつかの実施形態に従った補助センサ716を含むLIDARシステム100の別の構成例を示す略図である。LIDARシステム100は、光を回折するように構成された追加の光学コンポーネント814を含み得る。いくつかの実施形態では、光学コンポーネント814は、視野804からの光を回折し、それを補助センサ716に向けるように構成され得る。光学コンポーネント814は、視野804が死角領域703をカバー又は包含するように、構成され得る。従って、補助センサ716は、光学コンポーネント814を通して視野804内の物体を検出し得る。いくつかの実施形態では、センサ116及び補助センサ716は、同じチップ上に配置され得る。例えば、図8Dに関して前述されているように、センサ116は、検出要素のアレイを含み得、補助センサ716は、検出要素のサブセットを含み得る。
光学コンポーネント814は、視野804からの光を受信し、それを補助センサ716の方に向けるように構成された任意の光学コンポーネントであり得る。例えば、光学コンポーネント814は、環境700からの光を回折するように構成されたレンズであり得る。いくつかの実施形態では、光学コンポーネント814は、1つ以上の面(facet)が視野804からの光を補助センサ716の方に回折し、他の面は視野702からの光を回折しそれをセンサ116の方に回折する多面レンズであり得る。光学コンポーネント814は、ウィンドウ、ミラー、プリズム、又はこれらもしくは同様のコンポーネントの任意の組み合わせであり得る。いくつかの実施形態では、光学コンポーネント814は、光偏向器114Aなどの、スキャン光偏向器であり得る。光偏向器は、視野804の方向でスキャンするように構成され得る。いくつかの実施形態では、光学コンポーネント814は、選択的に適用され得る。例えば、視野804は、死角領域703内の物体を検出するために定期的にスキャンされるだけであり得る。そのため、光学コンポーネント814は、視野804からの光を選択的に回折するためにモータ又は他のアクチュエータを有し得る。光学コンポーネント814が選択的に適用される実施形態では、センサ116及び補助センサ716は、異なるモード(例えば、通常の動作と関連付けられた飛行時間検出、及び目の安全を目的とした死角領域703内での物体検出)で動作するように構成された単一のセンサであり得る。いくつかの実施形態では、光学コンポーネント814は、光源112と関連付けられ得、物体の近距離検出のために定期的に光を方向転換させ得る。かかる実施形態では、方向転換された光は、主光源の前に伝送されて、物体が最初に検出できて、LIDARシステム100が検出された物体に反応できるようにする。
LIDARシステム100は、光源112及び/又は光偏向器114Aを調整して蓄積されたエネルギー密度が最大許容曝露を超えるのを防ぐように構成され得る。例えば、プロセッサ718Cは、補助センサ716(及び/又はプロセッサ718D)から受信した反射信号に基づき、物体710が光偏向器114Aから所定の距離内であることを判断し得る。そのため、プロセッサ718C及び/又はプロセッサ718Dは、前述の方法又は任意の適切な既知の方法を使用して、物体710までの距離を決定し得る。
所定の距離は、LIDARシステム100の動作と関連付けられた事前に定義された安全距離であり得る。例えば、所定の距離は、(例えば、光源112の強度に基づき)目の安定が懸念事項であり得る光偏向器114Aからの最大距離と関連付けられ得る。例えば、所定の距離は、光源112の強度が増大すると大きくなり得る。所定の距離はまた、適用可能な産業もしくは政府規制又は他の事前に定義された値に基づいても定義され得る。
プロセッサ718C(及び/又はプロセッサ718A)は、光源112及び/又は光偏向器114Aを調整して所定の距離内の蓄積されたエネルギー密度が最大許容曝露を超えるのを防ぐように構成され得る。例えば、プロセッサ718Cは、光源112によって放出された光の量又は強度を制限することによって光源112を調整し得る。代替として、又は追加として、プロセッサ718Cは光偏向器114Aを調整して、光を物体710から逸らすか、又は別の方法で所定の距離内のエネルギー密度を低減し得る。最大許容曝露は、人の目にとって安全であると考えられる最大曝露レベルに対応し得る。いくつかの実施形態では、最大許容曝露は、LIDARシステム100内で事前に定義された値であり得る(例えば、目の安全規制に適合する安全限度に対応する等)。最大許容曝露はまた、光偏向器114Aからの距離及び/又は所与の距離で目に安全な曝露時間とも関連付けられ得る。例えば、プロセッサ718Cは少なくとも1つの物体までの距離を決定して、物体710における光の強度を計算し得る。例えば、物体710における強度は、光源112によって放出された光強度及び様々な距離における光強度の既知もしくは推定された量の低下又は減少に基づき得る。プロセッサ718Cは、決定された距離において目に安全な曝露時間をその距離において判断された光強度に基づいて決定することにより光源112及び/又は光偏向器114Aを調整し得る。いくつかの実施形態では、所定の距離は、各々対応する最大許容曝露をもつ、複数の所定の距離を含み得る。
図9は、開示される実施形態に従ったLIDARシステム100の最小所定距離内で物体を検出するためのプロセス例900を示すフローチャートである。プロセス900は、プロセッサ718D等の、LIDARシステム100と関連付けられた1つ以上のプロセッサによって実行され得る。プロセス900の1つ以上のステップは、プロセッサ718A、718B、718C、118及び/又は処理ユニット108を含む、LIDARシステム100と関連付けられた他のプロセッサによって実行され得ることが理解される。
ステップ910で、プロセス900は、光源及び光偏向器の少なくとも1つを制御して、光源によって照射されている空間内に位置する第1の物体及び第2の物体を照射することを含み得、第1の物体はLIDARシステムのLIDARセンサの視野内に位置し、第2の物体はLIDARセンサの視野の外部に位置している。例えば、ステップ910は、光源112及び光偏向器114Aを制御して、照射空間701内の物体710及び711を照射することを含み得る。いくつかの実施形態では、第2の物体(例えば、物体710)は死角領域(例えば、死角領域703)内に位置し得る。死角領域は、LIDARシステムの視野の外部である照射空間の一部を含み得る。ステップ910は、照射空間701に向かって光パルスを放出して、照射空間701内の物体までの距離及び/又は物体の特性を判断することを含み得る。いくつかの実施形態では、第1の物体及び第2の物体は同じ光源によって照射され得る。しかし、他の実施形態では、前述のとおり、各物体に対して異なる光源が使用され得る。
ステップ920で、プロセス900は、LIDARセンサから受信した第1の反射信号に基づき第1の物体までの距離を決定することを含み得、第1の反射信号は第1の物体から反射された光を示す。例えば、ステップ920は、視野702内の物体711から反射された光を示す反射信号をセンサ116から受信することを含み得る。受信した反射信号はLIDARシステム100から異なる距離で視野702内の物体711及び/又は追加の物体を検出するために使用され得る。
ステップ930で、プロセス900は、第2の物体から反射された光を示す第2の反射信号を、補助センサから受信することを含み得る。例えば、プロセッサ718Dは、反射信号を補助センサ716から受信し得、それは照射空間701内に位置する物体710から反射された光を表し得るが、視野702からは除外される(例えば、死角領域703内)。いくつかの実施形態では、補助センサは、死角領域内からの光を受信するように構成され得る。いくつかの実施形態では、補助センサは、LIDARセンサの瞬時画素視野よりも大きい(例えば、2×~5×、5×~10×、10×~20×、20×~50×、>50×大きい)瞬時画素視野を有し得る。
いくつかの実施形態では、補助センサは、センサ112と光路を共有し得る。そのため、光偏向器(例えば、光偏向器114A)は複数のミラーを含み得、アレイの少なくとも第1のミラーは、光源からの光を照射空間の方に向けるように構成され、アレイの少なくとも第2のミラーは、照射空間からの反射信号を補助センサの方に向けるように構成される。いくつかの実施形態では、LIDARシステム100は、光源からの光を照射空間の方に向けるように、第2の物体から反射された光を補助センサの方に向けるように構成された少なくとも1つの非対称偏向器(例えば、非対称偏向器715)を更に含み得る。例えば、光は、光源によって照射空間に伝送され、光学デバイスによって照射空間から補助センサの方に反射され得る。
補助センサは、前述のとおり、主センサと同じであり得るか、又は主センサとは異なり得る。いくつかの実施形態では、LIDARセンサは、少なくとも第1のタイプのフォトダイオードセンサを含み得、補助センサは、少なくとも第2のタイプのフォトダイオードセンサを含み得る。例えば、第2のタイプのフォトダイオードセンサは、第1のタイプのフォトダイオードセンサの回復時間よりも短い回復時間を有し得る。いくつかの実施形態では、補助センサのレンジはLIDARセンサのレンジよりも短い(例えば、2、3、4、5、10、20、30、40、50、100倍短い)可能性がある。第2のタイプのフォトダイオードセンサは第1のタイプのフォトダイオードセンサとは異なる他の特性又はパラメータ、例えば、異なるダイナミックレンジ(例えば、フォトダイオードセンサによって検出可能な照度値のレンジを表す)、異なる最大もしくは最小強度値、異なる利得等、も有し得る。いくつかの実施形態では、補助センサは飛行時間物体検出とは関連付けられない可能性がある。例えば、第2のタイプのフォトダイオードセンサは、第2の物体から反射された光と関連付けられた強度情報を提供するが、時間情報は提供しないように構成され得る。いくつかの実施形態では、LIDARセンサ及び補助は、複数の検出要素を含む単一のチップ上に収容され得、LIDARセンサは複数の検出要素の第1のセットと関連付けられていて、補助センサは複数の検出要素の第2のセットと関連付けられている。
ステップ940で、プロセス900は、第2の反射信号に基づき、第2の物体はLIDARシステムから所定の距離内に位置すると判断することを含み得る。例えば、プロセッサ718Dは、物体710によって反射された光の1つ以上の特性に基づき、光偏向器114Aと物体710との間の距離を決定し得る。例えば、プロセス900は、車両に搭載されたLIDARシステムによって実行され得、プロセス900は、所定の距離内の第2の物体の存在の指標を提供することを更に含み得る。いくつかの実施形態では、補助センサは複数の検出要素を含み得、少なくとも1つのプロセッサは、前述のとおり、複数の検出要素のどれが第2の物体から反射された光を受信するかに基づき、第2の物体までの距離を決定するように更に構成され得る。プロセッサ718Dは、光偏向器114Aと物体710との間の距離が所定の距離内であるかどうかを更に判断し得る。所定の距離はLIDARシステム100内に格納された所定の安全距離に対応し得る。例えば、所定の距離は、(例えば、光源112によって放出された光の強度、LIDARシステム100の環境等、に基づき)目の安定が懸念事項であり得るLIDARシステム100の最大距離に対応し得る。他の実施形態では、所定の距離は、政府もしくは産業規制(例えば、LIDARシステムに対する安全規制等)によって設定され得る。いくつかの実施形態では、LIDARシステム100は、車両(例えば、車両110)上に搭載され得、少なくとも1つのプロセッサは所定の距離内の少なくとも1つの物体の存在の指標を提供するように更に構成され得る。いくつかの実施形態では、ステップ940は、LIDARセンサ又は追加のセンサから受信したデータを使用して、少なくとも1つの物体が所定の距離内に存在するという判断を確認することを更に含み得る。例えば、物体710が視野702内にあるか、又は視野702内に入る場合(又は物体710が視野702内にあるようにLIDARシステム100が調整もしくは移動される場合)、センサ116は物体710の存在を確認するために使用され得る。
ステップ950で、プロセス900は、判断に基づき、光源及び光偏向器の少なくとも1つを調整して所定の距離内の光源から放出された光の蓄積されたエネルギー密度が最大許容曝露レベルを超えるのを防ぐことを含み得る。例えば、ステップ950は、光源112及び/又は光偏向器114Aを(例えば、プロセッサ718Aによって)制御して、光源112によって放出された光の強度、量及び/もしくは方向を制限することを含み得る。いくつかの実施形態では、調整は、第2の物体の領域内で光の強度を選択的に制限するが、他の領域内では光源及び/又は光偏向器の通常の動作を維持することを含み得る。例えば、調整は、少なくとも1つの光源を調整して、第2の物体と関連付けられた照射空間の領域(及び/又は死角領域)内に蓄積されたエネルギー密度が所定のレベルを超えるのを防ぐことを更に含み得る。いくつかの実施形態では、ステップ950は、第2の物体と関連付けられていない照射空間の領域に関して少なくとも1つの光源を調整しないこと(又は第2の物体が所定の距離内にあるという判断に基づき少なくとも調整しないこと)を含み得る。例えば、LIDARシステムは第2の物体の方向においてのみ光源を調整し得る。
ステップ950は、前述のとおり、少なくとも1つの物体までの距離を決定すること、少なくとも1つの物体における光の強度を計算すること、及び少なくとも1つの物体までの距離で目に安全な曝露時間を決定すること、等の1つ以上の追加のステップを含み得る。少なくとも1つの物体における光の強度は、光源112によって放出された光パルスの強度及び光源112によって放出された光パルスの既知の特性に基づき得る。例えば、プロセッサ718Dは、光パルスの強度が所与の距離又は時間にわたって低下する既知又は推定される率に基づき物体710における光強度を計算し得る。曝露時間は、物体710における光の強度に応じて変わり得る。例えば、目に安全な曝露時間は、より高い光強度におけるよりも低い光強度において更に大きくなり得る。目に安全な曝露時間と光強度との間の相関関係は、人の目が損傷を受ける前に耐えることができる光エネルギー曝露の量によって定義され得る。いくつかの実施形態では、相関関係は、目の安全規格又は規制等の、1つ以上の産業又は政府規制に基づき得る。いくつかの実施形態では、ステップ950は、少なくとも1つの物体までの決定された距離に基づき最大許容曝露と関連付けられた値を決定することを更に含み得る。例えば、最大許容曝露は、少なくとも1つの物体での決定された曝露時間における光の強度に基づき得る。最大許容曝露と関連付けられた様々な他の値も決定され得る。
いくつかの実施形態では、ステップ950は、他の改善措置を含み得る。例えば、いくつかの実施形態では、照射空間701は、解像度もしくはフレームレートを増大させるため、又は任意の他の理由のために、視野702よりも意図的に広い可能性がある。かかる実施形態では、物体710の検出に対する応答は、視野702の範囲を増大させること、照射空間701の範囲を減少させること、又は同様のことであり得る。様々な他の改善措置が実装され得る。
近距離検出に役立つ異なるタイプのセンサを備えたLIDARシステム
場合によっては、LIDARシステムのセンサが複数の異なるタイプの検出要素を有することは好都合であり得る。同種の光検出器の使用は、物体の検出における不正確さ又は物体の検出失敗さえ引き起こし得る。光検出器の動作特性は、あるダイナミックレンジにおいて及び/又はある距離において、それが効果的に実行するのを可能にし得るが、他ではしない。一例として、近距離で物体を検出する場合、光子の放出と検出との間の時間間隔は検出器の回復時間内であり得る。そのため、近距離では、LIDARシステムは検出器の回復時間に起因して物体を正確に検出できない可能性がある。様々な他の検出器特性も不正確さを引き起こし得る。そのため、複数のタイプの(例えば、異なる回復時間をもつ)検出器を使用すると、特に異なる距離において、検出を改善し得る。
図10は、本開示のいくつかの実施形態に従った複数のタイプの光検出器をもつ光検出器アレイ1020を備えたセンサを有するLIDARシステム例100を示す略図である。LIDARシステム100は、光源1002、光偏向器1004、及び光検出センサ1006を含み得る。光源1002は、LIDARシステム100の視野120に向けて光を放出するように構成され得る。光源1002は、固体レーザ、レーザダイオード、高出力レーザ等のレーザ、又は発光ダイオード(LED)ベースの光源等の代替光源であり得る。光源1002は、前述の光源112に対応し得、そのため、光源112の任意の記述、特徴、又は実施形態も光源1002に当てはまり得る。光偏向器1004は、視野120をスキャンするために光源1002からの光を検出するように構成され得る。光偏向器1004は、前述の様々な光偏向器(例えば、光偏向器114A)に対応し得、そのため、これらの光偏向器の任意の記述、特徴、又は実施形態も光偏向器1004に当てはまり得る。光偏向器1004は、視野120から受信した光を光検出センサ1006に向けるように更に構成され得る。
光検出センサ1006は、視野120内から1つ以上の物体を検出するように構成され得る。例えば、光源1002は、光偏向器1004を用いて、光1031及び光1032を視野1020内に伝送し得る。図10に示されているように、光1041は物体1051によって反射され得、光1042は物体1052によって反射され得る。物体1051は、図のように、物体1052よりもLIDARシステム100に近い可能性がある。光偏向器1004は、光1041及び1042を光検出センサ1006の方に偏向し得、それは、反射光に基づき、物体1051及び1052を検出するように構成され得る。光検出センサ1006は、光源1002と連携して飛行時間情報に基づき物体1051及び1052までの距離を決定するように構成され得る。この飛行時間検出は、上に更に詳細に説明されている。いくつかの実施形態では、LIDARシステム100は、光が光検出センサ1006に到達する前に何らかの方法で光を変更し得る少なくとも1つの光学コンポーネント1008(例えば、レンズ、フィルタ等)を更に含み得る。光学コンポーネント1008は、光1041及び1042がLIDARシステム100によって受信されるときの光1041及び1042との初期インタフェースとして示されているが、光学コンポーネント1008は、光が光検出センサ1006に、又は他の構成内に到達する直前に光を変更し得る。
光検出センサ1006は、視野120から反射して戻ったきた光子パルスの光子を検出するための複数の検出要素を含み得る。光検出センサ1006は、上で詳述したセンサ116に対応し得る。センサ116又はその部分に関して前述した1つ以上の変形、モード、実施形態及び機能の任意の組み合わせが、たとえ明示的に述べられていなくても、光検出センサ1006又は対応するその部分に適用可能であり得る。
光検出センサ1006は、半導体フォトダイオードチップ1010を含み得、それは、例えば、検出領域(感光性ダイオード及び関連電子機器を含む)、ロジック領域、出力回路領域等の異なる領域を含み得る。フォトダイオードチップ1010は、光検出器アレイ1020を更に含み得、それは検出領域内に含まれ得る。フォトダイオードチップ1010は、光検出器で受信された光に基づき光検出器アレイ1020内に含まれる光検出器によって生成された1つ以上の信号を出力するように構成された出力回路1011を含み得る。いくつかの実施形態では、フォトダイオードチップ1010は、複数の出力回路1011要素を含み得、その各々は光検出器要素の異なるグループ(例えば、異なる領域、異なるタイプの光検出器等)に対応し得る。例えば、出力回路1011は、図4Aに関して前述したような出力回路406に対応し得る。出力回路1011は、光検出器要素と関連付けられた出力信号(「検出信号」とも呼ばれる)をプロセッサ1018に提供し得、それは物体検出のためにこれらの出力信号を分析し得る。例えば、プロセッサ1018は、上で詳細に説明したとおり、反射光1041及び1042のための飛行時間、平均パワー、光子分布、又は他の情報を決定し得る。いくつかの実施形態では、個々の光検出器からの出力は、他の検出器の信号と組み合わされ(例えば、合計され)得るか、又はプロセッサ1018に提供される前に別の方法で処理され得る。
プロセッサ1018は、入力又は複数の入力に関して論理演算を実行する電気回路を有する任意の物理的デバイスであり得る。プロセッサ1018は、特定用途向け集積回路(ASIC)、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置(CPU)の全体又は一部、グラフィック処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、又は命令の実行もしくは論理演算の実行に適した他の回路を含む、1つ以上の集積回路(IC)を含み得る。プロセッサ1018は、前述したプロセッサ118に対応し得、そのため、前述したプロセッサ118の任意の記述、機能又は他の特徴もプロセッサ1018に当てはまり得る。
図11A~11Gは、本開示のいくつかの実施形態に従った光検出器アレイ1020の構成例を示す。光検出器アレイ1020は、複数の異なるタイプの光検出器要素を含み得る。例えば、光検出器アレイ1020は、第1の光検出器1021及び第2の光検出器1022を含み得る。光検出器1021及び1022の各々は、異なるタイプであり得、異なる特性を有し得る。例えば、第1の光検出器1021は第1の性能特性を有し得、第2の光検出器1022は第2の性能特性を有し得る。第1の性能特性は、第1の性能特性とは異なり得る。光検出器1021及び1022は、視野120から受信した光に基づき検出信号を生成するように構成され得る。第1の光検出器1021は、複数の対象物体に向けて伝送されて、その複数の対象物体の少なくとも第1の物体(例えば、物体1051)から第1の光検出器1021に反射された光に基づき、第1の検出信号を生成するように構成され得る。同様に、第2の光検出器1022は、複数の対象物体に向けて伝送されて、その複数の対象物体の少なくとも第2の物体(例えば、物体1052)から第2の光検出器1022に反射された光に基づき、第2の検出信号を生成するように構成され得る。いくつかの実施形態では、複数の対象物体の第1の物体及び複数の対象物体の第2の物体は異なり得る。他の実施形態では、複数の対象物体の第1の物体及び複数の対象物体の第2の物体は同一であり得る。いくつかの実施形態では、第1の検出信号及び/又は第2の検出信号は、物体から反射された光に基づいていない可能性がある。例えば、光検出器は、周囲光、又は視野120内の他の光源からの光に基づき検出信号を生成し得る。いくつかの実施形態では、各光検出器は複数の画素を含み得、それらはそれぞれの画素のアクティブエリアに衝突する光を示す検出データを出力するように動作可能であり得る。
図11Aに示されているように、例えば、1つのタイプの各光検出器が、他の光検出器の間に収容され得る。例えば、第2の光検出器1022は、第1の光検出器1021又は複数の第1の光検出器1021によって囲まれ得る。他の実施形態では、第1の光検出器1021は、1つ以上の第2の光検出器1022によって囲まれ得る。別の配列例が図11Bに示されており、その図では第1の光検出器の少なくとも一部が第2の光検出器に隣接している。図11Cは、光検出器1021及び1022の別の構成例を示している。図11Cに示されているように、光検出センサ1006は、光検出器1021及び1022を出力回路1011に接続する複数のコネクタ1012を更に含み得る。コネクタ1012は、光検出器と出力回路1011との間の任意の形の導電接続(例えば、プリント配線等)であり得、光検出器から出力回路1011へ検出信号を搬送し得る。図11Cでは、各光検出器は、同じ出力回路1011に接続される。言い換えれば、第1の光検出器1021及び第2の光検出器1022は各々、共通の出力回路1011に接続される。前述のとおり、複数の出力回路1011コンポーネントがあり得、各々は1つ以上の光検出器に接続されている。例えば、第1の光検出器1021は第1の出力回路に接続され得、第2の光検出器1022は第2の出力回路に接続され得る。例えば、第1の光検出器1021の全ては、1つ以上の第1の出力回路要素に接続され得、他方、第2の光検出器1022の全ては1つ以上の第2の出力回路要素に接続され得る。他の実施形態では、ある領域内の光検出器1021及び1022の全部が1つの出力回路1011に接続されるように、光検出器はグループ化され得る。コネクタ1012は、図11A~11Gに示されている他の構成に含まれ得るが、簡略化のために図から省略されていることが理解される。
いくつかの実施形態では、複数の第1の光検出器1021は1つの第2の光検出器1022と関連付けられ得る。例えば、図11Dは、複数の第1の光検出器1021が細長い第2の光検出器1022に隣接して配置されている構成を示す。図11Dは、光検出器アレイ1020上に投じられ得る光錐例1110を更に示す。図11Dに示されているように、光検出器1021及び1022の全部が光検出器アレイ1020に衝突する光によって照射されるわけではない。例えば、光検出器の一部は、部分的にのみ照らされ得、他は、全く照らされない可能性がある。いくつかの実施形態では、光錐1110は、アレイ1020の対象とする特定領域(例えば、特定の光検出器等)に向けられ得る。例えば、光学コンポーネント1008は、入射光を特定の領域に向けるように構成され得る。
図11Eは、複数の第1の光検出器1021が細長い第2の光検出器1022を取り囲んでいる構成を示す。いくつかの実施形態では、図11Fに示されているように、各第2の光検出器1022は、第1の光検出器1021によって取り囲まれ得る(又はその逆)。例えば、光検出器1021及び1022の各々は、複数の画素を含み得る。画素の各々は、それぞれの画素のアクティブエリア上に衝突する光を示す検出データを出力するように動作可能であり得る。いくつかの実施形態では、図のように、画素は、第1の光検出器1021が第2の光検出器1022の少なくとも1つの画素を取り囲むように、配列され得る。いくつかの実施形態では、光検出器アレイ1020は、3つ以上のタイプの光検出器を含み得る。例えば、図11Gに示されているように、光検出器アレイ1020は第3の光検出器1023を含み得る。光検出器1023は、第1の光検出器1021及び/又は第2の光検出器1022とは異なる性能特性を有し得、異なる距離で、又は異なる領域から等、物体を検出するために同様に利用され得る。いくつかの実施形態では、第1の光検出器1021は1つのアレイ上に含まれ得、光検出器1022は第2のアレイ上に含まれ得る。LIDARシステム100は、反射光を複数のアレイ間で分割し得るビームスプリッタなどの、光学デバイス(例えば、光学デバイス1008)を更に含み得る。図11A~11Gに示されている光検出器アレイ1020の構成は例として提供されている。図に示されている配列は明確にするために簡略化され得ることが理解されるはずである。例えば、図に示されている配列は同一アレイにわたって複数回繰り返され得る。いくつかの実施形態では、光検出器アレイ1020は複数のアレイを含み得る。本開示は光検出器の任意の特定の構成又は配列に制限されず、任意の適切な配列が使用され得ることが理解される。
前述のとおり、第1の光検出器1021及び第2の光検出器1022は、異なる性能特性を有し得る。第1の光検出器1021及び第2の光検出器1022の異なる性能特性は、各々が異なる機能を実行するのを可能にし得る。第1の光検出器1021は、前述のとおり、異なる光強度の光がセンサによって検出されるタイミングの情報を提供する飛行時間光検出器であり得る。例えば、第1の光検出器1021は、測定期間の所与の時間フレーム(例えば、1ナノ秒、10ナノ秒等)にわたり第1の光検出器1021によって吸収された光子の概数を示す情報を伝送するように構成され得る。第1の光検出器1021は他の情報、例えば、検出された光強度が閾値を越える第1の時間を示す情報、ピーク強度のタイミング等、も提供し得る。そのため、第1の検出信号は、複数の対象物体に向かって伝送されて、複数の対象物体の少なくとも第1の物体から第1の光検出器1021に反射された光の飛行時間を示し得る。いくつかの実施形態では、第2の光検出器1022は、第2の検出信号が、複数の対象物体に向かって伝送されて、複数の対象物体の少なくとも第2の物体から第2の光検出器1022に反射された光の飛行時間を示すように、飛行時間センサでもあり得る。他の実施形態では、第2の光検出器1022は異なるタイプのセンサ(例えば、光強度センサ)であり得、それは飛行時間機能を実行しない可能性がある。
いくつかの実施形態では、光検出器1021及び1022の異なる特性は、異なる距離又は距離の範囲での物体の検出を提供し得る。例えば、光検出器要素の様々な特性に起因して、第1の光検出器1021は近距離内で正確に、又は効果的に物体を検出することができない(又は全く検出できない)可能性がある。そのため、第1の光検出器1021の第1の性能特性は、第1の光検出器1021が閾値距離1050(所定の距離又は変動する動作条件に基づいて決定される距離であり得る)を越えて複数の対象物体の1つ以上を検出するのを可能にし得る。第2の光検出器1022の第2の性能特性は、第2の光検出器1022が閾値距離内の複数の対象物体の1つ以上を検出するのを可能にし得る。閾値距離1050は、対象物体及び/又は特定の条件(例えば、最小反射率レベルを上回っている、周囲光が所定の雑音レベルを下回っている等)を適格とする検出条件に適用され得ることに留意されたい。
一例では、光検出器の性能特性は、回復時間(例えば、光の検出及び結果として生じる電子なだれの後等、フォトダイオードがその動作電圧に回復する時間)に基づき得る。例えば、第1の光検出器1021の第1の性能特性は、第1の光検出器1021の第1の回復時間を含み得、第2の光検出器1022の第2の性能特性は、第2の光検出器1022の第2の回復時間を含み得、第2の回復時間は第1の回復時間と異なっている。第1の光検出器1021は、LIDARシステム100の近距離内から反射された光を検出し損ない得るような回復時間を有し得る。第1の光検出器1021の比較的長い回復時間は、第1の光検出器1021の過飽和(例えば、内部反射、近視野物体、高反射性物体等からの)を防ぐために有用であり得るが、近距離での感度を損ない得る。そのため、第2の光検出器1022はもっと短い回復時間が備わっている可能性があり、それは、近距離内でのより良好な検出を可能にし得る。
光検出器1021及び1022の異なる特性は、上の例で提供されたとおり、必ずしも「近距離(close range)」又は「遠距離(far range)」に関係していない可能性がある。いくつかの実施形態では、第1の光検出器1021は検出範囲の中央部内に(例えば、第1の光検出器を飽和させ得る高反射性対象に起因して)問題のある範囲を有し得、第2の光検出器1022はその問題のある範囲内で光を検出するように構成され得る。いくつかの実施形態では、第2の光検出器1022は、第1の光検出器1021よりも遠い距離範囲で光を検出するように構成され得る。他の実施形態では、第2の光検出器は複数の範囲(例えば、0~10m、10~20m等)で光を検出するように構成され得る。更に、いくつかの実施形態では、第2の光検出器1022は、必ずしも距離の範囲に基づかず、視野120の特定の領域内で光を検出するように構成され得る。例えば、第2の光検出器1022は、仮想保護筐体適用において、死角領域(例えば、死角領域703)からの光を検出するように構成され得る。そのため、第2の光検出器1022は補助センサ716と関連付けられ得、それは、主LIDARセンサ(例えば、センサ116)の光検出器要素のサブセットに対応し得る。かかる実施形態は、例えば、図8D及び8Eに関して上で更に詳細に説明されている。
更に、光検出器1021及び1022の様々な他の性能特性が回復時間以外に実装され得る。いくつかの実施形態では、光検出器1021及び1022は各々、異なるダイナミックレンジを有し得る。言い換えれば、各光検出器は、フォトダイオードによって検出できる受信された光信号の異なる範囲の照射レベル(例えば、ルクス、フートキャンドル、光子等で測定される)を有し得る。例えば、第2の光検出器1022は、第1の光検出器1021よりも大きい(例えば、5×、10×、100×、1,000×、10,000×大きい、又はそれ以上)ダイナミックレンジを有し得る。範囲は、最小照度及び/もしくは最大照射レベル、照度レベルの範囲のサイズ、又は両方に関してより大きい可能性がある。そのため、異なる性能特性は、第1の光検出器1021が第1のダイナミックレンジを有する光強度を検出するのを可能にし得、第2の光検出器1022が、第1のダイナミックレンジとは異なる第2のダイナミックレンジを有する光強度を検出するのを可能にし得る。いくつかの実施形態では、第1のダイナミックレンジ及び第2のダイナミックレンジは部分的に重なり合い得る。しかし、他の実施形態では、第1のダイナミックレンジ及び第2のダイナミックレンジは重なり合わない。一例では、近距離から検出された物体はより高い照度値と関連し得、従って、第2の光検出器1022によって検出可能であり得るが、第1の光検出器1021によって検出されない可能性がある。
光検出器1021及び1022の異なるダイナミックレンジ(又は他の性能特性)が達成され得る多数の方法がある。例えば、異なる性能特性は光検出器のタイプに基づき得る。第1の性能特性(第1の光検出器1021と関連付けられた)は、少なくとも一部、第1の光検出器1021の第1のタイプに基づき得る。例えば、第1の光検出器1021は、単一光子アバランシェダイオード(SPAD)、アバランシェフォトダイオード(APD)、もしくはp-i-nフォトダイオード(PINフォトダイオード)、又は任意の他のタイプの光検出器であり得る。第2の性能特性(第2の光検出器1022と関連付けられた)は、少なくとも一部、第2の光検出器1022の第2のタイプに基づき得、それは、第1のタイプとは異なる。第2の光検出器1022は、上でリストされたタイプであり得るか、又はリストされたものとは異なるタイプであり得る。異なる材料、品質、又は他のパラメータも異なるタイプの光検出器を生み出し得る。各タイプの光検出器は異なるダイナミックレンジと関連付けられ得る。
いくつかの実施形態では、性能特性は光検出器の異なる電気的動作パラメータに基づき得る。例えば、第1の光検出器1021は、少なくとも一部、第1の動作電圧に基づく第1の性能特性を有し得、第2の光検出器1022は、少なくとも一部、第2の動作電圧に基づく第2の性能特性を有し得、それは第1の動作電圧と異なり得る。異なる動作電圧は光検出器が異なるレベルの照度等を検出するのを可能にし得る。他の実施形態では、性能特性は、静電容量に基づき得る。例えば、第1の光検出器1021は、少なくとも一部、第1の静電容量に基づく第1の性能特性を有し得、第2の光検出器1022は、少なくとも一部、第2の静電容量に基づく第2の性能特性を有し得、それは第1の静電容量と異なり得る。光検出器のより大きな静電容量は、より低い光子検出レベルと関連付けられ得る。静電容量を変化させることにより、光検出器のダイナミックレンジ、又は他の特性が調整され得る。いくつかの実施形態では、静電容量は、例えば、光検出器の他の電気特性を調整することにより、性能特性を変化させるために人工的に調整され得る。信号増幅パラメータ等の他の動作パラメータ、バイアス、又は光検出器の任意の他の電気特性も、性能特性に影響を及ぼし得る。
いくつかの実施形態では、性能特性は、異なるサイズの光検出器に基づき得る。例えば、第1の光検出器1021は、少なくとも一部、第1の光検出器サイズに基づく第1の性能特性を有し得、第2の光検出器1022は、少なくとも一部、第2の光検出器サイズに基づく第2の性能特性を有し得、それは第1の光検出器サイズと異なり得る。異なるサイズは光検出器が異なるレベルの照度等を検出するのを可能にし得る。例えば、光検出器の検知エリアのサイズが増大すると、より多数の光子が光検出器によって検出されるであろう。第2の光検出器1022が、第1の光検出器1021よりも近距離内の物体の検出と関連付けられる実施形態では、第2の光検出器1022は第1の光検出器1021よりも小さい(例えば、2×~5×小さい、5×~10×小さい、10×~20×小さい、20×~50×小さい、50×~100×小さい、100×~100×小さい、及び前述の任意の組み合わせ等)可能性がある。FOV内の物体から到着する高強度光信号は、断面積当たりのより高い光子の密度を有する。より小さいサイズの第2の光検出器1022は、フォトダイオードに衝突する光子の比率を低減することにより光検出器の過飽和を防ぎ得る。逆に、より大きいサイズの第1の光検出器1021は、増大した光子吸収を可能にし得、それは第1の光検出器が、より遠距離(例えば、100m)の対象から、及び低反射率対象からセンサに到達する比較的低レベルの光子を検出するのを可能にし得る。
光検出器サイズと同様、第1の光検出器及び第2の光検出器に到達する光子の数の区別は、光子が光検出器の少なくとも1つに到達する前に光のフィルタリングを通して達成され得る。例えば、光検出センサ1006は、検出領域(又はその一部)で受信された光をフィルタリングするための少なくとも1つのフィルタ(例えば、光学コンポーネント1008)を更に含み得る。いくつかの実施形態では、光は、それが異なる光検出器要素に向けられているとおりに選択的にフィルタリングされ得る。例えば、1つ以上のフィルタが、ある光検出器要素に向けられた光をフィルタリングするために提供され得るか、又は各光検出器要素が専用フィルタ(例えば、光検出器に一体化された)を有し得る。そのため、第1の光検出器1021の第1の性能特性は、第1の光検出器で受信された光のフィルタリング及び第2の光検出器で受信された光のフィルタリングにおける差に少なくとも一部、基づいて、第2の光検出器1022の第2の性能特性と異なり得る。いくつかの実施形態では、第2の光検出器1022に到達する光は、第1の光検出器1021に到達する光よりも更に高度にフィルタリングされ得る。例えば、濾過は第2の光検出器1022に到達する光を、50%、75%、80%、90%、99%、又は任意の他の量だけ減らして、検出器要素に到達する光子の数を効果的に減らし得る。光検出器要素の変化するサイズの効果と同様、濾過に起因した第2の光検出器1022と関連付けられた光子数の減少は、近距離における物体のより良好な検出を可能にし得、他方、第1の光検出器1021に到達する比較的高い数の光子は、より遠距離における物体のより良好な検出を提供し得る。
いくつかの実施形態では、光検出器の性能特性は、利得値に基づき得る。利得は、所与の照度レベルに基づき光検出器によって生成される電気信号の強度に対応し得る。そのため、第1の光検出器1021の第1の性能特性は、第1の検出信号の第1の利得を含み得、第2の光検出器1022の第2の性能特性は、第2の検出信号の第2の利得を含み得、第2の利得は第1の利得と異なっている。より高い利得をもつ光検出器は、より低い利得をもつ光検出器と比べて、光検出器がその光検出器により近い物体を検出するのを可能にし得る。利得は光検出器のダイナミックレンジに密接に関連し得る。そのため、利得は、前述のとおり、ダイナミックレンジが変わり得るのと同じか又は類似の方法で光検出器の間で変わり得る。例えば、利得は、フォトダイオードのタイプ(例えば、SiPM、APD、PIN等)、異なるタイプの電気的パラメータ(例えば、動作電圧、静電容量等)、異なるサイズの検知エリア、異なる濾過、又は様々な他の手段に基づき得る。
いくつかの実施形態では、性能特性は、光検出器による検出のタイミングと関連付けられ得る。例えば、第1の光検出器1021の第1の性能特性は、第1の光検出器1021が第1の期間中に複数の対象物体の1つ以上を検出するのを可能にし得、第2の光検出器1022の第2の性能特性は、第2の光検出器1022が第2の期間内に複数の対象物体の1つ以上を検出するのを可能にし得る。光検出器要素のタイミングは、光パルスが光源1002によって放出された後の所与の時間範囲内にだけ光を検出するために、光検出器を「ゲート制御する(gating)」ことにより設定され得る。光検出器は、それらが飛行時間検出のために構成されているかどうかに関わらず、ゲート制御され得る。光検出器が光を測定している期間に基づき、光検出器は、ある範囲の距離内での物体の検出と関連付けられ得る。例えば、物体1052によって反射された光1042は(図10に示されているように)、光が物体1051に到達するために進む必要があるより遠距離に起因して、物体1051によって反射された光1041よりも早い時間にフォトダイオードアレイ1020で受信され得る。そのため、第2の光検出器1022が近距離検出のために構成される実施形態では、第2の光検出器1022は、第1の光検出器1021よりも早い期間と関連付けられ得る。
いくつかの実施形態では、第2の光検出器1022は、特定の範囲(例えば、第1の光検出器1021の範囲内等)で要素を検出するように構成され得る。いくつかの実施形態では、指定された範囲は、第1の光検出器1021によって検出された物体、又は様々な他の情報に基づき動的に調整され得る。一例では、LIDARシステム100は、特に明るい物体と関連付けられた距離で(例えば、飽和を防ぐために)第1の光検出器1021の感度を一時的に低下させるように構成され得る。そのため、第2の光検出器1022(第1の光検出器1021とは異なるタイプ又はサイズであり得る、フィルタリングされ得る等)は、少なくとも一時的に、その範囲内の物体を検出するように構成され得る。そのため、第2の光検出器1022の性能特性は動的に、かつ第1の光検出器1021の性能特性とは無関係に調整され得る。様々な他のシナリオもある範囲内での選択的な検出を必要とし得る。
いくつかの実施形態では、第1の期間(例えば、第1の光検出器1021の)及び第2の期間(例えば、第2の光検出器1022の)は部分的に重なり合い得る。しかし、他の実施形態では、第1の期間及び第2の期間は重なり合わない可能性がある。第1の期間及び第2の期間が重なり合う実施形態では、第1の期間及び第2の期間は同じ開始時間を有し得る(例えば、光の測定を同時に、又は実質的に同時に開始し得る)。他の実施形態では、それらは異なる時間に開始し得る。例えば、第1の光検出器1021は、より近い物体によって受信されているより高い光強度に起因した過飽和を回避するために、遅延開始を有し得る。いくつかの実施形態では、第1及び第2の期間の長さは異なり得る。例えば、第2の光検出器1022は、(例えば、より近い物体を検出するために)より早い時間に測定を開始し得るが、過飽和等を防ぐためにより短い期間にわたって検出し得る。単一の光検出器は、単一に光パルスと関連付けられたいくつかの時間間隔でゲート制御され得る。例えば、光検出器は、測定期間内で複数の期間(例えば、5~20ナノ秒のオーダーで)測定するためにゲート制御され得る。ゲート制御された期間内で収集された電荷がある閾値を上回る場合、これは、ゲート制御された期間と関連付けられた距離範囲内での物体の存在を示し得る。
様々な性能特性例が提供されるが、本開示はこれらの性能特性のいずれにも制限されない。当業者は、光検出器の他の性能特性又は特徴は変わり得ることを理解し得、それは、スペクトル応答、応答度、ノイズ等価電力、検出度、量子効率等を含み得る。更に、本開示は、いずれか1つの性能特性に制限されず、前述の特性又は特徴の任意の組み合わせを調整することを含み得る。いくつかの実施形態では、異なる光検出器の性能特性は、動的に、又は異なる時間に変更され得る。例えば、LIDARシステム100は、第2の光検出器1022の利得を変更して、第1の光検出器1021の利得を変更することなく、近距離の明るい物体に対して補正し得る。更に、いくつかの実施形態では、性能特性は選択的に変更され得る。例えば、第1の光検出器1021及び第2の光検出器1022は、LIDARシステム100の通常の動作下で、同じ特徴及び/又は性能特性を有し得る。LIDARシステム100は、必要に応じて(例えば、仮想保護筐体適用において、近距離内の物体の検出に基づいて等)第2の光検出器1022の一部又は全部と関連付けられた1つ以上の特徴を選択的に変更するように構成され得る。選択的な変更は、動的に、又は所定の時間もしくは間隔で生じ得る。1つ以上の光検出器の性能特性を動的に変更するための様々な他の方式が実装され得る。
LIDARシステム100内での異なる光検出器の使用は様々な方法で実装され得る。いくつかの実施形態では、第1の光検出器1021は、LIDARシステム100の飛行時間動作のために使用される主センサであり得る。第2の光検出器1022は所定の範囲(例えば、近距離)又は領域(例えば、死角検出等)に対してのみ使用され得る。いくつかの実施形態では、第2の光検出器1022は、例えば、フォトダイオードチップ1010上に構築されたコントローラによって、又はプロセッサ1018によって、必要に応じ定期的に確保(engage)され得る。例えば、第1の光検出器1021は、1つ以上の物体が第2の光検出器1022と関連付けられた領域内に位置していることを判断するために使用され得、LIDARシステム100は、選択的に第2の光検出器1022を確保し得る。例えば、第1の光検出器1021は、近距離内の物体の存在を検出することが可能であり得るが、物体1022の距離又は他の特性を第2の光検出器1022ほど正確に判断することはできない可能性がある。LIDARシステム100は、第2の光検出器1022が(例えば、第2の光検出器1022をゲート制御することにより)確保されている間、第2の光検出器1022と関連付けられた範囲に対して第1の光検出器1021を更に解放し得、それは、第1の光検出器1021の過飽和等を防ぐか、又は減らし得る。
いくつかの実施形態では、第1の光検出器1021及び第2の光検出器1022の両方は、連続的に使用され得る。例えば、第1の光検出器1021及び第2の光検出器1022の各々は、視野120の特定の範囲又は領域に専用であり得る。いくつかの実施形態では、LIDARシステム100は、上で更に詳細に説明されているように、点群を決定するために構成され得る。点群は、第1の光検出器1021によって検出される1つ以上の点及び第2の光検出器1022によって検出される1つ以上の点を含み得る。そのため、プロセッサ1018は、第1の光検出器1021からの第1の信号及び第2の光検出器1022からの第2の信号の両方を処理して点群を生成し得る。任意選択として、点群の1つ以上の点(又は全ての点)は、第1の信号及び第2の信号の両方によって決定され得る。例えば、第1の信号は測定期間の第1の部分に対して使用され得、第2の信号は測定期間の次の部分に対して使用され得、測定期間全体内の1つ以上の最も高い強度(較正/スケーリング後)がFOV内の物体の存在及び距離を決定するために使用され得る。
場合によっては、第1の光検出器1021又は第2の光検出器1022のいずれも、他方の光検出器によって検出可能ではない物体を検出し得る。例えば、第2の検出信号(第2の光検出器1022によって生成された)は、第1の検出信号(第1の光検出器1021によって生成された)から検出できない複数の対象物体の少なくとも1つの存在を示し得る。逆に、第1の検出信号は、第1の検出信号から検出できない複数の対象物体の少なくとも1つの存在を示し得る。そのため、LIDARシステム100は、他方の光検出器を確保するか、又は別の形の改善措置を取り得る。例えば、第2の光検出器1022は、前述の仮想保護筐体と関連付けられ得る。第2の光検出器1022によって検出された物体に基づき、LIDARシステム100は、ある領域内に蓄積された光強度が閾値を上回るのを防ぐために改善措置を実行するように構成され得る。例えば、LIDARシステム100は、検出された物体に基づき、1つ以上の動作パラメータを変更し得る(例えば、ある領域内の光源放出を減らすこと等)。
光検出器アレイ1020は、例として図10に示されている。光検出器1021及び1022は、多数の他の構成を有し得る。更に、光検出器1021及び1022の数の間に1:1の比率が必ずしもあるとは限らない。例えば、第2の光検出器1022よりも数倍多い(例えば、2、4、5、10、100、1000等の倍数だけ)第1の光検出器1021があり得るか、又はその逆である。更に、いくつかの実施形態では、第1の光検出器1021又は第2の光検出器1022の少なくとも1つは、複数の検出器要素(「画素」とも呼ばれる)を含み得、その各々は、視野120から受信した光を検出するように構成され得る。そのため、光検出器1021及び1022は、様々な形状及び/又はパターンに配列され得る。
図12Aは、開示される実施形態に従った複数の性能特性をもつ光検出センサを使用して物体を検出するためのプロセス例1210を示すフローチャートである。プロセス1210は、前述のとおり、例えば、LIDARシステム100等の、LIDARシステムによって実行され得る。
ステップ1212で、プロセス1210は、第1の性能特性を有する第1の光検出器及び第2の性能特性を有する第2の光検出器により、LIDARシステムの視野をスキャンすることを含み得る。例えば、第1の光検出器は第1の光検出器1021に対応し得、第2の光検出器は第2の光検出器1022に対応し得る。第1の性能特性及び第2の特性は、前述した様々な性能特性(ダイナミックレンジ、利得、タイミング、応答時間等を含む)のいずれかであり得る。第1の性能特性は、第2の性能特性とは異なり得る。いくつかの実施形態では、第1の光検出器及び第2の光検出器は同じ光検出チップ(例えば、光検出チップ1006)上に収容され得る。
ステップ1214で、プロセス1210は、第1の光検出器により、第1の物体から反射された光に基づき第1の検出信号を生成することを含み得る。第1の検出信号は、複数の対象物体に向かって伝送されて、複数の対象物体の少なくとも第1の物体から第1の光検出器に反射された光に基づき得る。例えば、光源1002は、光1031を物体1051及び1052に向かって伝送し得、物体1051によって反射された光1041が第1の光検出器1021によって受信され得る。第1の検出信号は、複数の対象物体に向かって伝送されて、複数の対象物体の第1の物体から第1の光検出器に反射された光の飛行時間を示し得る。
ステップ1216で、プロセス1210は、第2の光検出器により、複数の対象物体に向かって伝送されて、複数の対象物体の少なくとも第2の物体から第2の光検出器に反射された光に基づき第2の検出信号を生成することを含み得る。例えば、第2の光検出器1022は、物体1052から反射された光1042に基づき第2の検出信号を生成し得る。第2の検出信号は、第1の検出信号から検出できない対象物体(例えば、物体1052)を示し得る。いくつかの実施形態では、プロセス1210は、追加のステップを含み得る。例えば、プロセス1210は、第1の検出信号に基づき、第1の物体までの距離を決定すること、及び第2の検出信号に基づき、第2の物体までの距離を決定することを含み得る。
図12Bは、開示される実施形態に従った複数の性能特性をもつ光検出センサを使用してLIDARシステムを操作するためのプロセス例1220を示すフローチャートである。プロセス1220は、前述のとおり、例えば、LIDARシステム100等の、LIDARシステムによって実行され得る。
ステップ1222で、プロセス1220は、第1の光検出器及び第2の光検出器を含む光検出センサを使用してLIDARシステムの視野をスキャンすることを含み得る。例えば、光検出センサは、光検出センサ1006に対応し得る。そのため、第1の光検出センサは第1の光検出器1021に対応し得、第2の光検出センサは第2の光検出器1022に対応し得る。第1の光検出センサ及び第2の光検出センサは異なる性能特性を有し得、それらは前述した様々な性能特性(ダイナミックレンジ、利得、タイミング、応答時間等を含む)のいずれかであり得る。
ステップ1224で、プロセス1220は、第1の光検出器により、第1の光検出器で受信された光に基づき第1の検出信号を生成することを含み得る。第1の検出信号は、複数の対象物体に向かって伝送されて、複数の対象物体の少なくとも第1の物体から第1の光検出器に反射された光に基づき得る。例えば、光源1002は、光1031を物体1051及び1052に向かって伝送し得、物体1051によって反射された光1041が第1の光検出器1021によって受信され得る。いくつかの実施形態では、第1の物体は閾値距離(例えば、閾値距離1050)を越えている可能性がある。第1の検出信号は、複数の対象物体に向かって伝送されて、複数の対象物体の第1の物体から第1の光検出器に反射された光の飛行時間を示し得る。
ステップ1226で、プロセス1220は、第2の光検出器により、第2の光検出器で受信された光に基づき第2の検出信号を生成することを含み得る。前述のステップと同様に、第2の光検出器で受信された光は、複数の対象物体に向かって伝送されて、複数の対象物体の少なくとも第2の物体から第2の光検出器に反射され得る。例えば、第2の光検出器1022は、物体1052から反射された光1042に基づき第2の検出信号を生成し得る。いくつかの実施形態では、第2の物体は閾値距離1050内にあり得る。第2の検出信号は、第1の検出信号から検出できない対象物体(例えば、物体1052)を示し得る。いくつかの実施形態では、LIDARシステムは、必要に応じてのみ(例えば、第1の検出信号内の近距離内の物体の指標に基づき等)第2の検出信号を生成するように構成され得る。
ステップ1226で、プロセス1220は、第1の検出信号及び第2の検出信号に基づき視野の3次元マッピングを生成することを含み得る。いくつかの実施形態では、ステップ1226は、複数の対象物体までの距離を決定することを含み得る。例えば、ステップ1226は、第1の検出信号に基づき第1の物体までの第1の距離を、及び/又は第2の検出信号に基づき第2の物体までの第2の距離を決定することを含み得る。いくつかの実施形態では、ステップ1226は、前述のとおり、点群を生成することを含み得る。点群は、第1の光検出器によって検出される1つ以上の点及び第2の光検出器によって検出される1つ以上の点を含み得る。そのため、LIDARシステムは、第1の検出信号及び第2の検出信号の両方を処理して、点群を生成し得る。プロセス1220は、第1の検出信号及び/又は第2の検出信号に基づき少なくとも1つの制御動作を実行すること等の、追加のステップを更に含み得る。例えば、LIDARシステムは、車両がナビゲーション動作を実行できるように、情報又は命令を車両に提供し得る。他の実施形態では、LIDARシステムは、前述のとおり、仮想保護筐体適用において第2の光検出器を使用し得る。そのため、制御動作は、光源の光強度レベルを低下させること、又は様々な他の安全制御動作を含み得る。
LIDAR健康インタフェース
安全規制に準拠するため、及びLIDARシステム一般の動作のために、LIDARシステムのセンサ又は他のコンポーネントの実際の性能が予期される性能から逸脱しているかどうかを判断することは有用であり得る。例えば、LIDARシステムの光検出器が条件の所与のセットに対して適切な光強度又は他のパラメータを測定しているかどうかを判断することは重要であり得る。別の例では、LIDARシステムの光源が条件の所与のセットに対して適切な強度の光又は他のパラメータを放出しているかどうかを判断することは重要であり得る。かかる性能を監視するために、LIDARシステムの健全性がその動作パラメータの安定性に基づき経時的に査定され得る。そのため、LIDARシステムがチェックされる場合(例えば、ガレージ内で、又は車両もしくはそれが設置されている別のプラットフォーム内のシステムによって)、現在の動作パラメータを履歴動作パラメータ又は他のデータと比較することにより、システムの状態又は健全性をチェックすることは有益であり得る。
図13Aは、本開示のいくつかの実施形態に従ったシステム例1300を示す略図である。図13Aに示されているように、システム1300は、LIDARシステム100、検査システム1310、及びサーバ1330を含み得る。前述のとおり、LIDARシステム100は、LIDARシステムの環境内で複数の物体を検出するように構成され得る。LIDARシステム100は、上で更に詳細に説明されている特徴の一部又は全部を含み得、1つ以上の光源(例えば、光源112)、センサ(例えば、センサ116)、光偏向器(例えば、光偏向器114)、非対称偏向器(例えば、非対称偏向器216)、光学コンポーネント(例えば、光学ウィンドウ124A)、モータ、又は物体の検出と関連付けられた様々な他のコンポーネントを含む。いくつかの実施形態では、LIDARシステム100は、自律又は半自律道路車両(例えば、車、バス、バン、トラック及び任意の他の地上車)内で使用され得るが、LIDARシステム100は、前述のとおり、かかる実施形態に制限されない。更に、LIDARシステム100は、LIDARシステム例として全体を通して使用される。開示される実施形態はLIDARシステムの任意の特定の構成又はタイプに制限されないことが理解される。
LIDARシステム100、検査システム1310、及び/又はサーバ1330は、ネットワーク1320を通して相互に、又は他のコンポーネントと通信し得る。ネットワーク1320は、インターネット、有線ワイドエリアネットワーク(WAN)、有線ローカルエリアネットワーク(LAN)、無線WAN(例えば、WiMAX)、無線LAN(例えば、IEEE802.11等)、メッシュネットワーク、モバイル/セルラーネットワーク、企業もしくはプライベートデータネットワーク、ストレージエリアネットワーク、公衆回線を使用した仮想プライベートネットワーク、近距離無線通信技術(例えば、Bluetooth、赤外線等)、又は様々な他のタイプのネットワーク通信等の、様々なタイプのネットワークを含み得る。いくつかの実施形態では、通信は、これらの形のネットワーク及びプロトコルの2つ以上にわたって行われ得る。
検査システム1310は、LIDARシステム100の健全性もしくは性能を監視及び/又は査定するように構成され得る。例えば、検査システム1310は、LIDARシステム100が今なお動作している間に、LIDARシステム100の出力を経時的に分析して、1つ以上のコンポーネント及び/又はコンポーネントのサブシステムの性能における低下(例えば、光源又は光偏向器の劣化、ミラー同期化問題等)を判断し得る。これは、故障が起こる前に故障を検出及び/又は予測して、改善措置を取るのを可能にするのに有用であり得る。これは、LIDARシステム100の他のコンポーネントを調整及び/又は較正して性能における低下を吸収する(例えば、目に安全な光放出レベルと関連付けられたパラメータを光センサ性能における劣化等に基づきLIDARシステムによって調整する)のにも有用であり得る。
検査システム1310は、LIDARシステム100の様々なコンポーネントと関連付けられた1つ以上の動作パラメータを受信し得、その動作パラメータを予期される値(例えば、履歴動作パラメータ)と比較してLIDARシステム100の性能を評価し得る。判断された性能に基づき、検査システム1310は、LIDARシステム100と関連付けられた1つ以上の改善措置を実行又は開始し得る。このプロセスは、例えば、図14及び15に関して、以下で更に詳細に説明される。そのため、検査システム1310は、直接的又は間接的にいずれかで(例えば、ネットワーク1320等のネットワーク接続を通して)LIDARシステム100と通信し得る。いくつかの実施形態では、検査システム1310は、LIDARシステム100又は車両110(図示せず)のコントローラと通信し得る。例えば、検査システム1310は、LIDARシステム100及び/又は車両110によって動作のために使用され得る命令又は他の情報を提供し得る。車両110上へのLIDARシステム100の設置は、便宜のために検査システム1310に関して以下で主要な例として使用され、同じシステム、方法、コンピュータプログラム製品及び原理はまた、スタンドアロンLIDARシステムに対して、又はLIDARシステムが接続される他のタイプのプラットフォームもしくは管理システム(例えば、セキュリティ、サーベイランス、科学的測定、マッピング等)でも実装され得ることに留意されたい。
LIDARシステム100及び検査システム1310は図13Aでは別々に示されているが、いくつかの実施形態では、検査システム1310は、LIDARシステム100と統合され得ることが理解される。例えば、検査システム1310によって実行される動作は、前述したプロセッサ118等の、LIDARシステム100の処理装置によって実行され得る。そのため、LIDARシステム100の健全性は、LIDARシステム100のプロセッサにより実行時に監視及び/又は分析され得る。代替として、又は追加として、LIDARシステム100の健全性はプロセッサにより定期的に(例えば、設定されたスケジュールに基づき、保守又は検査操作が実行されている間に、ユーザ又は管理者の要求に基づき、命令又は問い合わせに応答して等)判断され得る。
いくつかの実施形態では、検査システム1310は、LIDARシステム100の性能を評価するように構成された補助システム又は装置の一部であり得る。例えば、補助処理は、LIDARシステム100において利用可能であり得るよりも更に強力な処理機能を提供し得るか、又はLIDARシステム100が利用できるものよりも幅広いデータ源に対するアクセスを可能にし得る。かかる実施形態では、検査システム1310はLIDARシステム100とは別のコンピューティング装置の一部であり得る。例えば、検査システムは、ラップトップ、デスクトップコンピュータ、リモートサーバ、タブレット、スマートフォン、インターネットオブシングス(IoT)装置、スマートウォッチ、ハンドヘルド診断装置、車両搭載コンピュータ等に含まれ得る。コンピューティング装置は、有線又は無線接続を通してLIDARシステム100と通信し得る。LIDARシステム100の健全性を判断すること(又は検査システム1310によって実行される様々な他のステップ)は、実行時に(例えば、LIDARシステム100の動作中に)、又は定期的に実行され得る。
LIDARシステム100が車両(例えば、車両110)上に実装される実施形態では、LIDARシステムの健全性の検査は、車両の保守操作の一部として実行され得る。例えば、検査システム1310は、ガソリンスタンドでコンピューティング装置上に含まれ得、診断チェック又は一般的な保守事象の一部としてLIDARシステム100の性能を評価し得る。かかる実施形態では、検査システム1310は、通信ポート又は他の形の接続を通してLIDARシステム100と通信し得る。例えば、ガソリンスタンドは車両の搭載コンピュータに接続するための診断ツールを備えている可能性があり、車両上の関連ポート(例えば、OBD-IIポート)に接続し得る。検査システム1310はまた、LIDARシステム100と直接に通信し得、LIDARシステム100は検査システム1310と通信するための専用ポートを有し得る。検査システム1310は、有線接続の他の形を通して、又は無線接続(例えば、NFC、RFID、Bluetooth(商標)、赤外線等)を通しても、LIDARシステム100(又は車両110)と通信し得る。いくつかの実施形態では、LIDARシステム100の検査は、車両110がガソリンスタンドにない間に、補助装置を通して実行され得る。例えば、LIDARシステム110は、ラップトップ、タブレット、携帯電話、車両搭載コンピュータ、又は車両110内もしくは車両110の近くに配置された他の装置等の、モバイルコンピューティング装置と通信するように構成され得る。いくつかの実施形態では、検査システム1310は、車両の搭載コンピュータ等の、車両の処理装置と統合されるか、又は関連付けられ得る。
LIDARシステム100及び/又は検査システム1310は、ネットワーク1320を通してサーバ1330とも通信し得る。サーバ1330は、LIDARシステム100の健全性の判断と関連付けられたデータ又は情報を伝達可能な任意のコンピューティング資源であり得る。例えば、サーバ1330は、LIDARシステム100の健全性の判断に関連し得る履歴動作パラメータ及び/又は他の格納データを収容する1つ以上のデータベースを含み得る。検査システム1310はサーバ1330から受信したデータを、LIDARシステム100から受信した動作データと比較して、1つ以上のコンポーネントの性能における劣化を検出し得る。サーバ1330は、結果として生じる改善措置の実行又は検査システム1310によって実行される他の様々な動作と関連付けられ得る。
図13Bは、本開示のいくつかの実施形態に従った検査システム例1310を示す略図である。検査システム1311は、1つ以上のメモリ1311及び1つ以上のプロセッサ1318を含み得る。プロセッサ(又は複数のプロセッサ)1318は、入力又は複数の入力に関して論理演算を実行する電気回路を有する任意の物理的装置を構成し得る。例えば、プロセッサ1318は、特定用途向け集積回路(ASIC)、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置(CPU)の全体もしくは一部、グラフィック処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、システムオンチップ(SoC)、又は命令の実行もしくは論理演算の実行に適した他の回路を含む、1つ以上の集積回路(IC)の形を取り得るが、それらに制限されない。いくつかの実施形態によれば、プロセッサ1318は、Intel(登録商標)、AMO(登録商標)、Qualcomm(登録商標)、Apple(登録商標)、NVIDIA(登録商標)、又は同様のものによって製造されたプロセッサファミリからであり得る。開示される実施形態は、検査システム1310の任意の1つのタイプの処理装置に制限されない。いくつかの実施形態では、プロセッサ1318は、LIDARシステム100に統合され得、従って、プロセッサ118に対応し得る。他の実施形態では、プロセッサ1310はLIDARシステム100の別個のプロセッサであり得る。プロセッサ1318は、車両110と関連付けられたプロセッサであり得るか、又は別個のコンピューティング装置内に含まれ得る。
プロセッサ1318は、メモリ(又は複数のメモリ)1311内に格納された命令を実行するように構成され得る。命令は、コントローラに一体化されているか、もしくは埋め込まれ得るか、又は別個のメモリ内に格納され得る。メモリ1311は、ランダムアクセスメモリ(RAM)、読み取り専用(ROM)、ハードディスク、光学ディスク、磁気媒体、フラッシュメモリ、他の永久メモリ、固定メモリ、もしくは揮発性メモリ、又は命令を格納することが可能な他の任意の機構を含み得る。いくつかの実施形態では、メモリ1311は、LIDARシステム100に一体化され得、従って、プロセッサ118と関連付けられたメモリに対応し得る。いくつかの実施形態では、メモリ1311は、LIDARシステム100の様々なコンポーネントの動作データを含む、LIDARシステム100と関連付けられたデータを格納し得る。メモリ1311は、統計情報、履歴動作データ、所定のデータ、シミュレートされたデータ、センサデータ、又は他の格納データを含む、他のデータを格納し得る。
いくつかの実施形態では、メモリ1311は、検査システム1310と関連付けられた機能を提供するための1つ以上のモジュールを含み得る。図13Bに示されているように、例えば、メモリ1311は、分析モジュール1321、改善措置モジュール1322,及び通信モジュール1323を含み得る。分析モジュール1321は、LIDARシステム100と関連付けられた1つ以上の値にアクセスして分析するように構成され得る。例えば、分析モジュール1321は、LIDARシステム100と関連付けられた最新の動作パラメータ(例えば、光強度値、物体の測定された反射率等)を受信し得、最新の動作パラメータを履歴又は統計データと比較し得る。かかるデータは、メモリ1311内にローカルに格納され得るか、又はサーバ1330等の、外部ソースからアクセスされ得る。分析モジュール1321は、LIDARシステム100の健全性(例えば、LIDARシステム100の状態、1つ以上のコンポーネントの性能における劣化等)を判断し得る。改善措置モジュール1322は、分析モジュール1321によって実行された比較に基づき、1つ以上の動作を実行するように構成され得る。例えば、分析モジュール1321は、あるコンポーネント(例えば、センサ116)がある閾値又は他の値を超えて劣化していることを示し得る。通信モジュール1323は、システム1300の他のコンポーネントと通信するように構成され得る。例えば、通信モジュールは、LIDARシステム100の健全性の判断と関連付けられたデータを受信及び/又は送信するために、LIDARシステム100、車両110、及びサーバ1330と通信し得る。かかる通信は、直接(例えば、有線又は近距離無線通信を通して)、又はネットワーク1320等の、ネットワークを通して起こり得る。分析モジュール1321、改善措置モジュール1322、及び通信モジュール1323によって実行されるステップは、図14及び15に関して以下で更に詳細に説明される。検査モジュール1310によって実行される動作の一部又は全部は、専用モジュールと関連付けられない可能性があることが理解される。いくつかの実施形態では、メモリ1311は、任意の特定のコンピューティングモジュールを有していない可能性があり得るか、又は図13Bに示されているものに比べて、追加のモジュール、もっと少ないモジュール、もしくは代替モジュールを有し得る。
図14は、本開示のいくつかの実施形態に従ったLIDARシステムを検査するためのプロセス例を示すブロック図である。図14に示されているプロセスは車両搭載LIDARシステムに関して説明されているが、同一又は類似のプロセスが他の形のLIDARシステムに適用され得ることが理解される。検査システム1310は、LIDARシステム100の1つ以上の最新の動作パラメータ1401を受信するように構成され得る。1つ以上の最新の動作パラメータはLIDARシステム100から直接、又は少なくとも1つの他のシステム(例えば、車両110内の様々なタイプのセンサを制御するセンサマネージャ)から受信され得る。前述のとおり、検査システム1310は、LIDARシステム100と統合され得、検査システム1310によって実行される動作はLIDARシステム100のプロセッサ(例えば、プロセッサ118)によって実行され得る。そのため、検査システム1310は、LIDARシステム100(及び/又は車両110)が操作されているときに、リアルタイムで最新の動作パラメータ1401を受信し得る。いくつかの実施形態では、最新の動作パラメータ1401は、少なくとも一時的に、例えば、メモリ1311内に、格納され得、検査システム1310によってアクセスされ得る。いくつかの実施形態では、検査システム1310は、車両110内に収容されているが、LIDARシステム100とは無関係のプロセッサを含み得る。例えば、検査システム1310は、車両110の搭載コンピュータ内に含まれ得、有線又は無線接続を通したLIDARシステム100との通信により最新の動作パラメータ1401にアクセスし得る。いくつかの実施形態では、検査システム1310は車両外のコンピューティング装置内に含まれ得る。コンピューティング装置は、例えば、車両110がガソリンスタンド内にある、ガレージ内に駐車されている、充電ポートに接続されている、燃料補給ステーションに停車している等の場合に、近距離有線又は無線通信を通してLIDARシステム100と通信し得る。コンピューティング装置は、ネットワーク(例えば、ネットワーク1320)を通してLIDARシステム100とも通信し得、LIDARシステム100をリアルタイムで、又は保守操作の間隔(例えば、1秒おき、1分おき、毎時、毎日、毎月等)で監視するように構成され得る。
最新の動作パラメータ1401は、LIDARシステム100によって実行される様々な機能と関連付けられた任意の値を表し得る。いくつかの実施形態では、最新の動作パラメータ1401は、LIDARシステム100の物体検出動作と関連付けられ得る。例えば、最新の動作パラメータ1401は、センサ116によって測定された光強度を含み得る。光強度は、LIDARシステム100の環境から測定された周囲光に基づき得るか、又は光源112からの光の反射に基づき得る。最新の動作パラメータ1401は、LIDARシステム100の視野内の物体の検出された反射率を表し得る。いくつかの実施形態では、最新の動作パラメータ1401は、物体までの距離、物体のサイズ、物体の位置もしくは配向、時間値(例えば、光の伝送と検出の間の時間等)又はLIDARシステム100によって測定もしくは決定される他の任意の他の値を表し得る。最新の動作パラメータ1401は、指定された時間フレームと関連付けられた値に対応し得る。例えば、最新の動作パラメータ1401は、数秒、数分、数時間、数日、数週間等にわたりLIDARシステム100によって記録された値に対応し得る。
いくつかの実施形態では、最新の動作パラメータ1401は、物体の検出と直接は関連付けられていないが、別の方法でLIDARシステム100の機能と関連付けられている、値であり得る。例えば、最新の動作パラメータ1401は、LIDARシステム100の様々なコンポーネントを操作するために必要な電圧を含み得る。例えば、最新の動作パラメータ1401は、光源(例えば、光源112)を操作するために必要な電圧、スキャナ(例えば、光偏向器114)を操作するために必要な電圧、センサ(例えば、センサ116、カメラ等)を操作するために必要な電圧、システムの全体的な電圧ドロー(voltage draw)、又は様々な他の値を表し得る。最新の動作パラメータ1401は、コンポーネントを操作するために必要な時間、温度、音量もしくは雑音量、振動レベル、抵抗、電流、インピーダンス、又は任意の他のパラメータを含む、他のパラメータを含み得る。
いくつかの実施形態では、最新の動作パラメータ1401は、1つ以上の決定及び/もしくは測定された値に基づいて集計又は計算された値であり得る。例えば、最新の動作パラメータは、所与の期間にわたる値(例えば、平均、移動平均、増減率等)を表し得る。最新の動作パラメータ1401は、2つ以上の値(例えば、検出要素当たりの光反射率)又は様々な他の集計値の間の関係であり得る。これらの集計又は計算された値は、プロセッサ118によって決定され得るか、又はLIDARシステム100から受信した情報に基づきプロセッサ1318によって決定され得る。いくつかの実施形態では、最新の動作パラメータ1401は、複数の最新の動作パラメータを含み得、それらは、前述した最新の動作パラメータの任意の組み合わせ(例えば、物体の検出と関連付けられたパラメータ、LIDARシステムの動作と間接的に関連付けられたパラメータ、計算された値等)であり得る。
検査システム1310は、少なくとも1つの履歴動作パラメータ1402を受信し得る。いくつかの実施形態では、履歴動作パラメータ1402は、データベース1410から受信され得る。データベース1410は、LIDARシステム100と関連付けられたデータ又はパラメータを格納することが可能な任意の記憶装置であり得る。いくつかの実施形態では、データベース1410は、サーバ1330上に収容され得、検査システム1310はネットワーク1320を通して履歴動作パラメータ1402を受信し得る。他の実施形態では、データベース1410は、LIDARシステム100、検査システム1310(例えば、メモリ1311)、又は車両110のメモリ内に含まれ得る。いくつかの実施形態では、履歴動作パラメータ1402は、データベース1410からLIDARシステム100に提供され得、検査システム1310は、履歴動作パラメータ1402をLIDARシステム100から受信し得る。更に、データベース1410は、任意の1つの場所に制限されない可能性があり、複数の場所を含み得る。例えば、いくつかのデータ又はパラメータは、少なくとも1つのサーバ1330内に格納され得るが、他方、他はメモリ1311内に格納され得る。本開示は、データベース1410の任意の特定の構成に制限されない。
履歴動作パラメータは、最新の動作パラメータ1401と照らし合わせたときに、LIDARシステム100の健全性を判断するための基準点として役立ち得る任意の値であり得る。いくつかの実施形態では、履歴動作パラメータは、LIDARシステム100以外のLIDARシステムと関連付けられ得る。例えば、履歴動作パラメータは、LIDARシステムが装備された複数の車両から集計された統計情報を表し得る。統計情報は、光偏向器等を作動させるために必要な平均電圧等の、動作パラメータと関連付けられた一般的な統計情報であり得る。統計情報は、特定の物体、位置、時間等に特有であり得る。例えば、履歴動作パラメータは、ある建物(又は他の目立つ物体もしくはアンカー)が検出される平均距離、建物の反射率、サイズ、もしくは向き、所与の位置及び/もしくは時刻において測定された周囲光強度、又は他の状況特有のパラメータを表し得る。いくつかの実施形態では、統計情報は、車両のタイプ、LIDARシステム100のタイプ、LIDARシステム100内に含まれるコンポーネントのタイプ、又はその統計情報をもっと関連のあるものにし得る任意の他の変数に基づき、フィルタリング又は選択され得る。
いくつかの実施形態では、履歴動作パラメータ1402は、同じ車両又はLIDARシステム(例えば、LIDARシステム100)の履歴又は統計情報に基づき得る。履歴動作パラメータ1402は、LIDARシステム100により所与の期間(例えば、数時間、数日、数月、数年、車両の寿命、LIDARシステムの寿命等)にわたって収集されたデータを表し得る。他のLIDARシステムからの統計データと同様、LIDARシステム100の統計データも特定の状況に特有であり得る。例えば、統計データは、車両110が同じ位置を過去に、同時刻に、同時期に、類似の気象条件で、通過している場合に記録された動作パラメータ、又は他の状況データを表し得る。履歴動作パラメータ1402は、比較的新しいパラメータ、例えば、同じ運転又は運転区分中の、最新の動作パラメータ1041の他の測定を表し得る。例えば、検査システム1310は、車両110が物体に近づくときに最新の動作パラメータ1410を追跡して、最新の動作パラメータ1401が予想どおりに変化するかどうかを判断し得る。そのため、検査システム1310は、最新の動作パラメータ1401を少なくとも一時的に、メモリ1311又は他の記憶位置内に格納するように構成され得る。
履歴動作パラメータ1402は、特定のLIDARシステム又はLIDARシステムのグループから収集されていない他のデータを表し得る。例えば、履歴動作パラメータ1402は、最新の動作パラメータ1401に対して予め決定されたか、又は予期される値を表し得る。履歴動作パラメータ1402はLIDARシステム100内で設定された値、又はサーバ1330から受信された値等であり得る。履歴動作パラメータ1402は、シミュレートされた動作パラメータ又はデータも表し得る。例えば、履歴動作パラメータは、同様の条件(例えば、時刻、気象条件、車両110の位置、コンポーネントの寿命等)に基づき最新の動作パラメータ1401に対してシミュレートされた値に基づき得る。シミュレーションデータは、リアルタイムで(例えば、サーバ1330、プロセッサ118、プロセッサ1318等によって)生成され得るか、又はデータベース1410内に格納されている以前にシミュレートされたデータであり得る。しかし、いくつかの実施形態では、使用された1つ以上の履歴動作パラメータ1402は、実際のシステムから導出されたシミュレートされたのではない履歴データであり得る。いくつかの実施形態では、履歴動作パラメータ1402は、LIDARシステム100の別のセンサ(例えば、補助光センサ、カメラ等)によってリアルタイムで取得されるデータを含み得る。履歴動作パラメータは、前述のいずれかに基づき計算又は集計された値であり得る。いくつかの実施形態では、履歴動作パラメータ1402は、複数の履歴動作パラメータを含み得、それらは前述したパラメータ(例えば、LIDARシステム100と関連付けられたパラメータ、他のLIDARシステムのパラメータ、シミュレートされたデータ、所定のデータ等)の任意の組み合わせであり得る。
検査システム1310は、最新の動作パラメータ1401及び履歴動作パラメータ1402を分析して劣化指標1403を決定し得る。例えば、最新の動作パラメータ1401及び履歴動作パラメータ1402は、分析モジュール1321を使用して比較(又は別の方法で分析)され得る。劣化指標1403は、理想値又は予期される値に基づきLIDARシステム100(又はそのコンポーネントもしくはコンポーネントのサブセット)の性能の任意の指標を含み得る。例えば、劣化指標1403は、光源、センサ、光偏向器、光学コンポーネント(例えば、ミラー、レンズ、ウィンドウ、ビームスプリッタ等)、モータ、機械的コンポーネント、電池、カメラ、LIDARシステム100全体、又は同様のものの性能における劣化を表し得る。劣化指標1403は、コンポーネントもしくはLIDARシステム100が新しいか、又は所望の効率で実行している場合の性能値などの、理想的な性能値に対する値として表され得る。そのため、劣化指標1403は、比率、百分率、割合又は他の類似の値として表され得る。劣化指標1403は、経験値もしくは絶対値、事前に定義された状態(例えば、「優れている(excellent)」、「良好(good)」、「不良(poor)」、「劣化し始めている(beginning to degrade)」等)、スケーリングされた値(例えば、1~100、1~10、1~5)、又は様々な他のフォーマットとしても表され得る。
検査システム1310は、劣化指標1403に基づきLIDARシステム100の状態1405を判断するように構成され得る。状態1405は、車両110もしくはLIDARシステム100の許容できないか、又は望ましくない状態の任意の表現であり得る。例えば、劣化指標1403に基づき、検査システム1310は、LIDARシステム100のコンポーネントが故障する可能性を判断し得る。例えば、特定のセンサの性能における劣化は、それが故障に近づいていることを示し得る。同様に、光偏向器又は他のコンポーネントを駆動するために必要な電圧の増大は、そのコンポーネント(又は、ギア、ベアリング、カム、ピストン、モータ等の関連コンポーネント)が摩耗している、汚れている、及び/又は故障しかけていることを示し得る。コンポーネントを駆動するために必要な電圧の減少は同様に、例えば、コンポーネントが曲がる、折れる、又はそうでなければ変形し始めている場合、コンポーネントは故障しかけていることを示し得る。状態1405は、故障可能性はある品質基準を満足していないことを示し得る。故障可能性は、発生の百分率又は確率の任意の他の基準として表され得る。閾値は、許容可能な故障可能性(例えば、10%、20%、30%、40%、50%等)に基づき定義され得る。いくつかの実施形態では、故障可能性は、所与の時間フレームに基づき得る。例えば、検査システム1310は、車両110又はLIDARシステム100の次の予定されたサービス前の故障の可能性は、ある閾値又は他の基準を満足できないと判断し得る。そのため、検査システム1310は、次の保守事象までの時間を示す値を、例えば、LIDARシステム100、車両110、データベース1410、サーバ1330、又は任意の他の情報源から取得するように構成され得る。
いくつかの実施形態では、「故障(failure)」は必ずしも、コンポーネントの完全な故障として定義されるわけではない。例えば、故障は、LIDARシステム100のコンポーネントの許容できないレベルの劣化として定義され得る。光源が生成できる光の強度が所与の品質基準(例えば、元の値又は理想値の50%)を下回る場合、これは状態1405によって示され得る。そのため、状態1405は、故障の可能性に基づかない可能性があるが、所与の品質又は判定基準を上回る劣化指標1403に基づき得る。故障は、LIDARシステム100又はそのコンポーネントの任意の許容できないレベルの性能として定義され得る。更に、いくつかの実施形態では、劣化指標1403及び又は状態1405は必ずしも、故障又は性能における低下と関連付けられた任意の特定のコンポーネントもしくはコンポーネントのサブセットを識別しない可能性があるが、それにも関わらずそれが生じていることを識別し得る。
いくつかの実施形態では、検査システム1310は、格納データ1404にアクセスし、格納データ1404を劣化指標1403と比較して状態1405を判断し得る。格納データ1404は、図14に示されているように、データベース1410からアクセスされ得る。履歴動作パラメータ1403と同様、格納データ1404は、検査システム1310のメモリ(例えば、メモリ1311)、LIDARシステム100のメモリ、及び/又は車両110のメモリ内にも格納され得る。格納データ1404は、車両110及び/又はLIDARシステム100に非特有で、状態1405が満足されているかどうかを通知し得るデータ等の、任意のデータであり得る。特定の車両に非特有の格納データは、複数の他の車両及び/又はLIDARシステムに適用可能なデータを含み得る。このデータは、他の車両上の他のLIDARシステムの状態(例えば、健全性状態、劣化)を判断するために使用され得る。いくつかの実施形態では、非特有データは、特定のLIDARシステム及び/又は特定の車両から収集されたデータに基づくデータを含み得る(例えば、それらが、統計データを収集するシステムの大規模な収集の一部である場合)。かかる場合、特定のシステムのデータは、格納データを集計するために使用されたデータのごく一部であり得る。非特有の格納データは、多数の異なるLIDARシステムの診断のために1つ以上の検査システム1310により同じ方法で使用され得る。
いくつかの実施形態では、格納データ1404は、劣化指標1403を較正又は調整するために使用される係数又は他の値であり得る。例えば、劣化指標1403がセンサの測定された光強度に基づく場合、気象データは、性能において認識された劣化が少なくとも一部、天気(例えば、雨、霧、雪、温度等)に起因することを示し得、検査システム1310は気象データに基づき調整又は補正を劣化指標1403に適用し得る。
故障可能性が判断される実施形態では、格納データ1404は、故障の可能性又は時を予測するために使用され得る統計データ又は他の履歴データであり得る。例えば、格納データ1404は、決定された劣化指標を履歴故障データと相関させて、履歴データに基づき故障の可能性を判断するために使用され得る。いくつかの実施形態では、格納データ1404は、機械学習アルゴリズムとして実装され得る。例えば、格納データ1404は、決定された劣化指標を特定の故障の可能性と相関させるために、他のLIDARシステムからのデータを使用して訓練された故障予測モデルに対応し得る。故障の可能性を判断することは、劣化指標1403を訓練された故障予測モデルに入力することを含み得る。これらの形の格納データ1410は、ほんの一例として提供されており、様々な他の形の格納データ1404及び/又は機械学習が実装され得る。
一例では、検査システム1310は、LIDARシステム100の実行時にわたってデータを追跡することにより劣化指標1403を決定し得る。例えば、検査システム1310は、特定の物体の検出と関連付けられた1つ以上の動作パラメータ(例えば、反射率、形状、パターン、サイズ等)を経時的に分析し得る。検査システム1310は、ある距離でLIDARシステム100によって記録された物体と関連付けられた動作パラメータを、LIDARシステム100がその物体に近づく時に記録された同じ動作パラメータと比較し得る。LIDARシステム100が物体に近づくにつれて、検査システム1310は、動作パラメーがより遠距離において何であるべきだったかを査定するために十分なデータを有し得る。例えば、最新の動作パラメータ1401は、近距離で検出された物体のサイズに対応し得、履歴動作パラメータ1402は、同じ物体のより遠距離で検出されたサイズに対応し得る(又はその逆)。劣化指標1403は、最新の動作パラメータ1401と履歴動作パラメータ1402との間の差に基づいて決定され得る。格納データ1404は、他のLIDARシステムが同じ距離で物体のサイズをどのくらい正確に検出できるかを示すデータを含み得る。劣化指標1310及び格納データ1404に基づき、検査システム1310はLIDARシステム1310(又は特定のセンサ等)が十分に実行しているかどうかを判断し得る。
同様に、検査システム1310は、対象物体の反射率を経時的に追跡し得、それは様々な距離において一定のままである(例えば、対象の中心において)ことが予期され得る。例えば、100メートル離れたところから20%の反射率を有する対象は、10メートル離れたところで同じ反射率を有することが予期され得る。反射率における経時的な変化は、光源112、センサ116又は光路内の他のコンポーネント(例えば、レンズ、ウィンドウ等)の劣化を示し得る。近距離での反射率(最新の動作パラメータ1401)をより遠距離での反射率(履歴動作パラメータ1402)と比較することにより、検査システム1301はLIDARシステム100又はそのコンポーネントの性能を査定して劣化指標1403を決定し得る。更に、劣化指標1403は、他のLIDARシステムの履歴又は統計データ(格納データ1404)と比較されて(又はそれらに関して別の方法で分析されて)LIDARシステム100の故障の可能性を判断し得る。
対象と関連付けられた他の動作パラメータは、対象までの距離が変化するにつれて変化すると予期され得る。例えば、たとえ対象物体の反射率が分かっていない場合でさえ、センサ116によって判断される対象物体から反射された光と関連付けられた信号強度は、ある関係又は式に従い(例えば、多項式で、指数関数的に等)距離に基づき変化すると予期され得る。この関係又は式から著しく逸脱するように強度が変化する場合、かかる変化はLIDARシステム100の性能における劣化を示し得る。この例では、最新の動作パラメータ1401及び履歴動作パラメータ1402は様々な距離において測定された強度に対応し得、検査システム1310はそれらを式に従って比較して劣化係数1310を決定し得る。代替として、最新の動作パラメータ1401は、距離と測定された強度との間の関係の他の指標の係数を表し得、履歴動作パラメータ1402は予期される係数(例えば、数式、LIDARシステム100の履歴データ、他のLIDARシステムからの履歴データ等に基づく)を表し得る。これらのシナリオのいずれにおいても、劣化した性能が他の原因に起因し得るかどうかを判断するために、天気などの他の要因も(例えば、格納データ1404等を通して)考慮され得る。
いくつかの実施形態では、検査システム1310は、LIDARシステム100の他のセンサから及び/又は車両110の他のセンサからのデータに依存して劣化指標1403を決定し得る。例えば、検査システム1310は、車両110のカメラからのセンサデータ(履歴動作パラメータ1402に対応し得る)にアクセスし得、それをセンサ116から受信したデータと比較し得る。1つの特定の例では、LIDARシステム100は一時的に、光源112が光を放出しておらず、センサ116が周囲照明に基づいて光を検出している「パッシブモード」で動作している可能性がある。センサ116によって検出された環境の特性(例えば、光強度、物体サイズ、物体形状等)は、最新の動作パラメータ1401に対応し得る。カメラによって判断された環境の特性はセンサデータと比較されて、センサ116が性能における任意の劣化を有するかどうかを判断し得る。同様の方法で、RADAR及び他のタイプのセンサも、物体までの距離がLIDARシステム100によって正確に判断されているかどうか、物体の位置及び/又は寸法がLIDARシステム100によって正確に判断されているかどうか等、を評価するために使用され得る。
更に別の例では、最新の動作パラメータは、LIDARシステム100によって経時的に収集されたデータの統計分析を表し得る。例えば、センサ116内の各検出器要素の反射率は、所与の期間にわたって分析され得る。検出器要素によって測定された反射率の統計的分布(例えば、ヒストグラム)が生成され得る。1時間にわたって測定された平均反射率をもつ要素の数が、様々な範囲の反射率(例えば、0~5%、5%~10%、10%~15%等、又は様々な他の分布)に対して合計され得る。平均反射率、標準偏差等の、他の統計情報も判断され得、それは最新の動作パラメータ1401に対応し得る。履歴動作パラメータ1402は予期される統計値(例えば、LIDARシステム100の工場出荷時設定、LIDARシステム100の履歴データ、他のLIDARシステムからのデータ等に基づく)を表し得る。検出器要素によって測定された反射率が特定の属性(例えば、平均、標準偏差)をもつ正規分布(又は他の予期される分布)を有すると予期される場合、分布における変動は、センサ116の性能における劣化を示し得る。ヒストグラム及び統計データは、他のセンサデータ又はパラメータに対しても決定され得、対象までの測定された距離、視野を通して測定された平均距離(例えば、全部の検出器要素によって測定された距離のヒストグラム)、測定された雑音レベル(例えば、空等の、視野の対象のない領域内)、又は任意の他のパラメータを含む。これらの例は本開示の制限ではないことが理解される。開示されるプロセスの様々な他の使用又は実施形態が実装され得る。
満足されている状態1405に基づき、検査システム1310は1つ以上の改善措置1406をトリガーし得る。改善措置1406は、前述のとおり、改善措置モジュール1322によってトリガーされ得る。改善措置1406は、劣化指標1403及び/又は状態1405の決定に応答して取られる任意の措置であり得る。いくつかの実施形態では、改善措置1406はアラートの生成及び/又は送信を含み得る。アラートは、LIDARシステム100のコンポーネント又は機器が修理又は交換する必要があることを示し得る。アラートは、コンポーネントの故障の可能性、コンポーネント又は機器がいつ故障し得るかの指標、故障又は劣化の診断(例えば、汚れたレンズ、摩耗したセンサもしくは光源、又はLIDARシステム100の健全性に関係すると考えられ得る任意の他の情報)も含み得る。いくつかの実施形態では、アラートは、車両110内に収容された装置に送信され得る。例えば、車両110は、アラート又は通知を車両110のドライバ又はユーザに提示するように構成されたディスプレイを含み得る。他の実施形態では、アラートは、モバイルコンピューティング装置(例えば、ユーザの電話、タブレット、ウォッチ等)、リモートサーバ、フリートマネージャ、車両追跡システム等の、外部ソースに(例えば、ネットワーク1320を通して)送信され得る。いくつかの実施形態では、改善措置1406は、車両110又はLIDARシステム100に対して保守事象の予定を決めることを含み得る。改善措置は、保守作業を実行すること、又は保守作業を実行するための命令を提供することを含み得る。例えば、改善措置1406は、LIDARシステム100に、LIDARシステム100内の1つ以上のコンポーネントを較正、リセット、リブート、又は別の方法で再構成させることを含み得る。改善措置1406は、判断された状態1405に基づき安全対策を実装することを含み得る。例えば、LIDARシステム100は、センサ116は光強度の全量を認識することができないと判断し得、それに応じて光源112の強度を低下させて目に安全な光レベルが満足されることを確実にし得る。改善措置1406は、1つ以上のコンポーネントをシャットダウンすること、1つ以上のコンポーネントへの電力を減少又は増加させること、ナビゲーション命令を車両110に送信すること等を含み得る。
いくつかの実施形態では、改善措置は、LIDARシステム100及び/又は他の近くのLIDARシステムにデータを提供してナビゲーション及び検出を改善することを含み得る。これは、たとえ劣化指標1403によって識別された性能における低下がLIDARシステム100の劣化から生じているのではなく、天気、位置(例えば、トンネルを通過している、橋の下等)又は他の要因に基づく場合でさえ、当てはまり得る。例えば、検査システム1310は、前述のとおり、各検出器要素によって測定された反射率に基づきヒストグラム又は関連した統計情報を分析し得る。改善措置は、車両110が様々なナビゲーション又は動作パラメータを調整できるように、統計情報の分析に基づき検出された性能における低下を車両110に通知することを含み得る。同様に、改善措置は、領域内の他のLIDARシステム(例えば、ある範囲(1マイル、10マイル等)内の車両、同じ経路を移動している車両等)に車両110の位置と関連付けられた性能における潜在的な劣化を通知することを含み得る。いくつかの実施形態では、改善措置は、LIDARシステム100以外のシステム又は装置によって実行され得る。例えば、改善措置は、車両110によって実行され得る。検査システム1310及び/又はLIDARシステム100によって提供される情報に基づき、車両110は、停止、車両の最高速度の制限、ナビゲーション動作の実行等を行い得る。いくつかの実施形態では、改善措置は、他のLIDARシステム又は車両によって実行され得る。例えば、LIDARシステム100が特定の地理的地域内又はある条件下で不具合が生じていると判断される場合、改善措置は、それらの地理的地域内又はそれらの条件下で、他のLIDARシステム及び/又は車両の動作パラメータを変更することを含み得る。様々な他の改善措置が実行され得、本開示は任意の特定の措置に制限されないことが理解される。
図15は、開示される実施形態に従ったLIDARを装備した道路車両を検査するためのプロセス例1500を示すフローチャートである。プロセス1500は、検査システム1310と関連付けられた1つ以上のプロセッサ(例えば、プロセッサ1318)によって実行され得る。前述のとおり、プロセス1500と関連付けられた動作の一部又は全部は、LIDARシステム100のプロセッサ(例えば、プロセッサ118)、車両110内に搭載されているか、もしくは別の方法で収容されているプロセッサ、補助装置のプロセッサ等の、他の処理装置によって実行され得る。プロセス1500は、図14に示されているプロセスに対応し得、そのため、図14に関して記述した説明又は特徴のいずれもプロセス1500に当てはまり得、逆もまた同様である。いくつかの実施形態では、プロセス1500は、LIDARシステムの動作中に、リアルタイムで実行され得る。そのため、プロセス1500は、特定の車両上に設置された検査システムによって実行され得る。他の実施形態では、プロセス1500は、特定の車両の保守作業中に(例えば、ガソリンスタンドで、ガレージ内で、工場で、所定の時間間隔(毎時、毎日、毎月)で等)実行され得る。いくつかの実施形態では、プロセス1500を実行しているプロセッサは、特定の車両のコントローラ又は検査されているLIDARシステムのコントローラと通信するように構成され得る。例えば、プロセッサは、前述のとおり、LIDARシステム100の健全性と関連付けられた命令又は他の情報を送信し得る。プロセス1500の説明全体を通して車両ベースのLIDARシステムが例として使用されるが、同じプロセスは非車両実施態様に適用され得ることが理解される。
ステップ1510で、プロセス1500は、LIDARシステムの少なくとも1つの最新の動作パラメータにアクセスすることを含み得る。いくつかの例では、LIDARシステムはLIDARシステム100であり得、車両110等の、特定の車両内に収容され得る。最新の動作パラメータは、上で詳細に説明されている、最新の動作パラメータ1401に対応し得る。いくつかの実施形態では、少なくとも1つの最新の動作パラメータにアクセスすることは、特定の車両からの少なくとも1つの最新の動作パラメータにアクセスすることを含み得る。例えば、最新の動作パラメータは、LIDARシステム100及び/又は車両110からアクセスされ得る。最新の動作パラメータは、LIDARシステム100から(例えば、有線接続を通して、車両110又はLIDARシステム100のポートを通した接続により、近距離無線接続等)直接にアクセスされ得る。他の実施形態では、最新の動作パラメータは、リモート又はネットワーク接続を通して(例えば、ネットワーク1320を通して)アクセスされ得る。最新の動作パラメータは、LIDARシステムの光源のパワー、光源を操作するために必要な電圧、LIDARシステムのスキャナを駆動するために必要な電圧、LIDARシステムのセンサを操作するために必要な電圧、又は少なくとも1つの既知の物体の検出距離を示し得る。いくつかの実施形態では、最新の動作パラメータは、統計情報(例えば、平均、標準偏差等)を示し得る。
ステップ1520で、プロセス1500は、少なくとも1つの履歴動作パラメータにアクセスすることを含み得る。例えば、履歴動作パラメータは、上で詳細に説明されている、履歴動作パラメータ1402であり得る。いくつかの実施形態では、履歴動作パラメータは車両と関連付けられ得る。例えば、履歴動作パラメータは、最新の動作パラメータに類似しているが、LIDARシステムによって別の時に記録された動作パラメータを表し得る。履歴動作パラメータは、最新の動作パラメータと関連付けられたものとは異なる、車両110の他のセンサ(例えば、カメラ、RADARセンサ、他のLIDARセンサ等)からのデータに基づき得る。他の実施形態では、履歴動作パラメータは、他のLIDARシステムと関連付けられ得る。最新の動作パラメータと同様、履歴動作パラメータは、様々なソースからアクセスされるか、又は取得され得る。例えば、少なくとも1つの履歴動作パラメータにアクセスすることは、リモートサーバ又は特定の車両から少なくとも1つの履歴動作パラメータにアクセスすることを含み得る。ソースは更に、検査システム1310のメモリ、LIDARシステム100のメモリ、車両110のメモリ、又は検査システム1310によってアクセス可能な任意の他の資源を含み得る。
ステップ1530で、プロセス1500は、少なくとも1つの履歴動作パラメータ及び少なくとも1つの最新の動作パラメータを分析して、LIDARシステムの動作における劣化の指標を決定し得る。例えば、検査システム1310は、上で詳細に説明しているとおり、履歴動作パラメータ1402を最新の動作パラメータ1401と比較して劣化指標1403を決定し得る。劣化指標は、標準レベルの性能に関して、LIDARシステム100又はLIDARシステム100のコンポーネントと関連付けられた性能の任意の値又は基準であり得る。いくつかの実施形態では、プロセス1500は、複数の基準車両のLIDARシステムの少なくとも1つの基準動作パラメータを取得すること、及び少なくとも1つの基準動作パラメータを少なくとも1つの最新の動作パラメータと比較して特定の車両のLIDARシステムの動作における劣化の指標を決定することを含み得る。
ステップ1540で、プロセス1500は、LIDARシステムの動作における劣化の指標及び特定の車両に非特有の格納データを分析してLIDARシステムの状態を判断することを含み得る。例えば、特定の車両に非特有の格納データは、上で詳細に説明している、格納データ1404に対応し得る。そのため、格納データは、他のLIDARシステムの履歴もしくは統計データ、又はLIDARシステム100の性能における低下に関連し得るデータ(例えば、気象情報、位置特有情報等)を含み得る。いくつかの実施形態では、劣化の指標を特定の車両に非特有の格納データと比較することは、劣化の指標を機械学習モデルに入力すること、又は格納データ及び劣化の指標に関して他の形の分析を実行することを含み得る。
状態は、上で詳細に説明している、状態1405に対応し得る。いくつかの実施形態では、状態を判断することは、故障可能性を確認すること、及び故障可能性が品質基準を満足していないと判断することを含み得る。他の実施形態では、状態を判断することは、指標に基づき、LIDARシステムの動作における劣化が品質基準を満足していないと判断することを含み得る。例えば、状態は、コンポーネントの機械的もしくは電気的故障に対応し得るか、又はコンポーネントもしくはLIDARシステムの許容できない劣化に対応し得る。いくつかの実施形態では、プロセス1500は更に、次の保守事象までの時間を示す値を取得すること、及び次の保守事象前にLIDARシステムが故障する可能性を判断することを含み得る。
ステップ1550で、プロセス1500は、LIDARシステムの判断された状態に基づき、改善措置をトリガーすることを含み得る。例えば、改善措置は、上で詳細に説明している、改善措置1406に対応し得る。いくつかの実施形態では、改善措置は、LIDARシステムと関連付けられた機器を修理するためにアラートを送信することを含み得る。他の実施形態では、改善措置は、LIDARシステムと関連付けられた機器を修理するためにアラートを送信することを含み得る。例えば、これらのアラートは、特定の車両の少なくとも1つのディスプレイ上に表示され得る。これらのアラートは、サーバ1330、補助装置(例えば、携帯電話、タブレット、ラップトップ、周囲の車両又はLIDARシステム等)を含む、他の装置又は位置にも送信され得る。いくつかの実施形態では、改善措置は、状態と関連付けられたアラートを他のLIDARシステム又は特定の車両のコンピューティング装置に送信することを含み得る。他の実施形態では、改善措置は、保守作業、較正動作、ナビゲーション動作、安全動作の少なくとも1つを実行すること、又はこれらもしくは他の動作を実行するための命令を車両110、LIDARシステム100、サーバ1330、及び/もしくは他の装置に送信することを含み得る。
類似の方法及びシステムが予防的処置を決定するために使用され得ることに留意されたい。例えば、たとえLIDARシステムが完全に機能している場合でさえ、最新の動作パラメータの履歴動作パラメータとの比較は、他のLIDARシステムが、同じ動作パラメータ(例えば、光レベル、検知パラメータ、FOVサイズ)で、類似の状態(例えば、熱、湿度、周囲照明)で操作された場合、それらは他のシステムよりも速く劣化したことを明らかにし得る。かかる場合、方法1500と類似の方法は、LIDARシステム100の過度の劣化を未然に防ぐために、LIDARシステム100及び/又は車両110の動作パラメータの変更等の、予防処置を取るという結論を出し得る。また、類似の方法及びシステムは、異なるシナリオにおいて望ましい動作パラメータを検出するためにも使用され得、その場合、少なくとも1つの最新の動作パラメータ及び少なくとも1つの履歴動作パラメータの比較は、LIDARシステム100(又は他のLIDARシステムもしくは車両110)の動作パラメータに対する特定の変更がいくつかのシナリオにおいて改善された性能をもたらし得ると判断するため、及びかかる変更を実装するために使用され得る。
前述の記載は例示の目的で提示されている。これは網羅的でなく、開示される厳密な形態又は実施形態に限定されない。本明細書の検討及び開示される実施形態の実施から、当業者には変更及び適合が明らかであろう。更に、開示される実施形態の態様はメモリに記憶されているものとして記載されるが、これらの態様は、例えばハードディスク又はCD ROM、又は他の形態のRAM又はROM、USBメディア、DVD、ブルーレイ、又は他の光学ドライブ媒体のような二次記憶デバイス等、他の形態のコンピュータ読み取り可能媒体にも記憶できることは当業者には認められよう。
記載された説明及び開示された方法に基づくコンピュータプログラムは、経験豊かな開発者のスキル内である。様々なプログラム又はプログラムモジュールを、当業者に既知の技法のいずれかを用いて生成するか、又は、既存のソフトウェアに関連付けて設計することができる。例えばプログラムセクション又はプログラムモジュールは、.Netフレームワーク、.Netコンパクトフレームワーク(及びVisualBasicやC等の関連言語)、Java、C++、Objective-C、HTML、HTML/AJAXの組み合わせ、XML、又はJavaアプレットを含むHTMLにおいて又はこれらによって、設計することができる。
更に、例示的な実施形態を本明細書に記載したが、均等の要素(equivalent elements)、変更、省略、(例えば様々な実施形態にわたる態様の)組み合わせ、適合、及び/又は変形を有する任意の及び全ての実施形態の範囲は、本開示に基づいて当業者によって認められよう。特許請求の範囲における限定は、特許請求の範囲で使用される言語に基づいて広義に解釈され、本明細書において又は本出願の審査中に記載される例に限定されない。これらの例は非排他的に(non-exclusive)解釈されるものとする。更に、開示される方法のステップは、ステップの順序を変えること及び/又はステップを挿入又は削除することを含めて、任意に変更され得る。従って、本明細書及び例は単に例示と見なされ、真の範囲及び精神は以下の特許請求の範囲及び均等物(equivalents)の全範囲によって示されることが意図される。

Claims (95)

  1. LIDARシステムであって、
    光源及び光偏向器の少なくとも1つを制御して、前記光源によって照射されている空間内に位置する第1の物体及び第2の物体を照射することであって、前記第1の物体は前記LIDARシステムのLIDARセンサの視野内に位置し、前記第2の物体は前記LIDARセンサの前記視野の外部に位置している、照射することと、
    前記LIDARセンサから受信した第1の反射信号に基づき前記第1の物体までの距離を決定することであって、前記第1の反射信号は前記第1の物体から反射された光を示している、決定することと、
    前記第2の物体から反射された光を示す第2の反射信号を、補助センサから受信することと、
    前記第2の反射信号に基づき、前記第2の物体は前記LIDARシステムから所定の距離内に位置すると判断することと、
    前記判断に基づき、前記光源及び前記光偏向器の少なくとも1つを調整して前記所定の距離内の前記光源によって放出された光の蓄積されたエネルギー密度が最大許容曝露レベルを超えるのを防ぐことと、
    を行うように構成された少なくとも1つのプロセッサを備える、
    LIDARシステム。
  2. 前記第2の物体は死角領域内に位置しており、前記死角領域は、前記LIDARシステムの前記視野の外部である前記照射空間の一部を含む、請求項1に記載のLIDARシステム。
  3. 前記補助センサは、前記死角領域から光を受信するように構成されている、請求項2に記載のLIDARシステム。
  4. 前記光偏向器は複数のミラーを含み、前記複数のミラーの少なくとも第1のミラーは、前記光源からの光を前記照射空間の方に向けるように構成されており、かつ前記複数のミラーの少なくとも第2のミラーは、前記照射空間からの反射信号を前記補助センサの方に向けるように構成されている、請求項1に記載のLIDARシステム。
  5. 前記LIDARセンサは、少なくとも第1のタイプのフォトダイオードセンサを含み、前記補助センサは、前記第1のタイプ以外の、少なくとも第2のタイプのフォトダイオードセンサを含む、請求項1に記載のLIDARシステム。
  6. 前記第2のタイプのフォトダイオードセンサは、前記第1のタイプのフォトダイオードセンサの回復時間よりも短い回復時間を有する、請求項5に記載のLIDARシステム。
  7. 前記第2のタイプのフォトダイオードセンサは、前記第2の物体から反射された前記光と関連付けられた強度情報を提供するが、時間情報は提供しないように構成されている、請求項5に記載のLIDARシステム。
  8. 前記補助センサの瞬時画素視野は、前記LIDARセンサの瞬時画素視野よりも少なくとも5倍大きい、請求項1に記載のLIDARシステム。
  9. 前記調整することは、
    前記少なくとも1つの物体までの距離を決定することと、
    前記少なくとも1つの物体における光の強度を計算することと、
    前記少なくとも1つの物体までの前記距離で目に安全な曝露時間を決定することと
    を更に含む、請求項1に記載のLIDARシステム。
  10. 前記調整することは、前記少なくとも1つの光源を調整して、前記第2の物体と関連付けられた前記照射空間の領域内に蓄積されたエネルギー密度が所定のレベルを超えるのを防ぐことを更に含む、請求項1に記載のLIDARシステム。
  11. 前記LIDARシステムは車両内に含まれていて、前記少なくとも1つのプロセッサは、前記所定の距離内の前記第2の物体の存在を識別するように更に構成されている、請求項1に記載のLIDARシステム。
  12. 前記LIDARシステムは、前記光源からの光を前記照射空間に伝送して、前記照射空間から受信された光を前記補助センサに向かって反射するように構成された少なくとも1つの光学デバイスを含む、請求項1に記載のLIDARシステム。
  13. 前記LIDARセンサ及び前記補助センサは、複数の検出要素を含む単一のチップ上に収容されており、前記LIDARセンサは前記複数の検出要素の第1のセットと関連付けられていて、前記補助センサは前記複数の検出要素の第2のセットと関連付けられている、請求項1に記載のLIDARシステム。
  14. 前記補助センサは複数の検出要素を含み、前記少なくとも1つのプロセッサは、前記複数の検出要素のどれが前記第2の物体から反射された前記光を受信するかに基づき、前記第2の物体までの距離を決定するように更に構成されている、請求項1に記載のLIDARシステム。
  15. 前記補助センサのレンジは前記LIDARセンサのレンジよりも少なくとも5倍短い、請求項1に記載のLIDARシステム。
  16. 前記補助センサの光軸は、前記LIDARセンサの光軸に関して少なくとも20°だけ傾斜している、請求項1に記載のLIDARシステム。
  17. 前記第1の物体及び前記第2の物体は同じ光源によって照射される、請求項1に記載のLIDARシステム。
  18. LIDARシステムの最小閾値安全距離内の物体を検出するための方法であって、
    光源及び光偏向器の少なくとも1つを制御して、前記光源によって照射されている空間内に位置する第1の物体及び第2の物体を照射することであって、前記第1の物体は前記LIDARシステムのLIDARセンサの視野内に位置し、前記第2の物体は前記LIDARセンサの前記視野の外部に位置している、照射することと、
    前記LIDARセンサから受信した第1の反射信号に基づき前記第1の物体までの距離を決定することであって、前記第1の反射信号は前記第1の物体から反射された光を示している、決定することと、
    前記第2の物体から反射された光を示す第2の反射信号を、補助センサから受信することと、
    前記第2の反射信号に基づき、前記第2の物体が前記LIDARシステムから所定の距離内に位置すると判断することと、
    前記判断に基づき、前記光源及び前記光偏向器の少なくとも1つを調整して前記所定の距離内の前記光源から放出された光の蓄積されたエネルギー密度が最大許容曝露レベルを超えるのを防ぐことと
    を含む、方法。
  19. 前記第2の物体は死角領域内に含まれていて、前記死角領域は、前記LIDARシステムの前記視野から除外されている前記照射空間の一部を含む、請求項18に記載の方法。
  20. 前記補助センサは、前記死角領域内からの光を受信するように構成されている、請求項19に記載の方法。
  21. 前記光偏向器は複数のミラーを含み、前記アレイの少なくとも第1のミラーは、前記光源からの光を前記照射空間の方に向けるように構成されており、かつ前記アレイの少なくとも第2のミラーは、前記照射空間からの反射信号を前記補助センサの方に向けるように構成されている、請求項18に記載の方法。
  22. 前記LIDARセンサは、少なくとも第1のタイプのフォトダイオードセンサを含み、前記補助センサは、少なくとも第2のタイプのフォトダイオードセンサを含む、請求項18に記載の方法。
  23. 前記第2のタイプのフォトダイオードセンサは、前記第1のタイプのフォトダイオードセンサの回復時間よりも短い回復時間を有する、請求項22に記載の方法。
  24. 前記第2のタイプのフォトダイオードセンサは、前記第2の物体から反射された前記光と関連付けられた強度情報を提供するが、時間情報は提供しないように構成されている、請求項22に記載の方法。
  25. 前記調整することは、
    前記少なくとも1つの物体までの距離を決定することと、
    前記少なくとも1つの物体における光の強度を計算することと、
    前記少なくとも1つの物体までの前記距離で目に安全な曝露時間を決定することと
    を更に含む、請求項18に記載の方法。
  26. 前記調整することは、前記少なくとも1つの光源を調整して、前記第2の物体と関連付けられた前記照射空間の領域内に蓄積されたエネルギー密度が所定のレベルを超えるのを防ぐことと、前記第2の物体と関連付けられていない前記照射空間の領域内の前記少なくとも1つの光源を調整しないこととを含む、請求項18に記載の方法。
  27. 前記方法は、車両上に搭載されたLIDARシステムによって実行され、かつ前記方法は、前記所定の距離内の前記第2の物体の存在の指標を提供することを更に含む、請求項18に記載の方法。
  28. 光は、前記光源によって前記照射空間に伝送され、光学デバイスによって前記照射空間から前記補助センサの方に反射される、請求項18に記載の方法。
  29. 前記LIDARセンサ及び前記補助は、複数の検出要素を含む単一のチップ上に収容されており、前記LIDARセンサは前記複数の検出要素の第1のセットと関連付けられていて、前記補助センサは前記複数の検出要素の第2のセットと関連付けられている、請求項18に記載の方法。
  30. 前記補助センサは複数の検出要素を含み、前記少なくとも1つのプロセッサは、前記複数の検出要素のどれが前記第2の物体から反射された前記光を受信するかに基づき、前記第2の物体までの距離を決定するように更に構成されている、請求項18に記載の方法。
  31. 前記補助センサのレンジは前記LIDARセンサのレンジよりも少なくとも5倍短い、請求項18に記載の方法。
  32. 光を空間に向けて投影するように構成された光源と、
    LIDARセンサの一次視野内の複数の物体から反射された光を検出するように構成されたLIDARセンサと、
    前記LIDARセンサが前記死角領域内から物体を検出できるように、光を第2の物体から前記LIDARセンサへ向けるための光学コンポーネントであって、前記死角領域は前記空間内に含まれるが、前記一次視野の外側である、光学コンポーネントと
    を備える、LIDARシステム。
  33. 前記LIDARセンサは複数の検出要素を含み、前記死角領域からの光は前記光学コンポーネントにより前記複数の検出要素のサブセットに向かわせられる、請求項32に記載のシステム。
  34. 前記光学コンポーネントは、前記LIDARセンサの前記一次視野又は前記死角領域のいずれかからの光を選択的に前記LIDARセンサに向かわせるように構成された光偏向器を含む、請求項32に記載のシステム。
  35. 複数の性能特性を有する光検出センサであって、
    検出領域を有する半導体フォトダイオードチップと、
    前記検出領域内に配置された光検出器アレイであって、前記光検出器アレイは、
    第1の性能特性を有する第1の光検出器であって、前記第1の光検出器は、複数の対象物体に向けて伝送されて前記複数の対象物体の少なくとも第1の物体から前記第1の光検出器に反射された光に基づき第1の検出信号を生成するように構成されており、かつ前記第1の検出信号は前記複数の対象物体に向けて伝送されて前記複数の対象物体の前記第1の物体から前記第1の光検出器に反射された前記光の飛行時間を示す、第1の光検出器と、
    前記第1の性能特性とは異なる第2の性能特性を有する第2の光検出器であって、前記第2の光検出器は、前記複数の対象物体に向けて伝送されて前記複数の対象物体の少なくとも第2の物体から前記第2の光検出器に反射された前記光に基づき第2の検出信号を生成するように構成されている、第2の光検出器と
    を含み、
    前記第2の検出信号は前記第1の検出信号から検出できない前記複数の対象物体の少なくとも1つの存在を示す、光検出器アレイと
    を備える、光検出センサ。
  36. 前記第2の検出信号は、前記複数の対象物体に向かって伝送されて、前記複数の対象物体の前記第2の物体から前記第2の光検出器に反射された前記光の飛行時間を示す、請求項35に記載の光検出センサ。
  37. 前記第1の性能特性は、第1の光検出器が第1のダイナミックレンジを有する光強度を検出するのを可能にし、前記第2の性能特性は、前記第2の光検出器が、前記第1のダイナミックレンジとは異なる第2のダイナミックレンジを有する光強度を検出するのを可能にする、請求項35に記載の光検出センサ。
  38. 前記第1のダイナミックレンジ及び前記第2のダイナミックレンジは部分的に重なり合う、請求項37に記載の光検出センサ。
  39. 前記第1のダイナミックレンジ及び前記第2のダイナミックレンジは重なり合わない、請求項37に記載の光検出センサ。
  40. 前記第1の性能特性は少なくとも一部、第1のタイプの前記第1の光検出器に基づき、前記第2の性能特性は少なくとも一部、第2のタイプの前記第2の光検出器に基づき、前記第2のタイプは前記第1のタイプとは異なる、請求項35に記載の光検出センサ。
  41. 前記第1のタイプの第1の光検出器は、単一光子アバランシェダイオード(SPAD)、アバランシェフォトダイオード(APD)、又はp-i-nフォトダイオード(PINフォトダイオード)である、請求項40に記載の光検出センサ。
  42. 前記第1の性能特性は、前記第1の光検出器の第1の動作電圧に少なくとも一部、基づき、前記第2の性能特性は、前記第2の光検出器の第2の動作電圧に少なくとも一部、基づき、前記第2の動作電圧は前記第1の動作電圧と異なっている、請求項35に記載の光検出センサ。
  43. 前記第1の性能特性は、前記第1の光検出器の第1の静電容量に少なくとも一部、基づき、前記第2の性能特性は、前記第2の光検出器の第2の静電容量に少なくとも一部、基づき、前記第2の静電容量は前記第1の静電容量と異なっている、請求項35に記載の光検出センサ。
  44. 前記第1の性能特性は、前記第1の光検出器の第1のサイズに少なくとも一部、基づき、前記第2の性能特性は、前記第2の光検出器の第2のサイズに少なくとも一部、基づき、前記第2のサイズは前記第1のサイズと異なっている、請求項35に記載の光検出センサ。
  45. 前記第2の光検出器は、前記第1の光検出器よりも少なくとも10倍、サイズにおいて小さい、請求項44に記載の光検出センサ。
  46. 前記光検出センサは、前記検出領域で受信された光をフィルタリングするための少なくとも1つのフィルタを更に含み、前記第1のダイナミックレンジは、前記第1の光検出器で受信された光のフィルタリング及び前記第2の光検出器で受信された光のフィルタリングにおける差に少なくとも一部、基づいて、前記第2のダイナミックレンジと異なる、請求項35に記載の光検出センサ。
  47. 前記第1の性能特性は、前記第1の検出信号の第1の利得を含み、かつ前記第2の性能特性は、前記第2の検出信号の第2の利得を含み、前記第2の利得は前記第1の利得と異なっている、請求項35に記載の光検出センサ。
  48. 前記第1の性能特性は、前記第1の光検出器の第1の回復時間を含み、かつ前記第2の性能特性は、前記第2の光検出器の第2の回復時間を含み、前記第2の回復時間は前記第1の回復時間と異なっている、請求項35に記載の光検出センサ。
  49. 前記第1の性能特性は、前記第1の光検出器が第1の期間中に前記複数の対象物体の1つ以上を検出するのを可能にし、かつ前記第2の性能特性は、前記第2の光検出器が第2の期間内に前記複数の対象物体の1つ以上を検出するのを可能にする、請求項35に記載の光検出センサ。
  50. 前記第1の期間及び前記第2の期間は部分的に重なり合う、請求項49に記載の光検出センサ。
  51. 前記第1の期間及び前記第2の期間は部分的に重なり合わない、請求項49に記載の光検出センサ。
  52. 前記第1の性能特性は、前記第1の光検出器が所定の距離を越えて前記複数の対象物体の1つ以上を検出するのを可能にし、かつ前記第2の性能特性は、前記第2の光検出器が前記所定の距離内の前記複数の対象物体の1つ以上を検出するのを可能にする、請求項35に記載の光検出センサ。
  53. 前記第1の光検出器及び前記第2の光検出器は、共通の出力回路に接続されている、請求項35に記載の光検出センサ。
  54. 前記第1の光検出器は第1の出力回路に接続され、前記第2の光検出器は第2の出力回路に接続されている、請求項35に記載の光検出センサ。
  55. 前記第1の光検出器の少なくとも一部は前記第2の光検出器に隣接している、請求項35に記載の光検出センサ。
  56. 前記第1の光検出器は、前記第2の光検出器で取り囲まれている、請求項55に記載の光検出センサ。
  57. 前記第1の検出信号は、前記第1の検出信号から検出できない前記複数の対象物体の少なくとも1つの存在を示す、請求項35に記載の光検出センサ。
  58. 前記複数の対象物体の前記第1の物体及び前記複数の対象物体の前記第2の物体は異なっている、請求項35に記載の光検出センサ。
  59. 前記複数の対象物体の前記第1の物体及び前記複数の対象物体の前記第2の物体は同一である、請求項35に記載の光検出センサ。
  60. 前記第1の光検出器及び前記第2の光検出器の少なくとも1つは、複数の画素を含み、前記画素の各々は、前記それぞれの画素のアクティブエリア上に衝突する光を示す検出データを出力するように動作可能である、請求項35に記載の光検出センサ。
  61. 前記第1の光検出器は、前記第2の光検出器の少なくとも1つの画素を取り囲むように構成された複数の画素を含む、請求項60に記載の光検出センサ。
  62. 複数の性能特性を持つ光検出センサを使用して物体を検出するための方法であって、
    第1の性能特性を有する第1の光検出器によって、複数の対象物体に向けて伝送されて前記複数の対象物体の少なくとも第1の物体から前記第1の光検出器に反射された光に基づき第1の検出信号を生成することであって、前記第1の検出信号は前記複数の対象物体に向けて伝送されて前記複数の対象物体の前記少なくとも第1の物体から前記第1の光検出器に反射された前記光の飛行時間を示す、生成することと、
    前記第1の性能特性とは異なる第2の性能特性を有する第2の光検出器によって、前記複数の対象物体に向けて伝送されて前記複数の対象物体の少なくとも第2の物体から前記第2の光検出器に反射された前記光に基づき第2の検出信号を生成することと
    を含み、
    前記第2の検出信号は前記第1の検出信号から検出できない前記複数の対象物体の少なくとも1つの存在を示す、
    方法。
  63. 前記第1の光検出器及び前記第2の光検出器は、同じ光検出チップ上に収容されている、請求項62に記載の方法。
  64. 前記第2の検出信号は、前記複数の対象物体に向かって伝送されて、前記複数の対象物体の前記第2の物体から前記第2の光検出器に反射された前記光の飛行時間を示す、請求項62に記載の方法。
  65. 前記第1の性能特性は、前記第1の光検出器が所定の距離を越えて前記複数の対象物体の1つ以上を検出するのを可能にし、かつ前記第2の性能特性は、前記第2の光検出器が前記所定の距離内の前記複数の対象物体の1つ以上を検出するのを可能にする、請求項62に記載の方法。
  66. 前記方法は、
    前記第1の検出信号に基づき、前記第1の物体までの距離を決定することと、
    前記第2の検出信号に基づき、前記第2の物体までの距離を決定することと
    を更に含む、請求項62に記載の方法。
  67. LIDARを装備した道路車両用の検査システムであって、
    特定の車両のLIDARシステムの少なくとも1つの最新の動作パラメータにアクセスすることと、
    少なくとも1つの履歴動作パラメータにアクセスすることと、
    前記少なくとも1つの履歴動作パラメータ及び前記少なくとも1つの最新の動作パラメータを分析して前記LIDARシステムの動作における劣化の指標を決定することと、
    前記LIDARシステムの動作における劣化の前記指標及び前記特定の車両に非特有の格納データを分析して前記LIDARシステムの状態を判断することと、
    前記LIDARシステムの前記判断された状態に基づき、改善措置をトリガーすることと
    を含む動作を実行するように構成された少なくとも1つのプロセッサ
    を備えた、検査システム。
  68. 前記LIDARシステムの前記状態を判断することは、故障可能性を確認することと、前記故障可能性が品質基準を満足していないと判断することとを含む、請求項67に記載の検査システム。
  69. 前記LIDARシステムの前記状態を判断することは、前記指標に基づき、前記LIDARシステムの動作における劣化が品質基準を満足していないと判断することを含む、請求項67に記載の検査システム。
  70. 前記改善措置は、前記LIDARシステムと関連付けられた機器を修理するためにアラートを送信することを含む、請求項67に記載の検査システム。
  71. 前記改善措置は、前記LIDARシステムと関連付けられた機器を交換するためにアラートを送信することを含む、請求項67に記載の検査システム。
  72. 前記アラートは、前記特定の車両の少なくとも1つのディスプレイ上に表示される、請求項71に記載の検査システム。
  73. 前記少なくとも1つの最新の動作パラメータは、前記LIDARシステムの光源のパワー、前記光源を操作するために必要な電圧、前記LIDARシステムのスキャナを駆動するために必要な電圧、前記LIDARシステムのセンサを操作するために必要な電圧、又は少なくとも1つの既知の物体の検出距離を示す、請求項67に記載の検査システム。
  74. 前記少なくとも1つのプロセッサは、前記LIDARシステムの動作中に前記動作をリアルタイムで実行するように更に構成されている、請求項67に記載の検査システム。
  75. 前記少なくとも1つのプロセッサは、前記特定の車両の保守作業中に前記動作を実行するように更に構成されている、請求項67に記載の検査システム。
  76. 前記少なくとも1つのプロセッサは、前記少なくとも1つの最新の動作パラメータを前記特定の車両から取得し、前記少なくとも1つの履歴動作パラメータをリモートサーバから取得するように更に構成されている、請求項67に記載の検査システム。
  77. 前記少なくとも1つのプロセッサは、前記少なくとも1つの最新の動作パラメータ及び前記少なくとも1つの履歴動作パラメータを前記特定の車両から取得するように更に構成されている、請求項67に記載の検査システム。
  78. 前記少なくとも1つのプロセッサは、次の保守事象までの時間を示す値を取得することと、前記次の保守事象前に前記LIDARシステムが故障する可能性を判断することとを行うように更に構成されている、請求項67に記載の検査システム。
  79. 前記検査システムは、前記特定の車両上に設置されている、請求項67に記載の検査システム。
  80. 前記少なくとも1つのプロセッサは、
    複数の基準車両のLIDARシステムの少なくとも1つの基準動作パラメータを取得することと、
    前記少なくとも1つの基準動作パラメータ及び前記少なくとも1つの最新の動作パラメータを分析して前記特定の車両の前記LIDARシステムの動作における劣化の前記指標を決定することと
    を含む動作を実行するように更に構成されている、請求項67に記載の検査システム。
  81. LIDARを装備した道路車両を検査するためのコンピュータ実装方法であって、
    特定の車両のLIDARシステムの少なくとも1つの最新の動作パラメータにアクセスすることと、
    少なくとも1つの履歴動作パラメータにアクセスすることと、
    前記少なくとも1つの履歴動作パラメータ及び前記少なくとも1つの最新の動作パラメータを分析して前記LIDARシステムの動作における劣化の指標を決定することと、
    劣化の前記指標及び前記特定の車両に非特有の格納データを分析して前記LIDARシステムの状態を判断することと、
    前記LIDARシステムの前記判断された状態に基づき、改善措置をトリガーすることと
    を含む、コンピュータ実装方法。
  82. 前記LIDARシステムの前記状態を判断することは、故障可能性を確認することと、前記故障可能性が品質基準を満足していないと判断することとを含む、請求項81に記載のコンピュータ実装方法。
  83. 前記LIDARシステムの前記状態を判断することは、前記指標に基づき、前記LIDARシステムの動作における劣化が品質基準を満足していないと判断することを含む、請求項81に記載のコンピュータ実装方法。
  84. 前記改善措置は、前記LIDARシステムと関連付けられた機器を修理するためにアラートを送信することを含む、請求項81に記載のコンピュータ実装方法。
  85. 前記改善措置は、前記LIDARシステムと関連付けられた機器を交換するためにアラートを送信することを含む、請求項81に記載のコンピュータ実装方法。
  86. 前記アラートは、前記特定の車両の少なくとも1つのディスプレイ上に表示される、請求項85に記載のコンピュータ実装方法。
  87. 前記少なくとも1つの最新の動作パラメータは、前記LIDARシステムの光源のパワー、前記光源を操作するために必要な電圧、前記LIDARシステムのスキャナを駆動するために必要な電圧、前記LIDARシステムのセンサを操作するために必要な電圧、又は少なくとも1つの既知の物体の検出距離を示す、請求項81に記載のコンピュータ実装方法。
  88. 前記方法は、前記LIDARシステムの動作中にリアルタイムで実行される、請求項81に記載のコンピュータ実装方法。
  89. 前記方法は、前記特定の車両の保守作業中に実行される、請求項81に記載のコンピュータ実装方法。
  90. 前記少なくとも1つの最新の動作パラメータにアクセスすることは、前記少なくとも1つの最新の動作パラメータに前記特定の車両からアクセスすることを含み、かつ
    前記少なくとも1つの履歴動作パラメータにアクセスすることは、前記少なくとも1つの履歴動作パラメータにリモートサーバからアクセスすることを含む、
    請求項81に記載のコンピュータ実装方法。
  91. 前記少なくとも1つの最新の動作パラメータにアクセスすることは、前記少なくとも1つの最新の動作パラメータを前記特定の車両から取得することを含み、かつ
    前記少なくとも1つの履歴動作パラメータにアクセスすることは、前記少なくとも1つの履歴動作パラメータを前記特定の車両から取得することを含む、
    請求項81に記載のコンピュータ実装方法。
  92. 前記方法は、
    次の保守事象までの時間を示す値を取得することと、
    前記次の保守事象前に前記LIDARシステムが故障する可能性を判断することと
    を更に含む、請求項81に記載のコンピュータ実装方法。
  93. 前記方法は、前記特定の車両上に設置された検査システムによって実行される、請求項81に記載のコンピュータ実装方法。
  94. 前記方法は、
    複数の基準車両のLIDARシステムの少なくとも1つの基準動作パラメータを取得することと、
    前記少なくとも1つの基準動作パラメータ及び前記少なくとも1つの最新の動作パラメータを分析して前記特定の車両の前記LIDARシステムの動作における劣化の前記指標を決定することと
    を更に含む、請求項81に記載のコンピュータ実装方法。
  95. 請求項18~31、62~66、及び81~94のいずれかに記載の前記方法を実行するためにプロセッサによって実行可能な命令のセットを含むコンピュータ可読媒体。
JP2021521533A 2018-10-19 2019-10-17 Lidarシステム及び方法 Active JP7453220B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862747761P 2018-10-19 2018-10-19
US62/747,761 2018-10-19
US201862754055P 2018-11-01 2018-11-01
US62/754,055 2018-11-01
PCT/IB2019/001459 WO2020148567A2 (en) 2018-10-19 2019-10-17 Lidar systems and methods

Publications (3)

Publication Number Publication Date
JP2022505485A true JP2022505485A (ja) 2022-01-14
JPWO2020148567A5 JPWO2020148567A5 (ja) 2022-11-21
JP7453220B2 JP7453220B2 (ja) 2024-03-19

Family

ID=70554111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021521533A Active JP7453220B2 (ja) 2018-10-19 2019-10-17 Lidarシステム及び方法

Country Status (6)

Country Link
US (1) US20210389467A1 (ja)
EP (1) EP3867668A2 (ja)
JP (1) JP7453220B2 (ja)
KR (1) KR20210089172A (ja)
CN (1) CN112969937A (ja)
WO (1) WO2020148567A2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816666B2 (en) * 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US20200249332A1 (en) * 2019-02-06 2020-08-06 Ford Global Technologies, Llc Online Extrinsic Miscalibration Detection Between Sensors
CN113994140A (zh) * 2019-06-20 2022-01-28 株式会社小糸制作所 车辆用灯具及车辆用灯具的控制方法
US11431417B2 (en) * 2019-09-26 2022-08-30 Raytheon Company Methods and apparatus for reception of low photon density optical signals
US11598878B2 (en) * 2020-04-07 2023-03-07 Teledyne Scientific & Imaging, Llc Vision-cued random-access lidar system and method for localization and navigation
US11802970B2 (en) * 2020-07-08 2023-10-31 Aptiv Technologies Limited Alternating power-level scanning for time-of-flight lidar systems
US20220050183A1 (en) * 2020-08-12 2022-02-17 Beijing Voyager Technology Co., Ltd. Intertwined detector array for an optical sensing system
WO2022043749A1 (en) * 2020-08-24 2022-03-03 Innoviz Technologies Ltd. Multiple simultaneous laser beam emission and illumination while ensuring eye safety
US11828854B2 (en) * 2020-09-09 2023-11-28 WeRide Corp. Automatic LIDAR performance monitoring and maintenance for autonomous driving
DE102020211784A1 (de) 2020-09-21 2022-03-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Optische messvorrichtung zur ortsaufgelösten abstandsbestimmung
CN114488176A (zh) * 2020-10-23 2022-05-13 睿镞科技(北京)有限责任公司 3d图像传感器测距系统及使用该系统进行测距的方法
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR
US11435451B1 (en) 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion
US20230126833A1 (en) * 2021-10-21 2023-04-27 Argo AI, LLC System and method for simultaneous online lidar intensity calibration and road marking change detection
EP4249950B1 (de) 2022-03-25 2024-03-13 Sick Ag Erfassung und abstandsbestimmung eines objekts
EP4249949B1 (de) 2022-03-25 2024-03-13 Sick Ag Erfassung und abstandsbestimmung eines objekts
WO2024042360A1 (en) * 2022-08-21 2024-02-29 Innoviz Technologies Ltd. Systems and methods for updating point clouds in lidar systems

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4694295A (en) * 1986-05-15 1987-09-15 Miller Brett A Vehicle blind spot detector
ES2158827B1 (es) * 2000-02-18 2002-03-16 Fico Mirrors Sa Dispositivo de deteccion de presencia de objetos.
US9204129B2 (en) * 2010-09-15 2015-12-01 Perceptron, Inc. Non-contact sensing system having MEMS-based light source
DE112015001741T5 (de) * 2014-04-08 2016-12-29 Tk Holdings Inc. System und Verfahren für Nachtvisionsobjektdetektion und Fahrerassistenz
CN108603758A (zh) * 2015-11-30 2018-09-28 卢米诺技术公司 具有分布式激光器和多个传感器头的激光雷达系统和激光雷达系统的脉冲激光器
JP6860656B2 (ja) 2016-05-18 2021-04-21 オキーフェ, ジェームスO’KEEFEE, James 車両の形状に適応したダイナミックステアドlidar
JP6796653B2 (ja) * 2016-09-15 2020-12-09 株式会社小糸製作所 センサシステム
WO2018055513A2 (en) * 2016-09-20 2018-03-29 Innoviz Technologies Ltd. Methods circuits devices assemblies systems and functionally associated machine executable code for light detection and ranging based scanning
KR102496509B1 (ko) * 2016-09-20 2023-02-07 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10379540B2 (en) * 2016-10-17 2019-08-13 Waymo Llc Light detection and ranging (LIDAR) device having multiple receivers
JP7169272B2 (ja) * 2016-11-16 2022-11-10 イノヴィズ テクノロジーズ リミテッド Lidarシステム及び方法
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
CN114114209A (zh) * 2017-03-01 2022-03-01 奥斯特公司 用于lidar的准确光检测器测量
CN107132519A (zh) * 2017-06-30 2017-09-05 深圳市镭神智能系统有限公司 一种激光雷达光路系统
KR102589319B1 (ko) 2017-11-15 2023-10-16 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템

Also Published As

Publication number Publication date
JP7453220B2 (ja) 2024-03-19
US20210389467A1 (en) 2021-12-16
WO2020148567A2 (en) 2020-07-23
WO2020148567A3 (en) 2020-10-01
EP3867668A2 (en) 2021-08-25
CN112969937A (zh) 2021-06-15
KR20210089172A (ko) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7453220B2 (ja) Lidarシステム及び方法
JP7256920B2 (ja) Lidarシステム及び方法
US10915765B2 (en) Classifying objects with additional measurements
US20210025997A1 (en) Lidar systems and methods with internal light calibration
US20210293931A1 (en) Lidar system having a mirror with a window
US20220283269A1 (en) Systems and methods for photodiode-based detection
US20220206114A1 (en) Flash lidar having nonuniform light modulation
US20220075027A1 (en) Resonant laser driver for a lidar system
US20220229164A1 (en) Systems and methods for time-of-flight optical sensing
US20210341729A1 (en) Electrooptical systems having heating elements
US20220163633A1 (en) System and method for repositioning a light deflector
US20220276348A1 (en) Systems and methods for eye-safe lidar
US20230288541A1 (en) Object edge identification based on partial pulse detection
US20240134050A1 (en) Lidar systems and methods for generating a variable density point cloud
WO2024042360A1 (en) Systems and methods for updating point clouds in lidar systems

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220916

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240307

R150 Certificate of patent or registration of utility model

Ref document number: 7453220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150