CN115984079A - 传感器装置及其方法和存储介质 - Google Patents

传感器装置及其方法和存储介质 Download PDF

Info

Publication number
CN115984079A
CN115984079A CN202210120660.8A CN202210120660A CN115984079A CN 115984079 A CN115984079 A CN 115984079A CN 202210120660 A CN202210120660 A CN 202210120660A CN 115984079 A CN115984079 A CN 115984079A
Authority
CN
China
Prior art keywords
photodiode
type
vehicle
sensor device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210120660.8A
Other languages
English (en)
Inventor
付赓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN115984079A publication Critical patent/CN115984079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G01J2001/4466—Avalanche
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/10—Details of semiconductor or other solid state devices to be connected
    • H01L2924/11—Device type
    • H01L2924/12—Passive devices, e.g. 2 terminal devices
    • H01L2924/1204—Optical Diode
    • H01L2924/12043—Photo diode

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Light Receiving Elements (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明涉及传感器装置及其方法和存储介质。提供了用于低级别融合的基于硅光电倍增管的传感器即基于SiPM的传感器所用的方法，这些方法可以包括规避光检测和测距传感器处理路径即LiDAR传感器处理路径以在照相机(被动)成像和LiDAR(主动)成像之间提供高置信度的低级别融合。还提供了系统和计算机程序产品。

Description

传感器装置及其方法和存储介质
技术领域
本发明涉及用于低级别融合的基于SiPM的传感器。
背景技术
光检测和测距(LiDAR)根据由发射器发射、由对象反射且由检测器检测的光来确定信息。该信息包括与对象相关联的数据，诸如到对象的距离(range)和对象的速度等。检测器是接收对象所反射的光的光电检测器。检测器可以是固态光电检测器、光电倍增管、或其任意组合。
发明内容
根据本发明的方面，一种传感器装置，包括：多个像素，其中所述多个像素并联连接，并且其中，所述多个像素中的至少一个像素包括：第一类型的光电二极管，其中所述第一类型的光电二极管从在环境中发射的光捕获反射并且输出三维位置信息即3D位置信息和反射率信息；以及具有滤波器的第二类型的光电二极管，其中所述第二类型的光电二极管捕获所述环境中的经滤波的反射，其中滤色器将所述经滤波的反射中的数据分离成由所述第二类型的光电二极管输出的颜色信息，并且其中所述第一类型的光电二极管和所述第二类型的光电二极管并置在共同基板上；其中，所述多个像素中的所述至少一个像素的3D位置信息和颜色信息由所述传感器装置融合并输出。
根据本发明的另一方面，一种用于传感器装置的方法，包括：利用第一类型的光电二极管，从在环境中发射的光捕获反射，以获得位置和反射率信息；利用第二类型的光电二极管，捕获颜色信息，其中所述第二类型的光电二极管与滤色器耦接以获得所述颜色信息，并且其中所述第一类型的光电二极管和所述第二类型的光电二极管并置在共同基板上；以及以各像素为单位将位置和反射率信息与所述颜色信息融合。
根据本发明的又一方面，一种非暂时性计算机可读存储介质，其上存储有指令，所述指令在由一个或多于一个处理器执行时，使得所述一个或多于一个处理器进行上述方法。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
图2是包括自主系统的运载工具的一个或多于一个系统的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
图4是自主系统的某些组件的图；
图5是用于低级别融合的处理的实现的示例的图；
图6示出光检测和测距(LiDAR)系统的示例；
图7示出操作中的LiDAR系统；
图8示出LiDAR系统的操作的附加细节；
图9是基于SiPM的传感器上的像素布置的图；以及
图10是用于将分别从第一类型的光电二极管和第二类型的光电二极管捕获的反射率和颜色信息融合的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但他们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其它特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者他们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现用于低级别融合的基于硅光电倍增管(SiPM)的传感器。在一些实施例中，具有低级别融合的基于SiPM的传感器可以是光检测和测距(LiDAR)装置的一部分。通常，低级别融合是指以各像素为单位确定不同类型的传感器数据之间的对应关系。基于SiPM的传感器可被配置为单像素传感器、或者可操作来捕获由环境中的对象反射的光的像素阵列。使用一个或多于一个微元(microcell)来实现各SiPM像素。在实施例中，SiPM像素可以由不同类型的子像素组成。在实施例中，在SiPM像素中的各像素或一些像素中使用光电二极管(PD)型子像素。在实施例中，向各像素应用不同的滤色器(例如，红/绿/蓝(RGB))。在实施例中，RGB滤波器被布置为捕获其各自的颜色数据。在实施例中，使用特定的深沟槽和子像素图案。光学沟槽用于减少SiPM的子像素之间的串扰。
汽车飞行时间(ToF)光检测和测距(LiDAR)系统使用激光信号来确定静止对象和移动对象(例如，其他运载工具、行人、障碍物)的速率和距离。LiDAR系统将所发射的传输信号与所反射的返回信号进行比较以进行这些测量。对于许多应用，期望提供远距离检测能力。通常，基于SiPM的飞行时间(TOF)LiDAR提供具有高像素吞吐量的长检测距离。在一些示例中，基于SiPM的LiDAR与基于雪崩光电二极管(APD)的LiDAR相比能够实现针对低光通量的高灵敏度，这可以提供更长距离检测能力。然而，基于SiPM的LiDAR的点云协调准确度受到扫描系统的位置重复性的限制，这从根本上限制了照相机与LiDAR低级别(早期)融合的准确度。低级别融合是指在像素(或图像)级别将LiDAR与照相机原始数据融合。例如，将LiDAR点云(例如，三维(3D))投影到二维(2D)照相机图像上，然后进行点云是否属于对象(2D)边界框的检查。借助于本文所述的系统、方法和计算机程序产品的实现，用于低级别融合的基于SiPM的传感器所用的技术提供高动态范围(DR)传感器输出，该DR传感器输出在LiDAR应用中提供准确的返回信号强度和对象反射率信息。基于SiPM的传感器所输出的数据使得能够在存在传感器饱和的情况下确定强度。因此，本技术改进了LiDAR传感器和包括LiDAR传感器的运载工具的功能。这些和其他实施例还可以规避LiDAR传感器处理路径，以在照相机(被动)成像和LiDAR(主动)成像之间提供高置信度的低级别融合。被动成像例如是指测量不是由成像或感测设备引入的反射光(例如，从太阳发射的太阳光)。主动成像例如使用引入的光源或照明，以例如主动发送脉冲并测量反向散射光或反射光。这些和其他实施例可以提供用于低级别照相机和LiDAR融合的具有成本效益的解决方案以及用于多类型传感器融合的简化的校准过程。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器(CIS)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其它物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b可以是基于SiPM的LiDAR。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储装置308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储装置308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储装置308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储装置308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003496823840000161
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储装置308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储装置308中。存储器306和/或存储装置308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储装置308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储装置308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者他们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其它装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储装置(例如，与图3的存储装置308相同或类似的存储装置)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。
现在参考图5，例示用于低级别融合的处理的实现500的图。在一些实施例中，实现500包括感知系统504a、规划系统504b和控制系统504c。在一些实施例中，感知系统504a与图4的系统402相同或类似。在一些实施例中，规划系统504b与图4的规划系统404相同或类似。在一些实施例中，控制系统504c与图4的控制系统408相同或类似。
感知系统504a可以使用运载工具502的硬件来捕获运载工具502的环境中的数据。在示例中，运载工具硬件包括捕获被处理以识别环境中的对象的信息的装置(例如，图2的LiDAR传感器202b；图6的LiDAR系统602)。可以对对象进行分类，其中对象被分组成诸如行人、自行车、汽车、交通标志等的类型。所捕获的信息还可用于生成与周围环境相关联的场景描述。感知系统504a可以连续地或周期性地向规划系统504b传输对象分类508和其他数据。如本文所使用的智能LiDAR与传统技术相比能够以更高级别的准确度实现对象分类。规划系统504b使用来自感知系统504a的数据等来生成路线。该路线被传输(510)到控制系统504c。控制系统504c使运载工具导航规划系统504b所生成的路线。
图6示出LiDAR系统602的示例。LiDAR系统602从一个或多于一个光发射器606(例如，激光发射器)发射光604a-c。LiDAR系统所发射的光通常不在可见光谱中；例如，通常使用红外光。所发射的光604b的一部分遇到物理对象608(例如，运载工具)并且反射回到LiDAR系统602。LiDAR系统602还具有检测反射光的一个或多于一个光检测器610(例如，光电二极管、pin光电二极管、APD、SPAD和SiPM)。在实施例中，与LiDAR系统相关联的一个或多于一个数据处理系统生成表示LiDAR系统的视场614的图像612。图像612包括表示物理对象608的边界和反射率616的信息。这样，使用图像612来确定AV附近的一个或多于一个物理对象的边界616。
图7示出操作中的LiDAR系统602。在图7的示例中，运载工具102接收采用图像702的形式的照相机系统输出和采用LiDAR数据点704的形式的LiDAR系统输出。在使用中，运载工具102的数据处理系统将图像702与数据点704进行比较。特别地，在数据点704中也识别出在图像702中所识别出的物理对象706。这样，运载工具102基于数据点704的轮廓和密度来感知物理对象的边界。
图8示出LiDAR系统602的操作的附加细节。如上所述，运载工具102基于LiDAR系统602所检测到的数据点的特性来检测物理对象的边界和反射率。如图8所示，诸如地面802等的平坦对象将以一致的方式反射从LiDAR系统602发射的光804a-d。在运载工具102在地面802上行驶时，如果没有任何东西正在阻碍道路，则LiDAR系统602将继续检测有下一有效地面点806所反射的光。然而，如果对象808阻碍道路，则LiDAR系统602所发射的光804e-f将以与预期一致的方式不一致的方式从点810a-b反射。根据该信息，运载工具102可以确定为存在对象808。
在实施例中，SiPM是SPAD的阵列。通常，SPAD能够检测提供可被计数的短持续时间触发脉冲的单个光子。然而，由于雪崩建立的速度高并且装置的定时抖动低，因此SPAD也可以用于获得入射光子的到达时间。SPAD被偏置得远高于其反向偏置击穿电压，并且具有能够在没有损坏或过度噪声的情况下进行操作的结构。通常，以盖革(Geiger)模式操作的光电二极管采用击穿机制来实现高增益，并且被称为SPAD。
通常，对由SiPM微元(例如，SPAD)观察到的反射进行求和以生成输出信号。内部和/或外部电路通过测量电流信号(例如，测量信号的上升沿的时间、峰值、面积和形状)来计算反射光的光功率和到达时间。例如，定时计算可以是基于信号的沿、峰值和形状，并且功率计算可以是基于信号的峰值、面积和形状。在实施例中，输出电路对被激发的(fired)微元(例如，主动SiPM装置)的数量进行计数。在实施例中，输出电路测量微元所输出的脉冲的开始时间以获得光子的到达时间。通常，SiPM动态范围可能受到各SiPM像素中的微元(SPAD)的数量的限制，这从根本上限制了强度/反射率准确度。
图9是基于SiPM的传感器900上的像素布置902的图。在像素布置902上描绘的像素904a-904d是整体像素布置902的(例如，在相邻的2×2单元块中的)尺寸至少与n×m一样大的四个像素。具体地，像素904a-904d包括像素(n,m)904a、像素(n,m+1)904b、像素(n+1,m)904c和像素(n+1,m+1)904d。像素904a-904d中的各个像素包括盖格模式(GM)微元906、具有光学滤波器910的光电二极管908、以及光学沟槽912各自的一个或多于一个区域。
在一些实施例中，基于SiPM的传感器900通过读出光电二极管908和GM微元906这两者来进行操作以产生双输出信号。这样，同时输出两个单独的阳极。在一些实施例中，基于SiPM的传感器900的输出是连续模拟输出(例如，电流输出)。以这种方式，基于SiPM的传感器900在并行读取SiPM的多个像素的电流输出的同时作为模拟装置进行操作。在一些实施例中，基于SiPM的传感器900的输出是可区别并因此可被计数的个体脉冲(例如，数字输出)。对SiPM所输出的脉冲进行计数以生成输出信号。根据本技术的基于SiPM的传感器900的输出使得能够在从单个光子到GM微元906和光电二极管908所检测到的成千上万个光子的动态范围内生成信号。通常，GM微元906和908可以具有不同的光学滤波器，例如具有RGB滤波器的光电二极管908以及具有近红外(NIR)滤波器的GM微元906。在GM微元906和光电二极管908具有相同的光学滤波器(例如，具有相同或不同的传输特性的NIR滤波器)时，光电二极管908的输出信号将有助于增大动态范围。
在示例中，基于SiPM的传感器900的一个或多于一个基于SiPM的像素904是GM微元906与具有光学滤波器910的光电二极管的串联组合。基于SiPM的传感器900是对低至单光子级别的光(或光学)信号进行感测、计时和量化的光电检测器。通常，SiPM像素904包括共用共同输出(例如，阳极和阴极)的阵列中的多个微元。在实施例中，各微元是单光子雪崩光电二极管(SPAD)和猝灭电路(例如，电阻器)的串联组合。所有的微元并联连接并独立地检测光子，并且如此得到的基于SiPM的传感器900具有多个像素904，这多个像素904中的一些像素具有多个阳极。在一些实施例中，基于SiPM的传感器900可以包括能够独立地检测光子或光学返回信号的一个或多于一个基于SiPM的像素904。各像素904可以包括多个GM微元906(例如，SPAD)以及一个(通常情况)或多于一个光电二极管908的子区域。
在低通量事件期间的操作中，当微元检测到光子时，产生电子空穴对。当在耗尽区内生成了足够高的电场时，所产生的电荷载流子(电子或空穴)被加速以携带足够的动能来产生二次电子空穴对(碰撞电离)。宏观(雪崩)电流通过微元直到微元通过被动猝灭(例如，猝灭电阻器)或主动电路而猝灭为止。将来自各个被激发的微元的电流的总和组合以形成用于计算光子通量的大小的伪模拟输出(被激发的微元的电流脉冲的时序叠加)。猝灭使施加到SiPM的反向电压降低到低于其击穿电压的值，由此停止电流的雪崩。然后，SiPM再充电回到偏置电压，并且可用于检测后续光子。
在实施例中，具有光学滤波器910的光电二极管908各自被配置为进行滤波以接受RGB颜色其中之一(例如，类似于成像传感器)。在图9所示的具有光学滤波器910的光电二极管908的布置中，具有光学滤波器910r的光电二极管908被配置为接收红色光，具有光学滤波器910g的光电二极管908被配置为接收绿色光，并且具有光学滤波器910b的光电二极管908被配置为接收蓝色光。在像素904a-904d中的各像素中，光学沟槽912将光电二极管908与其他光敏感区域(例如，SPAD 906)隔离。在实施例中，光学沟槽912是可选的。
将具有RGB滤波器的光电二极管的子区域应用于各(或一些)SiPM像素使得能够(例如，在针对图10所述的处理中)使用相同的硬件与捕获点云数据同时地捕获类似照相机的数据。由于本公开的技术同时捕获点云和照相机类型的数据这两者，因此校准处理发生改变。例如，使用单个传感器捕获多个类型的数据可以精简校准。
传统上，进行3D点云类型数据和2D照相机数据之间的校准以生成由单独的硬件传感器输出的数据之间的对应关系。例如，传统校准通常使用用于融合数据的一个或多于一个变换。通常，数据融合使得能够准确地解释环境中的对象。根据本技术的SiPM传感器包括与捕获2D成像数据的硬件共同位于同一基板上的用于捕获点云数据的硬件。通过共同位于同一基板上，消除了用于将SiPM装置所输出的多个数据类型融合的一个或多于一个变换。特别地，将点从LiDAR坐标系映射到照相机坐标系的变换至少部分地基于表征基于SiPM的传感器的固有参数是已知的。
在示例中，根据本技术的传感器的像素包括第一类型的光电二极管(例如，具有内部增益的GM微元906)和第二类型的光电二极管(例如，具有光学滤波器910的光电二极管908)。第二类型的光电二极管可以具有不同的内部增益(例如，PD、PIN PD或APD)。第一类型的光电二极管和第二类型的光电二极管捕获在环境中发射的光。第一类型的光电二极管所捕获的数据由传感器输出并且被处理以生成3D位置(例如，距离数据)和反射率数据。在示例中，3D位置和反射率数据可以是点云数据。在一些情况下，第二类型的光电二极管与(例如，可见或NIR)滤色器物理耦接。例如，滤色器是在允许预定颜色通过的同时去除反射中的其他颜色的RGB滤色器，从而使得相应的光电二极管能够捕获颜色信息。使用在一个或多于一个光电二极管顶上的采用预定义图案的滤波器阵列来实现滤色器。与滤色器耦接的第二类型的光电二极管所捕获的数据由传感器输出并且被处理以生成2D图像数据。位置信息和2D彩色图像信息在由外部电路读出之前以各像素为单位被融合。以这种方式，本技术在输出传感器数据之前以各像素为单位实现低级别数据融合。
具有光学滤波器910的光电二极管908会引入噪声和/或光学串扰。例如，噪声和/或光学串扰可以包括光电二极管908和微元906之间的相互作用，这些相互作用是被由光学折射和少数载流子引起的光子和电子泄漏引入的。在实施例中，制造到基板中的沟槽可以减轻子像素之间的噪声和/或串扰。例如，沟槽(例如，光学沟槽912)可被实现为相邻子像素之间的非发光区域。
现在参考图10，说明用于将分别从第一类型的光电二极管和第二类型的光电二极管捕获的3D位置和2D图像信息融合的处理1000。在一些实施例中，关于处理1000所述的步骤中的一个或多于一个步骤由自主系统202(例如，完全地和/或部分地)进行。附加地或可替代地，在一些实施例中，针对处理1000所述的一个或多于一个步骤由与装置300分开或包括装置300的其他装置或装置组(例如，完全地和/或部分地)进行。第一类型的光电二极管(例如，SPAD阵列的子区域)可以提供3D位置(距离)和反射率信息这两者。使用第一类型的光电二极管(例如，GM微元906)和第二类型的光电二极管(例如，具有滤波器910的光电二极管908)，可以以各像素为单位将3D位置、反射率和2D图像融合。
在1002中，利用第一类型的光电二极管(例如，GM微元906)从在环境(例如，图1的环境100)中发射的光来捕获反射(例如，捕获的信息)以获得位置和反射率信息。例如，感知系统504a可以使用运载工具502的硬件来捕获运载工具502的环境中的信息。在一些示例中，捕获的信息可以包括与分组成诸如行人、自行车、汽车、交通标志等的类型的对象有关的信息。捕获的信息可以包括诸如从LiDAR系统602发射的反射光804a-d等的反射。在这些示例中，反射光可以是由LiDAR系统602朝向对象808发射并从点810a-b反射的光804e-f。在一些实施例中，第一类型的光电二极管是单光子雪崩二极管(SPAD)。
在1004中，利用第二类型的光电二极管(例如，具有光学滤波器910的光电二极管908)捕获颜色信息。第二类型的光电二极管与滤色器耦接以(例如，从具有被配置为接收红色光的光学滤波器910r的光电二极管、具有被配置为接收绿色光的光学滤波器910g的光电二极管、以及具有被配置为接收蓝色光的光学滤波器910b的光电二极管)获得颜色信息。第一类型的光电二极管和第二类型的光电二极管并置在共同基板(例如，基于SiPM的传感器900)上。在一些实施例中，第二类型的光电二极管(或光电检测器)是光电二极管(PD)或PIN光电二极管(PIN)。
在1006中，(例如，由感知系统504a)以各像素为单位将距离(3D位置)信息和颜色(2D图像)信息融合。例如，距离和反射率数据与图像数据可以在由感知系统504a处理之前由基于SiPM的传感器900融合。
在一些实施例中，处理1000还包括：将深沟槽图案(例如，光学沟槽)应用到共同基板，使得第二类型的光电二极管与第一类型的光电二极管之间的串扰减少。例如，可以将光学沟槽912内置到基于SiPM的传感器900中以防止在GM微元906与具有光学滤波器910的光电二极管908之间的串扰。
在一些实施例中，将融合后的位置和反射率信息以及颜色信息提供到自主运载工具的控制系统。例如，基于SiPM的传感器900可以由控制系统504c直接访问。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (17)

1.一种传感器装置，包括：
多个像素，其中所述多个像素并联连接，并且其中，所述多个像素中的至少一个像素包括：
第一类型的光电二极管，其中所述第一类型的光电二极管从在环境中发射的光捕获反射并且输出三维位置信息即3D位置信息和反射率信息；以及
具有滤波器的第二类型的光电二极管，其中所述第二类型的光电二极管捕获所述环境中的经滤波的反射，其中滤色器将所述经滤波的反射中的数据分离成由所述第二类型的光电二极管输出的颜色信息，并且其中所述第一类型的光电二极管和所述第二类型的光电二极管并置在共同基板上；
其中，所述多个像素中的所述至少一个像素的3D位置信息和颜色信息由所述传感器装置融合并输出。
2.根据权利要求1所述的传感器装置，其中，所述第一类型的光电二极管是具有内部增益的一个或多于一个单光子雪崩二极管即SPAD。
3.根据权利要求1所述的传感器装置，其中，所述第二类型的光电二极管是具有第二内部增益的光电二极管。
4.根据权利要求1所述的传感器装置，其中，将深沟槽图案应用到所述共同基板，使得所述第二类型的光电二极管与所述第一类型的光电二极管之间的串扰减少。
5.根据权利要求1所述的传感器装置，其中，位置和反射率数据与图像数据在由外部电路处理之前被融合。
6.根据权利要求1所述的传感器装置，其中，所述传感器装置是自主运载工具系统的一部分。
7.根据权利要求1所述的传感器装置，其中，所述传感器装置输出所述第一类型的光电二极管和所述第二类型的光电二极管中的一者或两者以产生连续的输出信号。
8.根据权利要求1所述的传感器装置，其中，所述滤色器是具有通常在400纳米和700纳米之间即400nm和700nm之间的可见光范围的红色/绿色/蓝色滤波器即RGB滤波器、或者具有通常在700nm和2微米之间即700nm和2μm之间的可见光范围的近红外滤波器即NIR滤波器。
9.根据权利要求8所述的传感器装置，其中，所述NIR滤波器具有与SPAD区域相同或不同的光学特性，其中所述光学特性至少包括传输带宽和衰减因子。
10.一种用于传感器装置的方法，包括：
利用第一类型的光电二极管，从在环境中发射的光捕获反射，以获得位置和反射率信息；
利用第二类型的光电二极管，捕获颜色信息，其中所述第二类型的光电二极管与滤色器耦接以获得所述颜色信息，并且其中所述第一类型的光电二极管和所述第二类型的光电二极管并置在共同基板上；以及
以各像素为单位将位置和反射率信息与所述颜色信息融合。
11.根据权利要求10所述的方法，其中，所述第一类型的光电二极管是具有内部增益的一个或多于一个单光子雪崩二极管即SPAD。
12.根据权利要求10所述的方法，其中，所述第二类型的光电二极管是具有第二内部增益的光电二极管。
13.根据权利要求10所述的方法，还包括：将深沟槽图案施加到所述共同基板，使得所述第二类型的光电二极管与所述第一类型的光电二极管的串扰减少。
14.根据权利要求10所述的方法，还包括：将位置和反射率数据与图像数据在由外部电路处理之前融合。
15.根据权利要求10所述的方法，还包括：将融合后的位置和反射率信息以及颜色信息提供到自主运载工具的控制系统。
16.根据权利要求10所述的方法，还包括：输出所述第一类型的光电二极管和所述第二类型的光电二极管中的一者或两者以产生连续的输出信号。
17.一种非暂时性计算机可读存储介质，其上存储有指令，所述指令在由一个或多于一个处理器执行时，使得所述一个或多于一个处理器进行根据权利要求10至16中任一项所述的方法。
CN202210120660.8A 2021-10-14 2022-02-07 传感器装置及其方法和存储介质 Pending CN115984079A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/501,468 2021-10-14
US17/501,468 US11435451B1 (en) 2021-10-14 2021-10-14 SiPM based sensor for low level fusion

Publications (1)

Publication Number Publication Date
CN115984079A true CN115984079A (zh) 2023-04-18

Family

ID=80507306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210120660.8A Pending CN115984079A (zh) 2021-10-14 2022-02-07 传感器装置及其方法和存储介质

Country Status (5)

Country Link
US (2) US11435451B1 (zh)
KR (1) KR20230053482A (zh)
CN (1) CN115984079A (zh)
DE (1) DE102022102182A1 (zh)
GB (1) GB2612148A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022241253A1 (en) 2021-05-14 2022-11-17 Motional Ad Llc Silicon photomultiplier based lidar
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR
US11435451B1 (en) * 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073875A2 (en) 2005-01-06 2006-07-13 Recon/Optical, Inc. Cmos active pixel sensor with improved dynamic range and method of operation, method for identifying moving objects and hybrid array with ir detector
US8476571B2 (en) 2009-12-22 2013-07-02 Siemens Aktiengesellschaft SiPM photosensor with early signal digitization
IT1402264B1 (it) 2010-09-16 2013-08-28 St Microelectronics Srl Array fotorilevatore multi-pixel di fotodiodi a valanga geiger-mode
ITTO20120501A1 (it) 2012-06-08 2013-12-09 St Microelectronics Srl Dispositivo diagnostico con fotorilevatore integrato e sistema diagnostico includente il medesimo
US10468543B2 (en) 2013-05-22 2019-11-05 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US10446700B2 (en) 2013-05-22 2019-10-15 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US9271694B2 (en) 2013-12-18 2016-03-01 General Electric Company System and method of simplifying a direct control scheme for a detector
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
WO2016174659A1 (en) * 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view
WO2017054863A1 (en) 2015-09-30 2017-04-06 Trimble Ab Geodetic instrument with improved dynamic range
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US20180162632A1 (en) 2016-12-14 2018-06-14 Vincent Craig Flashlight cover assembly
US10585174B2 (en) 2017-03-10 2020-03-10 Sensl Technologies Ltd. LiDAR readout circuit
US10594965B2 (en) 2017-09-13 2020-03-17 Semiconductor Components Industries, Llc Avalanche photodiode image sensors
KR101936193B1 (ko) 2017-09-27 2019-01-08 한국과학기술원 수평형 실리콘 광증배소자 및 그 제조방법
US10458783B2 (en) 2017-10-13 2019-10-29 Faro Technologies, Inc. Three-dimensional scanner having pixel memory
KR102715478B1 (ko) 2018-01-10 2024-10-10 벨로다인 라이더 유에스에이, 인크. 계층형 전력 제어를 이용한 lidar 기반의 거리 측정
CN112236686B (zh) 2018-04-08 2022-01-07 奥特逻科公司 光探测装置
WO2020021339A2 (en) 2018-07-26 2020-01-30 Innoviz Technologies Ltd. Lidar system having a mirror housing with a window
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US20200075652A1 (en) * 2018-09-05 2020-03-05 Facebook Technologies, Llc Pixel cell with multiple photodiodes
EP3633405B1 (de) 2018-10-03 2023-01-11 Hexagon Technology Center GmbH Messgerät zur geometrischen 3d-abtastung einer umgebung mit einer vielzahl sendekanäle und semiconductor-photomultiplier sensoren
EP3867668A2 (en) 2018-10-19 2021-08-25 Innoviz Technologies Ltd. Lidar systems and methods
US11644549B2 (en) 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
US11604259B2 (en) 2019-10-14 2023-03-14 Infineon Technologies Ag Scanning LIDAR receiver with a silicon photomultiplier detector
US10901074B1 (en) 2020-02-17 2021-01-26 Hesai Technology Co., Ltd. Systems and methods for improving Lidar performance
US11428550B2 (en) * 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11269075B2 (en) * 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
US11536812B2 (en) 2020-06-23 2022-12-27 Aptiv Technologies Limited Increased dynamic range for time-of-flight (ToF) lidar systems
WO2022241253A1 (en) 2021-05-14 2022-11-17 Motional Ad Llc Silicon photomultiplier based lidar
US11435451B1 (en) * 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR

Also Published As

Publication number Publication date
GB2612148A (en) 2023-04-26
GB202200730D0 (en) 2022-03-09
US11782140B2 (en) 2023-10-10
US20230119438A1 (en) 2023-04-20
DE102022102182A1 (de) 2023-04-20
KR20230053482A (ko) 2023-04-21
US11435451B1 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
US11782140B2 (en) SiPM based sensor for low level fusion
US11796646B2 (en) Dual-mode silicon photomultiplier based LiDAR
US11948381B2 (en) Determining object mobility parameters using an object sequence
US12061293B2 (en) Silicon photomultiplier based LiDAR
GB2608484A (en) Systems and methods for camera alignment using pre-distorted targets
US20230088398A1 (en) Calibration courses and targets
US20230089832A1 (en) Calibration courses and targets
US20240085536A1 (en) System and methods for time-of-flight (tof) lidar signal-to-noise improvement
US20240083421A1 (en) System and methods for time-of-flight (tof) lidar interference mitigation
US20230252678A1 (en) Universal sensor performance and calibration target for multi-sensor imaging systems
GB2619120A (en) Image based lidar-camera synchronization
US20220414930A1 (en) Geometric intrinsic camera calibration using diffractive optical element
US20230160778A1 (en) Systems and methods for measurement of optical vignetting
US20240048853A1 (en) Pulsed-Light Optical Imaging Systems for Autonomous Vehicles
US20230292021A1 (en) Optical metrology: repeatable qualitative analysis of flare and ghost artifacts in camera optical sytem
US20240129604A1 (en) Plenoptic sensor devices, systems, and methods
WO2024081594A1 (en) Lidar system and method for adaptive detection and emission control
GB2616684A (en) Light-based object localization
WO2024081258A1 (en) Plenoptic sensor devices, systems, and methods
WO2023178108A1 (en) False signal reducing lidar window

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination