DE102022102182A1 - Sipm-basierter sensor zur zusammenführung niedriger ebene - Google Patents

Sipm-basierter sensor zur zusammenführung niedriger ebene Download PDF

Info

Publication number
DE102022102182A1
DE102022102182A1 DE102022102182.3A DE102022102182A DE102022102182A1 DE 102022102182 A1 DE102022102182 A1 DE 102022102182A1 DE 102022102182 A DE102022102182 A DE 102022102182A DE 102022102182 A1 DE102022102182 A1 DE 102022102182A1
Authority
DE
Germany
Prior art keywords
photodiode
type
vehicle
data
sensor device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022102182.3A
Other languages
English (en)
Inventor
Geng Fu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of DE102022102182A1 publication Critical patent/DE102022102182A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228—Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4446—Type of detector
    • G01J2001/446—Photodiode
    • G01J2001/4466—Avalanche
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/10—Details of semiconductor or other solid state devices to be connected
    • H01L2924/11—Device type
    • H01L2924/12—Passive devices, e.g. 2 terminal devices
    • H01L2924/1204—Optical Diode
    • H01L2924/12043—Photo diode

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Toxicology (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Light Receiving Elements (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

Es werden Verfahren für einen auf einem Silicium-Photomultiplier (SiPM) beruhenden Sensor für eine Zusammenführung niedriger Ebene bereitgestellt, welche ein Abschwächen eines Light-Detection-and-Ranging(LiDAR)-Sensorverarbeitungswegs zur Bereitstellung einer Zusammenführung niedriger Ebene mit einem hohen Vertrauensgrad zwischen der Bildgebung durch eine Kamera (passiv) und durch LiDAR (aktiv) aufweisen können. Es werden auch Systeme und Computerprogrammprodukte bereitgestellt.

Description

  • HINTERGRUND
  • Light Detection and Ranging (LiDAR) bestimmt Informationen anhand Licht, das von einem Emitter emittiert, von einem Objekt reflektiert und von einem Detektor detektiert wird. Die Informationen weisen Daten in Zusammenhang mit dem Objekt in der Art der Entfernung vom Objekt, der Geschwindigkeit des Objekts und dergleichen auf. Der Detektor ist ein Photodetektor, der das vom Objekt reflektierte Licht empfängt. Der Detektor kann ein Halbleiter-Photodetektor, ein Photomultiplier oder eine Kombination davon sein.
  • Figurenliste
  • Es zeigen:
    • 1 eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems aufweist, implementiert werden kann,
    • 2 ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System aufweist,
    • 3 ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme aus den 1 und 2,
    • 4 ein Diagramm gewisser Komponenten eines autonomen Systems,
    • 5 ein Diagramm eines Beispiels einer Implementation eines Prozesses zur Zusammenführung niedriger Ebene,
    • 6 ein Beispiel eines Light-Detection-and-Ranging(LiDAR)-Systems,
    • 7 das LiDAR-System beim Betrieb,
    • 8 den Betrieb des LiDAR-Systems in zusätzlichen Einzelheiten,
    • 9 ein Diagramm einer Pixelanordnung einer Pixelanordnung auf einem SiPM-basierten Sensor und
    • 10 ein Flussdiagramm eines Prozesses zur Zusammenführung von einem ersten bzw. einem zweiten Photodiodentyp erfasster Reflektivitäts- und Farbinformationen.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung werden für die Zwecke der Erklärung zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der vorliegenden Offenbarung bereitzustellen. Es ist jedoch zu verstehen, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In einigen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Form eines Blockdiagramms dargestellt, um es zu vermeiden, Aspekte der vorliegenden Offenbarung unnötig unverständlich zu machen.
  • Spezifische Anordnungen oder Reihenfolgen schematischer Elemente in der Art jener, die Systeme, Vorrichtungen, Module, Befehlsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen dargestellt. Fachleute werden jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Ordnung oder Sequenz der Verarbeitung oder Trennung von Prozessen erforderlich ist, es sei denn, dass dies explizit so beschrieben wird. Ferner soll die Aufnahme eines schematischen Elements in einer Zeichnung nicht implizieren, dass dieses Element in allen Ausführungsformen benötigt wird oder dass die durch dieses Element repräsentierten Merkmale nicht gemäß einigen Ausführungsformen in andere Elemente aufgenommen oder mit diesen kombiniert werden können, es sei denn, dass dies explizit so beschrieben wird.
  • Ferner soll in den Zeichnungen an Stellen, an denen verbindende Elemente, beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile, verwendet werden, um eine Verbindung, Beziehung oder Assoziation zwischen oder unter zwei oder mehr anderen schematischen Elementen darzustellen, das Nichtvorhandensein solcher verbindender Elemente nicht bedeuten, dass dadurch impliziert wird, dass keine Verbindung, Beziehung oder Assoziation existieren kann. Mit anderen Worten sind in den Zeichnungen einige Verbindungen, Beziehungen oder Assoziationen zwischen Elementen nicht dargestellt, um die Offenbarung nicht unverständlich zu machen. Zusätzlich kann im Interesse einer einfachen Darstellung ein einziges verbindendes Element verwendet werden, um mehrere Verbindungen, Beziehungen oder Assoziationen zwischen Elementen zu repräsentieren. Beispielsweise sollten Fachleute an Stellen, an denen ein verbindendes Element eine Kommunikation von Signalen, Daten oder Befehlen (beispielsweise „Softwarebefehlen“) repräsentiert, verstehen, dass dieses Element einen oder mehrere Signalwege (beispielsweise einen Bus) repräsentieren kann, wie es erforderlich sein kann, um die Kommunikation auszuführen.
  • Wenngleich die Begriffe erster, zweiter, dritter und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe beschränkt werden. Die Begriffe erster, zweiter, dritter und/oder dergleichen werden nur zur Unterscheidung eines Elements von einem anderen verwendet. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und könnte ähnlich ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Der erste und der zweite Kontakt sind beide Kontakte, sie sind jedoch nicht derselbe Kontakt.
  • Die in der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendete Terminologie dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend vorgesehen. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den anliegenden Ansprüchen verwendet, sollen die Singularformen „ein/eine/eines“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/eine/eines oder mehrere“ oder „wenigstens ein/eine/eines“ verwendet werden, es sei denn, dass der Zusammenhang klar etwas anderes angibt. Es sei auch bemerkt, dass der Begriff „und/oder“, wie er hier verwendet wird, jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgezählten Bestandteile betrifft und diese umfasst. Es ist ferner zu verstehen, dass die Begriffe „weist auf“, „aufweisend“, „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein erwähnter Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, jedoch nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
  • Hier beziehen sich die Begriffe „Kommunikation“ und „Kommunizieren“ auf wenigstens einen vom Empfang, von der Entgegennahme, von der Aussendung, der Übertragung, der Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Befehle, Anweisungen und/oder dergleichen repräsentiert sind). Dass eine Einheit (beispielsweise eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (beispielsweise zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die der Natur nach festverdrahtet und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und der zweiten Einheit modifiziert, verarbeitet, vermittelt und/oder weitergeleitet werden können. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen zur zweiten Einheit sendet. Bei einem anderen Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls wenigstens eine Zwischeneinheit (beispielsweise eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zur zweiten Einheit sendet. Gemäß einigen Ausführungsformen kann sich eine Nachricht auf ein Netzpaket (beispielsweise ein Datenpaket und/oder dergleichen), das Daten aufweist, beziehen.
  • Hier sollte der Begriff „falls“ abhängig vom Zusammenhang optional als „wenn“, „bei“, „ansprechend auf eine Feststellung“, „ansprechend auf eine Erkennung“ und/oder dergleichen bedeutend ausgelegt werden. Ähnlich sollte der Ausdruck „falls festgestellt wird“ oder „falls [eine erwähnte Bedingung oder ein erwähntes Ereignis] erkannt wird“ abhängig vom Zusammenhang optional als „bei einer Feststellung“, „ansprechend auf eine Feststellung“, „bei einer Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“, „ansprechend auf eine Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“ und/oder dergleichen bedeutend ausgelegt werden. Auch sind die Begriffe „weist auf“, „weisen auf“, „aufweisend“ oder dergleichen wie hier verwendet als offene Begriffe vorgesehen. Ferner soll der Ausdruck „basierend auf“ als „zumindest teilweise basierend auf“ verstanden werden, es sei denn, dass etwas anderes explizit ausgesagt wird.
  • Es wird nun detailliert auf Ausführungsformen Bezug genommen, von denen Beispiele in den anliegenden Zeichnungen dargestellt sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Durchschnittsfachleute auf dem Gebiet werden jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In anderen Fällen wurden wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netze nicht detailliert beschrieben, um Aspekte der Ausführungsformen nicht unnötig unverständlich zu machen.
  • Allgemeiner Überblick
  • Gemäß einigen Aspekten und/oder Ausführungsformen umfassen und/oder implementieren hier beschriebene Systeme, Verfahren und Computerprogrammprodukte einen auf einem Silicium-Photomultiplier (SiPM) beruhenden Sensor zur Zusammenführung niedriger Ebene. Gemäß einigen Ausführungsformen kann der SiPM-basierte Sensor mit einer Zusammenführung niedriger Ebene Teil einer Light-Detection-and-Ranging(LiDAR)-Vorrichtung sein. Zusammenführung niedriger Ebene bezieht sich allgemein auf die Bestimmung von Entsprechungen zwischen verschiedenen Typen von Sensordaten auf einer Pro-Pixel-Basis. Ein SiPM-basierter Sensor kann als Einzelpixelsensor oder Array von Pixeln, die in der Lage sind, von Objekten in der Umgebung reflektiertes Licht zu erfassen, ausgelegt sein. Jedes SiPM-Pixel ist unter Verwendung einer oder mehrerer Mikrozellen verwirklicht. Gemäß einer Ausführungsform kann das SiPM-Pixel aus Teilpixeln verschiedener Typen zusammengesetzt sein. Gemäß einer Ausführungsform wird in jedem der SiPM-Pixel oder einigen von ihnen ein Teilpixel vom Photodioden(PD)-Typ verwendet. Gemäß einer Ausführungsform werden verschiedene Farbfilter (beispielsweise Rot/Grün/Blau (RGB)) auf jedes Teilpixel angewendet. Gemäß einer Ausführungsform sind die RGB-Filter eingerichtet, um ihre jeweiligen Farbdaten zu erfassen. Gemäß einer Ausführungsform werden spezifische tiefe Graben- und Teilpixelmuster verwendet. Ein optischer Graben wird verwendet, um das Übersprechen zwischen Teilpixeln des SiPMs zu verringern.
  • Automobil-Flugzeit(ToF)-Light-Detection-and-Ranging(LiDAR)-Systeme verwenden Lasersignale zur Bestimmung der Geschwindigkeit und Entfernung stationärer und sich bewegender Objekte (beispielsweise anderer Fahrzeuge, Fußgänger, Hindernisse). LiDAR-Systeme vergleichen emittierte Sendesignale mit reflektierten Rückkehrsignalen, um diese Messungen vorzunehmen. Für viele Anwendungen ist es wünschenswert, eine langreichweitige Erfassungsfähigkeit bereitzustellen. Ein SiPM-basiertes Flugzeit(ToF)-LiDAR stellt im Allgemeinen eine lange Erfassungsreichweite mit einem hohen Pixeldurchsatz bereit. Bei einigen Beispielen ermöglicht ein SiPM-basiertes LiDAR verglichen mit einem Lawinenphotodioden(APD)-basierten LiDAR eine hohe Empfindlichkeit für einen niedrigen Lichtfluss, wodurch längerreichwertige Erfassungsfähigkeiten bereitgestellt werden können. Die Punktwolken-Koordinationsgenauigkeit des SiPM-basierten LiDARs ist jedoch durch die Positionswiederholbarkeit eines Abtastsystems begrenzt, wodurch die Genauigkeit der Zusammenführung niedriger Ebene (frühen Zusammenführung) zwischen der Kamera und dem LiDAR grundsätzlich begrenzt wird. Die Zusammenführung niedriger Ebene betrifft das Zusammenführen von LiDAR- und Kamera-Rohdaten auf der Pixelebene (oder Bildebene). Beispielsweise werden die LiDAR-Punktwolken (beispielsweise dreidimensional (3D)) auf ein zweidimensionales (2D) Kamerabild projiziert, und es wird dann geprüft, ob die Punktwolken zu den Begrenzungskästchen des Objekts (2D) gehören oder nicht. Durch die Implementation von Systemen, Verfahren und Computerprogrammprodukten, die hier beschrieben werden, Techniken für einen SiPM-basierten Sensor für eine Zusammenführung niedriger Ebene, während eine Sensorausgabe mit einem hohen Dynamikbereich (DR) bereitgestellt wird, wodurch genaue Rückkehrsignalintensitäts- und Objektreflektivitätsinformationen in LiDAR-Anwendungen bereitgestellt werden. Die vom SiPM-basierten Sensor ausgegebenen Daten ermöglichen die Bestimmung der Intensität bei Vorhandensein von Sensorsättigung. Demgemäß verbessern die vorliegenden Techniken die Funktion des LiDAR-Sensors und eines den LiDAR-Sensor aufweisenden Fahrzeugs. Diese und andere Ausführungsformen können auch einen Verarbeitungsweg eines LiDAR-Sensors zur Bereitstellung einer Zusammenführung niedriger Ebene mit einem hohen Vertrauensgrad zwischen der Bildgebung der Kamera (passiv) und des LiDARs (aktiv) abmildern. Eine passive Bildgebung bezieht sich beispielsweise auf das Messen reflektierten Lichts (beispielsweise von der Sonne emittierten Sonnenlichts), das nicht durch Bildgebungs- oder Messgeräte eingebracht wird. Eine aktive Bildgebung verwendet beispielsweise eine eingebrachte Licht- oder Beleuchtungsquelle, wobei beispielsweise aktiv ein Puls ausgesendet wird und rückgestreutes oder reflektiertes Licht gemessen wird. Diese und andere Ausführungsformen können eine kostenwirksame Lösung für eine Kamera- und LiDAR-Zusammenführung niedriger Ebene und eine einfache Kalibrierprozedur zur Sensorzusammenführung mehrerer Typen bereitstellen.
  • 1 zeigt nun eine beispielhafte Umgebung 100, in der Fahrzeuge, die autonome Systeme aufweisen, sowie Fahrzeuge, bei denen dies nicht der Fall ist, betrieben werden. Wie dargestellt, weist die Umgebung 100 Fahrzeuge 102a - 102n, Objekte 104a - 104n, Routen 106a - 106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110, ein Netz 112, ein Fernes-autonomes-Fahrzeug(AV)-System 114, ein Flottenverwaltungssystem 116 und ein V21-System 118 auf. Die Fahrzeuge 102a - 102n, die Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110, das Netz 112, das Autonomes-Fahrzeug(AV)-System 114, das Flottenverwaltungssystem 116 und das V21-System 118 sind durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen miteinander verbunden (stellen beispielsweise eine Verbindung zur Kommunikation und/oder dergleichen) her. Gemäß einigen Ausführungsformen sind Objekte 104a - 104n durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen mit wenigstens einem der Fahrzeuge 102a - 102n, der Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110, des Netzes 112, des Autonomes-Fahrzeug(AV)-Systems 114, des Flottenverwaltungssystems 116 und des V21-Systems 118 verbunden.
  • Fahrzeuge 102a - 102n (individuell als Fahrzeug 102 und gemeinsam als Fahrzeuge 102 bezeichnet) weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, Waren und/oder Personen zu transportieren. Gemäß einigen Ausführungsformen sind Fahrzeuge 102 dafür ausgelegt, über das Netz 112 in Kommunikation mit der V21-Vorrichtung 110, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V21-System 118 zu stehen. Gemäß einigen Ausführungsformen umfassen Fahrzeuge 102 Personenkraftwagen, Busse, Lastwagen, Züge und/oder dergleichen. Gemäß einigen Ausführungsformen gleichen oder ähneln die Fahrzeuge 102 hier beschriebenen Fahrzeugen 200 (siehe 2). Gemäß einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem Autonome-Flotte-Manager assoziiert. Gemäß einigen Ausführungsformen fahren Fahrzeuge 102 entlang jeweiligen Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet), wie hier beschrieben. Gemäß einigen Ausführungsformen weisen ein oder mehrere Fahrzeuge 102 ein autonomes System (beispielsweise ein autonomes System, das dem autonomen System 202 gleicht oder ähnelt) auf.
  • Objekte 104a - 104n (individuell als Objekt 104 und gemeinsam als Objekte 104 bezeichnet) umfassen beispielsweise wenigstens ein Fahrzeug, wenigstens einen Fußgänger, wenigstens einen Radfahrer, wenigstens eine Struktur (beispielsweise ein Gebäude, ein Zeichen, einen Feuerhydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (befindet sich beispielsweise während eines Zeitraums an einem festen Ort) oder mobil (weist beispielsweise eine Geschwindigkeit auf und ist mit wenigstens einer Fahrstrecke assoziiert). Gemäß einigen Ausführungsformen sind Objekte 104 mit entsprechenden Orten im Bereich 108 assoziiert.
  • Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils mit einer Sequenz von Aktionen (auch als Fahrstrecke bekannt), die Zustände verbinden, entlang derer ein AV navigieren kann, assoziiert (schreiben diese beispielsweise vor). Jede Route 106 beginnt an einem Anfangszustand (beispielsweise einem Zustand, der einem ersten räumlich-zeitlichen Ort, einer Geschwindigkeit und/oder dergleichen entspricht) und einem Endzielzustand (beispielsweise einem Zustand, der einem zweiten räumlich-zeitlichen Ort entspricht, welcher sich vom ersten räumlich-zeitlichen Ort unterscheidet) oder Zielgebiet (beispielsweise einem Teilraum akzeptierbarer Zustände (beispielsweise Endzustände)). Gemäß einigen Ausführungsformen umfasst der erste Zustand einen Ort, an dem eine oder mehrere Personen durch das AV aufzunehmen sind, und umfasst der zweite Zustand oder das zweite Gebiet einen oder mehrere Orte, an denen die eine oder die mehreren vom AV aufgenommenen Personen abzusetzen sind. Gemäß einigen Ausführungsformen umfassen Routen 106 mehrere akzeptierbare Zustandssequenzen (beispielsweise mehrere räumlich-zeitliche Ortssequenzen), wobei die mehreren Zustandssequenzen mit mehreren Fahrstrecken assoziiert sind (beispielsweise diese definieren). Bei einem Beispiel umfassen Routen 106 nur Aktionen hoher Ebene oder ungenaue Zustandsorte, wie eine Reihe miteinander verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können Routen 106 genauere Aktionen oder Zustände wie beispielsweise spezifische Zielfahrspuren oder genaue Orte innerhalb der Fahrspurbereiche und die angestrebte Geschwindigkeit an diesen Positionen umfassen. Bei einem Beispiel umfassen Routen 106 mehrere genaue Zustandssequenzen entlang der wenigstens einen Aktionssequenz hoher Ebene mit einem begrenzten Vorschauhorizont zur Erreichung von Zwischenzielen, wobei die Kombination aufeinander folgender Iterationen von Zustandssequenzen mit einem begrenzten Horizont kumulativ mehreren Fahrstrecken entspricht, die gemeinsam die Route hoher Ebene zum Erreichen des Endzielzustands oder -gebiets bilden.
  • Der Bereich 108 umfasst einen physischen Bereich (beispielsweise ein geographisches Gebiet), innerhalb dessen Fahrzeuge 102 navigieren können. Bei einem Beispiel umfasst der Bereich 108 wenigstens einen Zustand (beispielsweise ein Land, eine Provinz, einen individuellen Staat mehrerer Staaten in einem Land usw.), wenigstens einen Teil eines Staats, wenigstens eine Stadt, wenigstens einen Teil einer Stadt usw. Gemäß einigen Ausführungsformen umfasst der Bereich 108 wenigstens eine benannte Durchgangsroute (hier als „Straße“ bezeichnet) in der Art einer Schnellstraße, einer Überlandschnellstraße, einer Schnellstraße mit beschränkter Fahrzeuggröße, einer Stadtstraße usw. Zusätzlich oder alternativ umfasst der Bereich 108 bei einigen Beispielen wenigstens eine unbenannte Straße in der Art einer Auffahrt, eines Abschnitts eines Parkplatzes, eines Abschnitts eines leeren und/oder unterentwickelten Grundstücks, eines unbefestigten Wegs usw. Gemäß einigen Ausführungsformen weist eine Straße wenigstens eine Fahrspur (beispielsweise einen Teil der Straße, der von Fahrzeugen 102 befahren werden kann) auf. Bei einem Beispiel weist eine Straße wenigstens eine Fahrspur in Zusammenhang mit wenigstens einer Fahrspurmarkierung (beispielsweise auf der Grundlage dieser identifiziert) auf.
  • Die Fahrzeug-zu-Infrastruktur(V21)-Vorrichtung 110 (manchmal als Fahrzeugzu-Infrastruktur(V2X)-Vorrichtung bezeichnet) umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, mit Fahrzeugen 102 und/oder dem V21-Infrastruktursystem 118 in Kommunikation zu stehen. Gemäß einigen Ausführungsformen ist die V2I-Vorrichtung 110 dafür ausgelegt, über das Netz 112 in Kommunikation mit Fahrzeugen 102, mit dem Fern-AV-System 114, mit dem Flottenverwaltungssystem 116 und/oder dem V21-System 118 zu stehen. Gemäß einigen Ausführungsformen umfasst die V21-Vorrichtung 110 eine Funkfrequenzidentifikations(RFID)-Vorrichtung, eine Ausschilderung, Kameras (beispielsweise zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Fahrspurmarkierungen, Straßenleuchten, Parkuhren usw. Gemäß einigen Ausführungsformen ist die V21-Vorrichtung 110 dafür ausgelegt, direkt mit Fahrzeugen 102 zu kommunizieren. Alternativ oder zusätzlich ist die V21-Vorrichtung 110 gemäß einigen Ausführungsformen dafür ausgelegt, über das V21-System 118 mit Fahrzeugen 102, mit dem Fern-AV-System 114 und/oder mit dem Flottenverwaltungssystem 116 zu kommunizieren. Gemäß einigen Ausführungsformen ist die V21-Vorrichtung 110 dafür ausgelegt, über das Netz 112 mit dem V21-System 118 zu kommunizieren.
  • Das Netz 112 umfasst ein oder mehrere festverdrahtete und/oder drahtlose Netze. Bei einem Beispiel umfasst das Netz 112 ein zellenbasiertes Netz (beispielsweise ein Long-Term-Evolution(LTE)-Netz, ein Netz der dritten Generation (3G-Netz), ein Netz der vierten Generation (4G-Netz), ein Netz der fünften Generation (5G-Netz), ein Codegetrenntlage-Vielfachzugriff(CDMA)-Netz usw.), ein öffentliches terrestrisches Mobilfunknetz (PLMN), ein lokales Netz (LAN), ein Weitbereichsnetz (WAN), ein Großstadtnetz (MAN), ein Telefonnetz (beispielsweise das öffentliche Wählverbindungsnetz (PSTN), ein privates Netz, ein Adhoc-Netz, ein Intranet, das Internet, ein Netz auf Faseroptikbasis, ein Cloud-Rechennetz usw., eine Kombination einiger oder aller dieser Netze und/oder dergleichen.
  • Das Fern-AV-System 114 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V2I-Vorrichtung 110, dem Netz 112, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V21-System 118 zu stehen. Bei einem Beispiel weist das Fern-AV-System 114 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen befindet sich das Fern-AV-System 114 am selben Ort wie das Flottenverwaltungssystem 116. Gemäß einigen Ausführungsformen ist das Fern-AV-System 114 an der Installation einiger oder aller der Komponenten eines Fahrzeugs, einschließlich eines autonomen Systems, eines Autonomes-Fahrzeug-Computers, durch einen Autonomes-Fahrzeug-Computer implementierter Software und/oder dergleichen, beteiligt. Gemäß einigen Ausführungsformen wartet das Fern-AV-System 114 solche Komponenten und/oder solche Software während der Lebensdauer der Vorrichtung (führt beispielsweise Aktualisierungen und/oder Ersetzungen aus).
  • Das Flottenverwaltungssystem 116 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem V21-Infrastruktursystem 118 zu stehen. Bei einem Beispiel weist das Flottenverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das Flottenverwaltungssystem 116 mit einer Fahrgemeinschaftsfirma (beispielsweise einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (beispielsweise Fahrzeuge, die autonome Systeme aufweisen, und/oder Fahrzeuge, die keine autonomen Systeme aufweisen) und/oder dergleichen) assoziiert.
  • Gemäß einigen Ausführungsformen weist das V21-System 118 wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V21-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 zu stehen. Bei einigen Beispielen ist das V2I-System 118 dafür ausgelegt, über eine vom Netz 112 verschiedene Verbindung in Kommunikation mit der V21-Vorrichtung 110 zu stehen. Gemäß einigen Ausführungsformen weist das V21-System 118 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das V21-System 118 mit einer Kommunalverwaltung oder einer privaten Institution (beispielsweise einer privaten Institution, welche die V2I-Vorrichtung 110 und/oder dergleichen unterhält) assoziiert.
  • Die Anzahl und die Anordnung der in 1 dargestellten Elemente dienen als Beispiel. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten geben. Zusätzlich oder alternativ kann wenigstens ein Element der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens ein anderes Element aus 1 ausgeführt beschrieben wurden. Zusätzlich oder alternativ kann wenigstens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens einen anderen Satz der Elemente der Umgebung 100 ausgeführt beschrieben wurden.
  • Mit Bezug auf 2 sei nun bemerkt, dass das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrang-Steuersystem 204, ein Lenksteuersystem 206 und ein Bremssystem 208 aufweist. Gemäß einigen Ausführungsformen gleicht oder ähnelt das Fahrzeug 200 dem Fahrzeug 102 (siehe 1). Gemäß einigen Ausführungsformen weist das Fahrzeug 102 eine Autonomiefähigkeit auf (beispielsweise Implementieren wenigstens einer Funktion, wenigstens eines Merkmals, wenigstens einer Vorrichtung und/oder dergleichen, wodurch es ermöglicht wird, dass das Fahrzeug 200 teilweise oder ganz ohne einen menschlichen Eingriff betrieben wird, einschließlich ohne Einschränkung vollständig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die nicht auf einen menschlichen Eingriff vertrauen), hochgradig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die in gewissen Situationen nicht auf einen menschlichen Eingriff vertrauen) und/oder dergleichen). Für eine detaillierte Beschreibung vollständig autonomer Fahrzeuge und hochgradig autonomer Fahrzeuge sei auf SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems, der durch Verweis in seiner Gesamtheit aufgenommen ist, verwiesen. Gemäß einigen Ausführungsformen ist das Fahrzeug 200 mit einem Autonome-Flotte-Manager und/oder einer Fahrgemeinschaftsfirma assoziiert.
  • Das autonome System 202 weist eine Sensorsuite auf, die eine oder mehrere Vorrichtungen in der Art von Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c und Mikrofonen 202d aufweist. Gemäß einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen (beispielsweise Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (nachstehend erörtert), Odometrie-Sensoren, die Daten erzeugen, die mit einer Angabe der Strecke, die das Fahrzeug 200 gefahren ist, assoziiert sind, und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren darin enthaltenen Vorrichtungen zur Erzeugung von Daten in Zusammenhang mit der Umgebung 100, wie hier beschrieben. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hier beschriebene Systeme zur Beobachtung der Umgebung (beispielsweise der Umgebung 100), in der sich das Fahrzeug 200 befindet, verwendet werden. Gemäß einigen Ausführungsformen weist das autonome System 202 eine Kommunikationsvorrichtung 202e, einen Autonomes-Fahrzeug-Computer 202f und ein Drive-by-Wire(DBW)-System 202h auf.
  • Kameras 202a weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Kameras 202a umfassen wenigstens eine Kamera (beispielsweise eine Digitalkamera unter Verwendung eines Lichtsensors in der Art einer ladungsgekoppelten Vorrichtung (CCD), einen Komplementärer-Metall-Oxid-Halbleiter(CMOS)-Bildsensor (CIS), eine Wärmekamera, eine Infrarot(IR)-Kamera, eine Ereigniskamera und/oder dergleichen) zur Aufnahme von Bildern, die physische Objekte (beispielsweise Personenkraftwagen, Busse, Bordsteine, Personen und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. Bei einigen Beispielen erzeugt die Kamera 202a Kameradaten, die Bilddaten in Zusammenhang mit einem Bild einschließen. Bei diesem Beispiel können die Bilddaten wenigstens einen dem Bild entsprechenden Parameter (beispielsweise Bildmerkmale in der Art von Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) spezifizieren. Bei einem solchen Beispiel kann das Bild in einem Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) vorliegen. Gemäß einigen Ausführungsformen umfasst die Kamera 202a mehrere unabhängige Kameras, die an einem Fahrzeug zur Aufnahme von Bildern für den Zweck des räumlichen Sehens (Stereosehens) ausgebildet (beispielsweise positioniert) sind. Bei einigen Beispielen umfasst die Kamera 202a mehrere Kameras, die Bilddaten erzeugen und die Bilddaten zum Autonomes-Fahrzeug-Computer 202f und/oder zum Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt) senden. Bei einem solchen Beispiel bestimmt der Autonomes-Fahrzeug-Computer 202f die Tiefe eines oder mehrerer Objekte in einem Gesichtsfeld wenigstens zweier der mehreren Kameras auf der Grundlage der Bilddaten von den wenigstens zwei Kameras. Gemäß einigen Ausführungsformen sind Kameras 202a dafür ausgelegt, Bilder von Objekten innerhalb eines Abstands von den Kameras 202a (beispielsweise bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen) aufzunehmen. Dementsprechend weisen die Kameras 202a Merkmale in der Art von Sensoren und Linsen auf, die für die Wahrnehmung von Objekten optimiert sind, die sich in einem oder mehreren Abständen von den Kameras 202a befinden.
  • Gemäß einer Ausführungsform umfasst die Kamera 202a wenigstens eine Kamera, die dafür ausgelegt ist, ein oder mehrere Bilder in Zusammenhang mit einer oder mehreren Ampeln, Straßenzeichen und/oder anderen physischen Objekten, die visuelle Navigationsinformationen bereitstellen, aufzunehmen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten in Zusammenhang mit einem oder mehreren Bildern. Bei einigen Beispielen erzeugt die Kamera 202a TLD-Daten in Zusammenhang mit einem oder mehreren Bildern, die ein Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen hier beschriebenen Systemen, die Kameras aufweisen, in der Hinsicht, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Gesichtsfeld (beispielsweise Weitwinkellinse, Fischaugenlinse, Linse mit einem Sichtwinkel von etwa 120 Grad oder mehr und/oder dergleichen) zur Erzeugung von Bildern über möglichst viele physische Objekte aufweisen kann.
  • Light-Detection-and-Ranging(LiDAR)-Sensoren 202b weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Die LiDAR-Sensoren 202b können ein SiPM-basiertes LiDAR sein. LiDAR-Sensoren 202b weisen ein System auf, das dafür ausgelegt ist, Licht von einem Lichtemitter (beispielsweise einem Lasersender) auszusenden. Von LiDAR-Sensoren 202b emittiertes Licht umfasst Licht (beispielsweise Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. Gemäß einigen Ausführungsformen trifft während des Betriebs von LiDAR-Sensoren 202b emittiertes Licht auf ein physisches Objekt (beispielsweise ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b rückreflektiert. Gemäß einigen Ausführungsformen durchdringt das von den LiDAR-Sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. LiDAR-Sensoren 202b weisen auch wenigstens einen Lichtdetektor auf, der das Licht erfasst, das vom Lichtemitter emittiert wurde, nachdem es auf ein physisches Objekt getroffen ist. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit LiDAR-Sensoren 202b ein Bild (beispielsweise eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), welches die im Gesichtsfeld der LiDAR-Sensoren 202b enthaltenen Objekte repräsentiert. Bei einigen Beispielen erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem LiDAR-Sensor 202b ein Bild, das die Begrenzungen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einem solchen Beispiel wird das Bild zur Bestimmung der Begrenzungen physischer Objekte im Gesichtsfeld von LiDAR-Sensoren 202b verwendet.
  • Radio-Detection-and-Ranging(Radar)-Sensoren 202c weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Radarsensoren 202c weisen ein System auf, das dafür ausgelegt ist, Radiowellen (entweder gepulst oder kontinuierlich) auszusenden. Die von Radarsensoren 202c ausgesendeten Radiowellen umfassen Radiowellen, die sich innerhalb eines vorgegebenen Spektrums befinden. Gemäß einigen Ausführungsformen treffen von Radarsensoren 202c ausgesendete Radiowellen auf ein physisches Objekt und werden zu den Radarsensoren 202c zurück reflektiert. Gemäß einigen Ausführungsformen werden die von Radarsensoren 202c ausgesendeten Radiowellen von einigen Objekten nicht reflektiert. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit Radarsensoren 202c Signale, welche die in einem Gesichtsfeld der Radarsensoren 202c enthaltenen Objekte repräsentieren. Beispielsweise erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem Radarsensor 202c ein Bild, das die Begrenzungen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einigen Beispielen wird das Bild verwendet, um die Begrenzungen physischer Objekte im Gesichtsfeld der Radarsensoren 202c zu bestimmen.
  • Mikrofone 202d weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Die Mikrofone 202d umfassen ein oder mehrere Mikrofone (beispielsweise Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten in Zusammenhang mit den Audiosignalen erzeugen (beispielsweise repräsentieren). Bei einigen Beispielen weisen die Mikrofone 202d Wandlervorrichtungen und/oder vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen können ein oder mehrere hier beschriebene Systeme die von Mikrofonen 202d erzeugten Daten empfangen und die Position eines Objekts in Bezug auf das Fahrzeug 200 (beispielsweise Abstand und/oder dergleichen) auf der Grundlage der Audiosignale in Zusammenhang mit den Daten bestimmen.
  • Die Kommunikationsvorrichtung 202e umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, dem Autonomes-Fahrzeug-Computer 202f, der Sicherheitssteuereinrichtung 202g und/oder dem DBW-System 202h zu stehen. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung umfassen, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnelt. Gemäß einigen Ausführungsformen umfasst die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug(V2V)-Kommunikationsvorrichtung (beispielsweise eine Vorrichtung, die eine Drahtloskommunikation von Daten zwischen Fahrzeugen ermöglicht).
  • Der Autonomes-Fahrzeug-Computer 202f weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuereinrichtung 202g und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen weist der Autonomes-Fahrzeug-Computer 202f eine Vorrichtung in der Art einer Client-Vorrichtung, einer mobilen Vorrichtung (beispielsweise Mobiltelefon, Tablet und/oder dergleichen), eines Servers (beispielsweise einer Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Graphikverarbeitungseinheiten und/oder dergleichen aufweist) und/oder dergleichen auf. Gemäß einigen Ausführungsformen gleicht oder ähnelt der Autonomes-Fahrzeug-Computer 202f dem hier beschriebenen Autonomes-Fahrzeug-Computer 400. Zusätzlich oder alternativ ist der Autonomes-Fahrzeug-Computer 202f gemäß einigen Ausführungsformen dafür ausgelegt, in Kommunikation mit einem autonomen Fahrzeugsystem (beispielsweise einem autonomen Fahrzeugsystem, das dem Fern-AV-System 114 aus 1 gleicht oder ähnelt), einem Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V21-Vorrichtung (beispielsweise einer V21-Vorrichtung, die der V21-Vorrichtung 110 aus 1 gleicht oder ähnelt) und/oder einem V21-System (beispielsweise einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) zu stehen.
  • Die Sicherheitssteuereinrichtung 202g weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen umfasst die Sicherheitssteuereinrichtung 202g eine oder mehrere Steuereinrichtungen (elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen), die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Gemäß einigen Ausführungsformen ist die Sicherheitssteuereinrichtung 202g dafür ausgelegt, Steuersignale zu erzeugen, die vom Autonomes-Fahrzeug-Computer 202f erzeugten und/oder ausgesendeten Steuersignalen übergeordnet sind (beispielsweise diese überschreiben).
  • Das DBW-System 202h weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit der Kommunikationsvorrichtung 202e und/oder dem Autonomes-Fahrzeug-Computer 202f zu stehen. Bei einigen Beispielen weist das DBW-System 202h eine oder mehrere Steuereinrichtungen (beispielsweise elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen) auf, die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinrichtungen des DBW-Systems 202h dafür ausgelegt, Steuersignale zum Betreiben wenigstens einer anderen Vorrichtung (beispielsweise Blinksignal, Frontscheinwerfer, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu erzeugen und/oder auszusenden.
  • Das Antriebsstrang-Steuersystem 204 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit dem DBW-System 202h zu stehen. Bei einigen Beispielen weist das Antriebsstrang-Steuersystem 204 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen empfängt das Antriebsstrang-Steuersystem 204 Steuersignale vom DBW-System 202h und veranlasst das Antriebsstrang-Steuersystem 204 das Fahrzeug 200, eine Vorwärtsbewegung zu beginnen, eine Vorwärtsbewegung zu unterbrechen, eine Rückwärtsbewegung zu beginnen, eine Rückwärtsbewegung zu unterbrechen, in einer Richtung zu beschleunigen, in einer Richtung zu verzögern, nach links zu fahren, nach rechts zu fahren und/oder dergleichen. Bei einem Beispiel bewirkt das Antriebsstrang-Steuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (beispielsweise Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich wenigstens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
  • Das Lenksteuersystem 206 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. Bei einigen Beispielen weist das Lenksteuersystem 206 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen bewirkt das Lenksteuersystem 206, dass die beiden Vorderräder und/oder die beiden hinteren Räder des Fahrzeugs 200 nach links oder nach rechts gedreht werden, um zu bewirken, dass das Fahrzeug 200 nach links oder nach rechts fährt.
  • Das Bremssystem 208 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit verringert und/oder stationär bleibt. Bei einigen Beispielen weist das Bremssystem 208 wenigstens eine Steuereinrichtung und/oder wenigstens einen Aktuator auf, der dafür ausgelegt ist, das Schließen eines oder mehrerer Bremsbeläge in Zusammenhang mit einem oder mehreren Rädern des Fahrzeugs 200 an einem entsprechenden Rotor des Fahrzeugs 200 zu bewirken. Zusätzlich oder alternativ umfasst das Bremssystem 208 bei einigen Beispielen ein automatisches Notbrems(AEB)-System, ein regeneratives Bremssystem und/oder dergleichen.
  • Gemäß einigen Ausführungsformen weist das Fahrzeug 200 wenigstens einen Plattformsensor (nicht explizit dargestellt) auf, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. Bei einigen Beispielen weist das Fahrzeug 200 Plattformsensoren in der Art eines Empfängers des globalen Positionsbestimmungssystems (GPS), einer Trägheitsmesseinheit (IMU), eines Radgeschwindigkeitssensors, eines Radbrems-Drucksensors, eines Raddrehmomentsensors, eines Motordrehmomentsensors, eines Lenkwinkelsensors und/oder dergleichen auf.
  • 3 zeigt ein schematisches Diagramm einer Vorrichtung 300. Wie dargestellt, weist die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Massenspeicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302 auf. Gemäß einigen Ausführungsformen entspricht die Vorrichtung 300 wenigstens einer Vorrichtung der Fahrzeuge 102 (beispielsweise wenigstens einer Vorrichtung eines Systems der Fahrzeuge 102) und/oder einer oder mehreren Vorrichtungen des Netzes 112 (beispielsweise einer oder mehreren Vorrichtungen eines Systems des Netzes 112). Gemäß einigen Ausführungsformen umfassen eine oder mehrere Vorrichtungen der Fahrzeuge 102 (beispielsweise eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102) und/oder eine oder mehrere Vorrichtungen des Netzes 112 (beispielsweise eine oder mehrere Vorrichtungen eines Systems des Netzes 112) wenigstens eine Vorrichtung 300 und/oder wenigstens eine Komponente der Vorrichtung 300. Wie in 3 dargestellt ist, weist die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Massenspeicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314 auf.
  • Der Bus 302 weist eine Komponente auf, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. Gemäß einigen Ausführungsformen ist der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. Bei einigen Beispielen umfasst der Prozessor einen Prozessor (beispielsweise eine Zentralverarbeitungseinheit (CPU), eine Graphikverarbeitungseinheit (GPU), eine Einheit für eine beschleunigte Verarbeitung (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine Verarbeitungskomponente (beispielsweise ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um wenigstens eine Funktionen auszuführen. Der Speicher 306 umfasst einen Direktzugriffsspeicher (RAM), einen Nurlesespeicher (ROM) und/oder einen anderen Typ einer dynamischen und/oder statischen Speichervorrichtung (beispielsweise Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die vom Prozessor 304 verwendbare Daten und/oder Befehle speichert.
  • Die Massenspeicherkomponente 308 speichert Daten und/oder Software in Bezug auf den Betrieb und die Verwendung der Vorrichtung 300. Bei einigen Beispielen umfasst die Massenspeicherkomponente 308 eine Festplatte (beispielsweise eine Magnetplatte, eine optische Scheibe, eine magnetooptische Scheibe, eine Halbleiterplatte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, einen RAM, einen PROM, einen EPROM, einen FLASH-EPROM, einen NV-RAM und/oder einen anderen Typ eines computerlesbaren Mediums zusammen mit einem entsprechenden Laufwerk.
  • Die Eingabeschnittstelle 310 weist eine Komponente auf, die es der Vorrichtung 300 ermöglicht, Informationen, beispielsweise über eine Benutzereingabe (beispielsweise eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen), zu empfangen. Zusätzlich oder alternativ weist die Eingabeschnittstelle 310 gemäß einigen Ausführungsformen einen Sensor auf, der Informationen erfasst (beispielsweise einen Empfänger des globalen Positionsbestimmungssystems (GPS), einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 weist eine Komponente auf, die von der Vorrichtung 300 ausgegebene Informationen bereitstellt (beispielsweise eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
  • Gemäß einigen Ausführungsformen weist die Kommunikationsschnittstelle 314 eine sendeempfängerartige Komponente (beispielsweise einen Sendeempfänger, einen getrennten Empfänger und Sender und/oder dergleichen) auf, die es der Vorrichtung 300 ermöglicht, über eine festverdrahtete Verbindung, eine drahtlose Verbindung oder eine Kombination einer festverdrahteten und einer drahtlosen Verbindung mit anderen Vorrichtungen zu kommunizieren. Bei einigen Beispielen ermöglicht es die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. Bei einigen Beispielen umfasst die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Funkfrequenz(RF)-Schnittstelle, eine Universeller-serieller-Bus(USB)-Schnittstelle, eine WiFiO-Schnittstelle, eine Mobilfunkschnittstelle und/oder dergleichen.
  • Gemäß einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere hier beschriebene Prozesse aus. Die Vorrichtung 300 führt diese Prozesse auf der Grundlage davon aus, dass der Prozessor 304 von einem computerlesbaren Medium in der Art des Speichers 305 und/oder der Massenspeicherkomponente 308 gespeicherte Softwarebefehle ausführt. Ein computerlesbares Medium (beispielsweise ein nichtflüchtiges computerlesbares Medium) wird hier als nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung weist einen sich innerhalb einer einzigen physischen Speichervorrichtung befindenden Speicherplatz oder einen über mehrere physische Speichervorrichtungen verteilten Speicherplatz auf.
  • Gemäß einigen Ausführungsformen werden Softwarebefehle über die Kommunikationsschnittstelle 314 von einem anderen computerlesbaren Medium oder einer anderen Vorrichtung in den Speicher 306 und/oder die Speichervorrichtung 308 gelesen. Wenn sie ausgeführt werden, veranlassen im Speicher 306 und/oder in der Speichervorrichtung 308 gespeicherte Softwarebefehle den Prozessor 304, einen oder mehrere hier beschriebene Prozesse auszuführen. Zusätzlich oder alternativ wird anstelle von Softwarebefehlen oder in Kombination damit eine festverdrahtete Schaltungsanordnung verwendet, um einen oder mehrere hier beschriebene Prozesse auszuführen. Demgemäß sind hier beschriebene Ausführungsformen nicht auf eine spezifische Kombination einer Hardwareschaltungsanordnung und Software beschränkt, es sei denn, dass explizit etwas anderes ausgesagt wird.
  • Der Speicher 306 und/oder die Massenspeicherkomponente 308 weist einen Datenspeicher oder wenigstens eine Datenstruktur (beispielsweise eine Datenbank und/oder dergleichen) auf. Die Vorrichtung 300 ist in der Lage, Informationen vom Datenspeicher oder von der wenigstens einen Datenstruktur im Speicher 306 oder in der Speichervorrichtung 308 zu empfangen, darin zu speichern, Informationen dazu zu übermitteln oder darin gespeicherte Informationen zu suchen. Bei einigen Beispielen umfassen die Informationen Netzdaten, Eingangsdaten, Ausgangsdaten oder eine Kombination davon.
  • Gemäß einigen Ausführungsformen ist die Vorrichtung 300 dafür ausgelegt, Softwarebefehle auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (beispielsweise einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) gespeichert sind. Hier bezieht sich der Begriff „Modul“ auf wenigstens einen im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherten Befehl, der, wenn er durch den Prozessor 304 und/oder einen Prozessor einer anderen Vorrichtung (beispielsweise eine andere Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) ausgeführt wird, die Vorrichtung 300 (beispielsweise wenigstens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere hier beschriebene Prozesse auszuführen. Gemäß einigen Ausführungsformen ist ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
  • Die Anzahl und Anordnung in 3 dargestellter Komponenten dienen als Beispiel. Gemäß einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 aufweisen. Zusätzlich oder alternativ kann ein Satz von Komponenten (beispielsweise eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen ausführen, die als von einer anderen Komponente oder einem anderen Satz von Komponenten der Vorrichtung 300 ausgeführt beschrieben werden.
  • 4 zeigt ein beispielhaftes Blockdiagramm eines Autonomes-Fahrzeug-Computers 400 (manchmal als „AV-Stapel“ bezeichnet). Wie dargestellt ist, weist der Autonomes-Fahrzeug-Computer 400 ein Wahrnehmungssystem 402 (manchmal als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als Steuermodul bezeichnet) und eine Datenbank 410 auf. Gemäß einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein autonomes Navigationssystem eines Fahrzeugs (beispielsweise den Autonomes-Fahrzeug-Computer 202f des Fahrzeugs 200) aufgenommen und/oder darin implementiert. Zusätzlich oder alternativ sind gemäß einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme (beispielsweise ein oder mehrere Systeme, die dem Autonomes-Fahrzeug-Computer 400 und/oder dergleichen gleichen oder ähneln) aufgenommen. Bei einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme aufgenommen, die sich in einem Fahrzeug und/oder wenigstens einem fernen System, wie hier beschrieben, befinden. Gemäß einigen Ausführungsformen sind einige und/oder alle der im Autonomes-Fahrzeug-Computer 400 enthaltenen Systeme in Software (beispielsweise in Softwarebefehlen, die im Speicher gespeichert sind), Computerhardware (beispielsweise durch Mikroprozessoren, Mikrosteuereinrichtungen, anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es sei auch bemerkt, dass der Autonomes-Fahrzeug-Computer 400 gemäß einigen Ausführungsformen dafür ausgelegt ist, in Kommunikation mit einem fernen System (beispielsweise einem Autonomes-Fahrzeug-System, das dem Fern-AV-System 114 gleicht oder ähnelt, einem Flottenverwaltungssystem 116, das dem Flottenverwaltungssystem 116 gleicht oder ähnelt, einem V21-System, das dem V21-System 118 gleicht oder ähnelt und/oder dergleichen) zu stehen.
  • Gemäß einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten in Zusammenhang mit wenigstens einem physischen Objekt (beispielsweise Daten, die vom Wahrnehmungssystem 402 verwendet werden, um das wenigstens eine physische Objekt zu erkennen) in einer Umgebung und klassifiziert das wenigstens eine physische Objekt. Bei einigen Beispielen empfängt das Wahrnehmungssystem 402 von wenigstens einer Kamera (beispielsweise Kameras 202a) aufgenommene Bilddaten, wobei das Bild mit einem oder mehreren physischen Objekten innerhalb eines Gesichtsfelds der wenigstens einen Kamera assoziiert ist (diese beispielsweise repräsentiert). Bei einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 wenigstens ein physisches Objekt auf der Grundlage einer oder mehrerer Gruppierungen physischer Objekte (beispielsweise Fahrräder, Fahrzeuge, Verkehrszeichen, Fußgänger und/oder dergleichen). Gemäß einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten in Zusammenhang mit der Klassifikation der physischen Objekte auf der Grundlage der vom Wahrnehmungssystem 402 vorgenommenen Klassifikation der physischen Objekte zum Planungssystem 404.
  • Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einem Bestimmungsort und erzeugt Daten in Zusammenhang mit wenigstens einer Route (beispielsweise Routen 106), entlang derer ein Fahrzeug (beispielsweise die Fahrzeuge 102) zu einem Bestimmungsort fahren kann. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (beispielsweise Daten in Zusammenhang mit der Klassifikation physischer Objekte, wie vorstehend beschrieben) und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einer aktualisierten Position eines Fahrzeugs (beispielsweise der Fahrzeuge 102) vom Lokalisierungssystem 406 und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
  • Gemäß einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit dem Ort eines Fahrzeugs (beispielsweise der Fahrzeuge 102) in einem Bereich (welche diesen beispielsweise repräsentieren). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten in Zusammenhang mit wenigstens einer von wenigstens einem LiDAR-Sensor (beispielsweise den LiDAR-Sensoren 202b) erzeugten Punktwolke. Bei gewissen Beispielen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit wenigstens einer Punktwolke von mehreren LiDAR-Sensoren und erzeugt das Lokalisierungssystem 406 eine kombinierte Punktwolke auf der Grundlage jeder der Punktwolken. Bei diesen Beispielen vergleicht das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D) und/oder dreidimensionalen (3D) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs im Bereich auf der Grundlage dessen, dass das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. Gemäß einigen Ausführungsformen weist die Karte eine vor der Navigation des Fahrzeugs erzeugte kombinierte Punktwolke des Bereichs auf. Gemäß einigen Ausführungsformen umfassen Karten ohne Einschränkung Karten hoher Genauigkeit der geometrischen Eigenschaften der Fahrbahn, Karten, die Straßennetz-Verbindbarkeitseigenschaften beschreiben, Karten, die physische Eigenschaften der Fahrbahn beschreiben (wie Verkehrsgeschwindigkeit, Verkehrsaufkommen, die Anzahl von Fahrzeug- und Radfahrer-Verkehrsspuren, die Fahrspurbreite, Fahrspur-Verkehrsrichtungen oder Fahrspur-Markierungstypen und -orte oder Kombinationen davon) und Karten, welche die räumlichen Orte von Straßenmerkmalen in der Art von Fußgängerüberwegen, Verkehrszeichen oder anderen Verkehrssignalen verschiedener Typen beschreiben. Gemäß einigen Ausführungsformen wird die Karte in Echtzeit auf der Grundlage der vom Wahrnehmungssystem empfangenen Daten erzeugt.
  • Bei einem anderen Beispiel empfängt das Lokalisierungssystem 406 von einem Empfänger des globalen Positionsbestimmungssystems (GPS) erzeugte Daten des globalen Navigationssatellitensystems (GNSS). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten in Zusammenhang mit dem Ort des Fahrzeugs im Bereich und bestimmt das Lokalisierungssystem 406 die Breite und Länge des Fahrzeugs im Bereich. Bei einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs im Bereich auf der Grundlage der Breite und Länge des Fahrzeugs. Gemäß einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs. Bei einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs auf der Grundlage dessen, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. Bei einem solchen Beispiel umfassen die Daten in Zusammenhang mit der Position des Fahrzeugs Daten in Zusammenhang mit einer oder mehreren semantischen Eigenschaften, die der Position des Fahrzeugs entsprechen.
  • Gemäß einigen Ausführungsformen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs. Bei einigen Beispielen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrang-Steuersystem (beispielsweise das DBW-System 202h, das Antriebsstrang-Steuersystem 204 und/oder dergleichen, ein Lenksteuersystem (beispielsweise das Lenksteuersystem 206) und/oder ein Bremssystem (beispielsweise das Bremssystem 208) arbeiten. Bei einem Beispiel, bei dem eine Fahrstrecke ein Abbiegen nach links aufweist, überträgt das Steuersystem 408 ein Steuersignal, um das Lenksteuersystem 206 zu veranlassen, den Lenkwinkel des Fahrzeugs 200 einzustellen, wodurch das Fahrzeug 200 veranlasst wird, nach links zu fahren. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um andere Vorrichtungen (beispielsweise Frontscheinwerfer, Abbiegesignale, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, Zustände zu ändern.
  • Gemäß einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell (beispielsweise wenigstens ein mehrschichtiges Perzeptron (MLP), wenigstens ein faltendes neuronales Netz (CNN), wenigstens ein rekurrentes neuronales Netz (RNN), wenigstens einen Autoencoder, wenigstens einen Transformer und/oder dergleichen). Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 allein oder in Kombination mit einem oder mehreren der vorstehend erwähnten Systeme wenigstens ein Maschinenlernmodell. Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell als Teil einer Pipeline (beispielsweise einer Pipeline zur Identifikation eines oder mehrerer Objekte, die sich in einer Umgebung und/oder dergleichen befinden).
  • Die Datenbank 410 speichert Daten, die zum Wahrnehmungssystem 402, zum Planungssystem 404, zum Lokalisierungssystem 406 und/oder zum Steuersystem 408 gesendet, davon empfangen und/oder dadurch aktualisiert werden. Bei einigen Beispielen weist die Datenbank 410 eine Massenspeicherkomponente (beispielsweise eine Massenspeicherkomponente, die der Massenspeicherkomponente 308 aus 3 gleicht oder ähnelt) auf, die Daten und/oder Software in Bezug auf den Betrieb speichert und wenigstens ein System des Autonomes-Fahrzeug-Computers 400 verwendet. Gemäß einigen Ausführungsformen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten wenigstens eines Bereichs. Bei einigen Beispielen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Lands, eines Staats, eines souveränen Staats (beispielsweise eines Lands) und/oder dergleichen. Bei einem solchen Beispiel kann ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einem oder mehreren befahrbaren Gebieten (beispielsweise einspurigen Straßen, mehrspurigen Straßen, Schnellstraßen, Nebenwegen, Querfeldeinwegen und/oder dergleichen) fahren und wenigstens einen LiDAR-Sensor (beispielsweise einen LiDAR-Sensor, der dem LiDAR-Sensor 202b gleicht oder ähnelt) veranlassen, Daten in Zusammenhang mit einem Bild zu erzeugen, das die in einem Gesichtsfeld des wenigstens einen LiDAR-Sensors enthaltenen Objekte repräsentiert.
  • Gemäß einigen Ausführungsformen kann die Datenbank 410 über mehrere Vorrichtungen hinweg implementiert werden. Bei einigen Beispielen ist die Datenbank 410 in ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt), ein autonomes Fahrzeugsystem (beispielsweise ein autonomes Fahrzeugsystem, das dem Fern-AV-System 114 gleicht oder ähnelt), ein Flottenverwaltungssystem (beispielsweise ein Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), ein V21-System (beispielsweise ein V21-System, das dem V2I-System 118 aus 1 gleicht oder ähnelt) und/oder dergleichen aufgenommen.
  • 5 zeigt ein Diagramm einer Implementation 500 eines Prozesses zur Zusammenführung niedriger Ebene. Gemäß einigen Ausführungsformen weist die Implementation 500 ein Wahrnehmungssystem 504a, ein Planungssystem 504b und ein Steuersystem 504c auf. Gemäß einigen Ausführungsformen gleicht oder ähnelt das Wahrnehmungssystem 504a dem System 402 aus 4. Gemäß einigen Ausführungsformen gleicht oder ähnelt das Planungssystem 504b dem Planungssystem 404 aus 4. Gemäß einigen Ausführungsformen gleicht oder ähnelt das Steuersystem 504c dem Steuersystem 408 aus 4.
  • Das Wahrnehmungssystem 504a kann Daten in einer Umgebung des Fahrzeugs 502 unter Verwendung von Hardware des Fahrzeugs 502 erfassen. Bei Beispielen umfasst die Fahrzeughardware Vorrichtungen, die Informationen erfassen, welche verarbeitet werden, um Objekte in der Umgebung zu identifizieren (beispielsweise LiDAR-Sensoren 202b aus 2, LiDAR-System 602 aus 6). Die Objekte können klassifiziert werden, wobei sie in Typen in der Art von Fußgänger, Fahrrad, Automobil, Verkehrszeichen usw. gruppiert werden. Die erfassten Informationen können auch verwendet werden, um eine Szenenbeschreibung in Zusammenhang mit der unmittelbaren Umgebung zu erzeugen. Das Wahrnehmungssystem 504a kann kontinuierlich oder periodisch Objektklassifikationen 508 und andere Daten zum Planungssystem 504b übertragen. Das Smart-LiDAR ermöglicht, wie hier verwendet, eine Objektklassifikation mit einem größeren Genauigkeitsniveau als bei herkömmlichen Techniken. Das Planungssystem 504b verwendet Daten unter anderem vom Wahrnehmungssystem 504a, um eine Route zu erzeugen. Die Route wird zu einem Steuersystem 504c übertragen (510). Das Steuersystem 504c veranlasst das Fahrzeug, entlang der durch das Planungssystem 504b erzeugten Route zu navigieren.
  • 6 zeigt ein Beispiel eines LiDAR-Systems 602. Das LiDAR-System 602 emittiert Licht 604a-c von einem oder mehreren Lichtemittern 606 (beispielsweise Lasersender). Von einem LiDAR-System emittiertes Licht liegt typischerweise nicht im sichtbaren Spektrum, und es wird beispielsweise häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (beispielsweise ein Fahrzeug) und wird zum LiDAR-System 602 rückreflektiert. Das LiDAR-System 602 weist auch einen oder mehrere Lichtdetektoren 610 (beispielsweise Photodiode, Pin-Photodiode, APD, SPAD und SiPM) auf, die das reflektierte Licht erfassen. Gemäß einer Ausführungsform erzeugen ein oder mehrere Datenverarbeitungssysteme in Zusammenhang mit dem LiDAR-System ein Bild 612, welches das Gesichtsfeld 614 des LiDAR-Systems repräsentiert. Das Bild 612 weist Informationen auf, welche die Grenzen und die Reflektivität 616 eines physischen Objekts 608 repräsentieren. Auf diese Weise wird das Bild 612 verwendet, um die Grenzen 616 eines oder mehrerer physischer Objekte in der Nähe eines AVs zu bestimmen.
  • 7 zeigt das LiDAR-System 602 im Betrieb. Beim Beispiel aus 7 empfängt das Fahrzeug 102 sowohl eine Kamerasystemausgabe in Form eines Bilds 702 als auch eine LiDAR-Systemausgabe in Form von LiDAR-Datenpunkten 704. Bei der Verwendung vergleichen die Datenverarbeitungssysteme des Fahrzeugs 102 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 auch unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das Fahrzeug 102 die Grenzen des physischen Objekts auf der Grundlage der Kontur und der Dichte der Datenpunkte 704 wahr.
  • 8 zeigt den Betrieb des LiDAR-Systems 602 in zusätzlichen Einzelheiten. Wie vorstehend beschrieben, erfasst das Fahrzeug 102 die Grenze und die Reflektivität eines physischen Objekts auf der Grundlage von Eigenschaften der vom LiDAR-System 602 erfassten Datenpunkte. Wie in 8 dargestellt ist, reflektiert ein flaches Objekt in der Art des Bodens 802 von einem LiDAR-System 602 emittiertes Licht 804a-d in einer konsistenten Weise. Wenn das Fahrzeug 102 über den Boden 802 fährt, erfasst das LiDAR-System 602 weiter vom nächsten gültigen Bodenpunkt 806 reflektiertes Licht, falls nichts die Straße verdeckt. Falls jedoch ein Objekt 808 die Straße verdeckt, wird das vom LiDAR-System 602 emittierte Licht 804e-f inkonsistent und nicht in der erwarteten konsistenten Weise von Punkten 810a-b reflektiert. Anhand dieser Informationen kann das Fahrzeug 102 feststellen, dass das Objekt 808 vorhanden ist.
  • Gemäß einer Ausführungsform ist der SiPM ein Array von SPADs. Im Allgemeinen ist eine SPAD in der Lage, Einzelphotonen zu erfassen, wodurch Auslösepulse kurzer Dauer bereitgestellt werden, die gezählt werden können. Sie können jedoch infolge der hohen Geschwindigkeit, mit der sich die Lawine aufbaut, und des geringen Zeit-Jitters der Vorrichtung auch verwendet werden, um die Ankunftszeit des einfallenden Photons zu erhalten. Eine SPAD weist eine Vorspannung auf, die deutlich über ihrer Durchbruchspannung in Sperrrichtung liegt, und sie ist so aufgebaut, dass ein Betrieb ohne eine Beschädigung oder übermäßiges Rauschen möglich ist. Im Allgemeinen verwendet eine im Geiger-Modus arbeitende Photodiode einen Durchbruchmechanismus zum Erreichen einer hohen Verstärkung und wird als SPAD bezeichnet.
  • Im Allgemeinen werden die von den SiPM-Mikrozellen (beispielsweise SPAD) beobachteten Reflexionen summiert, um ein Ausgangssignal zu erzeugen. Eine innere und/oder äußere Schaltung berechnet die optische Leistung und die Ankunftszeit des reflektierten Lichts durch Messen des Stromsignals (beispielsweise Messen der Zeit der ansteigenden Flanke, des Peaks, der Fläche und der Form des Signals). Beispielsweise können zeitliche Berechnungen auf der Flanke, dem Peak und der Form des Signals beruhen und können Leistungsberechnungen auf dem Peak, der Fläche und der Form des Signals beruhen. Gemäß einer Ausführungsform zählt eine Ausgangsschaltung die Anzahl der aktivierten Mikrozellen (beispielsweise aktive SiPM-Vorrichtung). Gemäß einer Ausführungsform misst die Ausgangsschaltung die Anfangszeit des von den Mikrozellen ausgegebenen Pulses, um die Ankunftszeit des Photons zu erhalten. Im Allgemeinen ist der SiPM-Dynamikbereich möglicherweise durch die Anzahl der Mikrozellen (SPAD) in jedem SiPM-Pixel begrenzt, wodurch die Intensitäts-/Reflektivitätsgenauigkeit grundsätzlich beschränkt wird.
  • 9 ist ein Diagramm einer Pixelanordnung 902 an einem SiPM-basierten Sensor 900. Die in der Pixelanordnung 902 dargestellten Pixel 904a - 904d sind vier Pixel (beispielsweise in einem Block benachbarter 2x2-Zellen) der Gesamtpixelanordnung 902 mit wenigstens n mal m aufweisenden Abmessungen. Insbesondere umfassen die Pixel 904a - 904d ein Pixel (n, m) 904a, ein Pixel (n, m+1) 904b, ein Pixel (n+1, m) 904c und ein Pixel (n+1, m+1) 904d. Jedes der Pixel 904a - 904d weist ein oder mehrere Gebiete auf, die jeweils Geiger-Modus(GM)-Mikrozellen 906, Photodioden 908 mit optischen Filtern 910 und optische Gräben 912 aufweisen.
  • Gemäß einigen Ausführungsformen arbeitet der SiPM-basierte Sensor 900 durch Auslesen sowohl der Photodioden 908 als auch der GM-Mikrozellen 906, um ein duales Ausgangssignal zu erzeugen. Auf diese Weise werden zwei getrennte Anoden gleichzeitig ausgegeben. Gemäß einigen Ausführungsformen ist die Ausgabe des SiPM-basierten Sensors 900 eine kontinuierliche analoge Ausgabe (beispielsweise Stromausgabe). Auf diese Weise arbeitet der SiPM-basierte Sensor 900 als analoge Vorrichtung, während der von den mehreren Pixeln des SiPMs ausgegebene Strom parallel ausgelesen wird. Gemäß einigen Ausführungsformen besteht die Ausgabe des SiPM-basierten Sensors 900 aus individuellen Pulsen, die unterscheidbar sind und demgemäß gezählt werden können (beispielsweise digitale Ausgabe). Die vom SiPM ausgegebenen Pulse werden gezählt, um ein Ausgangssignal zu erzeugen. Die Ausgabe des SiPM-basierten Sensors 900 gemäß den vorliegenden Techniken ermöglicht die Erzeugung von Signalen innerhalb eines Dynamikbereichs von einem einzigen Photon bis zu hunderten und tausenden von Photonen, die durch die GM-Mikrozellen 906 und die Photodioden 908 detektiert werden. Typischerweise könnten GM-Mikrozellen 906 und 908 unterschiedliche optische Filter, beispielsweise Photodioden 908 mit einem RGB-Filter und GM-Mikrozellen 906 mit einem Nahinfrarot(NIR)-Filter aufweisen. Wenn GM-Mikrozellen 906 und Photodioden 908 das gleiche optische Filter, beispielsweise ein NIR-Filter mit gleichen oder unterschiedlichen Transmissionseigenschaften, aufweisen, würden die Ausgangssignale der Photodiode 908 dabei helfen, den Dynamikbereich zu vergrößern.
  • Bei Beispielen bilden ein oder mehrere SiPM-basierte Pixel 904 des SiPM-basierten Sensors 900 eine Reihenkombination einer GM-Mikrozelle 906 und einer Photodiode mit einem optischen Filter 910. Der SiPM-basierte Sensor 900 ist ein Photodetektor, der Lichtsignale (oder optische Signale) bis zum Einzelphotonniveau hinab misst, zeitlich festlegt und quantifiziert. Im Allgemeinen weist ein SiPM-Pixel 904 eine Anzahl von Mikrozellen in einem Array, die sich den gemeinsamen Ausgang (beispielsweise Anode und Kathode) teilen, auf. Gemäß einer Ausführungsform ist jede Mikrozelle eine Reihenkombination einer Einzelphoton-Lawinenphotodiode (SPAD) und einer Löschschaltung (beispielsweise eines Widerstands). Alle Mikrozellen sind parallel geschaltet und erfassen Photonen unabhängig, und der sich ergebende SiPM-basierte Sensor 900 weist eine Anzahl von Pixeln 904, wobei einige mehrere Anoden aufweisen, auf. Gemäß einigen Ausführungsformen kann der SiPM-basierte Sensor 900 ein oder mehrere SiPM-basierte Pixel 904 aufweisen, die Photonen- oder optische Rückkehrsignale unabhängig erfassen können. Jedes Pixel 904 kann eine Anzahl von GM-Mikrozellen 906 (beispielsweise SPAD) und eine (typischerweise) oder mehrere Teilgebiete der Photodiode 908 aufweisen.
  • Wenn bei einem Betrieb während eines Niederflussereignisses ein Photon von einer Mikrozelle erfasst wird, wird ein Elektron-Loch-Paar erzeugt. Wenn innerhalb des Verarmungsgebiets ein ausreichend hohes elektrisches Feld erzeugt wird, werden die erzeugten Ladungsträger (Elektron oder Loch) beschleunigt, so dass sie ausreichend kinetische Energie aufweisen, um sekundäre Elektron-Loch-Paare zu erzeugen (Stoßionisation). Ein makroskopischer Strom (Lawinenstrom) fließt durch die Mikrozelle, bis sie durch passives Löschen (beispielsweise den Löschwiderstand) oder eine aktive Schaltungsanordnung gelöscht wird. Die Ströme von jeder aktivierten Mikrozelle werden summiert und kombiniert, um eine pseudoanaloge Ausgabe (eine chronologische Überlagerung von Strompulsen aktivierter Mikrozellen) zu bilden, die verwendet wird, um den Betrag eines Photonenflusses zu berechnen. Das Löschen verringert eine an den SiPM angelegte Spannung in Sperrrichtung auf einen Wert unterhalb seiner Durchbruchspannung, so dass die Stromlawine unterbrochen wird. Der SiPM wird dann wieder auf eine Vorspannung geladen und ist für die Erfassung nachfolgender Photonen verfügbar.
  • Gemäß einer Ausführungsform sind die Photodioden 908 mit optischen Filtern 910 jeweils dafür ausgelegt, eine Filterung auszuführen, so dass sie für eine der RGB-Farben empfindlich sind (beispielsweise ähnlich einem bildgebenden Sensor). Bei der in 9 dargestellten Anordnung von Photodioden 908 mit optischen Filtern 910 ist die Photodiode 908 mit einem optischen Filter 910r dafür ausgelegt, rotes Licht zu empfangen, sind die Photodioden 908 mit einem optischen Filter 910g dafür ausgelegt, grünes Licht zu empfangen, und ist die Photodiode 910b dafür ausgelegt, blaues Licht zu empfangen. Die optischen Gräben 912 grenzen die Photodioden 908 von anderen lichtempfindlichen Gebieten (beispielsweise SPAD 906) in jedem der Pixel 904a - 904d ab. Gemäß einer Ausführungsform sind die optischen Gräben 912 optional.
  • Die Anwendung des Teilgebiets der Photodiode mit RGB-Filtern auf jedes SiPM-Pixel (oder einige SiPM-Pixel) ermöglicht die Erfassung kameraartiger Daten gleichzeitig mit Punktwolkendaten unter Verwendung derselben Hardware (beispielsweise bei einem für 10 beschriebenen Prozess). Weil Techniken der vorliegenden Offenbarung sowohl Punktwolken- als auch Kameradaten gleichzeitig erfassen, wird der Kalibrierprozess geändert. Beispielsweise kann die Erfassung mehrerer Datentypen unter Verwendung eines einzigen Sensors die Kalibrierung effizienter machen.
  • Traditionell wird eine Kalibrierung zwischen 3D-Punktwolkendaten und 2D-Kameradaten ausgeführt, um eine Entsprechung zwischen von getrennten Hardwaresensoren ausgegebenen Daten zu erzeugen. Beispielsweise verwendet eine traditionelle Kalibrierung häufig eine oder mehrere Transformationen, die zur Zusammenführung der Daten verwendet werden. Im Allgemeinen ermöglicht eine Datenzusammenführung eine genaue Interpretation von Objekten in der Umgebung. Ein SiPM-Sensor gemäß den vorliegenden Techniken weist Hardware auf, die Punktwolkendaten erfasst, die auf demselben Substrat am gleichen Ort mit Hardware, die 2D-Bilddaten erfasst, anzuordnen ist. Durch die gemeinsame Anordnung auf demselben Substrat werden eine oder mehrere Transformationen zur Zusammenführung der mehreren von der SiPM-Vorrichtung ausgegebenen Datentypen beseitigt. Insbesondere ist die Transformation, die Punkte aus einem LiDAR-Koordinatensystem in ein Kamerakoordinatensystem abbildet, zumindest teilweise auf der Grundlage intrinsischer Parameter, die den SiPM-basierten Sensor kennzeichnen, bekannt.
  • Bei einem Beispiel weist ein Pixel eines Sensors gemäß den vorliegenden Techniken einen ersten Photodiodentyp (beispielsweise GM-Mikrozellen 906 mit interner Verstärkung) und einen zweiten Photodiodentyp (beispielsweise Photodioden 908 mit optischen Filtern 910) auf. Der zweite Photodiodentyp kann eine andere interne Verstärkung aufweisen (beispielsweise PD, PIN-PD oder APD). Der erste und der zweite Photodiodentyp erfassen in der Umgebung emittiertes Licht. Durch den ersten Photodiodentyp erfasste Daten werden durch den Sensor ausgegeben und verarbeitet, um 3D-Positions(beispielsweise Entfernungsdaten)- und Reflektivitätsdaten zu erzeugen. Bei Beispielen können 3D-Positions- und Reflektivitätsdaten Punktwolkendaten sein. In einigen Fällen ist der zweite Photodiodentyp physisch mit einem Farbfilter (beispielsweise sichtbar oder NIR) gekoppelt. Beispielsweise ist das Farbfilter ein RGB-Filter, das andere Farben bei einer Reflexion entfernt, während eine vorgegebene Farbe durchgelassen wird, wodurch es der entsprechenden Photodiode ermöglicht wird, Farbinformationen zu erfassen. Das Farbfilter wird unter Verwendung eines Filter-Arrays in einem vordefinierten Muster über einer oder mehreren Photodioden verwirklicht. Durch den zweiten Photodiodentyp, der mit einem Farbfilter gekoppelt ist, erfasste Daten werden durch den Sensor ausgegeben und verarbeitet, um 2D-Bilddaten zu erzeugen. Die Positionsinformationen und 2D-Farbbildinformationen werden auf einer Pro-Pixel-Basis vor dem Auslesen durch eine externe Schaltungsanordnung zusammengeführt. Auf diese Weise ermöglichen die vorliegenden Techniken eine Datenzusammenführung niedriger Ebene auf einer Pro-Pixel-Basis vor der Ausgabe der Sensordaten.
  • Die Photodiode 908 mit optischen Filtern 910 kann Rauschen und/oder optisches Übersprechen herbeiführen. Beispielsweise können Rauschen und/oder optisches Übersprechen Interaktionen zwischen der Photodiode 908 und den Mikrozellen 906 einschließen, die durch Photonen- und Elektronenstreuungen, die durch optische Brechung und Minoritätsträger bewirkt werden, herbeigeführt werden. Gemäß einer Ausführungsform können in das Substrat eingebrachte Gräben das Rauschen und/oder Übersprechen zwischen Teilpixeln abschwächen. Beispielsweise können Gräben (beispielsweise optische Gräben 912) als Nicht-Lumineszenzbereiche zwischen benachbarten Teilpixeln implementiert werden.
  • Mit Bezug auf 10 wird nun ein Prozess 1000 zur Zusammenführung von einem ersten bzw. einem zweiten Photodiodentyp erfasster 3D-Positions- und 2D-Bildinformationen beschrieben. Gemäß einigen Ausführungsformen werden einer oder mehrere der mit Bezug auf den Prozess 1000 beschriebenen Schritte durch das autonome System 202 ausgeführt (beispielsweise vollständig, teilweise und/oder dergleichen). Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen einer oder mehrere der mit Bezug auf den Prozess 1000 beschriebenen Schritte (beispielsweise vollständig, teilweise und/oder dergleichen) durch eine andere Vorrichtung oder Gruppe von Vorrichtungen, welche von der Vorrichtung 300 getrennt sind oder diese einschließen, ausgeführt. Der erste Photodiodentyp (beispielsweise ein Teilgebiet des SPAD-Arrays) kann sowohl 3D-Positions(Entfernungs)- als auch Reflektivitätsinformationen bereitstellen. Unter Verwendung des ersten Photodiodentyps (beispielsweise GM-Mikrozellen 906) und eines zweiten Photodiodentyps (beispielsweise Photodioden 908 mit Filtern 910). Die 3D-Position, die Reflektivität und das 2D-Bild können auf einer Pro-Pixel-Basis zusammengeführt werden.
  • Bei 1002 werden Reflexionen (beispielsweise erfasste Informationen) mit einem ersten Photodiodentyp (beispielsweise GM-Mikrozelle 906) von in einer Umgebung (beispielsweise der Umgebung 100 aus 1) emittiertem Licht erfasst, um Positions- und Reflektivitätsinformationen zu erhalten. Beispielsweise kann das Wahrnehmungssystem 504a Informationen in einer Umgebung des Fahrzeugs 502 unter Verwendung von Hardware des Fahrzeugs 502 erfassen. Bei einigen Beispielen können die erfassten Informationen Informationen in Bezug auf in Typen gruppierte Objekte in der Art von Fußgängern, Fahrrädern, Automobilen, Verkehrszeichen usw. aufweisen. Die erfassten Informationen können Reflexionen in der Art des vom LiDAR-System 602 emittierten reflektierten Lichts 804a-d aufweisen. Bei diesen Beispielen kann das reflektierte Licht vom LiDAR-System 602 zum Objekt 808 emittiertes und von Punkten 810a-b reflektiertes Licht 804e-f sein. Gemäß einigen Ausführungsformen ist der erste Photodiodentyp eine Einzelphoton-Lawinendiode (SPAD).
  • Bei 1004 werden Farbinformationen mit einem zweiten Photodiodentyp (beispielsweise Photodioden 908 mit optischen Filtern 910) erfasst. Der zweite Photodiodentyp ist mit einem Farbfilter gekoppelt, um die Farbinformationen zu erhalten (beispielsweise von einer Photodiode mit einem optischen Filter 910r, das dafür ausgelegt ist, rotes Licht zu empfangen, von Photodioden mit einem optischen Filter 910g, das dafür ausgelegt ist, grünes Licht zu empfangen, und von einer Photodiode mit einem optischen Filter 91 0b, das dafür ausgelegt ist, blaues Licht zu empfangen). Der erste Photodiodentyp und der zweite Photodiodentyp sind auf einem gemeinsamen Substrat (beispielsweise dem SiPM-basierten Sensor 900) angeordnet. Gemäß einigen Ausführungsformen ist der zweite Photodiodentyp (oder Photodetektor) eine Photodiode (PD) oder PIN-Photodiode (PIN).
  • Bei 1006 werden die Entfernungs(3D-Positions)-Informationen und die Farb(2D-Bild)-Informationen auf einer Pro-Pixel-Basis (beispielsweise durch das Wahrnehmungssystem 504a) zusammengeführt. Beispielsweise können die Entfernungs- und Reflektivitätsdaten und die Bilddaten durch den SiPM-basierten Sensor 900 zusammengeführt werden, bevor sie durch das Wahrnehmungssystem 504a verarbeitet werden.
  • Gemäß einigen Ausführungsformen wird beim Prozess 1000 ferner ein tiefes Grabenmuster (beispielsweise ein optischer Graben) auf das gemeinsame Substrat angewendet, so dass das Übersprechen zwischen dem zweiten Photodiodentyp und dem ersten Photodiodentyp verringert wird. Beispielsweise können optische Gräben 912 in den SiPM-basierten Sensor 900 eingebaut werden, um ein Übersprechen zwischen den GM-Mikrozellen 906 und den Photodioden 908 mit optischen Filtern 910 zu verhindern.
  • Gemäß einigen Ausführungsformen werden die zusammengeführten Positions- und Reflektivitätsinformationen und die Farbinformationen dem Steuersystem eines autonomen Fahrzeugs bereitgestellt. Beispielsweise kann das Steuersystem 504c direkt auf den SiPM-basierten Sensor 900 zugreifen.
  • In der vorhergehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezug auf zahlreiche spezifische Einzelheiten, die von Implementation zu Implementation variieren können, beschrieben. Dementsprechend sind die Beschreibung und die Zeichnungen als erläuternd und nicht als einschränkend anzusehen. Der einzige und ausschließliche Indikator des Schutzumfangs der Erfindung und dessen, was von den Anmeldern als der Schutzumfang der Erfindung vorgesehen ist, ist der buchstäbliche und gleichwertige Schutzumfang des Anspruchssatzes, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der diese Ansprüche erteilt werden, einschließlich jeder späteren Korrektur. Jegliche Definitionen, die hier ausdrücklich für in diesen Ansprüchen enthaltene Begriffe dargelegt sind, sollen die Bedeutung dieser Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich kann, wenn wir den Begriff „ferner umfassend“ in der folgenden Beschreibung oder den folgenden Ansprüchen verwenden, das, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Unterentität eines zuvor erwähnten Schritts oder einer zuvor erwähnten Entität sein.

Claims (17)

  1. Sensorvorrichtung, umfassend: mehrere Pixel, wobei die mehreren Pixel parallel geschaltet sind und wobei wenigstens eines der mehreren Pixel Folgendes umfasst: einen ersten Photodiodentyp, wobei der erste Photodiodentyp Reflexionen von in einer Umgebung emittiertem Licht erfasst und dreidimensionale (3D) Positions- und Reflektivitätsinformationen ausgibt, und einen zweiten Photodiodentyp mit Filtern, wobei der zweite Photodiodentyp gefilterte Reflexionen in der Umgebung erfasst, wobei ein Farbfilter Daten in den gefilterten Reflexionen in die Farbinformationen zerlegt vom zweiten Photodiodentyp ausgegeben werden, und wobei sich der erste Photodiodentyp und der zweite Photodiodentyp auf einem gemeinsamen Substrat befinden, wobei die 3D-Positionsinformationen und die Farbinformationen des wenigstens einen der mehreren Pixel durch den Sensor zusammengeführt und ausgegeben werden.
  2. Sensorvorrichtung nach Anspruch 1, wobei der erste Photodiodentyp aus einer oder mehreren Einzelphoton-Lawinendioden (SPADs) mit interner Verstärkung besteht.
  3. Sensorvorrichtung nach Anspruch 1, wobei der zweite Photodiodentyp eine Photodiode mit einer zweiten internen Verstärkung ist.
  4. Sensorvorrichtung nach Anspruch 1, wobei ein tiefes Grabenmuster auf das gemeinsame Substrat angewendet ist, so dass ein Übersprechen zwischen dem zweiten Photodiodentyp und dem ersten Photodiodentyp verringert wird.
  5. Sensorvorrichtung nach Anspruch 1, wobei die Positions- und Reflektivitätsdaten und die Bilddaten vor der Verarbeitung durch eine externe Schaltungsanordnung zusammengeführt werden.
  6. Sensorvorrichtung nach Anspruch 1, wobei die Sensorvorrichtung Teil eines autonomen Fahrzeugsystems ist.
  7. Sensorvorrichtung nach Anspruch 1, wobei die Sensorvorrichtung einen oder beide vom ersten Photodiodentyp und vom zweiten Photodiodentyp ausgibt, um ein kontinuierliches Ausgangssignal zu erzeugen.
  8. Sensorvorrichtung nach Anspruch 1, wobei das Farbfilter ein Rot/Grün/Blau(RGB)-Filter mit einem typischerweise von 400 Nanometer (nm) bis 700 nm reichenden sichtbaren Lichtbereich oder ein Nahinfrarot(NIR)-Filter mit einem typischerweise von 700 nm bis 2 Mikrometer (µm) reichenden sichtbaren Lichtbereich ist.
  9. Sensorvorrichtung nach Anspruch 8, wobei das NIR-Filter die gleichen optischen Eigenschaften wie ein SPAD-Gebiet oder davon verschiedene optische Eigenschaften aufweist, wobei die optischen Eigenschaften zumindest die Transmissionsbandbreite und den Abschwächungsfaktor einschließen.
  10. Verfahren, umfassend: Erfassen von Reflexionen in einer Umgebung emittierten Lichts mit einem ersten Photodiodentyp, um Positions- und Reflektivitätsinformationen zu erhalten, Erfassen von Farbinformationen mit einem zweiten Photodiodentyp, wobei der zweite Photodiodentyp mit einem Farbfilter gekoppelt ist, um die Farbinformationen zu erhalten, und wobei sich der erste Photodiodentyp und der zweite Photodiodentyp auf einem gemeinsamen Substrat befinden, und Zusammenführen der Positions- und Reflektivitätsinformationen und der Farbinformationen auf einer Pro-Pixel-Basis.
  11. Verfahren nach Anspruch 10, wobei der erste Photodiodentyp aus einer oder mehreren Einzelphoton-Lawinendioden (SPADs) mit interner Verstärkung besteht.
  12. Verfahren nach Anspruch 10, wobei der zweite Photodiodentyp eine Photodiode mit einer zweiten internen Verstärkung ist.
  13. Verfahren nach Anspruch 8, wobei ferner ein tiefes Grabenmuster auf das gemeinsame Substrat angewendet wird, so dass ein Übersprechen zwischen dem zweiten Photodiodentyp und dem ersten Photodiodentyp verringert wird.
  14. Verfahren nach Anspruch 10, wobei ferner die Positions- und Reflektivitätsdaten und die Bilddaten vor der Verarbeitung durch eine externe Schaltungsanordnung zusammengeführt werden.
  15. Verfahren nach Anspruch 10, wobei ferner die zusammengeführten Positions- und Reflektivitätsinformationen und die Farbinformationen einem Steuersystem eines autonomen Fahrzeugs bereitgestellt werden.
  16. Verfahren nach Anspruch 10, wobei ferner einer oder beide vom ersten Photodiodentyp und vom zweiten Photodiodentyp ausgegeben werden, um ein kontinuierliches Ausgangssignal zu erzeugen.
  17. Nichtflüchtiges computerlesbares Speichermedium, auf dem Befehle gespeichert sind, die, wenn sie durch den einen oder die mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, eines der Verfahren gemäß den Ansprüchen 10-16 auszuführen.
DE102022102182.3A 2021-10-14 2022-01-31 Sipm-basierter sensor zur zusammenführung niedriger ebene Pending DE102022102182A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/501,468 2021-10-14
US17/501,468 US11435451B1 (en) 2021-10-14 2021-10-14 SiPM based sensor for low level fusion

Publications (1)

Publication Number Publication Date
DE102022102182A1 true DE102022102182A1 (de) 2023-04-20

Family

ID=80507306

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022102182.3A Pending DE102022102182A1 (de) 2021-10-14 2022-01-31 Sipm-basierter sensor zur zusammenführung niedriger ebene

Country Status (5)

Country Link
US (2) US11435451B1 (de)
KR (1) KR20230053482A (de)
CN (1) CN115984079A (de)
DE (1) DE102022102182A1 (de)
GB (1) GB2612148A (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022241253A1 (en) 2021-05-14 2022-11-17 Motional Ad Llc Silicon photomultiplier based lidar
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR
US11435451B1 (en) * 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073875A2 (en) 2005-01-06 2006-07-13 Recon/Optical, Inc. Cmos active pixel sensor with improved dynamic range and method of operation, method for identifying moving objects and hybrid array with ir detector
US8476571B2 (en) 2009-12-22 2013-07-02 Siemens Aktiengesellschaft SiPM photosensor with early signal digitization
IT1402264B1 (it) 2010-09-16 2013-08-28 St Microelectronics Srl Array fotorilevatore multi-pixel di fotodiodi a valanga geiger-mode
ITTO20120501A1 (it) 2012-06-08 2013-12-09 St Microelectronics Srl Dispositivo diagnostico con fotorilevatore integrato e sistema diagnostico includente il medesimo
US10468543B2 (en) 2013-05-22 2019-11-05 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US10446700B2 (en) 2013-05-22 2019-10-15 W&Wsens Devices, Inc. Microstructure enhanced absorption photosensitive devices
US9271694B2 (en) 2013-12-18 2016-03-01 General Electric Company System and method of simplifying a direct control scheme for a detector
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
WO2016174659A1 (en) * 2015-04-27 2016-11-03 Snapaid Ltd. Estimating and using relative head pose and camera field-of-view
WO2017054863A1 (en) 2015-09-30 2017-04-06 Trimble Ab Geodetic instrument with improved dynamic range
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US20180162632A1 (en) 2016-12-14 2018-06-14 Vincent Craig Flashlight cover assembly
US10585174B2 (en) 2017-03-10 2020-03-10 Sensl Technologies Ltd. LiDAR readout circuit
US10594965B2 (en) 2017-09-13 2020-03-17 Semiconductor Components Industries, Llc Avalanche photodiode image sensors
KR101936193B1 (ko) 2017-09-27 2019-01-08 한국과학기술원 수평형 실리콘 광증배소자 및 그 제조방법
US10458783B2 (en) 2017-10-13 2019-10-29 Faro Technologies, Inc. Three-dimensional scanner having pixel memory
KR102715478B1 (ko) 2018-01-10 2024-10-10 벨로다인 라이더 유에스에이, 인크. 계층형 전력 제어를 이용한 lidar 기반의 거리 측정
CN112236686B (zh) 2018-04-08 2022-01-07 奥特逻科公司 光探测装置
WO2020021339A2 (en) 2018-07-26 2020-01-30 Innoviz Technologies Ltd. Lidar system having a mirror housing with a window
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US20200075652A1 (en) * 2018-09-05 2020-03-05 Facebook Technologies, Llc Pixel cell with multiple photodiodes
EP3633405B1 (de) 2018-10-03 2023-01-11 Hexagon Technology Center GmbH Messgerät zur geometrischen 3d-abtastung einer umgebung mit einer vielzahl sendekanäle und semiconductor-photomultiplier sensoren
EP3867668A2 (de) 2018-10-19 2021-08-25 Innoviz Technologies Ltd. Lidar-systeme und -verfahren
US11644549B2 (en) 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
US11604259B2 (en) 2019-10-14 2023-03-14 Infineon Technologies Ag Scanning LIDAR receiver with a silicon photomultiplier detector
US10901074B1 (en) 2020-02-17 2021-01-26 Hesai Technology Co., Ltd. Systems and methods for improving Lidar performance
US11428550B2 (en) * 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11269075B2 (en) * 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
US11536812B2 (en) 2020-06-23 2022-12-27 Aptiv Technologies Limited Increased dynamic range for time-of-flight (ToF) lidar systems
WO2022241253A1 (en) 2021-05-14 2022-11-17 Motional Ad Llc Silicon photomultiplier based lidar
US11435451B1 (en) * 2021-10-14 2022-09-06 Motional Ad Llc SiPM based sensor for low level fusion
US11428791B1 (en) 2021-10-14 2022-08-30 Motional Ad Llc Dual-mode silicon photomultiplier based LiDAR

Also Published As

Publication number Publication date
GB2612148A (en) 2023-04-26
GB202200730D0 (en) 2022-03-09
CN115984079A (zh) 2023-04-18
US11782140B2 (en) 2023-10-10
US20230119438A1 (en) 2023-04-20
KR20230053482A (ko) 2023-04-21
US11435451B1 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
DE102020129854A1 (de) Sequenzielle fusion zur 3d-objektdetektion
DE102022102182A1 (de) Sipm-basierter sensor zur zusammenführung niedriger ebene
DE102022100214A1 (de) Auf einem zweimodigen Silicium-Photomultiplier beruhendes LiDAR
DE102021132853A1 (de) Auf deep learning basierende kamerakalibrierung
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
US12061293B2 (en) Silicon photomultiplier based LiDAR
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
DE102021132199A1 (de) Bestimmen von Objektmobilitätsparametern unter Verwendung einer Objektsequenz
DE102022106461A1 (de) Systeme und verfahren zur kameraausrichtung
DE102022104716A1 (de) Kalibrierkurse und -objekte
DE102021132844A1 (de) Kalibrierungskurse und -ziele
DE102022134937A1 (de) System und verfahren zur abschwächung von laufzeit-(tof-) lidar-interferenz
DE102022134936A1 (de) System und verfahren zur verbesserung eines laufzeit-(tof-) lidar-signal-rausch-verhältnisses
DE102023104784A1 (de) Bildbasierte lidar-kamera-synchronisierung
DE102022104056A1 (de) Universelles sensorfunktionsweise- und kalibriertarget für mehrsensor-bilderzeugungssysteme
DE102023102905A1 (de) Systeme austauschbarer linsen
DE102022106723A1 (de) Geometrische intrinsische kamerakalibration unter verwendung eines diffraktiven optischen elements
DE102022103427A1 (de) Systeme und verfahren zur behandlung des verhaltens von ampeln
DE102021134413A1 (de) Systeme und verfahren zur messung der optischen vignettierung
DE102022134445A1 (de) Sichtbarkeitsbestimmung im physischen raum anhand evidenzbasierter beleuchtungswerte
DE102023115560A1 (de) Beibehaltung einer Kalibrierung einer IBIS-Kamera
DE102022100415A1 (de) Fahrzeugsteuerungszeitverzögerungskompensation
DE102022104717A1 (de) Verfahren und systeme zur bestimmung eines mittelachsenfehlers in einem optischen system
DE102022110283A1 (de) Zielpunktbestimmung unter Verwendung einer Augenverfolgungsvorrichtung und LiDAR-Punktwolkendaten
DE102022110281A1 (de) Verfahren und systeme für sensorbetrieb