DE102022100413A1 - Objekterkennung unter verwendung von radar-und-lidar-zusammenführung - Google Patents

Objekterkennung unter verwendung von radar-und-lidar-zusammenführung Download PDF

Info

Publication number
DE102022100413A1
DE102022100413A1 DE102022100413.9A DE102022100413A DE102022100413A1 DE 102022100413 A1 DE102022100413 A1 DE 102022100413A1 DE 102022100413 A DE102022100413 A DE 102022100413A DE 102022100413 A1 DE102022100413 A1 DE 102022100413A1
Authority
DE
Germany
Prior art keywords
lidar
radar
clusters
cluster
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022100413.9A
Other languages
English (en)
Inventor
Xiaoli Meng
Lubing Zhou
Karan Rajendra Shetti
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of DE102022100413A1 publication Critical patent/DE102022100413A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Es werden Verfahren zur Objekterkennung unter Verwendung einer Radar-und-Lidar-Zusammenführung bereitgestellt, wodurch Cluster erzeugt werden können, die Cluster von Punktwolken für Radar bzw. Lidar kombinieren, anhand derer zusammengeführte Merkmale unter Verwendung eines Deep-Learning-Modells bestimmt werden. Es werden auch Systeme und Computerprogrammprodukte bereitgestellt.

Description

  • HINTERGRUND
  • Light Detection and Ranging (LiDAR) bestimmt Informationen anhand Licht, das von einem Emitter emittiert, von einem Objekt reflektiert und von einem Detektor detektiert wird. Ähnlich bestimmt Radio Detection and Ranging (RADAR) Objektinformationen anhand Radiowellen, die von einem Emitter emittiert und von einem Objekt reflektiert werden. Die Informationen weisen Daten in Zusammenhang mit dem Objekt in der Art der Entfernung vom Objekt, der Geschwindigkeit des Objekts und dergleichen auf. Der Detektor ist ein Photodetektor, der das vom Objekt reflektierte Licht empfängt. Der Detektor kann ein Halbleiter-Photodetektor, ein Photomultiplier oder eine Kombination davon sein.
  • Figurenliste
  • Es zeigen:
    • 1 eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems aufweist, implementiert werden kann,
    • 2 ein Diagramm eines oder mehrerer Systeme eines Fahrzeugs, das ein autonomes System aufweist,
    • 3 ein Diagramm von Komponenten einer oder mehrerer Vorrichtungen und/oder eines oder mehrerer Systeme aus den 1 und 2,
    • 4A ein Diagramm gewisser Komponenten eines autonomen Systems,
    • 4B ein Diagramm einer Implementation eines neuronalen Netzes,
    • die 4C und 4D ein Diagramm eines beispielhaften Betriebs eines faltenden neuronalen Netzes (CNN),
    • 5 ein Diagramm einer Implementation eines Prozesses zur Objekterkennung unter Verwendung einer Zusammenführung von Radio Detection and Ranging (RADAR) und Light Detection and Ranging (LiDAR),
    • die 6A-1 und 6A-2 Diagramme, die gemeinsam ein RADAR-und-LiDAR-Zusammenführungsnetz zur Objekterkennung zeigen,
    • 6B ein Blockdiagramm eines beispielhaften Arbeitsablaufs einer auf Heuristik beruhenden Assoziation für LiDAR- und RADAR-Cluster,
    • 6C ein Diagramm eines Beispiels einer Assoziation von LiDAR- und RADAR-Clustern an einer Szene und
    • 7 ein Flussdiagramm eines Prozesses zur Objekterkennung unter Verwendung einer RADAR-und-LiDAR-Zusammenführung.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung werden für die Zwecke der Erklärung zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der vorliegenden Offenbarung bereitzustellen. Es ist jedoch zu verstehen, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In einigen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Form eines Blockdiagramms dargestellt, um es zu vermeiden, Aspekte der vorliegenden Offenbarung unnötig unverständlich zu machen.
  • Spezifische Anordnungen oder Reihenfolgen schematischer Elemente in der Art jener, die Systeme, Vorrichtungen, Module, Befehlsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen dargestellt. Fachleute werden jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Ordnung oder Sequenz der Verarbeitung oder Trennung von Prozessen erforderlich ist, es sei denn, dass dies explizit so beschrieben wird. Ferner soll die Aufnahme eines schematischen Elements in einer Zeichnung nicht implizieren, dass dieses Element in allen Ausführungsformen benötigt wird oder dass die durch dieses Element repräsentierten Merkmale nicht gemäß einigen Ausführungsformen in andere Elemente aufgenommen oder mit diesen kombiniert werden können, es sei denn, dass dies explizit so beschrieben wird.
  • Ferner soll in den Zeichnungen an Stellen, an denen verbindende Elemente, beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile, verwendet werden, um eine Verbindung, Beziehung oder Assoziation zwischen oder unter zwei oder mehr anderen schematischen Elementen darzustellen, das Nichtvorhandensein solcher verbindender Elemente nicht bedeuten, dass dadurch impliziert wird, dass keine Verbindung, Beziehung oder Assoziation existieren kann. Mit anderen Worten sind in den Zeichnungen einige Verbindungen, Beziehungen oder Assoziationen zwischen Elementen nicht dargestellt, um die Offenbarung nicht unverständlich zu machen. Zusätzlich kann im Interesse einer einfachen Darstellung ein einziges verbindendes Element verwendet werden, um mehrere Verbindungen, Beziehungen oder Assoziationen zwischen Elementen zu repräsentieren. Beispielsweise sollten Fachleute an Stellen, an denen ein verbindendes Element eine Kommunikation von Signalen, Daten oder Befehlen (beispielsweise „Softwarebefehlen“) repräsentiert, verstehen, dass dieses Element einen oder mehrere Signalwege (beispielsweise einen Bus) repräsentieren kann, wie es erforderlich sein kann, um die Kommunikation auszuführen.
  • Wenngleich die Begriffe erster, zweiter, dritter und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe beschränkt werden. Die Begriffe erster, zweiter, dritter und/oder dergleichen werden nur zur Unterscheidung eines Elements von einem anderen verwendet. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und könnte ähnlich ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Der erste und der zweite Kontakt sind beide Kontakte, sie sind jedoch nicht derselbe Kontakt.
  • Die in der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendete Terminologie dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend vorgesehen. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und den anliegenden Ansprüchen verwendet, sollen die Singularformen „ein/eine/eines“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/eine/eines oder mehrere“ oder „wenigstens ein/eine/eines“ verwendet werden, es sei denn, dass der Zusammenhang klar etwas anderes angibt. Es sei auch bemerkt, dass der Begriff „und/oder“, wie er hier verwendet wird, jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgezählten Bestandteile betrifft und diese umfasst. Es ist ferner zu verstehen, dass die Begriffe „weist auf“, „aufweisend“, „umfasst“ und/oder „umfassend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein erwähnter Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifizieren, jedoch nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, natürlicher Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließen.
  • Hier beziehen sich die Begriffe „Kommunikation“ und „Kommunizieren“ auf wenigstens einen vom Empfang, von der Entgegennahme, von der Aussendung, der Übertragung, der Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die beispielsweise durch Daten, Signale, Nachrichten, Befehle, Anweisungen und/oder dergleichen repräsentiert sind). Dass eine Einheit (beispielsweise eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (beispielsweise zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die der Natur nach festverdrahtet und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und der zweiten Einheit modifiziert, verarbeitet, vermittelt und/oder weitergeleitet werden können. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit passiv Informationen empfängt und nicht aktiv Informationen zur zweiten Einheit sendet. Bei einem anderen Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls wenigstens eine Zwischeneinheit (beispielsweise eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zur zweiten Einheit sendet. Gemäß einigen Ausführungsformen kann sich eine Nachricht auf ein Netzpaket (beispielsweise ein Datenpaket und/oder dergleichen), das Daten aufweist, beziehen.
  • Hier sollte der Begriff „falls“ abhängig vom Zusammenhang optional als „wenn“, „bei“, „ansprechend auf eine Feststellung“, „ansprechend auf eine Erkennung“ und/oder dergleichen bedeutend ausgelegt werden. Ähnlich sollte der Ausdruck „falls festgestellt wird“ oder „falls [eine erwähnte Bedingung oder ein erwähntes Ereignis] erkannt wird“ abhängig vom Zusammenhang optional als „bei einer Feststellung“, „ansprechend auf eine Feststellung“, „bei einer Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“, „ansprechend auf eine Erkennung [der erwähnten Bedingung oder des erwähnten Ereignisses]“ und/oder dergleichen bedeutend ausgelegt werden. Auch sind die Begriffe „weist auf“, „weisen auf“, „aufweisend“ oder dergleichen wie hier verwendet als offene Begriffe vorgesehen. Ferner soll der Ausdruck „basierend auf“ als „zumindest teilweise basierend auf“ verstanden werden, es sei denn, dass etwas anderes explizit ausgesagt wird.
  • Es wird nun detailliert auf Ausführungsformen Bezug genommen, von denen Beispiele in den anliegenden Zeichnungen dargestellt sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Durchschnittsfachleute auf dem Gebiet werden jedoch verstehen, dass die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten verwirklicht werden können. In anderen Fällen wurden wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netze nicht detailliert beschrieben, um Aspekte der Ausführungsformen nicht unnötig unverständlich zu machen.
  • Allgemeiner Überblick
  • Gemäß einigen Aspekten und/oder Ausführungsformen weisen hier beschriebene Systeme, Verfahren und Computerprogrammprodukte ein System zur Objekterkennung unter Verwendung einer Radar-und-Lidar-Zusammenführung auf und/oder implementieren dieses. Gemäß einigen Ausführungsformen werden Radio-Detection-and-Ranging(RADAR oder Radar)-Erkennungen in ein Geometrie-Framework für Light-Detection-and-Ranging(LiDAR- oder Lidar)-Objekterkennungen eingebracht und damit zusammengeführt, um durch die Radarerkennungen bereitgestellte komplementäre Informationen auszunutzen (beispielsweise zuverlässige Erkennungen in großer Entfernung, präzise Radialgeschwindigkeitsausgabe). Cluster werden für Lidar- und Radarpunkte erzeugt, und Merkmale werden individuell aus den Clustern extrahiert und unter Verwendung eines Lernnetzes zusammengeführt. Gemäß einer Ausführungsform wird, falls ein Cluster von Radar oder Lidar keine Assoziation aufweist, ein Punkt mit Standardwerten zu einem Lidar- oder Radarzweig des Lernnetzes hinzugefügt, ohne die Architektur des Lernnetzes zu ändern, so dass Vorschläge sowohl von Lidar- als auch von Radarsensoren zur Verbesserung des Recalls verwendet werden. Präzision und Recall sind gemeinhin verwendete Metriken für ein erfassendes/erkennendes Mustererkennungssystem. Recall ist die Rate erfolgreicher Erkennungen aller Ground-Truth-Objekte (Recall = 1 - Nichterkennungsrate), beispielsweise unter Verwendung einer Gleichung: Recall = richtig Positive/(richtig Positive + falsch Negative). Präzision ist der Prozentsatz korrekter Erkennungen aus allen Erkennungen, beispielsweise unter Verwendung einer Gleichung: Präzision = richtig Positive/(richtig Positive + falsch Positive). Bei einem Beispiel bezieht sich Recall auf eine Vorhersagerate in der Art einer Vorhersagerate von 60 % entsprechend der Erkennung 60 realer Objekte von 100 existierenden realen Objekten. Gemäß einer Ausführungsform erfolgt eine Assoziation auf heuristische Weise. Die Schwerpunkte der Cluster, der Kurs und die Geschwindigkeit der Objekte werden verwendet, um Lidar- und Radar-Cluster abzugleichen.
  • Durch die hier beschriebene Implementation von Systemen, Verfahren und Computerprogrammprodukten werden Techniken zur Objekterkennung unter Verwendung einer Radar-und-Lidar-Zusammenführung beschrieben. Beispielsweise werden komplementäre Radar- und Lidardaten voll ausgenutzt, um eine Objekterkennung und Geschwindigkeitsschätzung zu verbessern. Radar ist gegenüber Wettereinflüssen robuster und für Beleuchtungsbedingungen weniger empfindlich und stellt daher eine überlegene Lösung für das Fahren bei Nacht bereit, ist jedoch nicht auf das Fahren bei Nacht beschränkt.
  • Hier beschriebene Implementationen von Systemen, Verfahren und Computerprogrammprodukten können die Probleme, die darin bestehen, dass Lidarmessungen zu spärlich sind, insbesondere in großen Entfernungen, was dazu führt, dass nur auf Lidar beruhende Verfahren eine begrenzte Erkennungsreichweite und eine schlechte Klassifikation in großen Entfernungen aufweisen, lösen. Die Verwendung von Radar allein stellt infolge rauschbehafteter Rückkehrsignale infolge von Störungen und Mehrfachwegen auch eine Herausforderung dar. Hier offenbarte Lösungen umfassen das Einbringen von Radar in ein Framework einer geometriebasierten Lidarobjekterkennung und das Zusammenführen damit. Durch Einbringen von Radar in ein Framework einer geometriebasierten Lidarobjekterkennung und das Zusammenführen damit werden komplementäre Informationen von Radar ausgenutzt, einschließlich zuverlässiger Erkennungen bis zu einer sehr großen Entfernung (beispielsweise bis zu 200 Metern) und einer präzisen Radialgeschwindigkeitsausgabe.
  • Für das sichere autonome Fahren von Fahrzeugen auf Straßen ist es wünschenswert, die Objekterkennungsreichweite zu vergrößern und die Klassifikationsgenauigkeit zu verbessern. Überdies ist eine genaue Schätzung der Geschwindigkeit von Objekten auch für ein mit seiner Umgebung interagierendes autonomes Fahrzeug vorteilhaft. Durch das Zusammenführen von Lidar und Radar kann eine verbesserte Lösung mit einer vergrößerten Erkennungsreichweite, einer höheren Klassifikationsgenauigkeit und einer verbesserten Geschwindigkeitsschätzung bereitgestellt werden.
  • Unter Verwendung geometriebasierter Verfahren erzeugte Lidar-Cluster und Radar-Cluster-Vorschläge (beispielsweise Kandidatenobjekt-Cluster) können kombiniert werden. Bei diesem Beispiel können Kandidaten-Cluster Folgende einschließen: 1) Cluster, die später als reale Cluster bestimmt werden, und 2) Cluster, die als gar keine Cluster bestimmt werden. Für Radar-Cluster-Vorschläge können die Ankerkästchen auf verschiedene Arten erzeugt werden, beispielsweise unter Verwendung vordefinierter Ankerkästchen oder Lernen anhand der Größe von Lidar-Clustern. Beispielsweise kann ein Ankerkästchen als um die Punktwolke im Lidar-Cluster (beispielsweise auf der Grundlage des Radius von Punkten) gepasstes zweidimensionales (2D) Kästchen bestimmt werden. Gemäß einigen Ausführungsformen kann, sobald ein Radar-Cluster und ein Lidar-Cluster kombiniert wurden, jeder Cluster unter Verwendung der Abmessungen des gepaarten Clusters erweitert werden. Beispielsweise können bei einem gegebenen assoziierten Lidar- und Radar-Cluster Radarpunkte innerhalb des 1.x(beispielsweise 1.2)-Fachen des Radius des Lidar-Clusters zu existierenden Punkten des ursprünglichen Radar-Clusters addiert werden. Der für den Radius eines Lidar-Clusters verwendete Abstand kann beispielsweise anhand des Abstands des Cluster-Zentrums vom Lidarpunkt, der vom Cluster-Zentrum am weitesten entfernt ist, berechnet werden. Die Lidar- und Radar-Cluster können nicht die gesamte Objektabmessung abdecken, durch Kombinieren der Abmessungen beider Cluster können jedoch einige fehlende Punkte von jedem Cluster wiederhergestellt werden, die während ihrer Cluster-Segmentierungsphase verpasst wurden. Die Assoziation von Lidar-Clustern und Radar-Cluster-Vorschlägen kann für Lidar-Cluster ausgeführt werden, um Radardaten für eine größere Erkennungsreichweite auszunutzen. Im Ankerkästchen ist auch eine Orientierung (oder ein Winkel in Grad), beispielsweise in Bezug auf die Horizontale oder eine Sichtlinie des Fahrzeugs, zugewiesen. Gemäß einer Ausführungsform können Radarvorschläge und Lidar-Cluster durch ein regelbasiertes Verfahren oder durch ein lernfähiges Netz assoziiert werden. Sobald eine Ausrichtung (oder Assoziation) zwischen einem Lidar-Cluster und einem Radar-Cluster erfolgt ist, kann ein dreiköpfiges tiefes neuronales Netz Cluster-Klassifikationswerte, eine dreidimensionale (3D) Kästchen-Vorhersage und eine Geschwindigkeitsschätzung ausgeben.
  • 1 zeigt nun eine beispielhafte Umgebung 100, in der Fahrzeuge, die autonome Systeme aufweisen, sowie Fahrzeuge, bei denen dies nicht der Fall ist, betrieben werden. Wie dargestellt, weist die Umgebung 100 Fahrzeuge 102a - 102n, Objekte 104a - 104n, Routen 106a - 106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, ein Netz 112, ein Fernes-autonomes-Fahrzeug(AV)-System 114, ein Flottenverwaltungssystem 116 und ein V2l-System 118 auf. Die Fahrzeuge 102a - 102n, die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, das Netz 112, das Autonomes-Fahrzeug(AV)-System 114, das Flottenverwaltungssystem 116 und das V2l-System 118 sind durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen miteinander verbunden (stellen beispielsweise eine Verbindung zur Kommunikation und/oder dergleichen) her. Gemäß einigen Ausführungsformen sind Objekte 104a - 104n durch festverdrahtete Verbindungen, drahtlose Verbindungen oder eine Kombination festverdrahteter oder drahtloser Verbindungen mit wenigstens einem der Fahrzeuge 102a - 102n, der Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110, des Netzes 112, des Autonomes-Fahrzeug(AV)-Systems 114, des Flottenverwaltungssystems 116 und des V2I-Systems 118 verbunden.
  • Fahrzeuge 102a - 102n (individuell als Fahrzeug 102 und gemeinsam als Fahrzeuge 102 bezeichnet) weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, Waren und/oder Personen zu transportieren. Gemäß einigen Ausführungsformen sind Fahrzeuge 102 dafür ausgelegt, über das Netz 112 in Kommunikation mit der V2I-Vorrichtung 110, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V2l-System 118 zu stehen. Gemäß einigen Ausführungsformen umfassen Fahrzeuge 102 Personenkraftwagen, Busse, Lastwagen, Züge und/oder dergleichen. Gemäß einigen Ausführungsformen gleichen oder ähneln die Fahrzeuge 102 hier beschriebenen Fahrzeugen 200 (siehe 2). Gemäß einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 mit einem Autonome-Flotte-Manager assoziiert. Gemäß einigen Ausführungsformen fahren Fahrzeuge 102 entlang jeweiligen Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet), wie hier beschrieben. Gemäß einigen Ausführungsformen weisen ein oder mehrere Fahrzeuge 102 ein autonomes System (beispielsweise ein autonomes System, das dem autonomen System 202 gleicht oder ähnelt) auf.
  • Objekte 104a - 104n (individuell als Objekt 104 und gemeinsam als Objekte 104 bezeichnet) umfassen beispielsweise wenigstens ein Fahrzeug, wenigstens einen Fußgänger, wenigstens einen Radfahrer, wenigstens eine Struktur (beispielsweise ein Gebäude, ein Zeichen, einen Feuerhydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (befindet sich beispielsweise während eines Zeitraums an einem festen Ort) oder mobil (weist beispielsweise eine Geschwindigkeit auf und ist mit wenigstens einer Fahrstrecke assoziiert). Gemäß einigen Ausführungsformen sind Objekte 104 mit entsprechenden Orten im Bereich 108 assoziiert.
  • Routen 106a - 106n (individuell als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils mit einer Sequenz von Aktionen (auch als Fahrstrecke bekannt), die Zustände verbinden, entlang derer ein AV navigieren kann, assoziiert (schreiben diese beispielsweise vor). Jede Route 106 beginnt an einem Anfangszustand (beispielsweise einem Zustand, der einem ersten räumlich-zeitlichen Ort, einer Geschwindigkeit und/oder dergleichen entspricht) und einem Endzielzustand (beispielsweise einem Zustand, der einem zweiten räumlich-zeitlichen Ort entspricht, welcher sich vom ersten räumlich-zeitlichen Ort unterscheidet) oder Zielgebiet (beispielsweise einem Teilraum akzeptierbarer Zustände (beispielsweise Endzustände)). Gemäß einigen Ausführungsformen umfasst der erste Zustand einen Ort, an dem eine oder mehrere Personen durch das AV aufzunehmen sind, und umfasst der zweite Zustand oder das zweite Gebiet einen oder mehrere Orte, an denen die eine oder die mehreren vom AV aufgenommenen Personen abzusetzen sind. Gemäß einigen Ausführungsformen umfassen Routen 106 mehrere akzeptierbare Zustandssequenzen (beispielsweise mehrere räumlich-zeitliche Ortssequenzen), wobei die mehreren Zustandssequenzen mit mehreren Fahrstrecken assoziiert sind (beispielsweise diese definieren). Bei einem Beispiel umfassen Routen 106 nur Aktionen hoher Ebene oder ungenaue Zustandsorte, wie eine Reihe miteinander verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorschreiben. Zusätzlich oder alternativ können Routen 106 genauere Aktionen oder Zustände wie beispielsweise spezifische Zielfahrspuren oder genaue Orte innerhalb der Fahrspurbereiche und die angestrebte Geschwindigkeit an diesen Positionen umfassen. Bei einem Beispiel umfassen Routen 106 mehrere genaue Zustandssequenzen entlang der wenigstens einen Aktionssequenz hoher Ebene mit einem begrenzten Vorschauhorizont zur Erreichung von Zwischenzielen, wobei die Kombination aufeinander folgender Iterationen von Zustandssequenzen mit einem begrenzten Horizont kumulativ mehreren Fahrstrecken entspricht, die gemeinsam die Route hoher Ebene zum Erreichen des Endzielzustands oder -gebiets bilden.
  • Der Bereich 108 umfasst einen physischen Bereich (beispielsweise ein geographisches Gebiet), innerhalb dessen Fahrzeuge 102 navigieren können. Bei einem Beispiel umfasst der Bereich 108 wenigstens einen Zustand (beispielsweise ein Land, eine Provinz, einen individuellen Staat mehrerer Staaten in einem Land usw.), wenigstens einen Teil eines Staats, wenigstens eine Stadt, wenigstens einen Teil einer Stadt usw. Gemäß einigen Ausführungsformen umfasst der Bereich 108 wenigstens eine benannte Durchgangsroute (hier als „Straße“ bezeichnet) in der Art einer Schnellstraße, einer Überlandschnellstraße, einer Schnellstraße mit beschränkter Fahrzeuggröße, einer Stadtstraße usw. Zusätzlich oder alternativ umfasst der Bereich 108 bei einigen Beispielen wenigstens eine unbenannte Straße in der Art einer Auffahrt, eines Abschnitts eines Parkplatzes, eines Abschnitts eines leeren und/oder unterentwickelten Grundstücks, eines unbefestigten Wegs usw. Gemäß einigen Ausführungsformen weist eine Straße wenigstens eine Fahrspur (beispielsweise einen Teil der Straße, der von Fahrzeugen 102 befahren werden kann) auf. Bei einem Beispiel weist eine Straße wenigstens eine Fahrspur in Zusammenhang mit wenigstens einer Fahrspurmarkierung (beispielsweise auf der Grundlage dieser identifiziert) auf.
  • Die Fahrzeug-zu-Infrastruktur(V2I)-Vorrichtung 110 (manchmal als Fahrzeug-zu-Infrastruktur(V2X)-Vorrichtung bezeichnet) umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, mit Fahrzeugen 102 und/oder dem V2I-Infrastruktursystem 118 in Kommunikation zu stehen. Gemäß einigen Ausführungsformen ist die V2I-Vorrichtung 110 dafür ausgelegt, über das Netz 112 in Kommunikation mit Fahrzeugen 102, mit dem Fern-AV-System 114, mit dem Flottenverwaltungssystem 116 und/oder dem V2l-System 118 zu stehen. Gemäß einigen Ausführungsformen umfasst die V2I-Vorrichtung 110 eine Funkfrequenzidentifikations(RFID)-Vorrichtung, eine Ausschilderung, Kameras (beispielsweise zweidimensionale (2D) und/oder dreidimensionale (3D) Kameras), Fahrspurmarkierungen, Straßenleuchten, Parkuhren usw. Gemäß einigen Ausführungsformen ist die V2I-Vorrichtung 110 dafür ausgelegt, direkt mit Fahrzeugen 102 zu kommunizieren. Alternativ oder zusätzlich ist die V2I-Vorrichtung 110 gemäß einigen Ausführungsformen dafür ausgelegt, über das V2l-System 118 mit Fahrzeugen 102, mit dem Fern-AV-System 114 und/oder mit dem Flottenverwaltungssystem 116 zu kommunizieren. Gemäß einigen Ausführungsformen ist die V2I-Vorrichtung 110 dafür ausgelegt, über das Netz 112 mit dem V2l-System 118 zu kommunizieren.
  • Das Netz 112 umfasst ein oder mehrere festverdrahtete und/oder drahtlose Netze. Bei einem Beispiel umfasst das Netz 112 ein zellenbasiertes Netz (beispielsweise ein Long-Term-Evolution(LTE)-Netz, ein Netz der dritten Generation (3G-Netz), ein Netz der vierten Generation (4G-Netz), ein Netz der fünften Generation (5G-Netz), ein Codegetrenntlage-Vielfachzugriff(CDMA)-Netz usw.), ein öffentliches terrestrisches Mobilfunknetz (PLMN), ein lokales Netz (LAN), ein Weitbereichsnetz (WAN), ein Großstadtnetz (MAN), ein Telefonnetz (beispielsweise das öffentliche Wählverbindungsnetz (PSTN)), ein privates Netz, ein Adhoc-Netz, ein Intranet, das Internet, ein Netz auf Faseroptikbasis, ein Cloud-Rechennetz usw., eine Kombination einiger oder aller dieser Netze und/oder dergleichen.
  • Das Fern-AV-System 114 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V2I-Vorrichtung 110, dem Netz 112, dem Fern-AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V2l-System 118 zu stehen. Bei einem Beispiel weist das Fern-AV-System 114 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen befindet sich das Fern-AV-System 114 am selben Ort wie das Flottenverwaltungssystem 116. Gemäß einigen Ausführungsformen ist das Fern-AV-System 114 an der Installation einiger oder aller der Komponenten eines Fahrzeugs, einschließlich eines autonomen Systems, eines Autonomes-Fahrzeug-Computers, durch einen Autonomes-Fahrzeug-Computer implementierter Software und/oder dergleichen, beteiligt. Gemäß einigen Ausführungsformen wartet das Fern-AV-System 114 solche Komponenten und/oder solche Software während der Lebensdauer der Vorrichtung (führt beispielsweise Aktualisierungen und/oder Ersetzungen aus).
  • Das Flottenverwaltungssystem 116 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Fahrzeugen 102, der V2I-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem V2I-Infrastruktursystem 118 zu stehen. Bei einem Beispiel weist das Flottenverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das Flottenverwaltungssystem 116 mit einer Fahrgemeinschaftsfirma (beispielsweise einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (beispielsweise Fahrzeuge, die autonome Systeme aufweisen, und/oder Fahrzeuge, die keine autonomen Systeme aufweisen) und/oder dergleichen) assoziiert.
  • Gemäß einigen Ausführungsformen weist das V2l-System 118 wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über das Netz 112 in Kommunikation mit Fahrzeugen 102, der V2I-Vorrichtung 110, dem Fern-AV-System 114 und/oder dem Flottenverwaltungssystem 116 zu stehen. Bei einigen Beispielen ist das V2l-System 118 dafür ausgelegt, über eine vom Netz 112 verschiedene Verbindung in Kommunikation mit der V2I-Vorrichtung 110 zu stehen. Gemäß einigen Ausführungsformen weist das V2l-System 118 einen Server, eine Gruppe von Servern und/oder andere vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen ist das V2l-System 118 mit einer Kommunalverwaltung oder einer privaten Institution (beispielsweise einer privaten Institution, welche die V2I-Vorrichtung 110 und/oder dergleichen unterhält) assoziiert.
  • Die Anzahl und die Anordnung der in 1 dargestellten Elemente dienen als Beispiel. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 dargestellten geben. Zusätzlich oder alternativ kann wenigstens ein Element der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens ein anderes Element aus 1 ausgeführt beschrieben wurden. Zusätzlich oder alternativ kann wenigstens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen ausführen, die als durch wenigstens einen anderen Satz der Elemente der Umgebung 100 ausgeführt beschrieben wurden.
  • Mit Bezug auf 2 sei nun bemerkt, dass das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrang-Steuersystem 204, ein Lenksteuersystem 206 und ein Bremssystem 208 aufweist. Gemäß einigen Ausführungsformen gleicht oder ähnelt das Fahrzeug 200 dem Fahrzeug 102 (siehe 1). Gemäß einigen Ausführungsformen weist das Fahrzeug 102 eine Autonomiefähigkeit auf (beispielsweise Implementieren wenigstens einer Funktion, wenigstens eines Merkmals, wenigstens einer Vorrichtung und/oder dergleichen, wodurch es ermöglicht wird, dass das Fahrzeug 200 teilweise oder ganz ohne einen menschlichen Eingriff betrieben wird, einschließlich ohne Einschränkung vollständig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die nicht auf einen menschlichen Eingriff vertrauen), hochgradig autonomer Fahrzeuge (beispielsweise Fahrzeuge, die in gewissen Situationen nicht auf einen menschlichen Eingriff vertrauen) und/oder dergleichen). Für eine detaillierte Beschreibung vollständig autonomer Fahrzeuge und hochgradig autonomer Fahrzeuge sei auf SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems, der durch Verweis in seiner Gesamtheit aufgenommen ist, verwiesen. Gemäß einigen Ausführungsformen ist das Fahrzeug 200 mit einem Autonome-Flotte-Manager und/oder einer Fahrgemeinschaftsfirma assoziiert.
  • Das autonome System 202 weist eine Sensorsuite auf, die eine oder mehrere Vorrichtungen in der Art von Kameras 202a, Lidarsensoren 202b, Radarsensoren 202c und Mikrofonen 202d aufweist. Gemäß einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen (beispielsweise Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (nachstehend erörtert), Odometrie-Sensoren, die Daten erzeugen, die mit einer Angabe der Strecke, die das Fahrzeug 200 gefahren ist, assoziiert sind, und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren darin enthaltenen Vorrichtungen zur Erzeugung von Daten in Zusammenhang mit der Umgebung 100, wie hier beschrieben. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere hier beschriebene Systeme zur Beobachtung der Umgebung (beispielsweise der Umgebung 100), in der sich das Fahrzeug 200 befindet, verwendet werden. Gemäß einigen Ausführungsformen weist das autonome System 202 eine Kommunikationsvorrichtung 202e, einen Autonomes-Fahrzeug-Computer 202f und ein Drive-by-Wire(DBW)-System 202h auf.
  • Kameras 202a weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Kameras 202a umfassen wenigstens eine Kamera (beispielsweise eine Digitalkamera unter Verwendung eines Lichtsensors in der Art einer ladungsgekoppelten Vorrichtung (CCD), eine Wärmekamera, eine Infrarot(IR)-Kamera, eine Ereigniskamera und/oder dergleichen) zur Aufnahme von Bildern, die physische Objekte (beispielsweise Personenkraftwagen, Busse, Bordsteine, Personen und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. Bei einigen Beispielen erzeugt die Kamera 202a Kameradaten, die Bilddaten in Zusammenhang mit einem Bild einschließen. Bei diesem Beispiel können die Bilddaten wenigstens einen dem Bild entsprechenden Parameter (beispielsweise Bildmerkmale in der Art von Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) spezifizieren. Bei einem solchen Beispiel kann das Bild in einem Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) vorliegen. Gemäß einigen Ausführungsformen umfasst die Kamera 202a mehrere unabhängige Kameras, die an einem Fahrzeug zur Aufnahme von Bildern für den Zweck des räumlichen Sehens (Stereosehens) ausgebildet (beispielsweise positioniert) sind. Bei einigen Beispielen umfasst die Kamera 202a mehrere Kameras, die Bilddaten erzeugen und die Bilddaten zum Autonomes-Fahrzeug-Computer 202f und/oder zum Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt) senden. Bei einem solchen Beispiel bestimmt der Autonomes-Fahrzeug-Computer 202f die Tiefe eines oder mehrerer Objekte in einem Gesichtsfeld wenigstens zweier der mehreren Kameras auf der Grundlage der Bilddaten von den wenigstens zwei Kameras. Gemäß einigen Ausführungsformen sind Kameras 202a dafür ausgelegt, Bilder von Objekten innerhalb eines Abstands von den Kameras 202a (beispielsweise bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen) aufzunehmen. Dementsprechend weisen die Kameras 202a Merkmale in der Art von Sensoren und Linsen auf, die für die Wahrnehmung von Objekten optimiert sind, die sich in einem oder mehreren Abständen von den Kameras 202a befinden.
  • Gemäß einer Ausführungsform umfasst die Kamera 202a wenigstens eine Kamera, die dafür ausgelegt ist, ein oder mehrere Bilder in Zusammenhang mit einer oder mehreren Ampeln, Straßenzeichen und/oder anderen physischen Objekten, die visuelle Navigationsinformationen bereitstellen, aufzunehmen. Gemäß einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten (TLD) in Zusammenhang mit einem oder mehreren Bildern. Bei einigen Beispielen erzeugt die Kamera 202a TLD-Daten in Zusammenhang mit einem oder mehreren Bildern, die ein Format (beispielsweise RAW, JPEG, PNG und/oder dergleichen) aufweisen. Gemäß einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen hier beschriebenen Systemen, die Kameras aufweisen, in der Hinsicht, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Gesichtsfeld (beispielsweise Weitwinkellinse, Fischaugenlinse, Linse mit einem Sichtwinkel von etwa 120 Grad oder mehr und/oder dergleichen) zur Erzeugung von Bildern über möglichst viele physische Objekte aufweisen kann.
  • Lidarsensoren 202b weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. LiDAR-Sensoren 202b weisen ein System auf, das dafür ausgelegt ist, Licht von einem Lichtemitter (beispielsweise einem Lasersender) auszusenden. Von Lidarsensoren 202b emittiertes Licht umfasst Licht (beispielsweise Infrarotlicht und/oder dergleichen), das sich außerhalb des sichtbaren Spektrums befindet. Gemäß einigen Ausführungsformen trifft während des Betriebs von Lidarsensoren 202b emittiertes Licht auf ein physisches Objekt (beispielsweise ein Fahrzeug) und wird zu den Lidarsensoren 202b rückreflektiert. Gemäß einigen Ausführungsformen durchdringt das von den Lidar-sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. Lidarsensoren 202b weisen auch wenigstens einen Lichtdetektor auf, der das Licht erfasst, das vom Lichtemitter emittiert wurde, nachdem es auf ein physisches Objekt getroffen ist. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit Lidarsensoren 202b ein Bild (beispielsweise eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), welches die im Gesichtsfeld der Lidarsensoren 202b enthaltenen Objekte repräsentiert. Bei einigen Beispielen erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem Lidarsensor 202b ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einem solchen Beispiel wird das Bild zur Bestimmung der Grenzen physischer Objekte im Gesichtsfeld von Lidarsensoren 202b verwendet.
  • Radarsensoren 202c weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Radarsensoren 202c weisen ein System auf, das dafür ausgelegt ist, Radiowellen (entweder gepulst oder kontinuierlich) auszusenden. Die von Radarsensoren 202c ausgesendeten Radiowellen umfassen Radiowellen, die sich innerhalb eines vorgegebenen Spektrums befinden. Gemäß einigen Ausführungsformen treffen von Radarsensoren 202c ausgesendete Radiowellen auf ein physisches Objekt und werden zu den Radarsensoren 202c zurück reflektiert. Gemäß einigen Ausführungsformen werden die von Radarsensoren 202c ausgesendeten Radiowellen von einigen Objekten nicht reflektiert. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit Radarsensoren 202c Signale, welche die in einem Gesichtsfeld der Radarsensoren 202c enthaltenen Objekte repräsentieren. Beispielsweise erzeugt das wenigstens eine Datenverarbeitungssystem in Zusammenhang mit dem Radarsensor 202c ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentiert. Bei einigen Beispielen wird das Bild verwendet, um die Grenzen physischer Objekte im Gesichtsfeld der Radarsensoren 202c zu bestimmen.
  • Mikrofone 202d weisen wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, über einen Bus (beispielsweise einen Bus, der dem Bus 302 aus 3 gleicht oder ähnelt) in Kommunikation mit der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder der Sicherheitssteuereinrichtung 202g zu stehen. Die Mikrofone 202d umfassen ein oder mehrere Mikrofone (beispielsweise Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten in Zusammenhang mit den Audiosignalen erzeugen (beispielsweise repräsentieren). Bei einigen Beispielen weisen die Mikrofone 202d Wandlervorrichtungen und/oder vergleichbare Vorrichtungen auf. Gemäß einigen Ausführungsformen können ein oder mehrere hier beschriebene Systeme die von Mikrofonen 202d erzeugten Daten empfangen und die Position eines Objekts in Bezug auf das Fahrzeug 200 (beispielsweise Abstand und/oder dergleichen) auf der Grundlage der Audiosignale in Zusammenhang mit den Daten bestimmen.
  • Die Kommunikationsvorrichtung 202e umfasst wenigstens eine Vorrichtung, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, Lidarsensoren 202b, Radarsensoren 202c, Mikrofonen 202d, dem Autonomes-Fahrzeug-Computer 202f, der Sicherheitssteuereinrichtung 202g und/oder dem Drive-by-Wire(DBW)-System 202h zu stehen. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung umfassen, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnelt. Gemäß einigen Ausführungsformen umfasst die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug(V2V)-Kommunikationsvorrichtung (beispielsweise eine Vorrichtung, die eine Drahtloskommunikation von Daten zwischen Fahrzeugen ermöglicht).
  • Der Autonomes-Fahrzeug-Computer 202f weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, Lidarsensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuereinrichtung 202g und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen weist der Autonomes-Fahrzeug-Computer 202f eine Vorrichtung in der Art einer Client-Vorrichtung, einer mobilen Vorrichtung (beispielsweise Mobiltelefon, Tablet und/oder dergleichen), eines Servers (beispielsweise einer Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Graphikverarbeitungseinheiten und/oder dergleichen aufweist) und/oder dergleichen auf. Gemäß einigen Ausführungsformen gleicht oder ähnelt der Autonomes-Fahrzeug-Computer 202f dem hier beschriebenen Autonomes-Fahrzeug-Computer 400. Zusätzlich oder alternativ ist der Autonomes-Fahrzeug-Computer 202f gemäß einigen Ausführungsformen dafür ausgelegt, in Kommunikation mit einem autonomen Fahrzeugsystem (beispielsweise einem autonomen Fahrzeugsystem, das dem Fern-AV-System 114 aus 1 gleicht oder ähnelt), einem Flottenverwaltungssystem (beispielsweise einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V2l-Vorrichtung (beispielsweise einer V2l-Vorrichtung, die der V2l-Vorrichtung 110 aus 1 gleicht oder ähnelt) und/oder einem V2I-System (beispielsweise einem V2I-System, das dem V2I-System 118 aus 1 gleicht oder ähnelt) zu stehen.
  • Die Sicherheitssteuereinrichtung 202g weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit Kameras 202a, Lidarsensoren 202b, Radarsensoren 202c, Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem Autonomes-Fahrzeug-Computer 202f und/oder dem DBW-System 202h zu stehen. Bei einigen Beispielen umfasst die Sicherheitssteuereinrichtung 202g eine oder mehrere Steuereinrichtungen (elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen), die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Gemäß einigen Ausführungsformen ist die Sicherheitssteuereinrichtung 202g dafür ausgelegt, Steuersignale zu erzeugen, die vom Autonomes-Fahrzeug-Computer 202f erzeugten und/oder ausgesendeten Steuersignalen übergeordnet sind (beispielsweise diese überschreiben).
  • Das DBW-System 202h weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit der Kommunikationsvorrichtung 202e und/oder dem Autonomes-Fahrzeug-Computer 202f zu stehen. Bei einigen Beispielen weist das DBW-System 202h eine oder mehrere Steuereinrichtungen (beispielsweise elektrische Steuereinrichtungen, elektromechanische Steuereinrichtungen und/oder dergleichen) auf, die dafür ausgelegt sind, Steuersignale zum Betreiben einer oder mehrerer Vorrichtungen des Fahrzeugs 200 (beispielsweise Antriebsstrang-Steuersystem 204, Lenksteuersystem 206, Bremssystem 208 und/oder dergleichen) zu erzeugen und/oder auszusenden. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinrichtungen des DBW-Systems 202h dafür ausgelegt, Steuersignale zum Betreiben wenigstens einer anderen Vorrichtung (beispielsweise Blinksignal, Frontscheinwerfer, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu erzeugen und/oder auszusenden.
  • Das Antriebsstrang-Steuersystem 204 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, in Kommunikation mit dem DBW-System 202h zu stehen. Bei einigen Beispielen weist das Antriebsstrang-Steuersystem 204 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen empfängt das Antriebsstrang-Steuersystem 204 Steuersignale vom DBW-System 202h und veranlasst das Antriebsstrang-Steuersystem 204 das Fahrzeug 200, eine Vorwärtsbewegung zu beginnen, eine Vorwärtsbewegung zu unterbrechen, eine Rückwärtsbewegung zu beginnen, eine Rückwärtsbewegung zu unterbrechen, in einer Richtung zu beschleunigen, in einer Richtung zu verzögern, nach links zu fahren, nach rechts zu fahren und/oder dergleichen. Bei einem Beispiel bewirkt das Antriebsstrang-Steuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (beispielsweise Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich wenigstens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
  • Das Lenksteuersystem 206 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, ein oder mehrere Räder des Fahrzeugs 200 zu drehen. Bei einigen Beispielen weist das Lenksteuersystem 206 wenigstens eine Steuereinrichtung, einen Aktuator und/oder dergleichen auf. Gemäß einigen Ausführungsformen bewirkt das Lenksteuersystem 206, dass die beiden Vorderräder und/oder die beiden hinteren Räder des Fahrzeugs 200 nach links oder nach rechts gedreht werden, um zu bewirken, dass das Fahrzeug 200 nach links oder nach rechts fährt.
  • Das Bremssystem 208 weist wenigstens eine Vorrichtung auf, die dafür ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit verringert und/oder stationär bleibt. Bei einigen Beispielen weist das Bremssystem 208 wenigstens eine Steuereinrichtung und/oder wenigstens einen Aktuator auf, der dafür ausgelegt ist, das Schließen eines oder mehrerer Bremsbeläge in Zusammenhang mit einem oder mehreren Rädern des Fahrzeugs 200 an einem entsprechenden Rotor des Fahrzeugs 200 zu bewirken. Zusätzlich oder alternativ umfasst das Bremssystem 208 bei einigen Beispielen ein automatisches Notbrems(AEB)-System, ein regeneratives Bremssystem und/oder dergleichen.
  • Gemäß einigen Ausführungsformen weist das Fahrzeug 200 wenigstens einen Plattformsensor (nicht explizit dargestellt) auf, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. Bei einigen Beispielen weist das Fahrzeug 200 Plattformsensoren in der Art eines Empfängers des globalen Positionsbestimmungssystems (GPS), einer Trägheitsmesseinheit (IMU), eines Radgeschwindigkeitssensors, eines Radbrems-Drucksensors, eines Raddrehmomentsensors, eines Motordrehmomentsensors, eines Lenkwinkelsensors und/oder dergleichen auf.
  • 3 zeigt ein schematisches Diagramm einer Vorrichtung 300. Wie dargestellt, weist die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Massenspeicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302 auf. Gemäß einigen Ausführungsformen entspricht die Vorrichtung 300 wenigstens einer Vorrichtung der Fahrzeuge 102 (beispielsweise wenigstens einer Vorrichtung eines Systems der Fahrzeuge 102) und/oder einer oder mehreren Vorrichtungen des Netzes 112 (beispielsweise einer oder mehreren Vorrichtungen eines Systems des Netzes 112). Gemäß einigen Ausführungsformen umfassen eine oder mehrere Vorrichtungen der Fahrzeuge 102 (beispielsweise eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102) und/oder eine oder mehrere Vorrichtungen des Netzes 112 (beispielsweise eine oder mehrere Vorrichtungen eines Systems des Netzes 112) wenigstens eine Vorrichtung 300 und/oder wenigstens eine Komponente der Vorrichtung 300. Wie in 3 dargestellt ist, weist die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Massenspeicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314 auf.
  • Der Bus 302 weist eine Komponente auf, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. Gemäß einigen Ausführungsformen ist der Prozessor 304 in Hardware, Software oder einer Kombination von Hardware und Software implementiert. Bei einigen Beispielen umfasst der Prozessor 304 einen Prozessor (beispielsweise eine Zentralverarbeitungseinheit (CPU), eine Graphikverarbeitungseinheit (GPU), eine Einheit für eine beschleunigte Verarbeitung (APU) und/oder dergleichen), ein Mikrofon, einen Digitalsignalprozessor (DSP) und/oder eine Verarbeitungskomponente (beispielsweise ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um wenigstens eine Funktionen auszuführen. Der Speicher 306 umfasst einen Direktzugriffsspeicher (RAM), einen Nurlesespeicher (ROM) und/oder einen anderen Typ einer dynamischen und/oder statischen Speichervorrichtung (beispielsweise Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die vom Prozessor 304 verwendbare Daten und/oder Befehle speichert.
  • Die Massenspeicherkomponente 308 speichert Daten und/oder Software in Bezug auf den Betrieb und die Verwendung der Vorrichtung 300. Bei einigen Beispielen umfasst die Massenspeicherkomponente 308 eine Festplatte (beispielsweise eine Magnetplatte, eine optische Scheibe, eine magnetooptische Scheibe, eine Halbleiterplatte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, einen RAM, einen PROM, einen EPROM, einen FLASH-EPROM, einen NV-RAM und/oder einen anderen Typ eines computerlesbaren Mediums zusammen mit einem entsprechenden Laufwerk.
  • Die Eingabeschnittstelle 310 weist eine Komponente auf, die es der Vorrichtung 300 ermöglicht, Informationen, beispielsweise über eine Benutzereingabe (beispielsweise eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen), zu empfangen. Zusätzlich oder alternativ weist die Eingabeschnittstelle 310 gemäß einigen Ausführungsformen einen Sensor auf, der Informationen erfasst (beispielsweise einen Empfänger des globalen Positionsbestimmungssystems (GPS), einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 weist eine Komponente auf, die von der Vorrichtung 300 ausgegebene Informationen bereitstellt (beispielsweise eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
  • Gemäß einigen Ausführungsformen weist die Kommunikationsschnittstelle 314 eine sendeempfängerartige Komponente (beispielsweise einen Sendeempfänger, einen getrennten Empfänger und Sender und/oder dergleichen) auf, die es der Vorrichtung 300 ermöglicht, über eine festverdrahtete Verbindung, eine drahtlose Verbindung oder eine Kombination einer festverdrahteten und einer drahtlosen Verbindung mit anderen Vorrichtungen zu kommunizieren. Bei einigen Beispielen ermöglicht es die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. Bei einigen Beispielen umfasst die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Funkfrequenz(RF)-Schnittstelle, eine Universeller-serieller-Bus(USB)-Schnittstelle, eine WiFi®-Schnittstelle, eine Mobilfunkschnittstelle und/oder dergleichen.
  • Gemäß einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere hier beschriebene Prozesse aus. Die Vorrichtung 300 führt diese Prozesse auf der Grundlage davon aus, dass der Prozessor 304 von einem computerlesbaren Medium in der Art des Speichers 305 und/oder der Massenspeicherkomponente 308 gespeicherte Softwarebefehle ausführt. Ein computerlesbares Medium (beispielsweise ein nichtflüchtiges computerlesbares Medium) wird hier als nichtflüchtige Speichervorrichtung definiert. Eine nichtflüchtige Speichervorrichtung weist einen sich innerhalb einer einzigen physischen Speichervorrichtung befindenden Speicherplatz oder einen über mehrere physische Speichervorrichtungen verteilten Speicherplatz auf.
  • Gemäß einigen Ausführungsformen werden Softwarebefehle über die Kommunikationsschnittstelle 314 von einem anderen computerlesbaren Medium oder einer anderen Vorrichtung in den Speicher 306 und/oder die Massenspeicherkomponente 308 gelesen. Wenn sie ausgeführt werden, veranlassen im Speicher 306 und/oder der Massenspeicherkomponente 308 gespeicherte Softwarebefehle den Prozessor 304, einen oder mehrere hier beschriebene Prozesse auszuführen. Zusätzlich oder alternativ wird anstelle von Softwarebefehlen oder in Kombination damit eine festverdrahtete Schaltungsanordnung verwendet, um einen oder mehrere hier beschriebene Prozesse auszuführen. Demgemäß sind hier beschriebene Ausführungsformen nicht auf eine spezifische Kombination einer Hardwareschaltungsanordnung und Software beschränkt, es sei denn, dass explizit etwas anderes ausgesagt wird.
  • Der Speicher 306 und/oder die Massenspeicherkomponente 308 weist einen Datenspeicher oder wenigstens eine Datenstruktur (beispielsweise eine Datenbank und/oder dergleichen) auf. Die Vorrichtung 300 ist in der Lage, Informationen vom Datenspeicher oder von der wenigstens einen Datenstruktur im Speicher 306 oder der Massenspeicherkomponente 308 zu empfangen, darin zu speichern, Informationen dazu zu übermitteln oder darin gespeicherte Informationen zu suchen. Bei einigen Beispielen umfassen die Informationen Netzdaten, Eingangsdaten, Ausgangsdaten oder eine Kombination davon.
  • Gemäß einigen Ausführungsformen ist die Vorrichtung 300 dafür ausgelegt, Softwarebefehle auszuführen, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (beispielsweise einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) gespeichert sind. Hier bezieht sich der Begriff „Modul“ auf wenigstens einen im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherten Befehl, der, wenn er durch den Prozessor 304 und/oder einen Prozessor einer anderen Vorrichtung (beispielsweise eine andere Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) ausgeführt wird, die Vorrichtung 300 (beispielsweise wenigstens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere hier beschriebene Prozesse auszuführen. Gemäß einigen Ausführungsformen ist ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
  • Die Anzahl und Anordnung in 3 dargestellter Komponenten dienen als Beispiel. Gemäß einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 aufweisen. Zusätzlich oder alternativ kann ein Satz von Komponenten (beispielsweise eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen ausführen, die als von einer anderen Komponente oder einem anderen Satz von Komponenten der Vorrichtung 300 ausgeführt beschrieben werden.
  • 4A zeigt ein beispielhaftes Blockdiagramm eines Autonomes-Fahrzeug-Computers 400 (manchmal als „AV-Stapel“ bezeichnet). Wie dargestellt ist, weist der Autonomes-Fahrzeug-Computer 400 ein Wahrnehmungssystem 402 (manchmal als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als Steuermodul bezeichnet) und eine Datenbank 410 auf. Gemäß einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein autonomes Navigationssystem eines Fahrzeugs (beispielsweise den Autonomes-Fahrzeug-Computer 202f des Fahrzeugs 200) aufgenommen und/oder darin implementiert. Zusätzlich oder alternativ sind gemäß einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme (beispielsweise ein oder mehrere Systeme, die dem Autonomes-Fahrzeug-Computer 400 und/oder dergleichen gleichen oder ähneln) aufgenommen. Bei einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in ein oder mehrere eigenständige Systeme aufgenommen, die sich in einem Fahrzeug und/oder wenigstens einem fernen System, wie hier beschrieben, befinden. Gemäß einigen Ausführungsformen sind einige und/oder alle der im Autonomes-Fahrzeug-Computer 400 enthaltenen Systeme in Software (beispielsweise in Softwarebefehlen, die im Speicher gespeichert sind), Computerhardware (beispielsweise durch Mikroprozessoren, Mikrosteuereinrichtungen, anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es sei auch bemerkt, dass der Autonomes-Fahrzeug-Computer 400 gemäß einigen Ausführungsformen dafür ausgelegt ist, in Kommunikation mit einem fernen System (beispielsweise einem Autonomes-FahrzeugSystem, das dem Fern-AV-System 114 gleicht oder ähnelt, einem Flottenverwaltungssystem 116, das dem Flottenverwaltungssystem 116 gleicht oder ähnelt, einem V2I-System, das dem V2I-System 118 gleicht oder ähnelt und/oder dergleichen) zu stehen.
  • Gemäß einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten in Zusammenhang mit wenigstens einem physischen Objekt (beispielsweise Daten, die vom Wahrnehmungssystem 402 verwendet werden, um das wenigstens eine physische Objekt zu erkennen) in einer Umgebung und klassifiziert das wenigstens eine physische Objekt. Bei einigen Beispielen empfängt das Wahrnehmungssystem 402 von wenigstens einer Kamera (beispielsweise Kameras 202a) aufgenommene Bilddaten, wobei das Bild mit einem oder mehreren physischen Objekten innerhalb eines Gesichtsfelds der wenigstens einen Kamera assoziiert ist (diese beispielsweise repräsentiert). Bei einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 wenigstens ein physisches Objekt auf der Grundlage einer oder mehrerer Gruppierungen physischer Objekte (beispielsweise Fahrräder, Fahrzeuge, Verkehrszeichen, Fußgänger und/oder dergleichen). Gemäß einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten in Zusammenhang mit der Klassifikation der physischen Objekte auf der Grundlage der vom Wahrnehmungssystem 402 vorgenommenen Klassifikation der physischen Objekte zum Planungssystem 404.
  • Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einem Bestimmungsort und erzeugt Daten in Zusammenhang mit wenigstens einer Route (beispielsweise Routen 106), entlang derer ein Fahrzeug (beispielsweise die Fahrzeuge 102) zu einem Bestimmungsort fahren kann. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (beispielsweise Daten in Zusammenhang mit der Klassifikation physischer Objekte, wie vorstehend beschrieben) und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. Gemäß einigen Ausführungsformen empfängt das Planungssystem 404 Daten in Zusammenhang mit einer aktualisierten Position eines Fahrzeugs (beispielsweise der Fahrzeuge 102) vom Lokalisierungssystem 406 und aktualisiert das Planungssystem 404 die wenigstens eine Fahrstrecke oder erzeugt wenigstens eine andere Fahrstrecke auf der Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
  • Gemäß einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit dem Ort eines Fahrzeugs (beispielsweise der Fahrzeuge 102) in einem Bereich (welche diesen beispielsweise repräsentieren). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 Lidar-Daten in Zusammenhang mit wenigstens einer von wenigstens einem Lidarsensor (beispielsweise den Lidarsensoren 202b) erzeugten Punktwolke. Bei gewissen Beispielen empfängt das Lokalisierungssystem 406 Daten in Zusammenhang mit wenigstens einer Punktwolke von mehreren Lidarsensoren und erzeugt das Lokalisierungssystem 406 eine kombinierte Punktwolke auf der Grundlage jeder der Punktwolken. Bei diesen Beispielen vergleicht das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten 2D- und/oder 3D-Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs im Bereich auf der Grundlage dessen, dass das Lokalisierungssystem 406 die wenigstens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. Gemäß einigen Ausführungsformen weist die Karte eine vor der Navigation des Fahrzeugs erzeugte kombinierte Punktwolke des Bereichs auf. Gemäß einigen Ausführungsformen umfassen Karten ohne Einschränkung Karten hoher Genauigkeit der geometrischen Eigenschaften der Fahrbahn, Karten, die Straßennetz-Verbindbarkeitseigenschaften beschreiben, Karten, die physische Eigenschaften der Fahrbahn beschreiben (wie Verkehrsgeschwindigkeit, Verkehrsaufkommen, die Anzahl von Fahrzeug- und Radfahrer-Verkehrsspuren, die Fahrspurbreite, Fahrspur-Verkehrsrichtungen oder Fahrspur-Markierungstypen und -orte oder Kombinationen davon) und Karten, welche die räumlichen Orte von Straßenmerkmalen in der Art von Fußgängerüberwegen, Verkehrszeichen oder anderen Verkehrssignalen verschiedener Typen beschreiben. Gemäß einigen Ausführungsformen wird die Karte in Echtzeit auf der Grundlage der vom Wahrnehmungssystem empfangenen Daten erzeugt.
  • Bei einem anderen Beispiel empfängt das Lokalisierungssystem 406 von einem Empfänger des globalen Positionsbestimmungssystems (GPS) erzeugte Daten des globalen Navigationssatellitensystems (GNSS). Bei einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten in Zusammenhang mit dem Ort des Fahrzeugs im Bereich und bestimmt das Lokalisierungssystem 406 die Breite und Länge des Fahrzeugs im Bereich. Bei einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs im Bereich auf der Grundlage der Breite und Länge des Fahrzeugs. Gemäß einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs. Bei einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten in Zusammenhang mit der Position des Fahrzeugs auf der Grundlage dessen, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. Bei einem solchen Beispiel umfassen die Daten in Zusammenhang mit der Position des Fahrzeugs Daten in Zusammenhang mit einer oder mehreren semantischen Eigenschaften, die der Position des Fahrzeugs entsprechen.
  • Gemäß einigen Ausführungsformen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs. Bei einigen Beispielen empfängt das Steuersystem 408 Daten in Zusammenhang mit wenigstens einer Fahrstrecke vom Planungssystem 404 und steuert das Steuersystem 408 den Betrieb des Fahrzeugs durch Erzeugen und Übertragen von Steuersignalen, um zu bewirken, dass ein Antriebsstrang-Steuersystem (beispielsweise das DBW-System 202h, das Antriebsstrang-Steuersystem 204 und/oder dergleichen, ein Lenksteuersystem (beispielsweise das Lenksteuersystem 206) und/oder ein Bremssystem (beispielsweise das Bremssystem 208) arbeiten. Bei einem Beispiel, bei dem eine Fahrstrecke ein Abbiegen nach links aufweist, überträgt das Steuersystem 408 ein Steuersignal, um das Lenksteuersystem 206 zu veranlassen, den Lenkwinkel des Fahrzeugs 200 einzustellen, wodurch das Fahrzeug 200 veranlasst wird, nach links zu fahren. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um andere Vorrichtungen (beispielsweise Frontscheinwerfer, Abbiegesignale, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu veranlassen, Zustände zu ändern.
  • Gemäß einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell (beispielsweise wenigstens ein mehrschichtiges Perzeptron (MLP), wenigstens ein faltendes neuronales Netz (CNN), wenigstens ein rekurrentes neuronales Netz (RNN), wenigstens einen Autoencoder, wenigstens einen Transformer und/oder dergleichen). Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 allein oder in Kombination mit einem oder mehreren der vorstehend erwähnten Systeme wenigstens ein Maschinenlernmodell. Bei einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 wenigstens ein Maschinenlernmodell als Teil einer Pipeline (beispielsweise einer Pipeline zur Identifikation eines oder mehrerer Objekte, die sich in einer Umgebung und/oder dergleichen befinden). Ein Beispiel einer Implementation eines Maschinenlernmodells wird nachstehend mit Bezug auf die 4B - 4D aufgenommen.
  • Die Datenbank 410 speichert Daten, die zum Wahrnehmungssystem 402, zum Planungssystem 404, zum Lokalisierungssystem 406 und/oder zum Steuersystem 408 gesendet, davon empfangen und/oder dadurch aktualisiert werden. Bei einigen Beispielen weist die Datenbank 410 eine Massenspeicherkomponente (beispielsweise eine Massenspeicherkomponente, die der Massenspeicherkomponente 308 aus 3 gleicht oder ähnelt) auf, die Daten und/oder Software in Bezug auf den Betrieb speichert und wenigstens ein System des Autonomes-Fahrzeug-Computers 400 verwendet. Gemäß einigen Ausführungsformen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten wenigstens eines Bereichs. Bei einigen Beispielen speichert die Datenbank 410 Daten in Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Lands, eine Staats, eines souveränen Staats (beispielsweise eines Lands) und/oder dergleichen. Bei einem solchen Beispiel kann ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einem oder mehreren befahrbaren Gebieten (beispielsweise einspurigen Straßen, mehrspurigen Straßen, Schnellstraßen, Nebenwegen, Querfeldeinwegen und/oder dergleichen) fahren und wenigstens einen Lidarsensor (beispielsweise einen Lidarsensor, der dem Lidarsensor 202b gleicht oder ähnelt) veranlassen, Daten in Zusammenhang mit einem Bild zu erzeugen, das die in einem Gesichtsfeld des wenigstens einen Lidarsensors enthaltenen Objekte repräsentiert.
  • Gemäß einigen Ausführungsformen kann die Datenbank 410 über mehrere Vorrichtungen hinweg implementiert werden. Bei einigen Beispielen ist die Datenbank 410 in ein Fahrzeug (beispielsweise ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt), ein autonomes Fahrzeugsystem (beispielsweise ein autonomes Fahrzeugsystem, das dem Fern-AV-System 114 gleicht oder ähnelt), ein Flottenverwaltungssystem (beispielsweise ein Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 aus 1 gleicht oder ähnelt), ein V2I-System (beispielsweise ein V2I-System, das dem V2I-System 118 aus 1 gleicht oder ähnelt) und/oder dergleichen aufgenommen.
  • 4B zeigt ein Diagramm einer Implementation eines Maschinenlernmodells. Insbesondere ist ein Diagramm einer Implementation eines faltenden neuronalen Netzes (CNN) 420 dargestellt. Für die Zwecke der Erläuterung geschieht die folgende Beschreibung des CNNs 420 mit Bezug auf eine Implementation des CNNs 420 durch das Wahrnehmungssystem 402. Es ist jedoch zu verstehen, dass das CNN 420 (beispielsweise eine oder mehrere Komponenten des CNNs 420) bei einigen Beispielen durch vom Wahrnehmungssystem 402 verschiedene oder darüber hinausgehende Systeme in der Art des Planungssystems 404, des Lokalisierungssystems 406 und/oder Steuersystems 408 implementiert ist. Wenngleich das CNN 420 gewisse hier beschriebene Merkmale aufweist, dienen diese Merkmale der Erläuterung und sollen die vorliegende Offenbarung nicht einschränken.
  • Das CNN 420 weist mehrere Faltungsschichten einschließlich einer ersten Faltungsschicht 422, einer zweiten Faltungsschicht 424 und einer Faltungsschicht 426 auf. Gemäß einigen Ausführungsformen weist das CNN 420 eine Unterabtastschicht 428 (manchmal als Pooling-Schicht bezeichnet) auf. Gemäß einigen Ausführungsformen weisen die Unterabtastschicht 428 und/oder andere Abtastschichten eine Dimension (d. h. eine Anzahl von Knoten) auf, die kleiner ist als die Dimension eines vorgeschalteten Systems. Dadurch, dass die Unterabtastschicht 428 eine Dimension aufweist, die kleiner als die Dimension einer vorgeschalteten Schicht ist, konsolidiert das CNN 420 die Datenmenge in Zusammenhang mit der anfänglichen Eingabe und/oder der Ausgabe einer vorgeschalteten Schicht, wodurch der Rechenaufwand verringert wird, den das CNN 420 benötigt, um nachfolgende Faltungsoperationen auszuführen. Zusätzlich oder alternativ konsolidiert das CNN 420 dadurch, dass die Unterabtastschicht 428 mit wenigstens einer Unterabtastfunktion (wie nachstehend mit Bezug auf die 4C und 4D beschrieben) assoziiert ist (beispielsweise dafür ausgelegt ist, diese auszuführen), die Datenmenge in Zusammenhang mit der anfänglichen Eingabe.
  • Das Wahrnehmungssystem 402 führt Faltungsoperationen auf der Grundlage davon aus, dass es jeweilige Eingaben und/oder Ausgaben in Zusammenhang mit jeder von der ersten Faltungsschicht 422, der zweiten Faltungsschicht 424 und der Faltungsschicht 426 bereitstellt, um jeweilige Ausgaben zu erzeugen. Bei einigen Beispielen implementiert das Wahrnehmungssystem 402 das CNN 420 auf der Grundlage davon, dass das Wahrnehmungssystem 402 der ersten Faltungsschicht 422, der zweiten Faltungsschicht 424 und der Faltungsschicht 426 Daten als Eingabe bereitstellt. Bei einem solchen Beispiel stellt das Wahrnehmungssystem 402 die Daten der ersten Faltungsschicht 422, der zweiten Faltungsschicht 424 und der Faltungsschicht 426 auf der Grundlage davon als Eingabe bereit, dass das Wahrnehmungssystem 402 Daten von einem oder mehreren anderen Systemen (beispielsweise einem oder mehreren Systemen eines Fahrzeugs, das dem Fahrzeug 102 gleicht oder ähnelt), einem Fern-AV-System, das dem Fern-AV-System 114 gleicht oder ähnelt, einem Flottenverwaltungssystem, das dem Flottenverwaltungssystem 116 gleicht oder ähnelt, einem V2I-System, das dem V2I-System 118 gleicht oder ähnelt, und/oder der gleichen) empfängt. Eine detaillierte Beschreibung der Faltungsoperationen wird nachstehend mit Bezug auf 4C gegeben.
  • Gemäß einigen Ausführungsformen stellt das Wahrnehmungssystem 402 Daten in Zusammenhang mit einer Eingabe (als anfängliche Eingabe bezeichnet) der ersten Faltungsschicht 422 bereit und erzeugt das Wahrnehmungssystem 402 Daten in Zusammenhang mit einer Ausgabe unter Verwendung der ersten Faltungsschicht 422. Gemäß einigen Ausführungsformen stellt das Wahrnehmungssystem 402 eine durch eine Faltungsschicht erzeugte Ausgabe einer anderen Faltungsschicht als Eingabe bereit. Beispielsweise stellt das Wahrnehmungssystem 402 die Ausgabe der ersten Faltungsschicht 422 der Unterabtastschicht 428, der zweiten Faltungsschicht 424 und/oder der Faltungsschicht 426 als Eingabe bereit. Bei einem solchen Beispiel wird die erste Faltungsschicht 422 als vorhergehende Schicht bezeichnet und werden die Unterabtastschicht 428, die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 als nachfolgende Schichten bezeichnet. Ähnlich stellt das Wahrnehmungssystem 402 gemäß einigen Ausführungsformen die Ausgabe der Unterabtastschicht 428 der zweiten Faltungsschicht 424 und/oder der Faltungsschicht 426 bereit, wobei bei diesem Beispiel die Unterabtastschicht 428 als vorhergehende Schicht bezeichnet werden würde und die zweite Faltungsschicht 424 und/oder die Faltungsschicht 426 als nachfolgende Schichten bezeichnet werden würden.
  • Gemäß einigen Ausführungsformen verarbeitet das Wahrnehmungssystem 402 die Daten in Zusammenhang mit der dem CNN 420 bereitgestellten Eingabe, bevor das Wahrnehmungssystem 402 die Eingabe dem CNN 420 bereitstellt. Beispielsweise verarbeitet das Wahrnehmungssystem 402 die Daten in Zusammenhang mit der dem CNN 420 bereitgestellten Eingabe auf der Grundlage davon, dass das Wahrnehmungssystem 402 Sensordaten (beispielsweise Bilddaten, Lidar-Daten, Radardaten und/oder dergleichen) normiert.
  • Gemäß einigen Ausführungsformen erzeugt das CNN 420 eine Ausgabe auf der Grundlage davon, dass das Wahrnehmungssystem 402 Faltungsoperationen in Zusammenhang mit jeder Faltungsschicht ausführt. Bei einigen Beispielen erzeugt das CNN 420 eine Ausgabe auf der Grundlage davon, dass das Wahrnehmungssystem 402 Faltungsoperationen in Zusammenhang mit jeder Faltungsschicht und einer anfänglichen Eingabe ausführt. Gemäß einigen Ausführungsformen erzeugt das Wahrnehmungssystem 402 die Ausgabe und stellt die Ausgabe als vollständig verbundene Schicht 430 bereit. Bei einigen Beispielen stellt das Wahrnehmungssystem 402 die Ausgabe der Faltungsschicht 426 als vollständig verbundene Schicht 430 bereit, wobei die vollständig verbundene Schicht 420 Daten in Zusammenhang mit mehreren als F1, F2 ... FN bezeichneten Merkmalswerten aufweist. Bei diesem Beispiel weist die Ausgabe der Faltungsschicht 426 Daten in Zusammenhang mit mehreren ausgegebenen Merkmalswerten, die eine Vorhersage repräsentieren, auf.
  • Gemäß einigen Ausführungsformen identifiziert das Wahrnehmungssystem 402 eine Vorhersage aus mehreren Vorhersagen auf der Grundlage davon, dass das Wahrnehmungssystem 402 einen Merkmalswert identifiziert, der mit der höchsten Wahrscheinlichkeit assoziiert ist, aus den mehreren Vorhersagen die korrekte Vorhersage zu sein. Wenn die vollständig verbundene Schicht 430 beispielsweise Merkmalswerte F1, F2, ... FN aufweist und F1 der größte Merkmalswert ist, identifiziert das Wahrnehmungssystem 402 die Vorhersage in Zusammenhang mit F1 als die korrekte Vorhersage aus den mehreren Vorhersagen. Gemäß einigen Ausführungsformen trainiert das Wahrnehmungssystem 402 das CNN 420, um die Vorhersage zu erzeugen. Bei einigen Beispielen trainiert das Wahrnehmungssystem 402 das CNN 420, um die Vorhersage auf der Grundlage davon zu erzeugen, dass das Wahrnehmungssystem 402 dem CNN 420 Trainingsdaten in Zusammenhang mit der Vorhersage bereitstellt.
  • Die 4C und 4D zeigen ein Diagramm eines durch das Wahrnehmungssystem 402 ausgeführten beispielhaften Betriebs des CNNs 440. Gemäß einigen Ausführungsformen gleicht oder ähnelt das CNN 440 (beispielsweise eine oder mehrere Komponenten des CNNs 440) dem CNN 420 (beispielsweise einer oder mehreren Komponenten des CNNs 420) (siehe 4B).
  • In Schritt 450 stellt das Wahrnehmungssystem 420 Daten in Zusammenhang mit einem Bild dem CNN 440 als Eingabe bereit (Schritt 450). Beispielsweise stellt das Wahrnehmungssystem 402, wie dargestellt, die Daten in Zusammenhang mit dem Bild dem CNN 440 bereit, wobei das Bild ein als in einem 2D-Array gespeicherte Werte repräsentiertes Graustufenbild ist. Gemäß einigen Ausführungsformen können die Daten in Zusammenhang mit dem Bild Daten in Zusammenhang mit einem Farbbild umfassen, wobei das Farbbild als in einem 3D-Array gespeicherte Werte repräsentiert ist. Zusätzlich oder alternativ können die Daten in Zusammenhang mit dem Bild Daten in Zusammenhang mit einem Infrarotbild, einem Radarbild und/oder dergleichen umfassen.
  • In Schritt 455 führt das CNN 440 eine erste Faltungsfunktion aus. Beispielsweise führt das CNN 440 die erste Faltungsfunktion auf der Grundlage davon aus, dass das CNN 440 die das Bild repräsentierenden Werte als Eingabe einem oder mehreren in der ersten Faltungsschicht 442 enthaltenen Neuronen (nicht explizit dargestellt) bereitstellt. Bei diesem Beispiel können die das Bild repräsentierenden Werte ein Gebiet des Bilds (manchmal als rezeptives Feld bezeichnet) repräsentierenden Werten entsprechen. Gemäß einigen Ausführungsformen ist jedes Neuron mit einem Filter (nicht explizit dargestellt) assoziiert. Ein Filter (manchmal als Kern bezeichnet) ist als Feld von Werten repräsentierbar, das in der Größe den Werten entspricht, die dem Neuron als Eingabe bereitgestellt werden. Bei einem Beispiel kann ein Filter dafür ausgelegt sein, Kanten (beispielsweise horizontale Linien, vertikale Linien, gerade Linien und/oder dergleichen) zu identifizieren. Bei nachfolgenden Faltungsschichten können die Filter in Zusammenhang mit Neuronen dafür ausgelegt werden, zunehmend komplexere Muster (beispielsweise Bögen, Objekte und/oder dergleichen) zu identifizieren.
  • Gemäß einigen Ausführungsformen führt das CNN 440 die erste Faltungsfunktion auf der Grundlage davon aus, dass es die jedem von dem einen oder den mehreren Neuronen in der ersten Faltungsschicht 442 als Eingabe bereitgestellten Werte mit den Werten des Filters, das jedem von dem einen oder den mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 440 die jedem von dem einen oder den mehreren Neuronen in der ersten Faltungsschicht 442 als Eingabe bereitgestellten Werte mit den Werten des Filters multiplizieren, das jedem von dem einen oder den mehreren Neuronen entspricht, um einen einzigen Wert oder ein Array von Werten als Ausgabe zu erzeugen. Gemäß einigen Ausführungsformen wird die gemeinsame Ausgabe der Neuronen der ersten Faltungsschicht 442 als gefaltete Ausgabe bezeichnet. Gemäß einigen Ausführungsformen, bei denen jedes Neuron das gleiche Filter aufweist, wird die gefaltete Ausgabe als Merkmalskarte bezeichnet.
  • Gemäß einigen Ausführungsformen stellt das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 Neuronen einer nachfolgenden Schicht bereit. Aus Gründen der Klarheit kann eine vorhergehende Schicht eine Schicht sein, die Daten zu einer anderen Schicht (als nachfolgende Schicht bezeichnet) sendet. Beispielsweise kann das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 entsprechenden Neuronen einer Unterabtastschicht bereitstellen. Bei einem Beispiel stellt das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 entsprechenden Neuronen der ersten Unterabtastschicht 444 bereit. Gemäß einigen Ausführungsformen addiert das CNN 440 einen Bias-Wert zu den Aggregaten aller jedem Neuron der nachfolgenden Schicht bereitgestellten Werte. Beispielsweise addiert das CNN 440 einen Bias-Wert zu den Aggregaten aller jedem Neuron der ersten Unterabtastschicht 444 bereitgestellter Werte. Bei einem solchen Beispiel bestimmt das CNN 440 einen endgültigen Wert, der jedem Neuron der ersten Unterabtastschicht 444 auf der Grundlage der Aggregate aller jedem Neuron bereitgestellter Werte und einer Aktivierungsfunktion in Zusammenhang mit jedem Neuron der ersten Unterabtastschicht 444 bereitzustellen ist.
  • In Schritt 460 führt das CNN 440 eine erste Unterabtastfunktion aus. Beispielsweise kann das CNN 440 eine erste Unterabtastfunktion auf der Grundlage davon ausführen, dass das CNN 440 die von der ersten Faltungsschicht 442 ausgegebenen Werte entsprechenden Neuronen der ersten Unterabtastschicht 444 bereitstellt. Gemäß einigen Ausführungsformen führt das CNN 440 die erste Unterabtastfunktion auf der Grundlage einer Aggregationsfunktion aus. Bei einem Beispiel führt das CNN 440 die erste Unterabtastfunktion auf der Grundlage davon aus, dass es die maximale Eingabe unter den einem gegebenen Neuron bereitgestellten Werten bestimmt (als Max-Pooling-Funktion bezeichnet). Bei einem anderen Beispiel führt das CNN 440 die erste Unterabtastfunktion auf der Grundlage davon aus, dass es die durchschnittliche Eingabe der einem gegebenen Neuron bereitgestellten Werte bestimmt (als Mittelungs-Pooling-Funktion bezeichnet). Gemäß einigen Ausführungsformen erzeugt das CNN 440 eine Ausgabe auf der Grundlage davon, dass es die Werte jedes Neurons der ersten Unterabtastschicht 444 bereitstellt, wobei die Ausgabe manchmal als unterabgetastete gefaltete Ausgabe bezeichnet wird.
  • In Schritt 465 führt das CNN 440 eine zweite Faltungsfunktion aus. Gemäß einigen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion ähnlich aus, wie es die erste Faltungsfunktion ausgeführt hat, wie vorstehend beschrieben. Gemäß einigen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion auf der Grundlage davon aus, dass es die von der ersten Unterabtastschicht 444 ausgegebenen Werte einem oder mehreren Neuronen (nicht explizit dargestellt), die in der zweiten Faltungsschicht 446 enthalten sind, als Eingabe bereitstellt. Gemäß einigen Ausführungsformen ist jedes Neuron der zweiten Faltungsschicht 446 mit einem Filter assoziiert, wie vorstehend beschrieben. Das eine oder die mehreren Filter in Zusammenhang mit der zweiten Faltungsschicht 446 können dafür ausgelegt sein, komplexere Muster als das Filter in Zusammenhang mit der ersten Faltungsschicht 442, wie vorstehend beschrieben, zu identifizieren.
  • Gemäß einigen Ausführungsformen führt das CNN 440 die zweite Faltungsfunktion auf der Grundlage davon aus, dass es die jedem von dem einen oder den mehreren Neuronen in der zweiten Faltungsschicht 446 als Eingabe bereitgestellten Werte mit den Werten des Filters, das jedem von dem einen oder den mehreren Neuronen entspricht, multipliziert. Beispielsweise kann das CNN 440 die jedem von dem einen oder den mehreren Neuronen in der zweiten Faltungsschicht 446 als Eingabe bereitgestellten Werte mit den Werten des Filters multiplizieren, das jedem von dem einen oder den mehreren Neuronen entspricht, um einen einzigen Wert oder ein Array von Werten als Ausgabe zu erzeugen.
  • Gemäß einigen Ausführungsformen stellt das CNN 440 die Ausgaben jedes Neurons der zweiten Faltungsschicht 446 Neuronen einer nachfolgenden Schicht bereit. Beispielsweise kann das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 entsprechenden Neuronen einer Unterabtastschicht bereitstellen. Bei einem Beispiel stellt das CNN 440 die Ausgaben jedes Neurons der ersten Faltungsschicht 442 entsprechenden Neuronen der zweiten Unterabtastschicht 448 bereit. Gemäß einigen Ausführungsformen addiert das CNN 440 einen Bias-Wert zu den Aggregaten aller jedem Neuron der nachfolgenden Schicht bereitgestellten Werte. Beispielsweise addiert das CNN 440 einen Bias-Wert zu den Aggregaten aller jedem Neuron der zweiten Unterabtastschicht 448 bereitgestellter Werte. Bei einem solchen Beispiel bestimmt das CNN 440 einen endgültigen Wert, der jedem Neuron der zweiten Unterabtastschicht 448 auf der Grundlage der Aggregate aller jedem Neuron bereitgestellter Werte und einer Aktivierungsfunktion in Zusammenhang mit jedem Neuron der zweiten Unterabtastschicht 448 bereitzustellen ist.
  • In Schritt 470 führt das CNN 440 eine zweite Unterabtastfunktion aus. Beispielsweise kann das CNN 440 eine zweite Unterabtastfunktion auf der Grundlage davon ausführen, dass das CNN 440 die von der zweiten Faltungsschicht 446 ausgegebenen Werte entsprechenden Neuronen der zweiten Unterabtastschicht 448 bereitstellt. Gemäß einigen Ausführungsformen führt das CNN 440 die zweite Unterabtastfunktion auf der Grundlage davon aus, dass es eine Aggregationsfunktion verwendet. Bei einem Beispiel führt das CNN 440 die erste Unterabtastfunktion auf der Grundlage davon aus, dass es die maximale Eingabe oder eine durchschnittliche Eingabe der einem gegebenen Neuron bereitgestellten Werte bestimmt, wie vorstehend beschrieben. Gemäß einigen Ausführungsformen erzeugt das CNN 440 eine Ausgabe auf der Grundlage davon, dass es die Werte jedes Neurons der zweiten Unterabtastschicht 448 bereitstellt.
  • In Schritt 475 stellt das CNN 440 die Ausgabe jedes Neurons der zweiten Unterabtastschicht 448 den vollständig verbundenen Schichten 449 bereit. Beispielsweise stellt das CNN 440 die Ausgabe jedes Neurons der zweiten Unterabtastschicht 448 vollständig verbundenen Schichten 449 bereit, um die vollständig verbundenen Schichten 449 zu veranlassen, eine Ausgabe zu erzeugen. Gemäß einigen Ausführungsformen sind die vollständig verbundenen Schichten 449 dafür ausgelegt, eine Ausgabe in Zusammenhang mit einer Vorhersage zu erzeugen (manchmal als Klassifikation bezeichnet). Die Vorhersage kann eine Angabe aufweisen, dass ein Objekt, das im Bild enthalten ist, das dem CNN 440 als Eingabe bereitgestellt wird, ein Objekt, einen Satz von Objekten und/oder dergleichen aufweist. Gemäß einigen Ausführungsformen führt das Wahrnehmungssystem 402 eine oder mehrere Operationen aus und/oder stellt die Daten in Zusammenhang mit der Vorhersage einem anderen System bereit, wie hier beschrieben.
  • 5 zeigt ein Diagramm einer Implementation 500 eines Prozesses zur Objekterkennung unter Verwendung einer RADAR- und LiDAR-Zusammenführung. Gemäß einigen Ausführungsformen weist die Implementation 500 einen Mehrfach-Sweep von Lidar-Punktwolken 501, die durch Lidar-Clusterbildung 503 verarbeitet wurden, um Lidar-Cluster zu erzeugen, auf. Ein Mehrfach-Sweep von Radarpunktwolken 502 wird bei der Radar-Clusterbildung 504 verwendet. Die Lidar-Cluster und die Radar-Cluster werden durch Assoziation 505, die verwendet wird, um assoziierte LiDAR- und RADAR-Cluster zu erzeugen, abgeglichen. Dann werden diese LiDAR- und RADAR-Cluster als Eingabe in das LiDAR-RADAR-Zusammenführungsnetz 506 zur Vorhersage von Objektklassifikation, 3D-Kästchen und Geschwindigkeit 508 verwendet. Bei der Assoziation 505 werden LiDAR-Cluster und RADAR-Cluster durch klassische Datenassoziationsalgorithmen in der Art des ungarischen Algorithmus assoziiert, wobei die Cluster-zu-Cluster-Kosten (Unähnlichkeit) anhand einer gewichteten Summe von Mittenabstand, Kurswinkeldifferenz und Geschwindigkeitsdifferenz berechnet werden. Die assoziierten LiDAR- und RADAR-Cluster werden dann dem LiDAR-RADAR-Zusammenführungsnetz 506 zugeführt, um die Zusammenführungsmerkmale von LiDAR und RADAR zu erlernen, und dann verwendet, um Objekt-Label, Kästchen und Geschwindigkeit 507 vorherzusagen. In Fällen, in denen ein gepaarter LiDAR- oder RADAR-Cluster bei der Datenassoziation fehlt, d. h. ein nicht abgeglichener LiDAR- oder RADAR-Cluster auftritt, wird ein Blind-Paar-Cluster mit konstanten Punktwerten verwendet. Mit einer solchen Behandlung ist das Zusammenführungsnetz in der Lage, alle Assoziationsergebnisse zu behandeln. Das LiDAR-RADAR-Zusammenführungsnetz 506 repräsentiert ein LiDAR- und RADAR-Zusammenführungsnetz, wie mit Bezug auf die 6A-1 und 6A-2 beschrieben, bis zur letzten Ausgangsschicht (Elemente 610, 619 und 620). Gemäß einigen Ausführungsformen gleicht oder ähnelt das System 500 dem System 402.
  • Die 6A-1 und 6A-2 zeigen ein Diagramm eines RADAR- und LiDAR-Zusammenführungsnetzes zur Objekterkennung. Beispielsweise zeigen die 6A-1 und 6A-2 gemeinsam ein Deep-Learning-Netz 600 zur Vorhersage von Labels, Begrenzungskästchen und Geschwindigkeit, wobei zusammengeführte Radar-und Lidardaten verwendet werden. Das Deep-Learning-Netz 600 kann zur Bestimmung von Merkmalen von einem Lidar-Cluster und einem Radar-Cluster, die als Paar abgeglichen sind, verwendet werden, beispielsweise durch ein Lidar/Radar-Cluster-Assoziationsmodul 621. Gemäß einigen Ausführungsformen kann der Lidar/Radar-Cluster-Abgleich auf dem Abgleichen von Schwerpunkten von Lidar- und Radar-Clustern beruhen. Die Erzeugung eines abgeglichenen Lidar-und-Radar-Cluster-Paars stellt eine Lidar-Cluster-Eingabe 629 für eine lidarassoziierte Pipeline 627 bereit, die durch einen oberen Teil des Deep-Learning-Netzes 600 repräsentiert ist. Überdies wird eine Radar-Cluster-Eingabe 630 einer radarassoziierten Pipeline 628 bereitgestellt, die durch einen unteren Teil des Deep-Learning-Netzes 600 repräsentiert ist. In Situationen, in denen ein Lidar-Cluster existiert, jedoch kein abgeglichener Radar-Cluster existiert, kann ein Stopfen mit Nullen oder einem anderen Platzhalter für den nicht existierenden Radar-Cluster im gesamten Deep-Learning-Netz 600 verwendet werden. Aspekte der Lidar/Radar-Zusammenführung, die in Konventionssystemen fehlen, jedoch wesentliche Teile der vorliegenden Offenbarung sind, werden durch Lidar/Radar-Zusammenführungselemente 622 und 625, die später detaillierter beschrieben werden, annotiert.
  • In einem Lidar-Cluster 601 weist jeder der M Lidardatenpunkte seine Position in einem Bezugssystem (beispielsweise eine x,y,z-Position in einem kartesischen Bezugssystem) und eine Intensität auf, ist jedoch nicht darauf beschränkt. Für jeden Punkt werden die x,y,z-Position und die Intensität verwendet. Es sei bemerkt, dass x und y durch Subtrahieren des Cluster-Zentrums x,y normiert werden können. Dies weist eine ähnliche Wirkung wie POINTPILLAR auf, wodurch beispielsweise die x,y-Werte von Punkten durch das Säulenzentrum in der Vogelperspektive normiert werden. Gemäß einer Ausführungsform werden die Cluster 601 durch drei vollständig verbundene Schichten 602 (insbesondere 32, 64 und 64 Ausgangsmerkmale für jede Schicht) verarbeitet, um M x 64 Merkmale 603 zu erzeugen. Es kann jedoch eine beliebige Anzahl von Faltungsschichten und Merkmalen verwendet werden. Block 604 (beispielsweise Max-Pooling) wird verwendet, um M x 192 zusammengeführte Merkmale 605 auf der Grundlage der Merkmale 603 und 613 zu erzeugen. Rohpunkte eines Lidar-Clusters werden der lidarassoziierten Pipeline 627 zugeführt, um zuerst Lidarmerkmale zu erlernen, und Rohradardaten werden der radarassoziierten Pipeline 628 zugeführt, um Radarmerkmale zu erlernen. Die Zusammenführung geschieht in den Merkmalsschichten (604, 605, 614 und 615) des Netzes. Bei 604 werden für jeden Lidarpunkt mit 64 - d Merkmalen die 64 - d globalen Lidar-Cluster-Merkmale nach dem MAX-Pooling und die 64 - d globalen Radar-Cluster-Merkmale als neuer Merkmalsvektor für jeden Lidarpunkt verkettet. Ähnlich werden zusätzlich zu den jeweiligen 64 - d-Radarpunktmerkmalen die 64 - d globalen Lidar-Cluster-Merkmale und die 64 - d globalen Radar-Cluster-Merkmale als neues Radarpunktmerkmal verkettet.
  • In einem Radar-Cluster 611 weist jeder von N Radarpunkten Radarinformationen auf, die Folgendes einschließen, jedoch nicht darauf beschränkt sind: Entfernung, Lage, Entfernungsrate und Amplitude. Die Cluster 611 werden durch drei vollständig verbundene Schichten 612 (insbesondere 32, 64 und 64 Ausgangsmerkmale für jede Schicht) verarbeitet, um N x 64 Merkmale 613 zu erzeugen. Es kann jedoch eine beliebige Anzahl von Faltungsschichten und Merkmalen verwendet werden. Block 614 (beispielsweise Max-Pooling) wird verwendet, um N x 192 zusammengeführte Merkmale 615 auf der Grundlage der Merkmale 613 und 603 zu erzeugen.
  • Ein Lidar/Radar-Zusammenführungssegment 622 des Deep-Learning-Netzes 600 stellt, nachdem die Merkmale 603 und 613 erzeugt wurden, einen anfänglichen Lidar/Radar-Zusammenführungspunkt im Deep-Learning-Netz 600 bereit. Im Lidar/Radar-Zusammenführungssegment 622 werden Lidardaten von der lidarassoziierten Pipeline 627 mit Radardaten von der radarassoziierten Pipeline 628 kombiniert. Auch werden Radardaten von der radarassoziierten Pipeline 628 mit Lidardaten von der lidarassoziierten Pipeline 627 kombiniert. Die jeweiligen Pipelines 627 und 628 werden mit den kombinierten Daten aktualisiert. Das Kombinieren der Daten wird durch Linien, die aus den Blöcken 604 und 614 (beispielsweise Max-Pooling) austreten, repräsentiert, wodurch Eingaben in die M x 192 zusammengeführten Merkmale 605 und die N x 192 zusammengeführten Merkmale 615 der jeweiligen Pipelines 627 und 628 bereitgestellt werden. Dies führt zur Merkmalszusammenführung, wobei das Punktnetz ausgelegt wird, um ein Teilen oder eine Zusammenführung von Lidar-/Radar-merkmalen, die mit dem anderen Typ (beispielsweise Radar oder Lidar) ausgetauscht und kombiniert werden, zu ermöglichen. Beispielsweise wird jedes der N 64 - d LiDAR-Merkmale 613 mit den 64 - d globalen RADAR-Merkmalen (nach dem Max-Pooling 604) und den 64 - d globalen LiDAR-Merkmalen (Max-Pooling 614) verkettet, so dass sich N 192 - d LiDAR-Merkmale 615 ergeben. Ebenso werden die M 64 - d RADAR-Merkmale 603 nach der Zusammenführung an M 192 - d RADAR-Merkmale angehängt. Diese Kombination erzeugt die (auf Lidar und Radar bezogenen) M x 192 zusammengeführten Merkmale 605 und die (auf Lidar und Radar bezogenen) N x 192 zusammengeführten Merkmale 615. Hier gilt 64 Lidarmerkmale + 64 Radarmerkmale + 64 globale Merkmale = 192 Gesamtmerkmale. Die Lidar- und Radarteile des Deep-Learning-Netzes 600 teilen sich ein vollständig verbundenes Netz, insbesondere zwei vollständig verbundene Schichten (192 bzw. 256 Ausgangsmerkmale) 606, die anhand der M x 192 zusammengeführten Merkmale 605 und der N x 192 zusammengeführten Merkmale 615 erzeugt wurden. Die vollständig verbundenen Schichten 606 werden zur Erzeugung von M x 256 zusammengeführten Merkmalen 607 und N x 256 zusammengeführten Merkmalen 616 für Lidar bzw. Radar verwendet.
  • Bei der Merkmalsteilung 625 weisen sowohl die M x 256 zusammengeführten Merkmale 607 als auch die N x 256 zusammengeführten Merkmale 616 durch Lidar und durch Radar erkannte Merkmale auf. Die Blöcke 608 und 617 (beispielsweise Max-Pooling-Blöcke) werden zur Erzeugung zusammengeführter Cluster-Ebenen-Informationen 618 (beispielsweise Geschwindigkeit, Entfernung zur Straße usw.) verwendet. Die M x 256 zusammengeführten Merkmale 607, die N x 256 zusammengeführten Merkmale 616 und die Cluster-Ebenen-Informationen 631 (beispielsweise einschließlich Geschwindigkeit und Entfernung zur Straße) werden bei 618 zu zusammengeführten Cluster-Merkmalen kombiniert und den vollständig verbundenen Schichten (256 und k Ausgangsmerkmale) 609 zugeführt. Die ausgegebenen k Merkmale in der letzten vollständig verbundenen Schicht bei 609 werden zur Erzeugung von Labeln 610, Kästchen 620 und Geschwindigkeiten 619 verwendet. Der Wert von k in diesem Fall ist die endgültige Abmessung, die benötigt wird, um die Ausgaben 610, 619 und 620 zu erzeugen. Die Ausgaben 610, 619 und 620 umfassen Position, Abmessung und Label. Ein gegebenes Label kann identifizieren, dass ein Objekt beispielsweise ein Fußgänger ist. Das Label kann ferner einen Vertrauenswert, beispielsweise 80 %, aufweisen, wodurch angegeben wird, dass es ein Vertrauen von 80 % gibt, dass das Objekt ein Fußgänger ist. Von 614 bis 615 kann jedes Radarpunktmerkmal mit dem Radar-Cluster-Ebenen-Merkmal (64 - d nach der Max-Pooling-Schicht) erweitert werden, um Radar-Cluster-Strukturinformationen zu codieren. Ferner wird auch jedes Lidar-Cluster-Ebenen-Merkmal von 604 zu jedem Radarpunktmerkmal erweitert, um Lidar-Cluster-basierte Strukturinformationen zu codieren. Dieses zusammengeführte 192 - d Merkmal weist die komplementären Informationen von Lidar und Radar, sowohl mit Punktebenen- als auch mit Cluster-Ebenen-Informationen, auf. In 6A-2 ist k eine variierende Dimension, die von der Anzahl der Objektklassen x Dimension von (Label + Kästchen + Geschwindigkeit) abhängt, wobei k entsprechend den Anwendungseinzelheiten konfigurierbar ist.
  • Gemäß einigen Ausführungsformen schließt die Implementation 600 die Implementation 500 ein. Gemäß einigen Ausführungsformen gleicht oder ähnelt das System 600 dem System 202.
  • 6B ist ein Blockdiagramm eines beispielhaften Arbeitsablaufs 650 zur Identifikation von Objekten unter Verwendung einer Heuristik-basierten Assoziation. Wenn eine Liste der LiDAR-Cluster 652 und eine Liste der RADAR-Cluster 654 gegeben sind, kann eine gewichtete Bewertung des Schwerpunktabstands, der Kursdifferenz und der Geschwindigkeitsdifferenz 656 als Kosten/Unähnlichkeit für die Datenassoziation verwendet werden. Jegliche klassische Datenassoziationsalgorithmen in der Art des ungarischen Algorithmus können für die Assoziation der LiDAR-Cluster 652 und RADAR-Cluster 654 eingesetzt werden. Das Ergebnis der Assoziation weist nicht abgeglichene Lidar-Cluster 658, abgeglichene Lidar/Radar-Paare 660 und nicht abgeglichene Radar-Cluster 662 auf.
  • 6C ist ein Diagramm eines Beispiels einer Assoziation von LiDAR-und RADAR-Clustern in einer Szene 680. Die Szene 680 weist fünf Objekte auf, die beispielsweise unter Verwendung des Arbeitsablaufs 650 identifiziert werden können. Dabei repräsentiert ein L-Vorspann durch LiDAR erkannte Objekte und repräsentiert ein R-Vorspann durch RADAR erkannte Objekte. Nach der Assoziation sind <L1, R1> und <L2, R2> zwei abgeglichene Paare 682 und 684, die zwei Objekte repräsentieren. L3 ist ein nicht abgeglichener LiDAR-Cluster, der ein Objekt 686 repräsentiert. R4 und R5 sind zwei nicht abgeglichene RADAR-Cluster, die zwei Objekte 688 und 690 repräsentieren.
  • 7 zeigt ein Flussdiagramm eines Prozesses 700 zur Objekterkennung unter Verwendung einer RADAR- und LiDAR-Zusammenführung. Gemäß einigen Ausführungsformen werden bei der Objekterkennung Cluster, die auf der Grundlage einer Assoziation von Clustern von Radar und Clustern von Lidar erzeugt werden, erzeugt und gelabelt. Gemäß einigen Ausführungsformen werden einer oder mehrere der mit Bezug auf den Prozess 700 beschriebenen Schritte durch das Wahrnehmungssystem 402 (beispielsweise durch ein oder mehrere Systeme (oder Untersysteme) des Wahrnehmungssystems 402) (beispielsweise vollständig, teilweise und/oder dergleichen) ausgeführt. Zusätzlich oder alternativ werden gemäß einigen Ausführungsformen ein oder mehrere mit Bezug auf den Prozess 700 beschriebene Schritte durch eine andere Vorrichtung oder Vorrichtungsgruppe getrennt vom Wahrnehmungssystem 402 oder dieses einschließend, beispielsweise durch die Vorrichtung 300 (beispielsweise vollständig, teilweise und/oder dergleichen), ausgeführt. Die Blöcke 710 und 712 sind die Lidar- und Radar-Cluster-Segmentierungspipelines. Es können klassische Punktwolken-Segmentierungsverfahren in der Art des GRAPHSEG- oder des DBSCAN-Verfahrens verwendet werden. Schritt 714 stellt eine Lidar-und-Radar-Cluster-Assoziation bereit, wobei ein Datenassoziationsalgorithmus in der Art des ungarischen Algorithmus verwendet werden kann, um die Lidar- und Radar-Cluster unter Verwendung des Schwerpunkts, der Geschwindigkeit und des Kurswinkels zu assoziieren. Bei 716 wird unter Verwendung von durch ein herkömmliches System nicht bereitgestellten Fähigkeiten ein Lidar-und-Radar-Zusammenführungsnetz verwendet, um die Lidar-Cluster- und Radar-Cluster-Merkmale zusammenzuführen, um das Objektlabel, das Begrenzungskästchen und die Geschwindigkeit besser vorherzusagen. Die komplementären Lidar- und Radarmerkmale können eine verbesserte Erkennungsleistung in großen Entfernungen ermöglichen.
  • Bei 702 wird eine erste Punktwolke, die durch einen Lidarsensor (beispielsweise den Lidarsensor 202b) eines Fahrzeugs (beispielsweise des AVs 200), das in einer Umgebung betrieben wird, erfasst wird, durch wenigstens einen Prozessor (beispielsweise den Prozessor 304) erhalten. Gemäß einigen Ausführungsformen wird die erste Punktwolke anhand mehrerer Abtastungen der Umgebung durch den Lidarsensor akkumuliert. Gemäß einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit Lidarsensoren 202b Tiefendaten (beispielsweise die Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), wodurch die in einem Abtastgesichtsfeld von Lidarsensoren 202b enthaltenen Objekte repräsentiert werden. Bei einigen Beispielen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit dem Lidarsensor 202b 3D-Daten, welche die Grenzen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentieren. Bei einem solchen Beispiel werden die 3D-Daten zur Bestimmung der Grenzen physischer Objekte im Gesichtsfeld von Lidarsensoren 202b verwendet.
  • Bei 704 wird eine durch einen Radarsensor (beispielsweise den Radarsensor 202c) des Fahrzeugs (beispielsweise des Fahrzeugs 200) erfasste zweite Punktwolke mit dem wenigstens einen Prozessor (beispielsweise dem Prozessor 304) erhalten. Gemäß einigen Ausführungsformen wird die zweite Punktwolke anhand mehrerer Abtastungen der Umgebung durch den Radarsensor akkumuliert. Bei einigen Ausführungsformen erzeugt wenigstens ein Datenverarbeitungssystem in Zusammenhang mit dem Radarsensor 202c 3D-Daten, welche die Grenzen eines physischen Objekts, die Oberflächen (beispielsweise die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen repräsentieren. Bei einigen Beispielen wird das Bild verwendet, um die Grenzen physischer Objekte im Gesichtsfeld der Radarsensoren 202c zu bestimmen.
  • Bei 706 wird die erste Punktwolke unter Verwendung des wenigstens einen Prozessors in ein fahrzeugzentrisches Bezugssystem transformiert. Beispielsweise können das Lidar und/oder ein Prozessor (beispielsweise der Prozessor 304) die erste Punktwolke von Objekten (beispielsweise der Objekte 104a - 104n) im FOV des Lidars in ein Bezugssystem transformieren, das um das Fahrzeug 200 zentriert ist. Bei diesem Beispiel bedeutet zentriert nicht, dass das Fahrzeug 200 durch einen Punkt im exakten Zentrum der ersten Punktwolke repräsentiert ist, sondern vielmehr, dass die Punkte in der ersten Punktwolke Positionen aufweisen, die sich auf das Fahrzeug 200 beziehen.
  • Bei 708 wird die zweite Punktwolke unter Verwendung des wenigstens einen Prozessors in das fahrzeugzentrische Bezugssystem transformiert. Beispielsweise können der Radarsensor und/oder ein Prozessor (beispielsweise der Prozessor 304) die zweite Punktwolke von Objekten (beispielsweise der Objekte 104a - 104n) im FOV des Radars in ein Bezugssystem transformieren, das um das Fahrzeug 200 zentriert ist. Auch bei diesem Beispiel bedeutet zentriert nicht, dass das Fahrzeug 200 durch einen Punkt im exakten Zentrum der zweiten Punktwolke repräsentiert ist, sondern vielmehr, dass die Punkte in der zweiten Punktwolke Positionen aufweisen, die sich auf das Fahrzeug 200 beziehen.
  • Bei 710 wird ein erster Punkt-Cluster-Satz in der ersten Punktwolke unter Verwendung des wenigstens einen Prozessors erzeugt. Beispielsweise kann der wenigstens eine Prozessor eine Gruppe geclusterter Punkte für eine erste Punktwolke von Objekten (beispielsweise spezifische Objekte aus dem Satz von Objekten 104a - 104n) bilden. Gemäß einer Ausführungsform wird der erste Satz von Punkten in der ersten Punktwolke beispielsweise anhand mehrerer Abtastungen der Umgebung durch den Lidarsensor akkumuliert. Gemäß einigen Ausführungsformen verwendet die Erzeugung des ersten Punkt-Cluster-Satzes eine geometriebasierte Lidarobjekterkennung (beispielsweise GRAPHSEG).
  • Bei 712 wird ein zweiter Punkt-Cluster-Satz in der zweiten Punktwolke unter Verwendung des wenigstens einen Prozessors erzeugt. Beispielsweise kann der wenigstens eine Prozessor eine Gruppe geclusterter Punkte für eine zweite Punktwolke von Objekten (beispielsweise spezifische Objekte aus dem Satz von Objekten 104a - 104n) bilden. Gemäß einer Ausführungsform wird der zweite Satz von Punkten in der zweiten Punktwolke beispielsweise anhand mehrerer Abtastungen der Umgebung durch den Radarsensor akkumuliert. Gemäß einigen Ausführungsformen verwendet die Erzeugung des zweiten Cluster-Satzes einen Clusterbildungsalgorithmus (beispielsweise dichtebasierte räumliche Clusterbildung von Anwendungen mit Rauschen (DBSCAN)).
  • Bei 714 wird ein dritter Cluster-Satz auf der Grundlage einer Assoziation des ersten Cluster-Satzes und des zweiten Cluster-Satzes unter Verwendung des wenigstens einen Prozessors erzeugt. Beispielsweise wird der dritte Cluster-Satz auf der Grundlage einer Assoziation des ersten Cluster-Satzes anhand Radar und des zweiten Cluster-Satzes anhand Lidar (beispielsweise anhand der Schritte 710 und 712) erzeugt. Dann werden Merkmale für den dritten Cluster-Satz, die von jedem LiDAR- und RADAR-Zweig in einem Netz erhalten wurden, auf einer Merkmalsebene kombiniert, um zusammengeführte LiDAR/RADAR-erzeugte Merkmale zu erzeugen.
  • Bei 716 wird wenigstens ein Label für wenigstens ein Objekt in wenigstens einem Cluster im dritten Cluster-Satz auf der Grundlage eines Maschinenlernmodells (beispielsweise eines Deep-Learning-Netzes 600) mit dem wenigstens einen Prozessor erzeugt. Beispielsweise kann das erzeugte Label den Objekttyp angeben, der durch den dritten Cluster-Satz repräsentiert ist.
  • Gemäß einigen Ausführungsformen werden in Prozess 700 ferner Ankerkästchen erzeugt. Gemäß einigen Ausführungsformen wird ein erster Satz von Ankerkästchen für den ersten Cluster-Satz erzeugt. Ein zweiter Satz von Ankerkästchen wird für den zweiten Cluster-Satz erzeugt. Ein dritter Satz von Ankerkästchen wird auf der Grundlage einer Assoziation der Punkte im ersten Satz von Ankerkästchen und im zweiten Satz von Ankerkästchen erzeugt. Wenigstens ein Label wird auf der Grundlage des Maschinenlernmodells (beispielsweise eines Deep-Learning-Netzes 600) für wenigstens ein Ankerkästchen im dritten Satz von Ankerkästchen erzeugt. Beim Labeln kann das wenigstens eine physische Objekt auf der Grundlage einer oder mehrerer Gruppierungen physischer Objekte (beispielsweise Fahrräder, Fahrzeuge, Verkehrszeichen, Fußgänger und/oder dergleichen) klassifiziert werden.
  • Gemäß einigen Ausführungsformen wird in Prozess 700 ferner eine Objekterkennung anhand einer Zusammenführung verwendet. Beispielsweise wird das Fahrzeug unter Verwendung einer Steuerschaltung des Fahrzeugs so betrieben, dass es entlang einer Fahrstrecke fährt, die auf dem wenigstens einen Objekt im wenigstens einen Ankerkästchen des dritten Cluster-Punkt-Satzes beruht. Beispielsweise ist die Fahrstrecke ein Weg als Funktion der Zeit, der vom Fahrzeug 200 genommen wird, um sicher an einem Objekt vorbei zu navigieren (beispielsweise einem geparkten Kraftfahrzeug oder einem Fußgänger).
  • Gemäß einigen Ausführungsformen werden in Prozess 700 ferner mehrere Sensorabtastungen verwendet. Beispielsweise können die erste Punktwolke und die zweite Punktwolke anhand mehrerer Abtastungen der Umgebung durch den Lidarsensor bzw. den Radarsensor akkumuliert werden. Ein Ergebnis der mehreren Abtastungen besteht darin, Punktwolken zu erzeugen, die beispielsweise genauer sind als eine einzige Abtastung. Beispielsweise können die mehreren Abtastungen die Bewegung eines Objekts in der Art eines sich bewegenden Fußgängers oder eines anderen Fahrzeugs im Verkehr berücksichtigen. Beim Zeitstempel eines aktuellen Lidar-Sweeps werden der letzte Radar-Sweep und die letzten M Lidar-Sweeps und die letzten N Radar-Sweeps (normalerweise M, N zwischen 2 bis 10 Sweeps) durch Kompensieren der Fahrzeugbewegung unter Verwendung der Lagen in den aktuellen Zeitstempel transformiert. Alle früheren Lidar- und Radarpunkte werden in aktuelle Lidar-Sweep-Koordinaten gewandelt. Die Lidar-Cluster werden anhand der vereinigten Lidarpunktwolke von allen Lidar-Sweeps segmentiert, und die Radar-Cluster werden anhand der vereinigten Radarpunktwolke von allen Radar-Sweeps segmentiert.
  • Gemäß einigen Ausführungsformen beruht das Assoziieren von Cluster-Punkten in der Art des dritten Clusters auf Regeln. Bei einigen Beispielen werden der erste Cluster-Satz und der zweite Cluster-Satz auf der Grundlage wenigstens einer Regel assoziiert, die ein Niveau der Clusterbildung beispielsweise auf der Grundlage des Abstands zwischen Schwerpunkten der Cluster, eines Vergleichs von Kursen und Geschwindigkeiten der Cluster usw. zugewiesen hat. Die Cluster-Geschwindigkeit und der Cluster-Kurswinkel können vom Cluster berechnet werden. Wie zuvor beschrieben, enthält jeder Cluster Punkte von mehreren Sweeps. Der Kurs und die Geschwindigkeit können anhand des Schwerpunktversatzes und der Zeitdifferenz zwischen den Punkten von verschiedenen Zeitstempeln innerhalb des Clusters berechnet werden. Bei gegebenem Schwerpunkt, gegebenem Kurs und gegebener Geschwindigkeit für jeden Cluster können der Mittenabstand, der Kurswinkel und die Geschwindigkeitsdifferenz zwischen zwei Clustern berechnet werden, um ihre Ähnlichkeit zu bestimmen. Gewichtete Bewertungen dieser Entitäten können als Kosten/Ähnlichkeit für die Datenassoziation verwendet werden.
  • Gemäß einigen Ausführungsformen werden in Prozess 700 ferner Lidar-Cluster-Algorithmen verwendet. Beispielsweise kann bei der Erzeugung eines ersten Cluster-Punkt-Satzes in der ersten Punktwolke eine auf einem Graphenschnitt beruhende Segmentierung auf die erste Punktwolke (beispielsweise unter Verwendung von GRAPHSEG- oder GRAPHCUT-Algorithmen) angewendet werden.
  • Gemäß einigen Ausführungsformen werden in Prozess 700 ferner Lidar-Cluster-Größen verwendet, um Begrenzungskästchen (b-Kästchen) für Radarpunkte zu bestimmen. Beispielsweise kann eine Größe des ersten Punkt-Clusters verwendet werden, um eine Ankerkästchengröße für den zweiten Punkt-Cluster zu bestimmen. Gemäß einigen Ausführungsformen werden in Prozess 700 ferner b-Kästchen für Radarpunkte verwendet, um die Lidar-Cluster-Größe zu bestimmen. Sobald ein Lidar-Cluster und ein Radar-Cluster assoziiert wurden, kann der Lidar-Cluster-Radius erweitert werden (beispielsweise um das 1,2Fache). Die Radarpunkte innerhalb dieses Gebiets können zu den assoziierten Lidar-Cluster-Punkten hinzugefügt werden und umgekehrt. Auf diese Weise können einige fehlende Punkte aus dem ursprünglichen Lidar-Cluster und dem ursprünglichen Radar-Cluster wiederhergestellt werden. Die Cluster-Größe zielt nicht darauf ab, die größte Abmessung des Begrenzungskästchens zu bestimmen, sondern die Abmessung des Begrenzungskästchens (Zentrum, Breite, Länge und Winkel) kann vielmehr durch das Lidar-Radar-Zusammenführungsnetz in 6 vorhergesagt werden.
  • Gemäß einigen Ausführungsformen weist Prozess 700 ferner Techniken zur Behandlung des Falls auf, in dem keine Assoziationen zwischen Clustern gefunden werden. Falls beispielsweise festgestellt wird, dass es in einigen der ersten und zweiten Cluster keinen assoziierten Punkt gibt, kann wenigstens ein Punkt mit Standardwerten zum ersten oder zweiten Cluster-Satz hinzugefügt werden.
  • Gemäß einigen Ausführungsformen können Punktauszeichnungen (oder - annotationen) auftreten. Beispielsweise kann jeder Punkt im ersten Cluster mit Positionskoordinaten (in einem Punktwolken-Bezugssystem), einem Intensitätswert und relativen Zeitinformationen zwischen mehreren Sweeps assoziiert werden. Jeder Punkt im zweiten Cluster kann mit einer Entfernung, einer Lage, einer Entfernungsrate, einer Amplitude und relativen Zeitinformationen zwischen mehreren Sweeps assoziiert werden.
  • In der vorhergehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung mit Bezug auf zahlreiche spezifische Einzelheiten, die von Implementation zu Implementation variieren können, beschrieben. Dementsprechend sind die Beschreibung und die Zeichnungen als erläuternd und nicht als einschränkend anzusehen. Der einzige und ausschließliche Indikator des Schutzumfangs der Erfindung und dessen, was von den Anmeldern als der Schutzumfang der Erfindung vorgesehen ist, ist der buchstäbliche und gleichwertige Schutzumfang des Anspruchssatzes, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der diese Ansprüche erteilt werden, einschließlich jeder späteren Korrektur. Jegliche Definitionen, die hier ausdrücklich für in diesen Ansprüchen enthaltene Begriffe dargelegt sind, sollen die Bedeutung dieser Begriffe, wie in den Ansprüchen verwendet, bestimmen. Zusätzlich kann, wenn wir den Begriff „ferner umfassend“ in der folgenden Beschreibung oder den folgenden Ansprüchen verwenden, das, was diesem Ausdruck folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Unterentität eines zuvor erwähnten Schritts oder einer zuvor erwähnten Entität sein.

Claims (11)

  1. Verfahren, umfassend: Erhalten einer durch einen Light-Detection-and-Ranging(LiDAR)-Sensor eines in einer Umgebung betriebenen Fahrzeugs erfassten ersten Punktwolke mit wenigstens einem Prozessor, Erhalten einer durch einen Radio-Detection-and-Ranging(RADAR)-Sensor des Fahrzeugs erfassten zweiten Punktwolke mit dem wenigstens einen Prozessor, Transformieren der ersten Punktwolke in ein fahrzeugzentrisches Bezugssystem mit dem wenigstens einen Prozessor, Transformieren der zweiten Punktwolke in das fahrzeugzentrische Bezugssystem mit dem wenigstens einen Prozessor, Erzeugen eines ersten Punkt-Cluster-Satzes in der ersten Punktwolke mit dem wenigstens einen Prozessor, Erzeugen eines zweiten Punkt-Cluster-Satzes in der zweiten Punktwolke mit dem wenigstens einen Prozessor, Erzeugen eines dritten Cluster-Satzes auf der Grundlage einer Assoziation von Punkten im ersten Cluster-Satz mit Punkten im zweiten Cluster-Satz mit dem wenigstens einen Prozessor, wobei bei der Erzeugung des dritten Cluster-Satzes Merkmale auf einer Merkmalsebene kombiniert werden, um unter Verwendung jeweils von einem LiDAR-Zweig und einem RADAR-Zweig in einem Netz erhaltener Merkmale zusammengeführte LiDAR/RADAR-erzeugte Merkmale zu erzeugen, und Erzeugen eines Objektlabels, eines Begrenzungskästchens und einer Geschwindigkeit für jeden Cluster im dritten Cluster-Satz auf der Grundlage eines Maschinenlernmodells mit dem wenigstens einen Prozessor und unter Verwendung der zusammengeführten LiDAR/RADAR-erzeugten Merkmale.
  2. Verfahren nach Anspruch 1, ferner umfassend: Erzeugen eines ersten Satzes von Ankerkästchen für den ersten Cluster-Satz, Erzeugen eines zweiten Satzes von Ankerkästchen für den zweiten Cluster-Satz, Erzeugen einer Assoziation des ersten Cluster-Satzes und des zweiten Cluster-Satzes im ersten Satz von Ankerkästchen und im zweiten Satz von Ankerkästchen und Erzeugen eines Objektlabels, eines Begrenzungskästchens und einer Geschwindigkeit für jedes Ankerkästchen im dritten Satz von Ankerkästchen auf der Grundlage eines Maschinenlernmodells.
  3. Verfahren nach Anspruch 1, wobei die erste Punktwolke und die zweite Punktwolke anhand mehrerer Abtastungen der Umgebung durch den LiDAR-Sensor bzw. den RADAR-Sensor akkumuliert werden.
  4. Verfahren nach Anspruch 1, wobei der erste Cluster-Satz und der zweite Cluster-Satz auf der Grundlage heuristischer Merkmale, einschließlich wenigstens eines Abstands zwischen Schwerpunkten von Clustern, Kursen und Geschwindigkeiten der Cluster, assoziiert werden.
  5. Verfahren nach Anspruch 1, ferner umfassend das Erzeugen eines Zusammenführungs-Deep-Learning-Netzes zur Kombination komplementärer Lidarpunkte und Radarpunkte, um die Kreuzmodalitätsmerkmale für die Objekterkennung zu erlernen.
  6. Verfahren nach Anspruch 1, wobei das Erzeugen eines ersten Punkt-Cluster-Satzes in der ersten Punktwolke Folgendes umfasst: Anwenden einer auf einem Graphenschnitt beruhenden Segmentierung auf die erste Punktwolke.
  7. Verfahren nach Anspruch 1, wobei eine Größe des ersten Cluster-Satzes zur Bestimmung einer Ankerkästchengröße für den zweiten Punkt-Cluster-Satz verwendet wird.
  8. Verfahren nach Anspruch 1, ferner umfassend: Feststellen, dass es keinen assoziierten Cluster zwischen einigen vom ersten oder vom zweiten Cluster-Satz gibt, und Hinzufügen wenigstens eines Punkts mit Standardwerten zu einem assoziierten Blind-Cluster.
  9. Verfahren nach Anspruch 1, wobei jeder Punkt im ersten Cluster-Satz mit Positionskoordinaten in einem Punktwolken-Bezugssystem und einem Intensitätswert und relativen Zeitinformationen zwischen mehreren Sweeps assoziiert wird und wobei jeder Punkt im zweiten Cluster-Satz mit einer Entfernung, Lage, Entfernungsrate und Amplitude und relativen Zeitinformationen zwischen mehreren Sweeps assoziiert wird.
  10. System, umfassend: wenigstens einen Prozessor und einen Speicher, der Befehle speichert, die, wenn sie durch den wenigstens einen Prozessor ausgeführt werden, den wenigstens einen Prozessor veranlassen, eines der Verfahren nach den Ansprüchen 1-9 auszuführen.
  11. Nichtflüchtiges computerlesbares Speichermedium, auf dem Befehle gespeichert sind, die, wenn sie durch den einen oder die mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, eines der Verfahren nach den Ansprüchen 1-9 auszuführen.
DE102022100413.9A 2021-10-07 2022-01-10 Objekterkennung unter verwendung von radar-und-lidar-zusammenführung Pending DE102022100413A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/496,495 2021-10-07
US17/496,495 US20230109909A1 (en) 2021-10-07 2021-10-07 Object detection using radar and lidar fusion

Publications (1)

Publication Number Publication Date
DE102022100413A1 true DE102022100413A1 (de) 2023-04-13

Family

ID=80685104

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022100413.9A Pending DE102022100413A1 (de) 2021-10-07 2022-01-10 Objekterkennung unter verwendung von radar-und-lidar-zusammenführung

Country Status (5)

Country Link
US (1) US20230109909A1 (de)
KR (1) KR20230051035A (de)
CN (1) CN115951326A (de)
DE (1) DE102022100413A1 (de)
GB (1) GB2611588A (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12018959B2 (en) * 2022-01-06 2024-06-25 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods of cooperative depth completion with sensor data sharing
CN117849760B (zh) * 2024-03-07 2024-05-14 云南云金地科技有限公司 一种激光雷达点云数据处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8589119B2 (en) * 2011-01-31 2013-11-19 Raytheon Company System and method for distributed processing
KR101534927B1 (ko) * 2013-10-08 2015-07-07 현대자동차주식회사 차량 인지 장치 및 방법
KR101795432B1 (ko) * 2016-02-26 2017-11-10 현대자동차주식회사 차량 및 차량의 제어방법
US11170215B1 (en) * 2016-04-28 2021-11-09 Reality Analytics, Inc. System and method for discriminating and demarcating targets of interest in a physical scene
US11774554B2 (en) * 2016-12-20 2023-10-03 Toyota Motor Europe Electronic device, system and method for augmenting image data of a passive optical sensor
US10602242B2 (en) * 2017-06-14 2020-03-24 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
US11194842B2 (en) * 2018-01-18 2021-12-07 Samsung Electronics Company, Ltd. Methods and systems for interacting with mobile device
EP3525000B1 (de) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtungen zur objektdetektion in einer szene auf basis von lidar-daten und radar-daten der szene
WO2020037492A1 (en) * 2018-08-21 2020-02-27 SZ DJI Technology Co., Ltd. Distance measuring method and device
JP2020154568A (ja) * 2019-03-19 2020-09-24 株式会社日立製作所 データ通信に基づいて意思決定を行うシステム
JP7372350B2 (ja) * 2019-06-14 2023-10-31 ケーピーアイティ テクノロジーズ リミテッド ライダおよびレーダに基づくトラッキングおよびマッピングシステムならびにその方法
US11055540B2 (en) * 2019-06-28 2021-07-06 Baidu Usa Llc Method for determining anchor boxes for training neural network object detection models for autonomous driving
US20230005237A1 (en) * 2019-12-06 2023-01-05 NEC Cporportation Parameter determination apparatus, parameter determination method, and non-transitory computer readable medium
KR20220145850A (ko) * 2020-03-20 2022-10-31 엘지전자 주식회사 클러스터 관리 방법 및 장치
US20210327280A1 (en) * 2020-04-21 2021-10-21 Qualcomm Incorporated Cluster-based approach to positioning of vehicles in vehicle platooning or autonomous trucking
US11605228B2 (en) * 2020-06-26 2023-03-14 Nxp Usa, Inc. System and method for sensor fusion system having distributed convolutional neural network
JP2023543627A (ja) * 2020-10-02 2023-10-17 ロレアル ニキビの計数、位置特定および視覚化のためのシステム及び方法
US20220178718A1 (en) * 2020-12-04 2022-06-09 Mitsubishi Electric Automotive America, Inc. Sensor fusion for dynamic mapping
US11734883B2 (en) * 2021-04-14 2023-08-22 Lineage Logistics, LLC Generating mappings of physical spaces from point cloud data
CN113139607B (zh) * 2021-04-27 2023-12-19 苏州挚途科技有限公司 障碍物检测方法和装置
US20220357441A1 (en) * 2021-05-10 2022-11-10 Qualcomm Incorporated Radar and camera data fusion

Also Published As

Publication number Publication date
CN115951326A (zh) 2023-04-11
GB2611588A (en) 2023-04-12
KR20230051035A (ko) 2023-04-17
US20230109909A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
DE102020129854A1 (de) Sequenzielle fusion zur 3d-objektdetektion
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
DE102021132853A1 (de) Auf deep learning basierende kamerakalibrierung
DE102021132082A1 (de) Ende-zu-ende-system-training unter verwendung vereinigter bilder
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
DE102021118316A1 (de) Monokulare 3d-objekterkennung aus bildsemantiknetzwerk
DE102023111485A1 (de) Nachverfolgungssegmentbereinigung nachverfolgter objekte
DE102021131489A1 (de) Semantische annotation von sensordaten unter verwendung unzuverlässiger kartenannotationseingaben
DE102022131625A1 (de) Bordsteinbasierte merkmalsextraktion für lokalisierung und fahrspurerkennung mittels radar
DE102022119204A1 (de) Systeme und Verfahren zur effizienten Schätzung einer Fahrzeugausdehnung
DE102022105579A1 (de) Graphenerkundung zur regelbuchtrajektorieerzeugung
DE102021132199A1 (de) Bestimmen von Objektmobilitätsparametern unter Verwendung einer Objektsequenz
DE102023108247A1 (de) Tracker-Positionsaktualisierungen zur Erzeugung von Fahrzeugtrajektoren
DE102022103060A1 (de) Automatisches detektieren von verkehrssignalen unter verwendung von sensordaten
WO2023086170A1 (en) Unsupervised domain adaptation for lidar segmentation via enhanced pseudo-labeling techniques
DE102022122456A1 (de) Auf maschinellem lernen basierte klassifizierung einer punktwolkenausrichtung
DE102021133740A1 (de) Erlernen der identifikation sicherheitskritischer szenarien für ein autonomes fahrzeug
DE102022102187A1 (de) High-fidelity-daten-getriebene multimodale simulation
DE102022104054A1 (de) Die fahrzeugzustandsschätzung verbessernde sensordaten zur fahrzeugsteuerung und zum autonomen fahren
US20230152465A1 (en) UNSUPERVISED DOMAIN ADAPTATION FOR LiDAR SEGMENTATION VIA ENHANCED PSEUDO-LABELING TECHNIQUES
DE102022134446A1 (de) Bewegungsvorhersage in einem autonomen fahrzeug unter verwendung fusionierter synthetischer und kamerabilder
DE102023114901A1 (de) Steuerparameterbasierter suchraum für fahrzeugbewegungsplanung
DE102023107247A1 (de) Vorhersage und Steuerung von Objektkreuzungen auf Fahrzeugrouten
DE102023100530A1 (de) Klassifizierung von Fahrzeugdynamik zur Kollisions- und Kontrollverlusterkennung
DE102023109040A1 (de) Vereinheitlichtes framework und werkzeuge zur kommentierung von fahrspurbegrenzungen