DE112020000653T5 - Zusammenführen von daten aus mehreren lidar-vorrichtungen - Google Patents

Zusammenführen von daten aus mehreren lidar-vorrichtungen Download PDF

Info

Publication number
DE112020000653T5
DE112020000653T5 DE112020000653.0T DE112020000653T DE112020000653T5 DE 112020000653 T5 DE112020000653 T5 DE 112020000653T5 DE 112020000653 T DE112020000653 T DE 112020000653T DE 112020000653 T5 DE112020000653 T5 DE 112020000653T5
Authority
DE
Germany
Prior art keywords
lidar
point
point cloud
vehicle
cloud information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020000653.0T
Other languages
English (en)
Inventor
Maurilio Di Cicco
Karan Rajendra Shetti
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Priority claimed from PCT/IB2020/050802 external-priority patent/WO2020157722A1/en
Publication of DE112020000653T5 publication Critical patent/DE112020000653T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Ein Verfahren umfasst unter anderem das Empfangen erster LiDAR-Punktwolkeninformationen aus einer ersten LiDAR-Vorrichtung und zweiter LiDAR-Punktwolkeninformationen aus einer zweiten LiDAR-Vorrichtung, das Erzeugen dritter Punktwolkeninformationen gemäß dem Zusammenführen der ersten und zweiten LiDAR-Punktwolkeninformationen und das Betreiben des Fahrzeugs basierend auf dritten LiDAR-Punktwolkeninformationen.

Description

  • QUERVERWEISE AUF VERWANDTE ANMELDUNGEN
  • Die vorliegende Anmeldung beansprucht die Priorität der vorläufigen US-Patentanmeldung Nr. 62/799.391 , eingereicht am 31. Januar 2019, und der dänischen Patentanmeldung Nr. PA201970131 , eingereicht am 27. Februar 2019, deren Gesamtinhalt hiermit unter Bezugnahme aufgenommen wird.
  • GEGENSTAND DER ERFINDUNG
  • Diese Beschreibung betrifft das Zusammenführen von Daten aus mehreren LiDAR-Vorrichtungen.
  • KURZDARSTELLUNG
  • Unter anderem werden Techniken zum Zusammenführen von Daten aus mehreren LiDAR-Vorrichtungen beschrieben, die sich an unterschiedlichen physischen Orten befinden und unterschiedliche Startwinkel und unterschiedliche Frequenzen haben können.
  • In einer Ausführungsform enthält ein System mindestens zwei LiDAR-Vorrichtungen, die dazu ausgelegt sind, von Objekten in der Nähe des Fahrzeugs reflektiertes Licht zu erfassen und LiDAR-Punktwolkeninformationen basierend auf dem erfassten Lichts zu erzeugen, wobei eine erste LiDAR-Vorrichtung sich an einer ersten Position des Fahrzeugs befindet und für einen ersten Startwinkel und eine erste Frequenz ausgelegt ist, und sich eine zweite LiDAR-Vorrichtung an einer zweiten Position des Fahrzeugs befindet und für einen zweiten Startwinkel und eine zweite Frequenz konfiguriert ist; ein oder mehrere computerlesbare Medien, die computerausführbare Anweisungen speichern; einen oder mehrere Prozessoren, die mit den mindestens zwei LiDAR-Vorrichtungen kommunikativ gekoppelt und zum Ausführen der computerausführbaren Anweisungen ausgelegt sind, wobei das Ausführen u. a. folgende Operationen umfasst: Empfangen erster LiDAR-Punktwolkeninformationen aus der ersten LiDAR-Vorrichtung und zweiter LiDAR-Punktwolkeninformationen aus der zweiten LiDAR-Vorrichtung, Empfangen erster Zeitstempelinformationen, die mit den ersten LiDAR-Punktwolkeninformationen verknüpft sind, und zweiter Zeitstempelinformationen, die mit den zweiten LiDAR-Punktwolkeninformationen verknüpft sind, und gemäß den ersten und zweiten LiDAR-Punktwolkeninformationen, ersten und zweiten Zeitstempelinformationen, erstem Startwinkel, einer ersten Frequenz, zweitem Startwinkel und zweiter Frequenz Erzeugen dritter Punktwolkeninformationen, die die ersten und zweiten LiDAR-Punktwolkeninformationen zusammenführen; und eine Steuerschaltung, die kommunikationsmäßig mit dem einen oder den mehreren Prozessoren gekoppelt ist, wobei die Steuerschaltung dazu ausgelegt ist, das Fahrzeug basierend auf den dritten LiDAR-Punktwolkeninformationen zu betreiben.
  • In einer Ausführungsform umfasst ein Verfahren das Konfigurieren einer ersten LiDAR-Vorrichtung so, dass sie mit einer ersten Frequenz und aus einem ersten Startwinkel rotiert; das Konfigurieren einer zweiten LiDAR-Vorrichtung so, dass sie mit einer zweiten Frequenz und aus einem zweiten Startwinkel rotiert, der vom ersten Startwinkel verschieden ist; das Empfangen von Informationen aus der ersten LiDAR-Vorrichtung, die einen ersten erkannten Lichtpunkt und einen ersten Zeitstempel darstellen, der einen Zeitpunkt darstellt, zu der der erste Punkt beleuchtet wurde; Empfangen von Informationen aus der zweiten LiDAR-Vorrichtung, die einen zweiten erkannten Lichtpunkt und einen zweiten Zeitstempel darstellen, der einen Zeitpunkt darstellt, zu der der zweite Punkt beleuchtet wurde, wobei eine Differenz zwischen dem Zeitpunkt des ersten Zeitstempels und dem Zeitpunkt des zweiten Zeitstempels kleiner als ein Kehrwert der ersten Frequenz ist; Bestimmen, dass der erste erkannte Lichtpunkt und der zweite erkannte Lichtpunkt dem gleichen Ort relativ zum Fahrzeug entsprechen, und gemäß der Bestimmung, dass der erste erkannte Lichtpunkt und der zweite erkannte Lichtpunkt dem gleichen Ort entsprechen, Erzeugen von LiDAR-Punktwolkeninformationen, die den ersten und den zweiten erkannten Lichtpunkt an den gleichen Koordinaten relativ zu einem festen Nullpunkt des Fahrzeugs umfassen.
  • Diese und andere Aspekte, Merkmale und Implementierungen können als Verfahren, Vorrichtungen, Systeme, Komponenten, Programmprodukte, Einrichtungen oder Schritte zum Ausführen einer Funktion und auf andere Weise ausgedrückt werden.
  • Diese und andere Aspekte, Merkmale und Implementierungen werden aus den folgenden Beschreibungen einschließlich der Ansprüche ersichtlich.
  • Diese und andere Aspekte, Merkmale und Implementierungen haben einen oder mehrere der folgenden Vorteile. Zeitstempelinformationen können dazu verwendet werden, LiDAR-Punktwolken genauer zu kombinieren. Zeitstempel können zur Koordinierung zwischen zwei oder mehreren LiDARs verwendet werden, die unterschiedliche Startwinkel und/oder unterschiedliche Frequenzen haben. Wenn die LiDARs absichtlich gestaffelte Startwinkel haben, sind die Informationen immer noch aktuell genug, um in den meisten Szenarien verwendet werden zu können (z. B. zum Identifizieren der Bewegung eines Fußgängers). Wenn ein LiDAR zu einem bestimmten Zeitpunkt verdeckt ist, können Informationen aus einem anderen LiDAR verwendet werden.
  • Figurenliste
    • 1 zeigt ein Beispiel für ein autonomes Fahrzeug mit autonomer Fähigkeit.
    • 2 veranschaulicht ein Beispiel für eine „Cloud“-Computing-Umgebung.
    • 3 veranschaulicht ein Computersystem.
    • 4 zeigt ein Beispiel für die Architektur eines autonomen Fahrzeugs.
    • 5 zeigt ein Beispiel für Eingaben und Ausgaben, die durch ein Wahrnehmungsmodul verwendet werden können.
    • 6 zeigt ein Beispiel für ein LiDAR-System.
    • 7 zeigt das LiDAR-System im Betrieb.
    • 8 zeigt die Funktionsweise des LiDAR-Systems mit zusätzlichen Details.
    • 9 zeigt ein Blockdiagramm der Zusammenhänge zwischen Eingaben und Ausgaben eines Planungsmoduls.
    • 10 zeigt einen gerichteten Graphen, der bei der Wegplanung verwendet wird.
    • 11 zeigt ein Blockdiagramm der Eingaben und Ausgaben eines Steuermoduls.
    • 12 zeigt ein Blockdiagramm der Eingaben, Ausgaben und Komponenten einer Steuervorrichtung.
    • 13 zeigt ein AF mit zwei LiDAR-Vorrichtungen.
    • 14-15 zeigen die LiDAR-Vorrichtungen im Detail.
    • 16 zeigt Komponenten eines Systems, das zum Erzeugen einer konsolidierten Punktwolke verwendet wird.
    • 17A und 17B zeigen eine Darstellung einer konsolidierten Punktwolke in Form einer Sammlung von polaren Voxeln.
    • 18-19 sind Flussdiagramme, die einen auf Punktwolkeninformationen basierenden Vorgang zum Betreiben eines Fahrzeugs darstellen.
  • DETAILLIERTE BESCHREIBUNG
  • In der folgenden Beschreibung werden zum Zweck der Erklärung zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der vorliegenden Erfindung zu ermöglichen. Es wird jedoch offensichtlich, dass die vorliegende Erfindung auch ohne diese spezifischen Details umgesetzt werden kann. In anderen Fällen werden bekannte Strukturen und Vorrichtungen in Blockdiagrammform dargestellt, um eine unnötige Verschleierung der vorliegenden Erfindung zu vermeiden.
  • Zur leichteren Beschreibung sind in den Zeichnungen spezifische Anordnungen oder Reihenfolgen von schematischen Elementen abgebildet, wie z. B. solche, die Vorrichtungen, Module, Anweisungsblöcke und Datenelemente darstellen. Der Fachmann sollte jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht bedeuten soll, dass eine bestimmte Reihenfolge oder Sequenz der Bearbeitung oder eine Trennung der Prozesse erforderlich ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden dürfen.
  • Ferner ist in den Zeichnungen, in denen Verbindungselemente, wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Verknüpfung zwischen oder unter zwei oder mehreren anderen schematischen Elementen darzustellen, das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, Beziehung oder Verknüpfung bestehen kann. Mit anderen Worten werden einige Verbindungen, Beziehungen oder Verknüpfungen zwischen Elementen in den Zeichnungen nicht dargestellt, um die Offenbarung nicht zu verschleiern. Zur leichteren Veranschaulichung wird außerdem ein einzelnes Verbindungselement verwendet, um mehrere Verbindungen, Beziehungen oder Verknüpfungen zwischen Elementen darzustellen. Wenn zum Beispiel ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen darstellt, sollte der Fachmann verstehen, dass ein solches Element einen oder mehrere Signalpfade (z. B. einen Bus) darstellt, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
  • Im Folgenden wird im Detail Bezug auf Ausführungsformen genommen, deren Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen zu ermöglichen. Jedoch wird für einen durchschnittlichen Fachmann deutlich sein, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen sind allgemein bekannte Verfahren, Vorgehensweisen, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, um eine unnötige Verschleierung der Aspekte der Ausführungsformen zu vermeiden.
  • Im Folgenden werden mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder in einer beliebigen Kombination anderer Merkmale verwendet werden können. Allerdings kann es sein, dass ein einzelnes Merkmal keines der oben erörterten Probleme oder nur eines der oben erörterten Probleme anspricht. Einige der oben erörterten Probleme werden möglicherweise durch keines der hier beschriebenen Merkmale vollständig angesprochen. Auch wenn Überschriften angegeben sind, können Informationen, die sich auf eine bestimmte Überschrift beziehen, aber nicht in dem Abschnitt mit dieser Überschrift zu finden sind, auch an anderer Stelle in dieser Beschreibung gefunden werden. Ausführungsformen werden hier gemäß der folgenden Übersicht beschrieben:
    1. 1. Allgemeiner Überblick
    2. 2. Systemübersicht
    3. 3. Architektur autonomer Fahrzeuge
    4. 4. Eingaben autonomer Fahrzeuge
    5. 5. Planung autonomer Fahrzeuge
    6. 6. Steuerung autonomer Fahrzeuge
    7. 7. Mehrere LiDAR-Vorrichtungen
  • Allgemeiner Überblick
  • Wie nachstehend in Bezug auf 13-19 näher beschrieben, können in einem Fahrzeug (z. B. einem autonomen Fahrzeug) mehrere LiDAR-Vorrichtungen an verschiedenen Stellen des Fahrzeugs eingebaut sein. Zur Ausnutzung dieser Redundanz können Daten aus den LiDAR-Vorrichtungen zusammengeführt werden.
  • Systemübersicht
  • 1 zeigt ein Beispiel für ein autonomes Fahrzeug 100, das über autonome Fähigkeit verfügt.
  • Wie hier verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Einrichtung, die es ermöglicht, ein Fahrzeug teilweise oder vollständig ohne menschliches Eingreifen in Echtzeit zu betreiben, einschließlich, aber nicht beschränkt auf vollständig autonome Fahrzeuge, hochgradig autonome Fahrzeuge und bedingt autonome Fahrzeuge.
  • Wie hier verwendet, ist ein autonomes Fahrzeug (AF) ein Fahrzeug, das über autonome Fähigkeiten verfügt.
  • Wie hier verwendet, umfasst „Fahrzeug“ Transportmittel für den Transport von Gütern oder Personen. Zum Beispiel Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Tauchboote, Lenkflugkörper usw. Ein fahrerloses Kraftfahrzeug ist ein Beispiel für ein Fahrzeug.
  • Wie hier verwendet, bezieht sich „Bewegungsbahn“ auf einen Weg oder eine Route zum Navigieren eines AF von einem ersten räumlich-zeitlichen Ort zu einem zweiten räumlich-zeitlichen Ort. In einer Ausführungsform wird der erste räumlich-zeitliche Ort als Anfangs- oder Startort und der zweite räumlich-zeitliche Ort als Bestimmungsort, Endort, Ziel, Zielposition oder Zielort bezeichnet. In einigen Beispielen besteht eine Bewegungsbahn aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Abschnitten eines Fahrstreifens oder einer Einmündung). In einer Ausführungsform entsprechen die räumlich-zeitlichen Orte den Orten der realen Welt. Die räumlich-zeitlichen Orte sind zum Beispiel Abhol- oder Absetzorte zum Abholen oder Absetzen von Personen oder Gütern.
  • Wie hier verwendet, umfasst „Sensor(en)“ eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung rund um den Sensor erfassen. Einige der Hardwarekomponenten können sensorische Komponenten (z. B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie Analog-DigitalWandler, eine Datenspeichervorrichtung (z. B. ein RAM und/oder ein nichtflüchtiger Speicher), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller umfassen.
  • Wie hier verwendet, ist eine „Szeneriebeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, der ein oder mehrere klassifizierte oder gekennzeichnete Objekte enthält, die durch einen oder mehrere Sensoren auf dem AF-Fahrzeug erfasst oder durch eine AF-externe Quelle bereitgestellt werden.
  • Wie hier verwendet, ist eine „Straße“ ein physischer Bereich, der durch ein Fahrzeug befahren werden kann und einem benannten Verkehrsweg (z. B. Stadtstraße, Autobahn usw.) oder einem unbenannten Verkehrsweg (z. B. eine Einfahrt an einem Haus oder Bürogebäude, ein Abschnitt eines Parkplatzes, ein Abschnitt eines leeren Grundstücks, ein Feldweg in einem ländlichen Gebiet usw.) entsprechen kann. Da einige Fahrzeuge (z. B. Allradlastwagen, Geländewagen, usw.) in der Lage sind, eine Vielzahl physischer Bereiche zu befahren, die nicht speziell für den Fahrzeugverkehr angepasst sind, kann eine „Straße“ ein physischer Bereich sein, der nicht formell durch eine Gemeinde oder andere Regierungs- oder Verwaltungsbehörde als Verkehrsweg definiert ist.
  • Wie hier verwendet, ist ein „Fahrstreifen“ ein Abschnitt einer Straße, der durch ein Fahrzeug befahren werden kann. Ein Fahrstreifen wird zuweilen basierend auf Fahrstreifenmarkierungen gekennzeichnet. Beispielsweise kann ein „Fahrstreifen“ dem größten Teil oder der Gesamtheit des Zwischenraums zwischen den Fahrstreifenmarkierungen oder nur einem Teil (z. B. weniger als 50 %) des Zwischenraums zwischen den Fahrstreifenmarkierungen entsprechen. Zum Beispiel könnte eine Straße mit weit auseinanderliegenden Fahrstreifenmarkierungen zwei oder mehr Fahrzeuge zwischen den Markierungen aufnehmen, sodass ein Fahrzeug das andere überholen kann, ohne die Fahrstreifenmarkierungen zu überqueren, und könnte daher so interpretiert werden, dass ein Fahrstreifen schmaler als der Zwischenraum zwischen den Fahrstreifenmarkierungen ist oder dass zwei Fahrstreifen zwischen den Fahrstreifenmarkierungen liegen. Ein Fahrstreifen könnte auch bei Fehlen von Fahrstreifenmarkierungen interpretiert werden. Beispielsweise kann ein Fahrstreifen basierend auf physischen Merkmalen einer Umgebung definiert werden, z. B. durch Felsen und Bäume entlang einer Durchgangsstraße in einem ländlichen Gebiet oder z. B. durch natürliche Hindernisse, die in einem unerschlossenen Gebiet zu vermeiden sind. Ein Fahrstreifen könnte auch unabhängig von Fahrstreifenmarkierungen oder physischen Merkmalen interpretiert werden. Beispielsweise könnte ein Fahrstreifen basierend auf einem beliebigen, hindernisfreien Weg in einem Gebiet interpretiert werden, in dem ansonsten Merkmale fehlen, die als Fahrstreifenbegrenzungen interpretiert werden würden. In einem Beispielszenario könnte ein AF einen Fahrstreifen durch einen hindernisfreien Abschnitt eines Feldes oder einer leeren Geländefläche interpretieren. In einem anderen Beispielszenario könnte ein AF einen Fahrstreifen durch eine breite (z. B. breit genug für zwei oder mehr Fahrstreifen) Straße interpretieren, die keine Fahrstreifenmarkierungen aufweist. In diesem Szenario könnte das AF Informationen über den Fahrstreifen an andere AFs übermitteln, sodass die anderen AFs die gleichen Fahrstreifeninformationen verwenden können, um die Wegplanung untereinander zu koordinieren.
  • Der Begriff „Over-the-Air(OTA)-Client“ umfasst jedes AF oder jede elektronische Vorrichtung (z. B. Computer, Steuervorrichtung, IoT-Vorrichtung, elektronisches Steuergerät (ECU)), die in ein AF eingebettet, mit einem AF gekoppelt oder in Kommunikation mit einem AF ist.
  • Der Begriff „Over-the-Air(OTA)-Aktualisierung“ bezeichnet jede Aktualisierung, Änderung, Löschung oder Hinzufügung von Software, Firmware, Daten oder Konfigurationseinstellungen oder jede Kombination davon, die an einen OTA-Client unter Verwendung firmeneigener und/oder standardisierter drahtloser Kommunikationstechnologie geliefert wird, einschließlich, aber nicht beschränkt auf: zellulare Mobilkommunikation (z. B. 2G, 3G, 4G, 5G), drahtlose Funknetze (z. B. WLAN) und/oder Satelliten-Internet.
  • Der Begriff „Edge-Knoten“ bezeichnet ein oder mehrere mit einem Netzwerk gekoppelte Edge-Vorrichtungen, die ein Portal für die Kommunikation mit AFs bieten und mit anderen Edge-Knoten und einer Cloud-basierten Computerplattform kommunizieren können, um OTA Aktualisierungen zu planen und an OTA-Clients zu liefern.
  • Der Begriff „Edge-Vorrichtung“ bedeutet eine Vorrichtung, die einen Edge-Knoten implementiert und einen physischen drahtlosen Zugangspunkt (AP) in Kernnetzwerke von Unternehmen oder Dienstanbietern (z. B. VERIZON, AT&T) bereitstellt. Beispiele für Edge-Vorrichtungen beinhalten, sind aber nicht beschränkt auf: Computer, Controller, Sender, Router, Routing-Switches, integrierte Zugangsgeräte (IADs), Multiplexer, Zugangsgeräte für Großstadtnetze (MANs) und Weitverkehrsnetze (WANs).
  • „Eine oder mehrere“ umfasst eine Funktion, die durch ein Element ausgeführt wird, eine Funktion, die durch mehr als ein Element ausgeführt wird, z. B. auf verteilte Weise, wobei mehrere Funktionen durch ein Element ausgeführt werden, mehrere Funktionen durch mehrere Elemente ausgeführt werden, oder eine beliebige Kombination des oben Genannten.
  • Es versteht sich auch, dass die Begriffe „erste“, „zweite“ usw. hier zwar in einigen Fällen zur Beschreibung verschiedener Elemente verwendet werden, diese Elemente jedoch nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet sein, und in ähnlicher Weise könnte ein zweiter Kontakt als ein dritter Kontakt bezeichnet sein, ohne vom Geltungsbereich der verschiedenen beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber sie sind nicht derselbe Kontakt.
  • Die Terminologie, die bei der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendet wird, dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend zu verstehen. Bei der Beschreibung der verschiedenen beschriebenen Ausführungsformen und der beigefügten Ansprüche sollen die Singularformen „ein“, „eine“ sowie „der“, „die“, „das“ auch die Pluralformen einschließen, sofern der Zusammenhang nicht eindeutig etwas anderes vorgibt. Es versteht sich auch, dass der Begriff „und/oder“ wie hier verwendet sich auf alle möglichen Kombinationen eines oder mehrerer der zugehörigen aufgelisteten Punkte bezieht und diese mit einschließt. Es versteht sich ferner, dass die Begriffe „enthalten“, „einschließlich“, „umfassen“, und/oder „umfassend“ bei Verwendung in dieser Beschreibung das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente und/oder Komponenten davon angibt, aber nicht das Vorhandensein oder die Hinzufügung eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Gruppen davon ausschließt.
  • Wie hier verwendet, ist der Begriff „falls“ gegebenenfalls so auszulegen, dass er je nach Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf das Bestimmen“ oder „als Reaktion auf das Erkennen“ bedeutet. In ähnlicher Weise ist die Formulierung „falls bestimmt wird“ oder „falls [ein angegebener Zustand oder ein Ereignis] erkannt wird“ je nach Zusammenhang gegebenenfalls so auszulegen, dass sie „beim Bestimmen“ oder „als Reaktion auf das Bestimmen“ oder „bei Erkennen [des angegebenen Zustands oder Ereignisses]“ oder „als Reaktion auf das Erkennen [des angegebenen Zustands oder Ereignisses]“ bedeutet.
  • Wie hier verwendet, bezieht sich ein AF-System auf das AF zusammen mit der Anordnung von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AF unterstützen. In einer Ausführungsform ist das AF-System in das AF integriert. In einer Ausführungsform ist das AF-System über mehrere Orte verteilt. Zum Beispiel ist ein Teil der Software des AF-Systems auf einer Cloud-Rechenumgebung implementiert, ähnlich der Cloud-Rechenumgebung 300, die im Folgenden mit Bezug auf 3 beschrieben wird.
  • Allgemein beschreibt dieses Dokument Technologien, die auf alle Fahrzeuge anwendbar sind, die über eine oder mehrere autonome Fähigkeiten verfügen, einschließlich vollständig autonomer Fahrzeuge, hochgradig autonomer Fahrzeuge und bedingt autonomer Fahrzeuge, wie z. B. sogenannte Stufe-5-, Stufe-4- und Stufe-3-Fahrzeuge (siehe SAE International Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatischen Straßen-Kraftfahrzeug-Fahrsystemen), die durch Verweis in ihrer Gesamtheit übernommen wurde, für weitere Einzelheiten über die Klassifizierung von Autonomiegraden in Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch auf teilautonome Fahrzeuge und fahrerunterstützte Fahrzeuge anwendbar, wie z. B. sogenannte Stufe-2- und Stufe-1-Fahrzeuge (siehe SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Straßen-Kraftfahrzeug-Fahrsystemen)). In einer Ausführungsform können eines oder mehrere der Fahrzeugsysteme der Stufen 1, 2, 3, 4 und 5 unter bestimmten Betriebsbedingungen basierend auf dem Verarbeiten von Sensoreingaben bestimmte Fahrzeugfunktionen (z B. Lenken, Bremsen und Verwenden von Karten) automatisieren. Die in diesem Dokument beschriebenen Technologien können Fahrzeugen auf allen Stufen zugute kommen, von vollständig autonomen Fahrzeugen bis hin zu durch Menschen betriebenen Fahrzeugen.
  • Mit Bezug auf 1 betreibt ein AF-System 120 das AF-System 100 entlang einer Bewegungsbahn 198 durch eine Umgebung 190 bis zu einem Zielort 199 (gelegentlich auch als Endort bezeichnet), wobei Objekte (z. B. natürliche Hindernisse 191, Fahrzeuge 193, Fußgänger 192, Radfahrer und andere Hindernisse) vermieden und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) befolgt werden.
  • In einer Ausführungsform beinhaltet das AF-System 120 Vorrichtungen 101, die dazu eingerichtet sind, Betriebsbefehle aus den Computerprozessoren 146 zu empfangen und darauf zu reagieren. In einer Ausführungsform ähneln die Computerprozessoren 146 dem nachfolgend mit Bezug auf 3 beschriebenen Prozessor 304. Beispiele für Vorrichtungen 101 beinhalten eine Lenksteuerung 102, Bremsen 103, Gangschaltung, Gaspedal oder andere Beschleunigungssteuerungsmechanismen, Scheibenwischer, Seitentürschlösser, Fenstersteuervorrichtungen und Blinker.
  • In einer Ausführungsform umfasst das AF-System 120 Sensoren 121 zur Messung oder Ableitung von Zuständen oder Bedingungen des AF 100, wie z. B. die Position, die Linear- und Winkelgeschwindigkeit und -beschleunigung und die Fahrtrichtung des AF (z. B. eine Ausrichtung des vorderen Endes des AF 100). Beispiele für Sensoren 121 sind GPS, Trägheitsmesseinheiten (IMU), die sowohl lineare Fahrzeugbeschleunigungen als auch Winkelbeschleunigungen messen, Raddrehzahlsensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren sowie Lenkwinkel- und Winkelgeschwindigkeitssensoren.
  • In einer Ausführungsform umfassen die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AF. Zum Beispiel Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht-, Infrarot- oder Wärmespektrum (oder beiden Spektren), LiDAR 123, RADAR, Ultraschallsensoren, Time-of-Flight(TOF)-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
  • In einer Ausführungsform umfasst das AF-System 120 eine Datenspeichereinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen im Zusammenhang mit Computerprozessoren 146 oder durch Sensoren 121 gesammelten Daten. In einer Ausführungsform ähnelt die Datenspeichereinheit 142 dem ROM 308 oder der Speichervorrichtung 310, die nachfolgend mit Bezug auf 3 beschrieben werden. In einer Ausführungsform ähnelt der Speicher 144 dem nachfolgend beschriebenen Hauptspeicher 306. In einer Ausführungsform speichern die Datenspeichereinheit 142 und der Speicher 144 historische, Echtzeit- und/oder vorausschauende Informationen über die Umgebung 190. In einer Ausführungsform umfassen die gespeicherten Informationen Karten, Fahrleistungen, Aktualisierungen zu Verkehrsstaus oder Wetterbedingungen. In einer Ausführungsform werden Daten, die sich auf die Umgebung 190 beziehen, über einen Kommunikationskanal aus einer entfernt gelegenen Datenbank 134 an das AF 100 übertragen.
  • In einer Ausführungsform umfasst das AF-System 120 Kommunikationsvorrichtungen 140 zum Übermitteln gemessener oder abgeleiteter Eigenschaften von Zuständen und Bedingungen anderer Fahrzeuge wie z. B. Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen sowie Linear- und Winkelfahrtrichtungen an das AF 100. Diese Vorrichtungen umfassen Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für drahtlose Kommunikation über Punkt-zu-Punkt- oder Ad-hoc-Netzwerke oder beides. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funk- und optische Kommunikation) oder andere Medien (z. B. Luft- und akustische Medien). Eine Kombination von Fahrzeug-zu-Fahrzeug(V2V)-Kommunikation, Fahrzeug-zu-Infrastruktur(V2I)-Kommunikation (und in einigen Ausführungsformen eine oder mehrere andere Kommunikationsarten) wird mitunter als Fahrzeug-zu-alles (V2X)-Kommunikation bezeichnet. Die V2X-Kommunikation entspricht in der Regel einem oder mehreren Kommunikationsstandards für die Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
  • In einer Ausführungsform umfassen die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Zum Beispiel drahtgebundene, drahtlose, WiMAX-, Wi-Fi-, Bluetooth-, Satelliten-, Zellular-, optische, Nahfeld-, Infrarot- oder Funkschnittstellen. Die Kommunikationsschnittstellen übertragen Daten aus einer entfernt gelegenen Datenbank 134 an das AF-System 120. In einer Ausführungsform ist die entfernt gelegene Datenbank 134 wie in 2 beschrieben in eine Cloud-Rechenumgebung 200 eingebettet. Die Kommunikationsschnittstellen 140 übertragen die aus den Sensoren 121 gesammelten Daten oder andere Daten, die sich auf den Betrieb des AF 100 beziehen, an die entfernt gelegene Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsschnittstellen 140 Informationen, die sich auf Teleoperationen beziehen, an das AF 100. In einigen Ausführungsformen kommuniziert das AF 100 mit anderen entfernten (z. B. „Cloud“-) Servern 136.
  • In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 auch digitale Daten (z. B. Speichern von Daten wie Straßen- und Wegestandorte). Diese Daten werden im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernten Datenbank 134 an das AF 100 übertragen.
  • In einer Ausführungsform speichert und überträgt die entfernte Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Bewegungsbahn 198 gefahren sind. In einer Ausführungsform können diese Daten im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernten Datenbank 134 an das AF 100 übertragen werden.
  • Die im AF 100 befindlichen Rechenvorrichtungen 146 erzeugen auf algorithmische Weise Steueraktionen, die sowohl auf Echtzeit-Sensordaten als auch auf vorherigen Informationen basieren, sodass das AF-System 120 seine autonomen Fahrfähigkeiten ausführen kann.
  • In einer Ausführungsform umfasst das AF-System 120 Computerperipherievorrichtungen 132, die mit Rechenvorrichtungen 146 gekoppelt sind, um Informationen und Warnungen an einen Benutzer (z. B. einen Insassen oder einen entfernten Benutzer) des AF 100 zu liefern und Eingaben von diesem zu empfangen. In einer Ausführungsform ähneln die Peripherievorrichtungen 132 der Anzeige 312, der Eingabevorrichtung 314 und der Cursorsteuervorrichtung 316, die nachfolgend mit Bezug auf 3 behandelt werden. Die Kopplung erfolgt drahtlos oder drahtgebunden. Zwei oder mehrere der Schnittstellenvorrichtungen können zu einer einzelnen Vorrichtung integriert sein.
  • 2 veranschaulicht ein Beispiel für eine „Cloud“-Computing-Umgebung. Cloud Computing ist ein Modell zum Bereitstellen von Diensten, das einen komfortablen, bedarfsgerechten Netzwerkzugang zu einem gemeinsam genutzten Bestand konfigurierbarer Rechenressourcen (z. B. Netzwerke, Netzwerkbandbreite, Server, Verarbeitung, Speicher, Anwendungen, virtuelle Maschinen und Dienste) ermöglicht. In typischen Cloud-Rechensystemen sind in einem oder mehreren großen Cloud-Rechenzentren die Rechner untergebracht, die zum Erbringen der durch die Cloud bereitgestellten Dienste verwendet werden. Mit Bezug auf 2 umfasst die Cloud-Rechenumgebung 200 Cloud-Rechenzentren 204a, 204b und 204c, die über die Cloud 202 miteinander verbunden sind. Die Rechenzentren 204a, 204b und 204c bieten Cloud-Rechendienste für die mit der Cloud 202 verbundenen Computersysteme 206a, 206b, 206c, 206d, 206e und 206f.
  • Die Cloud-Rechenumgebung 200 umfasst ein oder mehrere Cloud-Rechenzentren. Allgemein bezieht sich ein Cloud-Rechenzentrum, z. B. das in 2 dargestellte Cloud-Rechenzentrum 204a, auf die physische Anordnung von Servern, die eine Cloud, z. B. die in 2 dargestellte Cloud 202, oder einen bestimmten Abschnitt einer Cloud bilden. Beispielsweise sind die Server physisch im Cloud-Rechenzentrum in Räumen, Gruppen, Reihen und Racks angeordnet. Ein Cloud-Rechenzentrum hat eine oder mehrere Zonen, die einen oder mehrere Räume mit Servern umfassen. Jeder Raum hat eine oder mehrere Reihen von Servern, und jede Reihe umfasst ein oder mehrere Racks. Jedes Rack umfasst einen oder mehrere einzelne Serverknoten. In einigen Ausführungen sind Server in Zonen, Räumen, Racks und/oder Reihen basierend auf den physischen Infrastrukturanforderungen der Rechenzentrumseinrichtung, die Strom, Energie, Heizung, Wärme und/oder andere Anforderungen umfassen, in Gruppen angeordnet. In einer Ausführungsform ähneln die Serverknoten dem in 3 beschriebenen Computersystem. Das Rechenzentrum 204a weist viele Rechensysteme auf, die über viele Racks verteilt sind.
  • Die Cloud 202 umfasst die Cloud-Rechenzentren 204a, 204b und 204c sowie die Netzwerk- und Netzwerkressourcen (z. B. Netzwerkgeräte, Knoten, Router, Switches und Netzwerkkabel), die die Cloud-Rechenzentren 204a, 204b und 204c miteinander verbinden und dazu beitragen, den Zugang der Computersysteme 206a-f zu den Cloud-Rechendiensten zu ermöglichen. In einer Ausführungsform stellt das Netzwerk eine Kombination aus einem oder mehreren lokalen Netzwerken, Weitverkehrsnetzwerken oder Internetnetzwerken dar, die über drahtgebundene oder drahtlose Verbindungen mittels terrestrischer oder satellitengestützter Verbindungstechnik gekoppelt sind. Daten, die über das Netzwerk ausgetauscht werden, werden unter Verwendung einer Anzahl von Netzwerkschichtprotokollen übertragen, wie z. B. Internet Protocol (IP), Multiprotocol Label Switching (MPLS), Asynchronous Transfer Mode (ATM), Frame Relay, usw. Fernerhin werden in Ausführungsformen, in denen das Netzwerk eine Kombination aus mehreren Teilnetzwerken darstellt, in jedem der zugrunde liegenden Teilnetzwerke unterschiedliche Netzwerkschichtprotokolle verwendet. In einigen Ausführungsformen stellt das Netzwerk ein oder mehrere miteinander verbundene Internetnetzwerke dar, wie z. B. das öffentliche Internet.
  • Die Verbraucher der Rechensysteme 206a-f oder Cloud-Rechendienste sind über Netzwerkverbindungen und Netzwerkadapter mit der Cloud 202 verbunden. In einer Ausführungsform sind die Computersysteme 206a-f als verschiedene Rechenvorrichtungen, z. B. Server, Desktops, Laptops, Tablets, Smartphones, Vorrichtungen für das Internet der Dinge (IoT), autonome Fahrzeuge (darunter Autos, Drohnen, Pendelfahrzeuge, Züge, Busse usw.) und Verbraucherelektronik, implementiert. In einer Ausführungsform sind die Rechensysteme 206a-f in oder als Bestandteil von anderen Systemen implementiert.
  • 3 veranschaulicht ein Computersystem 300. In einer Ausführung ist das Computersystem 300 eine Spezialrechenvorrichtung. Die Spezialrechenvorrichtung ist fest verdrahtet, um die Techniken auszuführen, oder umfasst digitale elektronische Vorrichtungen wie eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs) oder feldprogrammierbare Gate-Arrays (FPGAs), die dauerhaft programmiert sind, um die Techniken auszuführen, oder kann einen oder mehrere Universal-Hardware-Prozessoren umfassen, die dazu programmiert sind, die Techniken gemäß Programmanweisungen in Firmware, Arbeitsspeicher, anderen Speichern oder einer Kombination davon auszuführen. Derartige Spezialcomputervorrichtungen können auch kundenspezifische fest verdrahtete Logik, ASICs oder FPGAs mit kundenspezifischer Programmierung kombinieren, um die Techniken zu erzielen. In verschiedenen Ausführungsformen sind die Spezialrechenvorrichtungen Desktop-Computersysteme, tragbare Computersysteme, Handgeräte, Netzwerkgeräte oder sonstige Vorrichtungen, die zur Implementierung der Techniken festverdrahtete und/oder programmgesteuerte Logik enthalten.
  • In einer Ausführungsform umfasst das Computersystem 300 einen Bus 302 oder einen anderen Kommunikationsmechanismus zum Übermitteln von Informationen und einen mit einem Bus 302 gekoppelten Hardwareprozessor 304 zum Verarbeiten von Informationen. Der Hardwareprozessor 304 ist zum Beispiel ein Allzweck-Mikroprozessor. Das Computersystem 300 umfasst auch einen Hauptspeicher 306, wie beispielsweise einen Direktzugriffsspeicher (RAM) oder eine andere dynamische Speichervorrichtung, die mit dem Bus 302 zum Speichern von Informationen und Anweisungen gekoppelt ist, die durch den Prozessor 304 ausgeführt werden sollen. In einer Ausführungsform wird der Hauptspeicher 306 zum Speichern von temporären Variablen oder anderen Zwischeninformationen während der Ausführung von Anweisungen durch den Prozessor 304 verwendet. Derartige in nichtflüchtigen, für den Prozessor 304 zugänglichen Speichermedien gespeicherte Anweisungen machen aus dem Computersystem 300 eine Spezialmaschine, die auf das Ausführen der in den Anweisungen angegebenen Funktionen zugeschnitten ist.
  • In einer Ausführungsform umfasst das Computersystem 300 ferner einen Nur-Lese-Speicher (ROM) 308 oder eine andere statische Speichervorrichtung, die mit dem Bus 302 verbunden ist, um statische Informationen und Anweisungen für den Prozessor 304 zu speichern. Eine Speichervorrichtung 310, wie beispielsweise eine Magnetplatte, eine optische Platte, ein Solid-State-Laufwerk oder ein dreidimensionaler Kreuzpunktspeicher, ist vorhanden und mit dem Bus 302 zum Speichern von Informationen und Anweisungen gekoppelt.
  • In einer Ausführungsform ist das Computersystem 300 über den Bus 302 an ein Display 312, wie z. B. eine Kathodenstrahlröhre (CRT), ein Flüssigkristalldisplay (LCD), ein Plasmadisplay, ein Leuchtdioden(LED)-Display oder ein organisches Leuchtdioden(OLED)-Display, zum Anzeigen von Informationen für einen Computerbenutzer gekoppelt. Eine Eingabevorrichtung 314 mit alphanumerischen und anderen Tasten ist mit dem Bus 302 zum Übermitteln von Informationen und Befehlsauswahlen an den Prozessor 304 gekoppelt. Eine andere Art von Benutzereingabevorrichtung ist eine Cursorsteuervorrichtung 316, z. B. eine Maus, ein Trackball, ein berührungsempfindliches Display oder Cursorrichtungstasten zum Übermitteln von Richtungsinformationen und Befehlsauswahlen an den Prozessor 304 und zum Steuern der Cursorbewegung auf dem Display 312. Diese Eingabevorrichtung verfügt in der Regel über zwei Freiheitsgrade in zwei Achsen, eine erste Achse (z. B. x-Achse) und eine zweite Achse (z. B. y-Achse), mit denen die Vorrichtung Positionen in einer Ebene angeben kann.
  • Gemäß einer Ausführungsform werden die hier beschriebenen Techniken durch das Computersystem 300 als Reaktion darauf ausgeführt, dass der Prozessor 304 eine oder mehrere Sequenzen von einer oder mehreren Anweisungen ausführt, die im Hauptspeicher 306 enthalten sind. Derartige Anweisungen werden aus einem anderen Speichermedium, z. B. der Speichervorrichtung 310, in den Hauptspeicher 306 eingelesen. Die Ausführung der im Hauptspeicher 306 enthaltenen Anweisungssequenzen veranlasst den Prozessor 304, die hier beschriebenen Prozessschritte durchzuführen. In alternativen Ausführungsformen wird eine fest verdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
  • Der Begriff „Speichermedium“, wie hier verwendet, betrifft alle nichtflüchtigen Medien, die Daten und/oder Anweisungen speichern, die eine Maschine veranlassen, auf eine spezifische Art und Weise zu arbeiten. Derartige Speichermedien umfassen nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien umfassen z. B. optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionale Kreuzpunktspeicher, wie z. B. die Speichervorrichtung 310. Flüchtige Medien umfassen dynamische Speicher, wie beispielsweise den Hauptspeicher 306. Übliche Formen von Speichermedien umfassen zum Beispiel eine Floppy-Disk, eine Diskette, eine Festplatte, ein Solid-State-Laufwerk, ein Magnetband oder jedes andere magnetische Datenspeichermedium, einen CD-ROM, ein beliebiges anderes optisches Datenspeichermedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und EPROM, einen FLASH-EPROM, NV-RAM, oder einen beliebigen anderen Speicherchip oder eine Speicherkassette.
  • Speichermedien unterscheiden sich von Übertragungsmedien, können aber zusammen mit diesen verwendet werden. Übertragungsmedien sind am Übertragen von Informationen zwischen Speichermedien beteiligt. Zum Beispiel umfassen Übertragungsmedien Koaxialkabel, Kupferdraht und Lichtwellenleiter, einschließlich der Leitungen, die den Bus 302 umfassen. Übertragungsmedien können auch die Form von akustischen Wellen oder Lichtwellen annehmen, wie etwa jene, die bei Funkwellen- und Infrarotdatenkommunikation erzeugt werden.
  • In einer Ausführungsform sind verschiedene Formen von Medien am Transportieren von einer oder mehreren Sequenzen von einer oder mehreren Anweisungen an den Prozessor 304 zur Ausführung beteiligt. Zum Beispiel werden die Anweisungen zuerst auf einer Magnetplatte oder einem Solid-State-Laufwerk eines entfernten Computers getragen. Der entfernte Computer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen unter Verwendung eines Modems über eine Telefonleitung. Ein am Computersystem 300 lokal vorhandenes Modem empfängt die Daten über die Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal transportierten Daten, und eine entsprechende Schaltungsanordnung stellt die Daten auf den Bus 302. Der Bus 302 transportiert die Daten an den Hauptspeicher 306, aus dem der Prozessor 304 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 306 empfangenen Anweisungen können gegebenenfalls entweder vor oder nach dem Ausführen durch den Prozessor 304 auf der Speichervorrichtung 310 gespeichert werden.
  • Das Computersystem 300 umfasst auch eine Kommunikationsschnittstelle 318, die mit dem Bus 302 gekoppelt ist. Die Kommunikationsschnittstelle 318 stellt eine bidirektionale Datenkommunikationskopplung mit einer Netzwerkverbindung 320 bereit, die mit einem lokalen Netzwerk 322 verbunden ist. Die Kommunikationsschnittstelle 318 ist zum Beispiel eine Integrated Services Digital Network(ISDN)-Karte, ein Kabelmodem, Satellitenmoden oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einem entsprechenden Typ einer Telefonleitung. Als weiteres Beispiel ist die Kommunikationsschnittstelle 318 eine Karte eines lokalen Netzwerks (LAN), um eine Datenkommunikationsverbindung zu einem kompatiblen LAN bereitzustellen. In einigen Implementierungen sind auch drahtlose Verbindungen implementiert. Bei jeder derartigen Implementierung sendet und empfängt die Kommunikationsschnittstelle 318 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren, die verschiedene Arten von Informationen darstellen.
  • Die Netzwerkverbindung 320 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Zum Beispiel stellt die Netzwerkverbindung 320 eine Verbindung durch das lokale Netzwerk 322 zu einem Host-Computer 324 oder zu einem Cloud-Rechenzentrum oder Geräten bereit, die durch einen Internetdienstanbieter (ISP) 326 betrieben werden. Der ISP 326 stellt wiederum Datenkommunikationsdienste über das weltweite paketorientierte Datenkommunikationsnetzwerk bereit, das jetzt allgemein als das „Internet“ 328 bezeichnet wird. Sowohl das lokale Netzwerk 322 als auch das Internet 328 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren. Die Signale über die verschiedenen Netzwerke und die Signale auf der Netzwerkverbindung 320 und über die Kommunikationsschnittstelle 318, die die digitalen Daten an das und aus dem Computersystem 300 transportieren, sind Beispielformen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 320 die Cloud 202 oder einen Teil der oben beschriebenen Cloud 202.
  • Das Computersystem 300 sendet Nachrichten und empfängt Daten einschließlich Programmcode über das/die Netzwerk(e), die Netzwerkverbindung 320 und die Kommunikationsschnittstelle 318. In einer Ausführungsform empfängt das Computersystem 300 einen Code zum Verarbeiten. Der empfangene Code wird sofort beim Empfang durch den Prozessor 304 ausgeführt und/oder auf der Speichervorrichtung 310 oder einem anderen nichtflüchtigen Speicher zum späteren Ausführen gespeichert.
  • Architektur autonomer Fahrzeuge
  • 4 zeigt eine Beispielarchitektur 400 für ein autonomes Fahrzeug (z. B. das in 1 gezeigte AF 100). Die Architektur 400 umfasst ein Wahrnehmungsmodul 402 (mitunter als Wahrnehmungsschaltung bezeichnet), ein Planungsmodul 404 (mitunter als Planungsschaltung bezeichnet), ein Steuermodul 406 (mitunter als Steuerschaltung bezeichnet), ein Lokalisierungsmodul 408 (mitunter als Lokalisierungsschaltung bezeichnet) und ein Datenbankmodul 410 (mitunter als Datenbankschaltung bezeichnet). Jedes Modul spielt eine Rolle beim Betrieb des AF 100. Die Module 402, 404, 406, 408 und 410 können zusammen Bestandteil des in 1 gezeigten AF-Systems 120 sein. In einigen Ausführungsformen sind die Module 402, 404, 406, 408 und 410 eine Kombination aus Computersoftware (z. B. ausführbarem Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardware (z. B. ein oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], Hardware-Speichervorrichtungen, andere Arten von integrierten Schaltungen, andere Arten von Computerhardware oder eine Kombination von einem oder allen dieser Dinge).
  • Beim Betrieb empfängt das Planungsmodul 404 Daten, die einen Zielort 412 darstellen, und ermittelt Daten, die eine Bewegungsbahn 414 (mitunter auch als Route bezeichnet) darstellen, die durch das AF 100 gefahren werden kann, um den Zielort 412 zu erreichen (z. B. am Zielort anzukommen). Damit das Planungsmodul 404 die die Bewegungsbahn 414 darstellenden Daten bestimmen kann, empfängt das Planungsmodul 404 Daten aus dem Wahrnehmungsmodul 402, dem Lokalisierungsmodul 408 und dem Datenbankmodul 410.
  • Das Wahrnehmungsmodul 402 identifiziert nahegelegene physische Objekte mittels eines oder mehrerer Sensoren 121, z. B. wie ebenfalls in 1 dargestellt. Die Objekte werden klassifiziert (z. B. gruppiert in Arten wie Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrszeichen usw.), und eine Szeneriebeschreibung einschließlich der klassifizierten Objekte 416 wird dem Planungsmodul 404 zur Verfügung gestellt.
  • Das Planungsmodul 404 empfängt auch Daten, die die AF-Position 418 darstellen, aus dem Lokalisierungsmodul 408. Das Lokalisierungsmodul 408 bestimmt die AF-Position unter Verwendung von Daten aus den Sensoren 121 und Daten aus dem Datenbankmodul 410 (z. B. geografische Daten), um eine Position zu berechnen. Zum Beispiel verwendet das Lokalisierungsmodul 408 Daten aus einem GNSS(Globales Navigationssatellitensystem)-Sensor und geografische Daten, um einen Längen- und Breitengrad des AF zu berechnen. In einer Ausführungsform umfassen die durch das Lokalisierungsmodul 408 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Fahrwege, Karten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die die physischen Eigenschaften der Straßen beschreiben (wie z. B. die Verkehrsgeschwindigkeit, das Verkehrsaufkommen, die Anzahl der Fahrstreifen für den Auto- und Fahrradverkehr, die Fahrstreifenbreite, die Fahrstreifenrichtungen oder die Arten und Orte von Fahrstreifenmarkierungen oder Kombinationen davon), und Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben.
  • Das Steuermodul 406 empfängt die Daten der Bewegungsbahn 414 und die Daten der AF-Position 418 und führt die Steuerfunktionen 420a-c (z. B. Lenken, Drosselklappenbetätigung, Bremsen, Zündung) des AF so aus, dass das AF 100 auf der Bewegungsbahn 414 bis zum Zielort 412 fährt. Falls z. B. die Bewegungsbahn 414 eine Linkskurve enthält, führt das Steuermodul 406 die Steuerfunktionen 420a-c so aus, dass der Lenkwinkel der Lenkfunktion das AF 100 zum Linksabbiegen veranlasst und das Betätigen der Drosselklappe und Bremsen das AF 100 zum Anhalten und Warten auf passierende Fußgänger oder entgegenkommende Fahrzeuge veranlasst, bevor das Abbiegen durchgeführt wird.
  • Eingaben autonomer Fahrzeuge
  • 5 zeigt ein Beispiel für die Eingaben 502a-d (z. B. Sensoren 121 in 1) und Ausgaben 504a-d (z. B. Sensordaten), die durch das Wahrnehmungsmodul 402 (4) verwendet werden. Eine Eingabe 502a ist ein LiDAR(„Light Detection and Ranging“)-System (z. B. LiDAR 123 wie in 1 gezeigt). LiDAR ist eine Technologie, die Licht (z. B. Lichtblitze wie Infrarotlicht) verwendet, um Daten über physische Objekte in Sichtlinie zu erhalten. Ein LiDAR-System erzeugt LiDAR-Daten als Ausgabe 504a. LiDAR-Daten sind beispielsweise Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
  • Eine weitere Eingabe 502b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über nahe gelegene physische Objekte zu erhalten. RADAR-Systeme können Daten über Objekte erhalten, die sich nicht in Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System 502b erzeugt RADAR-Daten als Ausgabe 504b. Zum Beispiel sind RADAR-Daten ein oder mehrere elektromagnetische Hochfrequenzsignale, die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
  • Eine weitere Eingabe 502c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder mehrere Kameras (z. B. Digitalkameras, die einen Lichtsensor wie ein ladungsgekoppeltes Bauelement [CCD] verwenden), um Informationen über nahe gelegene physische Objekte zu erhalten. Ein Kamerasystem erzeugt Kameradaten als Ausgabe 504c. Kameradaten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). In einigen Beispielen verfügt das Kamerasystem über mehrere unabhängige Kameras, z. B. zwecks Stereopsis (Stereosehen), wodurch das Kamerasystem in der Lage ist, die Tiefe wahrzunehmen. Obwohl die durch das Kamerasystem wahrgenommenen Objekte hier als „nah“ beschrieben werden, gilt dies relativ zum AF. Beim Betrieb kann das Kamerasystem dazu ausgelegt sein, weit entfernte Objekte zu „sehen“, z. B. bis zu einem Kilometer oder mehr vor dem AF. Dementsprechend kann das Kamerasystem über Merkmale wie Sensoren und Objektive verfügen, die für die Wahrnehmung weit entfernter Objekte optimiert sind.
  • Eine weitere Eingabe 502d ist ein Ampelerkennungs(AE)-System. Ein AE-System verwendet eine oder mehrere Kameras, um Informationen über Ampeln, Straßenschilder und andere physische Objekte zu erhalten, die visuelle Navigationsinformationen liefern. Ein AE-System erzeugt AE-Daten als Ausgabe 504d. AE-Daten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). Ein AE-System unterscheidet sich von einem System mit einer Kamera dadurch, dass bei einem AE-System eine Kamera mit weitem Sichtfeld (z. B. mit einem Weitwinkelobjektiv oder einem Fischaugenobjektiv) verwendet wird, um Informationen über möglichst viele physische Objekte zu erhalten, die visuelle Navigationsinformationen liefern, sodass das AF 100 Zugriff auf alle relevanten Navigationsinformationen hat, die durch diese Objekte bereitgestellt werden. Beispielsweise kann der Sichtwinkel des AE-Systems ca. 120 Grad oder mehr betragen.
  • In einigen Ausführungsformen werden die Ausgänge 504a-d mittels einer Sensorfusionstechnik kombiniert. So werden entweder die einzelnen Ausgaben 504a-d anderen Systemen des AF 100 (z. B. einem Planungsmodul 404 wie in 4 dargestellt) zur Verfügung gestellt, oder die kombinierte Ausgabe kann den anderen Systemen entweder in Form einer einzelnen kombinierten Ausgabe oder mehrerer kombinierter Ausgaben derselben Art (z. B. unter Verwendung derselben Kombinationstechnik oder Kombination derselben Ausgaben oder beides) oder unterschiedlicher Arten (z. B. unter Verwendung jeweils unterschiedlicher Kombinationstechniken oder Kombination jeweils unterschiedlicher Ausgaben oder beides) zur Verfügung gestellt werden. In einigen Ausführungsformen wird eine frühzeitige Fusionstechnik verwendet. Eine frühzeitige Fusionstechnik zeichnet sich dadurch aus, dass die Ausgaben kombiniert werden, bevor ein oder mehrere Datenverarbeitungsschritte auf die kombinierte Ausgabe angewendet werden. In einigen Ausführungsformen wird eine späte Fusionstechnik verwendet. Eine späte Fusionstechnik zeichnet sich dadurch aus, dass die Ausgaben kombiniert werden, nachdem ein oder mehrere Datenverarbeitungsschritte auf die einzelnen Ausgaben angewendet wurden.
  • 6 zeigt ein Beispiel für ein LiDAR-System 602 (z. B. die in 5 gezeigte Eingabe 502a). Das LiDAR-System 602 emittiert Licht 604a-c aus einem Lichtsender 606 (z. B. einem Lasersender). Das durch ein LiDAR-System emittierte Licht liegt in der Regel nicht im sichtbaren Spektrum; beispielsweise wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 604b trifft auf ein physisches Objekt 608 (z. B. ein Fahrzeug) und wird zurück zum LiDAR-System 602 reflektiert. (Das durch ein LiDAR-System emittierte Licht durchdringt normalerweise keine physischen Objekte, z. B. physische Objekte in fester Form.) Das LiDAR-System 602 verfügt auch über einen oder mehrere Lichtdetektoren 610, die das reflektierte Licht detektieren. In einer Ausführungsform erzeugen ein oder mehrere mit dem LiDAR-System verknüpfte Datenverarbeitungssysteme ein Bild 612, das das Sichtfeld 614 des LiDAR-Systems darstellt. Das Bild 612 enthält Informationen, die die Begrenzungen 616 eines physischen Objekts 608 darstellen. Auf diese Weise wird das Bild 612 verwendet, um die Begrenzungen 616 eines oder mehrerer physischer Objekte in der Nähe eines AF zu bestimmen.
  • 7 zeigt das LiDAR-System 602 im Betrieb. In dem in dieser Figur dargestellten Szenario empfängt das AF 100 sowohl die Kamerasystemausgabe 504c in Form eines Bildes 702 als auch die LiDAR-Systemausgabe 504a in Form von LiDAR-Datenpunkten 704. Beim Betrieb vergleicht das Datenverarbeitungssystem des AF 100 das Bild 702 mit den Datenpunkten 704. Insbesondere wird ein im Bild 702 identifiziertes physisches Objekt 706 ebenfalls unter den Datenpunkten 704 identifiziert. Auf diese Weise nimmt das AF 100 die Begrenzungen des physischen Objekts anhand der Kontur und Dichte der Datenpunkte 704 wahr.
  • 8 zeigt die Funktionsweise des LiDAR-Systems 602 mit zusätzlichen Details. Wie oben beschrieben, erkennt das AF 100 die Begrenzung eines physischen Objekts anhand der Merkmale der durch das LiDAR-System 602 erfassten Datenpunkte. Wie in 8 gezeigt, reflektiert ein ebenes Objekt, wie z. B. der Boden 802, das durch ein LiDAR-System 602 emittierte Licht 804a-d auf konsistente Weise. Anders ausgedrückt, da das LiDAR-System 602 Licht in gleichmäßigen Abständen emittiert, reflektiert der Boden 802 das Licht mit dem gleichen konsistenten Abstand zum LiDAR-System 602 zurück. Während sich das AF 100 über den Boden 802 bewegt, erkennt das LiDAR-System 602 weiterhin das durch den nächsten gültigen Bodenpunkt 806 reflektierte Licht, falls nichts die Straße versperrt. Falls jedoch ein Objekt 808 die Straße versperrt, wird das durch das LiDAR-System 602 emittierte Licht 804e-f von den Punkten 810a-b in einer Weise reflektiert, die nicht mit der erwarteten Gleichmäßigkeit übereinstimmt. Aus diesen Informationen kann das AF 100 bestimmen, dass das Objekt 808 vorhanden ist.
  • Wegplanung
  • 9 zeigt in einem Blockdiagramm 900 die Zusammenhänge zwischen Ein- und Ausgaben eines Planungsmoduls 404 (z. B. wie in 4 gezeigt). Allgemein ist die Ausgabe eines Planungsmoduls 404 eine Route 902 aus einem Startpunkt 904 (z. B. Quellort oder Anfangsort) und einem Endpunkt 906 (z. B. Ziel- oder Endort). Die Route 902 ist in der Regel durch ein oder mehrere Segmente definiert. Ein Segment ist zum Beispiel eine Entfernung, die mindestens über einen Abschnitt einer Straße, einer Landstraße, einer Autobahn, einer Einfahrt oder eines anderen für den Autoverkehr geeigneten physischen Bereichs zurückzulegen ist. In einigen Beispielen, z. B. falls das AF 100 ein geländegängiges Fahrzeug wie z. B. ein vierradgetriebener (4WD) oder allradgetriebener (AWD) PKW, SUV, Lieferwagen o. ä. ist, umfasst die Route 902 „geländegängige“ Segmente wie unbefestigte Wege oder offene Felder.
  • Zusätzlich zur Route 902 gibt ein Planungsmodul auch Daten zur Routenplanung auf Fahrstreifenebene 908 aus. Die Routenplanungsdaten auf Fahrstreifenebene 908 werden verwendet, um Segmente der Route 902 basierend auf den Bedingungen des Segments zu einem bestimmten Zeitpunkt zu durchfahren. Falls die Route 902 beispielsweise eine Autobahn mit mehreren Fahrstreifen umfasst, enthalten die Routenplanungsdaten auf Fahrstreifenebene 908 die Bewegungsbahnplanungsdaten 910, die das AF 100 verwenden kann, um einen Fahrstreifen unter den mehreren Fahrstreifen auszuwählen, z. B. in Abhängigkeit davon, ob sich eine Ausfahrt nähert, ob eine oder mehrere der Fahrstreifen andere Fahrzeuge aufweisen oder aufgrund anderer Faktoren, die im Laufe weniger Minuten oder weniger variieren. In ähnlicher Weise enthalten in einigen Implementierungen die Routenplanungsdaten auf Fahrstreifenebene 908 auch Geschwindigkeitsbeschränkungen 912, die spezifisch für ein Segment der Route 902 gelten. Falls das Segment zum Beispiel Fußgänger oder unerwarteten Verkehr enthält, können die Geschwindigkeitsbeschränkungen 912 das AF 100 auf eine Fahrgeschwindigkeit beschränken, die langsamer als eine erwartete Geschwindigkeit ist, z. B. eine Geschwindigkeit, die auf den Geschwindigkeitsbegrenzungsdaten für das Segment basiert.
  • In einer Ausführungsform umfassen die Eingaben an das Planungsmodul 404 auch die Datenbankdaten 914 (z. B. aus dem in 4 dargestellten Datenbankmodul 410), die aktuellen Standortdaten 916 (z. B. die in 4 dargestellte AF-Position 418), die Zielortdaten 918 (z. B. für den in 4 dargestellten Zielort 412) und die Objektdaten 920 (z. B. die klassifizierten Objekte 416, die durch das Wahrnehmungsmodul 402 wahrgenommen werden, wie in 4 gezeigt). In einigen Ausführungsformen enthalten die Daten der Datenbank 914 Regeln, die bei der Planung verwendet werden. Regeln werden durch eine formale Sprache spezifiziert, z. B. durch boolesche Logik. In jeder Situation, in der sich das AF 100 befindet, sind mindestens einige der Regeln auf die Situation anwendbar. Eine Regel gilt für eine gegebene Situation, falls die Regel Bedingungen enthält, die basierend auf den dem AF 100 zur Verfügung stehenden Informationen, z. B. Informationen über die Umgebung, erfüllt sind. Regeln können eine Priorität aufweisen. Beispielsweise kann eine Regel, die besagt: „Falls die Straße eine Autobahn ist, auf den äußerst linken Fahrstreifen wechseln“, eine niedrigere Priorität als „Falls die Ausfahrt sich innerhalb von 2 Kilometern nähert, auf den äußerst rechten Fahrstreifen wechseln“ aufweisen.
  • 10 zeigt einen gerichteten Graphen 1000, der bei der Wegplanung z. B. durch das Planungsmodul 404 verwendet wird (4). Allgemein wird ein gerichteter Graph 1000 wie der in 10 gezeigte verwendet, um einen Weg zwischen einem beliebigen Startpunkt 1002 und Endpunkt 1004 zu bestimmen. In der Praxis kann die Entfernung zwischen dem Startpunkt 1002 und dem Endpunkt 1004 relativ groß (z. B. in zwei verschiedenen Ballungsgebieten) oder relativ klein (z. B. zwei Einmündungen, die an einen Stadtblock angrenzen oder zwei Fahrstreifen einer Straße mit mehreren Fahrstreifen) sein.
  • In einer Ausführungsform hat der gerichtete Graph 1000 Knoten 1006a-d, die verschiedene Orte zwischen dem Startpunkt 1002 und dem Endpunkt 1004 darstellen, die durch ein AF 100 belegt werden könnten. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Ballungsräume darstellen, stellen die Knoten 1006a-d Straßensegmente dar. In einigen Beispielen, z. B. wenn der Startpunkt 1002 und der Endpunkt 1004 verschiedene Orte auf derselben Straße darstellen, stellen die Knoten 1006a-d verschiedene Positionen auf dieser Straße dar. Auf diese Weise enthält der gerichtete Graph 1000 Informationen in unterschiedlicher Granularität. In einer Ausführungsform ist ein gerichteter Graph mit hoher Granularität auch ein Teilgraph eines anderen gerichteten Graphen mit einem größeren Maßstab. Zum Beispiel hat ein gerichteter Graph, bei dem der Startpunkt 1002 und der Endpunkt 1004 weit entfernt sind (z. B. viele Kilometer auseinander liegend), die meisten seiner Informationen in einer niedrigen Granularität und basiert auf gespeicherten Daten, enthält aber auch einige Informationen mit hoher Granularität für den Abschnitt des Graphen, der physische Orte im Sichtfeld des AF 100 darstellt.
  • Die Knoten 1006a-d unterscheiden sich von den Objekten 1008a-b, die sich nicht mit einem Knoten überlappen können. In einer Ausführungsform, wenn die Granularität gering ist, stellen die Objekte 1008a-b Regionen dar, die nicht mit dem Auto befahren werden können, z. B. Gebiete, die keine Straßen oder Wege aufweisen. Bei hoher Granularität stellen die Objekte 1008a-b physische Objekte im Sichtfeld des AF 100 dar, z. B. andere Kraftfahrzeuge, Fußgänger oder andere Objekte, mit denen das AF 100 den physischen Raum nicht teilen kann. In einer Ausführungsform sind einige oder alle der Objekte 1008a-b statische Objekte (z. B. ein Objekt, das seine Position nicht ändert, wie eine Straßenlampe oder ein Strommast) oder dynamische Objekte (z. B. ein Objekt, das seine Position ändern kann, wie ein Fußgänger oder ein anderes Kraftfahrzeug).
  • Die Knoten 1006a-d sind durch die Kanten 1010a-c verbunden. Falls zwei Knoten 1006a-b durch eine Kante 1010a verbunden sind, ist es möglich, dass ein AF 100 zwischen dem einen Knoten 1006a und dem anderen Knoten 1006b fahren kann, z. B. ohne zu einem Zwischenknoten fahren zu müssen, bevor es am anderen Knoten 1006b ankommt. (Wenn wir von einem zwischen Knoten fahrenden AF 100 sprechen, meinen wir, dass sich das AF 100 zwischen den beiden physischen Positionen bewegt, die durch die jeweiligen Knoten dargestellt werden.) Die Kanten 1010a-c sind oft bidirektional, in dem Sinne, dass ein AF 100 von einem ersten Knoten zu einem zweiten Knoten oder vom zweiten Knoten zum ersten Knoten fährt. In einer Ausführungsform sind die Kanten 1010a-c unidirektional, in dem Sinne, dass ein AF 100 von einem ersten Knoten zu einem zweiten Knoten fahren kann, das AF 100 jedoch nicht vom zweiten Knoten zum ersten Knoten fahren kann. Die Kanten 1010a-c sind unidirektional, wenn sie z. B. Einbahnstraßen, einzelne Fahrstreifen einer Straße, eines Weges oder einer Landstraße oder andere Merkmale darstellen, die aufgrund rechtlicher oder physischer Beschränkungen nur in einer Richtung befahren werden können.
  • In einer Ausführungsform verwendet das Planungsmodul 404 den gerichteten Graphen 1000 zum Identifizieren eines Weges 1012, der aus Knoten und Kanten zwischen dem Startpunkt 1002 und dem Endpunkt 1004 besteht.
  • Eine Kante 1010a-c ist mit einem Aufwand 1014a-b verknüpft. Der Aufwand 1014a-b ist ein Wert, der die Ressourcen darstellt, die aufgewendet werden, falls das AF 100 diese Kante auswählt. Eine typische Ressource ist die Zeit. Falls zum Beispiel eine Kante 1010a eine physische Entfernung darstellt, die doppelt so groß wie die einer anderen Kante 1010b ist, kann der zugehörige Aufwand 1014a der ersten Kante 1010a doppelt so groß wie der zugehörige Aufwand 1014b der zweiten Kante 1010b sein. Andere Faktoren, die sich auf die Zeit auswirken, sind der erwartete Verkehr, die Anzahl der Einmündungen, Geschwindigkeitsbegrenzungen usw. Eine weitere typische Ressource ist der Kraftstoffverbrauch. Zwei Kanten 1010a-b können die gleiche physische Entfernung darstellen, aber eine Kante 1010a kann mehr Kraftstoff erfordern als eine andere Kante 1010b, z. B. aufgrund von Straßenbedingungen, voraussichtlichem Wetter usw.
  • Wenn das Planungsmodul 404 einen Weg 1012 zwischen dem Startpunkt 1002 und dem Endpunkt 1004 identifiziert, wählt das Planungsmodul 404 in der Regel einen aufwandsoptimierten Weg, z. B. den Weg mit dem geringsten Gesamtaufwand, wenn die einzelnen Aufwände der Kanten addiert werden.
  • Steuerung autonomer Fahrzeuge
  • 11 zeigt in einem Blockdiagramm 1100 die Ein- und Ausgaben eines Steuermoduls 406 (z. B. wie in 4 gezeigt). Ein Steuermodul arbeitet gemäß einer Steuervorrichtung 1102, die z. B. einen oder mehrere Prozessoren (z. B. einen oder mehrere Computerprozessoren wie Mikroprozessoren oder Mikrocontroller oder beides) ähnlich dem Prozessor 304, einen Kurzzeit- und/oder Langzeitdatenspeicher (z. B. Direktzugriffsspeicher oder Flashspeicher oder beides) ähnlich dem Hauptspeicher 306, ROM 308 und Speichervorrichtung 310 und im Speicher gespeicherte Anweisungen enthält, die Operationen der Steuervorrichtung 1102 durchführen, wenn die Anweisungen ausgeführt werden (z. B. durch den einen oder die mehreren Prozessoren).
  • In einer Ausführungsform empfängt die Steuervorrichtung 1102 Daten, die eine gewünschte Ausgabe 1104 darstellen. Die gewünschte Ausgabe 1104 umfasst in der Regel eine Geschwindigkeit und eine Fahrtrichtung. Die gewünschte Ausgabe 1104 kann z. B. auf Daten basieren, die aus einem Planungsmodul 404 empfangen wurden (z. B. wie in 4 gezeigt). Die Steuervorrichtung 1102 erzeugt gemäß der gewünschten Ausgabe 1104 Daten, die als Drosselklappeneingabe 1106 und als Lenkungseingabe 1108 verwendet werden können. Die Drosselklappeneingabe 1106 stellt die Größe dar, in der die Drosselklappe (z. B. Beschleunigungssteuerung) eines AF 100 zu betätigen ist, z. B. durch Betätigen des Lenkpedals oder durch Betätigen einer anderen Drosselklappensteuerung, um die gewünschte Ausgabe 1104 zu erreichen. In einigen Beispielen umfasst die Drosselklappeneingabe 1106 auch Daten, die zum Betätigen der Bremse (z. B. Verlangsamungssteuerung) des AF 100 verwendet werden können. Die Lenkungseingabe 1108 stellt einen Lenkwinkel dar, z. B. den Winkel, in dem die Lenksteuerung (z. B. Lenkrad, Lenkwinkelsteller oder eine andere Funktion zur Steuerung des Lenkwinkels) des AF positioniert werden sollte, um die gewünschte Ausgabe 1104 zu erreichen.
  • In einer Ausführungsform empfängt die Steuervorrichtung 1102 eine Rückmeldung, die bei der Anpassung der für die Drosselklappe und Lenkung bereitgestellten Eingaben verwendet wird. Falls beispielsweise das AF 100 auf ein Hindernis 1110 wie z. B. einen Hügel trifft, wird die gemessene Geschwindigkeit 1112 des AF 100 unter die gewünschte Ausgabegeschwindigkeit abgesenkt. In einer Ausführungsform wird der Steuervorrichtung 1102 eine Messwertausgabe 1114 zur Verfügung gestellt, sodass die nötigen Anpassungen, z. B. basierend auf der Differenz 1113 zwischen der gemessenen Geschwindigkeit und der gewünschten Ausgabe, durchgeführt werden. Die gemessene Ausgabe 1114 umfasst die gemessene Position 1116, die gemessene Geschwindigkeit 1118 (einschließlich Drehzahl und Fahrtrichtung), die gemessene Beschleunigung 1120 und andere durch Sensoren des AF 100 messbare Ausgaben.
  • In einer Ausführungsform werden Informationen über die Störung 1110 im Voraus erkannt, z. B. durch einen Sensor wie eine Kamera oder einen LiDAR-Sensor, und einem vorausschauenden Rückmeldemodul 1122 zur Verfügung gestellt. Das vorausschauende Rückmeldemodul 1122 liefert dann Informationen an die Steuervorrichtung 1102, die die Steuervorrichtung 1102 zur entsprechenden Anpassung verwenden kann. Falls zum Beispiel die Sensoren des AF 100 einen Hügel erkennen („sehen“), können diese Informationen durch die Steuervorrichtung 1102 genutzt werden, um sich darauf vorzubereiten, die Drosselklappe zum geeigneten Zeitpunkt zu betätigen, um eine wesentliche Verlangsamung zu vermeiden.
  • 12 zeigt ein Blockdiagramm 1200 der Eingaben, Ausgaben und Komponenten der Steuervorrichtung 1102. Die Steuervorrichtung 1102 weist einen Geschwindigkeitsprofilersteller 1202 auf, der den Betrieb einer Drosselklappen-/Bremssteuervorrichtung 1204 beeinflusst. Beispielsweise weist der Geschwindigkeitsprofilersteller 1202 die Drosselklappen-/Bremssteuervorrichtung 1204 an, eine Beschleunigung oder Verlangsamung unter Verwendung der Drosselklappe/Bremse 1206 einzuleiten, abhängig z. B. von der Rückmeldung, die durch die Steuervorrichtung 1102 empfangen und durch den Geschwindigkeitsprofilersteller 1202 verarbeitet wird.
  • Die Steuervorrichtung 1102 weist auch eine Seitenführungssteuervorrichtung 1208 auf, die den Betrieb einer Lenksteuervorrichtung 1210 beeinflusst. Zum Beispiel weist die Seitenführungssteuervorrichtung 1208 die Lenksteuervorrichtung 1204 an, die Position des Lenkwinkelstellers 1212 abhängig von z. B. der Rückmeldung anzupassen, die durch die Steuervorrichtung 1102 empfangen und durch die Seitenführungssteuervorrichtung 1208 verarbeitet wird.
  • Die Steuervorrichtung 1102 empfängt mehrere Eingaben, mit denen bestimmt wird, wie die Drosselklappe/Bremse 1206 und der Lenkwinkelsteller 1212 gesteuert werden sollen. Ein Planungsmodul 404 liefert Informationen, die durch die Steuervorrichtung 1102 verwendet werden, um z. B. eine Bewegungsrichtung zu wählen, wenn das AF 100 den Betrieb aufnimmt, und um zu bestimmen, welches Straßensegment befahren werden soll, wenn das AF 100 eine Einmündung erreicht. Ein Lokalisierungsmodul 408 liefert der Steuervorrichtung 1102 Informationen, die zum Beispiel den aktuellen Standort des AF 100 beschreiben, sodass die Steuervorrichtung 1102 bestimmen kann, ob sich das AF 100 an einem Ort befindet, der basierend auf der Art und Weise, in der die Drosselklappe/Bremse 1206 und der Lenkwinkelsteller 1212 gesteuert werden, erwartet wird. In einer Ausführungsform empfängt die Steuervorrichtung 1102 Informationen aus anderen Eingaben 1214, z. B. Informationen, die aus Datenbanken, Computernetzwerken usw. empfangen werden.
  • Mehrere LiDAR-Vorrichtungen
  • 13 zeigt ein AF 1300 mit zwei LiDAR-Vorrichtungen 1302, 1304. Das AF 1300 ist ein Beispiel für das in 1 gezeigte AF 100. Die LiDAR-Vorrichtungen 1302, 1304 sind Beispiele für das in 5 gezeigte LiDAR-System 502a. Wie oben in Bezug auf 5-8 ausführlicher beschrieben, emittiert eine LiDAR-Vorrichtung Licht (z. B. elektromagnetische Strahlung im Ultraviolett-, Infrarot- oder Laserspektrum oder jede andere Art von elektromagnetischer Strahlung), das einen Punkt auf einem physischen Objekt (z. B. anderen Fahrzeugen, Fußgängern, Straßenschildern usw.) in der Nähe der LiDAR-Vorrichtung beleuchtet und zur LiDAR-Vorrichtung zurück reflektiert wird, die den beleuchteten Punkt erkennt (z. B. beobachtet). (Der Zeitpunkt, zu der ein Punkt beleuchtet wird, und der Zeitpunkt, zu der ein Punkt erkannt wird, sind wegen der hohen Geschwindigkeit, mit der sich das Licht ausbreitet, nicht zu unterscheiden.) Wie in 13 dargestellt, sendet beispielsweise jede LiDAR-Vorrichtung 1302, 1304 Licht 1306, 1308 aus, das von einem nahegelegenen Fahrzeug 1310 reflektiert wird (z. B. einem Fahrzeug auf der gleichen Straße wie das AF 1300). Obwohl hier zwei LiDAR-Vorrichtungen 1302, 1304 gezeigt werden, sind die hier beschriebenen Techniken auch auf Konfigurationen von drei oder mehr LiDAR-Vorrichtungen anwendbar.
  • Jede der beiden LiDAR-Vorrichtungen 1302, 1304 ist an einem anderen Ort auf dem AF 1300 angeordnet. In einer Ausführungsform ist eine der Vorrichtungen 1302 an einer Position 1312 und die andere Vorrichtung 1304 an einer anderen Position 1314 angebracht (z. B. angeschweißt, befestigt oder montiert). Während einige Befestigungstechniken (z. B. Schweißen) quasi-permanent sind und sich während der Lebensdauer des AF 1300 wahrscheinlich nicht ändern werden, können die LiDAR-Vorrichtungen 1302, 1304 bei anderen Befestigungstechniken (z. B. Magnetbefestigung) entfernt (z. B. zur Wartung oder zum Austausch) oder zu einem anderen Zeitpunkt an eine andere Position gebracht werden.
  • Da die beiden LiDAR-Vorrichtungen 1302, 1304 an unterschiedlichen Orten positioniert sind, werden die durch die beiden Vorrichtungen erzeugten Daten für die Verwendung durch das AF 1300 konsolidiert. Wie oben in Bezug auf 5 erwähnt, haben LiDAR-Daten die Form von Sammlungen von 3D- oder 2D-Punkten, die als Punktwolken bekannt sind. Jeder Punkt in einer Punktwolke stellt einen beleuchteten Punkt auf einem Objekt in der Umgebung 190 (z. B. dem nahegelegenen Fahrzeug 1310) dar und verfügt über einen Satz von Koordinaten, der seinen Ort in der Wolke definiert. Wenn ein beleuchteter Punkt erkannt wird, ordnet eine LiDAR-Vorrichtung den Punkt einem Satz von Koordinaten in der Punktwolke zu, wie weiter unten in Bezug auf 14 näher beschrieben ist. Wenn mehrere LiDAR-Vorrichtungen gleichzeitig verwendet werden, kann außerdem jede LiDAR-Vorrichtung ihr eigenes Koordinatensystem aufweisen. Um Daten aus beiden LiDAR-Vorrichtungen nutzen zu können, werden die Koordinatensysteme also konsolidiert. Eine Technik zur Konsolidierung der Koordinatensysteme beinhaltet die Verwendung eines gemeinsamen Bezugspunktes. Beispielsweise können die Koordinaten jedes Punktes basierend auf ihrem Ort relativ zu einer bestimmten Position 1320 am AF 1300 definiert werden. Wenn auf diese Weise ein Punkt 1316 durch eine LiDAR-Vorrichtung 1302 und ein anderer Punkt 1318 durch die andere LiDAR-Vorrichtung 1304 erkannt wird, haben die beiden Punkte 1316, 1318 Koordinaten, die relativ zum selben Ort 1320 auf dem AF 1300 definiert sind.
  • Wenn, wie in 13 gezeigt, die beiden Punkte 1316, 1318 in Bezug auf das AF 1300 ungefähr demselben Ort entsprechen, haben die beiden Punkte 1316, 1318 ungefähr die gleichen Koordinaten. Anders ausgedrückt, die beiden Punkte 1316, 1318 befinden sich in der Punktwolke am selben Ort, einschließlich z. B. der gleichen Entfernung 1324, relativ zum Ort 1320, der als gemeinsamer Bezugspunkt verwendet wird. Die beiden Punkte 1316, 1318 beschreiben denselben Ort aus zwei verschiedenen Blickwinkeln aufgrund der Unterschiede in der relativen räumlichen Position der beiden LiDAR-Vorrichtungen 1302 und 1304.
  • Die in 13 als gemeinsamer Bezugspunkt gezeigte Beispielposition 1320 ist ein Punkt in der Mitte der Hinterachse 1322. Es könnte aber jeder Ort auf dem AF 1300 verwendet werden. Die Konsolidierung der Koordinatensysteme wird durchgeführt, um die durch jede LiDAR-Vorrichtung 1302, 1304 erzeugten Punktwolken zusammenzuführen, wie im Folgenden näher beschrieben wird.
  • 14 zeigt die LiDAR-Vorrichtungen 1302, 1304 im Detail. Wie oben erwähnt, hat jede LiDAR-Vorrichtung eine andere physische Position 1312, 1314 auf dem AF 1300. In einer Ausführungsform hat eine LiDAR-Vorrichtung 1302 einen anderen Startwinkel 1402 als der Startwinkel 1404 der anderen LiDAR-Vorrichtung 1304. Im Betrieb rotiert eine LiDAR-Vorrichtung schnell, um Objekte, z. B. alles in einem 360-Grad-Sichtfeld, im gesamten Sichtfeld der LiDAR-Vorrichtung zu beleuchten. Wie oben in Bezug auf 6 beschrieben, verfügt eine LiDAR-Vorrichtung in der Regel über einen oder mehrere Lichtemitter 606. Für die Zwecke des in 14 gezeigten Beispiels werden die LiDAR-Vorrichtungen 1302, 1304 als Vorrichtungen mit einem Lichtemitter beschrieben. Die hier beschriebenen Techniken gelten jedoch auch für LiDAR-Vorrichtungen mit mehreren Lichtemittern.
  • Die Startwinkel 1402, 1404 sind basierend auf den Positionen der Lichtemitter 1406, 1408 der LiDAR-Vorrichtungen 1302, 1304 definiert. In einer Ausführungsform ist die erste LiDAR-Vorrichtung 1302 für einen Startwinkel 1402 von null Grad ausgelegt, d. h. die LiDAR-Vorrichtung definiert die Vollendung einer vollständigen Umdrehung und den Beginn einer neuen vollständigen Umdrehung, wenn der Lichtemitter 1406 auf null Grad positioniert ist. Die zweite LiDAR-Vorrichtung 1304 ist für einen Startwinkel 1404 von neunzig Grad ausgelegt, d. h. die LiDAR-Vorrichtung definiert die Vollendung einer vollständigen Umdrehung und den Beginn einer neuen vollständigen Umdrehung, wenn der Lichtemitter 1408 auf neunzig Grad positioniert ist. In einer Ausführungsform kehren die Lichtemitter 1406, 1408 zu ihren jeweiligen Ausgangswinkeln 1402, 1404 zurück, wenn die jeweilige LiDAR-Vorrichtung 1302, 1304 eingeschaltet wird.
  • In einer Ausführungsform ist eine LiDAR-Vorrichtung 1302 für eine andere Frequenz 1410 als die Frequenz 1412 der anderen LiDAR-Vorrichtung 1304 ausgelegt. Die Frequenz einer LiDAR-Vorrichtung entspricht ihrer Drehzahl. Wenn zum Beispiel eine LiDAR-Vorrichtung eine Frequenz von zehn Hertz hat, führt der Lichtemitter der LiDAR-Vorrichtung zehnmal pro Sekunde eine vollständige Umdrehung aus. Anders ausgedrückt, die Periode der LiDAR-Vorrichtung beträgt 1/10 Sekunde, da die Periode der Kehrwert der Frequenz ist.
  • Da die LiDAR-Vorrichtungen 1302, 1304 unterschiedliche Startwinkel 1402, 1404 und/oder unterschiedliche Frequenzen 1410, 1412 haben können, beleuchten die LiDAR-Vorrichtungen 1302, 1304 in der Regel einen bestimmten Punkt zu unterschiedlichen Zeiten. Wenn zum Beispiel die erste LiDAR-Vorrichtung 1302 rotiert (z. B. mit der Frequenz 1410), beleuchtet sie einen Punkt an einem bestimmten Ort 1414 zu einem ersten Zeitpunkt 1416, und wenn die zweite LiDAR-Vorrichtung 1304 rotiert (z. B. mit der Frequenz 1412), beleuchtet sie einen Punkt an diesem Ort 1414 zu einem zweiten Zeitpunkt 1418.
  • Der Zeitpunkt, zu dem ein Punkt beleuchtet wird, hängt von den Startwinkeln 1402, 1404 und den Startfrequenzen 1410, 1412 ab. In einer Ausführungsform haben mehrere LiDAR-Vorrichtungen absichtlich gestaffelte Startwinkel. Nachdem eine LiDAR-Vorrichtung einen Punkt erkannt hat, bevor ihr Rotationszyklus abgeschlossen ist, haben die anderen LiDAR-Vorrichtungen einen weiteren Punkt an demselben Ort erkannt. Auf diese Weise kann die Bewegung eines Objekts mit besserer zeitlicher Präzision beobachtet werden.
  • Wenn in einer Ausführungsform die Startfrequenzen 1410, 1412 beide zehn Hertz betragen, der eine Startwinkel 1402 null Grad und der andere Startwinkel 1404 neunzig Grad ist, beleuchtet die erste LiDAR-Vorrichtung 1302 einen Punkt an einem bestimmten Ort 1414 1/40stel Sekunde früher oder später als die zweite LiDAR-Vorrichtung 1304. Der Grund dafür ist, dass die zweite LiDAR-Vorrichtung 1304 eine vollständige Umdrehung bei einer viertel Umdrehung (90 dividiert durch 360) gegenüber der ersten LiDAR-Vorrichtung 1302 beginnt und eine Umdrehung 1/10 Sekunde dauert. Mit anderen Worten, wenn die Frequenzen der LiDAR-Vorrichtungen 1302, 1304 gleich sind, wird die Differenz durch Multiplikation der Periode mit der Winkeldifferenz in Grad dividiert durch 360 berechnet. Es können auch andere Winkeleinheiten, z. B. Bogenmaß, verwendet werden.
  • Wenn in einer Ausführungsform die Frequenz 1410 der ersten LiDAR-Vorrichtung 1302 10 Hertz und die Frequenz 1412 der zweiten LiDAR-Vorrichtung 1304 zwanzig Hertz beträgt und die Startwinkel 1402, 1404 beide gleich sind, z. B. beide null Grad, beleuchtet die zweite LiDAR-Vorrichtung 1304 einen bestimmten Ort 1414 doppelt so häufig wie die erste LiDAR-Vorrichtung 1302, weil ihre Frequenz 1412 doppelt so hoch ist. Mit anderen Worten, wenn die erste LiDAR-Vorrichtung 1302 eine vollständige Umdrehung vollzogen und einen Punkt an dem Ort 1414 beleuchtet hat, hat die zweite LiDAR-Vorrichtung einen Punkt an diesem Ort 1414 zweimal beleuchtet.
  • Das Variieren der Frequenz und/oder des Startwinkels begünstigt die Fähigkeit des AF 1300, die Umgebung 190 wahrzunehmen. Wenn beispielsweise mehrere Startwinkel verwendet werden, erkennen mehrere LiDAR-Vorrichtungen Punkte an einem Ort häufiger, als wenn nur eine LiDAR-Vorrichtung verwendet würde, da Punkte an dem Ort in der Umgebung 190 während der Rotationsperioden mehrfach beleuchtet werden. Im Gegensatz dazu würden bei Verwendung desselben Startwinkels und derselben Frequenz mehrere LiDAR-Vorrichtungen Punkte am selben Ort ungefähr zum selben Zeitpunkt erkennen. Als Reaktion auf schnelle Veränderungen in der Umgebung 190, z. B. Hochgeschwindigkeitsverkehr mit hoher Verkehrsdichte oder Fußgängermassen, kann ein AF 1300 durch die Fähigkeit, Punkte am selben Ort häufiger zu erkennen, Veränderungen in der Umgebung 190 (z. B. Bewegung von Objekten) präziser wahrnehmen. Da außerdem mehrere LiDAR-Vorrichtungen an verschiedenen Positionen verwendet werden, kann es sein, dass, wenn eine LiDAR-Vorrichtung verdeckt wird, z. B. durch ein zwischenliegendes Objekt, das ein anderes Objekt von Interesse verdeckt, die andere LiDAR-Vorrichtung nicht verdeckt wird und Punkte am selben Ort oder auf dem Objekt von Interesse erkennen kann. Das zwischenliegende Objekt kann zum Beispiel ein anderes Fahrzeug sein, und das Objekt von Interesse kann ein Fußgänger sein, der hinter dem anderen Fahrzeug läuft; die Erkennung der Bewegung des Fußgängers kann wichtig sein, um sicherzustellen, dass das AF 1300 den Weg des Fußgängers nicht kreuzt.
  • Wie oben erwähnt, werden, wenn jede LiDAR-Vorrichtung 1302, 1304 ihre eigene Punktwolke erzeugt, die beiden Punktwolken 1316 und 1318 zusammengeführt, z. B. zur Verwendung durch das Wahrnehmungsmodul 402 (4) gemäß den unten beschriebenen Techniken. Eine konsolidierte Punktwolke enthält die Punkte aus den beiden Punktwolken 1316 und 1318. In einer Ausführungsform werden die beiden Punktwolken 1316 und 1318 zusammengeführt oder verschmolzen bzw. amalgamiert oder vermischt, sobald die LiDAR-Vorrichtung 1302 und 1304 jeweils mit der Erzeugung der Punktwolken 1316 bzw. 1318 beginnt. In einer Ausführungsform werden die beiden Punktwolken 1316 und 1318 zusammengeführt, nachdem die LiDAR-Vorrichtungen 1302 und 1304 die Erzeugung der Punktwolken 1316 bzw. 1318 beendet haben. Eine Technik zur Konsolidierung der Punktwolken besteht darin, die Koordinaten jedes der Punkte auf einen gemeinsamen Bezugspunkt zu normieren, z. B. einem bestimmten Ort 1320 auf dem AF 1300. Auf diese Weise wird die konsolidierte Punktwolke (manchmal auch als verschmolzene Punktwolke bezeichnet) unter Verwendung des bestimmten Ortes 1320 als Nullpunkt definiert (z. B. Koordinaten 0,0,0 auf kartesischen x-y-z-Achsen oder ein durch Polarkoordinaten definierter Nullpunkt, wie unten näher beschrieben). Die Punkte aus den beiden Punktwolken 1316 und 1318 werden durch Normalisieren der Koordinaten auf den gemeinsamen Nullpunkt in die konsolidierte Punktwolke übertragen. Mit anderen Worten: Wenn ein Punkt aus einer Wolke und ein anderer Punkt aus der anderen Wolke am ungefähr gleichen Ort in der Umgebung 190 erkannt wurden, werden ihre Koordinaten so geändert, dass beide ungefähr die gleichen Koordinaten haben und somit ungefähr denselben Ort in der konsolidierten Punktwolke einnehmen.
  • Eine Technik zum Konsolidieren der Punktwolken besteht darin, jedem Punkt einen Zeitstempel zuzuordnen (z. B. den Zeitpunkt, zu der ein Punkt erkannt wurde) und anhand der Zeitstempel zu bestimmen, wie Punkte aus verschiedenen Punktwolken räumlich zueinander in Beziehung stehen. In einer Ausführungsform weist jede LiDAR-Vorrichtung 1302, 1304 jedem Punkt bei der Erkennung einen Zeitstempel zu. Im Allgemeinen werden die Zeitstempel der Punkte zur Koordinierung zwischen zwei oder mehreren LiDARs verwendet, die unterschiedliche Startwinkel und/oder unterschiedliche Frequenzen haben. Eine LiDAR-Vorrichtung kann eventuell einen Punkt beobachten, der einem bestimmten Ort zum Zeitpunkt t=x entspricht, während die zweite LiDAR-Vorrichtung einen Punkt beobachtet, der demselben Ort zum Zeitpunkt t=y entspricht. Die Beziehung zwischen x und y kann basierend auf Informationen über die Startwinkel und Frequenzen beurteilt werden.
  • Wie in 15 dargestellt, erkennt eine LiDAR-Vorrichtung 1302 in einer Ausführungsform eine Sammlung von Punkten, die sich gleichzeitig nahe beieinander befinden. Eine Sammlung von Punkten, die nahe beieinander liegen und zum gleichen Zeitpunkt erkannt werden, wird als Block 1502 bezeichnet. Da eine typische LiDAR-Vorrichtung Licht in Impulsen aussendet, stellt ein Block 1502 Punkte dar, die bei einem bestimmten Impuls des Lichtemitters der LiDAR-Vorrichtung erkannt werden. Der Zeitpunkt, zu dem der Lichtemitter der LiDAR-Vorrichtung Licht aussendet, wird zur Bestimmung des Zeitstempels für die Zuordnung der Punkte des Blocks 1502 verwendet. Der ersten Emission einer Diode in einem bestimmten Block wird ein Zeitstempel zugeordnet. Die nachfolgende Emission aus den anderen Dioden im Block kann basierend auf den immanenten LiDAR-Eigenschaften, z. B. dem Azimutwinkel, berechnet werden. In einer Ausführungsform wird jedem Punkt des Blocks 1502 ein Versatz zugewiesen, z. B. um die Differenz in den Positionen zwischen den Punkten des Blocks 1502 auszugleichen. In einer Ausführungsform ist dieser Versatz eine mechanische Eigenschaft einer LiDAR-Vorrichtung, die durch den Hersteller bei der Herstellung der LiDAR-Vorrichtung vorbestimmt wird. Der räumliche Ort jedes Blocks 1502 ist aufgrund des Winkels des Laseremitters (manchmal auch als Azimut oder Winkel in der horizontalen Ebene bezeichnet) der LiDAR-Vorrichtung 1302 zum Zeitpunkt der Erkennung des Blocks 1502 bekannt.
  • In einem Beispielszenario erkennt eine der LiDAR-Vorrichtungen 1302 einen Block 1502 von Punkten zu einem ersten Zeitpunkt 1512, und die andere LiDAR-Vorrichtung 1304 erkennt einen Block 1504 von Punkten zu einem zweiten Zeitpunkt 1514. Wenn zum Beispiel die LiDAR-Vorrichtungen 1302, 1304 die gleiche Frequenz von zehn Hertz, aber Startwinkel haben, die um 180 Grad auseinander liegen, ist der erste Zeitpunkt 1512 t1=100 ms und der zweite Zeitpunkt 1514 t2= 150 ms. In diesem Beispielszenario stellen die beiden Blöcke 1502, 1504 Punkte dar, die am selben Ort auf einem Objekt erkannt wurden. Da sich die beiden LiDAR-Vorrichtungen 1302, 1304 an unterschiedlichen Positionen auf dem AF 1300 befinden, werden die beiden Blöcke 1502, 1504 in unterschiedlichen Winkeln (Azimut) relativ zu ihren jeweiligen LiDAR-Vorrichtungen 1302, 1304 erkannt worden sein. Da die Blöcke 1502, 1504 unterschiedliche Erkennungszeitpunkte und unterschiedliche Azimute haben, wird eine zusätzliche Verarbeitung verwendet, um festzustellen, ob die Punkte in den Blöcken 1502, 1504 am selben Ort liegen.
  • In Fortsetzung desselben Beispielszenarios empfängt das Wahrnehmungsmodul 402 (4) die Blöcke 1502, 1504, Zeitstempel (z. B. basierend auf dem ersten Zeitpunkt 1512 und dem zweiten Zeitpunkt 1514), die Frequenzen und die Startwinkel, um konsolidierte Punktwolkeninformationen 1506 zu erzeugen, die z. B. die Punkte aus den beiden Blöcken 1502, 1504 enthalten. Die Koordinaten aller Punkte in den konsolidierten Punktwolkeninformationen 1506 werden relativ zum gleichen Nullpunkt ausgedrückt, z. B. dem in 13 dargestellten Ort 1320.
  • Als Beispiel für die Art der durchgeführten Berechnung verwendet das Wahrnehmungsmodul 402 den Startwinkel der ersten LiDAR-Vorrichtung 1302, um einen Ort des ersten durch die LiDAR-Vorrichtung erkannten Punktblocks zu bestimmen (z. B. des bei t=0 erkannten Punktblocks). Wenn zum Beispiel der Startwinkel der ersten LiDAR-Vorrichtung einer Position des Lichtemitters von null Grad entspricht, kann das Wahrnehmungsmodul 402 feststellen, dass ein Punkt im ersten Block von Punkten an einem Ort liegt, der null Grad entspricht, und die Koordinaten relativ zum Nullpunkt der konsolidierten Punktwolke unter Verwendung des bekannten Ortes der LiDAR-Vorrichtung 1302 berechnen. Wenn ein Punkt einen Zeitstempel hat, der angibt, dass er bei t=50 ms erkannt wurde, und die Frequenz zehn Hertz beträgt, kann das Wahrnehmungsmodul 402 feststellen, dass der Punkt erkannt wurde, als der Lichtemitter in einem Winkel (Azimut) von 180 Grad stand, da der Emitter 50 ms benötigt, um eine halbe Umdrehung zu vollenden. Ähnliche Berechnungen können mit den Punkten aus der anderen LiDAR-Vorrichtung 1304 durchgeführt werden.
  • 16 zeigt Komponenten eines Systems, das zum Erzeugen einer konsolidierten Punktwolke 1600 verwendet wird. Jede LiDAR-Vorrichtung 1602, 1612 weist einen Prozessor 1604, 1614 (z. B. Mikroprozessor, Mikrocontroller) auf, der jeweils mit einem entsprechenden Startwinkel 1606, 1616 und einer Frequenz 1608, 1618 ausgelegt ist. Im Betrieb erzeugen die LiDAR-Vorrichtungen 1602, 1612 Punktwolken 1622, 1624, die durch einen Prozessor 1626 (z. B. eine Implementierung oder Komponente des in 4 gezeigten Wahrnehmungsmoduls 402) empfangen werden. Die Punkte der Punktewolken 1622, 1624 sind mit den Zeitstempeldaten 1628, 1630 verknüpft. Der Prozessor 1626 verwendet die Startwinkel 1606, 1616, die Frequenzen 1608, 1618 und die Zeitstempeldaten 1628, 1630 zum Erzeugen der konsolidierten Punktwolke 1600. In einer Ausführungsform sind die LiDAR-Vorrichtungen 1602, 1612 synchronisiert, d. h. sie arbeiten z. B. gemäß einer gemeinsamen Zeitreferenz und/oder verfügen über synchronisierte Uhren. In einer Ausführungsform teilen sich die Prozessoren 1604, 1614 eine gemeinsame Uhr 1632, sodass ihre Zeitstempel von einem gemeinsamen Bezugspunkt aus erzeugt werden. Mit anderen Worten, ein Punkt mit einem Zeitstempel von t=x, der durch eine der LiDAR-Vorrichtungen erzeugt wurde, wurde zum gleichen Zeitpunkt erkannt wie ein Punkt mit einem Zeitstempel von t=x, der durch die andere(n) synchronisierte(n) LiDAR-Vorrichtung(en) erzeugt wurde. In einer Ausführungsform konfiguriert der Prozessor 1626 die Startwinkel 1606, 1616 und/oder die Frequenzen 1608, 1618.
  • 17A und 17B zeigen eine Darstellung einer konsolidierten Punktwolke 1700 in Form einer Sammlung von polaren Voxeln 1702a-d. In einer Ausführungsform werden die durch die mehreren LiDAR-Vorrichtungen erkannten Punkte als polare Voxel modelliert, und die durch die LiDAR-Vorrichtungen erkannten Punkte werden an den entsprechenden Koordinaten innerhalb eines Polarvoxels platziert. Ein Voxel (manchmal auch als Volumenelement bezeichnet) ist eine Volumeneinheit in einer Datenstruktur, die einen dreidimensionalen Raum darstellt. Ein Punkt 1704 innerhalb eines Polarvoxels 1702a wird durch Polarkoordinaten definiert, im Gegensatz zu kartesischen Koordinaten, die bei kartesischen Voxeln verwendet werden. Eine Polarkoordinate hat drei Werte: einen Azimut (manchmal auch als Horizontalwinkel bezeichnet), eine Höhe (manchmal auch als Vertikalwinkel bezeichnet) und einen Radius. Der in den FIG. 504. 17A und 17B dargestellte Punkt hat einen Azimut 1706 und eine Höhe 1708, die relativ zu einem Nullpunkt definiert sind, der (wie in den obigen Beispielen) ein Ort 1320 in der Mitte der realen Achse des AF 1300 ist. In ähnlicher Weise ist der Radius 1710 des Punktes eine Entfernung von dem Ort 1320. In einer Ausführungsform wird die Datenstruktur, die die Polarvoxel 1702a-d darstellt, durch das Wahrnehmungsmodul 402 (4) beibehalten und ist eine Implementierung der in 16 gezeigten konsolidierten Punktwolke 1600.
  • Die Verwendung von Polarvoxeln ermöglicht es dem Wahrnehmungsmodul 402 (oder einem anderen Datenverarbeitungssystem), eine konsolidierte Punktwolke zu segmentieren, z. B. um die Verarbeitungseffizienz zu verbessern. In einer Ausführungsform werden einige der Polarvoxel 1702a-b relativ häufig aktualisiert (d. h. Punkte von den LiDAR-Vorrichtungen 1302, 1304 werden in die Polarvoxel 1702a-b aufgenommen), während einige der anderen Polarvoxel 1702c-d relativ selten aktualisiert werden. In einer Ausführungsform beinhaltet das Aktualisieren der Polarvoxel 1702 a-d das Ändern der Auflösung der Polarvoxel a-d, d. h. das Ändern des Volumens des pro Voxel erfassten 3-D-Raums. Auf diese Weise werden Polarvoxel, die einen Bereich von Interesse darstellen (z. B. einen Bereich, in dem sich wahrscheinlich andere Fahrzeuge, Fußgänger und andere Objekte von Interesse befinden), relativ häufig aktualisiert, z. B. einmal pro Umdrehung, um sicherzustellen, dass deren Daten wahrscheinlich aktuell sind, während andere Polarvoxel relativ selten aktualisiert werden, z. B. alle fünf Umdrehungen, um Datenverarbeitungsressourcen zu sparen. Die spezifische Aktualisierungsfrequenz eines Polarvoxels kann basierend auf der Bewegung des Fahrzeugs und der Umgebungsbedingungen wie Wetter, Verkehr, Fußgänger usw. angepasst sein. In einer Ausführungsform ist die Aktualisierungsfrequenz einiger der polaren Voxel vorgegeben, um Bereiche von Interesse in verschiedenen Szenarien basierend auf historischen Daten zu klassifizieren. Diese Klassifizierung kann auf klassischen oder maschinellen Lerntechniken basieren. So kann zum Beispiel bei Modellen des maschinellen Lernens festgestellt werden, dass der wichtigste Bereich von Interesse in einem Bereich mit starkem Fußgängerverkehr vor dem Fahrzeug liegen könnte. Daher werden die Polarvoxel, die den Abschnitt der Umgebung 190 vor dem Fahrzeug quantifizieren, am häufigsten aktualisiert. In einer Ausführungsform können die Polarvoxel 1702 a-d je nach den verschiedenen Faktoren unterschiedliche Auflösungen haben. Beispielsweise haben einige der Polarvoxel, die den Abschnitt der Umgebung 190 vor dem Fahrzeug quantifizieren, möglicherweise die größte Auflösung (d. h. die kleinste Größe, da die Größe der Polarvoxel umgekehrt proportional zur Auflösung ist), um eine hochgenaue Objekterkennung, -klassifizierung und -verfolgung durch das Wahrnehmungssystem vor dem Fahrzeug zu gewährleisten.
  • In einer Ausführungsform variiert das Volumen jedes der Polarvoxel 1702a-d in Abhängigkeit von der Umgebung des AF 1300. Beispielsweise können die Polarvoxel relativ klein, was einer relativ höheren Auflösung entspricht und mehr Verarbeitungsressourcen erfordert, oder relativ groß sein, was einer relativ niedrigeren Auflösung entspricht und weniger Verarbeitungsressourcen erfordert. Auf diese Weise kann die Größe (z. B. die Auflösung) des Voxels an die Umgebung des AF 1300 angepasst werden. Befindet sich das AF 1300 beispielsweise in einer dichtbesetzten Umgebung (z. B. einer städtischen Straße), ist die Auflösung der Voxel höher ausgelegt. Befindet sich das AF 1300 dagegen in einer dünnbesetzten Umgebung (z. B. auf einer Autobahn), ist die Auflösung des Voxels niedriger ausgelegt.
  • In einer Ausführungsform werden die Polarvoxel 1702a-d basierend auf einer oder mehrerer Metriken, die mit dem jeweiligen Polarvoxel verknüpft sind, aktualisiert. Eine Art von Metrik ist der Zeitpunkt, zu dem das Polarvoxel zuletzt aktualisiert wurde. In einer Ausführungsform werden die Polarvoxel 1702a-d gestaffelt aktualisiert, wobei einige der Voxel zu einem anderen Zeitpunkt als die anderen Voxel aktualisiert werden. Der Zeitpunkt, zu dem ein bestimmtes Polarvoxel aktualisiert wurde, kann dazu verwendet werden, festzustellen, ob für dieses Polarvoxel eine Aktualisierung fällig ist. Eine weitere Metrik ist, welche LiDAR-Vorrichtungen zur Aktualisierung des Polarvoxels verwendet werden. In einer Ausführungsform werden einige der Polarvoxel 1702a-d mit Daten aus zwei LiDAR-Vorrichtungen 1302, 1304 aktualisiert, während einige der Polarvoxel 1702a-d mit Daten aus nur einer der LiDAR-Vorrichtungen 1302, 1304 aktualisiert werden. Eine weitere Voxelmetrik ist die Dichte der Punkte des Polarvoxels. Wenn die Punkte eines bestimmten Polarvoxels eine hohe Dichte aufweisen, was darauf hinweist, dass das Voxel wahrscheinlich ein physisches Objekt enthält, kann das Voxel häufiger aktualisiert werden, um aktuelle Informationen über dieses Objekt sicherzustellen. In einer Ausführungsform wird die Dichte der Punkte eines bestimmten Polarvoxels regelmäßig gemessen, z. B. durch das Wahrnehmungsmodul 404. In dieser Ausführungsform wird die Aktualisierungsfrequenz für das Voxel gesenkt, wenn die Dichte einen Schwellenwert nicht erreicht. In einer Ausführungsform enthalten einige andere Voxelmetriken den Zeitstempel der letzten Aktualisierung für ein bestimmtes Polarvoxel, die Anzahl der LiDARs, die ein bestimmtes gegebenes Polarvoxel aktualisieren, die Kovarianz der Verteilung der Punkte in einem bestimmten Polarvoxel und das Verhältnis der Anzahl der am Dach der Fahrzeuge angebrachten LiDAR-Vorrichtungen zur Anzahl der an der Karosserie des Fahrzeugs angebrachten LiDAR-Vorrichtungen.
  • 18 ist ein Flussdiagramm, das einen auf Punktwolkeninformationen basierenden Vorgang 1800 zum Betreiben eines Fahrzeugs darstellen. In einer Ausführungsform ist das Fahrzeug das in 13 gezeigte AF 1300, und der Vorgang 1800 wird durch einen Prozessor wie den in 16 gezeigten Prozessor 1626 oder das in 4 gezeigte Wahrnehmungsmodul 402 ausgeführt.
  • Der Prozessor empfängt 1802 erste LiDAR-Punktwolkeninformationen aus einer ersten LiDAR-Vorrichtung und zweite LiDAR-Punktwolkeninformationen aus einer zweiten LiDAR-Vorrichtung. In einer Ausführungsform sind die LiDAR-Vorrichtungen die in 13 gezeigten LiDAR-Vorrichtungen 1302, 1304, und die LiDAR-Punktwolkeninformationen sind die in 16 gezeigten Punktwolken 1622, 1624. Die erste LiDAR-Vorrichtung und die zweite LiDAR-Vorrichtung sind jeweils so konfiguriert, dass sie das von Objekten in der Nähe des Fahrzeugs reflektierte Licht erkennen und basierend auf dem erkannten Licht LiDAR-Punktwolkeninformationen erzeugen. Die erste LiDAR-Vorrichtung befindet sich an einer ersten Position des Fahrzeugs und ist für einen ersten Startwinkel und eine erste Frequenz ausgelegt, und die zweite LiDAR-Vorrichtung befindet sich an einer zweiten Position des Fahrzeugs und ist für einen zweiten Startwinkel und eine zweite Frequenz ausgelegt. In einigen Ausführungsformen ist die erste Frequenz von der zweiten Frequenz verschieden. In einer Ausführungsform ist die erste LiDAR-Vorrichtung für einen ersten Startwinkel ausgelegt, die vom zweiten Startwinkel verschieden ist. In einer Ausführungsform sind die LiDAR-Vorrichtungen synchronisiert, d. h. sie arbeiten z. B. gemäß einer gemeinsamen Zeitreferenz und/oder haben synchronisierte Uhren.
  • Der Prozessor empfängt 1804 erste Zeitstempelinformationen, die mit den ersten LiDAR-Punktwolkeninformationen verknüpft sind, und zweite Zeitstempelinformationen, die mit den zweiten LiDAR-Punktwolkeninformation verknüpft sind. In einer Ausführungsform sind die Zeitstempelinformationen die in 16 gezeigten Zeitstempeldaten 1628, 1630.
  • In einer Ausführungsform ist jeder durch eine LiDAR-Vorrichtung beobachtete Punkt mit einem Zeitstempel verknüpft. Die ersten Zeitstempelinformationen stellen einen ersten Zeitpunkt dar, wobei der erste Zeitpunkt ein Zeitpunkt ist, zu dem ein erster Punkt der ersten LiDAR-Punktwolkeninformationen erkannt wurde, und die zweiten Zeitstempelinformation stellen einen zweiten Zeitpunkt dar, wobei der zweite Zeitpunkt ein Zeitpunkt ist, zu dem ein zweiter Punkt der zweiten LiDAR-Punktwolkeninformationen erkannt wurde. Zum Beispiel basiert der Zeitpunkt, zu dem der erste Punkt erkannt wurde, auf der Laseremissionszeit eines Blocks von Punkten, die bei einem ersten Azimut erkannt wurden, und einem ersten Versatzwert, der für den ersten Punkt spezifisch ist. In einer Ausführungsform bestimmt der Prozessor auch eine Entsprechung zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt gemäß dem ersten Startwinkel, der ersten Frequenz, dem zweiten Startwinkel und der zweiten Frequenz.
  • Der Prozessor erzeugt 1806 dritte Punktwolkeninformationen gemäß der Zusammenführung der ersten und zweiten LiDAR-Punktwolkeninformationen. Die Techniken zum Zusammenführen von Punktwolkeninformationen sind oben in Bezug auf 13-15 beschrieben. Die Erzeugung der dritten Punktwolkeninformationen erfolgt gemäß den ersten und zweiten LiDAR-Punktwolkeninformationen, den ersten und zweiten Zeitstempelinformationen, dem ersten Startwinkel, einer ersten Frequenz, dem zweiten Startwinkel und der zweiten Frequenz. In einer Ausführungsform beinhaltet die Erzeugung der dritten Punktwolkeninformationen die Verarbeitung der ersten LiDAR-Punktwolkeninformationen und der zweiten LiDAR-Punktwolkeninformationen basierend auf der ersten Position und der zweiten Position.
  • In einer Ausführungsform bestimmt der Prozessor, dass ein erster erkannter Lichtpunkt der ersten LiDAR-Punktwolkeninformationen und ein zweiter erkannter Lichtpunkt der zweiten LiDAR-Punktwolkeninformationen dem gleichen Ort relativ zum Fahrzeug entsprechen, z. B. einer Entfernung mit dem gleichen Azimut und der gleichen Höhe relativ zu einem festen Ort des Fahrzeugs, wie z. B. der Mitte der Hinterachse. Gemäß dieser Bestimmung erzeugt der Prozessor kombinierte LiDAR-Punktwolkeninformationen einschließlich des ersten und des zweiten erfassten Lichtpunktes.
  • In einer Ausführungsform erzeugt der Prozessor eine Datenstruktur (z. B. die in 17A-17B gezeigte konsolidierte Punktwolke 1700), die gemäß Polarkoordinaten orientierte Voxel darstellt, wobei jeweils ein Punkt der ersten LiDAR-Punktwolkeninformationen oder der zweiten LiDAR-Punktwolkeninformationen einem der Voxel der Datenstruktur zugeordnet wird. In einer Ausführungsform schließt dies das Erzeugen einer Anzahl von Voxeln der Datenstruktur gemäß einer vorbestimmten Auflösung ein. In einer Ausführungsform beinhaltet dies auch das Empfangen einer Vielzahl von Voxelmetriken und das Zusammenführen der ersten Punktwolkeninformationen und der zweiten Punktwolkeninformationen zur Erzeugung der dritten Punktwolkeninformationen basierend auf den Voxelmetriken. In einer Ausführungsform wird eine Menge von Voxeln der Datenstruktur gemäß einer Anzahl der Objekte in der Nähe des Fahrzeugs erzeugt.
  • 19 ist ein Flussdiagramm, das einen auf Punktwolkeninformationen basierenden Vorgang 1900 zum Betreiben eines Fahrzeugs darstellen. In einer Ausführungsform ist das Fahrzeug das in 13 gezeigte AF 1300, und der Vorgang 1900 wird durch einen Prozessor wie den in 16 gezeigten Prozessor 1626 oder das in 4 gezeigte Wahrnehmungsmodul 402 ausgeführt.
  • Der Prozessor konfiguriert 1902 eine erste LiDAR-Vorrichtung dazu, mit einer ersten Frequenz und aus einem ersten Startwinkel zu rotieren. In einer Implementierung ist die erste LiDAR-Vorrichtung die in 13 gezeigte LiDAR-Vorrichtung 1302, die erste Frequenz die in 14 gezeigte Frequenz 1410 und der erste Startwinkel der in 14 gezeigte Startwinkel 1402.
  • Der Prozessor konfiguriert 1904 eine zweite LiDAR-Vorrichtung dazu, mit einer zweiten Frequenz und aus einem zweiten Startwinkel zu rotieren, der vom ersten Startwinkel verschieden ist. In einer Implementierung ist die zweite LiDAR-Vorrichtung die in 13 gezeigte LiDAR-Vorrichtung 1304, die erste Frequenz die in 14 gezeigte Frequenz 1412 und der erste Startwinkel der in 14 gezeigte Startwinkel 1404.
  • Der Prozessor empfängt 1906 aus der ersten LiDAR-Vorrichtung Informationen, die einen ersten erkannten Lichtpunkt und einen ersten Zeitstempel darstellen, der einen Zeitpunkt darstellt, zu dem der erste Punkt beleuchtet wurde. Der Prozessor empfängt 1908 aus der zweiten LiDAR-Vorrichtung Informationen, die einen zweiten erkannten Lichtpunkt und einen zweiten Zeitstempel darstellen, der einen Zeitpunkt darstellt, zu dem der zweite Punkt beleuchtet wurde. Die Differenz zwischen dem Zeitpunkt des ersten Zeitstempels und dem Zeitpunkt des zweiten Zeitstempels ist kleiner als ein Kehrwert der ersten Frequenz. Mit anderen Worten, die Zeitstempel geben an, dass der zweite erkannte Lichtpunkt erkannt wurde, bevor dies erste LiDAR-Vorrichtung eine vollständige Umdrehung seit der Erkennung des ersten erkannten Lichtpunktes ausgeführt hat.
  • Der Prozessor bestimmt 1910, dass der erste erkannte Lichtpunkt und der zweite erkannte Lichtpunkt demselben Ort relativ zum Fahrzeug entsprechen. Die Techniken zur Durchführung dieser Bestimmung sind oben beschrieben, z. B. in Bezug auf 15. Als Reaktion darauf erzeugt der Prozessor 1912 LiDAR-Punktwolkeninformationen einschließlich des ersten und zweiten erkannten Lichtpunktes mit denselben Koordinaten relativ zu einem festen Nullpunkt des Fahrzeugs. In einer Ausführungsform sind die erzeugte LiDAR-Punktwolkeninformationen ein Beispiel für die konsolidierte Punktwolkeninformationen 1600, die in 16 dargestellt sind. Das Fahrzeug wird nun gemäß den LiDAR-Punktwolkeninformationen betrieben 1914, z. B. durch ein Steuermodul des Fahrzeugs in Kommunikation mit dem Prozessor 1626 oder dem Wahrnehmungsmodul 404.
  • In der vorgenannten Beschreibung sind Ausführungsformen der Erfindung unter Bezugnahme auf zahlreiche spezifische Details beschrieben, die von Umsetzung zu Umsetzung verschieden sein können. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden statt einem einschränkenden Sinn zu sehen. Der einzige und ausschließliche Indikator für den Umfang der Erfindung und das, was durch die Anmelder als Umfang der Ausführungsformen beabsichtigt ist, ist der wörtliche und äquivalente Umfang der Menge der Ansprüche, die aus dieser Anmeldung in der spezifischen Form hervorgehen, in der diese Ansprüche ausgestellt sind, einschließlich etwaiger späterer Korrekturen. Alle hier ausdrücklich dargelegten Definitionen für Begriffe, die in diesen Ansprüchen enthalten sind, regeln die Bedeutung der in den Ansprüchen verwendeten Begriffe. Darüber hinaus kann bei Verwendung des Begriffs „ferner umfassend“ in der vorhergehenden Beschreibung oder in den folgenden Ansprüchen das auf diese Formulierung Folgende ein zusätzlicher Schritt oder eine zusätzliche Einrichtung oder ein Unterschritt bzw. eine Untereinrichtung eines bereits erwähnten Schritts oder einer bereits erwähnten Einrichtung sein.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62799391 B [0001]
    • PA 201970131 [0001]

Claims (30)

  1. Fahrzeug, umfassend: mindestens zwei LiDAR-Vorrichtungen, die dazu ausgelegt sind, durch Objekte in der Nähe des Fahrzeugs reflektiertes Licht zu erkennen und basierend auf dem erkannten Licht LiDAR-Punktwolkeninformationen zu erzeugen, wobei sich eine erste LiDAR-Vorrichtung an einer ersten Position des Fahrzeugs befindet und für einen ersten Startwinkel und eine erste Frequenz ausgelegt ist, und sich eine zweite LiDAR-Vorrichtung an einer zweiten Position des Fahrzeugs befindet und für einen zweiten Startwinkel und eine zweite Frequenz ausgelegt ist; ein oder mehrere computerlesbare Medien, auf denen computerausführbare Anweisungen gespeichert sind; einen oder mehrere Prozessoren, die kommunikationsmäßig mit den mindestens zwei LiDAR-Vorrichtungen gekoppelt und dazu ausgelegt sind, die auf dem Computer ausführbaren Anweisungen auszuführen, wobei die Ausführung das Ausführen von Operationen umfasst einschließlich: Empfangen von ersten LiDAR-Punktwolkeninformationen aus der ersten LiDAR-Vorrichtung und von zweiten LiDAR-Punktwolkeninformationen aus der zweiten LiDAR-Vorrichtung, Empfangen von ersten Zeitstempelinformationen, die mit den ersten LiDAR-Punktwolkeninformationen verknüpft sind, und von zweiten Zeitstempelinformationen, die mit den zweiten LiDAR-Punktwolkeninformationen verknüpft sind, und gemäß den ersten und zweiten LiDAR-Punktwolkeninformationen, den ersten und zweiten Zeitstempelinformationen, dem ersten Startwinkel, einer ersten Frequenz, dem zweiten Startwinkel und der zweiten Frequenz, Erzeugen von dritten Punktwolkeninformationen, die die ersten und zweiten LiDAR-Punktwolkeninformationen zusammenführen; und eine Steuerschaltung, die kommunikationsmäßig mit dem einen oder den mehreren Prozessoren gekoppelt ist, wobei die Steuerschaltung dazu ausgelegt ist, das Fahrzeug basierend auf den dritten LiDAR-Punktwolkeninformationen zu betreiben.
  2. Fahrzeug nach Anspruch 1, wobei die Operationen umfassen: Bestimmen, dass ein erster erkannter Lichtpunkt der ersten LiDAR-Punktwolkeninformationen und ein zweiter erkannter Lichtpunkt der zweiten LiDAR-Punktwolkeninformationen demselben Ort relativ zum Fahrzeug entsprechen, und gemäß den ersten und zweiten Informationen, die demselben Ort relativ zum Fahrzeug entsprechen, Erzeugen von kombinierten LiDAR-Punktwolkeninformationen, die den ersten und zweiten erkannten Lichtpunkt enthalten.
  3. Fahrzeug nach Anspruch 1 oder 2, wobei die ersten Zeitstempelinformationen einen ersten Zeitpunkt darstellen, wobei der erste Zeitpunkt ein Zeitpunkt ist, zu dem ein erster Punkt der ersten LiDAR-Punktwolkeninformationen erkannt wurde, und die zweiten Zeitstempelinformationen einen zweiten Zeitpunkt darstellen, wobei der zweite Zeitpunkt ein Zeitpunkt ist, zu dem ein zweiter Punkt der zweiten LiDAR-Punktwolkeninformationen erkannt wurde.
  4. Fahrzeug nach Anspruch 3, wobei der Zeitpunkt, zu dem der erste Punkt erkannt wurde, auf einem Laseremissionszeitpunkt eines Blocks von Punkten basiert, die mit einem ersten Azimut und einem ersten, für den ersten Punkt spezifischen Versatzwert erkannt wurden.
  5. Fahrzeug nach Anspruch 3, wobei die Operationen das Bestimmen einer Entsprechung zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt gemäß dem ersten Startwinkel, der ersten Frequenz, dem zweiten Startwinkel und der zweiten Frequenz umfassen.
  6. Fahrzeug nach einem der Ansprüche 1-5, wobei die erste LiDAR-Vorrichtung für einen ersten Startwinkel ausgelegt ist, der vom zweiten Startwinkel verschieden ist.
  7. Fahrzeug nach einem der Ansprüche 1-6, wobei das Erzeugen von dritten Punktwolkeninformationen das Erzeugen einer Datenstruktur umfasst, die Voxel darstellt, die gemäß Polarkoordinaten orientiert sind, wobei ein jeweiliger Punkt der ersten LiDAR-Punktwolkeninformationen oder der zweiten LiDAR-Punktwolkeninformationen einem der Voxel der Datenstruktur zugeordnet ist.
  8. Fahrzeug nach Anspruch 7, wobei das Erzeugen von dritten Punktwolkeninformationen das Erzeugen einer Anzahl von Voxeln der Datenstruktur gemäß einer vorbestimmten Auflösung umfasst.
  9. Fahrzeug nach Anspruch 7 oder 8, wobei das Ausführen von Operationen ferner umfasst: Empfangen einer Vielzahl von Voxelmetriken; und Zusammenführen der ersten Punktwolkeninformationen und der zweiten Punktwolkeninformationen, um die dritten Punktwolkeninformationen basierend auf der Voxelmetrik zu erzeugen.
  10. Fahrzeug nach einem der Ansprüche 7-9, wobei eine Menge von Voxeln der Datenstruktur gemäß einer Anzahl der Objekte in der Nähe des Fahrzeugs erzeugt wird.
  11. Fahrzeug nach einem der Ansprüche 7-10, wobei ein erstes Voxel mit einer Frequenz verknüpft ist, mit der Punktwolkendaten zum Aktualisieren von Punkten des Voxels verwendet werden.
  12. Fahrzeug nach Anspruch 11, wobei die Ausführung von Operationen ferner das Bestimmen, ob das Voxel einen Schwellenwert der Punktdichte erreicht, und basierend auf der Bestimmung das Anpassen der Frequenz, mit der die Punktwolkendaten zum Aktualisieren der Punkte des Voxels verwendet werden, umfasst.
  13. Fahrzeug nach einem der Ansprüche 1-12, wobei die Ausführung von Operationen ferner das Verarbeiten der ersten LiDAR-Punktwolkeninformationen und der zweiten LiDAR-Punktwolkeninformationen basierend auf der ersten Position und der zweiten Position umfasst.
  14. Fahrzeug nach einem der Ansprüche 1-13, wobei die mindestens zwei LiDAR-Vorrichtungen synchronisiert sind.
  15. Fahrzeug nach einem der Ansprüche 1-14, wobei die erste Frequenz von der zweiten Frequenz verschieden ist.
  16. Verfahren, umfassend: auf einem Fahrzeug: Empfangen erster LiDAR-Punktwolkeninformationen aus einer ersten LiDAR-Vorrichtung und zweiter LiDAR-Punktwolkeninformationen aus einer zweiten LiDAR-Vorrichtung, wobei die erste LiDAR-Vorrichtung und die zweite LiDAR-Vorrichtung jeweils dazu ausgelegt sind, von Objekten in der Nähe des Fahrzeugs reflektiertes Licht zu erfassen und LiDAR-Punktwolkeninformationen basierend auf dem erkannten Licht zu erzeugen, wobei sich die erste LiDAR-Vorrichtung an einer ersten Position des Fahrzeugs befindet und für einen ersten Startwinkel und eine erste Frequenz ausgelegt ist, und sich die zweite LiDAR-Vorrichtung an einer zweiten Position des Fahrzeugs befindet und für einen zweiten Startwinkel und eine zweite Frequenz ausgelegt ist; Empfangen erster Zeitstempelinformationen, die mit den ersten LiDAR-Punktwolkeninformationen verknüpft sind, und zweiter Zeitstempelinformationen, die mit den zweiten LiDAR-Punktwolkeninformationen verknüpft sind; und gemäß den ersten und zweiten LiDAR-Punktwolkeninformationen, den ersten und zweiten Zeitstempelinformationen, dem ersten Startwinkel, einer ersten Frequenz, dem zweiten Startwinkel und der zweiten Frequenz, Erzeugen dritter Punktwolkeninformationen gemäß dem Zusammenführen der ersten und zweiten LiDAR-Punktwolkeninformationen; und Betreiben des Fahrzeugs basierend auf den dritten LiDAR-Punktwolkeninformationen.
  17. Nichtflüchtiges computerlesbares Speichermedium umfassend ein oder mehrere Programme zur Ausführung durch einen oder mehrere Prozessoren einer ersten Vorrichtung, wobei das eine oder die mehreren Programme Anweisungen enthalten, die beim Ausführen durch den einen oder die mehreren Prozessoren die erste Vorrichtung veranlassen, das Verfahren nach Anspruch 16 durchzuführen.
  18. Verfahren, umfassend: Auslegen einer ersten LiDAR-Vorrichtung, mit einer ersten Frequenz und aus einem ersten Startwinkel zu rotieren; Auslegen einer zweiten LiDAR-Vorrichtung, mit einer zweiten Frequenz und aus einem zweiten Startwinkel zu rotieren, der vom ersten Startwinkel verschieden ist; Empfangen von Informationen aus der ersten LiDAR-Vorrichtung, die einen ersten erfassten Lichtpunkt und einen ersten Zeitstempel darstellen, der einen Zeitpunkt darstellt, zu dem der erste Punkt beleuchtet wurde; Empfangen von Informationen aus der zweiten LiDAR-Vorrichtung, die einen zweiten erkannten Lichtpunkt und einen zweiten Zeitstempel darstellen, der einen Zeitpunkt darstellt, zu dem der zweite Punkt beleuchtet wurde, wobei eine Differenz zwischen dem Zeitpunkt des ersten Zeitstempels und dem Zeitpunkt des zweiten Zeitstempels kleiner als ein Kehrwert der ersten Frequenz ist; Bestimmen, dass der erste erkannte Lichtpunkt und der zweite erkannte Lichtpunkt demselben Ort relativ zum Fahrzeug entsprechen, und gemäß dem Bestimmen, dass der erste erkannte Lichtpunkt und der zweite erkannte Lichtpunkt demselben Ort entsprechen, Erzeugen von LiDAR-Punktwolkeninformationen, die den ersten und zweiten erkannten Lichtpunkt mit denselben Koordinaten relativ zu einem festen Nullpunkt des Fahrzeugs enthalten.
  19. Verfahren nach Anspruch 18, wobei die erste Frequenz von der zweiten Frequenz verschieden ist.
  20. Verfahren nach Anspruch 18 oder 19, wobei der Zeitpunkt, zu dem der erste Punkt beleuchtet wurde, auf einem Laseremissionszeitpunkt eines Blocks von Punkten basiert, die mit einem ersten Azimut und einem ersten, für den ersten Punkt spezifischen Versatzwert erkannt wurden.
  21. Verfahren nach einem der Ansprüche 18-20, ferner umfassend Bestimmen einer Entsprechung zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt gemäß dem ersten Startwinkel, der ersten Frequenz, dem zweiten Startwinkel und der zweiten Frequenz.
  22. Verfahren nach einem der Ansprüche 18-21, wobei das Erzeugen der LiDAR-Punktwolkeninformationen das Erzeugungen einer Datenstruktur umfasst, die Voxel darstellt, die gemäß Polarkoordinaten orientiert sind.
  23. Verfahren nach Anspruch 22, wobei das Erzeugen der LiDAR-Punktwolkeninformationen das Erzeugen einer Anzahl von Voxeln der Datenstruktur gemäß einer vorbestimmten Auflösung umfasst.
  24. Verfahren nach Anspruch 22 oder 23, ferner umfassend: Empfangen einer Vielzahl von Voxelmetriken; und Zusammenführen der ersten Punktwolkeninformationen und der zweiten Punktwolkeninformationen, um die dritten Punktwolkeninformationen basierend auf der Voxelmetrik zu erzeugen.
  25. Verfahren nach einem der Ansprüche 22-24, wobei eine Menge von Voxeln der Datenstruktur gemäß einer Anzahl der Objekte in der Nähe des Fahrzeugs erzeugt wird.
  26. Verfahren nach einem der Ansprüche 18-25, wobei sich die erste LiDAR-Vorrichtung an einer ersten Position am Fahrzeug und die zweite LiDAR-Vorrichtung an einer zweiten Position am Fahrzeug befindet.
  27. Verfahren nach Anspruch 26, ferner umfassend das Erzeugen der LiDAR-Punktwolkeninformationen basierend auf der ersten Position und der zweiten Position.
  28. Verfahren nach einem der Ansprüche 18-27, wobei die mindestens zwei LiDAR-Vorrichtungen synchronisiert sind.
  29. Fahrzeug, umfassend: ein oder mehrere computerlesbare Medien, auf denen computerausführbare Anweisungen gespeichert sind; einen oder mehrere Prozessoren, die dazu ausgelegt sind, die computerausführbaren Anweisungen auszuführen, wobei die Ausführung das Verfahren gemäß Anspruch 18 ausführt.
  30. Nichtflüchtiges computerlesbares Speichermedium umfassend ein oder mehrere Programme zur Ausführung durch einen oder mehrere Prozessoren einer ersten Vorrichtung, wobei das eine oder die mehreren Programme Anweisungen enthalten, die beim Ausführen durch den einen oder die mehreren Prozessoren die erste Vorrichtung veranlassen, das Verfahren gemäß Anspruch 18 durchzuführen.
DE112020000653.0T 2019-01-31 2020-01-31 Zusammenführen von daten aus mehreren lidar-vorrichtungen Pending DE112020000653T5 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962799391P 2019-01-31 2019-01-31
US62/799,391 2019-01-31
DKPA201970131 2019-02-27
DKPA201970131A DK180562B1 (en) 2019-01-31 2019-02-27 Merging data from multiple lidar devices
PCT/IB2020/050802 WO2020157722A1 (en) 2019-01-31 2020-01-31 Merging data from multiple lidar devices

Publications (1)

Publication Number Publication Date
DE112020000653T5 true DE112020000653T5 (de) 2021-12-09

Family

ID=71995223

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020000653.0T Pending DE112020000653T5 (de) 2019-01-31 2020-01-31 Zusammenführen von daten aus mehreren lidar-vorrichtungen

Country Status (6)

Country Link
US (2) US11333762B2 (de)
KR (2) KR20220015491A (de)
CN (2) CN112703423B (de)
DE (1) DE112020000653T5 (de)
DK (1) DK180562B1 (de)
GB (2) GB2600260B (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11391826B2 (en) * 2017-09-27 2022-07-19 Magna Electronics Inc. Vehicle LIDAR sensor calibration system
US11221392B2 (en) * 2018-07-31 2022-01-11 GM Global Technology Operations LLC Lidar object detection and data communications
US11415687B2 (en) * 2019-05-08 2022-08-16 Pony Ai Inc. System and method for determining whether to perform sensor calibration while minimizing system load
US11550043B2 (en) * 2020-01-13 2023-01-10 Samsung Electronics Co., Ltd. Spatially and temporally coherent multi-LiDAR point cloud fusion
EP3939005A4 (de) * 2020-05-15 2022-08-10 Baidu.com Times Technology (Beijing) Co., Ltd. Detektor für punktwolkenfusion
US11508118B2 (en) * 2020-07-13 2022-11-22 Fujitsu Limited Provisioning real-time three-dimensional maps for autonomous vehicles
CN115379906A (zh) 2020-10-28 2022-11-22 株式会社Lg新能源 狭槽模具涂布机
KR102438788B1 (ko) * 2020-10-31 2022-08-31 주식회사 네오시스 자율주행 데이터 로깅시스템
KR102462709B1 (ko) * 2020-10-31 2022-11-04 주식회사 네오시스 개방형 전기자동차의 통신용 공용플랫폼
KR102359250B1 (ko) * 2021-04-29 2022-02-08 주식회사 메이사 포인트 클라우드 추론 장치 및 그 방법
DE102021205826A1 (de) * 2021-06-09 2022-12-15 Volkswagen Aktiengesellschaft Elektronisches System eines Kraftfahrzeuges mit mindestens zwei Steuergeräten, die jeweils einen eigenen Taktgeber aufweisen und Verfahren zur Steuerung eines solchen Systems
US11915436B1 (en) * 2021-08-30 2024-02-27 Zoox, Inc. System for aligning sensor data with maps comprising covariances
EP4202837A1 (de) * 2021-12-22 2023-06-28 Aptiv Technologies Limited Ein merkmal, das die form eines räumlich verteilten datensatzes beschreibt
CN114638853B (zh) * 2022-05-18 2022-09-02 广东工业大学 一种基于路侧固态激光雷达的背景过滤方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129211B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
US10247854B2 (en) * 2013-05-07 2019-04-02 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US10126412B2 (en) 2013-08-19 2018-11-13 Quanergy Systems, Inc. Optical phased array lidar system and method of using same
CN104155638B (zh) 2014-06-11 2016-05-18 南京林业大学 一种基于LiDAR伪垂直波形模型的树种分类方法
CN104180754B (zh) 2014-07-28 2017-02-01 南京林业大学 基于激光雷达综合波形模型反演森林生物物理特性的方法
EP3078935A1 (de) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Verfahren und vorrichtung zur echtzeit-abbildung und -lokalisierung
US10447999B2 (en) 2015-10-20 2019-10-15 Hewlett-Packard Development Company, L.P. Alignment of images of a three-dimensional object
CN105738915B (zh) * 2016-01-07 2017-09-26 福州华鹰重工机械有限公司 三维雷达测量方法及装置
KR102384875B1 (ko) 2016-05-11 2022-04-08 삼성전자주식회사 거리 센서의 칼리브레이션 방법, 장치 및 시스템
CN106157309B (zh) * 2016-07-04 2019-03-22 南京大学 一种基于虚拟种子点的机载LiDAR地面点云滤波方法
CN107819799B (zh) 2016-09-13 2019-02-01 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
CN106680798B (zh) 2017-01-23 2019-04-02 辽宁工程技术大学 一种机载lidar航带重叠区冗余辨识及消除方法
CN108535736A (zh) 2017-03-05 2018-09-14 苏州中德睿博智能科技有限公司 三维点云数据获取方法及获取系统
CN107161141B (zh) * 2017-03-08 2023-05-23 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN110573830B (zh) 2017-04-28 2022-03-22 深圳市大疆创新科技有限公司 激光传感器的校准方法
WO2018195996A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Multi-object tracking based on lidar point cloud
US10346695B2 (en) * 2017-05-25 2019-07-09 General Motors Llc Method and apparatus for classifying LIDAR data for object detection
US10678260B2 (en) 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10527711B2 (en) * 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
CN111492403A (zh) 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
US10733420B2 (en) 2017-11-21 2020-08-04 GM Global Technology Operations LLC Systems and methods for free space inference to break apart clustered objects in vehicle perception systems
CN108318895B (zh) * 2017-12-19 2020-02-07 深圳市海梁科技有限公司 用于无人驾驶车辆的障碍物识别方法、装置及终端设备

Also Published As

Publication number Publication date
KR102354284B1 (ko) 2022-01-21
GB2600260A (en) 2022-04-27
DK180562B1 (en) 2021-06-28
US11333762B2 (en) 2022-05-17
GB2585815B (en) 2022-01-05
KR20200141477A (ko) 2020-12-18
KR20220015491A (ko) 2022-02-08
GB202017438D0 (en) 2020-12-16
GB2600260B (en) 2023-08-09
US20200249353A1 (en) 2020-08-06
US20220163668A1 (en) 2022-05-26
CN112703423A (zh) 2021-04-23
GB2585815A (en) 2021-01-20
GB202116923D0 (en) 2022-01-05
CN112703423B (zh) 2022-06-21
DK201970131A1 (en) 2020-08-11
CN115201845A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
DE112020000653T5 (de) Zusammenführen von daten aus mehreren lidar-vorrichtungen
DE102020111938A1 (de) Systeme und verfahren zum planen und aktualisieren einer fahrzeugtrajektorie
DE102020123585A1 (de) Erweiterte objektverfolgung mittels radar
DE112020000487T5 (de) Automatisches wählen von datenproben zur annotation
DE102020129854A1 (de) Sequenzielle fusion zur 3d-objektdetektion
DE102020111682A1 (de) Systeme und verfahren zum implementieren einer autonomen fahrzeugreaktion auf ein sensorversagen
DE102020131323A1 (de) Kamera-zu-lidar-kalibration und -validierung
DE102021101758A1 (de) Ampeldetektionssystem für ein fahrzeug
DE102020133744A1 (de) Vordergrundextraktion unter verwendung von flächenanpassung
DE102020133982A1 (de) Automatisierte objektannotation unter verwendung fusionierter kamera-/lidar-datenpunkte
DE112019006119T5 (de) Erstellung von bewegungsgraphen und routenplanung auf fahrspurebene
DE102020210499A1 (de) Datengesteuerte regelwerke
DE112019006128T5 (de) Systeme und verfahren zum validieren von sensorkalibrierung
DE112019004633T5 (de) Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren
DE102021112349A1 (de) Fahrzeugbetrieb unter verwendung eines dynamischen belegungsrasters
DE102020126217A1 (de) Navigieren von Mehrwege-Stopp-Kreuzungen mit einem autonomen Fahrzeug
DE112020002695T5 (de) Autonomer fahrzeugbetrieb mittels linearer temporaler logik
DE102020132302A1 (de) Sicherheitssystem für ein fahrzeug
DE102018119882A1 (de) Übertragen von Bilddaten, die von einer Fahrzeugkamera aufgenommen werden
DE102020120873A1 (de) Lokalisierung basierend auf vordefinierten merkmalen der umgebung
DE102020134834A1 (de) Objektverfolgung zur unterstützung autonomer fahrzeugnavigation
DE102021118316A1 (de) Monokulare 3d-objekterkennung aus bildsemantiknetzwerk
DE102020135000A1 (de) Systeme und verfahren zur verkehrsampelerfassung
DE102020134835A1 (de) Langzeit-objektverfolgung zur unterstützung autonomer fahrzeugnavigation
DE102021114032A1 (de) Identifizieren von hintergrundmerkmalen mittels lidar