DE102021128727A1

DE102021128727A1 - Geisterpunktfilterung

Info

Publication number: DE102021128727A1
Application number: DE102021128727.8A
Authority: DE
Inventors: Yu Pan; Thomas Koelbaek Jespersen
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2020-11-18
Filing date: 2021-11-04
Publication date: 2022-05-19
Also published as: US20220157015A1; KR102518209B1; CN114518566A; GB2601204A; CN114518566B; KR20220068101A; US11158120B1; GB202102140D0

Abstract

Unter anderem werden Techniken beschrieben, um ein Entfernungsbild zu erhalten, das sich auf einen Tiefensensor eines in einer Umgebung fahrenden Fahrzeugs bezieht. Im Entfernungsbild wird ein erster Datenpunkt identifiziert, dessen Intensität bei oder unter einem ersten Intensitätsschwellenwert liegt. In dem Entfernungsbild wird eine erste Anzahl von Datenpunkten bestimmt, deren Intensität in einer ersten Region des Entfernungsbildes bei oder über einem zweiten Intensitätsschwellenwert liegt. Anschließend wird bestimmt, ob die erste Anzahl von Datenpunkten bei oder über einem Schwellenwert für die Anzahl der Regionen liegt. Der erste Datenpunkt wird aus dem Entfernungsbild entfernt, falls die erste Anzahl von Datenpunkten bei oder über dem Schwellenwert für die Anzahl der Regionen liegt. Der Betrieb des Fahrzeugs wird dann in der Umgebung mindestens teilweise basierend auf dem Entfernungsbild ermöglicht. Es können weitere Ausführungsformen beschrieben oder beansprucht werden.

Description

GEBIET DER ERFINDUNG
Diese Beschreibung bezieht sich auf das Entfernen von Geisterpunkten aus Punktwolken, die durch Flugzeit- (Time of Flight, ToF) Systeme wie z. B. einem Lichterkennungs- und Entfernungsmess- (Light Detection and Ranging, LiDAR) System erzeugt werden.
HINTERGRUND
Ein ToF-System wie z. B. LiDAR sammelt normalerweise ToF-Daten und erzeugt eine Punktwolke, die sich auf diese Daten bezieht. Die Punktwolke kann in einigen Fällen Punkte enthalten, die auf Reflexionsfehler im Sender oder Empfänger des ToF-Systems zurückzuführen sind. In den vorliegenden Beschreibungen werden diese Punkte als „Geisterpunkte“ bezeichnet, und ihr Vorhandensein in der Punktwolke führt häufig zu Fehlern bei der Interpretation und Verarbeitung des Geisterpunkts und der umgebenden Punkte der Punktwolke. So kann beispielsweise ein autonomes Fahrzeug, das Hindernisse basierend auf der Punktwolke erkennt, das Vorhandensein eines Objekts aufgrund der Geisterpunkte in der Punktwolke falsch identifizieren, was sich negativ auf die Steuerung des Fahrzeugs auswirken kann.
Figurenliste

1 zeigt ein Beispiel für ein autonomes Fahrzeug mit autonomer Fähigkeit.
2 zeigt ein Computersystem.
3 zeigt ein Beispiel für die Architektur eines autonomen Fahrzeugs.
4 zeigt ein Beispiel für Eingaben und Ausgaben, die durch ein Wahrnehmungssystem verwendet werden können.
5 zeigt ein Beispiel für ein LiDAR-System.
6 zeigt das LiDAR-System im Betrieb.
7 zeigt die Funktionsweise des LiDAR-Systems mit zusätzlichen Details.
8 zeigt ein Beispiel für einen Vergleich zwischen einem Bild der realen Welt und einer Punktwolke, die möglicherweise aus einem ToF-System stammen kann.
9a und 9b zeigen ein Beispiel für die Sende- und Empfangsstruktur eines ToF-Systems.
10 zeigt ein Beispiel für Regionen mit Geisterpunkten.
11 zeigt ein Beispiel für ein Entfernungsbild zum Verarbeiten durch einen Filter zum Entfernen von Geisterpunkten.
12 zeigt ein prinzipielles Beispiel für eine Technik zum Entfernen eines Geisterpunktes aus einem Entfernungsbild.
13 zeigt ein grafisches Beispiel für die Identifizierung und Entfernung eines Geisterpunktes basierend auf einer Geisterpunktregion.
14 zeigt ein Beispiel für eine LiDAR-Ablaufkette.
15 zeigt ein Beispiel für eine Technik zum Identifizieren und Entfernen eines Geisterpunktes aus einer Punktwolke.

DETAILLIERTE BESCHREIBUNG
In der folgenden Beschreibung werden zwecks Erklärung zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der vorliegenden Offenbarung zu ermöglichen. Es wird jedoch offensichtlich, dass die vorliegende Offenbarung auch ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen werden bekannte Strukturen und Vorrichtungen in Blockdiagrammform dargestellt, um eine unnötige Verschleierung der vorliegenden Offenbarung zu vermeiden.
Zur leichteren Beschreibung sind in den Zeichnungen spezifische Anordnungen oder Reihenfolgen von schematischen Elementen abgebildet, wie zum Beispiel solche, die Vorrichtungen, Systeme, Anweisungsblöcke und Datenelemente darstellen. Der Fachmann sollte jedoch verstehen, dass die spezifische Reihenfolge oder Anordnung der schematischen Elemente in den Zeichnungen nicht bedeuten soll, dass eine bestimmte Reihenfolge oder Sequenz der Bearbeitung oder eine Trennung der Prozesse erforderlich ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden dürfen.
Ferner ist in den Zeichnungen, in denen Verbindungselemente, wie beispielsweise durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Verknüpfung zwischen oder unter zwei oder mehreren anderen schematischen Elementen darzustellen, das Fehlen solcher Verbindungselemente nicht so zu verstehen, dass keine Verbindung, Beziehung oder Verknüpfung bestehen kann. Mit anderen Worten werden einige Verbindungen, Zusammenhänge oder Verknüpfungen zwischen Elementen in den Zeichnungen nicht dargestellt, um die Offenbarung nicht zu verschleiern. Zur leichteren Veranschaulichung wird außerdem ein einzelnes Verbindungselement verwendet, um mehrere Verbindungen, Zusammenhänge oder Verknüpfungen zwischen Elementen darzustellen. Wenn zum Beispiel ein Verbindungselement eine Kommunikation von Signalen, Daten oder Anweisungen darstellt, sollte der Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z. B. einen Bus) darstellt, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
Im Folgenden wird im Detail Bezug auf Ausführungsformen genommen, deren Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden detaillierten Beschreibung werden zahlreiche spezifische Details dargelegt, um ein gründliches Verständnis der verschiedenen beschriebenen Ausführungsformen zu ermöglichen. Jedoch wird für einen durchschnittlichen Fachmann deutlich sein, dass die verschiedenen beschriebenen Ausführungsformen auch ohne diese spezifischen Details umgesetzt werden können. In anderen Fällen sind allgemein bekannte Verfahren, Vorgehensweisen, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, um eine unnötige Verschleierung der Aspekte der Ausführungsformen zu vermeiden.
Im Folgenden werden mehrere Merkmale beschrieben, die jeweils unabhängig voneinander oder in einer beliebigen Kombination anderer Merkmale verwendet werden können. Allerdings kann es sein, dass ein einzelnes Merkmal keines der oben erörterten Probleme oder nur eines der oben erörterten Probleme anspricht. Einige der oben erörterten Probleme werden möglicherweise durch keines der hier beschriebenen Merkmale vollständig angesprochen. Auch wenn Überschriften angegeben sind, können Informationen, die sich auf eine bestimmte Überschrift beziehen, aber nicht in dem Abschnitt mit dieser Überschrift zu finden sind, auch an anderer Stelle in dieser Beschreibung gefunden werden. Ausführungsformen werden hier gemäß der folgenden Übersicht beschrieben:

1. Allgemeiner Überblick
2. Systemübersicht
3. Architektur autonomer Fahrzeuge
4. Eingaben autonomer Fahrzeuge
5. Auftreten von Geisterpunkten
6. Filtertechniken für Geisterpunkte

Allgemeiner Überblick
Ein Fahrzeug (z. B. ein autonomes Fahrzeug) enthält mindestens einen Prozessor, der einen Geisterpunktfilter verwendet, um Geisterpunkte aus einer dreidimensionalen (3D) Punktwolke zu entfernen, die durch ein LiDAR-System oder ein anderes ToF-System (z. B. Funkerkennung und Messung - Radio Detection and Ranging (RADAR) oder einem anderen System) im oder am Fahrzeug erzeugt wurde. Wie bereits erwähnt, handelt es sich bei den Geisterpunkten um fehlerhafte Punkte einer durch das LiDAR-System während einer LiDAR-Abtastung erfassten Punktwolke, die nicht einer tatsächlichen Objektreflexion entsprechen, sondern vielmehr das Ergebnis eines optischen Artefakts sind. In einer Ausführungsform identifiziert der Geisterpunktfilter einen Punkt mit niedriger Intensität (z. B. einen Punkt mit niedriger optischer Intensität, der auch als optischer Rücklauf mit niedriger Empfangsenergie betrachtet werden kann) in einer Punktwolke. Der Geisterpunktfilter identifiziert die Anzahl der Punkte mit hoher Intensität (z. B. einen Punkt mit hoher optischer Intensität, der auch als optischer Rücklauf betrachtet werden kann, der den Empfänger sättigt) in vordefinierten Regionen der Punktwolke, die relativ zu dem identifizierten Punkt mit niedriger Intensität liegen. Basierend auf der Anzahl der Punkte mit hoher Intensität in den vordefinierten Regionen kann der Punkt mit niedriger Intensität als Geisterpunkt identifiziert und aus der Punktwolke entfernt oder in der Punktwolke belassen werden. Es versteht sich, dass die hier beschriebenen Ausführungsformen zwar in Bezug auf LiDAR beschrieben werden, jedoch auch eine andere Ausführungsform zusätzlich oder alternativ eine andere Art der ToF-Erkennung aufweist.
Ein Vorteil der Entfernung von Geisterpunkten mittels des offenbarten Geisterpunktfilters ist, dass die Genauigkeit der Punktwolke und der daraus resultierende Betrieb des Fahrzeugs, der zum Teil von einer genauen Punktwolke abhängt, verbessert wird. Dieser Vorteil wird durch eine Softwarelösung erreicht, die andernfalls kostspielige Hardwareänderungen an einer großen Anzahl von LiDAR-Systemen erfordern würde. In einer Ausführungsform wird die Softwarelösung als rechnerisch effizient erkannt werden, da sie dazu konzipiert ist, mit einem anfänglichen Entfernungsbild des Systems (z. B. einem Entfernungsbild vor jeder Nachbearbeitung des durch das/die LiDAR-System(e) erzeugten Entfernungsbildes) zu arbeiten.
Systemübersicht
1 zeigt ein Beispiel für ein autonomes Fahrzeug (AF) 100, das über autonome Fähigkeit verfügt.
Wie hier verwendet, bezieht sich der Begriff „autonome Fähigkeit“ auf eine Funktion, ein Merkmal oder eine Einrichtung, die es ermöglicht, ein Fahrzeug teilweise oder vollständig ohne menschliches Eingreifen in Echtzeit zu betreiben, einschließlich, aber nicht beschränkt auf vollständig autonome Fahrzeuge, hochgradig autonome Fahrzeuge und bedingt autonome Fahrzeuge.
Wie hier verwendet, ist ein AF ein Fahrzeug, das über autonome Fähigkeiten verfügt.
Wie hier verwendet, umfasst „Fahrzeug“ Transportmittel für den Transport von Gütern oder Personen. Zum Beispiel Autos, Busse, Züge, Flugzeuge, Drohnen, Lastwagen, Boote, Schiffe, Tauchboote, Lenkflugkörper usw. Ein fahrerloses Kraftfahrzeug ist ein Beispiel für ein Fahrzeug.
Wie hier verwendet, bezieht sich „Bewegungsbahn“ auf einen Weg oder eine Route zum Navigieren eines AF von einem ersten räumlich-zeitlichen Ort zu einem zweiten raumzeitlichen Ort. In einer Ausführungsform wird der erste raumzeitliche Ort als Anfangs- oder Startort und der zweite raumzeitliche Ort als Bestimmungsort, Endort, Ziel, Zielposition oder Zielort bezeichnet. In einigen Beispielen besteht eine Bewegungsbahn aus einem oder mehreren Segmenten (z. B. Straßenabschnitten), und jedes Segment besteht aus einem oder mehreren Blöcken (z. B. Abschnitten eines Fahrstreifens oder einer Kreuzung/Einmündung). In einer Ausführungsform entsprechen die raumzeitlichen Orte den Orten der realen Welt. Die raumzeitlichen Orte sind zum Beispiel Abhol- oder Absetzorte zum Abholen oder Absetzen von Personen oder Gütern.
Wie hier verwendet, umfasst „Sensor(en)“ eine oder mehrere Hardwarekomponenten, die Informationen über die Umgebung rund um den Sensor erfassen. Einige der Hardwarekomponenten können sensorische Komponenten (z. B. Bildsensoren, biometrische Sensoren), Sende- und/oder Empfangskomponenten (z. B. Laser- oder Hochfrequenzwellensender und -empfänger), elektronische Komponenten wie Analog-Digital-Wandler, eine Datenspeichervorrichtung (z. B. einen Direktzugriffsspeicher (RAM) und/oder einen nichtflüchtigen Speicher), Software- oder Firmwarekomponenten und Datenverarbeitungskomponenten wie eine ASIC (anwendungsspezifische integrierte Schaltung), einen Mikroprozessor und/oder einen Mikrocontroller umfassen.
Wie hier verwendet, ist eine „Szeneriebeschreibung“ eine Datenstruktur (z. B. Liste) oder ein Datenstrom, der ein oder mehrere klassifizierte oder markierte Objekte enthält, die durch einen oder mehrere Sensoren an dem AF-Fahrzeug erkannt oder durch eine AF-externe Quelle bereitgestellt werden.
Wie hier verwendet, ist eine „Straße“ ein physischer Bereich, der durch ein Fahrzeug befahren werden kann und einem benannten Verkehrsweg (z. B. Stadtstraße, Autobahn usw.) oder einem unbenannten Verkehrsweg (z. B. eine Einfahrt an einem Haus oder Bürogebäude, ein Abschnitt eines Parkplatzes, ein Abschnitt eines leeren Grundstücks, ein Feldweg in einem ländlichen Gebiet usw.) entsprechen kann. Da einige Fahrzeuge (z. B. Allradlastwagen, Geländewagen, usw.) in der Lage sind, eine Vielzahl physischer Bereiche zu befahren, die nicht speziell für den Fahrzeugverkehr angepasst sind, kann eine „Straße“ ein physischer Bereich sein, der nicht formell durch eine Gemeinde oder andere Regierungs- oder Verwaltungsbehörde als Verkehrsweg definiert ist.
Wie hier verwendet, ist ein „Fahrstreifen“ ein Abschnitt einer Straße, der durch ein Fahrzeug befahren werden kann. Ein Fahrstreifen wird mitunter basierend auf Fahrstreifenmarkierungen gekennzeichnet. Beispielsweise kann ein „Fahrstreifen“ dem größten Teil oder der Gesamtheit des Zwischenraums zwischen den Fahrstreifenmarkierungen oder nur einem Teil (z. B. weniger als 50 %) des Zwischenraums zwischen den Fahrstreifenmarkierungen entsprechen. Zum Beispiel könnte eine Straße mit weit auseinanderliegenden Fahrstreifenmarkierungen zwei oder mehr Fahrzeuge zwischen den Markierungen aufnehmen, sodass ein Fahrzeug das andere überholen kann, ohne die Fahrstreifenmarkierungen zu überqueren, und könnte daher so interpretiert werden, dass ein Fahrstreifen schmaler als der Zwischenraum zwischen den Fahrstreifenmarkierungen ist oder dass zwei Fahrstreifen zwischen den Fahrstreifenmarkierungen liegen. Ein Fahrstreifen könnte auch bei Fehlen von Fahrstreifenmarkierungen interpretiert werden. Beispielsweise kann ein Fahrstreifen basierend auf physischen Merkmalen einer Umgebung definiert werden, z. B. durch Felsen und Bäume entlang einer Durchgangsstraße in einem ländlichen Gebiet oder z. B. durch natürliche Hindernisse, die in einem unerschlossenen Gebiet zu vermeiden sind. Ein Fahrstreifen könnte auch unabhängig von Fahrstreifenmarkierungen oder physischen Merkmalen interpretiert werden. Beispielsweise könnte ein Fahrstreifen basierend auf einem beliebigen, hindernisfreien Weg in einem Gebiet interpretiert werden, in dem ansonsten Merkmale fehlen, die als Fahrstreifenbegrenzungen interpretiert werden würden. In einem Beispielszenario könnte ein AF einen Fahrstreifen durch einen hindernisfreien Abschnitt eines Feldes oder einer leeren Geländefläche interpretieren. In einem anderen Beispielszenario könnte ein AF einen Fahrstreifen durch eine breite (z. B. breit genug für zwei oder mehr Fahrstreifen) Straße interpretieren, die keine Fahrstreifenmarkierungen aufweist. In diesem Szenario könnte das AF Informationen über den Fahrstreifen an andere AFs übermitteln, sodass die anderen AFs die gleichen Fahrstreifeninformationen verwenden können, um die Wegplanung untereinander zu koordinieren.
„Eine oder mehrere‟ umfasst eine Funktion, die durch ein Element ausgeführt wird, eine Funktion, die durch mehr als ein Element ausgeführt wird, z. B. auf verteilte Weise, wobei mehrere Funktionen durch ein Element ausgeführt werden, mehrere Funktionen durch mehrere Elemente ausgeführt werden, oder eine beliebige Kombination des oben Genannten.
Es versteht sich auch, dass die Begriffe „erste“, „zweite“ usw. hier zwar in einigen Fällen zur Beschreibung verschiedener Elemente verwendet werden, diese Elemente jedoch nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet sein, und in ähnlicher Weise könnte ein zweiter Kontakt als ein dritter Kontakt bezeichnet sein, ohne vom Schutzbereich der verschiedenen beschriebenen Ausführungsformen abzuweichen. Der erste Kontakt und der zweite Kontakt sind beide Kontakte, aber sie sind nicht derselbe Kontakt.
Die Terminologie, die bei der Beschreibung der verschiedenen hier beschriebenen Ausführungsformen verwendet wird, dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als einschränkend beabsichtigt. Bei der Beschreibung der verschiedenen beschriebenen Ausführungsformen und der beigefügten Ansprüche sollen die Singularformen „ein“, „eine“ sowie „der“, „die“, „das“ auch die Pluralformen einschließen, sofern der Zusammenhang nicht eindeutig etwas anderes vorgibt. Es versteht sich auch, dass der Begriff „und/oder“ wie hier verwendet sich auf alle möglichen Kombinationen eines oder mehrerer der zugehörigen aufgelisteten Punkte bezieht und diese mit einschließt. Es versteht sich ferner, dass die Begriffe „enthalten“, „einschließlich“, „umfassen“, und/oder „umfassend“ bei Verwendung in dieser Beschreibung das Vorhandensein angegebener Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente und/oder Komponenten davon angibt, aber nicht das Vorhandensein oder die Hinzufügung eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Wie hier verwendet, ist der Begriff „falls“ gegebenenfalls so auszulegen, dass er je nach Zusammenhang „wenn“ oder „bei“ oder „als Reaktion auf das Ermitteln“ oder „als Reaktion auf das Erkennen“ bedeutet. In ähnlicher Weise ist die Formulierung „falls ermittelt wird“ oder „falls [ein angegebener Zustand oder ein Ereignis] erkannt wird“ je nach Zusammenhang gegebenenfalls so auszulegen, dass sie „bei Ermitteln“ oder „als Reaktion auf das Ermitteln“ oder „bei Erkennen [des angegebenen Zustands oder Ereignisses]“ oder „als Reaktion auf das Erkennen [des angegebenen Zustands oder Ereignisses]“ bedeutet.
Wie hier verwendet, bezieht sich ein AF-System auf das AF zusammen mit der Anordnung von Hardware, Software, gespeicherten Daten und in Echtzeit erzeugten Daten, die den Betrieb des AF unterstützen. In einer Ausführungsform ist das AF-System in das AF integriert. In einer Ausführungsform ist das AF-System über mehrere Orte verteilt. Zum Beispiel ist ein Teil der Software des AF-Systems auf einer Cloud-Rechenumgebung implementiert.
Allgemein beschreibt dieses Dokument Technologien, die auf alle Fahrzeuge anwendbar sind, die über eine oder mehrere autonome Fähigkeiten verfügen, einschließlich vollständiger AFs, hochgradiger AFs und bedingt autonomer Fahrzeuge, wie z. B. sogenannte Stufe-5-, Stufe-4- und Stufe-3-Fahrzeuge (siehe SAE International Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatischen Straßen-Kraftfahrzeug-Fahrsystemen), die durch Verweis in ihrer Gesamtheit übernommen wurde, für weitere Einzelheiten über die Klassifizierung von Autonomiegraden in Fahrzeugen). Die in diesem Dokument beschriebenen Technologien sind auch auf teilautonome Fahrzeuge und fahrerunterstützte Fahrzeuge anwendbar, wie z. B. sogenannte Stufe-2- und Stufe-1-Fahrzeuge (siehe SAE International's Standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Straßen-Kraftfahrzeug-Fahrsystemen)). In einer Ausführungsform können eines oder mehrere der Fahrzeugsysteme der Stufen 1, 2, 3, 4 und 5 unter bestimmten Betriebsbedingungen basierend auf dem Verarbeiten von Sensoreingaben bestimmte Fahrzeugfunktionen (z. B. Lenken, Bremsen und Verwenden von Karten) automatisieren. Die in diesem Dokument beschriebenen Technologien können Fahrzeugen auf allen Stufen zugute kommen, von vollständig autonomen Fahrzeugen bis hin zu durch Menschen betriebenen Fahrzeugen.
Autonome Fahrzeuge haben Vorteile gegenüber Fahrzeugen, die einen menschlichen Fahrer erfordern. Ein Vorteil ist die Sicherheit. Zum Beispiel gab es in den Vereinigten Staaten im Jahr 2016 6 Millionen Autounfälle, 2,4 Millionen Verletzte, 40.000 Tote und 13 Millionen Unfallfahrzeuge, deren gesellschaftliche Kosten auf über 910 Milliarden Dollar geschätzt werden. Die Zahl der Verkehrstoten pro 100 Millionen gefahrener Meilen ist in den USA von 1965 bis 2015 von ca. sechs auf ca. eins zurückgegangen, was zum Teil auf zusätzliche Sicherheitsmaßnahmen in den Fahrzeugen zurückzuführen ist. Beispielsweise wird davon ausgegangen, dass eine zusätzliche halbe Sekunde, in der vor einem Zusammenstoß gewarnt wird, 60 % der Auffahrunfälle abmildert. Allerdings haben passive Sicherheitsmerkmale (z. B. Sicherheitsgurte, Airbags) bei der Verbesserung dieser Zahl wahrscheinlich ihre Grenze erreicht. Daher sind aktive Sicherheitsmaßnahmen, wie die automatisierte Steuerung eines Fahrzeugs, der wahrscheinlich nächste Schritt zur Verbesserung dieser Statistiken. Da davon ausgegangen wird, dass bei 95 % der Unfälle menschliche Fahrer für ein kritisches Ereignis vor dem Unfall verantwortlich sind, werden automatisierte Fahrsysteme wahrscheinlich bessere Sicherheitsergebnisse erzielen, z. B. indem sie kritische Situationen besser als Menschen zuverlässig erkennen und vermeiden, bessere Entscheidungen treffen, Verkehrsgesetze befolgen und zukünftige Ereignisse besser vorhersagen als Menschen und ein Fahrzeug besser als Menschen zuverlässig steuern.
Mit Bezug auf 1 betreibt ein AF-System 120 das AF-System 100 entlang einer Bewegungsbahn 198 durch eine Umgebung 190 bis zu einem Zielort 199 (mitunter auch als Endort bezeichnet), wobei Objekte (z. B. natürliche Hindernisse 191, Fahrzeuge 193, Fußgänger 192, Radfahrer und andere Hindernisse) vermieden und Straßenregeln (z. B. Betriebsregeln oder Fahrpräferenzen) befolgt werden.
In einer Ausführungsform beinhaltet das AF-System 120 Vorrichtungen 101, die dazu eingerichtet sind, Betriebsbefehle aus den Computerprozessoren 146 zu empfangen und darauf zu reagieren. Wir verwenden den Begriff „Betriebsbefehl“, um eine ausführbare Anweisung (oder eine Menge von Anweisungen) zu bezeichnen, die ein Fahrzeug veranlasst, eine Maßnahme (z. B. ein Fahrmanöver) durchzuführen. Betriebsbefehle können, ohne Einschränkung, Anweisungen für ein Fahrzeug enthalten, vorwärts zu fahren, die Vorwärtsfahrt zu unterbrechen, rückwärts zu fahren, die Rückwärtsfahrt zu unterbrechen, zu beschleunigen, abzubremsen, eine Linkskurve zu fahren und eine Rechtskurve zu fahren. In einer Ausführungsform ähneln die Computerprozessoren 146 dem nachfolgend mit Bezug auf 2 beschriebenen Prozessor 204. Beispiele für Vorrichtungen 101 beinhalten eine Lenksteuerung 102, Bremsen 103, Gangschaltung, Gaspedal oder andere Beschleunigungssteuerungsmechanismen, Scheibenwischer, Seitentürschlösser, Fenstersteuervorrichtungen und Blinker.
In einer Ausführungsform umfasst das AF-System 120 Sensoren 121 zur Messung oder Ableitung von Zuständen oder Bedingungen des AF 100, wie z. B. die Position, die Linear- und Winkelgeschwindigkeit und -beschleunigung und die Fahrtrichtung des AF (z. B. eine Ausrichtung des vorderen Endes des AF 100). Beispiele für Sensoren 121 sind GPS, Trägheitsmesseinheiten (IMU), die sowohl lineare Fahrzeugbeschleunigungen als auch Winkelbeschleunigungen messen, Raddrehzahlsensoren zum Messen oder Schätzen von Radschlupfverhältnissen, Radbremsdruck- oder Bremsmomentsensoren, Motordrehmoment- oder Raddrehmomentsensoren sowie Lenkwinkel- und Winkelgeschwindigkeitssensoren.
In einer Ausführungsform enthalten die Sensoren 121 auch Sensoren zum Erfassen oder Messen von Eigenschaften der Umgebung des AF. Zum Beispiel Monokular- oder Stereo-Videokameras 122 im sichtbaren Licht-, Infrarot- oder Wärmespektrum (oder beiden Spektren), LiDAR 123, RADAR, Ultraschallsensoren, ToF-Tiefensensoren, Geschwindigkeitssensoren, Temperatursensoren, Feuchtigkeitssensoren und Niederschlagssensoren.
In einer Ausführungsform umfasst das AF-System 120 eine Datenspeichereinheit 142 und einen Speicher 144 zum Speichern von Maschinenanweisungen im Zusammenhang mit Computerprozessoren 146 oder durch Sensoren 121 gesammelten Daten. In einer Ausführungsform ähnelt die Datenspeichereinheit 142 dem ROM 208 oder der Speichervorrichtung 210, die nachfolgend mit Bezug auf 2 beschrieben werden. In einer Ausführungsform ähnelt der Speicher 144 dem nachfolgend beschriebenen Hauptspeicher 206. In einer Ausführungsform speichern die Datenspeichereinheit 142 und der Speicher 144 historische, Echtzeit- und/oder vorausschauende Informationen über die Umgebung 190. In einer Ausführungsform umfassen die gespeicherten Informationen Karten, Fahrleistungen, Aktualisierungen zu Verkehrsstaus oder Wetterbedingungen. In einer Ausführungsform werden Daten, die sich auf die Umgebung 190 beziehen, über einen Kommunikationskanal aus einer entfernt gelegenen Datenbank 134 an das AF 100 übertragen.
In einer Ausführungsform umfasst das AF-System 120 Kommunikationsvorrichtungen 140 zum Übermitteln gemessener oder abgeleiteter Eigenschaften von Zuständen und Bedingungen anderer Fahrzeuge wie z. B. Positionen, Linear- und Winkelgeschwindigkeiten, Linear- und Winkelbeschleunigungen sowie Linear- und Winkelfahrtrichtungen an das AF 100. Diese Vorrichtungen umfassen Fahrzeug-zu-Fahrzeug(V2V)- und Fahrzeug-zu-Infrastruktur(V2I)-Kommunikationsvorrichtungen und Vorrichtungen für drahtlose Kommunikation über Punkt-zu-Punkt- oder Ad-hoc-Netze oder beides. In einer Ausführungsform kommunizieren die Kommunikationsvorrichtungen 140 über das elektromagnetische Spektrum (einschließlich Funk- und optische Kommunikation) oder andere Medien (z. B. Luft- und akustische Medien). Eine Kombination von Fahrzeug-zu-Fahrzeug(V2V)-Kommunikation, Fahrzeug-zu-Infrastruktur(V2I)-Kommunikation (und in einigen Ausführungsformen eine oder mehrere andere Kommunikationsarten) wird mitunter als Fahrzeug-zu-alles (V2X)-Kommunikation bezeichnet. Die V2X-Kommunikation entspricht in der Regel einem oder mehreren Kommunikationsstandards für die Kommunikation mit, zwischen und unter autonomen Fahrzeugen.
In einer Ausführungsform enthalten die Kommunikationsvorrichtungen 140 Kommunikationsschnittstellen. Zum Beispiel drahtgebundene, drahtlose, WiMAX-, Wi-Fi-, Bluetooth-, Satelliten-, Zellular-, optische, Nahfeld-, Infrarot- oder Funkschnittstellen. Die Kommunikationsschnittstellen übertragen Daten aus einer entfernt gelegenen Datenbank 134 an das AF-System 120. In einer Ausführungsform ist die entfernt gelegene Datenbank 134 in eine Cloud-Rechenumgebung eingebettet. Die Kommunikationsvorrichtungen 140 übertragen die aus den Sensoren 121 gesammelten Daten oder andere Daten, die sich auf den Betrieb des AF 100 beziehen, an die entfernt gelegene Datenbank 134. In einer Ausführungsform übertragen die Kommunikationsvorrichtungen 140 Informationen, die sich auf Teleoperationen beziehen, an das AF 100. In einigen Ausführungsformen kommuniziert das AF 100 mit anderen entfernt gelegenen (z. B. „Cloud“-) Servern 136.
In einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 auch digitale Daten (z. B. Speichern von Daten wie Straßen- und Wegestandorte). Diese Daten werden im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernt gelegenen Datenbank 134 an das AF 100 übertragen.
In einer Ausführungsform speichert und überträgt die entfernt gelegene Datenbank 134 historische Informationen über Fahreigenschaften (z. B. Geschwindigkeits- und Beschleunigungsprofile) von Fahrzeugen, die zuvor zu ähnlichen Tageszeiten entlang der Bewegungsbahn 198 gefahren sind. In einer Ausführungsform können diese Daten im Speicher 144 des AF 100 gespeichert oder über einen Kommunikationskanal aus der entfernt gelegenen Datenbank 134 an das AF 100 übertragen werden.
Die im AF 100 befindlichen Computerprozessoren 146 erzeugen auf algorithmische Weise Steueraktionen, die sowohl auf Echtzeit-Sensordaten als auch auf vorherigen Informationen basieren, sodass das AF-System 120 seine autonomen Fahrfähigkeiten ausführen kann.
In einer Ausführungsform umfasst das AF-System 120 Computerperipherievorrichtungen 132, die mit Computerprozessoren 146 gekoppelt sind, um Informationen und Warnungen an einen Benutzer (z. B. einen Insassen oder einen entfernt befindlichen Benutzer) des AF 100 zu liefern und Eingaben von diesem zu empfangen. In einer Ausführungsform ähneln die Peripherievorrichtungen 132 der Anzeigevorrichtung 212, der Eingabevorrichtung 214 und der Cursorsteuervorrichtung 216, die nachfolgend mit Bezug auf 2 behandelt werden. Die Kopplung erfolgt drahtlos oder drahtgebunden. Zwei oder mehr der Schnittstellenvorrichtungen können zu einer einzelnen Vorrichtung integriert sein.
In einer Ausführungsform empfängt und erzwingt das AF-System 120 die Datenschutzstufe eines Fahrgastes, die z. B. durch den Fahrgast spezifiziert oder in einem dem Fahrgast zugeordneten Profil gespeichert ist. Die Datenschutzstufe des Fahrgastes bestimmt, wie bestimmte Informationen, die dem Fahrgast zugeordnet sind (z. B. Fahrgastkomfortdaten, biometrische Daten usw.), verwendet, im Fahrgastprofil gespeichert und/oder auf dem Cloud-Server 136 gespeichert und dem Fahrgastprofil zugeordnet werden dürfen. In einer Ausführungsform gibt die Datenschutzstufe bestimmte einem Fahrgast zugeordnete Informationen an, die nach Beendigung der Fahrt gelöscht werden. In einer Ausführungsform spezifiziert die Datenschutzstufe bestimmte einem Fahrgast zugeordnete Informationen und identifiziert eine oder mehrere Einheiten, die zum Zugriff auf die Informationen berechtigt sind. Beispiele für bestimmte Einheiten, die zum Zugriff auf Informationen berechtigt sind, können andere AFs, AF-Systeme Dritter oder jede Einheit, die potenziell auf die Informationen zugreifen könnte, beinhalten.
Eine Datenschutzstufe eines Fahrgastes kann auf einer oder mehreren Granularitätsstufen festgelegt sein. In einer Ausführungsform identifiziert eine Datenschutzstufe bestimmte Informationen, die zu speichern oder weiterzugeben sind. In einer Ausführungsform gilt die Datenschutzstufe für alle dem Fahrgast zugeordneten Informationen, sodass der Fahrgast festlegen kann, dass keine seiner persönlichen Informationen gespeichert oder weitergegeben werden. Die Festlegung der Einheiten, die auf bestimmte Informationen zugreifen dürfen, kann auch auf verschiedenen Granularitätsstufen erfolgen. Verschiedene Mengen von Einheiten, denen der Zugriff auf bestimmte Informationen erlaubt ist, können z. B. andere AFs, Cloud-Server 136, bestimmte AF-Systeme von Drittanbietern usw. umfassen.
In einer Ausführungsform bestimmt das AF-System 120 oder der Cloud-Server 136, ob bestimmte Informationen, die einem Fahrgast zugeordnet sind, durch das AF 100 oder eine andere Einheit abgerufen werden können. So muss z. B. ein AF-System eines Drittanbieters, das versucht, auf die Eingabe von Fahrgästen in Bezug auf einen bestimmten raumzeitlichen Standort zuzugreifen, z. B. aus dem AF-System 120 oder dem Cloud-Server 136 die Genehmigung erhalten, auf die dem Fahrgast zugeordneten Informationen zuzugreifen. Beispielsweise verwendet das AF-System 120 die festgelegte Datenschutzstufe des Fahrgastes, um zu bestimmen, ob die auf den raumzeitlichen Standort bezogenen Fahrgasteingaben dem AF-System eines Drittanbieters, dem AF 100 oder einem anderen AF übermittelt werden können. Dadurch ist die Datenschutzstufe des Fahrgastes in der Lage, festzulegen, welche anderen Einheiten Daten über die Maßnahmen des Fahrgastes oder andere dem Fahrgast zugeordnete Daten empfangen dürfen.
2 zeigt ein Computersystem 200. In einer Implementierung ist das Computersystem 200 eine Spezialrechenvorrichtung. Die Spezialrechenvorrichtung ist fest verdrahtet, um die Techniken auszuführen, oder enthält digitale elektronische Vorrichtungen wie eine oder mehrere ASICs oder feldprogrammierbare Gate-Arrays (FPGAs), die dauerhaft programmiert sind, um die Techniken auszuführen, oder kann einen oder mehrere Universal-Hardware-Prozessoren umfassen, die dazu programmiert sind, die Techniken gemäß Programmanweisungen in Firmware, Arbeitsspeicher, anderen Speichern oder einer Kombination davon auszuführen. Derartige Spezialcomputervorrichtungen können auch kundenspezifische fest verdrahtete Logik, ASICs oder FPGAs mit kundenspezifischer Programmierung kombinieren, um die Techniken zu erzielen. In verschiedenen Ausführungsformen sind die Spezialrechenvorrichtungen Desktop-Computersysteme, tragbare Computersysteme, Handgeräte, Netzwerkgeräte oder sonstige Vorrichtungen, die zur Implementierung der Techniken festverdrahtete und/oder programmgesteuerte Logik enthalten.
In einer Ausführungsform umfasst das Computersystem 200 einen Bus 202 oder einen anderen Kommunikationsmechanismus zum Übermitteln von Informationen und einen mit einem Bus 202 gekoppelten Prozessor 204 zum Verarbeiten von Informationen. Der Prozessor 204 ist zum Beispiel ein Allzweck-Mikroprozessor. Das Computersystem 200 beinhaltet auch einen Hauptspeicher 206, wie beispielsweise einen RAM oder eine andere dynamische Speichervorrichtung, die mit dem Bus 202 zum Speichern von Informationen und Anweisungen gekoppelt ist, die durch den Prozessor 204 ausgeführt werden sollen. In einer Ausführungsform wird der Hauptspeicher 206 zum Speichern von temporären Variablen oder anderen Zwischeninformationen während der Ausführung von Anweisungen durch den Prozessor 204 verwendet. Derartige in nichtflüchtigen, für den Prozessor 204 zugänglichen Speichermedien gespeicherte Anweisungen machen aus dem Computersystem 200 eine Spezialmaschine, die auf das Ausführen der in den Anweisungen angegebenen Funktionen zugeschnitten ist.
In einer Ausführungsform beinhaltet das Computersystem 200 ferner einen Nur-Lese-Speicher (ROM) 208 oder eine andere statische Speichervorrichtung, die mit dem Bus 202 gekoppelt ist, um statische Informationen und Anweisungen für den Prozessor 204 zu speichern. Eine Speichervorrichtung 210, wie beispielsweise eine Magnetplatte, eine optische Platte, ein Solid-State-Laufwerk oder ein dreidimensionaler Kreuzpunktespeicher, ist vorhanden und mit dem Bus 202 zum Speichern von Informationen und Anweisungen gekoppelt.
In einer Ausführungsform ist das Computersystem 200 über den Bus 202 an eine Anzeigevorrichtung 212, wie z. B. eine Kathodenstrahlröhre (CRT), ein Flüssigkristalldisplay (LCD), ein Plasmadisplay, ein Leuchtdioden(LED)-Display oder ein organisches Leuchtdioden(OLED)-Display, zum Anzeigen von Informationen für einen Computerbenutzer gekoppelt. Eine Eingabevorrichtung 214 mit alphanumerischen und anderen Tasten ist mit dem Bus 202 zum Übermitteln von Informationen und Befehlsauswahlen an den Prozessor 204 gekoppelt. Eine andere Art von Benutzereingabevorrichtung ist eine Cursorsteuervorrichtung 216, z. B. eine Maus, ein Trackball, ein berührungsempfindliches Anzeigevorrichtung oder Cursorrichtungstasten zum Übermitteln von Richtungsinformationen und Befehlsauswahlen an den Prozessor 204 und zum Steuern der Cursorbewegung auf der Anzeigevorrichtung 212. Diese Eingabevorrichtung verfügt in der Regel über zwei Freiheitsgrade in zwei Achsen, eine erste Achse (z. B. x-Achse) und eine zweite Achse (z. B. y-Achse), mit denen die Vorrichtung Positionen in einer Ebene angeben kann.
Gemäß einer Ausführungsform werden die hier beschriebenen Techniken durch das Computersystem 200 als Reaktion darauf durchgeführt, dass der Prozessor 204 eine oder die mehreren Sequenzen von einer oder mehreren Anweisungen ausführt, die im Hauptspeicher 206 enthalten sind. Derartige Anweisungen werden aus einem anderen Speichermedium, z. B. der Speichervorrichtung 210, in den Hauptspeicher 206 eingelesen. Die Ausführung der im Hauptspeicher 206 enthaltenen Anweisungssequenzen veranlasst den Prozessor 204, die hier beschriebenen Prozessschritte durchzuführen. In alternativen Ausführungsformen wird eine fest verdrahtete Schaltungsanordnung anstelle von oder in Kombination mit Softwareanweisungen verwendet.
Der Begriff „Speichermedium“, wie hier verwendet, betrifft alle nichtflüchtigen Medien, die Daten und/oder Anweisungen speichern, die eine Maschine veranlassen, auf eine spezifische Art und Weise zu arbeiten. Derartige Speichermedien umfassen nichtflüchtige Medien und/oder flüchtige Medien. Nichtflüchtige Medien umfassen z. B. optische Platten, Magnetplatten, Solid-State-Laufwerke oder dreidimensionale Kreuzpunktespeicher, wie z. B. die Speichervorrichtung 210. Flüchtige Medien umfassen dynamische Speicher, wie beispielsweise den Hauptspeicher 206. Übliche Formen von Speichermedien umfassen zum Beispiel eine Floppy-Disk, eine Diskette, eine Festplatte, ein Solid-State-Laufwerk, ein Magnetband oder jedes andere magnetische Datenspeichermedium, einen CD-ROM, ein beliebiges anderes optisches Datenspeichermedium, ein beliebiges physisches Medium mit Lochmustern, einen RAM, einen PROM und EPROM, einen FLASH-EPROM, NV-RAM, oder einen beliebigen anderen Speicherchip oder eine Speicherkassette.
Speichermedien unterscheiden sich von Übertragungsmedien, können aber zusammen mit diesen verwendet werden. Übertragungsmedien sind am Übertragen von Informationen zwischen Speichermedien beteiligt. Zum Beispiel umfassen Übertragungsmedien Koaxialkabel, Kupferdraht und Lichtwellenleiter, einschließlich der Leitungen, die den Bus 202 umfassen. Übertragungsmedien können auch die Form von akustischen Wellen oder Lichtwellen annehmen, wie etwa jene, die bei Funkwellen- und Infrarotdatenkommunikation erzeugt werden.
In einer Ausführungsform sind verschiedene Formen von Medien am Transportieren von einer oder mehreren Sequenzen von einer oder mehreren Anweisungen an den Prozessor 204 zur Ausführung beteiligt. Zum Beispiel werden die Anweisungen zuerst auf einer Magnetplatte oder einem Solid-State-Laufwerk eines entfernt gelegenen Computers getragen. Der entfernt gelegene Computer lädt die Anweisungen in seinen dynamischen Speicher und sendet die Anweisungen unter Verwendung eines Modems über eine Telefonleitung. Ein am Computersystem 200 lokal vorhandenes Modem empfängt die Daten über die Telefonleitung und verwendet einen Infrarotsender, um die Daten in ein Infrarotsignal umzuwandeln. Ein Infrarotdetektor empfängt die in dem Infrarotsignal transportierten Daten, und eine entsprechende Schaltungsanordnung stellt die Daten auf den Bus 202. Der Bus 202 transportiert die Daten an den Hauptspeicher 206, aus dem der Prozessor 204 die Anweisungen abruft und ausführt. Die durch den Hauptspeicher 206 empfangenen Anweisungen können gegebenenfalls entweder vor oder nach dem Ausführen durch den Prozessor 204 auf der Speichervorrichtung 210 gespeichert werden.
Das Computersystem 200 enthält auch eine Kommunikationsschnittstelle 218, die mit dem Bus 202 gekoppelt ist. Die Kommunikationsschnittstelle 218 stellt eine bidirektionale Datenkommunikationskopplung mit einer Netzwerkverbindung 220 bereit, die mit einem lokalen Netzwerk 222 verbunden ist. Die Kommunikationsschnittstelle 218 ist zum Beispiel eine Integrated Services Digital Network(ISDN)-Karte, ein Kabelmodem, Satellitenmoden oder ein Modem zum Bereitstellen einer Datenkommunikationsverbindung mit einem entsprechenden Typ einer Telefonleitung. Als weiteres Beispiel ist die Kommunikationsschnittstelle 218 eine Karte eines lokalen Netzwerks (LAN), um eine Datenkommunikationsverbindung zu einem kompatiblen LAN bereitzustellen. Bei einigen Implementierungen sind auch drahtlose Verbindungen implementiert. Bei jeder derartigen Implementierung sendet und empfängt die Kommunikationsschnittstelle 218 elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren, die verschiedene Arten von Informationen darstellen.
Die Netzwerkverbindung 220 stellt typischerweise eine Datenkommunikation über ein oder mehrere Netzwerke zu anderen Datenvorrichtungen bereit. Zum Beispiel stellt die Netzwerkverbindung 220 eine Verbindung durch das lokale Netzwerk 222 zu einem Hostcomputer 224 oder zu einem Cloud-Rechenzentrum oder Geräten bereit, die durch einen Internetdienstanbieter (ISP) 226 betrieben werden. Der ISP 226 stellt wiederum Datenkommunikationsdienste über das weltweite paketorientierte Datenkommunikationsnetzwerk bereit, das jetzt allgemein als das „Internet“ 228 bezeichnet wird. Sowohl das lokale Netzwerk 222 als auch das Internet 228 verwenden elektrische, elektromagnetische oder optische Signale, die digitale Datenströme transportieren. Die Signale über die verschiedenen Netzwerke und die Signale auf der Netzwerkverbindung 220 und über die Kommunikationsschnittstelle 218, die die digitalen Daten an das und aus dem Computersystem 200 transportieren, sind Beispielformen von Übertragungsmedien. In einer Ausführungsform enthält das Netzwerk 220 die Cloud oder einen Teil der Cloud.
Das Computersystem 200 sendet Nachrichten und empfängt Daten einschließlich Programmcode über das/die Netzwerk(e), die Netzwerkverbindung 220 und die Kommunikationsschnittstelle 218. In einer Ausführungsform empfängt das Computersystem 200 einen Code zum Verarbeiten. Der empfangene Code wird sofort beim Empfang durch den Prozessor 204 ausgeführt und/oder auf der Speichervorrichtung 210 oder einem anderen nichtflüchtigen Speicher zum späteren Ausführen gespeichert.
Architektur autonomer Fahrzeuge
3 zeigt eine Beispielarchitektur 300 für ein AF (z. B. das in 1 gezeigte AF 100). Die Architektur 300 enthält ein Wahrnehmungssystem 302 (mitunter als Wahrnehmungsschaltung bezeichnet), ein Planungssystem 304 (mitunter als Planungsschaltung bezeichnet), ein Steuerungssystem 306 (mitunter als Steuerungsschaltung bezeichnet), ein Lokalisierungssystem 308 (mitunter als Lokalisierungsschaltung bezeichnet) und ein Datenbanksystem 310 (mitunter als Datenbankschaltung bezeichnet). Jedes System spielt eine Rolle beim Betrieb des AF 100. Die Systeme 302, 304, 306, 308 und 310 können zusammen Bestandteil des in 1 gezeigten AF-Systems 120 sein. In einigen Ausführungsformen sind die Systeme 302, 304, 306, 308 und 310 eine Kombination aus Computersoftware (z. B. ausführbarem Code, der auf einem computerlesbaren Medium gespeichert ist) und Computerhardware (z. B. ein oder mehrere Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], Hardware-Speichervorrichtungen, andere Arten von integrierten Schaltungen, andere Arten von Computerhardware oder eine Kombination aus einem oder allen dieser Dinge). Jedes der Systeme 302, 304, 306, 308 und 310 wird mitunter als Verarbeitungsschaltung bezeichnet (z. B. Computer-Hardware, Computer-Software oder eine Kombination aus beiden). Eine Kombination aus einem oder allen Systemen 302, 304, 306, 308 und 310 ist ebenfalls ein Beispiel für eine Verarbeitungsschaltung.
Beim Betrieb empfängt das Planungssystem 304 Daten, die einen Zielort 312 darstellen, und ermittelt Daten, die eine Bewegungsbahn 314 (mitunter auch als Route bezeichnet) darstellen, die durch das AF 100 gefahren werden kann, um den Zielort 312 zu erreichen (z. B. am Zielort anzukommen). Damit das Planungssystem 304 die die Bewegungsbahn 314 repräsentierenden Daten bestimmen kann, empfängt das Planungssystem 304 Daten aus dem Wahrnehmungssystem 302, dem Lokalisierungssystem 308 und dem Datenbanksystem 310.
Das Wahrnehmungssystem 302 identifiziert nahegelegene physische Objekte mittels eines oder mehrerer Sensoren 121, z. B. wie ebenfalls in 1 gezeigt. Die Objekte werden klassifiziert (z. B. gruppiert in Arten wie Fußgänger, Fahrrad, Kraftfahrzeug, Verkehrszeichen usw.), und eine Szeneriebeschreibung einschließlich der klassifizierten Objekte 316 wird dem Planungssystem 304 zur Verfügung gestellt.
Das Planungssystem 304 empfängt auch Daten, die die AF-Position 318 repräsentieren, aus dem Lokalisierungssystem 308. Das Lokalisierungssystem 308 bestimmt die AF-Position unter Verwendung von Daten aus den Sensoren 121 und Daten aus dem Datenbanksystem 310 (z. B. geografische Daten), um eine Position zu berechnen. Zum Beispiel verwendet das Lokalisierungssystem 308 Daten aus einem GNSS(Globales Navigationssatellitensystem)-Sensor und geografische Daten, um einen Längen- und Breitengrad des AF zu berechnen. In einer Ausführungsform beinhalten die durch das Lokalisierungssystem 308 verwendeten Daten hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die die physischen Eigenschaften der Straßen beschreiben (wie z. B. die Verkehrsgeschwindigkeit, das Verkehrsaufkommen, die Anzahl der Fahrstreifen für den Auto- und Fahrradverkehr, die Fahrstreifenbreite, die Fahrstreifenrichtungen oder die Arten und Orte von Fahrstreifenmarkierungen oder Kombinationen davon), und Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben. In einer Ausführungsform werden die hochpräzisen Karten durch Hinzufügen von Daten mittels automatischer oder manueller Beschriftung zu Karten mit niedriger Präzision erstellt.
Das Steuerungssystem 306 empfängt die Daten der Bewegungsbahn 314 und die Daten das AF-Position 318 und führt die Steuerfunktionen 320a-c (z. B. Lenken, Drosselklappenbetätigung, Bremsen, und Zündung) des AF so aus, dass das AF 100 auf der Bewegungsbahn 314 bis zum Zielort 312 fährt. Falls zum Beispiel die Bewegungsbahn 314 eine Linkskurve enthält, führt das Steuerungssystem 306 die Steuerfunktionen 320a-c so aus, dass der Lenkwinkel der Lenkfunktion das AF 100 zum Linksabbiegen veranlasst und das Betätigen der Drosselklappe und Bremsen das AF 100 zum Anhalten und Warten auf passierende Fußgänger oder entgegenkommende Fahrzeuge veranlasst, bevor das Abbiegen durchgeführt wird.
AF -Eingaben
4 zeigt ein Beispiel für die Eingaben 402a-d (z. B. Sensoren 121 in 1) und Ausgaben 404a-d (z. B. Sensordaten), die durch das Wahrnehmungssystem 302 (3) verwendet werden. Eine Eingabe 402a ist ein LiDAR-System (z. B. LiDAR 123 wie in 1 gezeigt). LiDAR ist eine Technologie, die Licht (z. B. Lichtblitze wie Infrarotlicht) verwendet, um Daten über physische Objekte in Sichtlinie zu erhalten. Ein LiDAR-System erzeugt LiDAR-Daten als Ausgabe 404a. LiDAR-Daten sind beispielsweise Sammlungen von 3D- oder 2D-Punkten (auch als Punktwolken bekannt), die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
Eine weitere Eingabe 402b ist ein RADAR-System. RADAR ist eine Technologie, die Funkwellen verwendet, um Daten über nahe gelegene physische Objekte zu erhalten. RADAR-Einrichtungen können Daten über Objekte erhalten, die sich nicht in Sichtlinie eines LiDAR-Systems befinden. Ein RADAR-System erzeugt RADAR-Daten als Ausgabe 404b. Zum Beispiel sind RADAR-Daten ein oder mehrere elektromagnetische Hochfrequenzsignale, die zur Konstruktion einer Darstellung der Umgebung 190 verwendet werden.
Eine weitere Eingabe 402c ist ein Kamerasystem. Ein Kamerasystem verwendet eine oder die mehreren Kameras (z. B. Digitalkameras, die einen Lichtsensor, wie ein ladungsgekoppeltes Bauelement [CCD], verwenden), um Informationen über nahe gelegene physische Objekte zu erhalten. Ein Kamerasystem erzeugt Kameradaten als Ausgabe 404c. Kameradaten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). In einigen Beispielen verfügt das Kamerasystem über mehrere unabhängige Kameras, z. B. zwecks Stereopsis (Stereosehen), wodurch das Kamerasystem in der Lage ist, die Tiefe wahrzunehmen. Obwohl die durch das Kamerasystem wahrgenommenen Objekte hier als „nah“ beschrieben werden, gilt dies relativ zum AF. In einigen Ausführungsformen ist das Kamerasystem dazu ausgelegt, weit entfernt gelegene Objekte zu „sehen“, z. B. bis zu einem Kilometer oder mehr vor dem AF. Dementsprechend weist das Kamerasystem in einigen Ausführungsformen Merkmale wie Sensoren und Objektive auf, die für die Wahrnehmung weit entfernter Objekte optimiert sind.
Eine weitere Eingabe 402d ist ein Ampelerkennungs(AE)-System. Ein AE-System verwendet eine oder mehrere Kameras, um Informationen über Ampeln, Straßenschilder und andere physische Objekte zu erhalten, die visuelle Navigationsinformationen liefern. Ein AE-System erzeugt AE-Daten als Ausgabe 404d. AE-Daten liegen häufig in Form von Bilddaten vor (z. B. Daten in einem Bilddatenformat wie RAW, JPEG, PNG usw.). Ein AE-System unterscheidet sich von einem System mit einer Kamera dadurch, dass bei einem AE-System eine Kamera mit weitem Sichtfeld (z. B. mit einem Weitwinkelobjektiv oder einem Fischaugenobjektiv) verwendet wird, um Informationen über möglichst viele physische Objekte zu erhalten, die visuelle Navigationsinformationen liefern, sodass das AF 100 Zugriff auf alle relevanten Navigationsinformationen hat, die durch diese Objekte bereitgestellt werden. Beispielsweise beträgt der Blickwinkel des AE-Systems ca. 120 Grad oder mehr.
In einigen Ausführungsformen werden die Ausgaben 404a-d mittels einer Sensorfusionstechnik kombiniert. So werden entweder die einzelnen Ausgaben 404a-d anderen Systemen des AF 100 (z. B. einem Planungssystem 304 wie in 3 dargestellt) zur Verfügung gestellt, oder die kombinierte Ausgabe kann den anderen Systemen entweder in Form einer einzelnen kombinierten Ausgabe oder mehrerer kombinierter Ausgaben derselben Art (z. B. unter Verwendung derselben Kombinationstechnik oder Kombination derselben Ausgaben oder beides) oder unterschiedlicher Arten (z. B. unter Verwendung jeweils unterschiedlicher Kombinationstechniken oder Kombination jeweils unterschiedlicher Ausgaben oder beides) zur Verfügung gestellt werden. In einigen Ausführungsformen wird eine frühzeitige Fusionstechnik verwendet. Eine frühzeitige Fusionstechnik zeichnet sich dadurch aus, dass die Ausgaben kombiniert werden, bevor ein oder mehrere Datenverarbeitungsschritte auf die kombinierte Ausgabe angewendet werden. In einigen Ausführungsformen wird eine späte Fusionstechnik verwendet. Eine späte Fusionstechnik zeichnet sich dadurch aus, dass die Ausgaben kombiniert werden, nachdem ein oder mehrere Datenverarbeitungsschritte auf die einzelnen Ausgaben angewendet wurden.
5 zeigt ein Beispiel für ein LiDAR-System 502 (z. B. die in 4 gezeigte Eingabe 402a). Das LiDAR-System 502 emittiert Licht 504a-c aus einem Lichtemitter 506 (z. B. einem Lasersender). Das durch ein LiDAR-System emittierte Licht liegt in der Regel nicht im sichtbaren Spektrum; beispielsweise wird häufig Infrarotlicht verwendet. Ein Teil des emittierten Lichts 504b trifft auf ein physisches Objekt 508 (z. B. ein Fahrzeug) und wird zurück zum LiDAR-System 502 reflektiert. (Das durch ein LiDAR-System emittierte Licht durchdringt normalerweise keine physischen Objekte, z. B. physische Objekte in fester Form.) Das LiDAR-System 502 verfügt auch über einen oder mehrere Lichtdetektoren 510, die das reflektierte Licht detektieren. In einer Ausführungsform erzeugen ein oder mehrere dem LiDAR-System zugeordnete Datenverarbeitungssysteme ein Bild 512, das das Sichtfeld 514 des LiDAR-Systems darstellt. Das Bild 512 enthält Informationen, die die Begrenzungen 516 eines physischen Objekts 508 repräsentieren. Auf diese Weise wird das Bild 512 verwendet, um die Begrenzungen 516 eines oder mehrerer physischer Objekte in der Nähe eines AF zu ermitteln.
6 zeigt das LiDAR-System 502 im Betrieb. In dem in dieser Figur dargestellten Szenario empfängt das AF 100 sowohl die Kamerasystemausgabe 404c in Form eines Bildes 602 als auch die LiDAR-Systemausgabe 404a in Form von LiDAR-Datenpunkten 604. Beim Betrieb vergleicht das Datenverarbeitungssystem des AF 100 das Bild 602 mit den Datenpunkten 604. Insbesondere wird ein im Bild 602 identifiziertes physisches Objekt 606 ebenfalls unter den Datenpunkten 604 identifiziert. Auf diese Weise nimmt das AF 100 die Begrenzungen des physischen Objekts anhand der Kontur und Dichte der Datenpunkte 604 wahr.
7 zeigt die Funktionsweise des LiDAR-Systems 502 mit zusätzlichen Details. Wie oben beschrieben, erkennt das AF 100 die Begrenzung eines physischen Objekts anhand der Eigenschaften der durch das LiDAR-System 502 erfassten Datenpunkte. Wie in 7 gezeigt, reflektiert ein ebenes Objekt, wie z. B. der Boden 702, das durch ein LiDAR-System 502 emittierte Licht 704a-d auf konsistente Weise. Anders ausgedrückt, da das LiDAR-System 502 Licht in gleichmäßigen Abständen emittiert, reflektiert der Boden 702 das Licht mit dem gleichen konsistenten Abstand zum LiDAR-System 502 zurück. Während sich das AF 100 über den Boden 702 bewegt, erkennt das LiDAR-System 502 weiterhin das durch den nächsten gültigen Bodenpunkt 706 reflektierte Licht, falls nichts die Straße versperrt. Falls jedoch ein Objekt 708 die Straße versperrt, wird das durch das LiDAR-System 502 emittierte Licht 704e-f von den Punkten 710a-b in einer Weise reflektiert, die nicht mit der erwarteten Gleichmäßigkeit übereinstimmt. Aus diesen Informationen kann das AF 100 ermitteln, dass das Objekt 708 vorhanden ist.
Auftreten von Geisterpunkten
Wie bereits erwähnt, bezieht sich der Begriff „Geisterpunkt“ auf einen Punkt in einer LiDAR-Punktwolke, der auf fehlerhaften Rückkehrpunkten in der Punktwolke basiert, die während einer LiDAR-Abtastung erfasst wird. Genauer gesagt sind Geisterpunkte das Ergebnis der horizontalen Streuung des LiDAR-Strahls auf dem Sende- und Rückweg (z. B. auf dem Weg vom LiDAR-Sender zu einem Objekt und dann bei der Reflexion vom Objekt zum LiDAR-Empfänger), was zu Mehrwegeffekten führt. Das Vorhandensein von Geisterpunkten führt zu Ungenauigkeiten in der Punktwolke, die sich negativ auf Aktionen eines AF auswirken können, das sich für Funktionen wie autonome Navigation auf die Punktwolkendaten verlässt.
8 zeigt ein Beispiel für einen Vergleich zwischen einem Bild der realen Welt und einer Punktwolke, die möglicherweise aus einem ToF-System stammen kann. 8 zeigt ein Beispiel für ein Bild der realen Welt 805 eines Szenarios und das daraus resultierende Modell 800 des Szenarios. In dem Bild der realen Welt 805 befindet sich eine Person 810 neben, jedoch getrennt von, einem Verkehrsschild 815. Die Punktwolken 820 und 825 der Person 810 bzw. des Verkehrsschildes 815 sind im Modell bei 800 dargestellt.
In einigen Ausführungsformen können die Punktwolken 820 und 825 eventuell als verschiedene Regionen oder Zonen einer einzelnen Punktwolke oder einer zusammengeführten Punktwolke betrachtet werden. Zur Vereinfachung der Beschreibung werden die Elemente 820 und 825 hier jedoch als separate Punktwolken bezeichnet. In einer Ausführungsform können die Punktwolken 820 und 825 Punktwolken sein, die durch ein einzelnes LiDAR-System erzeugt wurden, während in anderen Ausführungsformen die Punktwolken 820 und 825 Punktwolken sein können, die durch separate LiDAR-Systeme erzeugt wurden.
Wie in 8 zu sehen, befindet sich eine Anzahl von Punkten 830 zwischen den Punktwolken 820 und 825 der Person bzw. des Verkehrsschilds. Außerdem sind die Punkte 835 vorhanden. Durch Vergleich des Modells 800 mit dem Bild der realen Welt 805 ist zu erkennen, dass sich kein Objekt zwischen der Person 810 und dem Verkehrsschild 815 befindet. Vielmehr sind die Punkte, aus denen die Punktwolke 830 besteht, Geisterpunkte, die das Ergebnis der horizontalen Streuung von Reflexionen sind, die durch den Betrieb des LiDAR-Systems, das die Punktwolken 820 und 825 erzeugt hat, entstanden sind. Insbesondere kann die Punktwolke 830 das Ergebnis einer Diffusion sein, die auf einem oder beiden Retroreflektoren wie dem Verkehrsschild 815 oder einem anderen Retroreflektor basiert. Ein Retroreflektor ist eine Vorrichtung oder Oberfläche, die Strahlung (in der Regel Licht) mit minimaler Streuung und minimaler Abschwächung zu ihrer Quelle zurück reflektiert.
Außerdem ist zu erkennen, dass sich im Bild der realen Welt 805 rechts vom Verkehrsschild 815 kein Objekt befindet. Vielmehr sind die Punkte, aus denen die Punktwolke 835 besteht, Geisterpunkte, die das Ergebnis der horizontalen Streuung von Reflexionen sind, die durch den Betrieb des LiDAR-Systems entstanden sind. Ähnlich wie die Punktwolke 830 kann die Punktwolke 835 das Ergebnis einer auf dem Verkehrsschild 815 basierenden Diffusion sein.
Ähnlich wie bei den Elementen 820 und 825 können in einer anderen Ausführungsform die Punktwolken 830 und 835 als eine Region oder Zone einer einzelnen größeren Punktwolke bezeichnet werden. Für die Zwecke der vorliegenden Beschreibung wird das Element 830 jedoch als einzelne Punktwolke bezeichnet.
In einem Szenario würde die Punktwolke 830 durch einen Objektdetektor (z. B. ein tiefes neuronales Netz) eines Wahrnehmungssystems (z. B. dem Wahmehmungssystem 302 des AF 100) als festes Objekt interpretiert werden, sodass das AF (z. B. das Planungssystem 304) versuchen würde, um das Objekt herum zu navigieren. Da die Punktwolke 830 auf Diffusionsreflexionen (oder alternativ auf „Mehrwegrückläufen“) basiert, die durch den Betrieb des LiDAR-Systems erzeugt werden, kann sich die Punktwolke 830 ändern oder verschwinden, wenn sich das LiDAR-System mit dem AF bewegt und die Umgebung neu abtastet, was die Genauigkeit des Objektdetektors und damit den Betrieb des AF weiter beeinträchtigen könnte.
9a und 9b (zusammen als „9“ bezeichnet) zeigen ein Beispiel für die Sende- und Empfangsstruktur eines ToF-Systeme wie z. B. eines LiDAR-Systems. 9a zeigt ein vereinfachtes Beispiel einer Sendestruktur (z. B. einen „Sender“) eines LiDAR-Systems, und 9b zeigt ein vereinfachtes Beispiel einer Empfangsstruktur (z. B. einen „Empfänger“) des LiDAR-Systems.
Der Beispielsender enthält einen Emitter 905. In der Ausführungsform eines LiDAR-Systems ist der Emitter 905 ein optischer Emitter (z. B. eine Laserdiode), der dazu ausgelegt ist, einen Lichtstrahl 910 im sichtbaren Spektrum, im Infrarotspektrum, im ultravioletten Spektrum oder in einem anderen Spektrum auszusenden. In einer anderen Ausführungsform ist der Emitter 905 eine andere Art von Emitter, die ein Signal im Funkspektrum oder eine andere Art von elektromagnetischem Signal emittiert.
In dem gezeigten Beispielsender enthält der Hohlraum 915 reflektierende Oberflächen, die den Lichtstrahl 910 reflektieren, während er sich über die Länge des Hohlraums 915 ausbreitet, bis er eine Linse 920 erreicht. Die Linse 920 ist dazu ausgelegt, den Lichtstrahl 910 entlang eines vordefinierten Sichtfeldes 935 zu fokussieren. Der Sender enthält außerdem eine optische Kuppel 925, die in einer Ausführungsform aus einem transparenten Material besteht, das so angeordnet ist, dass es die Linse 920 im Allgemeinen abdeckt, um die Linse vor Beschädigungen wie z. B. Kratzern zu schützen. Die optische Kuppel 925 ist in einer Ausführungsform gekrümmt und verursacht, wie in 9a zu sehen, eine Reflexion des Lichtstrahls 910, der dann durch die Linse 920 reflektiert wird, um die optische Kuppel 925 als reflektierte Lichtstrahlen 923 zu verlassen. Einer oder mehrere der reflektierten Lichtstrahlen 923 treffen auf eine reflektierende Oberfläche, wie z. B. einen Retroreflektor 930, der die Lichtstrahlen zurück zum Empfänger reflektiert
Wie in 9b dargestellt, empfängt der Empfänger reflektierte Lichtstrahlen 945 und 950, die durch eine Linse 920 gebrochen und in den Hohlraum 915 fokussiert werden, wo sie sich durch den Hohlraum 915 ausbreiten, bis sie auf eine Fotodiode 940 treffen. Die Fotodiode 940 ist dazu ausgelegt, das Eintreffen eines optischen Signals zu registrieren und das optische Signal in ein elektrisches Signal umzuwandeln, das dann an ein anderes Element des LiDAR-Systems (oder eine elektrische Vorrichtung, die kommunikativ mit dem LiDAR-System gekoppelt ist) weitergeleitet wird. In einer Ausführungsform ist die Fotodiode 940 eine Lawinenfotodiode (Avalanche Photodiode, APD).
In der in 9 dargestellten Ausführungsform gelten das Sendesichtfeld 935 und der optische Empfangsweg 945 als Nennrichtungen. Das heißt, ein mit dem APD 940 gekoppelter Prozessor erwartet, dass ein durch die APD 940 empfangenes optisches Signal in der durch den optischen Weg 945 angegebenen Richtung ankommt. Aufgrund der Retroreflektoren 930 werden jedoch reflektierte Lichtstrahlen 950 empfangen, die von der durch den optischen Weg 945 angegebenen Nennrichtung abweichen. Diese reflektierten Lichtstrahlen 950 werden stark abgeschwächt und haben daher eine niedrige optische Intensität. In diesem Fall werden die reflektierten Lichtstrahlen, die entlang der optischen Wege 950 empfangen werden, als Punkte mit niedriger Intensität registriert, die aus der Nennrichtung (z. B. entlang des optischen Weges 945) empfangen werden, was zu den oben beschriebenen „Geisterpunkten“ führt.
Häufig erscheinen Geisterpunkte auf beiden Seiten eines Retroreflektors, z. B. eines Straßenschilds oder eines anderen Objekts, oder als Aura um das Objekt herum. Die Geisterpunkte haben eine ähnliche Form und physische Struktur wie der Retroreflektor und erscheinen in der gleichen Entfernung vom LiDAR-System wie der Retroreflektor selbst.
Filtertechniken für Geisterpunkte
Ein Geisterpunkt basiert auf der Reflexion eines Retroreflektors (z. B. eines Straßenschilds, eines Fahrzeugs usw., wie oben beschrieben), der in Bezug auf die Nennrichtung des LiDAR-Systems gewinkelt ist. In einer Ausführungsform ist der Winkel, bei dem das Vorhandensein eines Retroreflektors einen Geisterpunkt verursacht, ein fester Winkel für ein bestimmtes System, der bei einem LiDAR-System mit der optischen Konstruktion zusammenhängt. Wenn sich beispielsweise ein LiDAR-System (z. B. ein LiDAR-System, das mit dem LiDAR-System 502 identisch oder diesem ähnlich sein kann) einem Retroreflektor (z. B. auf dem Dach eines AF 100) nähert, kann sich der beobachtete Geisterpunkt näher an den Retroreflektor heran bewegen oder in bestimmten Fällen aus der LiDAR-Abtastung verschwinden, je nachdem, wie das Material und die Form des Retroreflektors die Lichtreflexion bestimmen.
Basierend auf diesem festen Winkel wird eine „Geisterzone“ allgemein als eine Region in einem festen Winkel zum LiDAR-System definiert, die zum Vorhandensein eines Geisterpunktes führt, wie mit Bezug auf 10 und 11 ausführlich beschrieben.
10 zeigt ein Beispiel für Regionen mit Geisterpunkten. 10 zeigt ein Beispiel für Geisterpunktregionen 1005 und 1010 auf beiden Seiten eines Mittelpunkts 1000 (wie unten definiert) basierend auf einer Kalibrierungsprüfung, die durchgeführt wurde, um die Lage der Geisterpunktregionen 1005/1010 zu identifizieren.
Um die Kalibrierungsprüfung durchzuführen, wird in dieser Ausführungsform ein LiDAR-System fixiert und die Lage der Nennrichtung mit dem Mittelpunkt 1000 markiert. Mit anderen Worten, die Lage des Mittelpunkts 1000 entspricht dem nominalen optischen Weg 945. Der Mittelpunkt 1000 ist ein Punkt auf einem Testfeld, das eine Vielzahl von LEDs enthält. Die entsprechenden LEDs des Testfelds werden dann aktiviert. Die LEDs in den Geisterpunktregionen 1005/1010 erzeugen Lichtstrahlen, die analog zu den reflektierten Lichtstrahlen 950 sind, die durch die oben mit Bezug auf 9 beschriebene Fotodiode empfangen werden. Das heißt, die LEDs in den Geisterpunktregionen 1005/1010 veranlassen den Empfänger des eigentlichen LiDAR-Systems, ein optisches Signal mit niedriger Intensität zu registrieren, obwohl sie sich außerhalb des vorgesehenen nominalen Sende- und Empfangswegs des LiDAR-Systems befinden.
Über dieses Kalibrierungstestverfahren werden die Geisterpunktregionen 1005/1010 für einen bestimmten Mittelpunkt 1000 identifiziert. In einer Ausführungsform wird eine einzelne Geisterpunktregion oder ein Paar von Geisterpunktregionen (z. B. die Geisterpunktregionen 1005/1010) für ein LiDAR-System verwendet. In einer anderen Ausführungsform werden verschiedene Geisterpunktregionen für verschiedene Positionen des Mittelpunkts 1000 definiert. Das heißt, für verschiedene Elevationswinkel (z. B. Abtastlinien) der LiDAR-Abtastung oder verschiedene Azimutpositionen (z. B. seitlich) wird eine andere kalibrierte Geisterpunktregion verwendet.
Um einen Filter zum Entfernen von Geisterpunkten basierend auf den identifizierten Geisterpunktregionen anzuwenden, wird ein Entfernungsbild identifiziert und als Tensor gespeichert. Konkret erzeugt das LiDAR-System ein Entfernungsbild, das eine Vielzahl von LiDAR-Rückkehrpunkten enthält. 11 zeigt ein Beispiel für ein Entfernungsbild zum Verarbeiten durch einen Filter zum Entfernen von Geisterpunkten.
Wie in 1100 gezeigt, enthält das Entfernungsbild eine Anzahl von Datenpunkten 1110. Jeder der Datenpunkte 1110 enthält Daten, die sich auf einen Elevationswinkel beziehen (in einer Ausführungsform 0,60 Grad, 0,26 Grad und -0,08 Grad), gemessen aus einer Richtung, in die das LiDAR-System zeigt, wenn das Entfernungsbild erzeugt wird. Zusätzlich hat jeder der Datenpunkte 1110 einen Azimutwinkel (der in einer Ausführungsform -0,4 Grad, 0 Grad, 0,4 Grad und 0,8 Grad beträgt), gemessen aus einer Richtung, in die das LiDAR-System zeigt, wenn die Datenpunkte gesammelt werden. Es versteht sich, dass diese Beispielwinkel nur als Beispiele für eine Konfiguration eines Tensors gedacht sind, und eine andere Ausführungsform andere Werte für die Elevations- oder Azimutwinkel oder andere Abstände zwischen den einzelnen Datenpunkten 1110 enthalten kann.
Die Datenpunkte 1110 werden dann als Tensor 1105 organisiert, der eine Anzahl von Zeilen, Spalten und Kanälen enthält. Im Einzelnen entsprechen die Zeilen und Spalten den Elevations- bzw. Azimutwinkeln, wie in 1100 dargestellt. Der Tensor 1105 enthält dann eine Reihe von Kanälen 1115, 1120 und 1125, die verschiedenen Werten entsprechen, die jedem der Datenpunkte 1110 zugeordnet sind. Zum Beispiel entspricht ein Kanal 1125 den Entfernungsinformationen, die jedem der Datenpunkte 1110 zugeordnet sind (z. B. die gemessene Entfernung des Objekts, das das optische Signal reflektiert und den Datenpunkt 1110 erzeugt hat). Ein weiterer Kanal 1120 entspricht der Intensität des Datenpunkts 1110, d. h. der empfangenen Energie des optischen Signals. Ein weiterer Kanal 1115 entspricht dem Punktindex des Datenpunkts 1110, d. h. einer Kennung des Datenpunkts innerhalb des Entfernungsbildes. Diese Kanäle sind jedoch nur ein Beispiel für eine Ausführungsform, und eine andere Ausführungsform kann mehr oder weniger Kanäle oder Kanäle in einer anderen Konfiguration innerhalb des Tensors 1105 aufweisen.
Nachdem das Entfernungsbild in einen Tensor wie den Tensor 1105 umgewandelt und die Geisterpunktregionen identifiziert wurden, wird ein Kernel konstruiert, um Geisterpunkte mit niedriger Intensität aus dem Entfernungsbild zu filtern. Im Allgemeinen ist ein Kernel eine Matrix, die auf ein Bild (oder genauer gesagt auf den Tensor 1105) angewendet wird, um bestimmte Merkmale (z. B. Geisterpunkte) aus dem Bild zu identifizieren und zu verändern oder zu extrahieren. In einer Ausführungsform ist der Kernel ein Faltungs-Kernel, ein auf einem neuronalen Faltungsnetz (Convolutional Neural Network, CNN) basierter Kernel, ein auf maschinellem Lernen (ML) basierender Kernel, usw. In Ausführungsformen, in denen der Kernel ein CNN-Kernel oder ein ML-basierter Kernel ist, kann der Kernel beispielsweise auf den spezifischen Geisterpunktzonen, die identifiziert oder verwendet werden, der Anzahl der Geisterpunkte, die mittels des Kernels identifiziert oder gefiltert werden, der Größe oder Form des Retroreflektors usw. basieren oder durch diese modifiziert werden.
12 zeigt ein prinzipielles Beispiel für eine Technik zum Entfernen eines Geisterpunktes aus einem Entfernungsbild basierend auf einem Kernel. In einer Ausführungsform wird die Technik ganz oder teilweise durch ein Wahrnehmungssystem, wie dem Wahrnehmungssystem 302 von 3, einem Prozessor, wie dem Prozessor 204 von 2, oder einem anderen Element eines LiDAR-Systems oder Fahrzeugs, wie hier beschrieben, durchgeführt.
Die Technik umfasst bei 1205 zunächst das Auffinden aller Punkte mit niedriger Intensität im Entfernungsbild. Konkret umfasst die Technik das Auffinden von Punkten mit niedriger Intensität in dem Tensor 1105. Das Identifizieren der Punkte mit niedriger Intensität beinhaltet in einer Ausführungsform das Identifizieren von Datenpunkten im Tensor mit einem Intensitätswert (z. B. einem Wert des Intensitätskanals 1120 eines Datenpunkts 1110) bei oder unter einem Schwellenwert. In einer Ausführungsform wird der Schwellenwert beispielsweise basierend auf der Art des verwendeten LiDAR-Systems oder einer anderen Eigenschaft des LiDAR-Systems vorab festgelegt. Als Beispiel wird der Schwellenwert während des Kalibrierungsprozesses des LiDAR-Systems, wie in 10 beschrieben, vorab festgelegt. In einer anderen Ausführungsform wird der Schwellenwert basierend auf den Intensitätswerten des Entfernungsbildes ermittelt. Das heißt, der Schwellenwert wird über eine Analyse der Intensitätswerte der verschiedenen Datenpunkte im Entfernungsbild ermittelt. Als Beispiel in dieser Ausführungsform ist der Schwellenwert dynamisch (z. B. ändert sich der Schwellenwert im Laufe der Zeit basierend auf dem Entfernungsbild oder einem anderen Faktor). In einer anderen Ausführungsform wird der Schwellenwert basierend auf einem oder mehreren zusätzlichen oder alternativen Faktoren ermittelt.
Die Technik beinhaltet ferner die Auswahl eines ermittelten Punktes mit niedriger Intensität, der bei 1210 geprüft wird. Konkret wird dann einer der in 1205 ermittelten Punkte mit niedriger Intensität zur Überprüfung ausgewählt.
Die Technik umfasst ferner bei 1215 das Ermitteln eines Filterkernels, der auf dem ausgewählten Punkt mit niedriger Intensität basiert. Wie bereits erwähnt, wird in einer Ausführungsform ein einzelner Filterkernel für den gesamten Tensor 1105 verwendet. In einer anderen Ausführungsform werden je nach ausgewähltem Punkt mit niedriger Intensität unterschiedliche Filterkernels verwendet. So werden zum Beispiel unterschiedliche Filterkernels basierend auf unterschiedlichen Elevationswinkeln, Azimutwinkeln usw. verwendet.
Die Technik umfasst ferner bei 1220 das Auffinden aller Punkte mit hoher Intensität, die in die kernelbasierte(n) Geisterzone(n) fallen. Wie mit Bezug auf 13 näher erläutert, beinhaltet die Anwendung des Filterkernels insbesondere das Überlagern des Filterkernels auf den Tensor 1105. Der Filterkernel basiert auf den Geisterpunktregionen 1005/1010 und dem mit Bezug auf 10 beschriebenen Mittelpunkt 1000. Aus konzeptioneller Sicht und zur prinzipiellen Beschreibung ist der Mittelpunkt 1000 auf den Punkt mit niedriger Intensität ausgerichtet, der bei 1210 ausgewählt wurde. Eine Anzahl von Punkten mit hoher Intensität (z. B. Datenpunkte 1110 mit einem Wert des Intensitätskanals 1120 bei oder über einem Schwellenwert) wird dann bei 1220 ermittelt. Ähnlich wie bei den oben beschriebenen Punkten mit niedriger Intensität werden in einer Ausführungsform die Punkte mit hoher Intensität anhand eines vorher festgelegten Schwellenwerts ermittelt. In einer anderen Ausführungsform wird der Schwellenwert basierend auf einer Analyse der Intensitätswerte verschiedener Datenpunkte im Entfernungsbild ermittelt und ist, als besonderes Beispiel, wie oben beschrieben dynamisch. In einer wiederum anderen Ausführungsform wird der Schwellenwert basierend auf einem oder mehreren zusätzlichen oder alternativen Faktoren ermittelt.
In einer Ausführungsform sind der Schwellenwert für niedrige Intensität und der Schwellenwert für hohe Intensität so voneinander getrennt, dass der Schwellenwert für niedrige Intensität optische Intensitätswerte zwischen 0 und x und der Schwellenwert für hohe Intensität optische Intensitätswerte zwischen y und 255 aufweist. Werte zwischen x und y könnten weder als Werte mit niedriger Intensität noch als Werte mit hoher Intensität angesehen werden und werden daher weder bei 1205 noch bei 1220 ermittelt. In einer anderen Ausführungsform liegen die Werte für niedrige Intensität zwischen 0 und x und die Werte für hohe Intensität zwischen x und 255.
Die Anzahl der Punkte mit hoher Intensität in der/den Geisterzone(n) wird dann bei 1225 gezählt. In einer Ausführungsform werden nur Punkte mit hoher Intensität in einer einzigen Geisterzone (z. B. nur eine der Geisterzonen 1005 oder 1010) gezählt. In einer anderen Ausführungsform werden Punkte mit hoher Intensität in zwei oder mehr Geisterzonen (z. B. in den Geisterzonen 1005 und 1010) gezählt.
In einer Ausführungsform wird ein Abstand zu dem bei 1205 ermittelten Punkt mit niedriger Intensität bestimmt. Konkret wird die Entfernung des Fahrzeugs oder des LiDAR-Systems zum Punkt mit niedriger Intensität ermittelt. In dieser Ausführungsform können nur Punkte mit hoher Intensität, deren Abstand innerhalb eines Bereichs des Abstands zum Punkt mit niedriger Intensität liegt, bei 1220 ermittelt oder bei 1225 gezählt werden. Auf diese Weise kann das System überprüfen, ob die Punkte mit niedriger Intensität und die Punkte mit hoher Intensität miteinander in Beziehung stehen, sodass der Punkt mit niedriger Intensität möglicherweise ein Geisterpunkt ist, der durch den Punkt mit hoher Intensität verursacht wird, und keine Datenpunkte in zwei unterschiedlichen Entfernungen sind, was bedeuten würde, dass sie wahrscheinlich nicht miteinander in Beziehung stehen. In einer Ausführungsform kann der Entfernungsbereich in der Größenordnung von +/- 1 Meter (m) liegen, während in anderen Ausführungsformen der Entfernungsbereich in der Größenordnung von +/- 0,5 m, +/- 0,25 m usw. liegen kann. Der spezifische Entfernungsbereich kann unterschiedlich sein, z. B. je nach Art des verwendeten LiDAR-Systems, der anfänglichen Entfernung zu dem in 1205 ermittelten Punkt mit niedriger Intensität usw.
Die Anzahl der Punkte mit hoher Intensität wird dann bei 1230 mit einem Schwellenwert für die Anzahl der Regionen verglichen. Insbesondere wird die Anzahl der in der/den Geisterzone(n) ermittelten Punkte mit hoher Intensität bei 1225 mit einem Wert im Zusammenhang mit dem Schwellenwert für die Anzahl der Regionen verglichen. Falls die Anzahl der Punkte mit hoher Intensität über (oder optional bei oder über) dem Wert im Zusammenhang mit dem Schwellenwert für die Anzahl der Regionen liegt, wird der bei 1210 ausgewählte Punkt mit niedriger Intensität als Geisterpunkt ermittelt und aus dem Entfernungsbild, auf dem der Tensor 1105 basiert, oder genauer gesagt, aus der Punktwolke des Entfernungsbildes entfernt. Falls die Anzahl der Punkte mit hoher Intensität unter (oder optional bei oder unter) dem Wert im Zusammenhang mit dem Schwellenwert für die Anzahl der Regionen liegt, wird der Punkt mit niedriger Intensität nicht als Geisterpunkt erkannt und nicht aus dem Entfernungsbild entfernt. Ähnlich wie bei den anderen oben beschriebenen Schwellenwerten basiert der Schwellenwert für die Anzahl der Regionen in einer Ausführungsform auf einem vorab festgelegten Wert, der sich auf einen Faktor wie die Art des LiDAR-Systems (z. B. eine oder mehrere Komponenten des LiDAR-Systems), die Umgebung, in der sich das LiDAR-System befindet, usw. bezieht. In einer anderen Ausführungsform wird der Schwellenwert für die Anzahl der Regionen basierend auf einer Analyse des Entfernungsbildes oder eines anderen Faktors ermittelt. Die Technik kann dann zu 1210 zurückkehren, um einen anderen Punkt mit niedriger Intensität aus den in 1205 ermittelten Punkten mit niedriger Intensität auszuwählen.
Es versteht sich, dass diese Technik als Beispieltechnik gedacht ist und eine andere Ausführungsform eine Technik mit einer oder mehreren Abweichungen von der in 12 dargestellten Technik umfasst. Eine andere Ausführungsform kann beispielsweise mehr oder weniger Elemente als dargestellt, Elemente in einer anderen Reihenfolge als dargestellt usw. aufweisen.
13 zeigt ein grafisches Beispiel für die Identifizierung und Entfernung eines Geisterpunktes basierend auf einer Geisterpunktregion. Konkret stellt 13 ein Entfernungsbild 1325 dar, das Elemente enthält, die denen des Modells 800 von 8 ähnlich sind. Das Entfernungsbild 1325 zeigt eine Punktwolke 1305, die sich auf eine Person bezieht, eine Punktwolke 1307, die sich auf ein Verkehrsschild bezieht, und eine Punktwolke 1300 mit Punkten niedriger Intensität, die der Punktwolke 820 der Person 810, der Punktwolke 825 des Verkehrsschildes 815 bzw. der Punktwolke 830 ähnlich sind.
13 zeigt außerdem die Überlagerung eines Filterkernels mit dem Entfernungsbild 1325. 13 zeigt konkret einen Punkt mit niedriger Intensität 1315, der für die Analyse ausgewählt wird, z. B. wie oben in Bezug auf das Element 1210 beschrieben. Basierend auf dem Punkt mit niedriger Intensität wird ein Filterkernel ermittelt, wie mit Bezug auf Element 1215 beschrieben. Der Filterkernel enthält die Geisterzonen 1310a und 1310b, die den Geisterzonen 1005 bzw. 1010 von 10 ähneln.
Die Punktwolken 1305 und 1307 enthalten beide Punkte mit hoher Intensität. Wie mit Bezug auf die Elemente 1220 und 1225 beschrieben, werden die Punkte mit hoher Intensität in den Geisterzonen 1310a und 1310b ermittelt und gezählt. Zum Beispiel werden die Punkte mit hoher Intensität 1320, die der Punktwolke 1307 entsprechen und sich auf das Verkehrsschild innerhalb der Geisterzone 1310b beziehen, ermittelt und gezählt. Zusätzlich oder alternativ werden die Punkte 1330 mit hoher Intensität (falls vorhanden) der Punktwolke 1305, die sich auf die Person innerhalb der Geisterzone 1310a bezieht, ermittelt und gezählt. Die Anzahl der Punkte mit hoher Intensität wird dann mit einem Wert verglichen, der einem Schwellenwert für die Anzahl der Regionen zugeordnet ist, wie in Element 1230 beschrieben. Falls die Anzahl der Punkte mit hoher Intensität über (oder alternativ bei oder über) dem Schwellenwert für die Anzahl der Regionen zugeordneten Wertes liegt, wird der ausgewählte Punkt 1315 mit niedriger Intensität als Geisterpunkt ermittelt und aus der Punktwolke 1300 und dem Entfernungsbild 1325 entfernt.
14 zeigt ein Beispiel für eine LiDAR-Ablaufkette 1400. In der Regel wird die LiDAR-Ablaufkette 1400 durch ein System oder ein Element eines Systems wie dem Wahrnehmungssystem 302 von 3 ausgeführt. Allgemeiner ausgedrückt, wird die LiDAR-Ablaufkette 1400 durch einen Prozessor oder ein Element eines Prozessors, wie z. B. dem Prozessor 204 von 2 ausgeführt.
Zunächst wird eine Anzahl von LiDAR-Entfernungsbildern 1405a und 1405b in die Ablaufkette 1400 eingegeben. Es versteht sich, dass, obwohl in 14 nur zwei LiDAR-Entfernungsbilder dargestellt sind, eine andere Ausführungsform mehr oder weniger Entfernungsbilder 1405a/1405b enthält. Die jeweiligen LiDAR-Entfernungsbilder 1405a/1405b ähneln dem oben beschriebenen Entfernungsbild 1325 und enthalten verschiedene Punktwolken wie die Punktwolken 1300, 1305 und 1307.
Die Entfernungsbilder 1405a/1405b werden in die Geisterpunktfilter 1410a/1410b eingegeben. Die jeweiligen Geisterpunktfilter 1410a/1410b wenden einen Filterkernel an, um Geisterpunkte zu identifizieren und zu entfernen, wie mit Bezug auf 12 beschrieben. Wie in 14 gezeigt, sind die Geisterpunktfilter 1410a und 1410b unabhängig voneinander. Die Geisterpunktfilter 1410a und 1410b können beispielsweise durch unterschiedliche Hardware, Software, Firmware usw. realisiert werden. In einer anderen Ausführungsform können die Geisterpunktfilter 1410a und 1410b derselbe Filter oder Unterelemente desselben Filters sein.
Die Entfernungsbilder werden nach der Geisterpunktfilterung an andere Elemente der LiDAR-Ablaufkette weitergeleitet. In einer Ausführungsform werden sie beispielsweise ausgegeben und an ein Vordergrundextraktionssystem 1410 weitergeleitet, wo die Bilder zusammengeführt und verarbeitet werden. Das Vordergrundextraktionssystem 1415 ist in einer Ausführungsform dazu ausgelegt, Vordergrundobjekte im Entfernungsbild zu extrahieren. Die Ausgabe des Vordergrundextraktionssystems 1415 enthält die extrahierten Vordergrundobjekte und wird einem Segmentierungssystem zur Verfügung gestellt, das Punktwolken in homogene Regionen mit ähnlichen Eigenschaften klassifiziert. Die Ausgabe des Segmentierungssystems 1420 umfasst eine Anzeige der klassifizierten Punktwolken, insbesondere der einzeln klassifizierten Punktwolken. Die klassifizierten Punktwolken werden einem Rauschfilter 1425 zugeführt, der dazu ausgelegt ist, Rauschen aus den Punktwolken (z. B. Artefakte aus Fehlern oder anderen Datenpunkten, die nicht einer oder mehreren der homogenen Regionen aus dem Segmentierungssystem entsprechen) zu entfernen.
Es versteht sich, dass diese Ablaufkette als Beispiel für eine Ausführungsform gedacht ist und dass andere Ausführungsformen mehr oder weniger Elemente oder Elemente in einer anderen Reihenfolge enthalten werden. Es versteht sich jedoch ferner, dass das Vorhandensein der Geisterpunktfilter 1410a/1410b in einem Anfangsstadium der LiDAR-Ablaufkette erhebliche Vorteile bietet, da die Filter unabhängig voneinander auf die jeweiligen LiDAR-Punktwolken einwirken und folglich rechnerisch effizient sind.
15 zeigt ein Beispiel für eine Technik zum Identifizieren und Entfernen eines Geisterpunktes aus einer Punktwolke. Allgemeinen kann die Technik von 15 als ähnlich wie die Technik von 12 angesehen werden. Ähnlich wie bei der Technik von 12 wird die Technik ganz oder teilweise durch ein Wahrnehmungssystem wie dem Wahrnehmungssystem 302 von 3, einen Prozessor wie dem Prozessor 204 von 2 oder einem anderen Element eines LiDAR-Systems oder Fahrzeugs, wie hier beschrieben, durchgeführt.
Die Technik umfasst bei 1505 das Gewinnen eines Entfernungsbildes aus einem Tiefensensor eines Fahrzeugs, das sich in einer Umgebung bewegt. Das Entfernungsbild ähnelt zum Beispiel dem Entfernungsbild 1325 oder einem anderen hier beschriebenen Entfernungsbild.
Die Technik umfasst ferner das Ermitteln (1510) eines ersten Datenpunkts im Entfernungsbild mit einer Intensität bei oder unter einem ersten Intensitätsschwellenwert. Dieser Datenpunkt ist beispielsweise der Datenpunkt mit niedriger Intensität, der mit Bezug auf das Element 1210 in 12 beschrieben wird. Der erste Intensitätsschwellenwert ist der Intensitätsschwellenwert, der zum Beispiel mit Bezug auf das Element 1205 von 12 beschrieben wurde.
Das Verfahren umfasst ferner das Bestimmen (1515) einer Anzahl von Datenpunkten in dem Entfernungsbild, die eine Intensität in einer ersten Region des Entfernungsbildes bei oder über einem zweiten Intensitätsschwellenwert aufweisen. Die Technik beinhaltet spezifisch das Bestimmen der Anzahl der Datenpunkte mit hoher Intensität in einer Region des Entfernungsbildes, wie z. B. die Geisterzonen, die mit Bezug auf die Elemente 1005/1010 oder 1310a/1310b beschrieben wurden. Die Bestimmung der Anzahl der Datenpunkte mit hoher Intensität in diesen Regionen erfolgt wie zum Beispiel bei den Elementen 1220 und 1225 beschrieben.
Die Technik beinhaltet ferner das Bestimmen bei 1520, ob die Anzahl der in 1515 ermittelten Datenpunkte bei oder über einem Schwellenwert für die Anzahl der Regionen liegt. Diese Bestimmung und der Schwellenwert für die Anzahl der Regionen ähneln beispielsweise der Bestimmung und dem Schwellenwert, die mit Bezug auf das Element 1230 beschrieben wurden.
Die Technik beinhaltet ferner bei 1525 das Entfernen des ersten Datenpunkts aus dem Entfernungsbild, falls die Anzahl der Datenpunkte bei oder über dem Schwellenwert für die Anzahl der Regionen liegt. Wie in Element 1230 beschrieben, wird beispielsweise der erste Datenpunkt (z. B. der Datenpunkt mit niedriger Intensität) aus dem Entfernungsbild entfernt, falls die Anzahl der ermittelten Datenpunkte mit hoher Intensität innerhalb der Geisterzone(n) bei oder über einem Schwellenwert für die Anzahl der Regionen liegt. Dies liegt daran, dass der Datenpunkt mit niedriger Intensität aufgrund des Vorhandenseins der Datenpunkte mit hoher Intensität innerhalb der Geisterzonen als Geisterpunkt ermittelt wird.
Die Technik beinhaltet bei 1530 ferner das Betreiben (oder Ermöglichen des Betriebs) des Fahrzeugs in der Umgebung, das mindestens teilweise auf dem Entfernungsbild basiert. Beispielsweise verwendet der Prozessor in einer Ausführungsform dann das ausgegebene Entfernungsbild als Grundlage für Funktionen wie die Wegplanung des Fahrzeugs. In einer anderen Ausführungsform gibt der Prozessor das Entfernungsbild an einen anderen Prozessor oder ein anderes System des Fahrzeugs (z. B. das Steuerungssystem 306 von 3) aus, das dann das Entfernungsbild zum Steuern einer oder mehrerer Funktionen des Fahrzeugs verwendet.
Ähnlich wie mit Bezug auf 12 beschrieben, wird zu erkennen sein, dass die Technik von 15 als Beispieltechnik gemäß einer Ausführungsform gedacht ist und eine andere Ausführungsform davon abweichen kann. Eine andere Ausführungsform enthält beispielsweise mehr oder weniger Elemente als die in 15 dargestellten Elemente, die in einer anderen Reihenfolge angeordnet als dargestellt sind, usw.
In weiteren Ausführungsformen sind auch andere Varianten möglich. Eine Ausführungsform umfasst beispielsweise ein zusätzliches Element zur Unterscheidung verschiedener Punktwolken, die durch unterschiedliche LiDAR-Systeme erzeugt werden, um festzustellen, welche Punktwolke die Ursache für welche Geisterpunkte ist. In einer anderen Ausführungsform wird der erste Datenpunkt (z. B. der Geisterpunkt) nicht aus dem Bild entfernt, sondern die dem ersten Datenpunkt zugeordneten Informationen werden geändert. Beispielsweise wird ein Markierungswert hinzugefügt oder geändert, um anzuzeigen, dass der erste Datenpunkt als „Geisterpunkt“ erkannt wurde. In dieser Ausführungsform bleibt der erste Datenpunkt im Bild, wird jedoch durch eine nachgeschaltete Komponente einer LiDAR-Ablaufkette wie der Ablaufkette 1400 anders verarbeitet.
In der vorgenannten Beschreibung sind Ausführungsformen der Erfindung mit Bezug auf zahlreiche spezifische Details beschrieben, die von Implementierung zu Implementierung verschieden sein können. Die Beschreibung und die Zeichnungen sind dementsprechend in einem veranschaulichenden statt einem einschränkenden Sinn zu sehen. Der einzige und ausschließliche Indikator für den Schutzbereich der Erfindung und das, was durch die Anmelder als Schutzbereich der Erfindung beabsichtigt ist, ist der wörtliche und äquivalente Schutzbereich der Menge der Ansprüche, die aus dieser Anmeldung in der spezifischen Form hervorgehen, in der diese Ansprüche ausgestellt sind, einschließlich etwaiger späterer Korrekturen. Alle hier ausdrücklich dargelegten Definitionen für Begriffe, die in diesen Ansprüchen enthalten sind, regeln die Bedeutung der in den Ansprüchen verwendeten Begriffe. Darüber hinaus kann bei Verwendung des Begriffs „ferner umfassend“ in der vorhergehenden Beschreibung oder in den folgenden Ansprüchen das auf diese Formulierung Folgende ein zusätzlicher Schritt oder eine zusätzliche Einrichtung oder ein Unterschritt bzw. eine Untereinrichtung eines bereits erwähnten Schritts oder einer bereits erwähnten Einrichtung sein.

Claims

Verfahren, umfassend: Ermitteln eines Entfernungsbildes, das sich auf einen Tiefensensor eines in einer Umgebung fahrenden Fahrzeugs bezieht, unter Verwendung mindestens eines Prozessors; Erkennen eines ersten Datenpunktes mit einer Intensität bei oder unter einem ersten Intensitätsschwellenwert im Entfernungsbild unter Verwendung des mindestens einen Prozessors; Bestimmen, unter Verwendung des mindestens einen Prozessors, einer ersten Anzahl von Datenpunkten in dem Entfernungsbild, die eine Intensität bei oder über einem zweiten Intensitätsschwellenwert in einer ersten Region des Entfernungsbildes aufweisen; Bestimmen, unter Verwendung des mindestens einen Prozessors, ob die erste Anzahl von Datenpunkten bei oder über einem Schwellenwert für die Anzahl der Regionen liegt; Entfernen des ersten Datenpunktes aus dem Entfernungsbild unter Verwendung des mindestens einen Prozessors, falls die erste Anzahl von Datenpunkten bei oder über dem Schwellenwert für die Anzahl der Regionen liegt; und Ermöglichen des Betriebs des Fahrzeugs in der Umgebung unter Verwendung des mindestens einen Prozessors mindestens teilweise basierend auf dem Entfernungsbild.
Verfahren gemäß Anspruch 1, wobei der erste Datenpunkt ein Datenpunkt einer Punktwolke in dem Entfernungsbild ist.
Verfahren gemäß Anspruch 1, ferner umfassend: Bestimmen, unter Verwendung des mindestens einen Prozessors, einer zweiten Anzahl von Datenpunkten in dem Entfernungsbild, die eine Intensität bei oder über dem zweiten Intensitätsschwellenwert in einer zweiten Region des Entfernungsbildes aufweisen; und Entfernen des ersten Datenpunktes unter Verwendung des mindestens einen Prozessors, falls die Gesamtzahl der ersten Datenpunkte und der zweiten Datenpunkte bei oder über dem Schwellenwert für die Anzahl der Regionen liegt.
Verfahren gemäß Anspruch 1, wobei der erste und zweite Intensitätsschwellenwert vorbestimmte Intensitätsschwellenwerte sind.
Verfahren gemäß Anspruch 1, wobei das Entfernungsbild eine Vielzahl von Abtastzeilen enthält und wobei der erste und zweite Intensitätsschwellenwert einer ersten Abtastzeile der Vielzahl von Abtastzeilen von dem entsprechenden ersten und zweiten Intensitätsschwellenwert einer zweiten Abtastzeile der Vielzahl von Abtastzeilen verschieden sind.
Verfahren gemäß Anspruch 1, wobei das Bestimmen der ersten Anzahl von Datenpunkten auf der Verwendung eines Filterkernels basiert.
Verfahren gemäß Anspruch 6, wobei der Filterkernel auf der ersten Region basiert.
Verfahren gemäß Anspruch 6, wobei das Entfernungsbild eine Vielzahl von Abtastzeilen enthält und wobei ein Filterkernel, der auf eine erste Abtastzeile der Vielzahl von Abtastzeilen angewendet wird, von einem Filterkernel verschieden ist, der auf eine zweite Abtastzeile der Vielzahl von Abtastzeilen angewendet wird.
Verfahren gemäß Anspruch 1, wobei der erste Intensitätsschwellenwert einen Intensitätswert in einem ersten Bereich aufweist und der zweite Intensitätsschwellenwert einen Intensitätswert in einem zweiten Bereich aufweist, der größer als der erste Bereich ist.
Verfahren gemäß Anspruch 1, wobei das Entfernen des ersten Datenpunkts aus dem Entfernungsbild ferner auf dem Bestimmen beruht, dass die erste Anzahl von Datenpunkten innerhalb eines Entfernungsbereichs zum ersten Datenpunkt wie aus dem Tiefensensor des Fahrzeugs gemessen liegt.
Wahrnehmungssystem, das einen Geisterpunktfilter zur Verwendung in einem Fahrzeug enthält, wobei das System umfasst: mindestens einen Prozessor; und mindestens einen Speicher, in dem Anweisungen gespeichert sind, die beim Ausführen durch den mindestens einen Prozessor das Fahrzeug veranlassen: durch den Geisterpunktfilter in einem Entfernungsbild, das eine Umgebung darstellt, in der sich das Fahrzeug befindet, einen ersten Datenpunkt mit einer Intensität bei oder unter einem ersten Intensitätsschwellenwert zu identifizieren; den ersten Datenpunkt durch den Geisterpunktfilter aus dem Entfernungsbild zu entfernen, falls eine Anzahl von Datenpunkten in einer ersten Region des Entfernungsbildes, die eine Intensität bei oder über einem zweiten Intensitätsschwellenwert aufweisen, bei oder über einem Schwellenwert für eine Anzahl von Regionen liegt; und Filtern des Entfernungsbildes durch ein Vordergrundextraktionssystem.
Wahrnehmungssystem gemäß Anspruch 11, wobei die Anweisungen ferner darin bestehen, durch den Geisterpunktfilter den ersten Datenpunkt aus dem Entfernungsbild zu entfernen, falls die Summe aus i) der Anzahl von Datenpunkten in der ersten Region des Entfernungsbildes mit einer Intensität bei oder über dem zweiten Intensitätsschwellenwert und ii) einer Anzahl von Datenpunkten in einer zweiten Region des Entfernungsbildes, die eine Intensität bei oder über dem zweiten Intensitätsschwellenwert aufweisen, bei oder über dem Schwellenwert für die Anzahl von Regionen liegt.
Wahrnehmungssystem gemäß Anspruch 11, wobei die Anweisungen ferner darin bestehen, durch den Geisterpunktfilter die Anzahl von Datenpunkten in der ersten Region des Entfernungsbildes zu identifizieren, die eine Intensität bei oder über dem zweiten Intensitätsschwellenwert aufweisen, basierend auf der Verwendung eines Faltungskernels.
Wahrnehmungssystem gemäß Anspruch 11, wobei das Entfernungsbild ein Entfernungsbild ist, das auf einem Tiefensensor des Fahrzeugs basiert.
Wahrnehmungssystem gemäß Anspruch 11, wobei das durch das Vordergrundextraktionssystem aus dem Geisterpunktfilter empfangene Entfernungsbild den ersten Datenpunkt enthält, falls die Anzahl von Datenpunkten in der ersten Region des Entfernungsbildes, die eine Intensität bei oder über dem zweiten Intensitätsschwellenwert aufweisen, unter dem Schwellenwert für die Anzahl von Regionen liegt.
Verfahren, umfassend: Ermitteln einer Anzahl von Datenpunkten des Entfernungsbildes in einer ersten Region und einer Anzahl von Datenpunkten des Entfernungsbildes in einer zweiten Region durch einen oder mehrere Prozessoren eines Fahrzeugs basierend auf einer Position eines Datenpunktes einer Punktwolke in einem Entfernungsbild, das sich auf eine Umgebung des Fahrzeugs bezieht; und Ändern von Informationen, die sich auf den Datenpunkt beziehen, basierend auf der Anzahl von Datenpunkten des Entfernungsbildes in der ersten und zweiten Region; wobei die erste Region und die zweite Region auf einer Voridentifizierung eines optischen Signals basieren, das durch eine Schaltungsanordnung eines Tiefensensors außerhalb eines beabsichtigten Sende- und Empfangswegs des Tiefensensors empfangen wird.
Verfahren gemäß Anspruch 16, wobei das Ändern der auf den Datenpunkt bezogenen Informationen das Entfernen des Datenpunkts aus der Punktwolke durch den einen oder die mehreren Prozessoren beinhaltet.
Verfahren gemäß Anspruch 16, wobei das Ändern der auf den Datenpunkt bezogenen Informationen das Anhängen eines Hinweises an die auf den Datenpunkt bezogenen Informationen durch den einen oder die mehreren Prozessoren beinhaltet, wobei die Informationen angeben sollen, dass der Datenpunkt anders als ein anderer Datenpunkt, der den Hinweis nicht enthält, zu verarbeiten ist.
Verfahren gemäß Anspruch 16, wobei die erste Region in einer ersten Richtung in Bezug auf den Datenpunkt der Punktwolke liegt und die zweite Region in einer zweiten Richtung liegt, die der ersten Richtung in Bezug auf den Datenpunkt der Punktwolke entgegengesetzt ist.
Verfahren gemäß Anspruch 16, wobei der Tiefensensor ein Lichterfassungs- und Entfernungs-(Light Detection and Ranging, LiDAR) Sensor ist.