DE112022002791T5

DE112022002791T5 - Systeme und verfahren zur partikelfilterverfolgung

Info

Publication number: DE112022002791T5
Application number: DE112022002791.6T
Authority: DE
Inventors: Kevin Player
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-07-09
Filing date: 2022-06-08
Publication date: 2024-03-28
Also published as: WO2023283511A2; WO2023283511A3; US20230012257A1; US11978259B2; CN117795378A

Abstract

Systeme und Verfahren zum Betreiben einer mobilen Plattform. Die Verfahren umfassen Folgendes durch eine Rechenvorrichtung: Erhalten einer LiDAR-Punktwolke; Verwenden der LiDAR-Punktwolke, um einen Pfad für ein gegebenes Objekt gemäß einem Partikelfilteralgorithmus zu erzeugen, indem Zustände eines gegebenen Objekts im Zeitverlauf erzeugt werden (jeder Zustand weist eine Bewertung auf, die eine Wahrscheinlichkeit angibt, dass ein Quader in Anbetracht eines Beschleunigungswerts und Winkelgeschwindigkeitswerts erstellt werden würde); Verwenden des Pfads, um einen Algorithmus für maschinelles Lernen zu trainieren, um Objekte auf Grundlage von Sensordaten zu detektieren und zu klassifizieren; und/oder Veranlassen, dass der Algorithmus für maschinelles Lernen zum Steuern einer Bewegung der mobilen Plattform verwendet wird.

Description

ALLGEMEINER STAND DER TECHNIK
Querverweis und Prioritätsanspruch
Diese Patentanmeldung beansprucht die Priorität der US-Patentanmeldung Nr. 17/371 637 , eingereicht am 9. Juli 2021, die durch Bezugnahme vollumfänglich in diese Schrift aufgenommen wird.
Angabe des technischen Gebiets
Die vorliegende Offenbarung betrifft im Allgemeinen Objektverfolgungssysteme. Insbesondere betrifft die vorliegende Offenbarung das Umsetzen von Systemen und Verfahren zur Partikelfilterverfolgung.
Beschreibung des Standes der Technik
Moderne Fahrzeuge weisen mindestens einen bordeigenen Computer auf und weisen eine Internet-/Satellitenkonnektivität auf. Die Software, die auf diesen bordeigenen Computern läuft, überwacht und/oder steuert Vorgänge der Fahrzeuge. Das Fahrzeug umfasst zudem LiDAR-Detektoren und Algorithmen für maschinelles Lernen, die zum Detektieren und Verfolgen von Objekten in der Nähe dazu trainiert sind. Die LiDAR-Detektoren erzeugen LiDAR-Datensätze, welche die Distanz von dem Fahrzeug zu einem Objekt zu einer Vielzahl von unterschiedlichen Zeitpunkten messen. Diese Distanzmessungen können verwendet werden, um Bewegungen des Objekts zu verfolgen, Vorhersagen hinsichtlich der Bewegungsbahn des Objekts zu treffen und Fahrwege für das Fahrzeug auf Grundlage der vorhergesagten Bewegungsbahn des Objekts zu planen.
KURZDARSTELLUNG
Die vorliegende Offenbarung betrifft das Umsetzen von Systemen und Verfahren zum Betreiben einer mobilen Plattform (z. B. eines autonomen Fahrzeugs). Die Verfahren umfassen Folgendes durch eine Rechenvorrichtung: Erhalten einer LiDAR-Punktwolke; Verwenden der LiDAR-Punktwolke, um einen Pfad für ein gegebenes Objekt gemäß einem Partikelfilteralgorithmus zu erzeugen; Verwenden des Pfads, um einen Algorithmus für maschinelles Lernen zu trainieren, um Objekte auf Grundlage von Sensordaten zu detektieren und zu klassifizieren; und/oder Veranlassen, dass der Algorithmus für maschinelles Lernen zum Steuern einer Bewegung der mobilen Plattform verwendet wird.
Der Partikelfilteralgorithmus ist dazu konfiguriert, Zustände eines gegebenen Objekts im Zeitverlauf zu erzeugen. Jeder Zustand kann durch eine Position, eine Geschwindigkeit und eine Kursrichtung für das gegebene Objekt zu einem konkreten Zeitpunkt definiert sein. Jeder Zustand weist eine Bewertung auf, die eine Wahrscheinlichkeit angibt, dass ein Quader in Anbetracht eines Beschleunigungswerts und Winkelgeschwindigkeitswerts erstellt werden würde. Der Beschleunigungswert und der Winkelgeschwindigkeitswert können Zufallszahlen umfassen. In einigen Szenarien wird die Bewertung durch Folgendes erzeugt: Festlegen eines Bewertungswerts für den Quader gleich null; Erzeugen einer ersten eingestellten Bewertung durch Addieren einer Wahrscheinlichkeit, den Beschleunigungswert und den Winkelgeschwindigkeitswert in einem Kontext zu sehen, zu dem Bewertungswert; und Erzeugen eines zweiten eingestellten Bewertungswerts durch Addieren einer negativen quadrierten Distanz von jedem Datenpunkt der LiDAR-Punktwolke zu einer nächstgelegenen Kante des Quaders zu dem ersten eingestellten Bewertungswert.
Der Partikelfilteralgorithmus kann zudem zu Folgendem konfiguriert sein: Erzeugen eines anfänglichen Quaders, der mindestens einige Datenpunkte in der LiDAR-Punktwolke umschließt; zufälliges Auswählen unterschiedlicher Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten; Erstellen eines Satzes von Quadern unter Verwendung des anfänglichen Quaders und der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten; Bestimmen einer Bewertung für jeden Quader des Satzes von Quadern, die eine Wahrscheinlichkeit angibt, dass der Quader in Anbetracht des jeweiligen der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerte erstellt werden würde; Identifizieren von Bewertungen, die kleiner als eine maximale Bewertung minus einem Schwellenwert sind; und/oder Entfernen von Quadern aus dem Satz von Quadern, die mit den identifizierten Bewertungen assoziiert sind.
Die Umsetzungssysteme können Folgendes umfassen: einen Prozessor; und/oder ein nicht transitorisches computerlesbares Speichermedium, das Programmieranweisungen umfasst, die dazu konfiguriert sind, den Prozessor dazu zu veranlassen, ein Verfahren zum Betreiben einer mobilen Plattform umzusetzen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Lösung wird unter Bezugnahme auf die folgenden Zeichnungsfiguren beschrieben, in denen gleiche Bezugszeichen gleiche Elemente in den gesamten Figuren darstellen.

1 ist eine Veranschaulichung eines Systems.
2 ist eine Veranschaulichung einer Architektur für ein Fahrzeug.
3 ist eine Veranschaulichung einer Architektur für ein LiDAR-System.
4 ist eine Veranschaulichung einer Rechenvorrichtung.
5 stellt ein Blockdiagramm eines veranschaulichenden Prozesses zum Planen einer Fahrzeugbewegungsbahn bereit.
6 stellt ein Ablaufdiagramm eines veranschaulichenden Verfahrens zum Trainieren von Algorithmen für maschinelles Lernen und/oder Betreiben eines Fahrzeugs bereit.
7 stellt ein Diagramm bereit, das einen LiDAR-Datensatz und einen Quader beinhaltet.
8 stellt ein Ablaufdiagramm eines veranschaulichenden Verfahrens zum Bestimmen von (einem) Pfad(en) bereit.
9 stellt ein Ablaufdiagramm eines Veranschaulichungsverfahrens zum Erzeugen eines amodalen Quaders unter Verwendung von einem Partikelfilteralgorithmus/Partikelfilteralgorithmen bereit.
10 stellt ein Ablaufdiagramm zum Bestimmen einer Bewertung für einen Quader bereit.
11 stellt ein Ablaufdiagramm eines veranschaulichenden Verfahrens zum Validieren eines Pfads bereit.
12 stellt eine Veranschaulichung bereit, die für das Verständnis dessen nützlich ist, wie ein Quader gemäß einem Partikelfilteralgorithmus erzeugt wird.
13 stellt eine Veranschaulichung bereit, die einen LiDAR-Datensatz und einen Satz von Quadern zeigt, der unter Verwendung des LiDAR-Datensatzes erzeugt wurde.

DETAILLIERTE BESCHREIBUNG
Wie in diesem Dokument verwendet, beinhalten die Singularformen „ein“, „eine“ und „der/die/das“ Pluralbezüge, sofern der Zusammenhang nicht eindeutig etwas anderes vorgibt. Sofern nicht anders definiert, weisen alle in dieser Schrift verwendeten technischen und wissenschaftlichen Ausdrücke die gleichen Bedeutungen auf, wie sie von einem Durchschnittsfachmann allgemein verstanden werden. Wie in diesem Dokument verwendet, bedeutet der Ausdruck „umfassend“ „beinhaltet unter anderem“. Definitionen für zusätzliche Ausdrücke, die für dieses Dokument relevant sind, sind am Ende dieser detaillierten Beschreibung beinhaltet.
Eine „elektronische Vorrichtung“ oder eine „Rechenvorrichtung“ bezieht sich auf eine Vorrichtung, die einen Prozessor und einen Speicher beinhaltet. Jede Vorrichtung kann ihren eigenen Prozessor und/oder Speicher aufweisen oder der Prozessor und/oder Speicher kann/können mit anderen Vorrichtungen geteilt werden, wie etwa in einer virtuellen Maschinen- oder Containeranordnung. Der Speicher enthält oder empfängt Programmieranweisungen, die, wenn sie durch den Prozessor ausgeführt werden, die elektronische Vorrichtung dazu veranlassen, einen oder mehrere Vorgänge gemäß den Programmieranweisungen durchzuführen.
Die Begriffe „Speicher“, „Speichervorrichtung“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen beziehen sich jeweils auf eine nicht transitorische Vorrichtung, auf der computerlesbare Daten, Programmieranweisungen oder beides gespeichert sind. Sofern nicht ausdrücklich anders angegeben, sollen die Ausdrücke „Speicher“, „Speichervorrichtung“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen Ausführungsformen einer einzelnen Vorrichtung, Ausführungsformen, in denen mehrere Speichervorrichtungen zusammen oder gemeinsam einen Satz von Daten oder Anweisungen speichern, sowie einzelne Sektoren innerhalb derartiger Vorrichtungen beinhalten.
Die Ausdrücke „Prozessor“ und „Verarbeitungsvorrichtung“ beziehen sich auf eine Hardwarekomponente einer elektronischen Vorrichtung, die dazu konfiguriert ist, Programmieranweisungen auszuführen. Sofern nicht ausdrücklich anders angegeben, soll der Ausdruck „Prozessor“ oder „Verarbeitungsvorrichtung“ im Singular sowohl Ausführungsformen mit einer einzelnen Verarbeitungsvorrichtung als auch Ausführungsformen, in denen mehrere Verarbeitungsvorrichtungen zusammen oder gemeinsam einen Prozess durchführen, beinhalten.
Der Ausdruck „Fahrzeug“ bezieht sich auf eine beliebige sich bewegende Form der Beförderung, die dazu in der Lage ist, entweder einen oder mehrere menschliche Insassen und/oder Fracht zu befördern und durch eine beliebige Form von Energie angetrieben wird. Der Ausdruck „Fahrzeug“ beinhaltet unter anderem Autos, Trucks, Vans, Züge, autonome Fahrzeuge, Luftfahrzeuge, Flugdrohnen und dergleichen. Ein „autonomes Fahrzeug“ ist ein Fahrzeug, das einen Prozessor, Programmieranweisungen und Antriebsstrangkomponenten aufweist, die durch den Prozessor steuerbar sind, ohne dass ein menschlicher Fahrzeugführer erforderlich ist. Ein autonomes Fahrzeug kann vollautonom sein, sodass es für die meisten oder alle Fahrbedingungen und -funktionen keinen menschlichen Fahrzeugführer erfordert, oder es kann teilautonom sein, sodass ein menschlicher Fahrzeugführer unter gewissen Bedingungen oder für gewisse Vorgänge erforderlich sein kann oder ein menschlicher Fahrzeugführer das autonome System des Fahrzeugs außer Kraft setzen und die Kontrolle über das Fahrzeug übernehmen kann.
In diesem Dokument soll, wenn Ausdrücke, wie etwa „erste“ und „zweite“, verwendet werden, um ein Substantiv zu modifizieren, eine solche Verwendung lediglich dazu dienen, ein Element von einem anderen zu unterscheiden, und soll keine sequenzielle Reihenfolge erfordern, sofern dies nicht ausdrücklich angegeben ist. Zusätzlich sollen Ausdrücke der relativen Position, wie etwa „vertikal“ und „horizontal“ oder „vorne“ und „hinten“ bei Verwendung relativ zueinander sein und müssen nicht absolut sein und sie beziehen sich nur auf eine mögliche Position der Vorrichtung, die mit diesen Ausdrücken assoziiert ist, abhängig von der Ausrichtung der Vorrichtung.
Um die Performance der Wahrnehmungspipeline zu bewerten, stützen sich Systeme auf benutzerbeschriftete Quader und Quader mit tatsächlicher Ausdehnung (amodale Quader). Beschrifter beschriften die Quader im LiDAR-Raum - was eine Größenordnung bis zu sichtbaren Bereichen bereitstellt und lose zu der tatsächlichen Form des Objekts passt. Die beschrifteten Quader stellen somit nicht die tatsächliche Ausdehnung des Objekts dar.
Dieses Dokument beschreibt das Umsetzen von Systemen und Verfahren, die darauf gerichtet sind, die vorstehend beschriebenen Probleme und/oder andere Belange anzugehen. Dementsprechend betrifft die vorliegende Lösung Systeme und Verfahren zum Produzieren von Quadern, Pfaden, Trainieren von Algorithmen für maschinelles Lernen und/oder Steuern von mobilen Plattformen (z. B. Fahrzeugen) unter Verwendung davon. Ein Quader für ein Objekt (z. B. ein Fahrzeug oder einen Fußgänger) ist ein ausgerichteter 3D-Begrenzungsrahmen, der (i) eine Kursrichtung des Objekts und (ii) eine vollständige Ausdehnung des Objekts darstellt. Ein Pfad kann eine Vielzahl von Quadern umfassen, die zeitlich angeordnet ist (z. B., um eine beobachtete und/oder vorhergesagte Bewegung des Objekts im Zeitverlauf anzugeben).
Die Verfahren schließen im Allgemeinen das Durchführen der folgenden Vorgänge durch eine Rechenvorrichtung ein: Betreiben einer mobilen Plattform (z. B. eines autonomen Fahrzeugs). Die Verfahren umfassen Folgendes durch eine Rechenvorrichtung: Erhalten einer LiDAR-Punktwolke; Verwenden der LiDAR-Punktwolke, um einen Pfad für ein gegebenes Objekt gemäß einem Partikelfilteralgorithmus zu erzeugen; Verwenden des Pfads, um einen Algorithmus für maschinelles Lernen zu trainieren, um Objekte auf Grundlage von Sensordaten zu detektieren und zu klassifizieren; und/oder Veranlassen, dass der Algorithmus für maschinelles Lernen zum Steuern einer Bewegung der mobilen Plattform verwendet wird (z. B. Veranlassen, dass sich ein autonomes Fahrzeug entlang einer Bewegungsbahn bewegt, Veranlassen, dass ein Gelenkarm ausgefahren wird und/oder ein Objekt greift usw.).
Der Partikelfilteralgorithmus ist dazu konfiguriert, Zustände eines gegebenen Objekts im Zeitverlauf zu erzeugen. Jeder Zustand kann durch eine Position, eine Geschwindigkeit und eine Kursrichtung für das gegebene Objekt zu einem konkreten Zeitpunkt definiert sein. Jeder Zustand weist eine Bewertung auf, die eine Wahrscheinlichkeit angibt, dass ein Quader in Anbetracht eines Beschleunigungswerts und Winkelgeschwindigkeitswerts erstellt werden würde. Der Beschleunigungswert und der Winkelgeschwindigkeitswert können Zufallszahlen umfassen. In einigen Szenarien wird die Bewertung durch Folgendes erzeugt: Festlegen eines Bewertungswerts für den Quader gleich null; Erzeugen einer ersten eingestellten Bewertung durch Addieren einer Wahrscheinlichkeit, den Beschleunigungswert und den Winkelgeschwindigkeitswert in einem Kontext zu sehen, zu dem Bewertungswert; und Erzeugen eines zweiten eingestellten Bewertungswerts durch Addieren einer negativen quadrierten Distanz von jedem Datenpunkt der LiDAR-Punktwolke zu einer nächstgelegenen Kante des Quaders zu dem ersten eingestellten Bewertungswert.
Der Partikelfilteralgorithmus kann zudem zu Folgendem konfiguriert sein: Erzeugen eines anfänglichen Quaders, der mindestens einige Datenpunkte in der LiDAR-Punktwolke umschließt; zufälliges Auswählen unterschiedlicher Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten; Erstellen eines Satzes von Quadern unter Verwendung des anfänglichen Quaders und der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten; Bestimmen einer Bewertung für jeden Quader des Satzes von Quadern, die eine Wahrscheinlichkeit angibt, dass der Quader in Anbetracht des jeweiligen der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerte erstellt werden würde; Identifizieren von Bewertungen, die kleiner als eine maximale Bewertung minus einem Schwellenwert sind; und/oder Entfernen von Quadern aus dem Satz von Quadern, die mit den identifizierten Bewertungen assoziiert sind.
Die Umsetzungssysteme können Folgendes umfassen: einen Prozessor und ein nicht transitorisches computerlesbares Speichermedium, das Programmieranweisungen umfasst, die dazu konfiguriert sind, den Prozessor dazu zu veranlassen, ein Verfahren zum Betreiben eines mobilen Roboters (z. B. eines autonomen Fahrzeugs) oder einer anderen mobilen Plattform (z. B. eines Gelenkarms, der an eine mobile oder feste Basis gekoppelt ist) umzusetzen.
Die vorliegende Lösung weist viele Vorteile auf. Ziele der vorliegenden Lösung sind es, die Pfadbeschriftung zu beschleunigen und hochwertige, dichte Quader zu produzieren. Eine aktuelle Umsetzung zur Pfadbeschriftung verwendet eine lineare Interpolation zwischen aufeinanderfolgenden Schlüssel-Frames und eine erforderliche Annäherung durch stückweise lineare Bewegung während einer Beschleunigung eines autonomen Fahrzeugs. Für eine nicht lineare Bewegung sind mehrere Schlüssel-Frames erforderlich. Die unrealistische größere Ausdehnung der Benutzerbeschriftung ermöglicht dies, da sich die LiDAR-Datenpunkte innerhalb von Quadern verschieben können. Die Beschrifter benötigen während einer Beschleunigung oder Drehung noch immer mehrere Schlüssel-Frames. Der neuartige Partikelfilteralgorithmus der vorliegenden Lösung verwendet eine Interpolation, die weniger manuelle Interaktion erfordert, verringert die zum Beschriften von Objekten erforderliche Zeit, ermöglicht dichtere passende Quader, produziert ein realistischeres dynamisches Verhalten und produziert Daten von besserer Qualität.
Insbesondere wird die vorliegende Lösung in dieser Schrift im Kontext von autonomen Robotern (z. B. autonomen Fahrzeugen) beschrieben. Die vorliegende Lösung ist nicht auf Anwendungen mit autonomen Robotern beschränkt. Die vorliegende Lösung kann mit anderen Anwendungen verwendet werden.
Veranschaulichende Systeme
Unter nunmehriger Bezugnahme auf 1 ist eine Veranschaulichung eines veranschaulichenden Systems 100 bereitgestellt. Das System 100 umfasst ein Fahrzeug 102₁, das sich auf teilautonome oder autonome Weise entlang einer Straße bewegt. Das Fahrzeug 102₁ wird in dieser Schrift auch als AV bezeichnet. Das AV 102₁ kann unter anderem ein Landfahrzeug (wie in 1 gezeigt), ein Luftfahrzeug, ein Wasserfahrzeug oder ein Raumfahrzeug beinhalten.
Das AV 102₁ ist im Allgemeinen dazu konfiguriert, Objekte in seiner Nähe zu detektieren. Die Objekte können unter anderem ein Fahrzeug 102₂, einen Radfahrer (nicht gezeigt) (wie etwa einen Fahrer eines Fahrrads, eines Elektrorollers, eines Motorrads oder dergleichen) und/oder einen Fußgänger (nicht gezeigt) beinhalten. Die Objektdetektion kann unter Verwendung von Algorithmen für maschinelles Lernen erreicht werden, die mit Pfaden trainiert wurden, die gemäß der vorliegenden Lösung bestimmt wurden. Jeder Pfad umfasst eine Vielzahl von Quadern. Die Art und Weise, auf welche die Pfade bestimmt oder anderweitig erzeugt werden, wird im Verlauf der Erörterung ersichtlich. Dennoch versteht es sich, dass die Pfade unter Verwendung von LiDAR-Datensätzen bestimmt/erzeugt werden, die durch einen LiDAR-Detektor erzeugt werden, der sich an Bord des AV 102₁ und/oder an Bord einer anderen Plattform befinden kann.
Der LiDAR-Detektor misst im Allgemeinen die Distanz zu einem Objekt 102₂, indem er das Objekt 102₂ mit Licht 104 (z. B. einem Laserlicht) beleuchtet und das reflektierte Licht 106 mit einem Sensor misst. Der LiDAR-Detektor erzeugt LiDAR-Datensätze zu einer Vielzahl von Zeitpunkten t, t+1, t+2, ..., t+n. Jeder LiDAR-Datensatz wird in dieser Schrift auch als Frame von LiDAR-Daten bezeichnet. Die Frames von LiDAR-Daten werden durch eine bordeigene Rechenvorrichtung des AV 102₁ und/oder durch eine entfernte Rechenvorrichtung 110 verarbeitet, um Quader für Objekte in Anbetracht der LiDAR-Datensätze zu erzeugen. In dieser Hinsicht können die LiDAR-Datensätze von dem AV 102₁ über ein Netzwerk 108 (z. B. das Internet) über drahtgebundene und/oder drahtlose Verbindungen an die entfernte Rechenvorrichtung 110 kommuniziert werden. Die LiDAR-Datensätze können zudem in einem Speicher des AV 102₁ gespeichert sein, der manuell aus dem AV 102₁ entfernt und mit der entfernten Rechenvorrichtung 110 verbunden werden kann. Die LiDAR-Datensätze können zusätzlich in einem entfernten Datenspeicher 112 (z. B. einer Datenbank) gespeichert sein. Die Quader für die Objekte werden dann verwendet, um Algorithmen für maschinelles Lernen zum Vornehmen von Obj ektdetektionen und/oder für Obj ektbewegungsbahnaussagen/- möglichkeiten zu trainieren.
Wenn eine derartige Objektdetektion unter Verwendung des trainierten Algorithmus für maschinelles Lernen vorgenommen wird, führt das AV 102₁ Vorgänge zu Folgendem durch: Erzeugen einer oder mehrerer möglicher Objektbewegungsbahnen für das detektierte Objekt; Analysieren der erzeugten möglichen Objektbewegungsbahn(en), um eine Bewegungsbahn für das AV 102₁ zu bestimmen; und Veranlassen, dass das AV 102₁ der Bewegungsbahn folgt.
Unter nunmehriger Bezugnahme auf 2 ist eine Veranschaulichung einer veranschaulichenden Systemarchitektur 200 für ein Fahrzeug bereitgestellt. Die Fahrzeuge 102₁ und/oder 102₂ aus 1 können die gleiche oder eine ähnliche Systemarchitektur wie die in 2 gezeigte aufweisen. Somit ist die folgende Erörterung der Systemarchitektur 200 ausreichend, um das/die Fahrzeug(e) 102₁, 102₂ aus 1 zu verstehen.
Wie in 2 dargestellt, beinhaltet da Fahrzeug 200 einen Verbrennungsmotor oder Elektromotor 202 und verschiedene Sensoren 204-218 zum Messen verschiedener Parameter des Fahrzeugs. Bei benzinbetriebenen Fahrzeugen oder Hybridfahrzeugen mit einem kraftstoffbetriebenen Verbrennungsmotor können die Sensoren zum Beispiel einen Verbrennungsmotortemperatursensor 204, einen Batteriespannungssensor 206, einen Sensor für Umdrehungen des Verbrennungsmotor pro Minute (Rotations Per Minute - RPM) 208 und einen Drosselpositionssensor 210 beinhalten. Wenn das Fahrzeug ein Elektro- oder Hybridfahrzeug ist, dann kann das Fahrzeug einen Elektromotor aufweisen und beinhaltet dementsprechend Sensoren, wie etwa ein Batterieüberwachungssystem 212 (um Strom, Spannung und/oder Temperatur der Batterie zu messen), Sensoren für Elektromotorstrom 214 und Elektromotorspannung 216 und Elektromotorpositionssensoren 218 (z. B. Drehmelder und Codierer).
Betriebsparametersensoren, die beiden Arten von Fahrzeugen gemeinsam sind, beinhalten beispielsweise einen Positionssensor 236 (z. B. einen Beschleunigungsmesser, ein Gyroskop und/oder eine inertiale Messeinheit), einen Drehzahlsensor 238 und/oder und einen Wegmesssensor 240. Das Fahrzeug kann zudem eine Uhr 242 aufweisen, die das System verwendet, um die Fahrzeugzeit bei Betrieb zu bestimmen. Die Uhr 242 kann in eine bordeigene Rechenvorrichtung des Fahrzeugs codiert sein, es kann sich um eine separate Vorrichtung handeln oder es können mehrere Uhren verfügbar sein.
Das Fahrzeug kann zudem verschiedene Sensoren beinhalten, die betrieben werden, um Informationen über die Umgebung zu sammeln, in der das Fahrzeug fährt. Diese Sensoren können beispielsweise Folgendes beinhalten: einen Standortsensor 260 (z. B. eine Vorrichtung eines globalen Positionsbestimmungssystems (GPS)); Objektdetektionssensoren, wie etwa eine oder mehrere Kameras 262; ein LiDAR-Sensorsystem 264; und/oder ein Radar- und/oder Sonarsystem 266. Die Sensoren können zudem Umgebungssensoren 268 beinhalten, wie etwa einen Niederschlagsensor und/oder einen Umgebungstemperatursensor. Die Objektdetektionssensoren können es dem Fahrzeug ermöglichen, Objekte zu detektieren, die sich innerhalb eines gegebenen Distanzbereichs des Fahrzeugs 200 in einer beliebigen Richtung befinden, während die Umgebungssensoren Daten über Umgebungsbedingungen innerhalb des Fahrbereichs des Fahrzeugs sammeln.
Während des Betriebs werden Informationen von den Sensoren an eine bordeigene Rechenvorrichtung 220 des Fahrzeugs kommuniziert. Die bordeigene Rechenvorrichtung 220 des Fahrzeugs analysiert die durch die Sensoren erfassten Daten und steuert optional den Betrieb des Fahrzeugs auf Grundlage der Ergebnisse der Analyse. Beispielsweise kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs Folgendes steuern: Bremsen über eine Bremssteuerung 232; Richtung über eine Lenksteuerung 224; Drehzahl und Beschleunigung über eine Drosselsteuerung 226 (in einem benzinbetriebenen Fahrzeug) oder eine Elektromotordrehzahlsteuerung 228 (wie etwa eine Strompegelsteuerung in einem Elektrofahrzeug); eine Differentialgetriebesteuerung 230 (in Fahrzeugen mit Getrieben) und/oder andere Steuerungen.
Geografische Standortinformationen können von dem Standortsensor 260 an die bordeigene Rechenvorrichtung 220 des Fahrzeugs kommuniziert werden, die dann auf eine Karte der Umgebung zugreifen kann, die den Standortinformationen entspricht, um bekannte dauerhafte Merkmale der Umgebung, wie etwa Bodenoberfläche, Straßen, Gebäude, Stoppschilder und/oder Halte-/Fahrsignale, zu bestimmen. Von den Kameras 262 erfasste Bilder und/oder Objektdetektionsinformationen, die von Sensoren, wie etwa dem LiDAR-Sensorsystem 264, erfasst werden, werden von diesen Sensoren an die bordeigene Rechenvorrichtung 220 des Fahrzeugs kommuniziert. Die Objektdetektionsinformationen und/oder die erfassten Bilder werden durch die bordeigene Rechenvorrichtung 220 des Fahrzeugs verarbeitet, um Objekte in der Nähe des Fahrzeugs 200 zu detektieren. Jede bekannte oder in Zukunft bekannte Technik zum Vornehmen einer Objektdetektion auf Grundlage von Sensordaten und/oder erfassten Bildern kann in den in diesem Dokument offenbarten Ausführungsformen verwendet werden.
Wenn die bordeigene Rechenvorrichtung 220 des Fahrzeugs ein sich bewegendes Objekt detektiert, erzeugt die bordeigene Rechenvorrichtung 220 des Fahrzeugs eine oder mehrere mögliche Objektbewegungsbahnen für das detektierte Objekt und verwendet die möglichen Objektbewegungsbahnen, um eine Fahrzeugbewegungsbahn für das AV zu bestimmen. Die bordeigene Rechenvorrichtung 220 des Fahrzeugs führt dann Vorgänge durch, um das AV dazu zu veranlassen, der definierten Fahrzeugbewegungsbahn zu folgen. Zum Beispiel verwendet die bordeigene Rechenvorrichtung 220 des Fahrzeugs die Objektbewegungsbahninformationen, um zu entscheiden, welcher Raum durch das Objekt eingenommen wird, und erzeugt dann eine Fahrzeugbewegungsbahn, in der es nicht geplant ist, dass das AV zu diesem Raum fährt.
Unter nunmehriger Bezugnahme auf 3 ist eine Veranschaulichung eines LiDAR-Systems 300 bereitgestellt. Das LiDAR-Sensorsystem 264 aus 2 kann das gleiche wie das LiDAR-System 300 sein oder diesem im Wesentlichen ähneln. Daher ist die Erörterung des LiDAR-Systems 300 ausreichend, um das LiDAR-Sensorsystem 264 aus 2 zu verstehen.
Wie in 3 gezeigt, beinhaltet das LiDAR-System 300 ein Gehäuse 306, das um 360° um eine Mittelachse, wie etwa eine Nabe oder Achse, drehbar sein kann. Das Gehäuse kann eine Emitter und (eine) Öffnung(en) 312 beinhalten, die aus einem lichtdurchlässigen Material hergestellt ist/sind. Zwar ist in 3 eine einzelne Öffnung gezeigt, die vorliegende Lösung ist dahingehend jedoch nicht beschränkt. In anderen Szenarien können mehrere Öffnungen zum Emittieren und/oder Empfangen von Licht bereitgestellt sein. In jedem Fall kann das LiDAR-System 300 Licht durch die Öffnung(en) 312 emittieren und in Richtung der Öffnung(en) 312 zurückreflektiertes Licht empfangen, wenn sich das Gehäuse 306 um die Innenkomponenten dreht. In einem alternativen Szenario kann die Außenhülle des Gehäuses 306 eine stationäre Kuppel sein, die mindestens teilweise aus einem lichtdurchlässigen Material mit drehbaren Komponenten innerhalb des Gehäuses 306 hergestellt ist.
Im Inneren der sich drehenden Hülle oder der stationären Kuppel befindet sich ein Lichtemittersystem 304, das dazu konfiguriert und positioniert ist, Lichtimpulse über einen oder mehrere Laseremitterchips oder andere Lichtemissionsvorrichtungen durch die Öffnung(en) 312 oder durch die transparente Kuppel des Gehäuses 306 zu erzeugen und zu emittieren. Das Lichtemittersystem 304 kann eine beliebige Anzahl von einzelnen Emittern beinhalten (z. B. 8 Emitter, 64 Emitter oder 128 Emitter). Die Emitter können Licht mit im Wesentlichen der gleichen Intensität oder mit variierenden Intensitäten emittieren. Die einzelnen Strahlen, die von dem Lichtemittersystem 304 emittiert werden, weisen einen genau definierten Polarisationszustand auf, der über das gesamte Array hinweg nicht gleich ist. Als ein Beispiel können einige Strahlen eine vertikale Polarisation aufweisen und können andere Strahlen eine horizontale Polarisation aufweisen. Das LiDAR-System 300 beinhaltet zudem einen Lichtdetektor 308, der einen Fotodetektor oder eine Array von Fotodetektoren enthält, der/das zum Empfangen des zurück in das System reflektierten Lichts positioniert und konfiguriert ist. Das Lichtemittersystem 304 und der Lichtdetektor 308 würden sich mit der drehenden Hülle drehen oder sie würden sich im Inneren der stationären Kuppel des Gehäuses 306 drehen. Eine oder mehrere Strukturen 310 optischer Elemente können vor dem Lichtemittersystem 304 und/oder dem Lichtdetektor 308 positioniert sein, um als eine oder mehrere Linsen oder Wellenplatten zu dienen, die durch die Struktur(en) 310 optischer Elemente geleitetes Licht fokussieren und lenken.
Eine oder mehrere Strukturen 310 optischer Elemente können vor einem Spiegel 312 positioniert sein, um durch die Struktur(en) 310 optischer Elemente geleitetes Licht zu fokussieren und zu lenken. Wie nachstehend gezeigt, beinhaltet das System (eine) Struktur(en) 310 optischer Elemente, die vor dem Spiegel 312 positioniert und mit den Drehelementen des Systems verbunden ist/sind, sodass sich die Struktur(en) 310 optischer Elemente mit dem Spiegel 312 dreht/drehen. Alternativ oder zusätzlich kann/können die Struktur(en) 310 optischer Elemente mehrere derartige Strukturen (z. B. Linsen und/oder Wellenplatten) beinhalten. Optional können mehrere Struktur(en) 310 optischer Elemente in einem Array an dem Hüllenabschnitt des Gehäuses 306 angeordnet oder einstückig mit diesem ausgebildet sein.
Optional kann jede Struktur 310 optischer Elemente einen Strahlteiler beinhalten, der Licht, welches das System empfängt, von Licht trennt, welches das System erzeugt. Der Strahlteiler kann zum Beispiel eine Viertelwellen- oder Halbwellen-Wellenplatte beinhalten, um die Trennung durchzuführen und sicherzustellen, dass das empfangene Licht zu der Empfängereinheit anstatt zu dem Emittersystem geleitet wird (was ohne eine derartige Wellenplatte auftreten könnte, da das emittierte Licht und das empfangene Licht die gleiche oder ähnliche Polarisationen aufweisen sollten).
Das LiDAR-System 300 beinhaltet eine Leistungseinheit 318, um das Lichtemittersystem 304, einen Elektromotor 316 und elektronische Komponenten mit Leistung zu versorgen. Das LiDAR-System beinhaltet zudem einen Analysator 314 mit Elementen, wie etwa einem Prozessor 322 und einem nicht transitorischen computerlesbaren Speicher 320, der Programmieranweisungen enthält, die dazu konfiguriert sind, es dem System zu ermöglichen, von dem Lichtdetektor 308 gesammelte Daten zu empfangen, sie zu analysieren, um Eigenschaften des empfangenen Lichts zu messen, und Informationen zu erzeugen, die ein verbundenes System zum Treffen von Entscheidungen über den Betrieb in einer Umgebung, in der die Daten gesammelt wurden, verwenden kann. Optional kann der Analysator 314, wie dargestellt, einstückig mit dem LiDAR-System 300 ausgebildet sein oder kann er sich ganz oder teilweise außerhalb des LiDAR-Systems befinden und über ein drahtgebundenes oder drahtloses Kommunikationsnetzwerk oder eine solche Verbindung mit dem LiDAR-System kommunikativ verbunden sein.
Unter nunmehriger Bezugnahme auf 4 ist eine Veranschaulichung einer veranschaulichenden Architektur für eine Rechenvorrichtung 400 bereitgestellt. Die Rechenvorrichtung 110 aus 1 und/oder die bordeigene Rechenvorrichtung 220 des Fahrzeugs aus 2 ist/sind die gleichen wie die Rechenvorrichtung 400 oder ähnelt/ähneln dieser. Somit ist die Erörterung der Rechenvorrichtung 400 ausreichend, um die Rechenvorrichtung 110 aus 1 und die bordeigene Rechenvorrichtung 220 des Fahrzeugs aus 2 zu verstehen.
Die Rechenvorrichtung 400 kann mehr oder weniger Komponenten als die in 4 gezeigten beinhalten. Die gezeigten Komponenten sind jedoch ausreichend, um eine veranschaulichende Lösung zu offenbaren, welche die vorliegende Lösung umsetzt. Die Hardwarearchitektur aus 4 stellt eine Umsetzung einer repräsentativen Rechenvorrichtung dar, die dazu konfiguriert ist, (i) einen Algorithmus für maschinelles Lernen oder einen anderen Algorithmus zu trainieren und/oder (ii) ein Fahrzeug unter Verwendung eines trainierten Algorithmus für maschinelles Lernen zu betreiben, wie in dieser Schrift beschrieben. Daher kann die Rechenvorrichtung 400 aus 4 mindestens einen Teil des/der in dieser Schrift beschriebenen Verfahren(s) umsetzen.
Einige oder alle Komponenten der Rechenvorrichtung 400 können als Hardware, Software und/oder eine Kombination aus Hardware und Software umgesetzt sein. Die Hardware beinhaltet unter anderem eine oder mehrere elektronische Schaltungen. Die elektronischen Schaltungen können unter anderem passive Komponenten (z. B. Widerstände und Kondensatoren) und/oder aktive Komponenten (z. B. Verstärker und/oder Mikroprozessoren) beinhalten. Die passiven und/oder aktiven Komponenten können dazu ausgelegt, angeordnet und/oder programmiert sein, eine oder mehrere der in dieser Schrift beschriebenen Methodiken, Prozeduren oder Funktionen durchzuführen.
Der Darstellung in 4 nach umfasst die Rechenvorrichtung 400 eine Benutzerschnittstelle 402, eine zentrale Verarbeitungseinheit (Central Processing Unit - CPU) 406, einen Systembus 410, einen Speicher 412, der durch den Systembus 410 mit anderen Abschnitten der Rechenvorrichtung 400 verbunden sind und die darüber auf ihn zugreifen können, eine Systemschnittstelle 460 und Hardwareinstanzen 414, die mit dem Systembus 410 verbunden sind. Die Benutzerschnittstelle kann Eingabevorrichtungen und Ausgabevorrichtungen beinhalten, die Benutzer-Software-Interaktionen zum Steuern von Vorgängen der Rechenvorrichtung 400 ermöglichen. Die Eingabevorrichtungen beinhalten unter anderem eine physische Tastatur und/oder eine Berührungstastatur 450. Die Eingabevorrichtungen können über eine drahtgebundene oder drahtlose Verbindung (z. B. eine Bluetooth®-Verbindung) mit der Rechenvorrichtung 400 verbunden sein. Die Ausgabevorrichtungen beinhalten unter anderem einen Lautsprecher 452, eine Anzeige 454 und/oder Leuchtdioden 456. Die Systemschnittstelle 460 ist dazu konfiguriert, drahtgebundene oder drahtlose Kommunikationen zu und von externen Vorrichtungen (z. B. Netzknoten, wie etwa Zugangspunkten usw.) zu ermöglichen.
Mindestens einige der Hardwareinstanzen 414 führen Handlungen durch, die das Zugreifen auf den Speicher 412 und das Verwenden davon einschließen, bei dem es sich um einen Direktzugriffsspeicher (random access memory - RAM), ein Plattenlaufwerk, einen Flash-Speicher, einen Compact-Disc-Festwertspeicher (Compact Disc Read Only Memory - CD-ROM) und/oder eine andere Hardwarevorrichtung handeln kann, die in der Lage ist, Anweisungen und Daten zu speichern. Die Hardwareinstanzen 414 können eine Plattenlaufwerkseinheit 416 beinhalten, die ein computerlesbares Speichermedium 418 umfasst, auf dem ein oder mehrere Sätze von Anweisungen 420 (z. B. Softwarecode) gespeichert sind, die dazu konfiguriert sind, eine oder mehrere der in dieser Schrift beschriebenen Methodiken, Prozeduren oder Funktionen umzusetzen. Die Anweisungen 420 können sich zudem vollständig oder mindestens teilweise innerhalb des Speichers 412 und/oder innerhalb der CPU 406 während der Ausführung davon durch die Rechenvorrichtung 400 befinden. Der Speicher 412 und die CPU 406 können zudem maschinenlesbare Medien darstellen. Der Ausdruck „maschinenlesbare Medien“ kann sich im vorliegenden Zusammenhang auf ein einzelnes Medium oder mehrere Medien beziehen (z. B. eine zentralisierte oder verteilte Datenbank und/oder assoziierte Cache-Speicher und Server), welche den einen oder die mehreren Sätze von Anweisungen 420 speichern. Der Ausdruck „maschinenlesbare Medien“ bezieht sich im vorliegenden Zusammenhang zudem auf ein beliebiges Medium, das dazu in der Lage ist, einen Satz von Anweisungen 420 zur Ausführung durch die Rechenvorrichtung 400 zu speichern, zu codieren oder zu tragen, und das die Rechenvorrichtung 400 dazu veranlasst, eine beliebige oder mehreren der Methodiken der vorliegenden Offenbarung durchzuführen.
Unter nunmehriger Bezugnahme auf 5 ist ein Blockdiagramm bereitgestellt, das nützlich ist, um zu verstehen, wie eine Bewegung eines autonomen Roboters (z. B. eines AV) und/oder einer anderen mobilen Plattform gemäß der vorliegenden Lösung erreicht werden kann. Alle in den Blöcken 502-512 durchgeführten Vorgänge können durch die bordeigene Rechenvorrichtung des autonomen Roboters (z. B. des AV 102₁ aus 1) und/oder einer anderen mobilen Plattform durchgeführt werden.
In Block 502 wird ein Standort des autonomen Roboters (z. B. des AV 102₁ aus 1) detektiert. Diese Detektion kann auf Grundlage von Sensordaten erfolgen, die von einem Standortsensor (z. B. dem Standortsensor 260 aus 2) des autonomen Roboters ausgegeben werden. Diese Sensordaten können unter anderem GPS-Daten beinhalten. Der detektierte Standort des autonomen Roboters wird dann an Block 506 weitergeleitet.
In Block 504 wird ein Objekt (z. B. das Fahrzeug 102₂ aus 1) in der Nähe des autonomen Roboters (z. B. <100+ Meter) detektiert. Diese Detektion erfolgt auf Grundlage von Sensordaten, die von (einer) Kamera(s) (z. B. der/den Kamera(s) 262 aus 2) des autonomen Roboters oder einer anderen Vorrichtung und/oder einem LiDAR-System (z. B. dem LiDAR-Sensorsystem 264 aus 2) des autonomen Roboters oder einer anderen Vorrichtung ausgegeben werden. Zum Beispiel wird eine Bildverarbeitung durchgeführt, um eine Instanz eines Objekts einer gewissen Klasse (z. B. ein Fahrzeug oder einen Fußgänger) in einem oder mehreren Bildern zu detektieren. LiDAR-Datensätze werden zudem verarbeitet, um Instanzen von Objekten gewisser Klassen zu detektieren, die durch Punktwolkendaten dargestellt sind. Eine derartige Sensordatenverarbeitung kann unter Verwendung von Algorithmen für maschinelles Lernen erreicht werden, die auf Grundlage von Pfaden trainiert werden, die Quader umfassen, die gemäß der vorliegenden Lösung erzeugt/produziert werden. Die Algorithmen für maschinelles Lernen sind dazu trainiert, Muster in Bildern und/oder LiDAR-Datensätzen zu detektieren, die Objekte einer gegebenen Klasse (z. B. ein Fahrzeug oder einen Fußgänger) identifizieren. Hier kann ein beliebiger Algorithmus für maschinelles Lernen verwendet werden. Zum Beispiel werden hier einer oder mehrere der folgenden Algorithmen für maschinelles Lernen eingesetzt: überwachtes Lernen; unüberwachtes Lernen; halbüberwachtes Lernen; und bestärkendes Lernen.
Zusätzlich wird in Block 504 eine vorhergesagte Bewegungsbahn für das Objekt bestimmt. Die Bewegungsbahn des Objekts wird in Block 504 auf Grundlage von Ergebnissen der Algorithmen für maschinelles Lernen (z. B. einer Objektklasse), einer Quadergeometrie, eines Pfads (definiert durch Quader im Zeitverlauf) und/oder Inhalten einer Karte 518 (z. B. eine Straßen-/Geländekarte 270 aus 2, die Informationen beinhaltet, die Gehwegstandorte, Fahrstreifenstandorte, Fahrstreifenfahrtrichtungen, Fahrregeln usw. spezifizieren) vorhergesagt.
Die Quadergeometrie wird unter Verwendung des LiDAR-Datensatzes, der Bilder und/oder der Karte 518 bestimmt. Techniken zum Vorhersagen von Objektbewegungsbahnen auf Grundlage von Quadergeometrien sind auf dem Fachgebiet hinreichend bekannt. Eine beliebige bekannte oder in Zukunft bekannte Technik zum Vorhersagen von Objektbewegungsbahnen auf Grundlage von Quadergeometrien kann in dieser Schrift ohne Einschränkung verwendet werden. Zum Beispiel beinhaltet eine Technik das Vorhersagen, dass sich das Objekt auf einem linearen Pfad in die gleiche Richtung wie die Kursrichtung des Quaders bewegt. Die vorhergesagten Objektbewegungsbahnen können unter anderem die folgenden Bewegungsbahnen beinhalten:

• eine Bewegungsbahn, die durch die tatsächliche Geschwindigkeit (z. B. 1 Meile pro Stunde) und die tatsächliche Fahrtrichtung (z. B. westlich) des Objekts definiert ist;
• eine Bewegungsbahn, die durch die tatsächliche Geschwindigkeit (z. B. 1 Meile pro Stunde) des Objekts und eine andere mögliche Fahrtrichtung (z. B. südlich oder südwestlich oder X (z. B. 40°) Grad von der tatsächlichen Fahrtrichtung des Objekts in einer Richtung hin zu dem autonomen Roboter) für das Objekt definiert ist;
• eine Bewegungsbahn, die durch eine andere mögliche Geschwindigkeit für das Objekt (z. B. 2-10 Meilen pro Stunde) und die tatsächliche Fahrtrichtung (z. B. westlich) des Objekts definiert ist; und/oder
• eine Bewegungsbahn, die durch eine andere mögliche Geschwindigkeit für das Objekt (z. B. 2-10 Meilen pro Stunde) und eine andere mögliche Fahrtrichtung (z. B. südlich oder südwestlich oder X (z. B. 40°) Grad von der tatsächlichen Fahrtrichtung des Objekts in einer Richtung hin zu dem autonomen Roboter) für das Objekt definiert ist.

Die mögliche(n) Geschwindigkeit(en) und/oder mögliche(n) Fahrtrichtung(en) können für Objekte in der gleichen Klasse und/oder Unterklasse wie das Objekt vordefiniert sein. Es ist erneut anzumerken, dass der Quader eine vollständige Ausdehnung des Objekts und eine Kursrichtung des Objekts definiert. Der Kursrichtung definiert eine Richtung, in welche die Vorderseite des Objekts gerichtet ist, und stellt daher eine Angabe der tatsächlichen und/oder möglichen Fahrtrichtung für das Objekt bereit.
Informationen 520, welche die vorhergesagte Bewegungsbahn des Objekts und die Quadergeometrie spezifizieren, werden Block 506 bereitgestellt. In einigen Szenarien wird eine Klassifizierung des Objekts ebenfalls an Block 506 weitergeleitet. In Block 506 wird eine Plattformbewegungsbahn unter Verwendung der Informationen aus den Blöcken 502 und 504 erzeugt. Techniken zum Bestimmen einer Plattformbewegungsbahn unter Verwendung von (einem) Quader(n) sind auf dem Fachgebiet hinreichend bekannt. Eine beliebige bekannte oder in Zukunft bekannte Technik zum Bestimmen einer Plattformbewegungsbahn unter Verwendung von (einem) Quader(n) kann in dieser Schrift ohne Einschränkung verwendet werden. Zum Beispiel schließt eine derartige Technik in einigen Szenarien das Bestimmen einer Bewegungsbahn für den autonomen Roboter ein, die an dem Objekt vorbeifahren würde, wenn sich das Objekt vor dem autonomen Roboter befindet, wobei der Quader eine Kursrichtung aufweist, die an der Richtung ausgerichtet ist, in die sich der autonome Roboter bewegt, und der Quader eine Länge aufweist, die größer als ein Schwellenwert ist. Die vorliegende Lösung ist nicht auf die Einzelheiten dieses Szenarios beschränkt. Die Plattformbewegungsbahn 508 kann auf Grundlage der Standortinformationen aus Block 502, der Objektdetektionsinformationen aus Block 504 und/oder der Karte 518 (die vorab in einem Datenspeicher des autonomen Roboters gespeichert sein kann) bestimmt werden. Die Plattformbewegungsbahn 508 kann einen gleichmäßigen Weg darstellen, der keine abrupten Änderungen aufweist, die den Fahrgästen sonst Unbehagen bereiten würden. Zum Beispiel ist die Plattformbewegungsbahn durch einen Fahrweg entlang eines gegebenen Fahrstreifens einer Straße definiert, auf dem sich das Objekt der Vorhersage nach innerhalb eines gegebenen Zeitraums nicht bewegt. Die Plattformbewegungsbahn 508 wird dann Block 510 bereitgestellt.
In Block 510 wird ein Lenkwinkel- und Geschwindigkeitsbefehl auf Grundlage der Plattformbewegungsbahn 508 erzeugt. Der Lenkwinkel- und Geschwindigkeitsbefehl wird Block 512 zur Plattformdynamiksteuerung bereitgestellt, d. h., der Lenkwinkel- und Geschwindigkeitsbefehl veranlasst den autonomen Roboter dazu, der Plattformbewegungsbahn 508 zu folgen.
Veranschaulichende Verfahren
Unter nunmehriger Bezugnahme auf 6 ist ein Ablaufdiagramm eines veranschaulichenden Verfahrens 600 zum Trainieren eines Algorithmus und/oder zum Betreiben einer mobilen Plattform gemäß der vorliegenden Lösung bereitgestellt. Das Verfahren 600 beginnt mit 602 und geht zu 604 über, wo eine mobile Plattform (z. B. ein autonomer Roboter, wie etwa das AV 102₁ aus 1) Vorgänge durchführt, um mindestens ein Bild aufzunehmen und/oder mindestens einen LiDAR-Datensatz zu erzeugen. Das/die Bild(er) und/oder der/die LiDAR-Datensatz/-sätze wird/werden in 606 an eine oder mehrere Rechenvorrichtungen (z. B. die entfernte Rechenvorrichtung 110 aus 1 und/oder die bordeigene Rechenvorrichtung 220 des Fahrzeugs aus 2) kommuniziert.
An der/den Rechenvorrichtung(en) wird/werden der/die LiDAR-Datensatz/-sätze in (einem) 3D-Diagramm(en) aufgetragen, wie durch 608 gezeigt. Jedes 3D-Diagramm weist eine x-Achse, eine y-Achse und eine z-Achse auf, wobei ein Ursprung an einer Mitte eines LiDAR-Sensors definiert ist, wobei die x-Achse nach vom zeigt und die z-Achse nach oben zeigt. Eine Veranschaulichung eines LiDAR-Datensatzes 702, der in einem Diagramm 700 aufgetragen ist, ist in 7 bereitgestellt. Insbesondere zeigt das Diagramm 700 zur Vereinfachung der Veranschaulichung nur die 2D-Ansicht von der x-Achse und der z-Achse. Techniken zum Auftragen von LiDAR-Datensätzen in 3D-Diagrammen sind auf dem Fachgebiet hinreichend bekannt und werden daher hier nicht beschrieben. Hier kann eine beliebige bekannte oder in Zukunft bekannte Technik zum Auftragen von LiDAR-Datensätzen in 3D-Diagrammen verwendet werden.
Das/die Bild(er) und/oder das/die 3D-Diagramm(e) werden in 610 verwendet, um ein Objekt zu detektieren, das sich in der Nähe der mobilen Plattform befindet. Diese Detektion kann manuell durch eine Person oder automatisch/automatisiert durch die Rechenvorrichtung(en) erfolgen. In den manuellen Szenarien analysieren eine oder mehrere Personen die 3D-Diagramme, die auf einem Bildschirm der Rechenvorrichtung(en) angezeigt werden, um Datenpunkte zu identifizieren, die ein Objekt zu definieren scheinen. In den automatischen/automatisierten Szenarien kann/können die Rechenvorrichtung(en) einen beliebigen bekannten oder in Zukunft bekannten Algorithmus einsetzen, um Datenpunkte zu identifizieren, die ein Objekt zu definieren scheinen. Hier können Algorithmen für maschinelles Lernen verwendet werden, um die Objektdetektion(en) und/oder - klassifizierung(en) zu ermöglichen. Derartige Algorithmen für maschinelles Lernen sind hinreichend bekannt.
Der/die Pfad(e) wird/werden bei 612 unter Verwendung eines interaktiven Trackers, der Bilder, der LiDAR-Datensätze und/oder der 3D-Diagramme definiert. Vorgänge des interaktiven Trackers werden nachstehend in Bezug auf die 8-10 detailliert erörtert. Jeder Pfad umfasst eine Vielzahl von Quadern, die zeitlich angeordnet ist. Jeder Quader umfasst einen ausgerichteten 3D-Begrenzungsrahmen, der (i) eine Kursrichtung des Objekts (z. B. des Objekts 102₂ aus 1), (ii) die vollständige Ausdehnung des Objekts (z. B. des Objekts 102₂ aus 1) und/oder den Mittelpunkt/Schwerpunkt des Objekts darstellt. In dieser Hinsicht umschließt der Quader die LiDAR-Datenpunkte in dem 3D-Diagramm, die mit einem gegebenen Objekt assoziiert sind.
Eine Veranschaulichung, die einen Quader 704 zeigt, der in einem Diagramm 700 definiert ist, ist in 7 bereitgestellt. Wie in 7 gezeigt, befinden sich Datenpunkte eines LiDAR-Datensatzes 702 innerhalb des Quaders 704. Insbesondere stehen die Kanten 706, 708, 710, 712 des Quaders in Berührung oder anderweitig in Kontakt mit den Datenpunkten des LiDAR-Datensatzes 702. Die vorliegende Lösung ist nicht auf die Einzelheiten dieses Veranschaulichung beschränkt.
Die Quader des Pfads/der Pfade und/oder des 3D-Diagramms/der 3D-Diagramme werden dann bei 614 verwendet, um einen Algorithmus für maschinelles Lernen zu Objektdetektions-/- klassifizierungszwecken, Bewegungsvorhersagezwecken und/oder Bewegungsplanungszwecken zu trainieren (z. B., um Vorhersagen bezüglich der Bewegungsbahnen für Objekte zu treffen). Der/die Pfad(e) kann/können zusätzlich oder alternativ verwendet werden, um einen anderen Algorithmus/andere Algorithmen zu trainieren, wie etwa einen Pfadvalidierungsalgorithmus. Verfahren zum Trainieren von Algorithmen unter Verwendung von (einem) Pfad(en), Quader(n) und 3D-Diagrammen sind hinreichend bekannt.
Der trainierte Algorithmus/die trainierten Algorithmen kann/können anschließend verwendet werden, um bewegungsbezogene Vorgänge der mobilen Plattform oder einer anderen mobilen Plattform zu ermöglichen (z. B. fahrbezogene Vorgänge des AV 102₁ aus 1 oder Gelenksteuervorgänge eines Gelenkarms). Zum Beispiel kann/können der trainierte Algorithmus/die trainierten Algorithmen zur Objektdetektion und/oder Objektklassifizierung verwendet werden, wie durch 616 gezeigt. In 618 kann die vorhergesagte Bewegungsbahn eines Objekts auf Grundlage von Ergebnissen der Objektdetektions-/Objektklassifizierungsvorgänge bestimmt werden. Zusätzlich oder alternativ kann eine Bewegungsbahn für die mobile Plattform oder die andere mobile Plattform auf Grundlage von Ergebnissen der Vorgänge zur Objektdetektion/Objektklassifizierung/Objektbewegungsbahnerzeugung bestimmt werden. Es kann veranlasst werden, dass die mobile Plattform oder die andere mobile Plattform der Bewegungsbahn folgen, wie durch 620 gezeigt. Anschließend wird 622 durchgeführt, wo das Verfahren 600 endet oder andere Vorgänge durchgeführt werden (z. B. Rückkehr zu 602).
Unter nunmehriger Bezugnahme auf 8 ist ein Ablaufdiagramm zum Erzeugen von (einem) Pfad(en) gemäß der vorliegenden Lösung bereitgestellt. Wie in 8 gezeigt, beginnt der Vorgang 612 aus 6 mit 802 und geht zu 804 über, wo eine LiDAR-Punktwolke zu einem gegebenen Zeitpunkt ausgewählt wird (z. B. manuell durch eine Person, die Benutzer-Software-Interaktionen durchführt, oder automatisch/automatisiert durch eine Rechenvorrichtung). In einigen Szenarien wird die LiDAR-Punktwolke verarbeitet, um Bodenpunkte daraus zu entfernen oder anderweitig zu filtern. Die Bodenpunkte können unter Verwendung von Inhalt einer Straßen-/Geländekarte, einer bekannten Sensorhöhe und/oder eines Ebenenanpassungsalgorithmus identifiziert werden. Straßen-/Geländekarten sind hinreichend bekannt. Die LiDAR-Punktwolke wird in einen oder mehrere Partikelfilteralgorithmen eingegeben, wie durch 806 gezeigt.
Jeder Partikelfilteralgorithmus verwendet einen Satz von Partikeln (oder Proben), um eine A-posteriori-Verteilung eines stochastischen Prozesses in Anbetracht von verrauschten und/oder partiellen Beobachtungen darzustellen. Zum Beispiel ist jeder Partikelfilteralgorithmus dazu konfiguriert, Zustände eines gegebenen Objekts im Zeitverlauf zu erzeugen, wobei jeder Zustand durch eine Position, eine Geschwindigkeit und eine Kursrichtung für das gegebene Objekt zu einem konkreten Zeitpunkt definiert ist. Somit ist jeder Partikelfilteralgorithmus dazu konfiguriert, einen Quader c für eine Vielzahl von aufeinanderfolgenden Zeitpunkten t₀, t₁, ..., t_m zu erzeugen. Jeder Quader umfasst eine Position, eine Geschwindigkeit und eine Kursrichtung. Somit können die Quader verwendet werden, um einen Satz von Zuständen für das Objekt zu erzeugen.
Eine Veranschaulichung, die einen Satz von Quadern 1300 zeigt, der durch einen Partikelfilteralgorithmus erzeugt wird, ist in 13 bereitgestellt. Der Satz 1300 umfasst die Quader c₁, c₂, ..., c₁₀, die Datenpunkte 1304 der LiDAR-Punktwolke 1306 einschließen. Die vorliegende Lösung ist in dieser Hinsicht nicht beschränkt. Der Satz kann eine beliebige Anzahl von Quadern gemäß einer gegebenen Anwendung beinhalten. Die Art und Weise, auf welche die Quader durch den Partikelfilteralgorithmus/die Partikelfilteralgorithmen erzeugt werden, wird im Verlauf der Erörterung ersichtlich.
Ein Pfad T für ein gegebenes Objekt wird in 810 unter Verwendung der in 808 erzeugten Quader definiert. Beispielsweise ist der Pfad T so definiert, dass er einige oder alle Quader c₁, c₂, ..., c₁₀ umfasst, die in 13 gezeigt sind. Der Pfad T kann optional validiert werden, wie durch 812 gezeigt. Wenn der Pfad validiert wird, dann wird der Pfad zur anschließenden Verwendung beim Trainieren von (einem) Algorithmus/Algorithmen für maschinelles Lernen und/oder (einem) anderen Algorithmus/Algorithmen gespeichert. Wenn der Pfad im Gegensatz dazu nicht validiert wird, dann kann der Pfad auf eine solche Weise verworfen oder gespeichert werden (z. B. wird eine Markierung auf einen gegebenen Wert festgelegt), dass er nicht verwendet wird, um anschließend den/die Algorithmus/Algorithmen für maschinelles Lernen und/oder den/die anderen Algorithmus/Algorithmen zu trainieren.
Die Pfadvalidierung kann gemäß dem in 11 gezeigten Prozess erreicht werden. Insbesondere kann 812 Folgendes einschließen: Verwenden eines Punktwolkenakkumulators in 1104, um den Pfad zu validieren und/oder (einen) andere(n) Pfad(e) zu identifizieren, und/oder Durchführen einer Zeitanalyse in 1106 der Quader, die den Pfad definieren, um zu detektieren, ob Anomalien in Bezug auf die Zeitsequenz der Quader bestehen. Die Anomalien können unter anderem Fälle beinhalten, in denen ein Quader der Spur keine LiDAR-Datenpunkte umgibt, und/oder Fälle, in denen sich eine Kursrichtung eines Quaders in dem Pfad von einer erwarteten Kursrichtung für das Objekt unterscheidet. Es ist hinreichend bekannt, dass Punktwolkenakkumulatoren Vorgänge durchführen, welche die Akkumulation von LiDAR-Datenpunkten über aufeinanderfolgende Frames und/oder Quader in einem Pfad beinhalten. Der Punktwolkenakkumulator kann ein korrekt verfolgtes Objekt validieren, indem er ein klares „Bild“ des Objekts zeigt. Unscharfe oder verwischte Punktwolken stellen ein Versagen dar.
Wie in 8 gezeigt, geht das Verfahren 800 zu 814 über, wobei (ein) Pfad(e) für (eine) Zeitteilsequenz(en) erzeugt werden können, indem eine weitere Iteration von mindestens 806-810 durchgeführt wird. Anschließend wird 816 durchgeführt, wenn das Verfahren 800 endet oder andere Vorgänge durchgeführt werden (z. B. Rückkehr zu 806 zum Erzeugen eines nächsten Pfads für das gleiche oder ein anderes Objekt).
Unter Bezugnahme auf 9 ist ein Ablaufdiagramm eines veranschaulichenden Verfahrens bereitgestellt, das nützlich ist, um zu verstehen, wie Quader gemäß dem/den Partikelfilteralgorithmus/-algorithmen der vorliegenden Lösung erzeugt werden. Der Prozess aus 9 kann in Block 808 aus 8 durchgeführt werden.
Die Vorgänge des/der konkreten Filteralgorithmus/-algorithmen beginnen bei 902 und gehen zu 904 über, wo eine Definition eines Partikels bereitgestellt wird. Ein Partikel ist als ein Quader mit einer Position, einer Geschwindigkeit und einer Kursrichtung definiert. Die Quaderposition kann in zwei Dimensionen oder drei Dimensionen ausgedrückt werden. In dem zweidimensionalen Szenario umfasst die Quaderposition eine x-Achsen-Koordinate für einen Mittelpunkt davon Mittelpunkt_x und eine y-Achsen-Koordinate für den Mittelpunkt davon Mittelpunkt_y. In dem dreidimensionalen Szenario ist auch eine z-Achsen-Koordinate für den Mittelpunkt des Quaders bereitgestellt. Die z-Achsen-Koordinate Mittelpunkt_z kann als die Höhe des Mittelpunkts des Quaders relativ zu einer Bodenoberfläche bestimmt sein, die in einer Karte (z. B. der Straßen-/Geländekarte 270 aus 2) spezifiziert ist. Die Geschwindigkeit des Quaders ist durch eine x-Achsen-Koordinate Geschwindigkeit_x und eine y-Achsen-Koordinate Geschwindigkeit_y definiert. Die Kursrichtung ist durch einen Winkel Winkel_h definiert.
In 906 wird ein anfänglicher Quader c_anfänglich unter Verwendung der LiDAR-Punktwolke erzeugt. Ein Satz S wird mit dem anfänglichen Quader als sein einziges Element definiert (d. h. S = {c_anfänglich}). Der anfängliche Quader weist eine Position p, eine Geschwindigkeit v und einen Kursrichtungswinkel a auf (d. h. c_anfänglich = {p_anfänglich, v_anfänglich, a_anfänglich}). Der anfängliche Quader kann gemäß bekannten oder in der Zukunft bekannten Techniken konstruiert sein. Zum Beispiel wird in einigen Szenarien der anfängliche Quader durch Folgendes konstruiert: Erhalten vordefinierter Quaderabmessungen (einer Länge, einer Breite, einer Höhe); und Festlegen eines Mittelpunkts eines Quaders gleich eines Mittelpunkts der LiDAR-Datenpunkte, die mit dem in 610 detektierten Objekt assoziiert sind. Der Quader kann eine 3D-Form umfassen, die (i) einen gegebenen Prozentsatz (z. B. > 90 %) der LiDAR-Datenpunkte eines Objekts und/oder (ii) keine oder eine minimale Anzahl der LiDAR-Datenpunkte für andere Objekte (wobei jedoch die Einbeziehung von LiDAR-Datenpunkten für die Bodenfläche ermöglicht wird) umschließt. In anderen Szenarien wird der anfängliche Quader durch Folgendes konstruiert: Fusionieren der LiDAR-Punktwolke, einer Vektorkarte und einer visuellen Kursrichtung; und Definieren eines Quaders entlang der visuellen Kursrichtung mit einer höchsten Wahrscheinlichkeit. Die Vektorkarte kann eine Fahrstreifenrichtung enthalten, die eine starke Angabe für eine Kursrichtung des Quaders bereitstellt. Die visuelle Kursrichtung kann für ein Objekt aus (einem) Kamerabild(ern) geschätzt werden. Andere Vorgänge können durchgeführt werden, wie etwa: Transformieren der Koordinaten des Quaders aus einem ersten Koordinatensystem in ein zweites anderes Koordinatensystem; und/oder Einstellen der Koordinaten der Quaderecken, um Minimalwerte zum Umschließen einer gegebenen Anzahl von LiDAR-Datenpunkten für das Objekt (mit einer Toleranz für Ausreißer-LiDAR-Datenpunkte) aufzuweisen. Das erste Koordinatensystem kann ein LiDAR-System/Sensorkoordinatensystem umfassen, d. h. ein xyz-Koordinatensystem, das einen Ursprung der drei Achsen an einem Mittelpunkt eines LiDAR-Systems/Sensormittelpunkts aufweist. Das zweite Koordinatensystem kann ein xyz-Koordinatensystem umfassen, das einen Ursprung der drei Achsen an einem Mittelpunkt eines Objekts aufweist, wobei die x-Achse nach vorn (d. h. hin zu der Kursrichtung des Objekts) zeigt und die z-Achse nach oben zeigt. Toleranzschwellenwerte müssen möglicherweise erfüllt werden. Zum Beispiel müssen 95 % aller LiDAR-Datenpunkte für das Objekt in dem Quader beinhaltet sein. Die vorliegende Lösung ist nicht auf die Einzelheiten dieser Beispiele beschränkt.
Bei 908 werden ein Beschleunigungswert a und ein Winkelgeschwindigkeitswert ω für jedes Element des Satzes S zu mehreren Zeitpunkten t₀, ..., t_g. ausgewählt. Der Beschleunigungswert kann durch einen x-Achsen-Wert a_x und einen y-Achsen-Wert a_y definiert sein. Diese Werte a_x, a_y und ω können unter Verwendung eines Zufallszahlengenerators (z. B. eines Gauß-Zufallszahlengenerators), eines Pseudozufallszahlengenerators und/oder eines chaotischen Zahlengenerators zufällig ausgewählt werden. Da der Satz S ein einzelnes Element c_anfänglich aufweist, werden ein Beschleunigungswert a_anfänglich und ein Winkelgeschwindigkeitswert ω_anfänglich in 908 beispielsweise zu den Zeitpunkten t₀, ..., t_g ausgewählt (z. B. a_{anfänglich-t0}, ..., a_{anfänglich-tg} und ω_{anfänglich-t0}, ..., ω_{anfänglich-tg}). Die vorliegende Lösung ist in dieser Hinsicht nicht beschränkt.
In 910 wird ein Satz C von Quadern unter Verwendung des Satzes S, des Beschleunigungswerts/der Beschleunigungswerte (z. B. a_{anfänglich-t0}, ..., a_{anfänglich-tg}) und des Winkelgeschwindigkeitswerts/der Winkelgeschwindigkeitswerte (z. B. ω_{anfänglich-t0}, ..., ω_{anfänglich-tg}) erstellt. Jeder Beschleunigungswert spezifiziert, wie eine Geschwindigkeit eines Quaders im Satz S (z. B. c_anfänglich) zu ändern ist, um einen anderen Quader zu definieren, und der Winkelgeschwindigkeitswert spezifiziert, wie die Kursrichtung des Quaders im Satz S (z. B. c_anfänglich) zu ändern ist, um den anderen Quader zu definieren. Somit ist jeder Übergang für den Partikelfilteralgorithmus gegeben durch die Beschleunigung a_x (Varianz VAX), die Beschleunigung a_y (Varianz VAY) und die Winkelgeschwindigkeit ω (Varianz VAV). a_x, a_y und ω können so modelliert werden, dass sie aus einer Gauß-Verteilung mit einem Mittelwert von null stammen. Die Varianzen VAX, VAY und VAV sind Hyperparameter. Insbesondere kann der Winkelgeschwindigkeitsparameter VAV Steifigkeit oder Abbiegefreiheit verleihen. Zwei Hyperparametersätze werden so gewählt, dass sie zum Abbiegen oder gerade sind, wobei die gerade eine größere Steifigkeit aufweist und Abbiegen für Abbiegungen erforderlich ist.
Eine Veranschaulichung ist in 12 bereitgestellt, die LiDAR-Daten zeigt, die durch eine mobile Plattform 1200 (z. B. das AV 102₁ aus 1) gesammelt werden. Die LiDAR-Daten definieren LiDAR-Punktwolken 1202. Ein Quader 1204 wird durch den Partikelfilteralgorithmus erstellt. Der Quader 1204 kann in dem Satz 1300 aus 13 beinhaltet sein. Der in 910 erzeugte Satz C kann den Satz 1300 aus 13 beinhalten. Die vorliegende Lösung ist nicht auf die Einzelheiten dieser Veranschaulichungen beschränkt.
Unter erneuter Bezugnahme auf 9 geht der Prozess zu 912 über, wo eine Bewertung l für jeden Quader des Satzes C bestimmt wird. Die Bewertung l gibt eine Wahrscheinlichkeit an, dass ein Quader in Anbetracht des bei 908 ausgewählten Beschleunigungswerts, des bei 908 ausgewählten Winkelgeschwindigkeitswerts und der in den Partikelfilteralgorithmus eingegebenen LiDAR-Punktwolke erstellt wird. Die Bewertung l kann eine Summe von log-Wahrscheinlichkeiten von a_x, a_y und v_Winkel aller LiDAR-Datenpunkte in einem gegebenen Quader umfassen. Die Bewertung l kann durch die folgende mathematische Gleichung (1) definiert sein. $l = log L (a_{x}) + log L (a_{y}) + log L (v_{W i n k e l})$
Wenn zum Beispiel zehn Quader c₁, c₂, ..., c₁₀ im Satz C vorhanden sind, wie in 13 gezeigt, dann werden zehn Bewertungen l₁, l₂, ..., l₁₀ in 912 bestimmt oder berechnet. Die Wahrscheinlichkeitswerte können wie folgt berechnet werden: die x-Beschleunigung sei aus Gauß(0,sigma_a_x) gewählt; die y-Beschleunigung sei aus Gauß(0,sigma_a_y) gewählt; die Winkelgeschwindigkeit sei aus Gauß(0,sigma_a_v) gewählt; die log-Wahrscheinlichkeit der x-Beschleunigung in Abhängigkeit von q wird gemäß der mathematischen Gleichung log(Gauß(0,sigma_a_x)(q)) berechnet; die log-Wahrscheinlichkeit der y-Beschleunigung in Abhängigkeit von q wird gemäß der mathematischen Gleichung log(Gauß(0,sigma_a_y)(q)) berechnet; und die log-Wahrscheinlichkeit der Winkelgeschwindigkeit in Abhängigkeit von q wird gemäß der mathematischen Gleichung log(Gauß(0,sigma_a_v)(q)) berechnet. Ein finaler Term der log-Wahrscheinlichkeit (d. h., die Wahrscheinlichkeit der Punktwolke) kann durch Berechnen einer negativen Summe der quadrierten Distanz jedes Punkts zu der nächstgelegenen Kante bestimmt werden.
Ein veranschaulichender Prozess zum Bestimmen der Bewertung l ist in 10 bereitgestellt. Der Prozess schließt das Durchführen der folgenden Vorgänge der Blöcke 1004-1008 ein: Festlegen eines Bewertungswerts für einen gegebenen Quader gleich null (d. h. l = 0); Erzeugen einer ersten eingestellten Bewertung durch Addieren, zu dem Bewertungswert, einer Wahrscheinlichkeit, die Beschleunigung und die Winkelgeschwindigkeit (z. B. l, bei 912 bestimmt), die mit dem gegebenen Quader assoziiert sind, in einem gegebenen Kontext zu sehen (z. B. einem Kontext, der durch Umstände spezifiziert ist, die eine Festlegung für ein Ereignis bilden, wie etwa eine Objektbewegung innerhalb von (einem) Fahrstreifen, (einem) Fußgängerüberweg(en) und/oder (einem) Gehweg(en)); und Erzeugen eines zweiten eingestellten Bewertungswerts durch Addieren, zu dem ersten eingestellten Bewertungswert, einer negativen quadrierten Distanz von jedem LiDAR-Datenpunkt (z. B. dem LiDAR-Datenpunkt 714 aus 7) zu einer nächstgelegenen Kante (z. B. der Kante 710 aus 7) des gegebenen Quaders (z. B. des Quaders 704 aus 7).
Wie in 9 gezeigt, wird bei 914 eine maximale Bewertung l_max identifiziert. Die maximale Bewertung l_max umfasst die Bewertung (z. B. Bewertung l₂) mit dem höchsten oder größten Wert aller anderen Bewertungen, die bei 912 bestimmt wurden (z. B. Bewertungen l₁, l₃, ..., l₁₀). Als Nächstes führt die Rechenvorrichtung bei 916 Vorgänge durch, um Bewertungen zu identifizieren, die kleiner als eine Zahl T sind, die durch die folgende mathematische Gleichung (2) definiert ist. $T = l_{m a x} - S W$
wobei SW einen Schwellenwert darstellt, der vordefiniert sein oder auf Grundlage von gewissen Kriterien (z. B. a_x, a_y, v_Winkel, einer Art des Partikelfilteralgorithmus, einer Anzahl an Punkten in der LiDAR-Punktwolke, einer Anzahl an LiDAR-Datenpunkten in den Quadern usw.) dynamisch bestimmt werden kann. Bei 918 werden Quader aus dem Satz C entfernt, die mit den in 916 identifizierten Bewertungen assoziiert sind (z. B. die Bewertungen, die kleiner als die maximale Bewertung minus einem Schwellenwert sind). Zum Beispiel wird unter Bezugnahme auf 13 der Satz C von zehn Quadern auf acht Quader reduziert. Die vorliegende Lösung ist in dieser Hinsicht nicht beschränkt.
Wie durch 920 gezeigt, kann der Prozess zu 910 zurückkehren, sodass die Partikelfiltervorgänge für jeden Frame der LiDAR-Punktwolkendaten wiederholt werden. Anschließend wird 922 durchgeführt, wo der Prozess endet oder andere Vorgänge durchgeführt werden.
Obwohl die vorliegende Lösung in Bezug auf eine oder mehrere Umsetzungen veranschaulicht und beschrieben wurde, werden sich anderen Fachleuten beim Lesen und Verstehen dieser Beschreibung und der beigefügten Zeichnungen äquivalente Änderungen und Modifikationen ergeben. Während ein konkretes Merkmal der vorliegenden Lösung in Bezug auf nur eine von mehreren Umsetzungen offenbart worden sein kann, kann ein derartiges Merkmal zusätzlich mit einem oder mehreren anderen Merkmalen der anderen Umsetzungen kombiniert werden, wie dies für eine beliebige gegebene oder konkrete Anwendung gewünscht und vorteilhaft sein kann. Somit sollen die Breite und der Umfang der vorliegenden Lösung nicht durch beliebige der vorstehend beschriebenen Ausführungsformen beschränkt sein. Vielmehr sollte der Umfang der vorliegenden Lösung gemäß den folgenden Patentansprüchen und ihren Äquivalenten definiert sein.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17371637 [0001]

Claims

Verfahren zum Betreiben einer mobilen Plattform, umfassend: Erhalten, durch eine Rechenvorrichtung, einer LiDAR-Punktwolke; Verwenden, durch die Rechenvorrichtung, der LiDAR-Punktwolke, um einen Pfad für ein gegebenes Objekt gemäß einem Partikelfilteralgorithmus zu erzeugen, indem Zustände eines gegebenen Objekts im Zeitverlauf erzeugt werden, wobei jeder Zustand eine Bewertung aufweist, die eine Wahrscheinlichkeit angibt, dass ein Quader in Anbetracht eines Beschleunigungswerts und Winkelgeschwindigkeitswerts erstellt werden würde; und Verwenden, durch die Rechenvorrichtung, des Pfads, um einen Algorithmus für maschinelles Lernen zu trainieren, um Objekte auf Grundlage von Sensordaten zu detektieren und zu klassifizieren.
Verfahren nach Anspruch 1, ferner umfassend Veranlassen, dass der Algorithmus für maschinelles Lernen zum Steuern einer Bewegung der mobilen Plattform verwendet wird.
Verfahren nach Anspruch 1, wobei jeder Zustand durch eine Position, eine Geschwindigkeit und eine Kursrichtung für das gegebene Objekt zu einem konkreten Zeitpunkt definiert ist.
Verfahren nach Anspruch 1, wobei der Beschleunigungswert und der Winkelgeschwindigkeitswert Zufallszahlen umfassen.
Verfahren nach Anspruch 1, ferner umfassend Erzeugen der Bewertung durch: Festlegen eines Bewertungswerts für den Quader gleich null; Erzeugen einer ersten eingestellten Bewertung durch Addieren einer Wahrscheinlichkeit, den Beschleunigungswert und den Winkelgeschwindigkeitswert in einem Kontext zu sehen, zu dem Bewertungswert; und Erzeugen eines zweiten eingestellten Bewertungswerts durch Addieren einer negativen quadrierten Distanz von jedem Datenpunkt der LiDAR-Punktwolke zu einer nächstgelegenen Kante des Quaders zu dem ersten eingestellten Bewertungswert.
Verfahren nach Anspruch 1, wobei der Pfad ferner durch Erzeugen eines anfänglichen Quaders erzeugt wird, der mindestens einige Datenpunkte in der LiDAR-Punktwolke umschließt.
Verfahren nach Anspruch 6, wobei der Pfad ferner durch zufälliges Auswählen unterschiedlicher Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten erzeugt wird.
Verfahren nach Anspruch 7, wobei der Pfad ferner durch Erstellen eines Satzes von Quadern unter Verwendung des anfänglichen Quaders und der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten erzeugt wird.
Verfahren nach Anspruch 8, wobei der Pfad ferner durch Bestimmen einer Bewertung für jeden Quader des Satzes von Quadern erzeugt wird, die eine Wahrscheinlichkeit angibt, dass der Quader in Anbetracht des jeweiligen der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerte erstellt werden würde.
Verfahren nach Anspruch 9, wobei der Pfad ferner durch Folgendes erzeugt wird: Identifizieren von Bewertungen der Bewertungen, die kleiner als eine maximale Bewertung minus einem Schwellenwert sind; und Entfernen der Quader aus dem Satz von Quadern, die mit den identifizierten Bewertungen assoziiert sind.
System, umfassend: einen Prozessor; ein nicht transitorisches computerlesbares Speichermedium, das Programmieranweisungen umfasst, die dazu konfiguriert sind, den Prozessor dazu zu veranlassen, ein Verfahren zum Betreiben einer mobilen Plattform umzusetzen, wobei die Programmieranweisungen Anweisungen zu Folgendem umfassen: Erhalten einer LiDAR-Punktwolke; Verwenden der LiDAR-Punktwolke, um einen Pfad für ein gegebenes Objekt gemäß einem Partikelfilteralgorithmus zu erzeugen, indem Zustände eines gegebenen Objekts im Zeitverlauf erzeugt werden, wobei jeder Zustand eine Bewertung aufweist, die eine Wahrscheinlichkeit angibt, dass ein Quader in Anbetracht eines Beschleunigungswerts und Winkelgeschwindigkeitswerts erstellt werden würde; und Verwenden des Pfads, um einen Algorithmus für maschinelles Lernen zu trainieren, um Objekte auf Grundlage von Sensordaten zu detektieren und zu klassifizieren.
System nach Anspruch 11, wobei die Programmieranweisungen ferner Anweisungen umfassen zum Veranlassen, dass der Algorithmus für maschinelles Lernen zum Steuern einer Bewegung der mobilen Plattform verwendet wird.
System nach Anspruch 11, wobei jeder Zustand durch eine Position, eine Geschwindigkeit und eine Kursrichtung für das gegebene Objekt zu einem konkreten Zeitpunkt definiert ist.
System nach Anspruch 11, wobei die Programmieranweisungen ferner Anweisungen umfassen zum Erzeugen der Bewertung durch: Festlegen eines Bewertungswerts für den Quader gleich null; Erzeugen einer ersten eingestellten Bewertung durch Addieren einer Wahrscheinlichkeit, den Beschleunigungswert und den Winkelgeschwindigkeitswert in einem Kontext zu sehen, zu dem Bewertungswert; und Erzeugen eines zweiten eingestellten Bewertungswerts durch Addieren einer negativen quadrierten Distanz von jedem Datenpunkt der LiDAR-Punktwolke zu einer nächstgelegenen Kante des Quaders zu dem ersten eingestellten Bewertungswert.
System nach Anspruch 11, wobei der Pfad ferner durch Erzeugen eines anfänglichen Quaders erzeugt wird, der mindestens einige Datenpunkte in der LiDAR-Punktwolke umschließt.
System nach Anspruch 15, wobei der Pfad ferner durch zufälliges Auswählen unterschiedlicher Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten erzeugt wird.
System nach Anspruch 16, wobei der Pfad ferner durch Erstellen eines Satzes von Quadern unter Verwendung des anfänglichen Quaders und der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerten erzeugt wird.
System nach Anspruch 17, wobei der Pfad ferner durch Bestimmen einer Bewertung für jeden Quader des Satzes von Quadern erzeugt wird, die eine Wahrscheinlichkeit angibt, dass der Quader in Anbetracht des jeweiligen der unterschiedlichen Sätze von Beschleunigungs- und Winkelgeschwindigkeitswerte erstellt werden würde.
System nach Anspruch 18, wobei der Pfad ferner durch Folgendes erzeugt wird: Identifizieren von Bewertungen der Bewertungen, die kleiner als eine maximale Bewertung minus einem Schwellenwert sind; und Entfernen der Quader aus dem Satz von Quadern, die mit den identifizierten Bewertungen assoziiert sind.
Computerprogrammprodukt, umfassend einen Speicher und Programmieranweisungen, die dazu konfiguriert sind, einen Prozessor zu Folgendem zu veranlassen: Erhalten einer LiDAR-Punktwolke; Verwenden der LiDAR-Punktwolke, um einen Pfad für ein gegebenes Objekt gemäß einem Partikelfilteralgorithmus zu erzeugen, indem Zustände eines gegebenen Objekts im Zeitverlauf erzeugt werden, wobei jeder Zustand eine Bewertung aufweist, die eine Wahrscheinlichkeit angibt, dass ein Quader in Anbetracht eines Beschleunigungswerts und Winkelgeschwindigkeitswerts erstellt werden würde; und Verwenden des Pfads, um einen Algorithmus für maschinelles Lernen zu trainieren, um Objekte auf Grundlage von Sensordaten zu detektieren und zu klassifizieren.