DE102023130493A1

DE102023130493A1 - Systeme und verfahren zur platzierung von amodalisierung auf grundlage statischer detektion

Info

Publication number: DE102023130493A1
Application number: DE102023130493.3A
Authority: DE
Inventors: Andrew Haworth; Xiufeng Song
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2022-11-08
Filing date: 2023-11-03
Publication date: 2024-05-08
Also published as: US20240151817A1; CN118010039A

Abstract

In dieser Schrift sind Systeme, Verfahren und Computerprogrammprodukte zum Steuern einer mobilen Plattform offenbart. Die Verfahren umfassen Folgendes: Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader; Prüfen, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Überprüfens; und Veranlassen, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader den identifizierten Mittelpunkt aufweist.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft Systeme und Verfahren für Platzierung von Amodalisierung auf Grundlage statischer Detektion.
ALLGEMEINER STAND DER TECHNIK
Moderne Fahrzeuge weisen mindestens einen bordeigenen Computer auf und weisen eine Internet-/Satellitenkonnektivität auf. Die Software, die auf diesen bordeigenen Computern ausgeführt wird, überwacht und/oder steuert Vorgänge der Fahrzeuge. Das Fahrzeug umfasst zudem LiDAR-Detektoren zum Detektieren von Objekten in dessen Nähe. Die LiDAR-Detektoren generieren LiDAR-Datensätze, die den Abstand von dem Fahrzeug zu einem Objekt zu einer Vielzahl von unterschiedlichen Zeiten messen. Diese Abstandsmessungen können verwendet werden, um Bewegungen des Objekts zu verfolgen, Vorhersagen hinsichtlich der Bewegungsbahn des Objekts zu treffen und Fahrwege für das Fahrzeug auf Grundlage der vorhergesagten Bewegungsbahn des Objekts zu planen.
KURZDARSTELLUNG
Die vorliegende Offenbarung betrifft das Umsetzen von Systemen und Verfahren zum Steuern einer mobilen Plattform (zum Beispiel eines autonomen Fahrzeugs). Die Verfahren umfassen das Durchführen der folgenden Vorgänge durch (eine) Rechenvorrichtung(en): Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader; Prüfen, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Überprüfens; und Veranlassen, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader die identifizierte Mitte aufweist.
Die Umsetzungssysteme können Folgendes umfassen: einen Prozessor; und ein nichttransitorisches computerlesbares Speichermedium, das Programmieranweisungen umfasst, die dazu konfiguriert sind, den Prozessor dazu zu veranlassen, ein Verfahren zum Steuern einer mobilen Plattform (zum Beispiel eines autonomen Fahrzeugs) umzusetzen. Die vorstehend beschriebenen Verfahren können auch durch ein Computerprogrammprodukt umgesetzt werden, das Speicher- und Programmieranweisungen umfasst, die dazu konfiguriert sind, einen Prozessor dazu zu veranlassen, Vorgänge durchzuführen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die beigefügten Zeichnungen sind hierin integriert und bilden einen Teil der Beschreibung.

1 stellt eine Veranschaulichung eines Systems bereit.
2 stellt eine detailliertere Veranschaulichung eines autonomen Fahrzeugs bereit.
3 ist eine Veranschaulichung eines Lidarsystems.
4 stellt ein Blockdiagramm eines veranschaulichenden Prozesses zur Fahrzeugbewegungsbahnplanung bereit.
5A-5C (gemeinsam als „5“ bezeichnet) stellen ein Ablaufdiagramm eines veranschaulichenden Verfahrens zum Betreiben eines Systems gemäß der vorliegenden Lösung bereit.
6 zeigt einen Graphen, der Lidardatenpunkte abbildet, die durch einen lockeren Quader eingeschlossen sind.
7 zeigt einen Graphen, der Lidardatenpunkte abbildet, die durch einen engen Quader eingeschlossen sind.
8 stellt eine Veranschaulichung bereit, die zum Verständnis einer Nachverfolgung nützlich ist.
9 stellt eine Veranschaulichung eines Computersystems bereit.

In den Zeichnungen bezeichnen gleiche Bezugszeichen im Allgemeinen identische oder ähnliche Elemente. Zusätzlich identifizieren die am weitesten links stehende(n) Ziffer(n) eines Bezugszeichens die Zeichnung, in der das Bezugszeichen zuerst erscheint.
DETAILLIERTE BESCHREIBUNG
Die Echtzeitvorhersage von Handlungen durch Fahrer anderer Fahrzeuge und Fußgänger ist eine Herausforderung für halbautonome oder autonome Fahrzeuganwendungen auf der Straße. Eine derartige Echtzeitvorhersage ist besonders herausfordernd, wenn die Fahrer und/oder Fußgänger gegen Verkehrsregeln verstoßen. Das systematische Annehmen der schlimmst möglichen Handlung von den Fahrern und/oder Fußgängern wird das selbstfahrende Fahrzeug lähmen, aber fälschlicherweise optimistische Vorhersagen können zu unsicherem Verhalten des autonomen Fahrzeugs führen.
Lösungen für diese Probleme involvieren die Verwendung von quaderbasierten Algorithmen zur Objektdetektion. Es gibt zwei Arten von Quadern, und zwar benutzerbeschriftete Quader und Quader mit tatsächlicher Ausdehnung (oder amodale Quader). Amodalisierung wird verwendet, um die räumliche Ausdehnung von Ground-Truth (GT)-Nachverfolgungen zu modellieren. Gegenwärtige Amodalisierungsalgorithmen involvieren Folgendes: Vorverarbeiten einer Punktwolke, um Bodenpunkte und Punkte, die zu weit von einem AV entfernt sind, zu entfernen und Beschriftungen zu ignorieren, die ein undefiniertes Ausmaß aufweisen (zum Beispiel Dampf- und Lidar-Blüte); Extrahieren aller Punkte, die einem Objekt zugeordnet sind, das in einen entsprechenden benutzerbeschrifteten Quader fällt; Wiederholen dieser Vorgänge für die Dauer der Nutzungsdauer der Objektverfolgung; Akkumulieren aller Punkte in dem Referenzrahmen; Erzeugen eines amodalen Quaders, der die angesammelten Punkte eng enthält; und Platzieren des amodalen Quaders zurück in den Kartenrahmen bei jedem Zeitschritt, um eine engere Umgrenzung des Objekts während der gesamten Nachverfolgung darzustellen, als der benutzerbeschriftete Quader bereitstellt. Der letzte Vorgang erfordert das Finden der besten Position zum Zentrieren des amodalen Quaders bei jedem Zeitschritt. Bisher haben Verfahren Eigenschaften der Punktwolke in Bezug auf das AV verwendet, um dies zu tun. Dieser Prozess kann jedoch Probleme mit stationären Objekten verursachen, insbesondere wenn sie teilweise verdeckt sind. Insbesondere verursacht das Verfahren, das verwendet wird, um die Quader wieder auf der Karte zu platzieren, viele Sprünge in der Position der Quader von einem Zeitschritt zum nächsten, was Probleme für nachgelagerte Verbraucher von amodalen Quadern verursacht. Dieses Dokument konzentriert sich auf einen Prozess, um dieses Quaderspringen für statische Objekte zu beheben.
Die vorliegende Lösung betrifft im Allgemeinen Systeme und Verfahren zum Steuern von mobilen Plattformen (wie etwa Fahrzeugen) unter Verwendung eines neuartigen Algorithmus auf Grundlage eines amodalen Quaders für statische Objekte. Die Verfahren involvieren Folgendes: Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader; Prüfen, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Überprüfens; und Veranlassen, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader die identifizierte Mitte aufweist. Der Mittelpunkt für den amodalen Quader kann als ein Mittelpunkt der lockeren Quader berücksichtigt werden, wenn das Objekt statisch ist.
Die Überprüfung, ob das Objekt statisch ist, kann das Durchführen einer Quaderabmessungsprüfung, einer Quaderschwerpunktprüfung und/oder einer Quaderdrehungsprüfung involvieren. Das Objekt kann in einem Zeitrahmen als statisch klassifiziert werden, wenn die Quaderabmessungsprüfung, die Quaderschwerpunktprüfung und die Quaderdrehungsprüfung angeben, dass das Objekt zu zwei aufeinanderfolgenden Zeitpunkten in dem Zeitraum einer gleichen Quadergröße, einer gleichen Quaderausrichtung und einem gleichen Quaderschwerpunkt zugeordnet ist.
Die Quaderabmessungsprüfung kann Folgendes umfassen: Erhalten von Abmessungen für einen ersten lockeren Quader in einem ersten der 3D-Graphen, der Lidardatenpunkte eines ersten Zeitrahmens abbildet; Erhalten von Abmessungen für einen zweiten lockeren Quader in einem zweiten der 3D-Graphen, der Lidardatenpunkte eines zweiten Zeitrahmens abbildet; Berechnen von Differenzen zwischen Abmessungen des ersten lockeren Quaders und Abmessungen des zweiten lockeren Quaders; und jeweils Vergleichen der Differenzen mit Schwellenabmessungswerten. Das Objekt kann in dem zweiten Zeitrahmen als nicht statisch klassifiziert werden, wenn eine oder mehrere der Differenzen größer als die Schwellenabmessungswerte sind.
Die Quaderschwerpunktprüfung kann durchgeführt werden, wenn die Differenzen alle kleiner als die Schwellenabmessungswerte sind. Die Quaderschwerpunktprüfung kann Folgendes umfassen: Erhalten eines Abstands zwischen einem Schwerpunkt des ersten lockeren Quaders und einem Schwerpunkt des zweiten lockeren Quaders; und Vergleichen des Abstands mit einem Schwellenabstandswert. Das Objekt kann in dem zweiten Zeitrahmen als nicht statisch klassifiziert werden, wenn die Differenz größer als der Schwellenabstandswert ist.
Die Quaderdrehungsprüfung kann durchgeführt werden, wenn der Abstand kleiner als der Schwellenabstandswert ist. Die Quaderdrehungsprüfung kann Folgendes umfassen: Erhalten einer Differenz zwischen Gierwerten, die dem ersten und zweiten lockeren Quader der lockeren Quader zugeordnet sind; und Vergleichen der Differenz mit einem Schwellengierdifferenzwert. Das Objekt kann in dem zweiten Zeitrahmen als nicht statisch klassifiziert werden, wenn die Differenz größer als der Schwellengierdifferenzwert ist.
Wie in diesem Dokument verwendet, beinhalten die Singularformen „ein“, „eine“ und „der/die/das“ Pluralbezüge, sofern der Inhalt nicht eindeutig etwas anderes vorgibt. Sofern nicht anders definiert, weisen alle in diesem Dokument verwendeten technischen und wissenschaftlichen Ausdrücke die gleichen Bedeutungen auf, wie sie von einem Durchschnittsfachmann üblicherweise verstanden werden. Wie in diesem Dokument verwendet, bedeutet der Ausdruck „umfassend“ „einschließlich unter anderem“.
In diesem Dokument bezieht sich der Begriff „Fahrzeug“ auf eine beliebige sich bewegende Form der Beförderung, die dazu in der Lage ist, entweder einen oder mehrere menschliche Insassen und/oder Fracht zu befördern und durch eine beliebige Form von Energie angetrieben wird. Der Ausdruck „Fahrzeug“ beinhaltet unter anderem Autos, Lastwagen, Vans, Züge, autonome Fahrzeuge, Luftfahrzeuge, Flugdrohnen und dergleichen. Ein „autonomes Fahrzeug“ (oder „AV“ (autonomous vehicle)) ist ein Fahrzeug, das einen Prozessor, Programmieranweisungen und Antriebsstrangkomponenten aufweist, die durch den Prozessor gesteuert werden können, ohne dass ein menschlicher Bediener erforderlich ist. Ein autonomes Fahrzeug kann dahingehend vollständig autonom sein, dass es für die meisten oder alle Fahrbedingungen und -funktionen keinen menschlichen Bediener benötigt, oder es kann dahingehend halbautonom sein, dass unter gewissen Bedingungen oder für gewisse Vorgänge ein menschlicher Bediener erforderlich sein kann, oder dass ein menschlicher Bediener das autonome System des Fahrzeugs außer Kraft setzen und die Steuerung des Fahrzeugs übernehmen kann.
Definitionen für zusätzliche Ausdrücke, die für dieses Dokument relevant sind, sind am Ende dieser detaillierten Beschreibung enthalten.
1 veranschaulicht ein beispielhaftes System 100 gemäß der Offenbarung. Das System 100 umfasst ein Fahrzeug 102, das auf halbautonome oder autonome Weise entlang einer Straße fährt. Das Fahrzeug 102 wird in diesem Dokument auch als AV 102 bezeichnet. Das AV 102 kann unter anderem ein Landfahrzeug (wie in 1 gezeigt), ein Luftfahrzeug oder ein Wasserfahrzeug beinhalten. Wie vorstehend angemerkt, ist diese Offenbarung nicht notwendigerweise auf AV-Ausführungsformen beschränkt und kann in einigen Ausführungsformen nichtautonome Fahrzeuge beinhalten.
Das AV 102 ist im Allgemeinen dazu konfiguriert, Objekte in seiner Nähe zu detektieren. Die Objekte können unter anderem ein Fahrzeug 103, einen Radfahrer 114 (wie etwa einen Fahrer eines Fahrrads, eines Elektrorollers, eines Motorrads oder dergleichen) und/oder einen Fußgänger 116 beinhalten.
Wie in 1 gezeigt, kann das AV 102 ein Sensorsystem 118, eine bordeigene Rechenvorrichtung 122, eine Kommunikationsschnittstelle 120 und eine Benutzerschnittstelle 124 beinhalten. Das autonome Fahrzeugsystem kann ferner gewisse Komponenten (wie zum Beispiel in 1 veranschaulicht) beinhalten, die in Fahrzeugen beinhaltet sind, die durch die bordeigene Rechenvorrichtung 122 unter Verwendung einer Vielfalt von Kommunikationssignalen und/oder Befehlen gesteuert werden können, wie etwa zum Beispiel Beschleunigungssignale oder -befehle, Verlangsamungssignale oder -befehle, Lenksignale oder -befehle, Bremssignale oder -befehle usw.
Das Sensorsystem 118 kann einen oder mehrere Sensoren beinhalten, die an das AV 102 gekoppelt und/oder darin beinhaltet sind. Zum Beispiel können derartige Sensoren unter anderem ein Lidarsystem, ein Radar-System (Radio Detection and Ranging), ein LADAR-System (Laser Detection and Ranging), ein Sonarsystem (Sound Navigation and Ranging), eine oder mehrere Kameras (zum Beispiel Kameras im sichtbaren Spektrum, Infrarotkameras usw.), Temperatursensoren, Positionssensoren (zum Beispiel ein globales Positionsbestimmungssystem (GPS) usw.), Standortsensoren, Kraftstoffsensoren, Bewegungssensoren (zum Beispiel eine Trägheitsmessungseinheit (inertial measurement unit - IMU) usw.), Feuchtigkeitssensoren, Belegungssensoren oder dergleichen beinhalten. Die Sensordaten können Informationen, die den Standort von Objekten innerhalb der Umgebung des AV 102 beschreiben, Informationen über die Umgebung selbst, Informationen über die Bewegung des AV 102, Informationen über eine Route des Fahrzeugs oder dergleichen beinhalten. Wenn sich das AV 102 über eine Fläche bewegt, können mindestens einige der Sensoren Daten bezüglich der Fläche sammeln.
Das AV 102 kann zudem durch das Sensorsystem gesammelte Sensordaten über das Kommunikationsnetzwerk 108 an eine entfernte Rechenvorrichtung 110 (zum Beispiel ein Cloud-Verarbeitungssystem) kommunizieren. Die entfernte Rechenvorrichtung 110 kann mit einem oder mehreren Servern konfiguriert sein, um einen oder mehrere Prozesse der in diesem Dokument beschriebenen Technologie durchzuführen. Die entfernte Rechenvorrichtung 110 kann zudem dazu konfiguriert sein, Daten/Anweisungen an das/von dem AV 102 über das Netzwerk 108 an/von dem/den Server(n) und/oder Datenspeicher(n) 112 zu kommunizieren. Der/die Datenspeicher 112 kann/können unter anderem Datenbank(en) beinhalten.
Das Netzwerk 108 kann ein oder mehrere drahtgebundene oder drahtlose Netzwerke beinhalten. Zum Beispiel kann das Netzwerk 108 ein Mobilfunknetzwerk (zum Beispiel ein Long-Term-Evolution (LTE)-Netzwerk, ein Code-Division-Multiple-Access (CDMA)-Netzwerk, ein 3G-Netzwerk, ein 4G-Netzwerk, ein 5G-Netzwerk, eine andere Art von Netzwerk der nächsten Generation usw.) beinhalten. Das Netzwerk kann auch ein öffentliches Mobilfunknetz (public land mobile network - PLMN), ein lokales Netz (local area network - LAN), ein Weitverkehrsnetz (wide area network - WAN), ein Metropolitan Area Network (MAN), ein Telefonnetz (zum Beispiel das öffentliche Fernsprechwählnetz (Public Switched Telephone Network - PSTN)), ein privates Netzwerk, ein Ad-hoc-Netzwerk, ein Intranet, das Internet, ein glasfaserbasiertes Netzwerk, ein Cloud-Computing-Netzwerk und/oder dergleichen und/oder eine Kombination aus diesen oder anderen Arten von Netzwerken beinhalten.
Das AV 102 kann Informationen abrufen, empfangen, anzeigen und bearbeiten, die von einer lokalen Anwendung generiert oder über das Netzwerk 108 von dem Datenspeicher 112 geliefert werden. Der Datenspeicher 112 kann dazu konfiguriert sein, Rohdaten, indizierte Daten, strukturierte Daten, Straßenkartendaten 160, Programmanweisungen oder andere Konfigurationen, wie bekannt, zu speichern und bereitzustellen.
Die Kommunikationsschnittstelle 120 kann dazu konfiguriert sein, eine Kommunikation zwischen dem AV 102 und externen Systemen, wie zum Beispiel externen Vorrichtungen, Sensoren, anderen Fahrzeugen, Servern, Datenspeichern, Datenbanken usw., zu ermöglichen. Die Kommunikationsschnittstelle 120 kann beliebige derzeitig oder später bekannte Protokolle, Schutzschemata, Codierungen, Formate, Verpackung usw., wie etwa unter anderem Wi-Fi, eine Infrarotverbindung, Bluetooth usw., beinhalten. Das Benutzerschnittstellensystem 124 kann Teil von Peripherievorrichtungen sein, die innerhalb des AV 102 umgesetzt sind, einschließlich zum Beispiel einer Tastatur, einer Touchscreen-Anzeigevorrichtung, eines Mikrofons und eines Lautsprechers usw. Das Fahrzeug kann zudem Zustandsinformationen, beschreibende Informationen oder andere Informationen über Vorrichtungen oder Objekte in seiner Umgebung über die Kommunikationsschnittstelle 120 über Kommunikationsverbindungen empfangen, wie etwa diejenigen, die als Fahrzeug-zu-Fahrzeug-, Fahrzeug-zu-Objekt- oder andere V2X-Kommunikationsverbindungen bekannt sind. Der Begriff „V2X“ bezieht sich auf eine Kommunikation zwischen einem Fahrzeug und einem beliebigen Objekt, dem das Fahrzeug begegnen oder in seiner Umgebung beeinflussen kann.
2 veranschaulicht eine beispielhafte Systemarchitektur 200 für ein Fahrzeug gemäß Aspekten der Offenbarung. Die Fahrzeuge 102 und/oder 103 aus 1 können die gleiche oder eine ähnliche Systemarchitektur wie die in 2 gezeigte aufweisen. Somit ist die folgende Erörterung der Systemarchitektur 200 ausreichend für das Verständnis der Fahrzeug(e) 102, 103 aus 1. Jedoch werden andere Fahrzeugtypen als innerhalb des Umfangs der in diesem Dokument beschriebenen Technologie betrachtet und können mehr oder weniger Elemente enthalten, wie in Verbindung mit 2 beschrieben. Als ein nicht einschränkendes Beispiel kann ein Luftfahrzeug Brems- oder Gangsteuerungen ausschließen, aber einen Höhensensor beinhalten. In einem anderen nicht einschränkenden Beispiel kann ein wasserbasiertes Fahrzeug einen Tiefensensor beinhalten. Ein Fachmann wird verstehen, dass andere Antriebssysteme, Sensoren und Steuerungen auf Grundlage eines Fahrzeugtyps beinhaltet sein können, wie es bekannt ist.
Wie in 2 gezeigt, beinhaltet die Systemarchitektur 200 für ein Fahrzeug einen Verbrennungsmotor oder Elektromotor 202 und verschiedene Sensoren 204-218 zum Messen verschiedener Parameter des Fahrzeugs. In benzinbetriebenen oder Hybridfahrzeugen mit einem kraftstoffbetriebenen Motor können die Sensoren zum Beispiel einen Motortemperatursensor 204, einen Batteriespannungssensor 206, einen Sensor für Motorumdrehungen pro Minute (RPM) 208 und einen Drosselpositionssensor 210 beinhalten. Wenn das Fahrzeug ein Elektro- oder Hybridfahrzeug ist, kann das Fahrzeug einen Elektromotor aufweisen und beinhaltet dementsprechend Sensoren, wie etwa ein Batterieüberwachungssystem 212 (um Strom, Spannung und/oder Temperatur der Batterie zu messen), einen Motorstromsensor 214 und einen Spannungssensor 216, und Motorpositionssensoren 218, wie etwa Drehmelder und Codierer.
Betriebsparametersensoren, die beiden Arten von Fahrzeugen gemeinsam sind, beinhalten zum Beispiel: einen Positionssensor 236, wie etwa einen Beschleunigungsmesser, ein Gyroskop und/oder eine Trägheitsmesseinheit; einen Geschwindigkeitssensor 238; und einen Wegstreckenzählersensor 240. Das Fahrzeug kann auch eine Uhr 242 aufweisen, die das System verwendet, um die Fahrzeugzeit während des Betriebs zu bestimmen. Die Uhr 242 kann in die bordeigene Rechenvorrichtung des Fahrzeugs codiert sein, es kann sich um eine separate Vorrichtung handeln oder es können mehrere Uhren verfügbar sein.
Das Fahrzeug kann auch verschiedene Sensoren beinhalten, die betrieben werden, um Informationen über die Umgebung zu erheben, in der das Fahrzeug fährt. Diese Sensoren können zum Beispiel Folgendes beinhalten: einen Standortsensor 260 (wie etwa eine Vorrichtung eines globalen Positionsbestimmungssystems (GPS)); Objektdetektionssensoren, wie etwa eine oder mehrere Kameras 262; ein Lidar-System 264; und/oder ein Radar- und/oder Sonarsystem 266. Die Sensoren können auch Umgebungssensoren 268 beinhalten, wie etwa einen Niederschlagssensor und/oder einen Umgebungstemperatursensor. Die Objektdetektionssensoren können es dem Fahrzeug ermöglichen, Objekte zu detektieren, die sich innerhalb eines gegebenen Abstandsbereichs des Fahrzeugs in einer beliebigen Richtung befinden, während die Umgebungssensoren Daten über Umgebungsbedingungen innerhalb des Fahrbereichs des Fahrzeugs sammeln.
Während Vorgängen werden Informationen von den Sensoren an eine bordeigene Rechenvorrichtung 220 des Fahrzeugs kommuniziert. Die bordeigene Rechenvorrichtung 220 des Fahrzeugs kann unter Verwendung des Computersystems aus 9 umgesetzt sein. Die bordeigene Rechenvorrichtung 220 des Fahrzeugs analysiert die durch die Sensoren erfassten Daten und steuert optional den Betrieb des Fahrzeugs auf Grundlage der Ergebnisse der Analyse. Zum Beispiel kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs Folgendes steuern: Bremsen über eine Bremssteuerung 222; Richtung über eine Lenksteuerung 224; Geschwindigkeit und Beschleunigung über eine Drosselsteuerung 226 (in einem benzinbetriebenen Fahrzeug) oder eine Elektromotordrehzahlsteuerung 228 (wie etwa eine Strompegelsteuerung in einem Elektrofahrzeug); eine Differentialgetriebesteuerung 230 (in Fahrzeugen mit Getrieben); und/oder andere Steuerungen. Die Hilfsvorrichtungssteuerung 234 kann dazu konfiguriert sein, eine oder mehrere Hilfsvorrichtungen, wie etwa Testsysteme, Hilfssensoren, mobile Vorrichtungen, die durch das Fahrzeug transportiert werden, usw. zu steuern.
Geografische Standortinformationen können von dem Standortsensor 260 an die bordeigene Rechenvorrichtung 220 des Fahrzeugs kommuniziert werden, die dann auf eine Karte der Umgebung zugreifen kann, die den Standortinformationen entspricht, um bekannte feste Merkmale der Umgebung, wie etwa Straßen, Gebäude, Stoppschilder und/oder Stop/Go-Signale. Durch die Kameras 262 erfasste Bilder und/oder Objektdetektionsinformationen, die von Sensoren, wie etwa dem Lidarsystem 264, erfasst sind, werden von diesen Sensoren an die bordeigene Rechenvorrichtung 920 des Fahrzeugs kommuniziert. Die Objektdetektionsinformationen und/oder die erfassten Bilder werden durch die bordeigene Rechenvorrichtung 220 des Fahrzeugs verarbeitet, um Objekte in der Nähe des Fahrzeugs zu detektieren. Jede beliebige bekannte oder in Zukunft bekannte Technik zum Vornehmen einer Objektdetektion auf Grundlage von Sensordaten und/oder erfassten Bildern kann in den in diesem Dokument offenbarten Ausführungsformen verwendet werden.
Lidarinformationen werden von dem Lidarsystem 264 an die bordeigene Rechenvorrichtung 220 des Fahrzeugs kommuniziert. Zusätzlich werden erfasste Bilder von der/den Kamera(s) 262 an die bordeigene Rechenvorrichtung 220 des Fahrzeugs kommuniziert. Die Lidarinformationen und/oder die erfassten Bilder werden durch die bordeigene Rechenvorrichtung 220 des Fahrzeugs verarbeitet, um Objekte in der Nähe des Fahrzeugs zu detektieren. Die Art und Weise, in der die Objektdetektionen durch die bordeigene Rechenvorrichtung 220 des Fahrzeugs vorgenommen werden, beinhaltet derartige Fähigkeiten, die in dieser Offenbarung detailliert beschrieben sind.
Zusätzlich kann die Systemarchitektur 200 eine bordeigene Anzeigevorrichtung 254 beinhalten, die eine Schnittstelle generieren und ausgeben kann, auf der Sensordaten, Fahrzeugstatusinformationen oder Ausgaben, die durch die in diesem Dokument beschriebenen Prozesse generiert werden, einem Insassen des Fahrzeugs angezeigt werden. Die Anzeigevorrichtung kann einen Audiolautsprecher beinhalten oder eine separate Vorrichtung sein, der bzw. die derartige Informationen in einem Audioformat darstellt.
Die bordeigene Rechenvorrichtung 220 des Fahrzeugs kann eine Routenführungssteuerung 232 beinhalten und/oder mit dieser in Kommunikation stehen, die eine Navigationsroute von einer Startposition zu einer Zielposition für ein autonomes Fahrzeug generiert. Die Routenführungssteuerung 232 kann auf einen Kartendatenspeicher zugreifen, um mögliche Routen und Straßensegmente zu identifizieren, auf denen ein Fahrzeug fahren kann, um von der Startposition zur Zielposition zu gelangen. Die Routenführungssteuerung 232 kann die möglichen Routen bewerten und eine bevorzugte Route zum Erreichen des Ziels identifizieren. Zum Beispiel kann die Routenführungssteuerung 232 eine Navigationsroute generieren, welche die zurückgelegte euklidische Entfernung oder eine andere Kostenfunktion während der Route minimiert, und kann ferner auf die Verkehrsinformationen und/oder -schätzungen zugreifen, die eine Zeitdauer beeinflussen können, die zum Fahren auf einer konkreten Route benötigt wird. In Abhängigkeit von der Umsetzung kann die Routenführungssteuerung 232 eine oder mehrere Routen unter Verwendung verschiedener Routenführungsverfahren, wie etwa des Dijkstra-Algorithmus, des Bellman-Ford-Algorithmus oder anderer Algorithmen, generieren. Die Routenführungssteuerung 232 kann die Verkehrsinformationen auch verwenden, um eine Navigationsroute zu generieren, die erwartete Bedingungen der Route (zum Beispiel den aktuellen Wochentag oder die aktuelle Tageszeit usw.) widerspiegelt, sodass eine für die Fahrt während der Hauptverkehrszeit generierte Route sich von einer Route unterscheiden kann, die für eine Fahrt spät in der Nacht generiert wurde. Die Routenführungssteuerung 232 kann auch mehr als eine Navigationsroute zu einem Ziel generieren und mehr als eine dieser Navigationsrouten an einen Benutzer zur Auswahl durch den Benutzer aus verschiedenen möglichen Routen senden.
In verschiedenen Ausführungsformen kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs Wahrnehmungsinformationen der Umgebung des AV bestimmen. Auf Grundlage der von einem oder mehreren Sensoren bereitgestellten Sensordaten und erlangten Standortinformationen kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs Wahrnehmungsinformationen der Umgebung des AV bestimmen. Die Wahrnehmungsinformationen können darstellen, was ein gewöhnlicher Fahrer in der Umgebung eines Fahrzeugs wahrnehmen würde. Die Wahrnehmungsdaten können Informationen in Bezug auf ein oder mehrere Objekte in der Umgebung des AV beinhalten. Zum Beispiel kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs Sensordaten (zum Beispiel Lidar- oder Radardaten, Kamerabilder usw.) verarbeiten, um Objekte und/oder Merkmale in der Umgebung des AV zu identifizieren. Zu den Objekten können Verkehrssignale, Fahrbahnbegrenzungen, andere Fahrzeuge, Fußgänger und/oder Hindernisse usw. gehören. Die bordeigene Rechenvorrichtung 220 des Fahrzeugs kann beliebige jetzt oder später bekannte Objekterkennungsalgorithmen, Videoverfolgungsalgorithmen und Computer-Vision-Algorithmen (zum Beispiel Objekte iterativ von Einzelbild zu Einzelbild über eine Reihe von Zeiträumen verfolgen), um die Wahrnehmung zu bestimmen.
In einigen Ausführungsformen kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs zudem für ein oder mehrere identifizierte Objekte in der Umgebung den aktuellen Zustand des Objekts bestimmen. Die Zustandsinformationen können unter anderem für jedes Objekt Folgendes beinhalten: aktuellen Standort; aktuelle Geschwindigkeit und/oder Beschleunigung, aktueller Kurs; aktuelle Stellung; aktuelle Form, Größe oder Grundfläche; Typ (zum Beispiel: Fahrzeug, Fußgänger, Fahrrad, statisches Objekt oder Hindernis); und/oder andere Zustandsinformationen.
Die bordeigene Rechenvorrichtung 220 des Fahrzeugs kann einen oder mehrere Vorhersage- und/oder Prognosevorgänge durchführen. Zum Beispiel kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs zukünftige Standorte, Bewegungsbahnen und/oder Handlungen eines oder mehrerer Objekte vorhersagen. Zum Beispiel kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs die zukünftigen Standorte, Bewegungsbahnen und/oder Handlungen der Objekte zumindest teilweise auf Grundlage von Wahrnehmungsinformationen (zum Beispiel den Zustandsdaten für jedes Objekt, die eine geschätzte Form und Stellung umfassen, die wie nachstehend erörtert bestimmt werden), Standortinformationen, Sensordaten und/oder beliebige andere Daten, die den vergangenen und/oder aktuellen Zustand der Objekte, des AV, der Umgebung und/oder deren Beziehung(en) beschreiben. Wenn zum Beispiel ein Objekt ein Fahrzeug ist und die aktuelle Fahrumgebung eine Kreuzung beinhaltet, kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs vorhersagen, ob sich das Objekt wahrscheinlich geradeaus bewegen oder abbiegen wird. Wenn die Wahrnehmungsdaten angeben, dass die Kreuzung keine Ampel aufweist, kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs auch vorhersagen, ob das Fahrzeug möglicherweise vollständig anhalten muss, bevor es in die Kreuzung einfährt.
In verschiedenen Ausführungsformen kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs einen Bewegungsplan für das autonome Fahrzeug bestimmen. Zum Beispiel kann die bordeigene Rechenvorrichtung 920 des Fahrzeugs einen Bewegungsplan für das autonome Fahrzeug auf Grundlage der Wahrnehmungsdaten und/oder der Vorhersagedaten bestimmen. Insbesondere kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs angesichts von Vorhersagen über die zukünftigen Standorte von Objekten in der Nähe und anderen Wahrnehmungsdaten einen Bewegungsplan für das AV bestimmen, der das autonome Fahrzeug relativ zu den Objekten an ihren zukünftigen Standorten am besten navigiert.
In einigen Ausführungsformen kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs Vorhersagen empfangen und eine Entscheidung darüber treffen, wie Objekte und/oder Akteure in der Umgebung des AV gehandhabt werden sollen. Zum Beispiel entscheidet die bordeigene Rechenvorrichtung 220 des Fahrzeugs für einen konkreten Akteur (zum Beispiel ein Fahrzeug mit einer gegebenen Geschwindigkeit, Richtung, einem gegebenen Abbiegewinkel usw.) auf Grundlage von zum Beispiel Verkehrsbedingungen, Kartendaten, Zustand des autonomen Fahrzeugs usw., ob überholt, Vorfahrt gewährt, angehalten und/oder vorbeigefahren werden soll. Ferner plant die bordeigene Rechenvorrichtung 220 des Fahrzeugs auch einen Weg, auf dem das AV auf einer gegebenen Route fährt, sowie Fahrparameter (zum Beispiel Entfernung, Geschwindigkeit und/oder Abbiegewinkel). Das heißt, für ein gegebenes Objekt entscheidet die bordeigene Rechenvorrichtung 220 des Fahrzeugs, was mit dem Objekt zu tun ist, und bestimmt, wie dies zu tun ist. Zum Beispiel kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs für ein gegebenes Objekt entscheiden, an dem Objekt vorbeizufahren, und kann bestimmen, ob auf der linken Seite oder der rechten Seite des Objekts vorbeigefahren werden soll (einschließlich Bewegungsparametern, wie etwa Geschwindigkeit). Die bordeigene Rechenvorrichtung 220 des Fahrzeugs kann zudem das Risiko einer Kollision zwischen einem detektierten Objekt und dem AV bewerten. Wenn das Risiko einen akzeptablen Schwellenwert überschreitet, kann bestimmt werden, ob die Kollision vermieden werden kann, wenn das autonome Fahrzeug einer definierten Fahrzeugbewegungsbahn folgt und/oder ein oder mehrere dynamisch generierte Notfallmanöver umsetzt, die in einem vordefinierten Zeitraum (zum Beispiel NMillisekunden) durchgeführt werden. Wenn die Kollision vermieden werden kann, kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs eine oder mehrere Steueranweisungen ausführen, um ein vorsichtiges Manöver durchzuführen (zum Beispiel leicht verlangsamen, beschleunigen, die Spur wechseln oder ausscheren). Im Gegensatz dazu kann, wenn die Kollision nicht vermieden werden kann, die bordeigene Rechenvorrichtung 220 des Fahrzeugs eine oder mehrere Steueranweisungen zur Ausführung eines Notfallmanövers (zum Beispiel Bremsen und/oder Ändern der Fahrtrichtung) ausführen.
Wie vorstehend erörtert, werden Planungs- und Steuerdaten bezüglich der Bewegung des autonomen Fahrzeugs zur Ausführung generiert. Zum Beispiel kann die bordeigene Rechenvorrichtung 220 des Fahrzeugs die Bremsung über eine Bremssteuerung; die Richtung über eine Lenksteuerung; Geschwindigkeit und Beschleunigung über eine Drosselsteuerung (in einem benzinbetriebenen Fahrzeug) oder eine Elektromotordrehzahlsteuerung (wie etwa eine Strompegelsteuerung in einem Elektrofahrzeug); eine Differentialgetriebesteuerung (in Fahrzeugen mit Getrieben); und/oder andere Steuerungen steuern.
3 veranschaulicht ein beispielhaftes Lidarsystem 300 gemäß Aspekten der Offenbarung. Das Lidarsystem 300 ist lediglich ein beispielhaftes Lidarsystem und andere Lidarsysteme werden gemäß Aspekten der vorliegenden Offenbarung ferner in Betracht gezogen, wie es sich für den Durchschnittsfachmann versteht.
Wie in 3 gezeigt, beinhaltet das Lidarsystem 300 ein Gehäuse 306, das um 360° um eine Mittelachse, wie etwa die Nabe oder Achse 324 eines Motors 316, drehbar sein kann. Das Gehäuse 306 kann eine Emitter-/Empfängeröffnung 312 beinhalten, die aus einem lichtdurchlässigen Material hergestellt ist. Obwohl eine einzelne Öffnung in 3 gezeigt ist, ist die vorliegende Lösung in dieser Hinsicht nicht eingeschränkt. In anderen Szenarien können mehrere Öffnungen zum Emittieren und/oder Empfangen von Licht bereitgestellt sein. In jedem Fall kann das Lidarsystem 300 Licht durch eine oder mehrere der Öffnungen 312 emittieren und reflektiertes Licht zurück in Richtung einer oder mehrerer der Öffnungen 312 empfangen, wenn sich das Gehäuse 306 um die Innenkomponenten dreht. In alternativen Szenarien kann die äußere Hülle des Gehäuses 306 eine stationäre Kuppel sein, die zumindest teilweise aus einem Material hergestellt ist, das lichtdurchlässig ist, mit drehbaren Komponenten innerhalb des Gehäuses 306.
Innerhalb der sich drehenden Hülle oder der stationären Kuppel befindet sich ein Lichtemittersystem 304, das dazu konfiguriert und positioniert ist, Lichtimpulse zu generieren und durch die Öffnung 312 oder durch die transparente Kuppel des Gehäuses 306 über einen oder mehrere Laseremitterchips oder andere lichtemittierende Vorrichtungen zu emittieren. Das Lichtemittersystem 304 kann eine beliebige Anzahl von einzelnen Emittern beinhalten (zum Beispiel 8 Emitter, 64 Emitter oder 128 Emitter). Die Emitter können Licht mit im Wesentlichen der gleichen Intensität oder mit variierenden Intensitäten emittieren. Das Lidarsystem 300 beinhaltet zudem einen Lichtdetektor 308, der ein Array von Photodetektoren 326 enthält. Die Photodetektoren 326 sind dazu positioniert und konfiguriert, Licht zu empfangen, das in das System zurückreflektiert wird. Beim Empfangen von reflektiertem Licht erzeugen die Photodetektoren 326 Ergebnisse (oder elektrische Impulse), die gemessene Intensitäten des Lichtsignals angeben, das von einem Objekt außerhalb des Lidarsystems reflektiert wird. In Anwendungen im Geiger-Modus zünden die Photodetektoren 326, wenn dadurch ein einzelnes Photon bei oder nahe einer Zielwellenlänge detektiert wird. Die Zeitpunkte der Fotodetektorzündungen werden als Zeitstempel aufgezeichnet. Das Lichtemittersystem 304 und der Lichtdetektor 308 drehen sich mit der drehenden Hülle oder sie drehen sich innerhalb der stationären Kuppel des Gehäuses 306. Eine oder mehrere Optikelementstrukturen 310 können vor dem lichtemittierenden System 304 und/oder dem Lichtdetektor 308 positioniert sein, um als eine oder mehrere Linsen oder Wellenplatten zu dienen, die Licht fokussieren und lenken, das durch die Optikelementstruktur 310 hindurchtritt.
Eine oder mehrere Optikelementstrukturen 310 können vor einem Spiegel (nicht gezeigt) positioniert sein, um Licht, das durch die Optikelementstruktur hindurchtritt, zu fokussieren und zu lenken. Wie in 3 gezeigt, ist eine einzelne Optikelementstruktur 310 vor dem Spiegel positioniert und mit den Drehelementen des Systems verbunden, sodass sich die Optikelementstruktur 310 mit dem Spiegel dreht. Alternativ oder zusätzlich kann die Optikelementstruktur 310 mehrere derartige Strukturen (zum Beispiel Linsen und/oder Wellenplatten) beinhalten. Optional können mehrere Optikelementstrukturen 310 in einem Array an dem Hüllenabschnitt des Gehäuses 306 angeordnet oder einstückig mit diesem ausgebildet sein.
Das Lidarsystem 300 beinhaltet eine Leistungseinheit 318, um das lichtemittierende System 304, den Motor 316 und elektronische Komponenten mit Leistung zu versorgen. Das Lidarsystem 300 beinhaltet zudem einen Analysator 314 mit Elementen, wie etwa einem Prozessor 322 und einem nicht transitorischen computerlesbaren Speicher 320, der Programmieranweisungen enthält. Die Programmieranweisungen sind dazu konfiguriert, es dem System zu ermöglichen, durch den Lichtdetektor 308 gesammelte Daten zu empfangen, die empfangenen Daten zu analysieren, um Eigenschaften des empfangenen Lichts zu messen, und Informationen zu generieren, die ein verbundenes System verwenden kann, um Entscheidungen über den Betrieb in einer Umgebung zu treffen, aus der die Daten gesammelt wurden. Optional kann der Analysator 314 wie gezeigt in das Lidarsystem 300 integriert sein oder kann sich ein Teil davon oder der gesamte Analysator außerhalb des Lidarsystems befinden und über ein drahtgebundenes oder drahtloses Kommunikationsnetzwerk oder eine drahtgebundene oder drahtlose Verbindung mit dem Lidarsystem verbunden sein.
4 stellt ein Blockdiagramm bereit, das für das Verständnis nützlich ist, wie eine Bewegung eines AV gemäß der vorliegenden Lösung erreicht wird. Alle in den Blöcken 402-412 durchgeführten Vorgänge können durch die bordeigene Rechenvorrichtung (zum Beispiel die bordeigene Rechenvorrichtung 122 aus 1 und/oder 220 aus 2) eines Fahrzeugs (zum Beispiel AV 102 aus 1) durchgeführt werden.
In Block 402 wird ein Standort des AV (zum Beispiel des AV 102 aus 1) erfasst. Diese Detektion kann auf Grundlage von Sensordaten erfolgen, die von einem Standortsensor (zum Beispiel dem Standortsensor 260 aus 2) des AV ausgegeben werden. Diese Sensordaten können unter anderem GPS-Daten beinhalten. Der detektierte Standort des AV wird dann an Block 406 weitergegeben.
In Block 404 wird ein Objekt (zum Beispiel das Fahrzeug 103 aus 1) in der Nähe des AV (zum Beispiel <100+ Meter) detektiert. Diese Detektion erfolgt auf Grundlage von Sensordaten, die von einer Kamera (zum Beispiel der Kamera 262 aus 2) des AV und/oder einem Lidarsystem (zum Beispiel dem Lidarsystem 264 aus 2) des AV ausgegeben werden. Zum Beispiel wird eine Bildverarbeitung durchgeführt, um eine Instanz eines Objekts einer bestimmten Klasse (zum Beispiel ein Fahrzeug, einen Radfahrer oder einen Fußgänger) in einem Bild zu detektieren. Die Bildverarbeitung/Objektdetektion kann gemäß einem beliebigen bekannten oder zukünftig bekannten Bildverarbeitungs-/Objektdetektionsalgorithmus erzielt werden.
Zusätzlich wird in Block 404 eine vorhergesagte Bewegungsbahn für das Objekt bestimmt. Die Bewegungsbahn des Objekts wird in Block 404 auf Grundlage der Klasse des Objekts, der Quadergeometrie(n), des Quaderkurses/der Quaderkurse und/oder des Inhalts einer Karte 418 (zum Beispiel Bürgersteigstandorte, Fahrspurstandorte, Fahrspurfahrtrichtungen, Fahrregeln usw.) vorhergesagt. Die Art und Weise, wie die Quadergeometrie(n) und -kurs(e) bestimmt werden, wird im Verlauf der Erörterung ersichtlich. Zu diesem Zeitpunkt ist anzumerken, dass die Quadergeometrie(n) und/oder Kurs(e) unter Verwendung von Sensordaten verschiedener Arten (zum Beispiel 2D-Bilder, 3D-Lidarpunktwolken) und einer Vektorkarte 418 (zum Beispiel Fahrspurgeometrien) bestimmt werden. Techniken zum Vorhersagen von Objektbewegungsbahnen auf Grundlage von Quadergeometrien und - kursen können zum Beispiel das Vorhersagen beinhalten, dass sich das Objekt auf einem linearen Weg in die gleiche Richtung wie die Kursrichtung eines Quaders bewegt. Die vorhergesagten Objektbewegungsbahnen können unter anderem die folgenden Bewegungsbahnen beinhalten: eine Bewegungsbahn, die durch die tatsächliche Geschwindigkeit (zum Beispiel 1 Meile pro Stunde) und die tatsächliche Fortbewegungsrichtung (zum Beispiel westwärts) des Objekts definiert ist; eine Bewegungsbahn, die durch die tatsächliche Geschwindigkeit des Objekts (zum Beispiel 1 Meile pro Stunde) und eine andere mögliche Fortbewegungsrichtung (zum Beispiel südwärts, süd-westwärts oder X (zum Beispiel 40°) Grad von der tatsächlichen Fortbewegungsrichtung des Objekts in eine Richtung in Richtung des AV) für das Objekt; eine Bewegungsbahn, die durch eine andere mögliche Geschwindigkeit für das Objekt (zum Beispiel 2-10 Meilen pro Stunde) und die tatsächliche Fortbewegungsrichtung des Objekts (zum Beispiel westwärts) definiert ist; und/oder eine Bewegungsbahn, die durch eine andere mögliche Geschwindigkeit für das Objekt (zum Beispiel 2-10 Meilen pro Stunde) und eine andere mögliche Fortbewegungsrichtung (zum Beispiel südwärts, süd-westwärts oder X (zum Beispiel 40°) Grad von der tatsächlichen Fortbewegungsrichtung des Objekts in eine Richtung zum AV) für das Objekt. Die mögliche(n) Geschwindigkeit(en) und/oder mögliche Fortbewegungsrichtung(en) können für Objekte in der gleichen Klasse und/oder Unterklasse wie das Objekt vordefiniert sein. Es ist erneut anzumerken, dass der Quader eine vollständige Ausdehnung des Objekts und einen Kurs des Objekts definiert. Der Kurs definiert eine Richtung, in die eine Vorderseite des Objekts gerichtet ist, und stellt daher eine Angabe der tatsächlichen und/oder möglichen Fortbewegungsrichtung für das Objekt bereit.
Informationen 420, die die vorhergesagte Bewegungsbahn des Objekts und die Quadergeometrie(n)/-kurs(e) spezifizieren, werden Block 406 bereitgestellt. In einigen Szenarien wird eine Klassifizierung des Objekts ebenfalls an Block 406 weitergegeben. In Block 406 wird eine Fahrzeugbewegungsbahn unter Verwendung der Informationen aus den Blöcken 402 und 404 generiert. Techniken zum Bestimmen einer Fahrzeugbewegungsbahn unter Verwendung von Quadern können zum Beispiel das Bestimmen einer Bewegungsbahn für das AV beinhalten, die das Objekt passieren würde, wenn sich das Objekt vor dem AV befindet, wobei der Quader eine Kursrichtung aufweist, die mit der Richtung ausgerichtet ist, in der sich das AV bewegt, und der Quader eine Länge aufweist, die größer als ein Schwellenwert ist. Die vorliegende Lösung ist nicht auf die Einzelheiten dieses Szenarios beschränkt. Die Fahrzeugbewegungsbahn 408 kann auf Grundlage der Standortinformationen aus Block 402, der Objektdetektionsinformationen aus Block 404 und/oder Karteninformationen 414 (die in einem Datenspeicher des Fahrzeugs vorgespeichert sind) bestimmt werden. Die Karteninformationen 414 können unter anderem alle oder einen Teil der Straßenkarte(n) 160 aus 1 beinhalten. Die Fahrzeugbewegungsbahn 408 kann einen gleichmäßigen Weg darstellen, der keine abrupten Änderungen aufweist, die andernfalls den Fahrgästen Unbehagen bereiten würden. Zum Beispiel ist die Fahrzeugbewegungsbahn durch einen Fahrweg entlang einer gegebenen Spur einer Straße definiert, auf der sich das Objekt der Vorhersage nach nicht innerhalb einer gegebenen Zeitdauer bewegen wird. Die Fahrzeugbewegungsbahn 408 wird dann Block 406 bereitgestellt.
In Block 410 wird ein Lenkwinkel- und Geschwindigkeitsbefehl auf Grundlage der Fahrzeugbewegungsbahn 408 generiert. Der Lenkwinkel- und Geschwindigkeitsbefehl wird Block 410 zur Fahrzeugdynamiksteuerung bereitgestellt, d. h. der Lenkwinkel- und Geschwindigkeitsbefehl bewirkt, dass das AV der Fahrzeugbewegungsbahn 408 folgt.
5 stellt ein Ablaufdiagramm eines veranschaulichenden Verfahrens 500 zum Steuern eines AV (zum Beispiel des Fahrzeugs 102₁ aus 1) unter Verwendung eines Algorithmus auf Grundlage eines amodalen Quaders bereit. Das Verfahren 500 kann vollständig oder teilweise durch eine Rechenvorrichtung des AV (zum Beispiel die bordeigene Rechenvorrichtung 122 eines Fahrzeugs aus 1 und/oder 220 aus 2) und/oder eine externe Rechenvorrichtung (zum Beispiel Server 110 aus 1) durchgeführt werden. Die Vorgänge des Verfahrens 500 können in der gleichen oder einer anderen Reihenfolge als der in 5 gezeigten durchgeführt werden. Zum Beispiel können in einigen Szenarien die Vorgänge der Blöcke 540-550 vor den Vorgängen der Blöcke 514-538 durchgeführt werden, anstatt, wie in 5 gezeigt, danach.
Wie in 5A gezeigt, beginnt das Verfahren 500 mit 502 und fährt mit 504 fort, wo eine mobile Plattform (zum Beispiel das AV 102 aus 1) Vorgänge durchführt, um mindestens ein Bild zu erfassen und/oder mindestens einen Lidardatensatz zu generieren. Das/die Bild(er) und/oder der Lidardatensatz/die LiDAR-Datensätze wird/werden bei 506 an eine oder mehrere Rechenvorrichtungen (zum Beispiel die Rechenvorrichtung 110 aus 1 und/oder die bordeigene Rechenvorrichtung 122 aus 1 und/oder 220 aus 2) kommuniziert.
An der/den Rechenvorrichtung(en) wird/werden der Lidardatensatz/die LiDAR-Datensätze auf (einem) 3D-Graphen abgebildet, wie durch 508 gezeigt. Jeder 3D-Graph weist eine x-Achse, eine y-Achse und eine z-Achse auf, wobei ein Ursprung in einem Mittelpunkt eines LiDAR-Sensors definiert ist, wobei die x-Achse nach vorne zeigt und die z-Achse nach oben zeigt. Eine Veranschaulichung eines Lidardatensatzes 602, der auf einem Graphen 600 abgebildet ist, ist in 6 bereitgestellt. Der Graph 600 zeigt zur Vereinfachung der Veranschaulichung nur den 2D-Standpunkt von der x-Achse und der z-Achse. Hierzu können beliebige bekannte oder zukünftig bekannte Techniken zum Abbilden von LiDAR-Datensätzen auf 3D-Graphen verwendet werden.
Das/die Bild(er) und/oder der/die 3D-Graph(en) werden in 510 verwendet, um ein Objekt zu detektieren, das sich in der Nähe des AV befindet. Diese Detektion kann manuell durch eine Person oder automatisch/automatisiert durch die Rechenvorrichtung erfolgen. In den manuellen Szenarien analysiert die Person die 3D-Graphen, die auf einem Bildschirm der Rechenvorrichtung angezeigt werden, um Datenpunkte zu identifizieren, die ein Objekt zu definieren scheinen. In den automatischen/automatisierten Szenarien kann die Rechenvorrichtung einen beliebigen bekannten oder zukünftig bekannten Algorithmus einsetzen, um Datenpunkte zu identifizieren, die ein Objekt zu definieren scheinen. Hierzu können Algorithmen zum maschinellen Lernen verwendet werden, um die Objektdetektion(en) und/oder -klassifizierung(en) zu erleichtern.
Ein lockerer Quader wird in 512 auf jedem 3D-Graphen definiert. Der lockere Quader umfasst einen 3D-orientierten begrenzten Rahmen, der (i) einen Kurs des Objekts (zum Beispiel des Objekts 103, 114 oder 116 aus 1), (ii) die vollständige Ausdehnung des Objekts (zum Beispiel des Objekts 103, 114 oder 116 aus 1) und/oder den Mittelpunkt/den Schwerpunkt des Objekts darstellt. Der Quader umschließt die Lidardatenpunkte in dem 3D-Graphen, die dem detektierten Objekt zugeordnet sind. Der lockere Quader kann manuell oder automatisch/automatisiert definiert werden. In den manuellen Szenarien kann die Person Benutzer-Software-Interaktionen durchführen, um eine Quaderform um die in 510 identifizierten Lidardatenpunkte mit einer Kursrichtung zu ziehen, die durch die Ausrichtung des Objekts definiert ist. In den automatischen/automatisierten Szenarien kann die Rechenvorrichtung vordefinierte Quaderabmessungen (eine Länge, eine Breite, eine Höhe) erhalten und ein Mittelpunkt eines Quaders gleich einem Mittelpunkt der in 510 identifizierten Lidardatenpunkte festlegen. Ein lockerer Quader kann eine 3D-Form umfassen, die (i) einen gegebenen Prozentsatz (zum Beispiel > 90 %) der Lidardatenpunkte eines Objekts und (ii) keine oder eine minimale Anzahl der Lidardatenpunkte für andere Objekte (aber unter Berücksichtigung der Einbeziehung von Lidardatenpunkten für die Bodenfläche) einschließen kann.
Eine Veranschaulichung, die einen veranschaulichenden lockeren Quader 604 zeigt, der auf einem Graphen 600 definiert ist, ist in 6 bereitgestellt. Wie in 6 gezeigt, befinden sich Datenpunkte eines Lidardatensatzes 602 innerhalb des Quaders 604. Keine der Kanten 606, 608, 610, 612 der Quaders berührt die Datenpunkte des Lidardatensatzes 602 oder steht anderweitig mit diesen in Kontakt. Die vorliegende Lösung ist nicht auf die Einzelheiten dieser Veranschaulichung beschränkt. Eine oder mehrere der Kanten der Quaders können die Datenpunkte des Lidardatensatzes berühren oder anderweitig mit diesen in Kontakt stehen. Der lockere Quader ist gemäß bekannten oder zukünftig bekannten Techniken konstruiert. Zum Beispiel wird der Quader durch Folgendes konstruiert: Fusionieren des Lidardatensatzes, einer Vektorkarte und eines visuellen Kurses; und Definieren eines Quaders entlang des visuellen Kurses mit einer höchsten Wahrscheinlichkeit. Die Vektorkarte enthält die Fahrspurrichtung, die eine starke Angabe für einen Kurs des lockeren Quaders bereitstellt. Der visuelle Kurs wird für das Objekt anhand der Kamerabilder geschätzt. Die vorliegende Lösung ist nicht auf die Einzelheiten dieses Beispiels beschränkt.
Bei 514 werden Vorgänge eingeleitet oder anderweitig aktiviert, um zu prüfen, ob das Objekt während eines Zeitraums T₁, ..., T_n statisch ist oder nicht. Diese Prüfvorgänge verwenden die lockeren Quader. Der lockere Quader weist einen Schwerpunkt, eine Ausrichtung, eine Breite, Länge und Höhe auf. Angesichts der zusammenhängenden Rahmen prüft das System, ob die Darstellung des Objekts einen Schwellenwert in einem Kartenreferenzrahmen verletzt. Diese Überprüfung kann im Allgemeinen durch die mathematische Gleichung (1) definiert sein. $| x_{t} - x_{t + 1} | \leq τ_{x}$
wobei x eine Prüfung einer gewissen Größe (zum Beispiel Schwerpunktposition, Länge, Breite oder Höhe) darstellt, während τ_x den entsprechenden Schwellenwert darstellt. Eine statische Deklaration erfordert, dass alle Prüfungen über alle Nachbarrahmen hinweg innerhalb des Schwellenwerts liegen.
In einigen Szenarien werden die folgenden drei Prüfungen durch das System durchgeführt: eine Prüfung der Quaderabmessung, eine Prüfung des Schwerpunkts und eine Prüfung der Drehung des Quaders. Diese Prüfungen werden für jedes Paar lockerer Quader durchgeführt, die Lidardaten einschließen, die während des Zeitraums T₁, ..., T_n erfasst wurden. Somit kann der Satz von drei Prüfungen iterativ durchgeführt werden, wenn mehr als zwei lockere Quader in dem Zeitraum T₁, ..., T_n berücksichtigt werden. Zum Beispiel berücksichtigt eine erste Iteration den ersten und zweiten lockeren Quader, während eine zweite Iteration den zweiten und dritten lockeren Quader berücksichtigt und so weiter.
Die Quaderabmessungsprüfung beinhaltet die Vorgänge der Blöcke 516-524. Diese Vorgänge beinhalten Folgendes: Erhalten von Abmessungen (zum Beispiel Länge, Breite und Höhe) eines ersten lockeren Quaders (zum Beispiel Quader_Tk) in einem 3D-Graphen, der Lidardatenpunkte eines ersten Zeitrahmens (zum Beispiel Zeitrahmen T_k) abbildet; Erhalten von Abmessungen eines zweiten lockeren Quaders (zum Beispiel Quader_Tk+1) in einem 3D-Graphen, der Lidardatenpunkte eines zweiten Zeitrahmens (zum Beispiel Zeitrahmen T_k+1) abbildet; und Berechnen von Differenzen zwischen Abmessungen des ersten lockeren Quaders und Abmessungen des zweiten lockeren Quaders. Diese Berechnungen können durch die folgenden mathematischen Gleichungen (2)-(4) definiert werden. $L_{D i f f} = L_{Q u a d e r T k} - L_{Q u a d e r T k + 1}$
$W_{D i f f} = W_{Q u a d e r T k} - W_{Q u a d e r T k + 1}$
$H_{D i f f} = H_{Q u a d e r T k} - H_{Q u a d e r T k + 1}$
wobei L_Diƒƒ einen Längenunterschied zwischen zwei Quadern darstellt, L_QuaderTk eine Länge des ersten lockeren Quaders darstellt, L_QuaderTk+1 eine Länge des zweiten lockeren Quaders darstellt, W_Diƒƒ einen Breitenunterschied zwischen zwei Quadern darstellt, W_QuaderTk eine Breite des ersten lockeren Quaders darstellt, W_QuaderTk+1 eine Breite des zweiten lockeren Quaders darstellt, H_Diƒƒ einen Höhenunterschied zwischen zwei Quadern darstellt, H_QuaderTk eine Höhe des ersten lockeren Quaders darstellt und H_QuaderTk+1 eine Höhe des zweiten lockeren Quaders darstellt. Als Nächstes werden die Differenzwerte jeweils mit Schwellenwerten verglichen, wie durch die mathematischen Gleichungen (5)-(7) gezeigt. $L_{D i f f} < L_{S c h w e l l e n w e r t}$
$W_{D i f f} < W_{S c h w e l l e n w e r t}$
$H_{D i f f} < H_{S c h w e l l e n w e r t}$
wobei L_{Schwellenwert} eine Schwellenlänge darstellt, W_{Schwellenwert} eine Schwellenbreite darstellt und H_{Schwellenwert} einen Höhenschwellenwert darstellt.
Wenn eine oder mehrere der Differenzen jeweils gleich oder größer als die Schwellenwerte sind [524: NEIN], geht das Verfahren 500 zu 530 über, was nachstehend erörtert wird. Wenn im Gegensatz dazu die Differenzen alle kleiner als ihre jeweiligen Schwellenwerte sind [524: JA], fährt das Verfahren 500 mit der Quaderschwerpunktprüfung fort. Es ist wichtig, nicht nur die Größen des ersten und zweiten lockeren Quaders, sondern auch ihre Positionen in den Kartenreferenzrahmen zu vergleichen. Da sich das AV möglicherweise bewegt, werden die lockeren Quader von den Zeitpunkten T_k und T_k+1 zurück in den Kartenreferenzrahmen (anstatt den Fahrzeugreferenzrahmen) platziert. Dann prüft das System, ob sich die Schwerpunkte der lockeren Quader innerhalb eines Abstandsschwellenwerts voneinander befinden.
Dementsprechend beinhaltet die Quaderschwerpunktprüfung die Vorgänge der Blöcke 526-530. In einigen Szenarien beinhalten die Vorgänge Folgendes: Erhalten der Schwerpunkte C_QuaderTk, C_QuaderTk+1 des ersten und zweiten lockeren Quaders; und Bestimmen eines Abstands D_Schwerpunkte zwischen diesen. Dieser Abstand kann durch die folgende mathematische Gleichung (8) definiert werden. $D_{S c h w e r p u n k t e} = C_{Q u a d e r T k} - C_{Q u a d e r T k + 1}$
Der Abstand wird dann mit einem Schwellenabstandswert D_{Schwellenwert} verglichen, wie durch die mathematische Gleichung (9) gezeigt. $D_{S c h w e r p u n k t e} < D_{S c h w e l l e n w e r t}$
Wenn der Abstand gleich oder größer als der Schwellenwert ist [528: NEIN], werden die Vorgänge von Block 530 durchgeführt, um das Objekt in dem zweiten Zeitrahmen T_k+1 als nicht statisch zu klassifizieren oder anderweitig zu betrachten. Das Verfahren 500 geht dann zu Block 540 aus 5B, die nachstehend erörtert wird. Wenn der Abstand kleiner als der Schwellenwert ist [528: JA], fährt das Verfahren 500 mit der Quaderdrehungsprüfung fort.
Wie in 5B gezeigt, involviert die Quaderdrehungsprüfung die folgenden Vorgänge von Block 532-536: Erhalten von Gierwerten Gierung_QuaderTk, Gierung_QuaderTk+1, die dem ersten und zweiten lockeren Quader zugeordnet sind; Bestimmen einer Differenz zwischen den Gierwerten; und Vergleichen des Differenzwerts mit einem Schwellenwert Gierung_{Schwellenwert}. Diese Berechnungen sind durch die folgende mathematische Gleichung (10) definiert. $| G i e r u n g_{Q u a d e r T k} - G i e r u n g_{Q u a d e r T k + 1} | < G i e r u n g_{S c h w e l l e n w e r t}$
Die Gierung ist die Drehung des Quaders um eine vertikale Achse und wird hier verwendet, um zu bewerten, ob die zwei lockeren Quader die gleiche Drehung aufweisen. Wenn der Differenzwert gleich oder größer als der Schwellenwert ist [534: NEIN], dann fährt das Verfahren 500 mit 536 fort, wo das Objekt in dem zweiten Zeitrahmen T_k+1 als ein nicht statisches Objekt klassifiziert wird. Das Verfahren 500 wird dann mit 540 fortgesetzt, was nachstehend erörtert wird. Wenn der Differenzwert kleiner als der Schwellenwert ist [534: JA], dann wird das Objekt in dem zweiten Zeitrahmen T_k+1 als ein statisches Objekt klassifiziert, wie durch Block 538 gezeigt.
Als nächstes identifiziert das System bei 540 Lidardatenpunkte innerhalb jedes lockeren Quaders. Die identifizierten Lidarpunkte werden verarbeitet, um Bodenpunkte daraus zu entfernen oder anderweitig zu filtern. Die Bodenpunkte können unter Verwendung eines Inhalts einer Straßen-/Geländekarte, einer bekannten Sensorhöhe und/oder eines Ebenenanpassungsalgorithmus identifiziert werden. Die verbleibenden Lidardatenpunkte, die jedem lockeren Quader zugeordnet sind, werden als ein Satz von Lidardatenpunkten bezeichnet.
In 542 wird ein enger Quader definiert, der eng zu jedem Satz von Lidardatenpunkten passt. Jeder enge Quader ist durch Folgendes definiert: Transformieren der Koordinaten des lockeren Quaders von einem ersten Koordinatensystem in ein zweites anderes Koordinatensystem; und Anpassen der xyz-Koordinaten der Quaderecken, um Minimalwerte zum Einschließen einer gegebenen Anzahl von Lidardatenpunkten für das Objekt (mit einer Toleranz für Ausreißer-Lidardatenpunkte) aufzuweisen. Das erste Koordinatensystem kann ein Lidarsystem/Sensorkoordinatensystem umfassen, d. h. ein xyz-Koordinatensystem, das einen Ursprung der drei Achsen in einem Mittelpunkt eines Lidarsystem-/Sensormittelpunkts aufweist. Das zweite Koordinatensystem kann ein xyz-Koordinatensystem umfassen, das einen Ursprung der drei Achsen in einem Mittelpunkt eines Objekts aufweist, wobei die x-Achse nach vorne (d h. in Richtung des Kurses des Objekts) zeigt und die z-Achse nach oben zeigt.
In einigen Szenarien wird der enge Quader durch Anpassen der Koordinatenwerte für jede Fläche auf Grundlage der Koordinaten eines Lidardatenpunkts mit einem kleinsten x-Achsen-Wert in den Lidardatenpunkten für das Objekt, einem Lidardatenpunkt mit einem kleinsten Wert der y-Achse (oder y-Koordinate) in den Lidardatenpunkten für das Objekt, einem Lidardatenpunkt mit einem kleinsten Wert der z-Achse (oder z-Koordinate) in den Lidardatenpunkten für das Objekt, einem Lidardatenpunkt mit einem größten Wert der x-Achs (oder x-Koordinate) in den Lidardatenpunkten für das Objekt, einem Lidardatenpunkt mit einem größten y-Achsen-Wert in den Lidardatenpunkten für das Objekt und einem Lidardatenpunkt mit einem größten z-Achsen-Wert in den Lidardatenpunkten für das Objekt definiert. Zum Beispiel werden Geometriekoordinaten für den engen Quader so ausgewählt, dass die aufgelisteten Lidardatenpunkte darin enthalten sind. Es kann sein, dass Toleranzschwellenwerte erfüllt werden müssen. Zum Beispiel müssen fünfundneunzig Prozent (95 %) aller Lidardatenpunkte für das Objekt in dem engen Quader enthalten sein. Die vorliegende Lösung ist nicht auf die Einzelheiten dieser Beispiele beschränkt.
Eine Veranschaulichung eines lockeren Quaders 704, der auf einem Graphen 700 abgebildet ist, ist in 7 bereitgestellt. Wie in 7 gezeigt, befinden sich Datenpunkte eines Lidardatensatzes 702 innerhalb des Quaders 704. Der Lidardatensatz 702 kann den Lidardatensatz 602 aus 6 umfassen, wobei Datenpunkte für den Boden davon entfernt sind. Kanten 706, 708, 710, 712 der Quaders berühren die Datenpunkte des Lidardatensatzes 702 oder steht anderweitig mit diesen in Kontakt. Die vorliegende Lösung ist nicht auf die Einzelheiten dieser Veranschaulichung beschränkt. Zum Beispiel können sich ein oder mehrere Datenpunkte des Lidardatensatzes gemäß Toleranzschwellenwerten außerhalb des engen Quaders 704 befinden.
Als Nächstes werden bei 544 die Lidardatenpunkte in den lockeren Quadern einer Nachverfolgung in ein zweites Koordinatensystem transformiert und dann zu einem einzelnen 3D-Graphen akkumuliert. Zum Beispiel werden die Lidardatenpunkte der lockeren Quader 802, 804, 806, 808 der Nachverfolgung 800, die in 8 gezeigt ist, zu einem einzelnen 3D-Graphen akkumuliert. Bei 546 wird ein Quader definiert, der eng an die akkumulierten Lidardatenpunkten angepasst ist. Dieser Quader kann auf die gleiche oder eine ähnliche Weise wie der enge Quader aus 542 definiert sein. Der Quader aus 546 wird in diesem Dokument als ein akkumulierter Quader bezeichnet.
Bei 548 wird eine amodale Ausdehnung unter Verwendung des akkumulierten Quaders und/oder der vorherigen amodalen Ausdehnung(en) für das Objekt berechnet oder anderweitig bestimmt. Die amodale Ausdehnung beschreibt das minimal erforderliche Volumen, um das gesamte Objekt der Wahrheit unabhängig von der Sichtbarkeit zu umschließen. Die amodale Ausdehnung kann durch Skalarzahlen von Breite, Länge und Höhe dargestellt werden. Diese Berechnung oder Bestimmung der amodalen Ausdehnung kann zum Beispiel durch Folgendes erreicht werden: Erhalten einer vorherigen amodalen Ausdehnung, die eine maximale Größe für das Objekt aufweist; Erhalten einer anderen vorherigen amodalen Ausdehnung, die eine minimale Größe für das Objekt aufweist; und Vergleichen der Größe des akkumulierten Quaders mit der maximalen vorherigen Größe und der minimalen vorherigen Größe. Die amodale Ausdehnung wird gleich der maximalen vorherigen Größe festgelegt, wenn die Größe des akkumulierten Quaders größer als die maximale vorherige Größe ist, oder alternativ gleich der minimalen vorherigen Größe festgelegt, wenn die Größe des akkumulierten Quaders kleiner als die minimale vorherige Größe ist. Andernfalls wird die amodale Ausdehnung gleich der Ausdehnung des akkumulierten Quaders festgelegt.
In 550 werden xyz-Koordinaten für einen Mittelpunkt des amodalen Quaders auf Grundlage des engen Quaders und/oder der lockeren Quader bestimmt. Zum Beispiel werden die Mittelpunktkoordinaten des amodalen Quaders durch Folgendes bestimmt: (i) Ausrichten einer Ecke des amodalen Quaders an der nächstgelegenen sichtbaren Ecke des engen Quaders; und (ii) Ausrichten einer Ecke des amodalen Quaders derart, dass eine Grenzgenauigkeit zwischen dem amodalen Quader und einem lockeren Quader maximiert ist. Nach der Ausrichtung werden die Koordinaten des Mittelpunkts des amodalen Quaders festgelegt oder anderweitig erhalten.
Anschließend wird das Verfahren 500 mit 552 fortgesetzt, wo das System die Vorgänge der Blöcke 552-560 für jedes Einzelbild oder jeden 3D-Graphen durchführt, der dem Zeitraum T₁, ..., T_n zugeordnet ist. In Block 552 prüft das System, ob das Objekt zuvor für einen konkreten Rahmen oder 3D-Graphen, der einer Zeit T₁, ..., oder T_n zugeordnet ist, als statisch oder nicht statisch klassifiziert wurde. Wenn das Objekt als statisch klassifiziert ist [552: JA], dann betrachtet das System einen Schwerpunkt oder Mittelpunkt des ersten lockeren Quaders als den Schwerpunkt oder Mittelpunkt für den amodalen Quader, wie durch 554 und die folgende mathematische Gleichung (11) gezeigt. $S c h w e r p u n k t_{A m o d a l} = C_{Q u a d e r T k}$
Wenn das Objekt im Gegensatz dazu als nicht statisch klassifiziert ist [552: NEIN], führt das System in 556 Vorgänge aus, um einen Punkt P* (von Punkten Pi) auf einen Punkt P_MP auf der mobilen Plattform innerhalb der ersten lockeren Quaders zu identifizieren. Dieser Vorgang kann durch die folgende mathematische Gleichung (12) definiert werden: $P * = {arg min}_{P i \in P} D (P_{i}, P_{M P})$
wobei D(Pi, P_MP) eine reellwertige Abstandsfunktion mit der Domäne P ist und arg min_Pi∈P D(Pi, P_MP) ein Satz von Elementen in P ist, die das globale Minimum in Perreichen. Punkt P* wird dann in 558 als Eckpunkt für den amodalen Quader verwendet, wobei die vier möglichen Eckenauswahlen unter Verwendung einer Metrik bewertet werden, um eine Überlappung zwischen dem amodalen Quader und dem ersten lockeren Quader zu berechnen.
Die Ecke mit der höchsten Bewertung S wird ausgewählt. Die Bewertung S kann eine Funktion der Fläche des amodalen Quaders A_amodal und der Fläche des ersten lockeren Quaders A_QuaderTk sein. Die Bewertung S kann durch die folgende mathematische Gleichung (13) definiert werden: $S = (A_{a m o d a l} \cap A_{Q u a d e r T k}) / A_{a m o d a l}$
wobei der Ausdruck A_amodal ∩ A_QuaderTk eine Schnittfläche des amodalen Quaders und des lockeren Quaders darstellt. Die ausgewählte Ecke wird in 560 zusammen mit einer Größe und Ausrichtung des amodalen Quaders verwendet, um einen Mittelpunkt des amodalen Quaders Schwerpunkt_Amodal zu berechnen.
Nach Abschluss der Vorgänge 552-560 fährt das Verfahren 500 mit 562 aus 5C fort. Die Vorgänge aus Block 562 involvieren das Überlagern des amodalen Quaders über die 3D-Graphen, um mit den Lidardatenpunkten für das Objekt ausgerichtet zu werden. Jeder amodale Quader kann durch einen Mittelpunkt (oder Schwerpunkt), eine Ausrichtung, eine Breite, eine Länge und eine Höhe definiert sein. Der amodale Quader kann zum Beispiel durch Folgendes über jeden 3D-Graphen gelegt werden: (i) Ausrichten einer Ecke des amodalen Quaders an der nächstgelegenen sichtbaren Ecke des engen Quaders; und (ii) Ausrichten einer Ecke des amodalen Quaders derart, dass eine Grenzgenauigkeit zwischen dem amodalen Quader und einem lockeren Quader maximiert ist. Der Begriff „Grenzgenauigkeit“ bezieht sich auf eine berechnete Schnittfläche zwischen einer Fläche des amodalen Quaders und einer Fläche eines lockeren Quaders, geteilt durch die Gesamtfläche des amodalen Quaders. In einigen Szenarien wird ein zusätzlicher Ausdehnungsspielraum auf dem amodalen Quader bereitgestellt. Dies liegt daran, dass nach dem Ausrichten der nächstgelegenen sichtbaren Ecke ein Teil des Objekts außerhalb des Quaders liegen könnte (ein Teil des Objekts könnte sich tatsächlich näher an dem Lidarsensor befinden als die nächstgelegene Ecke des engen Quaders). Somit kann ein gegebener Spielraum (zum Beispiel 10-20 cm) zu dem endgültigen amodalen Quader hinzugefügt werden, um dies zu berücksichtigen.
Der amodale Quader kann optional in 564 verwendet werden, um einen Maschinenlernalgorithmus für Objektdetektions-/-klassifizierungszwecke, Bewegungsvorhersagezwecke und/oder Bewegungsplanungszwecke zu trainieren (um zum Beispiel Vorhersagen bezüglich Bewegungsbahnen für Objekte zu treffen). Verfahren zum Trainieren von Maschinenlernalgorithmen unter Verwendung von Quadern sind bekannt. Der Maschinenlernalgorithmus kann in 566 zur Objektdetektion und/oder -klassifizierung verwendet werden. Die Ausgabe des Maschinenlernalgorithmus kann bei 568 verwendet werden, um die vorhergesagte Bewegungsbahn des Objekts und/oder eine Bewegungsbahn der mobilen Plattform zu bestimmen. Die mobile Plattform kann bei 570 gesteuert werden, um zu bewirken, dass sie der Bewegungsbahn folgt. Anschließend wird 572 durchgeführt, wo das Verfahren 500 endet oder andere Vorgänge durchgeführt werden (zum Beispiel Rückkehr zu 502 aus 5A).
Das vorstehend beschriebene Verfahren 500 entfernt die Sprunghaftigkeit von amodalen Quadern für statische Objekte. Dies kann eine nachgelagerte Ground-Truth-Generierung für Lidar-basierte Objektdetektionsalgorithmen sowie die Geschwindigkeitsschätzungen für Objektverfolgungszwecke verbessern.
Verschiedene Ausführungsformen können zum Beispiel unter Verwendung eines oder mehrerer Computersysteme, wie etwa des Computersystems 900, das in 9 gezeigt ist, umgesetzt werden. Das Computersystem 900 kann ein beliebiger Computer sein, der dazu in der Lage ist, die in diesem Dokument beschriebenen Funktionen durchzuführen.
Das Computersystem 900 beinhaltet einen oder mehrere Prozessoren (auch als zentrale Verarbeitungseinheiten oder CPUs bezeichnet), wie etwa einen Prozessor 904. Der Prozessor 904 ist mit einer Kommunikationsinfrastruktur oder einem Bus 902 verbunden. Optional können einer oder mehrere der Prozessoren 904 jeweils eine Grafikverarbeitungseinheit (graphics processing unit - GPU) sein. In einer Ausführungsform ist eine GPU ein Prozessor, der eine spezialisierte elektronische Schaltung ist, die dazu ausgestaltet ist, mathematisch intensive Anwendungen zu verarbeiten.Die GPU kann eine parallele Struktur aufweisen, die zur parallelen Verarbeitung großer Datenblöcke effizient ist, wie etwa mathematisch intensiver Daten, die Computergrafikanwendungen, Bildern, Videos usw. gemeinsam sind.
Das Computersystem 900 beinhaltet zudem (eine) Benutzereingabe-/-ausgabevorrichtung(en) 916, wie etwa Monitore, Tastaturen, Zeigevorrichtungen usw., die mit - Kommunikationsinfrastruktur 902 über (eine) Benutzereingabe-/-ausgabeschnittstelle(n) 908 kommunizieren.
Das Computersystem 900 beinhaltet zudem einen Haupt- oder Primärspeicher 906, wie etwa Direktzugriffsspeicher (random access memory - RAM). Der Hauptspeicher 906 kann eine oder mehrere Cache-Ebenen beinhalten. Der Hauptspeicher 906 weist darin gespeicherte Steuerlogik (z. B. Computersoftware) und/oder Daten auf.
Das Computersystem 900 kann zudem eine oder mehrere Nebenspeichervorrichtungen oder einen Nebenspeicher 910 beinhalten. Der Nebenspeicher 910 kann zum Beispiel ein Festplattenlaufwerk 912 und/oder eine entfernbare Speichervorrichtung oder ein entfernbares Speicherlaufwerk 914 beinhalten. Bei dem entfernbaren Speicherlaufwerk 914 kann es sich um ein externes Festplattenlaufwerk, ein Universal-Serial-Bus-(USB-)Laufwerk, eine Speicherkarte, wie etwa eine Compact-Flash-Karte oder einen sicheren digitalen Speicher, ein Diskettenlaufwerk, ein Magnetbandlaufwerk, ein Compact-Disc-Laufwerk, ein optische Speichervorrichtung, eine Bandsicherungsvorrichtung und/oder eine beliebige andere Speichervorrichtung/ein beliebiges anderes Speicherlaufwerk handeln.
Das entfernbare Speicherlaufwerk 914 kann mit einer entfernbaren Speichereinheit 918 interagieren. Die entfernbare Speichereinheit 918 beinhaltet eine computernutzbare oder - lesbare Speichervorrichtung, auf der Computersoftware (Steuerlogik) und/oder Daten gespeichert sind. Bei der entfernbaren Speichereinheit 918 kann es sich um ein externes Festplattenlaufwerk, ein Universal-Serial-Bus-(USB-)Laufwerk, eine Speicherkarte, wie etwa eine Compact-Flash-Karte oder einen sicheren digitalen Speicher, ein Diskettenlaufwerk, ein Magnetbandlaufwerk, eine Compact-Disc, eine DVD, ein optische Speichervorrichtung und/oder eine beliebige andere Computerspeichervorrichtung handeln. Das entfernbare Speicherlaufwerk 914 liest auf bekannte Weise aus der entfernbaren Speichereinheit 918 und/oder schreibt in diese.
Gemäß einer beispielhaften Ausführungsform kann der Nebenspeicher 910 andere Mittel, Instrumente oder andere Ansätze beinhalten, um zu ermöglichen, dass auf Computerprogramme und/oder andere Anweisungen und/oder Daten durch das Computersystem 900 zugegriffen wird. Derartige Mittel, Instrumente oder andere Ansätze können zum Beispiel eine entfernbare Speichereinheit 922 und eine Schnittstelle 920 beinhalten. Beispiele für die entfernbare Speichereinheit 922 und die Schnittstelle 920 können ein Programmmodul und eine Modulschnittstelle (wie sie etwa in Videospielvorrichtungen zu finden ist), einen entfernbaren Speicherchip (wie etwa einen EPROM oder PROM) und einen zugehörigen Anschluss, einen Speicherstick und USB-Port, eine Speicherkarte und einen zugehörigen Speicherkartensteckplatz und/oder eine beliebige andere entfernbare Speichereinheit und zugehörige Schnittstelle beinhalten.
Das Computersystem 900 kann ferner eine Kommunikations- oder Netzwerkschnittstelle 924 beinhalten. Die Kommunikationsschnittstelle 924 ermöglicht es dem Computersystem 900, mit einer beliebigen Kombination von entfernten Vorrichtungen, entfernten Netzwerken, entfernten Instanzen usw. (einzeln und gemeinsam durch das Bezugszeichen 928 bezeichnet) zu kommunizieren und zu interagieren. Zum Beispiel kann die Kommunikationsschnittstelle 924 dem Computersystem 900 ermöglichen, mit entfernten Vorrichtungen 928 über einen Kommunikationspfad 926 zu kommunizieren, der drahtgebunden und/oder drahtlos sein kann und der eine beliebige Kombination aus LANs, WANs, dem Internet usw. beinhalten kann. Steuerlogik und /oder Daten können über den Kommunikationspfad 926 an das und von dem Computersystem 900 übertragen werden.
In einigen Ausführungsformen wird eine physische, nichttransitorische Vorrichtung oder ein Herstellungsartikel, die/der ein physisches, nichttransitorisches computernutzbares oder - lesbares Medium umfasst, auf dem Steuerlogik (Software) gespeichert ist, in diesem Dokument auch als Computerprogrammprodukt oder Programmspeichervorrichtung bezeichnet. Dies beinhaltet unter anderem das Computersystem 900, den Hauptspeicher 906, den Nebenspeicher 910 und die entfernbaren Speichereinheiten 918 und 922 sowie greifbare Herstellungsartikel, die eine beliebige Kombination des Vorstehenden verkörpern. Eine derartige Steuerlogik veranlasst bei Ausführung durch eine oder mehrere Datenverarbeitungsvorrichtungen (wie etwa das Computersystem 900) derartige Datenverarbeitungsvorrichtungen dazu, wie in diesem Dokument beschrieben zu arbeiten. Auf Grundlage der in dieser Offenbarung enthaltenen Lehren wird es für den Fachmann ersichtlich, wie Ausführungsformen dieser Offenbarung unter Verwendung von anderen Datenverarbeitungsvorrichtungen, Computersystemen und/oder Computerarchitekturen als die in 9 gezeigten vorzunehmen und zu verwenden sind. Insbesondere können Ausführungsformen mit anderen Software-, Hardware- und/oder Betriebssystemimplementierungen als den in diesem Dokument beschriebenen betrieben werden.
Ausdrücke, die für diese Offenbarung relevant sind, beinhalten Folgendes:

Eine „elektronische Vorrichtung“ oder eine „Rechenvorrichtung“ bezieht sich auf eine Vorrichtung, die einen Prozessor und einen Speicher beinhaltet. Jede Vorrichtung kann ihren eigenen Prozessor und/oder Speicher aufweisen oder der Prozessor und/oder Speicher können mit anderen Vorrichtungen, wie in einer Anordnung einer virtuellen Maschine oder eines Containers, gemeinsam genutzt werden. Der Speicher enthält oder empfängt Programmieranweisungen, die, wenn sie durch den Prozessor ausgeführt werden, die elektronische Vorrichtung dazu veranlassen, einen oder mehrere Vorgänge gemäß den Programmieranweisungen durchzuführen.

Die Ausdrücke „Speicher“, „Speichervorrichtung“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen beziehen sich jeweils auf eine nichttransitorische Vorrichtung, auf der computerlesbare Daten, Programmieranweisungen oder beides gespeichert sind. Sofern nicht ausdrücklich anders angegeben, sollen die Ausdrücke „Speicher“, „Speichervorrichtung“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen Ausführungsformen einer einzelnen Vorrichtung, Ausführungsformen, in denen mehrere Speichervorrichtungen zusammen oder gemeinsam einen Satz von Daten oder Anweisungen speichern, sowie einzelne Sektoren innerhalb derartiger Vorrichtungen beinhalten. Ein Computerprogrammprodukt ist eine Speichervorrichtung mit darauf gespeicherten Programmieranweisungen.
Die Ausdrücke „Prozessor“ und „Verarbeitungsvorrichtung“ beziehen sich auf eine Hardwarekomponente einer elektronischen Vorrichtung, die dazu konfiguriert ist, Programmieranweisungen auszuführen. Sofern nicht ausdrücklich anders angegeben, soll der Ausdruck „Prozessor“ oder „Verarbeitungsvorrichtung“ im Singular sowohl Ausführungsformen mit einer einzelnen Verarbeitungsvorrichtung als auch Ausführungsformen beinhalten, in denen mehrere Verarbeitungsvorrichtungen, die Komponenten einer einzelnen Vorrichtung oder Komponenten separater Vorrichtungen sein können, zusammen oder gemeinsame einen Prozess durchführen.
Wenn er sich auf ein Objekt bezieht, das durch ein Fahrzeugwahrnehmungssystem detektiert oder durch ein Simulationssystem simuliert wird, soll der Ausdruck „Objekt“ sowohl stationäre Objekte als auch sich bewegende (oder sich möglicherweise bewegende) Akteure einschließen, sofern nicht ausdrücklich durch Verwendung des Ausdrucks „Akteur“ oder „stationäres Objekt“ etwas anderes angegeben ist.
Wenn er im Kontext der autonomen Fahrzeugbewegungsplanung verwendet wird, bezieht sich der Begriff „Bewegungsbahn“ auf den Plan, den das Bewegungsplanungssystem des Fahrzeugs generiert und dem das Bewegungssteuersystem des Fahrzeugs folgt, wenn es die Bewegung des Fahrzeugs steuert. Eine Bewegungsbahn beinhaltet die geplante Position und Ausrichtung des Fahrzeugs zu mehreren Zeitpunkten über einen Zeithorizont sowie den geplanten Lenkradwinkel und die Winkelrate des Fahrzeugs über den gleichen Zeithorizont. Das Bewegungssteuersystem eines autonomen Fahrzeugs beansprucht die Bewegungsbahn und sendet Befehle an die Lenksteuerung, die Bremssteuerung, die Drosselsteuerung und/oder ein anderes Bewegungssteuerungsteilsystem des Fahrzeugs, um das Fahrzeug entlang eines geplanten Wegs zu bewegen.
Eine „Bewegungsbahn“ eines Akteurs, die die Wahrnehmungs- oder Vorhersagesysteme eines Fahrzeugs generieren kann, bezieht sich auf den vorhergesagten Weg, dem der Akteur über einen Zeithorizont folgen wird, zusammen mit der vorhergesagten Geschwindigkeit des Akteurs und/oder der Position des Akteurs entlang des Wegs bei verschiedenen Zeitpunkten entlang des Zeithorizonts.
In diesem Dokument werden die Ausdrücke „Straße“, „Fahrbahn“, „Landstraße“ und „Kreuzung“ beispielhaft mit Fahrzeugen veranschaulicht, die auf einer oder mehreren Straßen fahren. Die Ausführungsformen sollen jedoch Fahrbahnen und Kreuzungen an anderen Standorten, wie etwa Parkbereichen, beinhalten. Zusätzlich kann bei autonomen Fahrzeugen, die für die Verwendung in Innenräumen ausgelegt sind (wie etwa automatisierte Entnahmevorrichtungen in Lagerhäusern), eine Straße ein Korridor des Lagers sein und kann eine Fahrbahn ein Abschnitt des Korridors sein. Wenn das autonome Fahrzeug eine Drohne oder ein anderes Luftfahrzeug ist, kann der Ausdruck „Straße“ oder „Landstraße“ einen Luftweg darstellen und kann eine Fahrbahn ein Abschnitt des Luftwegs sein. Wenn das autonome Fahrzeug ein Wasserfahrzeug ist, kann der Ausdruck „Straße“ oder „Landstraße“ einen Wasserweg darstellen und kann eine Fahrbahn ein Abschnitt des Wasserwegs sein.
in diesem Dokument soll, wenn Ausdrücke wie „erste“ und „zweite“ verwendet werden, um ein Substantiv zu modifizieren, eine derartige Verwendung lediglich dazu dienen, ein Element von einem anderen zu unterscheiden, und soll keine sequentielle Reihenfolge erfordern, sofern dies nicht ausdrücklich angegeben ist. Zusätzlich sollen Ausdrücke der relativen Position, wie etwa „vertikal“ und „horizontal“ oder „vorne“ und „hinten“, wenn sie verwendet werden, relativ zueinander sein und müssen nicht absolut sein und beziehen sich nur auf eine mögliche Position der Vorrichtung, die diesen Ausdrücken zugeordnet ist, abhängig von der Ausrichtung der Vorrichtung.
Es versteht sich, dass der Abschnitt der detaillierten Beschreibung und kein anderer Abschnitt zur Auslegung der Patentansprüche verwendet werden soll. Andere Abschnitte können eine oder mehrere, aber nicht alle beispielhaften Ausführungsformen wiedergeben, wie sie von dem/den Erfinder(n) in Betracht gezogen wurden, und sollen somit diese Offenbarung oder die beigefügten Patentansprüche in keiner Weise einschränken.
Wenngleich diese Offenbarung beispielhafte Ausführungsformen für beispielhafte Fachgebiete und Anwendungen beschreibt, versteht es sich, dass die Offenbarung nicht auf die offenbarten Beispiele beschränkt ist. Andere Ausführungsformen und Modifikationen daran sind möglich und liegen innerhalb des Umfangs und Geistes dieser Offenbarung. Zum Beispiel, und ohne die Allgemeingültigkeit dieses Absatzes einzuschränken, sind Ausführungsformen nicht auf die Software, Hardware, Firmware und/oder Instanzen beschränkt, die in den Figuren veranschaulicht und/oder in diesem Dokument beschrieben sind. Ferner weisen Ausführungsformen (unabhängig davon, ob sie ausdrücklich beschrieben sind oder nicht) einen erheblichen Nutzen auf Fachgebieten und Anwendungen auf, die über die in diesem Dokument beschriebenen Beispiele hinausgehen.
Ausführungsformen wurden in diesem Dokument mit Hilfe von Funktionsbausteinen beschrieben, welche die Umsetzung spezifizierter Funktionen und Beziehungen veranschaulichen. Die Grenzen dieser Funktionsbausteine wurden in diesem Dokument zur Vereinfachung der Beschreibung willkürlich definiert. Alternative Grenzen können definiert werden, solange die spezifizierten Funktionen und Beziehungen (oder deren Äquivalente) angemessen durchgeführt werden. Außerdem können alternative Ausführungsformen Funktionsblöcke, Schritte, Vorgänge, Verfahren usw. unter Verwendung einer Reihenfolge durchführen, die sich von der in diesem Dokument beschriebenen unterscheidet.
Die Merkmale aus unterschiedlichen hierin offenbarten Ausführungsformen können frei kombiniert werden. Zum Beispiel können ein oder mehrere Merkmale aus einer Ausführungsform des Verfahrens mit einem beliebigen der System- oder Produktausführungsformen kombiniert werden. Gleichermaßen können Merkmale aus einer System- oder Produktausführungsform mit beliebigen der hierin offenbarten Verfahrensausführungsform kombiniert werden.
Bezugnahmen in diesem Dokument auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“ usw. geben an, dass die beschriebene Ausführungsform ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, aber nicht zwingend jede Ausführungsform diese(s) konkrete Merkmal, Struktur oder Eigenschaft beinhalten muss. Darüber hinaus beziehen sich derartige Formulierungen nicht unbedingt auf dieselbe Ausführungsform. Ferner sei darauf hingewiesen, dass, wenn ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, es im Bereich des Fachwissens des Fachmanns läge, ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in andere Ausführungsformen zu integrieren, ob dies nun in diesem Dokument ausdrücklich beschrieben ist oder nicht. Zusätzlich können einige Ausführungsformen unter Verwendung des Ausdrucks „gekoppelt“ und „verbunden“ zusammen mit ihren Ableitungen beschrieben werden. Diese Ausdrücke sind nicht notwendigerweise als Synonyme füreinander gedacht. Zum Beispiel können einige Ausführungsformen unter Verwendung der Ausdrücke „verbunden“ und/oder „gekoppelt“ beschrieben werden, um anzugeben, dass zwei oder mehr Elemente in direktem physischen oder elektrischen Kontakt miteinander stehen. Der Ausdruck „gekoppelt“ kann jedoch auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt miteinander stehen, aber dennoch miteinander zusammenarbeiten oder interagieren.
Die Merkmale aus unterschiedlichen hierin offenbarten Ausführungsformen können frei kombiniert werden. Zum Beispiel können ein oder mehrere Merkmale aus einer Ausführungsform des Verfahrens mit einem beliebigen der System- oder Produktausführungsformen kombiniert werden. Gleichermaßen können Merkmale aus einer System- oder Produktausführungsform mit beliebigen der hierin offenbarten Verfahrensausführungsform kombiniert werden.
Die Breite und der Umfang der vorliegenden Offenbarung soll durch keine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden.
Wie vorstehend beschrieben, offenbart dieses Dokument Ausführungsformen eines Systems, eines Verfahrens und eines Computerprogrammprodukts zum Betreiben eines Lidarsystems. Die Systemausführungsformen beinhalten einen Prozessor oder eine Rechenvorrichtung, der/die die Verfahren zum Betreiben eines Lidars umsetzt. Die Computerprogrammausführungsformen beinhalten zum Beispiel Programmieranweisungen, die in einem Speicher gespeichert sind, um einen Prozessor dazu zu veranlassen, die in diesem Dokument beschriebenen Datenverwaltungsverfahren durchzuführen. Die Systemausführungsformen beinhalten zudem einen Prozessor, der dazu konfiguriert ist, die in diesem Dokument beschriebenen Verfahren, zum Beispiel über die Programmieranweisungen, durchzuführen. Allgemeiner beinhalten die Systemausführungsformen ein System, das Mittel zum Durchführen der Schritte eines beliebigen der in diesem Dokument beschriebenen Verfahren umfasst.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Steuern einer mobilen Plattform Folgendes: Erhalten von lockeren Quadern durch eine Rechenvorrichtung, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader durch die Rechenvorrichtung; Prüfen durch die Rechenvorrichtung, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Prüfens durch die Rechenvorrichtung; und Veranlassen durch die Rechenvorrichtung, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader den identifizierten Mittelpunkt aufweist.
Gemäß einer Ausführungsform umfasst das Identifizieren Berücksichtigen eines Mittelpunkts eines der lockeren Quader als einen Mittelpunkt für den amodalen Quader, wenn das Objekt statisch ist.
Gemäß einer Ausführungsform umfasst das Prüfen Durchführen mindestens einer von einer Quaderabmessungsprüfung, einer Quaderschwerpunktprüfung und einer Quaderdrehungsprüfung.
Gemäß einer Ausführungsform umfasst das Prüfen ferner Klassifizieren des Objekts als statisch in einem Zeitrahmen, wenn die Quaderabmessungsprüfung, die Quaderschwerpunktprüfung und die Quaderdrehungsprüfung angeben, dass das Objekt zu zwei aufeinanderfolgenden Zeitpunkten in dem Zeitraum einer gleichen Quadergröße, einer gleichen Quaderausrichtung und einem gleichen Quaderschwerpunkt zugeordnet ist.
Gemäß einer Ausführungsform umfasst die Quaderabmessungsprüfung Folgendes: Erhalten von Abmessungen für einen ersten lockeren Quader in einem ersten der 3D-Graphen, der Lidardatenpunkte eines ersten Zeitrahmens abbildet; Erhalten von Abmessungen für einen zweiten lockeren Quader in einem zweiten der 3D-Graphen, der Lidardatenpunkte eines zweiten Zeitrahmens abbildet; Berechnen von Differenzen zwischen Abmessungen des ersten lockeren Quaders und Abmessungen des zweiten lockeren Quaders; und jeweils Vergleichen der Differenzen mit Schwellenabmessungswerten.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Klassifizieren des Objekts als nicht statisch in dem zweiten Zeitrahmen gekennzeichnet, wenn eine oder mehrere der Differenzen größer als die Schwellenabmessungswerte sind.
Gemäß einer Ausführungsform wird die Quaderschwerpunktprüfung durchgeführt, wenn die Differenzen alle kleiner als die Schwellenabmessungswerte sind.
Gemäß einer Ausführungsform umfasst die Quaderschwerpunktprüfung Folgendes: Erhalten eines Abstands zwischen einem Schwerpunkt eines ersten lockeren Quaders der lockeren Quader und einem Schwerpunkt eines zweiten lockeren Quaders der lockeren Quader; und Vergleichen des Abstands mit einem Schwellenabstandswert.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Klassifizieren des Objekts als nicht statisch in einem zweiten Zeitrahmen, der dem zweiten lockeren Quader zugeordnet ist, gekennzeichnet, wenn der Abstand größer als der Schwellenabstandswert ist.
Gemäß einer Ausführungsform wird die Quaderdrehungsprüfung durchgeführt, wenn der Abstand kleiner als der Schwellenabstandswert ist.
Gemäß einer Ausführungsform umfasst die Quaderdrehungsprüfung Folgendes: Erhalten einer Differenz zwischen Gierwerten, die dem ersten und zweiten lockeren Quader der lockeren Quader zugeordnet sind; und Vergleichen der Differenz mit einem Schwellengierdifferenzwert.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Klassifizieren des Objekts als nicht statisch in einem zweiten Zeitrahmen, der dem zweiten lockeren Quader zugeordnet ist, gekennzeichnet, wenn die Differenz größer als der Schwellengierdifferenzwert ist.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Klassifizieren des Objekts als statisch in einem zweiten Zeitrahmen, der dem zweiten lockeren Quader zugeordnet ist, gekennzeichnet, wenn die Differenz kleiner als der Schwellengierdifferenzwert ist.
Gemäß der vorliegenden Erfindung wird ein System bereitgestellt, das Folgendes aufweist: einen Prozessor; ein nichttransitorisches computerlesbares Medium, das Programmieranweisungen umfasst, die dazu konfiguriert sind, den Prozessor dazu zu veranlassen, ein Verfahren zum Steuern einer mobilen Plattform umzusetzen, wobei die Programmieranweisungen Anweisungen für Folgendes umfassen: Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader; Prüfen, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Prüfens; und Veranlassen, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader den identifizierten Mittelpunkt aufweist.
Gemäß einer Ausführungsform wird ein Mittelpunkt eines der lockeren Quader als ein Mittelpunkt für den amodalen Quader berücksichtigt, wenn das Objekt statisch ist.
Gemäß einer Ausführungsform wird die Prüfung, ob das Objekt über den Zeitraum hinweg statisch ist oder nicht, durch Durchführen mindestens einer von einer Quaderabmessungsprüfung, einer Quaderschwerpunktprüfung und einer Quaderdrehungsprüfung erreicht.
Gemäß einer Ausführungsform umfasst die Quaderabmessungsprüfung Folgendes: Erhalten von Abmessungen für einen ersten lockeren Quader in einem ersten der 3D-Graphen, der Lidardatenpunkte eines ersten Zeitrahmens abbildet; Erhalten von Abmessungen für einen zweiten lockeren Quader in einem zweiten der 3D-Graphen, der Lidardatenpunkte eines zweiten Zeitrahmens abbildet; Berechnen von Differenzen zwischen Abmessungen des ersten lockeren Quaders und Abmessungen des zweiten lockeren Quaders; und jeweils Vergleichen der Differenzen mit Schwellenabmessungswerten.
Gemäß einer Ausführungsform umfasst die Quaderschwerpunktprüfung Folgendes: Erhalten eines Abstands zwischen einem Schwerpunkt eines ersten lockeren Quaders der lockeren Quader und einem Schwerpunkt eines zweiten lockeren Quaders der lockeren Quader; und Vergleichen des Abstands mit einem Schwellenabstandswert.
Gemäß einer Ausführungsform umfasst die Quaderdrehungsprüfung Folgendes: Erhalten einer Differenz zwischen Gierwerten, die dem ersten und zweiten lockeren Quader der lockeren Quader zugeordnet sind; und Vergleichen der Differenz mit einem Schwellengierdifferenzwert.
Gemäß der vorliegenden Erfindung wird ein nichttransitorisches computerlesbares Medium bereitgestellt, das Anweisungen speichert, die dazu konfiguriert sind, bei Ausführung durch mindestens eine Rechenvorrichtung die mindestens eine Rechenvorrichtung dazu zu veranlassen, Vorgänge durchzuführen, die Folgendes aufweisen: Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader; Prüfen, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Prüfens; und Veranlassen, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader den identifizierten Mittelpunkt aufweist.

Claims

Verfahren zum Steuern einer mobilen Plattform, das Folgendes umfasst: Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind, durch eine Rechenvorrichtung; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader durch die Rechenvorrichtung; Prüfen durch die Rechenvorrichtung, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Prüfens durch die Rechenvorrichtung; und Veranlassen durch die Rechenvorrichtung, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader den identifizierten Mittelpunkt aufweist.
Verfahren nach Anspruch 1, wobei das Identifizieren Berücksichtigen eines Mittelpunkts eines der lockeren Quader als einen Mittelpunkt für den amodalen Quader umfasst, wenn das Objekt statisch ist.
Verfahren nach Anspruch 1, wobei das Prüfen Durchführen mindestens einer von einer Quaderabmessungsprüfung, einer Quaderschwerpunktprüfung und einer Quaderdrehungsprüfung umfasst.
Verfahren nach Anspruch 3, wobei das Prüfen ferner Klassifizieren des Objekts als statisch in einem Zeitrahmen umfasst, wenn die Quaderabmessungsprüfung, die Quaderschwerpunktprüfung und die Quaderdrehungsprüfung angeben, dass das Objekt zu zwei aufeinanderfolgenden Zeitpunkten in dem Zeitraum einer gleichen Quadergröße, einer gleichen Quaderausrichtung und einem gleichen Quaderschwerpunkt zugeordnet ist.
Verfahren nach Anspruch 3, wobei die Quaderabmessungsprüfung Folgendes umfasst: Erhalten von Abmessungen für einen ersten lockeren Quader in einem ersten der 3D-Graphen, der Lidardatenpunkte eines ersten Zeitrahmens abbildet; Erhalten von Abmessungen für einen zweiten lockeren Quader in einem zweiten der 3D-Graphen, der Lidardatenpunkte eines zweiten Zeitrahmens abbildet; Berechnen von Differenzen zwischen Abmessungen des ersten lockeren Quaders und Abmessungen des zweiten lockeren Quaders; und jeweils Vergleichen der Differenzen mit Schwellenabmessungswerten.
Verfahren nach Anspruch 5, ferner umfassend Klassifizieren des Objekts als nicht statisch in dem zweiten Zeitrahmen, wenn eine oder mehrere der Differenzen größer als die Schwellenabmessungswerte sind.
Verfahren nach Anspruch 5, wobei die Quaderschwerpunktprüfung durchgeführt wird, wenn die Differenzen alle kleiner als die Schwellenabmessungswerte sind.
Verfahren nach Anspruch 3, wobei die Quaderschwerpunktprüfung Folgendes umfasst: Erhalten eines Abstands zwischen einem Schwerpunkt eines ersten lockeren Quaders der lockeren Quader und einem Schwerpunkt eines zweiten lockeren Quaders der lockeren Quader; und Vergleichen des Abstands mit einem Schwellenabstandswert.
Verfahren nach Anspruch 8, ferner umfassend Klassifizieren des Objekts als nicht statisch in einem zweiten Zeitrahmen, der dem zweiten lockeren Quader zugeordnet ist, wenn der Abstand größer als der Schwellenabstandswert ist.
Verfahren nach Anspruch 8, wobei die Quaderdrehungsprüfung durchgeführt wird, wenn der Abstand kleiner als der Schwellenabstandswert ist.
Verfahren nach Anspruch 3, wobei die Quaderdrehungsprüfung Folgendes umfasst: Erhalten einer Differenz zwischen Gierwerten, die dem ersten und dem zweiten lockeren Quader der lockeren Quader zugeordnet sind; und Vergleichen der Differenz mit einem Schwellengierdifferenzwert.
Verfahren nach Anspruch 11, ferner umfassend Klassifizieren des Objekts als nicht statisch in einem zweiten Zeitrahmen, der dem zweiten lockeren Quader zugeordnet ist, wenn die Differenz größer als der Schwellengierdifferenzwert ist.
Verfahren nach Anspruch 11, ferner umfassend Klassifizieren des Objekts als statisch in einem zweiten Zeitrahmen, der dem zweiten lockeren Quader zugeordnet ist, wenn die Differenz kleiner als der Schwellengierdifferenzwert ist.
System, das Folgendes umfasst: einen Prozessor; ein nichttransitorisches computerlesbares Medium, das Programmieranweisungen umfasst, die dazu konfiguriert sind, den Prozessor dazu zu veranlassen, ein Verfahren zum Steuern einer mobilen Plattform umzusetzen, wobei die Programmieranweisungen Anweisungen für Folgendes umfassen: Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader; Prüfen, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Prüfens; und Veranlassen, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader den identifizierten Mittelpunkt aufweist.
Nichttransitorisches computerlesbares Medium, das Anweisungen speichert, die dazu konfiguriert sind, bei Ausführung durch mindestens eine Rechenvorrichtung die mindestens eine Rechenvorrichtung dazu zu veranlassen, Vorgänge durchzuführen, die Folgendes umfassen: Erhalten von lockeren Quadern, die 3D-Graphen überlagern, sodass sie jeweils Lidardatenpunkte einschließen, die einem Objekt zugeordnet sind; Definieren eines amodalen Quaders auf Grundlage der lockeren Quader; Prüfen, ob das Objekt über einen Zeitraum hinweg statisch ist oder nicht; Identifizieren eines Mittelpunkts für den amodalen Quader auf Grundlage des Prüfens; und Veranlassen, dass Vorgänge der mobilen Plattform auf Grundlage dessen gesteuert werden, dass der amodale Quader den identifizierten Mittelpunkt aufweist.