DE102020121259A1

DE102020121259A1 - Lokalisieren eines sich bewegenden Objekts

Info

Publication number: DE102020121259A1
Application number: DE102020121259.3A
Authority: DE
Inventors: Siddharth Agarwal; Faizan Shaik; Ankit Girish Vora; Sangjin Lee; Mostafa Parchami
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2019-08-16
Filing date: 2020-08-12
Publication date: 2021-02-18
Also published as: US11500104B2; US20210048533A1; CN112462383A

Abstract

Diese Offenbarung stellt das Lokalisieren eines sich bewegenden Objekts bereit. Es wird eine Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets bestimmt. Die Referenzpose basiert auf einem dreidimensionalen (3D-) Referenzmodell, welches das Objekt darstellt. Eine erste Pose des Objekts wird bestimmt, wenn sich das Objekt in Bezug auf das Koordinatensystem bewegt. Die erste Pose wird basierend auf der Referenzpose und Sensordaten bestimmt, die durch den Sensor zu einem ersten Zeitpunkt gesammelt werden. Eine zweite Pose des Objekts wird bestimmt, wenn sich das Objekt weiterhin in Bezug auf das Koordinatensystem bewegt. Die zweite Pose wird basierend auf der Referenzpose, der ersten Pose und Sensordaten bestimmt, die durch den Sensor zu einem zweiten Zeitpunkt gesammelt werden, der auf den ersten Zeitpunkt folgt.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können mit bordeigenen Sensoren, wie etwa LIDAR-Sensoren (Light-Detectionand-Ranging-Sensoren), Radarsensoren, Kamerasensoren usw., ausgestattet sein, um Daten zum dreidimensionalen Abbilden von Standorten von Objekten bereitzustellen. Fahrzeuge können sich somit unter Verwendung der bordeigenen Sensoren selbst lokalisieren. Jedoch sind bordeigene Sensoren möglicherweise nicht verfügbar und/oder weisen begrenzte Sichtfelder auf. Ferner können Fahrzeugsensoren Daten bereitstellen, anhand derer es nicht möglich oder schwierig ist, das Fahrzeug mit ausreichender Genauigkeit zu lokalisieren, um zuverlässige Daten bereitzustellen.
KURZDARSTELLUNG
Ein Computer umfasst einen Prozessor und einen Speicher. In dem Speicher sind durch den Prozessor ausführbare Anweisungen gespeichert, um eine Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets basierend auf einem dreidimensionalen (3D-) Referenzmodell zu bestimmen, welches das Objekt darstellt, eine erste Pose des Objekts zu bestimmen, wenn sich das Objekt in Bezug auf das Koordinatensystem bewegt, und eine zweite Pose des Objekts zu bestimmen, wenn sich das Objekt weiterhin in Bezug auf das Koordinatensystem bewegt. Die erste Pose wird basierend auf der Referenzpose und Sensordaten bestimmt, die durch einen Sensor zu einem ersten Zeitpunkt gesammelt werden. Die zweite Pose wird basierend auf der Referenzpose, der ersten Pose und Sensordaten bestimmt, die durch den Sensor zu einem zweiten Zeitpunkt gesammelt werden, der auf den ersten Zeitpunkt folgt. Bei dem Objekt kann es sich um ein Fahrzeug handeln, und das 3D-Referenzmodell wird basierend auf dem Identifizieren des Fahrzeugs bestimmt. In dem Speicher sind ferner Anweisungen zum Ausrichten der Referenzpose mit den durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten gespeichert, um die erste Pose zu bestimmen. Die Anweisungen zum Ausrichten der Referenzpose mit den Sensordaten beinhalten Anweisungen zum Ausführen eines ersten Algorithmus für den nächstgelegenen Punkt und weitere Anweisungen zum weiteren Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten, um die zweiten Pose zu bestimmen. Die Anweisungen zum weiteren Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten beinhalten Anweisungen zum Ausführen eines zweiten Algorithmus für den nächstgelegenen Punkt. In dem Speicher sind weitere Anweisungen zum Ausrichten von nachfolgend durch den Sensor zu jedem einzelnen Zeitpunkt gesammelten Sensordaten mit den zu einem unmittelbar vorhergehenden Zeitpunkt weiter ausgerichteten Sensordaten, um eine zusätzliche Pose des Objekts zu bestimmen, wenn sich das Objekt weiterhin in Bezug auf das Koordinatensystem bewegt. Die zusätzliche Pose wird basierend auf der Referenzpose, der ersten Pose, der zweiten Pose und den nachfolgend durch den Sensor gesammelten Sensordaten bestimmt. Die weiteren Anweisungen zum Ausrichten der nachfolgend durch den Sensor gesammelten Sensordaten mit den zu dem unmittelbar vorhergehenden Zeitpunkt weiter ausgerichteten Sensordaten beinhalten Anweisungen zum Ausführen eines zusätzlichen Algorithmus für den nächstgelegenen Punkt. In dem Speicher sind ferner Anweisungen zum Übertragen eines in Bezug auf das Koordinatensystem ausgerichteten Posengraphen an ein Fahrzeug gespeichert.
Ferner ist ein System bereitgestellt, das ein stationäres Infrastrukturelement, einen an dem stationären Infrastrukturelement montierten Sensor und einen Computer mit einem Prozessor und einem Speicher umfasst. In dem Speicher sind durch den Prozessor ausführbare Anweisungen gespeichert, um eine Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets basierend auf einem dreidimensionalen (3D-) Referenzmodell zu bestimmen, welches das Objekt darstellt, eine erste Pose des Objekts zu bestimmen, wenn sich das Objekt in Bezug auf das Koordinatensystem bewegt, und eine zweite Pose des Objekts zu bestimmen, wenn sich das Objekt weiterhin in Bezug auf das Koordinatensystem bewegt. Die erste Pose wird basierend auf der Referenzpose und Sensordaten bestimmt, die durch den Sensor zu einem ersten Zeitpunkt gesammelt werden. Die zweite Pose wird basierend auf der Referenzpose, der ersten Pose und Sensordaten bestimmt, die durch einen Sensor zu einem zweiten Zeitpunkt gesammelt werden, der auf den ersten Zeitpunkt folgt. Bei dem Objekt kann es sich um ein Fahrzeug handeln, und das 3D-Referenzmodell wird basierend auf dem Identifizieren des Fahrzeugs bestimmt. In dem Speicher sind weitere Anweisungen zum Ausrichten der Referenzpose mit den durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten, um die erste Pose zu bestimmen, zum weiteren Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten, um die zweite Position zu bestimmen, und zum Ausrichten von nachfolgend durch den Sensor zu jedem einzelnen Zeitpunkt gesammelten Sensordaten mit den zu einem unmittelbar vorhergehenden Zeitpunkt weiter ausgerichteten Sensordaten, um eine zusätzliche Pose zu bestimmen, gespeichert. Die weiteren Anweisungen zum Ausrichten können Anweisungen zum Ausführen eines ersten Algorithmus für den nächstgelegenen Punkt beinhalten. Die weiteren Anweisungen zum weiteren Ausrichten können Anweisungen zum Ausführen eines zweiten Algorithmus für den nächstgelegenen Punkt beinhalten. Die zusätzliche Pose basiert auf der Referenzpose, der ersten Pose, der zweiten Pose und den nachfolgend durch den Sensor gesammelten Sensordaten. Die weiteren Anweisungen zum Ausrichten von nachfolgend durch den Sensor gesammelten Sensordaten können Anweisungen zum Ausführen eines zusätzlichen Algorithmus für den nächstgelegenen Punkt beinhalten.
Ein Verfahren beinhaltet das Bestimmen einer Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets basierend auf einem dreidimensionalen (3D-) Referenzmodell, welches das Objekt darstellt, das Bestimmen einer ersten Pose des Objekts, wenn sich das Objekt in Bezug auf das Koordinatensystem bewegt, und das Bestimmen einer zweiten Pose des Objekts, wenn sich das Objekt weiterhin in Bezug auf das Koordinatensystem bewegt. Die erste Pose wird basierend auf der Referenzpose und Sensordaten bestimmt, die zu einem ersten Zeitpunkt gesammelt werden. Die zweite Pose wird basierend auf der Referenzpose, der ersten Pose und Sensordaten bestimmt, die zu einem zweiten Zeitpunkt gesammelt werden, der auf den ersten Zeitpunkt folgt. Bei dem Objekt kann es sich um ein Fahrzeug handeln, und das 3D-Referenzmodell wird basierend auf dem Identifizieren des Fahrzeugs bestimmt. Die Referenzpose stellt Daten des 3D-Modells dar. Die erste Pose des Objekts wird durch das Ausrichten der Referenzpose mit den zu dem ersten Zeitpunkt gesammelten Sensordaten bestimmt. Die zweite Pose des Objekts wird durch das weitere Ausrichten der zu dem ersten Zeitpunkt gesammelten Sensordaten mit den zu dem zweiten Zeitpunkt gesammelten Sensordaten bestimmt. Das Ausrichten der Referenzpose mit den zu dem ersten Zeitpunkt gesammelten Sensordaten kann das Ausführen eines ersten Algorithmus für den nächstgelegenen Punkt beinhalten. Das weitere Ausrichten der zu dem ersten Zeitpunkt gesammelten Sensordaten mit den zu dem zweiten Zeitpunkt gesammelten Sensordaten kann das Ausführen eines zweiten Algorithmus für den nächstgelegenen Punkt beinhalten. Das Verfahren kann ferner das Bestimmen einer zusätzlichen Pose des Objekts umfassen, wenn sich das Objekt weiterhin in Bezug auf das Koordinatensystem bewegt. Die zusätzliche Pose wird basierend auf der Referenzpose, der ersten Pose, der zweiten Pose und nachfolgend durch den Sensor gesammelten Sensordaten bestimmt. Die zusätzliche Pose wird durch das Ausrichten der nachfolgend durch den Sensor zu jedem einzelnen Zeitpunkt gesammelten Sensordaten mit den zu einem unmittelbar vorhergehenden Zeitpunkt weiter ausgerichteten Sensordaten bestimmt, um die zusätzliche Pose zu bestimmen. Das Ausrichten der nachfolgend durch den Sensor zu jedem einzelnen Zeitpunkt gesammelten Sensordaten mit den zu dem unmittelbar vorhergehenden Zeitpunkt weiter ausgerichteten Sensordaten kann das Ausführen eines zusätzlichen Algorithmus für den nächstgelegenen Punkt beinhalten. Das Verfahren umfasst ferner das Übertragen eines in Bezug auf das Koordinatensystem ausgerichteten Posengraphen an ein Fahrzeug.
Figurenliste

1 ist ein Blockdiagramm, das ein beispielhaftes System zum Betreiben eines Fahrzeugs mit einer Lokalisierungseingabe von einem Infrastrukturelement veranschaulicht.
2 ist ein Diagramm, das eine beispielhafte Verkehrsszene veranschaulicht, in der das System aus 1 umgesetzt werden könnte.
3 veranschaulicht einen beispielhaften Prozess zum Betreiben eines Fahrzeugs, der das Lokalisieren eines sich bewegenden Objekts beinhaltet.
4 veranschaulicht eine beispielhafte Punktwolke, die einen Posengraphen beinhaltet, der eine Referenzpose eines beispielhaften sich bewegenden Objekts (eines Fahrzeugs) in Bezug auf ein Koordinatensystem spezifiziert.
5 veranschaulicht schematisch das Ausrichten von Daten und das Bestimmen einer ersten Pose des beispielhaften sich bewegenden Objekts (des beispielhaften Fahrzeugs), wenn es sich in einem Koordinatensystem einer Karte eines Gebiets bewegt.
6 veranschaulicht schematisch das weitere Ausrichten von Daten in einem iterativen Lokalisierungsprozess zum Lokalisieren des sich bewegenden Objekts (des beispielhaften Fahrzeugs) in dem Koordinatensystem der Karte des Gebiets.

DETAILLIERTE BESCHREIBUNG
Wie vorstehend erläutert, kann es unmöglich und/oder unpraktisch sein, die Pose (Position und Ausrichtung) eines Fahrzeugs mit ausreichender Genauigkeit auf das für das autonome Fahren erforderliche Niveau zu bestimmen. Verschiedene Beispiele in dieser Schrift sind auf Systeme und Prozesse zum Lokalisieren eines sich bewegenden Objekts mit typischerweise einer Genauigkeit auf Zentimeterniveau (z. B. innerhalb von etwa 2-3 Zentimetern), wenn sich das Objekt bewegt, gerichtet. Das Lokalisieren des Objekts im vorliegenden Kontext bedeutet das Bestimmen der Pose eines Objekts innerhalb eines Gebiets in Bezug auf das Koordinatensystem. Die Bewegung des Objekts kann dann durch Lokalisieren des Objekts zu aufeinanderfolgenden Zeitpunkten verfolgt werden. Im vorliegenden Zusammenhang handelt es sich bei der „Pose“ eines Objekts innerhalb eines Gebiets um einen Standort (einen dreidimensionalen Koordinatensatz (x, y, z)) und eine Ausrichtung (Rollen, Neigen, Gieren) des Objekts in einem dreidimensionalen (3D-) Raum, wie in Bezug auf ein dreidimensionales Koordinatensystem beschrieben. Im vorliegenden Zusammenhang handelt es sich bei einem „Objekt“ um einen physischen, d. h. materiellen Gegenstand und es bezieht sich auf ein Fahrzeug sowie andere sich bewegende Gegenstände. In Bezug auf ein Fahrzeug handelt es sich bei „Lokalisierung“ um eine bestimmte Position und Ausrichtung des Fahrzeugs in Bezug auf die Fahrumgebung, einschließlich frei befahrbarer Gebiete und umgebender Hindernisse. Bei einem „Koordinatensystem“ für eine Karte eines Gebiets kann es sich um einen Abschnitt eines globalen Koordinatensystems und/oder eines Koordinatensystems mit einen spezifizierten Ursprung, z. B. an einem Infrastrukturelement, handeln.
Fahrzeuge in einem Verkehrsraum können sich für Vorgänge und Entscheidungen, wie etwa Navigieren in einem Gebiet, Bremsen und/oder Abbremsen, Beschleunigen, Spurwechsel, Lenken usw., auf Posen-Daten (Sensordaten oder daraus abgeleitete Daten) stützen. Während ein oder mehrere Sensoren (z. B. LIDAR-Sensoren), die an stationären Infrastrukturelementen innerhalb des Gebiets montiert sind, verwendet werden können, um Standorte von Objekten in drei Dimensionen abzubilden, können diese Sensoren und die bordeigenen Fahrzeugsensoren durch die Umgebung (z. B. in einer Straßenschlucht) beeinflusst werden und können möglicherweise ein Objekt nicht lokalisieren, z. B. wenn das Objekt für den Sensor nur teilweise sichtbar ist. Zudem kann es schwierig sein, ein Objekt mit ausreichender Genauigkeit zu lokalisieren, um zuverlässige Daten bereitzustellen. Zusätzlich dazu beinhalten einige Objekte, die lokalisiert werden müssen, keine bordeigenen Sensoren. Während sich autonome Fahrzeuge selbst lokalisieren können, müssen autonome Fahrzeuge selbst immer noch andere Objekte erkennen und lokalisieren, einschließlich anderer autonomer Fahrzeuge, von Menschen gefahrener Fahrzeuge usw.
Unter jetziger Bezugnahme auf 1 ist ein Blockdiagramm eines beispielhaften Systems zum Lokalisieren eines sich bewegenden Objekts und zum Betreiben eines Fahrzeugs 105 mindestens teilweise basierend auf der Lokalisierung veranschaulicht. Während das Lokalisieren eines Fahrzeugs beschrieben wird, versteht es sich, dass andere sich bewegende Objekte gleichermaßen lokalisiert werden können. Ein oder mehrere Fahrzeuge 105 können einander und/oder einem oder mehreren stationären Infrastrukturelementen 140 Daten bereitstellen. Zur einfacheren Veranschaulichung ist jeweils eines von einem Fahrzeug 105 und einem stationären Infrastrukturelement 140 in 1 gezeigt. 2 veranschaulicht eine Verkehrsszene oder ein Verkehrsgebiet 200, in dem ein beispielhaftes stationäres Infrastrukturelement 140 und eine Vielzahl von Fahrzeugen 105 Daten miteinander austauschen können, z.B. Daten zu Straßen 205, Objekten 210 und anderen Objekten/Merkmalen einer lokalen Umgebung.
Unter weiterer Bezugnahme auf 1 handelt es sich bei einem Fahrzeug 105 üblicherweise (jedoch nicht notwendigerweise) um ein Landfahrzeug, wie etwa ein Auto, einen Lastwagen usw. Zusätzlich oder alternativ dazu kann ein Fahrzeug 105 ein Fahrrad, ein Motorrad usw. einschließen. Ein Fahrzeug 105 beinhaltet einen Fahrzeugcomputer 110, Sensoren 115, Aktoren 120 zum Betätigen verschiedener Fahrzeugkomponenten 125 und ein Fahrzeugkommunikationsmodul 130. Das Kommunikationsmodul 130 ermöglicht es dem Fahrzeugcomputer 110, mit einem oder mehreren stationären Infrastrukturelementen 140 und einem zentralen Server (zur einfachen Veranschaulichung nicht gezeigt), z. B. über ein Nachrichten- oder Rundfunkprotokoll, wie etwa dedizierte Nahbereichskommunikation (Dedicated Short Range Communications - DSRC), Mobilfunk, und/oder ein anderes Protokoll, das die Kommunikation von Fahrzeug zu Fahrzeug, von Fahrzeug zu Infrastruktur, von Fahrzeug zu Cloud oder dergleichen unterstützen kann, und/oder über ein Paketnetzwerk 135 zu kommunizieren.
Der Fahrzeugcomputer 110 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Der Speicher beinhaltet eine oder mehrere Formen computerlesbarer Medien und in ihm sind Anweisungen gespeichert, die durch den Fahrzeugcomputer 110 ausführbar sind, um verschiedene Vorgänge durchzuführen, einschließlich der in dieser Schrift offenbarten. Der Computer 110 kann das Fahrzeug 105 in einem autonomen, einem halbautonomen oder einem nichtautonomen (oder manuellen) Modus betreiben. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, bei dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs durch den Fahrzeugcomputer 110 gesteuert wird; in einem halbautonomen Modus steuert der Fahrzeugcomputer 110 eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs; in einem nichtautonomen Modus steuert ein menschlicher Fahrzeugführer jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs.
Der Computer 110 kann eine Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Steuerung der Beschleunigung des Fahrzeugs durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenbeleuchtung usw. des Fahrzeugs zu betreiben, sowie um zu bestimmen, ob und wann der Computer 110 derartige Vorgänge anstelle eines menschlichen Fahrzeugführers steuern soll. Zusätzlich kann der Computer 110 dazu programmiert sein, zu bestimmen, ob und wann ein menschlicher Fahrzeugführer derartige Vorgänge steuern soll.
Der Computer 110 kann mehr als einen Prozessor beinhalten oder kommunikativ an diese gekoppelt sein, z. B. über ein Fahrzeugnetzwerk, wie etwa einen Kommunikationsbus, wie nachfolgend ausführlicher beschrieben, die z. B. in elektronischen Steuereinheiten (electronic controller units - ECUs) oder dergleichen enthalten sind, welche in dem Fahrzeug zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten 125 beinhaltet sind, z. B. eine Antriebsstrangsteuerung, eine Bremssteuerung, eine Lenksteuerung usw. Der Computer 110 ist im Allgemeinen zur Kommunikation auf einem Fahrzeugkommunikationsnetzwerk, das einen Bus in dem Fahrzeug beinhalten kann, wie etwa ein Controller Area Network (CAN) oder dergleichen, und/oder anderen drahtgebundenen und/oder drahtlosen Mechanismen angeordnet.
Über das Netzwerk des Fahrzeugs kann der Computer 110 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug 105 übertragen und/oder Nachrichten (z. B. CAN-Nachrichten) von den verschiedenen Vorrichtungen empfangen, z. B. von Sensoren 115, einem Aktor 120, einer Mensch-Maschine-Schnittstelle (human machine interface - HMI) usw. Alternativ oder zusätzlich dazu kann in Fällen, in denen der Computer 110 tatsächlich eine Vielzahl von Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 110 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen und/oder Sensoren 115 dem Computer 110 Daten über das Fahrzeugkommunikationsnetzwerk bereitstellen.
Die Fahrzeugsensoren 115 können vielfältige Vorrichtungen beinhalten, die bekanntermaßen dem Computer 110 Daten bereitstellen. Zum Beispiel können die Fahrzeugsensoren 115 (einen) Light-Detection-and-Ranging-Sensor(en) (LIDAR-Sensor(en)) 115 usw. beinhalten, die auf einer Oberseite des Fahrzeugs 105, hinter einer Windschutzscheibe des Fahrzeugs 105, um das Fahrzeug 105 herum usw. angeordnet sind und relative Standorte, Größen und Formen von Objekten bereitstellen, die das Fahrzeug 105 umgeben. Als ein anderes Beispiel können ein oder mehrere Radarsensoren 115, die an Stoßfängern des Fahrzeugs befestigt sind, Daten bereitstellen, um Standorte der Objekte, zweiter Fahrzeuge usw. in Bezug auf den Standort des Fahrzeugs 105 bereitzustellen. Alternativ oder zusätzlich dazu können die Fahrzeugsensoren 115 zum Beispiel (einen) Kamerasensor(en) beinhalten, der/die z. B. nach vorne gerichtet ist/sind, zur Seite gerichtet ist/sind usw. und der/die Bilder von einem Umgebungsbereich des Fahrzeugs 105 bereitstellt/bereitstellen. Wie vorstehend dargelegt handelt es sich bei einem Objekt um einen physischen, d. h. materiellen, Gegenstand, der durch physikalische Phänomene (z. B. Licht oder andere elektromagnetische Wellen oder Schall usw.), die durch Sensoren 115 erkannt werden können, dargestellt werden kann. Somit fallen die Fahrzeuge 105 sowie andere sich bewegende Gegenstände, einschließlich der nachstehend erörterten, unter die Definition von „Objekt“ in dieser Schrift, wie zuvor angemerkt.
Die Fahrzeugaktoren 120 sind über Schaltungen, Chips oder andere elektronische und/oder mechanische Komponenten umgesetzt, die verschiedene Fahrzeugteilsysteme gemäß zweckmäßigen Steuersignalen betätigen können, wie es bekannt ist. Die Aktoren 120 können verwendet werden, um Komponenten 125, einschließlich Bremsung, Beschleunigung und Lenkung eines Fahrzeugs 105, zu steuern.
Im Kontext der vorliegenden Offenbarung handelt es sich bei einer Fahrzeugkomponente 125 um eine oder mehrere Hardwarekomponenten, die dazu ausgelegt sind, eine(n) mechanische(n) oder elektromechanische(n) Funktion oder Vorgang durchzuführen - wie etwa Bewegen des Fahrzeugs 105, Verlangsamen oder Anhalten des Fahrzeugs 105, Lenken des Fahrzeugs 105 usw. Nicht einschränkende Beispiele für Fahrzeugkomponenten 125 beinhalten eine Antriebskomponente (die z. B. eine Brennkraftmaschine und/oder einen Elektromotor usw. beinhaltet), eine Getriebekomponente, eine Lenkkomponente (die z. B. eines oder mehrere von einem Lenkrad, einer Zahnstange usw. beinhalten kann), eine Bremskomponente (wie nachstehend beschrieben), eine Einparkhilfekomponente, eine Komponente für adaptive Geschwindigkeitsregelung, eine Komponente zum adaptiven Lenken, einen bewegbaren Sitz usw.
Darüber hinaus kann der Computer 110 zur Kommunikation über ein(e) Fahrzeug-zu-Fahrzeug-Kommunikationsmodul oder -Schnittstelle 130 mit Vorrichtungen außerhalb des Fahrzeugs 105 konfiguriert sein, z. B. durch drahtlose Kommunikation (Mobilfunk und/oder DSRC usw.) von Fahrzeug zu Fahrzeug (V2V) oder von Fahrzeug zu Infrastruktur (V2X) mit einem anderen Fahrzeug, mit einem Infrastrukturelement 140 (typischerweise über direkte Funkfrequenzkommunikation) und/oder einem entfernten Server (nicht gezeigt) (typischerweise über das Netzwerk 135). Das Modul 130 könnte einen oder mehrere Mechanismen beinhalten, durch welche die Computer 110 der Fahrzeuge 105 kommunizieren können, einschließlich einer beliebigen gewünschten Kombination aus drahtlosen (z. B. Mobilfunk, drahtlos, Satellit, Mikrowelle und Funkfrequenz) Kommunikationsmechanismen und einer beliebigen gewünschten Netzwerktopologie (oder -topologien, wenn eine Vielzahl von Kommunikationsmechanismen genutzt wird). Eine beispielhafte Kommunikation, die über das Modul 130 bereitgestellt wird, kann Mobilfunk, Bluetooth, IEEE 802.11, dedizierte Nahbereichskommunikation (DSRC), Mobilfunk-V2X (CV2X) und dergleichen beinhalten.
Das Netzwerk 135 stellt einen oder mehrere Mechanismen dar, durch die ein Fahrzeugcomputer 110 mit einem Infrastrukturelement 140 und/oder einem zentralen Server (nicht gezeigt) kommunizieren kann. Dementsprechend kann es sich bei dem Netzwerk 135 um einen oder mehrere von verschiedenen drahtgebundenen oder drahtlosen Kommunikationsmechanismen handeln, einschließlich einer beliebigen gewünschten Kombination aus drahtgebundenen (z. B. Kabel und Glasfaser) und/oder drahtlosen (z. B. Mobilfunk, drahtlos, Satellit, Mikrowelle und Funkfrequenz) Kommunikationsmechanismen und einer beliebigen gewünschten Netzwerktopologie (oder -topologien, wenn mehrere Kommunikationsmechanismen genutzt werden). Beispielhafte Kommunikationsnetzwerke beinhalten drahtlose Kommunikationsnetzwerke (z. B. unter Verwendung von Bluetooth®, Bluetooth® Low Energy (BLE), IEEE 802.11, dedizierter Nahbereichskommunikation (DSRC), Mobilfunkkommunikation von Fahrzeug zu allem (CV2X) usw.), lokale Netzwerke (local area network - LAN) und/oder Weitverkehrsnetzwerke (wide area network - WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Das stationäre Infrastrukturelement 140 beinhaltet eine physische Struktur, wie etwa einen Mast oder eine andere Trägerstruktur (z. B. einen Pfahl, einen Kasten, der an einem Brückenträger, einem Mobilfunkmast, einer Straßenschildhalterung usw. montiert sein kann), an oder in der Infrastruktursensoren 145, wie etwa ein LIDAR-Sensor, sowie ein Infrastruktur-Kommunikationsmodul 150 und ein Computer 155 untergebracht, montiert, gelagert und/oder enthalten und angetrieben sein können usw. In 1 ist zur einfacheren Veranschaulichung ein stationäres Infrastrukturelement 140 gezeigt; das System 100 könnte und würde jedoch wahrscheinlich Dutzende, Hunderte oder Tausende von stationären Infrastrukturelementen 140 beinhalten.
Ein Infrastrukturelement 140 ist üblicherweise stationär, d. h. an einem bestimmten physischen Standort befestigt und nicht dazu in der Lage, sich von dort wegzubewegen. In diesem Beispiel ist der Standort des Infrastrukturelements 140 durch GPS-Koordinaten (d. h. herkömmliche Geokoordinaten mit Breiten- und Längengrad) spezifiziert, die, wie zuvor angemerkt, einen Fehler aufweisen können, d. h., denen es an Genauigkeit fehlt, und zwar von bis zu mehreren Metern, z. B. 2 bis 3 Metern. Bei den Infrastruktursensoren 145 kann es sich um solche handeln, wie vorstehend für die Fahrzeugsensoren 115 beschrieben, z.B. LIDAR, Radar, Kameras, Ultraschallsensoren usw. Die Infrastruktursensoren 145 sind befestigt oder stationär. Das heißt, jeder Sensor 145 ist derart an dem Infrastrukturelement montiert, dass er ein im Wesentlichen unbewegtes und sich nicht änderndes Sichtfeld aufweist. Der Einfachheit halber kann „Infrastruktur“ mit „IX“ abgekürzt werden, z. B. in Beschriftungen in den Figuren. Somit kann das Infrastrukturelement 140 in einem Gebiet 200 (2) bereitgestellt werden, um Daten zu dem Gebiet 200 bereitzustellen, einschließlich Daten zu Objekten, wie etwa Fahrzeugen, Fußgängern, Fahrrädern usw., sowie anderen sich bewegenden und/oder stationären Objekten. Das Gebiet 200 kann als ein Gebiet innerhalb eines Sichtfelds eines Infrastruktursensors oder alternativ dazu als ein vorgegebener Abstand, z. B. ein Radius, ein Rechteck usw., um den Infrastruktursensor 145 oder einfach als ein spezifiziertes Gebiet definiert sein, das den Infrastruktursensor 145 beinhaltet.
Die Sensoren 145 stellen somit ein Sichtfeld bereit, das sich in mehrfacher Hinsicht von den Fahrzeugsensoren 115 unterscheidet. Erstens können, da die Sensoren 145 ein im Wesentlichen konstantes Sichtfeld aufweisen, Bestimmungen des Standorts des Fahrzeugs 105 und der Objekte mit weniger und einfacheren Verarbeitungsressourcen durchgeführt werden als in dem Fall, dass die Bewegung der Sensoren 145 ebenfalls berücksichtigt werden müsste. Ferner beinhalten die Sensoren 145 eine Außenperspektive des Fahrzeugs 105, d. h. ein Sichtfeld, dessen Ursprung von dem Fahrzeug 105 entfernt ist und dieses beinhalten kann, und können gelegentlich Merkmale und Eigenschaften von Objekten erkennen, die sich nicht in dem Sichtfeld/den Sichtfeldern der Fahrzeugsensoren 115 befinden, und/oder können z. B. in Bezug auf den Fahrzeugstandort und/oder eine Bewegung in Bezug auf andere Objekte eine genauere Erkennung bereitstellen. Noch ferner können die Sensoren 145 über eine drahtgebundene Verbindung mit dem Computer 155 des Infrastrukturelements kommunizieren, wohingegen die Fahrzeuge 105 typischerweise mit den Infrastrukturelementen 140 und/oder einem Server 170 nur drahtlos oder nur zu sehr begrenzten Zeiten, wenn eine drahtgebundene Verbindung verfügbar ist, kommunizieren können. Eine drahtgebundene Kommunikation ist typischerweise zuverlässiger und kann schneller sein als eine drahtlose Kommunikation, wie etwa eine Kommunikation von Fahrzeug-zu-Infrastruktur (V2X oder V-to-X) oder dergleichen.
Das Kommunikationsmodul 150 und der Computer 155 haben typischerweise Merkmale mit dem Fahrzeugcomputer 110 und dem Fahrzeugkommunikationsmodul 130 gemeinsam und werden deshalb nicht näher beschrieben, um Redundanz zu vermeiden. Wenngleich dies zur einfacheren Veranschaulichung nicht gezeigt ist, beinhaltet das Infrastrukturelement 140 zudem eine Leistungsquelle, wie etwa eine Batterie, Solarzellen und/oder eine Verbindung zu einem Stromnetz.
Unter jetziger Bezugnahme auf 2 kann ein Infrastrukturelement 140 bereitgestellt sein, um ein definiertes Gebiet 200 um das Infrastrukturelement 140 herum zu überwachen. Zum Beispiel könnte es sich bei dem definierten Gebiet 200 um ein Gebiet handeln, dass sich in der Nähe des Infrastrukturelements 140 befindet. Im vorliegenden Zusammenhang bedeutet „in der Nähe“, dass das Gebiet 200 durch ein Sichtfeld eines oder mehrerer Infrastruktursensoren 145 definiert ist. Das definierte Gebiet 200 könnte alternativ dazu ein Gebiet sein, das durch einen Radius um das Element 140 definiert ist, oder ein anderer Abstand oder ein Satz von Abständen bezogen auf das Infrastrukturelement 140 sein.
Zusätzlich zu den Fahrzeugen 105 kann ein Gebiet 200 weitere Objekte 210 beinhalten, z. B. ein Fußgängerobjekt 210, ein Felsblockobjekt 210, ein Fahrradobjekt 210 usw.; d.h. ein Gebiet 200 könnte alternativ oder zusätzlich dazu viele weitere Objekte 210 beinhalten z. B. Unebenheiten, Schlaglöcher, Bordsteine, Banketten, umgestürzte Bäume, Abfall, Baustellenabsperrungen oder Absperrkegel usw. Objekte 210 können hinsichtlich dessen spezifiziert sein, dass sie gemäß einem Koordinatensystem für eine Karte eines Gebiets 200 angeordnet sind, die durch den Fahrzeugcomputer 110 und/oder den Infrastrukturcomputer 155 (siehe 1) verwaltet wird, z. B. gemäß einem kartesischen Koordinatensystem oder dergleichen, das Koordinaten in dem Gebiet 200 spezifiziert. Zum Beispiel kann, wie vorstehend dargelegt, der Standort des befestigten Infrastrukturelements durch Koordinaten in dem Gebiet 200 (z.B. GPS-Koordinaten (d.h. herkömmliche Geokoordinaten mit Breiten- und Längengrad)) identifiziert werden. Des Weiteren könnten Daten zu einem Objekt 210 Merkmale einer Gefahr oder eines Objekts in einem Teilgebiet angeben, wie etwa auf oder in der Nähe einer Straße 205, z. B. eine Höhe, eine Breite usw.
Unter jetziger Bezugnahme auf 3 stellt ein beispielhafter Prozess 300 zum Lokalisieren eines Objekts in einem Gebiet 200 (typischerweise, aber nicht notwendigerweise eines sich bewegenden Objekts) eine genaue Echtzeit- oder im Wesentlichen Echtzeit-Pose für das Objekt bereit, die z.B. als Eingabe in einen Computer 110 zum Betreiben eines Fahrzeugs 105 bereitgestellt werden kann. Der Prozess 300 ist in dieser Schrift so beschrieben, dass er durch einen Computer 155 ausgeführt wird (d. h., Programmanweisungen für den Prozess 300 könnten in einem Speicher gespeichert und durch einen Prozessor des Computers ausführbar sein), der an einem Infrastrukturelement 140 montiert ist, aber er könnte gemäß Programmanweisungen ausgeführt werden, die durch einen Prozessor des Fahrzeugcomputers 110, des Infrastrukturcomputers 155 und/oder eines anderen Universalcomputers, z. B. eines entfernten Servers oder eines anderen Computers an einem entfernten Standort, ausgeführt werden, zu dem Punktwolkendaten hochgeladen und verarbeitet werden könnten, wie in dieser Schrift beschrieben.
Als eine Übersicht über den Prozess 300 und auch unter Bezugnahme auf die 4-6 akzeptiert der Prozess 300 ein Referenzmodell als Eingabe, z. B. in dem Format von anhand einer Spezifikation oder eines Modells eines Objekts erzeugter Punktwolkendaten, die einen Referenzposengraphen 400 (d. h. eine Referenzpose) des Objekts beinhalten. Zum Beispiel könnte der Referenzposengraph 400 basierend auf einem Computer-Aided-Design-Modell (CAD-Modell) eines Objekts, wie etwa eines Fahrzeugs, bestimmt werden. Dann kann, wie in 5 veranschaulicht, der Referenzposengraph 400 mit einem Posengraphen 510 (d.h. einschließlich einer in Echtzeit oder nahezu in Echtzeit bestimmten Pose eines Objekts) ausgerichtet werden, der so bestimmt ist, dass er dem Objekt in einer Punktwolke 500 oder dergleichen, d. h. Daten von einem Sensor 115, 145, entspricht, was zu einem ausgerichteten Datensatz 550 führt, der einen ausgerichteten Posengraphen 560 des Objekts beinhaltet. Das Ausrichten des Referenzposengraphen 400 mit dem Echtzeit- oder nahezu Echtzeit-Posengraphen 510 kann einen Algorithmus für den nächstgelegenen Punkt oder dergleichen beinhalten, wobei eine herkömmliche Technik verwendet wird, bei der Punkte in dem Referenzposengraphen 400 identifiziert werden, die Punkten in dem Posengraphen 510 entsprechen, um eine ausgerichtete erste Pose in Bezug auf ein Koordinatensystem für ein Gebiet 200 zu bestimmen. Ferner kann, wie in 6 veranschaulicht, der Ausrichtungsprozess dann in aufeinanderfolgenden Iterationen für nachfolgende Daten wiederholt werden, die zu jeweiligen Zeitpunkten in einer Abfolge oder Zeitreihe gesammelt werden.
Unter erneuter Bezugnahme auf 3 beginnt der Prozess 300 in einem Block 310, in dem der Computer 155 einen Satz von Punktwolkendaten 500 zu einem ersten Zeitpunkt empfängt und in dem ersten Satz von Punktwolkendaten ein zu lokalisierendes Objekt, d. h. das Objekt, für das eine Pose (Position und Ausrichtung) bestimmt werden soll, identifiziert. In diesem Beispiel handelt es sich bei dem Objekt um ein Fahrzeug 105, und der Computer 155 kann zum Beispiel ein Kamerabild eines Fahrzeugs 105 erlangen und kann das Fahrzeug z. B. unter Verwendung von Bilderkennungstechniken anhand von Marke und Modell oder anderer identifizierbarer Merkmale identifizieren. Zum Beispiel ist bekannt, dass Klassifikatoren unter Verwendung von maschinellen Lerntechniken zum Interpretieren eines Bildes entwickelt werden, um Objekte zu identifizieren und/oder zu klassifizieren, z. B. gemäß einer Marke, einem Modell usw. des Fahrzeugs 105.
Als Nächstes wird in einem Block 320 ein Referenzmodell bestimmt, welches das Objekt darstellt. Bei dem Referenzmodell handelt es sich typischerweise um ein 3D-Modell, wie es anhand von CAD-Daten (Computer-Aided-Design-Daten) oder dergleichen erlangt wird (es könnte eine beliebige geeignete 3D-Darstellung einer Karosserie eines Fahrzeugs 105 verwendet werden), die eine Klasse oder eine Art von Objekt (z. B. eine Marke, ein Modell und ein Modelljahr eines Fahrzeugs 105) darstellen, wie vorstehend erwähnt, und kann in dem Speicher des Computers 110, des Computers 155 und/oder eines anderen Universalcomputers gespeichert werden.
Als Nächstes wird in einem Block 330 ein Referenzposengraph 400 des Objekts in einem Koordinatensystem einer Karte eines Gebiets 200 bestimmt. Das heißt, das im Block 320 bestimmte Referenzmodell kann an einem spezifizierten Standort und in einer spezifizierten Pose in einem Koordinatensystem für ein Gebiet 200 platziert werden, um den Referenzposengraphen 400 zu bestimmen. Zum Beispiel veranschaulicht 4 einen Referenzposengraphen 400 in einem Koordinatensystem einer Karte des Gebiets 200. Das heißt, der Referenzposengraph 400 beinhaltet Knoten oder Punkte, die in dem Referenzposengraphen 400 spezifiziert sind und die gemeinsam die Referenzpose eines Fahrzeugs 105 in Bezug auf ein Koordinatensystem des Gebiets 200 bestimmen. Datenpunkte in einem Satz von dreidimensionalen Daten, wie etwa dem vorstehend beschriebenen Referenzmodell, können dahingehend identifiziert werden, dass sie jeweilige Punkte auf der Oberfläche eines Objekts darstellen, und in einem Posengraphen 400 verwendet werden, der das Objekt darstellt, wobei jeder Datenpunkt ein Scheitelpunkt/Knoten ist und Graphenkanten Nachbarpunkte verbinden, um Punkte, Linien und Flächen des Objekts zu definieren. Ferner kann der Posengraph 400 einen Standort (oder eine Position) in Bezug auf ein Koordinatensystem für ein Gebiet 200 (z. B. können Punkte in dem Posengraphen x-, y- und z-Koordinaten in dem Koordinatensystem aufweisen) sowie eine Ausrichtung aufweisen (z. B. kann ein Objekt, das durch den Posengraphen 400 beschrieben ist, ein Neigen, ein Gieren und ein Rollen aufweisen, d. h., die jeweilige X-, Y- und Z-Achse des Objekts können Winkel mit der X-, Y- und Z-Achse eines Koordinatensystems aufweisen, die das Rollen, Neigen und Gieren definieren). Mit anderen Worten handelt es sich bei einem „Posengraphen“ um eine Sammlung von Knoten (d. h. Datenpunkten), die eine Pose des Objekts in dem Koordinatensystem bestimmen.
Als nächstes bestimmt der Computer 155 in einem Block 340 eine i-te ausgerichtete Pose, z. B. bestimmt der Computer 155 in einer ersten Iteration (d. h. i=1) des Blocks 340 eine erste ausgerichtete Pose des Objekts in dem Koordinatensystem des Gebiets 200 durch Anwenden eines Algorithmus für den nächstgelegenen Punkt, um den Referenzposengraphen 400 mit einem Posengraphen 510 des in den Punktwolkendaten 500-1 identifizierten Objekts auszurichten. Das heißt, 5 veranschaulicht schematisch den Computer 155, der den Referenzposengraphen 400 mit einem in der Punktwolke 500-1 beinhalteten Posengraphen 510-1 ausrichtet, das heißt, die Koordinaten des Referenzposengraphen transformiert, um die erste ausgerichtete Pose eines Fahrzeugs 105 in Bezug auf das Koordinatensystem für die Karte des Gebiets 200 zu bestimmen. In nachfolgenden Iterationen (siehe 6) (wobei i eine i-te Iteration in 1 bis n Iterationen darstellt, d. h., i ist ein ganzzahliger Zähler, der die aktuelle Iteration spezifiziert) wird ein Posengraph 510-i in Punktwolkendaten 500-i zu einem ausgerichteten Posengraphen 560-i transformiert. Somit bezieht sich in dieser Schrift das Bezugszeichen 500 im Allgemeinen auf eine Punktwolke 500, die über einen Sensor 145, 115 erlangt wird, bezieht sich das Bezugszeichen 510 im Allgemeinen auf einen in den Punktwolkendaten 500 bestimmten Posengraphen 510 und bezieht sich das Bezugszeichen 560 im Allgemeinen auf einen Posengraphen 560; eine an eine Referenz auf die Daten 500, 510, 560 angehängte Kardinalzahl bezieht sich auf eine Instanz der Daten in einer Iteration des Prozesses 300, wobei die Daten in einer Punktwolke 500-i zu einem i-ten Zeitpunkt in einer Reihe von 1 bis n aufeinanderfolgenden Zeitpunkten erlangt werden. Kurz gesagt, im Block 340 richtet der Computer 155 den Referenzposengraphen 400 mit den zu einem i-ten Zeitpunkt gesammelten Sensordaten (z. B. den Punktwolkendaten 500) aus, um die Pose des Fahrzeugs 105 zum i-ten Zeitpunkt zu bestimmen. Wie vorstehend erwähnt, kann das Ausrichten des Referenzposengraphen 400 mit Sensordaten, die einen Posengraphen 510 beinhalten, das Ausführen eines Algorithmus für den nächstgelegenen Punkt (oder unter Verwendung einer anderen geeigneten Technik) beinhalten, der Knoten in dem Referenzposengraphen 400 identifiziert, die jeweiligen Knoten in dem Posengraphen 510 entsprechen, um die erste Pose zu bestimmen. Auf diese Weise werden Datenpunkte des Referenzposengraphen 400 mit einem entsprechenden Datenpunkt des Posengraphen 510 ausgerichtet, um die erste ausgerichtete Pose (oder einfach „erste Pose“) zu bestimmen.
Als Nächstes überträgt oder sendet der Computer 155 in einem Block 350 den Posengraphen 560-i, z. B. unter Verwendung von V2X-Protokollen, zum Empfang durch ein oder mehrere Fahrzeuge 105. Da der Posengraph 560-i ein Objekt, z. B. das Fahrzeug 105, mit hoher Genauigkeit, typischerweise bis auf wenige Zentimeter, in dem Koordinatensystem für ein Gebiet 200 lokalisiert, kann ein Fahrzeug 105 den Posengraphen 560-i für den Betrieb verwenden, z. B. um Entscheidungen zur Navigation zu treffen, wie etwa Lenken, Beibehalten oder Ändern einer Geschwindigkeit usw.
Als Nächstes empfängt der Computer 155 in einem Block 360 zu einem nächsten (i+1) Zeitpunkt nach dem im Block 340 verarbeiteten i-ten Zeitpunkt gesammelte Sensordaten, z. B. wenn sich das Objekt weiterhin in Bezug auf das Koordinatensystem bewegt, und bestimmt, ob das Objekt in den Daten erkannt wird. Das heißt, nachdem ein erster Datensatz 500-1 im Block 310 empfangen wurde, können nachfolgende Datensätze 500-2, 500-3, ..., 500-i, ..., 500-n (d. h. Objektdaten) empfangen werden, und es kann ein Objekt, wie etwa ein Fahrzeug 105, in den Daten 500 erkannt werden, während es sich in einem Gebiet 200 befindet. Der erste Datensatz 500-1 wird als „durch einen Sensor zu einem ersten Zeitpunkt gesammelte Sensordaten“ bezeichnet. Ein nachfolgender Datensatz 500-2 wird als „durch einen Sensor zu einem zweiten Zeitpunkt gesammelte Sensordaten“ bezeichnet. Die zusätzlichen nachfolgenden Datensätze 500-3, ..., 500-i, ..., 500-n werden jeweils als „zusätzliche Sensordaten“ bezeichnet. Während Punktwolkendaten von einem LIDAR-Sensor (z. B. die Punktwolkendaten 500) veranschaulicht sind, versteht es sich, dass Sensordaten von LIDAR, Radar, Kamera, Ultraschallsensoren usw. empfangen werden können. Zum Beispiel kann es sich bei Sensordaten von einem Kamerasensor oder -sensoren um ein Stereokamerabild handeln. Ein Fahrzeug 105, das sich aus einem Gebiet 200 herausbewegt hat, wird nicht erkannt. Wenn das Objekt nicht erkannt wird, endet der Prozess 300. Andernfalls kehrt der Prozess 300 zurück zum Block 340 zum Bestimmen einer anderen i-ten ausgerichteten Pose und anschließend zum Block 350 zum Übertragen des Posengraphen 560-i, der zum Bestimmen der jeweiligen Pose des Objekts in dem Koordinatensystem verwendet wird. Eine „i-te ausgerichtete Pose“ oder einfach „i-te Pose“ bezieht sich auf eine erste Pose, eine zweite Pose oder eine oder mehrere zusätzliche Posen, die in Block 340 bestimmt werden können.
Im vorliegenden Zusammenhang bedeutet der Ausdruck „im Wesentlichen“, dass eine Form, eine Struktur, ein Maß, eine Menge, eine Zeit usw. aufgrund von Mängeln bei Materialien, Bearbeitung, Herstellung, Datenübertragung, Berechnungszeit usw. von einem bzw. einer genauen beschriebenen Geometrie, Abstand, Maß, Menge, Zeit usw. abweichen kann.
Im Allgemeinen können die beschriebenen Rechensysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Computerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Anwendung Ford Sync®, der Middleware AppLink/Smart Device Link, des Betriebssystems Microsoft Automotive®, des Betriebssystems Microsoft Windows®, des Betriebssystems Unix (z. B. des Betriebssystems Solaris®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), des Betriebssystems AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, des Betriebssystems Linux, der Betriebssysteme Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, des BlackBerry OS, vertrieben durch die Blackberry, Ltd. in Waterloo, Kanada, und des Betriebssystems Android, entwickelt durch die Google, Inc. und die Open Handset Alliance, oder der QNX® CAR Platform for Infotainment, angeboten durch QNX Software Systems. Beispiele für Rechenvorrichtungen beinhalten unter anderem einen bordeigenen Fahrzeugcomputer, einen Computerarbeitsplatz, einen Server, einen Desktop-, einen Notebook-, einen Laptop- oder einen Handcomputer oder ein anderes Rechensystem und/oder eine andere Rechenvorrichtung.
Computer und Rechenvorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung vielfältiger Programmiersprachen und/oder -technologien erstellt werden, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Perl, HTML usw. Einige dieser Anwendungen können auf einer virtuellen Maschine zusammengestellt und ausgeführt werden, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung vielfältiger computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Speicher kann ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhalten, das ein beliebiges nichttransitorisches (z. B. materielles) Medium beinhaltet, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien und flüchtiger Medien. Nichtflüchtige Medien können zum Beispiel optische Platten oder Magnetplatten und anderen dauerhaften Speicher einschließen. Zu flüchtigen Medien kann zum Beispiel dynamischer Direktzugriffsspeicher (dynamic random access memory - DRAM) gehören, der typischerweise einen Hauptspeicher darstellt. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, darunter Koaxialkabel, Kupferdraht und Glasfaser, einschließlich der Drähte, aus denen ein Systembus besteht, der an einen Prozessor einer ECU gekoppelt ist. Gängige Formen computerlesbarer Medien beinhalten beispielsweise Folgendes: eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Datenbanken, Datenbestände oder sonstige Datenspeicher, die in dieser Schrift beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedene/n Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, eines Satzes von Dateien in einem Dateisystem, einer Anwendungsdatenbank in einem anwendereigenen Format, eines relationalen Datenbankverwaltungssystems (relational database management system - RDBMS) usw. Jeder dieser Datenspeicher ist im Allgemeinen in einer Rechenvorrichtung enthalten, die ein Computerbetriebssystem, wie etwa eines der vorstehend erwähnten, einsetzt und es wird auf eine oder mehrere von vielfältigen Weisen über ein Netzwerk darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem zugegriffen werden und es kann in verschiedenen Formaten gespeicherte Dateien beinhalten. Ein RDBMS setzt neben einer Sprache zum Erstellen, Speichern, Bearbeiten und Ausführen gespeicherter Prozesse, wie etwa der vorstehend erwähnten PL/SQL-Sprache, die strukturierte Abfragesprache (Structured Query Language - SQL) ein.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, PCs usw.) umgesetzt sein, die auf zugeordneten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sind. Ein Computerprogrammprodukt kann derartige auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer gewissen geordneten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden können, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse in dieser Schrift beschriebene Schritte weggelassen werden können. Anders ausgedrückt, dienen die Beschreibungen von Prozessen in dieser Schrift dem Zwecke der Veranschaulichung gewisser Ausführungsformen, und sie sollten keinesfalls dahingehend ausgelegt werden, dass sie die Patentansprüche einschränken.
Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, wären dem Fachmann nach der Lektüre der vorstehenden Beschreibung ersichtlich. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorstehende Beschreibung bestimmt werden, sondern sollte stattdessen unter Bezugnahme auf die beigefügten Patentansprüche zusammen mit dem vollständigen Umfang von Äquivalenten, zu denen derartige Patentansprüche berechtigen, bestimmt werden.
Es wird erwartet und beabsichtigt, dass es im Stand der Technik, der in dieser Schrift erörtert ist, zukünftige Entwicklungen geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen einbezogen werden. Insgesamt versteht es sich, dass die Erfindung modifiziert und variiert werden kann und ausschließlich durch die folgenden Patentansprüche eingeschränkt ist.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „eine“, „der“, „die“, „das“ usw. dahingehend auszulegen, dass eines oder mehrere der aufgeführten Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält.
Die Offenbarung wurde auf veranschaulichende Weise beschrieben und es versteht sich, dass die verwendete Terminologie vielmehr der Beschreibung als der Einschränkung dienen soll. In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Variationen der vorliegenden Offenbarung möglich und die Offenbarung kann anders als konkret beschrieben umgesetzt werden.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das einen Computer aufweist, der einen Prozessor und einen Speicher umfasst, wobei in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor zu Folgendem ausgeführt werden können: Bestimmen einer Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets basierend auf einem dreidimensionalen (3D-) Referenzmodell, welches das Objekt darstellt; Bestimmen einer ersten Pose des Objekts zu einem ersten Zeitpunkt an einem ersten Objektstandort in Bezug auf das Koordinatensystem, wobei die erste Pose basierend auf der Referenzpose und durch einen Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten bestimmt wird; und Bestimmen einer zweiten Pose des Objekts zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt folgt, an einem zweiten Objektstandort in Bezug auf das Koordinatensystem, wobei die zweite Pose basierend auf der Referenzpose, der ersten Pose und durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten bestimmt wird.
Gemäß einer Ausführungsform handelt es sich bei dem Objekt um ein Fahrzeug, und das 3D-Referenzmodell wird basierend auf dem Identifizieren des Fahrzeugs bestimmt.
Gemäß einer Ausführungsform sind in dem Speicher ferner Anweisungen zum Ausrichten der Referenzpose mit den durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten gespeichert, um die erste Pose zu bestimmen.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum Ausrichten der Referenzpose mit den Sensordaten Anweisungen zum Ausführen eines Algorithmus für den nächstgelegenen Punkt.
Gemäß einer Ausführungsform sind in dem Speicher weitere Anweisungen zum weiteren Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten gespeichert, um die zweite Pose zu bestimmen.
Gemäß einer Ausführungsform beinhalten die Anweisungen zum weiteren Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten Anweisungen zum Ausführen eines Algorithmus für den nächstgelegenen Punkt.
Gemäß einer Ausführungsform sind in dem Speicher weitere Anweisungen zu Folgendem gespeichert: Bestimmen einer dritten Pose des Objekts zu einem dritten Zeitpunkt, der nach dem zweiten Zeitpunkt folgt, an einem dritten Objektstandort in Bezug auf das Koordinatensystem, wobei die dritte Pose basierend auf der Referenzpose, der zweiten Pose und durch den Sensor zu dem dritten Zeitpunkt gesammelten Sensordaten bestimmt wird.
Gemäß einer Ausführungsform sind in dem Speicher ferner Anweisungen zum Übertragen mindestens einer von der ersten Pose und der zweiten Pose an ein Fahrzeug gespeichert.
Gemäß einer Ausführungsform beinhaltet das Fahrzeug einen Fahrzeugcomputer, der einen Prozessor und einen Speicher aufweist, wobei in dem Speicher des Fahrzeugcomputers Anweisungen gespeichert sind, die durch den Prozessor des Fahrzeugcomputers ausgeführt werden können, um das Fahrzeug basierend auf mindestens einer von der ersten Pose und der zweiten Pose zu betreiben.
Gemäß einer Ausführungsform handelt es sich bei dem Sensor um einen LIDAR-Sensor und handelt es sich bei den Sensordaten um Punktwolkendaten.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, aufweisend: ein stationäres Infrastrukturelement; einen Sensor, der an dem stationären Infrastrukturelement montiert ist, und einen Computer, der einen Prozessor und einen Speicher umfasst, wobei in dem Speicher Anweisungen gespeichert sind, die durch den Prozessor zu Folgendem ausgeführt werden können: Bestimmen einer Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets basierend auf einem dreidimensionalen (3D-) Referenzmodell, welches das Objekt darstellt; Bestimmen einer ersten Pose des Objekts zu einem ersten Zeitpunkt an einem ersten Objektstandort in Bezug auf das Koordinatensystem, wobei die erste Pose basierend auf der Referenzpose und durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten bestimmt wird; und Bestimmen einer zweiten Pose des Objekts zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt folgt, an einem zweiten Objektstandort in Bezug auf das Koordinatensystem, wobei die zweite Pose basierend auf der Referenzpose, der ersten Pose und durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten bestimmt wird.
Gemäß einer Ausführungsform handelt es sich bei dem Objekt um ein Fahrzeug, und das 3D-Referenzmodell wird basierend auf dem Identifizieren des Fahrzeugs bestimmt.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch ein Fahrzeug, das einen Fahrzeugcomputer beinhaltet, der einen Prozessor und einen Speicher aufweist, wobei in dem Speicher des Fahrzeugcomputers Anweisungen gespeichert sind, die durch den Prozessor des Fahrzeugcomputers ausgeführt werden können, um das Fahrzeug basierend auf mindestens einer von der ersten Pose und der zweiten Pose, die von dem stationären Infrastrukturelement empfangen werden, zu betreiben.
Gemäß einer Ausführungsform sind in dem Speicher ferner Anweisungen zum Ausrichten der Referenzpose mit den durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten gespeichert, um die erste Pose zu bestimmen.
Gemäß einer Ausführungsform sind in dem Speicher weitere Anweisungen zum weiteren Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten gespeichert, um die zweite Pose zu bestimmen.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren: Bestimmen einer Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets basierend auf einem dreidimensionalen (3D-) Referenzmodell, welches das Objekt darstellt; Bestimmen einer ersten Pose des Objekts zu einem ersten Zeitpunkt an einem ersten Objektstandort in Bezug auf das Koordinatensystem, wobei die erste Pose basierend auf der Referenzpose und durch einen Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten bestimmt wird; und Bestimmen einer zweiten Pose des Objekts zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt folgt, an einem zweiten Objektstandort in Bezug auf das Koordinatensystem, wobei die zweite Pose basierend auf der Referenzpose, der ersten Pose und durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten bestimmt wird.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch das Ausrichten der Referenzpose mit den durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten, um die erste Pose zu bestimmen.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch das Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten, um die zweite Pose zu bestimmen.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch das Bestimmen einer dritten Pose des Objekts zu einem dritten Zeitpunkt, der nach dem zweiten Zeitpunkt folgt, an einem dritten Objektstandort in Bezug auf das Koordinatensystem, wobei die dritte Pose basierend auf der Referenzpose, der zweiten Pose und durch den Sensor zu dem dritten Zeitpunkt gesammelten Sensordaten bestimmt wird.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch das Übertragen mindestens einer von der ersten Pose und der zweiten Pose an ein Fahrzeug, wobei das Fahrzeug dann basierend auf mindestens einer von der ersten Pose und der zweiten Pose betrieben wird.

Claims

Verfahren, umfassend: Bestimmen einer Referenzpose eines Objekts in einem Koordinatensystem einer Karte eines Gebiets basierend auf einem dreidimensionalen (3D-) Referenzmodells, welches das Objekt darstellt; Bestimmen einer ersten Pose des Objekts zu einem ersten Zeitpunkt an einem ersten Objektstandort in Bezug auf das Koordinatensystem, wobei die erste Pose basierend auf der Referenzpose und durch einen Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten bestimmt wird; und Bestimmen einer zweiten Pose des Objekts zu einem zweiten Zeitpunkt, der nach dem ersten Zeitpunkt folgt, an einem zweiten Objektstandort in Bezug auf das Koordinatensystem, wobei die zweite Pose basierend auf der Referenzpose, der ersten Pose und durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten bestimmt wird.
Verfahren nach Anspruch 1, wobei es sich bei dem Objekt um ein Fahrzeug handelt und das 3D-Referenzmodell basierend auf dem Identifizieren des Fahrzeugs bestimmt wird.
Verfahren nach Anspruch 1, ferner umfassend das Ausrichten der Referenzpose mit den durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten, um die erste Pose zu bestimmen.
Verfahren nach Anspruch 3, wobei das Ausrichten der Referenzpose mit den Sensordaten das Ausführen eines Algorithmus für den nächstgelegenen Punkt beinhaltet.
Verfahren nach Anspruch 3, ferner umfassend das Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten, um die zweite Pose zu bestimmen.
Verfahren nach Anspruch 5, wobei das Ausrichten der durch den Sensor zu dem ersten Zeitpunkt gesammelten Sensordaten mit den durch den Sensor zu dem zweiten Zeitpunkt gesammelten Sensordaten das Ausführen eines Algorithmus für den nächstgelegenen Punkt beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen einer dritten Pose des Objekts zu einem dritten Zeitpunkt, der nach dem zweiten Zeitpunkt folgt, an einem dritten Objektstandort in Bezug auf das Koordinatensystem, wobei die dritte Pose basierend auf der Referenzpose, der zweiten Pose und durch den Sensor zu dem dritten Zeitpunkt gesammelten Sensordaten bestimmt wird.
Verfahren nach Anspruch 1, ferner umfassend das Übertragen mindestens einer von der ersten Pose und der zweiten Pose an ein Fahrzeug, wobei das Fahrzeug dann basierend auf mindestens einer von der ersten Pose und der zweiten Pose betrieben wird.
Verfahren nach Anspruch 1, wobei es sich bei dem Sensor um einen LIDAR-Sensor handelt und es sich bei den Sensordaten um Punktwolkendaten handelt.
Computer, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-9 auszuführen.
Infrastrukturelement, das einen Computer beinhaltet, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-9 auszuführen.