DE102020105649A1

DE102020105649A1 - Verfahren und vorrichtung zur parallelen verfolgung und lokalisierung mittels eines multimodalen schmelzverfahrens

Info

Publication number: DE102020105649A1
Application number: DE102020105649.4A
Authority: DE
Inventors: Fan Bai; Pengfei Ren; Eric L. Raphael; Mohannad Murad; Mohammad Naserian; Lawrence A. Bush
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-04-02
Filing date: 2020-03-03
Publication date: 2020-10-08
Also published as: CN111795692A; US10962371B2; US20200318973A1

Abstract

Ein Verfahren zur Fahrzeugverfolgung und -lokalisierung umfasst das Empfangen von Odometrie-Daten von einem Sensor des ersten Fahrzeugs durch eine Steuerung, von georäumliche Daten von einer GPS-Vorrichtung (Global Positioning System) des ersten Fahrzeugs, von Inertial-Daten von einer Inertial-Messeinheit (IMU) des ersten Fahrzeugs, das Abschätzen einer geschätzten aktuellen Position des ersten Fahrzeugs und einer geschätzten aktuellen Trajektorie des ersten Fahrzeugs unter Verwendung der Odometrie-Daten vom Sensor, der georäumliche Daten von der GPS-Vorrichtung und der Inertial-Daten von der IMU des ersten Fahrzeugs; Eingabe der Inertial-Daten in ein Bayes'sches Netzwerk zur Bestimmung eines vorausgesagten Ortes des ersten Fahrzeugs und einer vorausgesagten Trajektorie des ersten Fahrzeugs und Aktualisierung des Bayes'schen Netzwerks unter Verwendung des geschätzten aktuellen Ortes und der geschätzten aktuellen Trajektorie des ersten Fahrzeugs unter Verwendung der Odometrie-Daten und der georäumlichen Daten.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich auf ein Verfahren und ein System zur parallelen Verfolgung und Lokalisierung mittels des Multi-Mode-Simultan-Lokalisierungs- und Kartierungs-(SLAM)-Fusionsprozesses.
BESCHREIBUNG
Die vorliegende Veröffentlichung beschreibt ein Verfahren und ein System zur Fahrzeugverfolgung und -lokalisierung. Durch die Anwendung dieses Verfahrens stellt ein High-End-Fahrzeug einen virtuellen Lokalisierungsserver bereit und bietet einen alternativen Lokalisierungsprozess für ein zweites Fahrzeug durch kollaborative gemeinsame Wahrnehmung. In einigen Fällen könnte das GPS-Gerät des zweiten Fahrzeugs in schwierigen Szenarien (z.B. Stadtschlucht) verdeckt sein, so dass es sich nicht selbst für die Lokalisierung lokalisieren kann. Durch den Einsatz dieses Verfahrens könnte die Fähigkeit zur kollaborativen Wahrnehmung dem zweiten Fahrzeug (das nicht über ein hochpräzises GPS verfügt) zugute kommen. Das High-End-Fahrzeug wird dann zu einem virtuellen Server für das zweite Fahrzeug. Das Verfahren verwendet auch ein neues Protokoll für die gemeinsame Nutzung der Wahrnehmung und integriert intelligente Low-Lever-Fused-Kamera-Lidar-Daten (RGB-XYZ).
Das derzeit offengelegte System ermöglicht es einem High-End-Fahrzeug, das mit hochpräzisem GPS, Visual SLAM oder der visuellen Odometrie-Technologie ausgestattet ist, eine alternative Lokalisierungsmethode für die nahegelegenen Low-End-Fahrzeuge anzubieten. Das System verschmilzt die Eingaben verschiedener Lokalisierungs- und Wahrnehmungssensorsysteme (hochpräzises GPS, IMU, Visual-Lidar Odometry (VLO)) für die Lokalisierung auf Sub-Lane-Ebene. Das System verfolgt die Zielfahrzeuge über eine gemeinsame Faltungszeitreihenmessung / Zustandsverfolgung (z.B. Kalman-Filter, Partikelfilter oder Hidden-Markov-Modell usw.). Das GPS eines Low-End-Fahrzeugs könnte in schwierigen Szenarien (z.B. in einer Stadtschlucht) verdeckt sein, so dass es sich für die Lokalisierung nicht mehr genau lokalisieren lässt.
Durch die gemeinsame Wahrnehmung könnte ein nahegelegenes High-End-Fahrzeug, das mit hochpräzisem GPS, Visual SLAM oder Visual Odometry-Technologie ausgestattet ist, eine alternative Lokalisierungsmethode für das Low-End-Fahrzeug bieten. Das High-End-Fahrzeug lokalisiert sich gegen ein weltweites Referenzsystem. Das High-End-Fahrzeug verfolgt ein Low-End-Fahrzeug gegen sich selbst. Das High-End-Fahrzeug wandelt die Low-End-Position in das weltweite Referenzsystem um. Zu den Vorteilen des derzeit offengelegten Systems und der Methode gehören die Verbesserung der Lokalisierungsgenauigkeit und die Verringerung des Lokalisierungsfehlers in schwierigen Umgebungen.
Das Verfahren zur Fahrzeugverfolgung und -lokalisierung beinhaltet in einem Aspekt: Empfangen von Odometrie-Daten von einem Sensor des ersten Fahrzeugs durch eine erste Steuerung des ersten Fahrzeugs; Empfangen von georäumlichen Daten von einem GPS-Gerät (Global Positioning System) des ersten Fahrzeugs durch die erste Steuerung des ersten Fahrzeugs; Empfangen von Inertial-Daten von einer Inertial-Messeinheit (IMU) des ersten Fahrzeugs durch die erste Steuerung des ersten Fahrzeugs; Schätzen, durch die erste Steuerung des ersten Fahrzeugs, einer geschätzten aktuellen Position des ersten Fahrzeugs und einer geschätzten aktuellen Trajektorie des ersten Fahrzeugs unter Verwendung der Odometrie-Daten vom Sensor, der georäumlichen Daten vom GPS-Gerät und der Inertial-Daten von der IMU des ersten Fahrzeugs; Eingeben der Inertial-Daten in ein Bayes'sches Netzwerk, um eine vorhergesagte Position des ersten Fahrzeugs und eine vorhergesagte Trajektorie des ersten Fahrzeugs zu bestimmen, wobei das Bayes'sche Netzwerk auf der ersten Steuerung des ersten Fahrzeugs läuft; Aktualisierung des Bayes'schen Netzes unter Verwendung der geschätzten aktuellen Position und der geschätzten aktuellen Trajektorie des ersten Fahrzeugs unter Verwendung der Odometrie-Daten und der georäumlichen Daten; Erfassung eines zweiten Fahrzeugs durch die erste Steuerung des ersten Fahrzeugs unter Verwendung der Odometrie-Daten des Sensors des ersten Fahrzeugs; Schätzung, durch die erste Steuerung des ersten Fahrzeugs, einer geschätzten aktuellen Position eines zweiten Fahrzeugs und einer geschätzten aktuellen Trajektorie des zweiten Fahrzeugs unter Verwendung der Odometrie-Daten vom Sensor, der georäumlichen Daten vom GPS-Gerät und der Inertial-Daten von der IMU des ersten Fahrzeugs; und Übertragung der geschätzten aktuellen Position des ersten Fahrzeugs, der geschätzten aktuellen Trajektorie des ersten Fahrzeugs, der geschätzten aktuellen Position des zweiten Fahrzeugs und der geschätzten aktuellen Trajektorie des zweiten Fahrzeugs an das zweite Fahrzeug.
Das Verfahren kann ferner die Extraktion von Merkmals-Daten aus den Odometrie-Daten durch die erste Steuerung des ersten Fahrzeugs umfassen. Die Merkmals-Daten sind Daten über Objekte und eine Anordnung der vom Sensor erfassten Objekte. Die Feature-Daten enthalten eine Feature-Karte, die die Anordnung der vom Sensor erfassten Objekte zeigt. Das Verfahren kann ferner die Bestimmung von Merkmals-Kartierungspunkten durch die erste Steuerung des ersten Fahrzeugs unter Verwendung der vom GPS-Gerät empfangenen georäumlichen Daten umfassen. Die Feature-Mappoints sind georäumliche Standorte von Features. Das Verfahren kann ferner den Abgleich der Feature-Map mit den Feature-Mappoints umfassen.
Die erste Steuerung kann die geschätzte aktuelle Position des ersten Fahrzeugs abschätzen, und die geschätzte aktuelle Trajektorie des ersten Fahrzeugs umfasst die Verwendung eines Posendiagramm-Optimierungsprozesses. Die erste Steuerung kann die geschätzte aktuelle Position des ersten Fahrzeugs abschätzen, und die geschätzte aktuelle Trajektorie des ersten Fahrzeugs beinhaltet die Verwendung eines erweiterten Kalman-Filters. Die Steuerung kann die geschätzte aktuelle Position des ersten Fahrzeugs und die geschätzte aktuelle Trajektorie des ersten Fahrzeugs abschätzen, indem er einen erweiterten Kalman-Filter verwendet, indem er die Odometrie-Daten, die georäumlichen Daten und die Inertial-Daten zusammenführt, um die geschätzte aktuelle Position des ersten Fahrzeugs und die geschätzte aktuelle Trajektorie des ersten Fahrzeugs zu bestimmen.
Das GPS-Gerät des ersten Fahrzeugs kann als erstes GPS-Gerät bezeichnet werden. Die georäumlichen Daten können als die ersten georäumlichen Daten bezeichnet werden. Das zweite Fahrzeug umfasst ein zweites GPS-Gerät und eine zweite Steuerung, die mit dem zweiten GPS-Gerät kommuniziert. Das Verfahren kann ferner den Empfang der geschätzten aktuellen Position des ersten Fahrzeugs, der geschätzten aktuellen Trajektorie des ersten Fahrzeugs, der geschätzten aktuellen Position des zweiten Fahrzeugs und der geschätzten aktuellen Trajektorie des zweiten Fahrzeugs zum zweiten Fahrzeug durch eine zweite Steuerung des zweiten Fahrzeugs von der ersten Steuerung des ersten Fahrzeugs umfassen.
Das Verfahren kann ferner Folgendes umfassen: Empfangen von zweiten georäumlichen Daten vom zweiten GPS-Gerät des zweiten Fahrzeugs durch die zweite Steuerung des zweiten Fahrzeugs; und Bestimmen einer aktualisierten, geschätzten aktuellen Position des zweiten Fahrzeugs durch die zweite Steuerung des zweiten Fahrzeugs unter Verwendung der zweiten georäumlichen Daten vom zweiten GPS-Gerät und der geschätzten aktuellen Position des zweiten Fahrzeugs, die vom ersten Fahrzeug übertragen wurde.
Das Verfahren kann ferner die Bestimmung von semantischen Mappoints aus den Odometrie-Daten durch die erste Steuerung des ersten Fahrzeugs umfassen. Der Sensor kann eine Kamera sein, die für die Aufnahme eines Bildes eingerichtet ist. Der Sensor kann ein Lidar-Sensor sein.
Die vorliegende Offenbarung beschreibt auch ein System zur Verfolgung und Lokalisierung eines ersten Fahrzeugs. Das System kann eine Kamera umfassen, die zur Aufnahme von Bildern eingerichtet ist, wobei die Kamera so eingerichtet ist, dass sie Odometrie-Daten erzeugt. Die Odometrie-Daten sind ein Hinweis auf eine Position und eine Orientierung des ersten Fahrzeugs. Die Kamera ist so eingerichtet, dass sie ein zweites Fahrzeug erkennt. Das System umfasst ein Kommunikationssystem, das so eingerichtet ist, dass es Informationen zwischen dem ersten Fahrzeug und einem zweiten Fahrzeug drahtlos übermittelt. Das System umfasst ein GPS-Gerät (Global Positioning System), das so eingerichtet ist, dass es den GPS-Standort des ersten Fahrzeugs ermittelt. Das GPS-Gerät ist so eingerichtet, dass es georäumliche Daten erzeugt, und die georäumlichen Daten geben Aufschluss über die GPS-Position des ersten Fahrzeugs. Das System umfasst eine inertiale Messeinheit (IMU), die so eingerichtet ist, dass sie eine Winkel- und Linearbewegung des ersten Fahrzeugs misst. Die IMU ist so eingerichtet, dass sie Inertial-Daten erzeugt. Die Inertial-Daten sind ein Indikator für die Winkel- und Linearbewegung des ersten Fahrzeugs. Das System umfasst außerdem eine erste Steuerung, der mit dem Kommunikationssystem und der Kamera kommuniziert. Die erste Steuerung ist so programmiert, dass sie das oben beschriebene Verfahren ausführt.
Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der vorliegenden Lehren sind aus der folgenden detaillierten Beschreibung einiger der bevorzugten Ausführungsformen und anderen Ausführungsformen zur Durchführung der vorliegenden Lehren, wie sie in den beigefügten Ansprüchen definiert sind, leicht ersichtlich, wenn sie in Verbindung mit den beigefügten Figuren aufgenommen werden.
Figurenliste

1 ist ein schematisches Blockschaltbild eines Fahrzeugs.
2 ist ein schematisches Blockdiagramm eines Systems zur Fahrzeugverfolgung und - lokalisierung.
3 ist ein Flussdiagramm einer Methode zur Fahrzeugverfolgung und -lokalisierung.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, sich an die ausdrückliche oder implizite Theorie zu binden, die im vorhergehenden Fachgebiet, im Hintergrund, in einer kurzen Zusammenfassung oder in der folgenden detaillierten Beschreibung dargestellt wird. Wie hier verwendet, bezieht sich der Begriff „Modul“ auf Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in einer Kombination davon, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder gruppenweise) und Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hier in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es ist zu berücksichtigen, dass solche Blockkomponenten durch eine Reihe von Hardware-, Software- und/oder Firmwarekomponenten realisiert werden können, die so eingerichtet sind, dass sie die angegebenen Funktionen erfüllen. Eine Ausführungsform der vorliegenden Offenbarung kann beispielsweise verschiedene integrierte Schaltkreiskomponenten verwenden, z.B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder ähnliches, die unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen eine Vielzahl von Funktionen ausführen können. Darüber hinaus werden diejenigen, die sich in dem Fachgebiet auskennen, es zu schätzen wissen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer Reihe von Systemen praktiziert werden können und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Aus Gründen der Kürze werden Techniken der Signalverarbeitung, Datenfusion, Signalisierung, Steuerung und andere funktionelle Aspekte der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen Figuren gezeigten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass alternative oder zusätzliche funktionale Beziehungen oder physische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Wie in 1 dargestellt, umfasst das High-End-Fahrzeug 10 in der Regel ein Fahrgestell 12, eine Karosserie 14, Vorder- und Hinterräder 17 und kann als Gastgeberfahrzeug bezeichnet werden. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen Komponenten des High-End-Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 17 sind jeweils in der Nähe einer Ecke der Karosserie 14 mit dem Fahrgestell 12 drehgekoppelt.
In verschiedenen Ausführungsformen kann das High-End-Fahrzeug 10 ein autonomes Fahrzeug sein, und im High-End-Fahrzeug 10 ist ein Steuersystem 98 eingebaut. Das Steuersystem 98 kann einfach als das System bezeichnet werden. Das High-End-Fahrzeug 10 ist zum Beispiel ein automatisch gesteuertes Fahrzeug, das Passagiere von einem Ort zum anderen befördert. Das High-End-Fahrzeug 10 ist in der abgebildeten Ausführungsform als PKW dargestellt, aber es sollte geschätzt werden, dass auch andere Fahrzeuge wie Motorräder, LKWs, Sport Utility Vehicles (SUVs), Wohnmobile (RVs), Wasserfahrzeuge, Flugzeuge usw. verwendet werden können. Das High-End-Fahrzeug 10 ist in einer beispielhaften Ausführung ein so genanntes Level-Vier- oder Level-Fünf-Automatisierungssystem. Ein Level-Vier-Automatisierungssystem weist auf eine „hohe Automatisierung“ hin und bezieht sich auf die fahrmodus-spezifische Leistung eines automatisierten Fahrsystems in Bezug auf Aspekte der dynamischen Fahraufgabe, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Ein Level-Fünf-Automatisierungssystem bedeutet „Vollautomatisierung“ und bezieht sich auf die Vollzeitleistung eines automatisierten Fahrsystems bei Aspekten der dynamischen Fahraufgabe unter einer Reihe von Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer bewältigt werden können.
Wie gezeigt, umfasst das High-End-Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Die Steuerung 34 kann als die erste Steuerung bezeichnet werden. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen eine elektrische Maschine, wie z.B. einen Fahrmotor und/oder ein Brennstoffzellen-Antriebssystem, umfassen. Das High-End-Fahrzeug 10 enthält außerdem eine Batterie (oder einen Batteriepack) 21, die elektrisch mit dem Antriebssystem 20 verbunden ist. Dementsprechend ist die Batterie 21 so eingerichtet, dass sie elektrische Energie speichert und das Antriebssystem 20 mit elektrischer Energie versorgt. Zusätzlich kann das Antriebssystem 20 einen Verbrennungsmotor enthalten. Das Getriebesystem 22 ist so eingerichtet, dass es die Leistung vom Antriebssystem 20 auf die Fahrzeugräder 17 entsprechend wählbarer Geschwindigkeitsverhältnisse überträgt. Je nach Ausführung kann das Getriebesystem 22 ein Stufenautomatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 26 ist so eingerichtet, dass es den Fahrzeugrädern 17 ein Bremsmoment zur Verfügung stellt. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Drahtbremse, ein regeneratives Bremssystem, wie z.B. eine elektrische Maschine, und/oder andere geeignete Bremssysteme umfassen. Das Lenksystem 24 beeinflusst eine Stellung der Fahrzeugräder 17. Obwohl das Lenksystem 24 zur Veranschaulichung mit einem Lenkrad dargestellt wird, kann es in einigen Ausführungsformen, die im Rahmen dieser Offenbarung in Betracht gezogen werden, kein Lenkrad enthalten.
Das Sensorsystem 28 umfasst einen oder mehrere Sensoren 40 (d.h. Sensorvorrichtungen), die die beobachtbaren Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des High-End-Fahrzeugs 10 erfassen. Die Sensoren 40 stehen mit der Steuerung 34 in Verbindung und können unter anderem ein oder mehrere Radargeräte, einen oder mehrere Lidar-Sensoren (Light Detection and Ranging), ein oder mehrere GPS-Geräte (Global Positioning Systems), eine oder mehrere Kameras (z.B. optische Kameras und/oder Wärmebildkameras), Ultraschallsensoren, eine oder mehrere Inertial-Messeinheiten (IMUs) und/oder andere Sensoren umfassen. Jede Kamera ist so eingerichtet, dass sie Bilder erfasst und Odometrie-Daten erzeugt. Die Odometrie-Daten sind ein Hinweis auf eine Position und eine Ausrichtung des High-End-Fahrzeugs 10. Außerdem ist die Kamera so eingerichtet, dass sie ein Fahrzeug der unteren Klasse 11 erkennt (d.h. erfasst) (2). Jede IMU ist so eingerichtet, dass sie eine Winkel- und Linearbewegung des High-End-Fahrzeugs 10 misst. Die IMU erzeugt Inertial-Daten, die die Winkel- und Linearbewegung des High-End-Fahrzeugs 10 anzeigen. Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42, die eine oder mehrere Fahrzeugfunktionen steuern, wie z.B., aber nicht ausschließlich, das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale darüber hinaus Innen- und/oder Außenmerkmale des Fahrzeugs umfassen, wie z.B. Türen, einen Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw., aber nicht ausschließlich. (nicht nummeriert). Das Erfassungssystem 24 umfasst einen oder mehrere GPS-Sender-Empfänger (Global Positioning System), die so eingerichtet sind, dass sie die Streckendaten (d.h. die Streckeninformationen) erkennen und überwachen. Das GPS-Gerät ist so eingerichtet, dass es mit einem GPS kommuniziert, um die Position des High-End-Fahrzeuges 10 auf dem Globus zu lokalisieren. Das GPS-Gerät steht in elektronischer Kommunikation mit der Steuerung 34. Da das Sensorsystem 28 Objektdaten an den Controller 34 liefert, gelten das Sensorsystem 28 und seine Sensoren 40 als Informationsquellen (oder einfach als Quellen).
Das Datenspeichergerät 32 speichert Daten zur Verwendung bei der automatischen Steuerung des High-End-Fahrzeugs 10. In verschiedenen Ausführungsformen speichert das Datenspeichergerät 32 definierte Karten der navigierbaren Umgebung. In verschiedenen Ausführungsformen können die definierten Karten von einem entfernten System vordefiniert und von diesem bezogen werden (näher beschrieben in Bezug auf 2). Die definierten Karten können z.B. durch das Remote-System zusammengestellt und an das High-End-Fahrzeug 10 (drahtlos und/oder kabelgebunden) übermittelt und im Datenspeicher 32 gespeichert werden. Wie man sich vorstellen kann, kann das Datenspeichergerät 32 Teil der Steuerung 34 sein, getrennt von der Steuerung 34, oder Teil der Steuerung 34 und Teil eines separaten Systems.
Die Steuerung 34 umfasst mindestens einen Prozessor 44 und ein nicht vorübergehendes computerlesbares Speichergerät oder -medium 46. Bei dem Prozessor 44 kann es sich um einen kundenspezifischen oder handelsüblichen Prozessor, eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Hilfsprozessor unter mehreren mit der Steuerung 34 verbundenen Prozessoren, einen Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsatzes), einen Makroprozessor, eine Kombination davon oder allgemein eine Vorrichtung zur Ausführung von Befehlen handeln. Das computerlesbare Speichergerät bzw. die computerlesbaren Speichermedien 46 können z.B. flüchtige und nichtflüchtige Speicherung in Festwertspeicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM) umfassen. KAM ist ein persistenter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 abgeschaltet ist. Das computerlesbare Speichergerät oder -medium 46 kann unter Verwendung einer Reihe bekannter Speichergeräte wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrisches PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder anderer elektrischer, magnetischer, optischer oder kombinierter Speichergeräte, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die von der Steuerung 34 bei dem Steuern des High-End-Fahrzeugs 10 verwendet werden, implementiert werden.
Die Anweisungen können ein oder mehrere separate Programme enthalten, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen enthält. Die Befehle empfangen und verarbeiten, wenn sie vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Methoden und/oder Algorithmen zur automatischen Steuerung der Komponenten des High-End-Fahrzeugs 10 aus und erzeugen Steuersignale an das Aktuatorsystem 30, um die Komponenten des High-End-Fahrzeugs 10 auf der Grundlage der Logik, Berechnungen, Methoden und/oder Algorithmen automatisch zu steuern. Obwohl ein einzelnes Steuergerät 34 in BILD 1 dargestellt ist, können Ausführungsformen des High-End-Fahrzeugs 10 eine Anzahl von Steuerungen 34 umfassen, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Methoden und/oder Algorithmen durchzuführen und Steuersignale zu erzeugen, um die Funktionen des High-End-Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Steuersystem 98 verankert. Das High-End-Fahrzeug 10 verfügt über eine Benutzerschnittstelle 23, die ein Touchscreen im Armaturenbrett sein kann. Die Benutzerschnittstelle 23 steht in elektronischer Kommunikation mit der Steuerung 34 und ist so eingerichtet, dass sie Eingaben eines Benutzers (z.B. Fahrzeugführer) empfängt. Dementsprechend ist die Steuerung 34 so eingerichtet, dass sie Eingaben des Benutzers über die Benutzerschnittstelle 23 empfängt. Die Benutzerschnittstelle 23 umfasst eine Anzeige, die so eingerichtet ist, dass sie dem Benutzer (z.B. Fahrzeugführer oder Fahrgast) Informationen anzeigt.
Das Kommunikationssystem 36 steht mit der Steuerung 34 in Verbindung und ist so eingerichtet, dass sie drahtlos Informationen zu und von anderen Einheiten 48 übermittelt, wie z.B., aber nicht nur, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Geräte (genauer beschrieben in Bezug auf 2). In einer beispielhaften Ausführung ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das für die Kommunikation über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung der IEEE 802.11-Normen oder durch zelluläre Datenkommunikation eingerichtet ist. Zusätzliche oder alternative Kommunikationsmethoden, wie z.B. ein dedizierter Kurzstreckenkommunikationskanal (DSRC), werden jedoch ebenfalls im Rahmen dieser Offenbarung in Betracht gezogen. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiweg-Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf einen entsprechenden Satz von Protokollen und Standards. Dementsprechend kann das Kommunikationssystem 36 eine oder mehrere Antennen und/oder Sender-Empfänger für den Empfang und/oder die Übertragung von Signalen, wie z.B. CSMs (Cooperative Sensing Messages), enthalten. Das Kommunikationssystem ist so eingerichtet, dass es Informationen I zwischen dem High-End-Fahrzeug 10 und einem Low-End-Fahrzeug 11 drahtlos übermittelt (2). Das Low-End-Fahrzeug 11 kann auch über ein Kommunikationssystem 37 verfügen, das mit dem Kommunikationssystem 36 des High-End-Fahrzeugs 10 identisch oder diesem im Wesentlichen ähnlich ist.
1 ist ein schematisches Blockschaltbild des Steuersystems 98, das für die Steuerung des High-End-Fahrzeugs 10 eingerichtet ist. Die Steuerung 34 des Steuersystems 98 steht in elektronischer Kommunikation mit dem Bremssystem 26, dem Antriebssystem 20 und dem Sensorsystem 28. Das Bremssystem 26 umfasst einen oder mehrere Bremszylinder (z.B. Bremssättel), die an ein oder mehrere Räder 17 gekoppelt sind. Bei Betätigung üben die Bremszylinder Bremsdruck auf ein oder mehrere Räder 17 aus, um das High-End-Fahrzeug 10 zu verzögern. Das Antriebssystem 20 umfasst einen oder mehrere Antriebsaktuatoren zur Steuerung des Antriebs des High-End-Fahrzeugs 10. Zum Beispiel kann das Antriebssystem 20, wie oben beschrieben, einen Verbrennungsmotor enthalten, und in diesem Fall kann der Antriebssteller eine Drosselklappe sein, die speziell zur Steuerung des Luftstroms im Verbrennungsmotor eingerichtet ist. Das Sensorsystem 28 kann einen oder mehrere Beschleunigungsmesser (oder ein oder mehrere Gyroskope) enthalten, die mit einem oder mehreren Rädern 17 gekoppelt sind. Der Beschleunigungsmesser steht in elektronischer Kommunikation mit der Steuerung 34 und ist so eingerichtet, dass er die Längs- und Querbeschleunigungen des High-End-Fahrzeugs 10 misst und überwacht. Das Sensorsystem 28 kann einen oder mehrere Geschwindigkeitssensoren enthalten, die so eingerichtet sind, dass sie die Geschwindigkeit (oder die Geschwindigkeit) des High-End-Fahrzeugs 10 messen. Der Geschwindigkeitssensor (d.h. einer der Sensoren 40) ist mit der Steuerung 34 gekoppelt und steht in elektronischer Kommunikation mit einem oder mehreren Rädern 17. Das High-End-Fahrzeug 10 kann als das erste Fahrzeug oder das High-End-Fahrzeug bezeichnet werden, und die Steuerung 34 kann als die erste Steuerung 34 bezeichnet werden.
2 zeigt ein System 13 zur Fahrzeugverfolgung und -lokalisierung. Das System 13 umfasst das High-End-Fahrzeug 10, das auch als erstes Fahrzeug oder als High-End-Fahrzeug bezeichnet werden kann, und ein Low-End-Fahrzeug 11. Das Low-End-Fahrzeug 11 kann als zweites Fahrzeug bezeichnet werden. Die Komponenten und die Funktionsweise des High-End-Fahrzeugs 10 sind im Wesentlichen ähnlich wie die Komponenten des Low-End-Fahrzeugs 11, mit Ausnahme der unten beschriebenen Unterschiede. Wie oben diskutiert, könnte einer der Sensoren 40 des High-End-Fahrzeugs 10 ein GPS-Gerät 40a sein. Das GPS-Gerät 40a des High-End-Fahrzeuges 10 kann einen oder mehrere Sender-Empfänger enthalten und ist so eingerichtet, dass es einen GPS-Standort des High-End-Fahrzeuges 10 ermittelt. Darüber hinaus ist das GPS-Gerät 40a so eingerichtet, dass es georäumliche Daten erzeugt, die den GPS-Standort des High-End-Fahrzeugs 10 anzeigen. Das GPS-Gerät 40a kann als das hochpräzise GPS-Gerät bezeichnet werden. Das Low-End-Fahrzeug 11 verfügt auch über ein GPS-Gerät 40b. Das GPS-Gerät 40a des High-End-Fahrzeugs 10 ist jedoch präziser als das GPS-Gerät 40b des Low-End-Fahrzeugs 11. Dementsprechend kann das GPS-Gerät 40b des Low-End-Fahrzeuges 11 als das GPS-Gerät mit niedriger Genauigkeit bezeichnet werden. Das Low-End-Fahrzeug 11 verfügt über eine Steuerung 35, der mit dem GPS-Gerät 40b kommuniziert. Die Steuerung 35 des Low-End-Fahrzeugs 11 kann als zweite Steuerung bezeichnet werden. Das Low-End-Fahrzeug 11 enthält außerdem ein visuelles Simultan-Lokalisierungs- und Kartierungssystem (SLAM) oder ein visuelles Trägheitskilometer-System 15 zur Lokalisierung des High-End-Fahrzeugs 10 und des Low-End-Fahrzeugs 11. Die Kamera und die IMU (d.h. , Sensoren 40) können Teil des visuellen SLAM-Systems sein. Das Low-End-Fahrzeug 11 umfasst auch ein visuelles Fahrzeugverfolgungssystem 19 zur Verfolgung des High-End-Fahrzeugs 10 und des Low-End-Fahrzeugs 11. Darüber hinaus enthält das High-End-Fahrzeug 10 ein W Perception Sharing System 25a zum Austausch von Wahrnehmungsinformationen mit dem Low-End-Fahrzeug 11. Das Low-End-Fahrzeug 11 umfasst auch ein Perception Sharing System 25b zum Austausch von Wahrnehmungsinformationen über das High-End-Fahrzeug 10 und/oder das Low-End-Fahrzeug 11. Das Low-End-Fahrzeug 11 enthält auch ein verbessertes Lokalisierungssystem 27 zur Verbesserung der Lokalisierungsinformationen über das High-End-Fahrzeug 10 und das Low-End-Fahrzeug 11 unter Verwendung der georäumlichen Daten vom GPS-Gerät 40b und der vom High-End-Fahrzeug 10 erhaltenen Informationen. Das GPS-Gerät 40a kann als erstes GPS-Gerät bezeichnet werden, und das zweite GPS-Gerät 40b kann als zweites GPS-Gerät bezeichnet werden.
3 ist ein Flussdiagramm einer Methode 100 zur Fahrzeugverfolgung und -lokalisierung. Durch die Anwendung dieses Verfahrens 100 stellt das High-End-Fahrzeug 10 einen virtuellen Lokalisierungsserver bereit und bietet einen alternativen Lokalisierungsprozess für das Low-End-Fahrzeug 11 durch kollaborative gemeinsame Wahrnehmung. Das GPS-Gerät 40b des Low-End-Fahrzeuges 11 könnte in schwierigen Szenarien (z.B. Stadtschlucht) verdeckt werden, so dass es sich nicht selbst für die Lokalisierung lokalisieren kann. Durch die Anwendung dieses Verfahrens 100 könnte die Fähigkeit zur kollaborativen Wahrnehmung dem Low-End-Fahrzeug 11 (das nicht über ein hochpräzises GPS verfügt) zugute kommen. Das High-End-Fahrzeug 10 wird dann zu einem virtuellen Server für das Low-End-Fahrzeug 11. Das Verfahren 100 verwendet auch ein neues Protokoll für die gemeinsame Nutzung der Wahrnehmung und integriert intelligente Low-Lever-Fused-Kamera-Lidar-Daten (RGB-XYZ). Die Steuerung 34 des High-End-Fahrzeugs 10 ist so programmiert, dass sie das Verfahren 100 ausführt.
Das Verfahren 100 für die Fahrzeugverfolgung und -lokalisierung umfasst den Block 102. Im Block 102 empfängt die Steuerung 34 die Odometrie-Daten von einem oder mehreren der Sensoren 40 des High-End-Fahrzeugs 10. Wie oben diskutiert, können die Sensoren 40 Umgebungsbedingungen erfassen, wie z.B. die Fahrzeugposition des High-End-Fahrzeugs 10, die Position des Low-End-Fahrzeugs 11, die Erkennung anderer Objekte um das High-End-Fahrzeug 10 herum, den Abstand zwischen dem High-End-Fahrzeug 10 und anderen Objekten (z.B. Low-End-Fahrzeug 11). Der Begriff „Odometrie-Daten“ bedeutet Daten über die Position und die Bewegung eines oder mehrerer Objekte im Laufe der Zeit. Bei Block 102 kann es sich bei den Sensoren 40 um Lidarsensoren, Kameras, Geschwindigkeitssensoren, Beschleunigungsmesser, Gyroskope oder andere Sensoren handeln, die in der Lage sind, die Position und/oder Bewegung eines oder mehrerer Objekte (z.B. , High-End-Fahrzeug 10 und/oder Low-End-Fahrzeug 11) über die Zeit zu erfassen. Dementsprechend können die Odometrie-Daten visuelle Odometrie-Daten sein. Der Begriff „visuelle Odometrie-Daten“ bedeutet Daten über die Position und Bewegung eines Objekts, wie z.B. des High-End-Fahrzeugs 10 und/oder des Low-End-Fahrzeugs 11, durch Analyse der zugehörigen Kamerabilder. Das Verfahren 100 verschmilzt visuelle SLAM/Visuelle Odometrie (VO), IMU- und GPS-Daten, um eine robuste, nahtlose Kartendarstellung für eine genaue Fahrzeuglokalisierung in schwierigen Umgebungen zu ermöglichen.
Das Verfahren 100 umfasst auch den Block 104. Im Block 104 empfängt die Steuerung 34 die georäumliche Daten vom GPS-Gerät 40a des High-End-Fahrzeugs 10 (d.h. dem hochpräzisen GPS-Gerät des High-End-Fahrzeugs 10). Das GPS-Gerät 40a ist so eingerichtet, dass es Gelände-, Karten- und Standortdaten von einem GPS empfängt und georäumliche Daten erzeugt. Der Begriff „georäumliche Daten“ bedeutet Daten über das Gelände, die Topologie und die globale Lage des Gebiets um das High-End-Fahrzeug 10. Daher sind die georäumliche Daten des GPS-Gerätes 40a zumindest ein Hinweis auf die GPS-Ortung des High-End-Fahrzeuges 10. Der Begriff „GPS-Ortung“ bezeichnet die Ortung von Objekten, wie z.B. das High-End-Fahrzeug 10 und/oder das Low-End-Fahrzeug 11, die von einem GPS-Gerät bereitgestellt wird.
Das Verfahren 100 umfasst auch Block 106. Im Block 106 empfängt die Steuerung 34 Inertial-Daten von der Inertial-Messeinheit (IMU) des High-End-Fahrzeugs 10. Wie oben besprochen, ist die IMU einer der Sensoren 40 des High-End-Fahrzeugs 10. Die IMU ist ein elektronisches Gerät, das die spezifische Kraft, die Winkelgeschwindigkeit und manchmal auch das Magnetfeld um den Körper herum misst und meldet, wobei eine Kombination aus Beschleunigungsmessern und Gyroskopen, manchmal auch Magnetometern verwendet wird. Daher ist die IMU so eingerichtet, dass sie die Linear- und Winkelbewegung des High-End-Fahrzeugs 10 misst und Inertial-Daten erzeugt. Der Begriff „Inertial-Daten“ bedeutet Daten über die Linear- und Winkelbewegung des High-End-Fahrzeugs 10. Nach Block 102 geht das Verfahren 100 zu Block 108 über.
Im Block 108 extrahiert die Steuerung 34 Merkmals-Daten aus den Odometrie-Daten. Der Begriff „Merkmals-Daten“ bezeichnet Daten über Objekte und eine Anordnung der von den Sensoren 40 (z.B. Kamera, Lidar-Sensoren etc.) erfassten Objekte. Die Merkmals-Daten enthalten eine Merkmals-Karte, die die Anordnung der von den Sensoren 40 im Block 102 erfassten Objekte zeigt.
Nach Block 104 geht das Verfahren 100 zu Block 110 über. Im Block 110 bestimmt die Steuerung 34 die GPS-Ortung von Objekten im Umfeld des High-End-Fahrzeugs 10, einschließlich des High-End-Fahrzeugs 10 selbst und/oder des Low-End-Fahrzeugs 11 unter Verwendung der vom GPS-Gerät 40a erzeugten georäumlichen Daten. Nach Block 110 geht das Verfahren 100 zu Block 112 über. In Block 112 bestimmt die Steuerung 34 die Merkmals-Kartierungspunkte anhand der vom GPS-Gerät 40a empfangenen georäumlichen Daten und/oder der in Block 110 ermittelten GPS-Positionen. Die Feature-Mapping-Punkte sind georäumliche Standorte der Merkmale. Der Begriff „Merkmale“ bezeichnet die von den Sensoren 40 erfassten Objekte.
Das Verfahren 100 umfasst auch Block 114. Im Block 114 gleicht die Steuerung 34 des High-End-Fahrzeugs 10 die mit den Sensoren 40 erhaltene Merkmals-Karte mit den mit dem GPS-Gerät 40a erhaltenen Merkmals-Kartenpunkten ab. Nach Block 114 geht das Verfahren 100 zu Block 116 über.
In Block 116 schätzt die Steuerung 34 eine geschätzte aktuelle Position des High-End-Fahrzeugs 10 und eine geschätzte aktuelle Trajektorie des High-End-Fahrzeugs 10 unter Verwendung der Odometrie-Daten der Sensoren 40, der georäumlichen Daten des GPS-Geräts 40a und der Inertial-Daten der IMU des High-End-Fahrzeugs 10. Mit anderen Worten, die Steuerung 34 sichert die Ausgänge der Sensoren 40 in Block 102, des GPS-Gerätes 40a in Block 104 und der IMU in Block 106. Dazu kann die Steuerung 34 einen Posendiagramm-Optimierungsprozess und/oder einen erweiterten Kalman-Filter verwenden. Die Blöcke 108, 110, 112, 114, 116 und 118 können als SLAM-Prozess betrachtet werden.
Nach Block 116 geht das Verfahren 100 zu Block 118 über. Im Block 118 bestimmt die Steuerung 34 die semantischen Mappoint-Daten aus den Odometrie-Daten. Die semantischen Mappoints-Daten sind Daten über die Textur eines von der Kamera erfassten Bildes. Das Verfahren 100 umfasst auch den Block 120. Das Steuergerät 34 gibt die Inertial-Daten in ein Bayes'sches Netzwerk (z.B. G₂O-Optimierungsmotor) ein, um eine vorausberechnete Position des High-End-Fahrzeugs 10 und eine vorausberechnete Trajektorie des High-End-Fahrzeugs 10 zu bestimmen. Das Bayes'sche Netzwerk läuft auf der Steuerung 34 des High-End-Fahrzeugs 10. Das Bayes'sche Netzwerk ist ein probabilistisches graphisches Modell, das eine Reihe von Variablen und deren bedingte Abhängigkeiten über einen gerichteten azyklischen Graphen darstellt. Nach Block 120 geht das Verfahren 100 zu Block 122 über. Im Block 122 aktualisiert die Steuerung 34 das Bayes' sches Netzwerk unter Verwendung der geschätzten aktuellen Position und der geschätzten aktuellen Trajektorie des High-End-Fahrzeugs 10 unter Verwendung der Odometrie-Daten und der georäumlichen Daten. Mit anderen Worten, die aktuelle Position, Orientierung und Geschwindigkeit des High-End-Fahrzeugs 10, wie sie vom GPS-Gerät 40a gemessen wird, und die geschätzte aktuelle Position des High-End-Fahrzeugs 10 und die geschätzte aktuelle Trajektorie, die auf Block 116 geschätzt wird, werden zur Aktualisierung des Bayes'schen Netzwerks verwendet. Die Blöcke 120 und 122 können als ein Bayes'scher Netzwerk-Graphen-Optimierungsprozess betrachtet werden. Das Verfahren 100 nutzt die IMU, um eine Skalenschätzung für die visuelle Odometrie zu liefern, da der visuellen Odometrie Skaleninformationen fehlen. Das Verfahren 100 nutzt die GPS-Ortsdaten zur absoluten Positionsschätzung, da die IMU und die visuellen Odometrie-Daten ausschließlich relative Messungen sind. Das Lokalisierungsproblem kann auch als ein Bayes'sches Graphenoptimierungsproblem modelliert und durch einen vorhandenen Solver gelöst werden. Durch die Verwendung einer Schiebefenstermethode kann für jeweils N Rahmen eine nichtlineare Optimierung durch Minimierung einer Kostenfunktion C(x) gelöst werden: $C (x) = \sum_{i = 1}^{I} \sum_{j \in Γ (i)} e_{r}^{i, j^{r}} W_{r}^{i, j} e_{r}^{i, j} + \sum_{i = 1}^{I - 1} e_{s}^{i^{r}} W_{s}^{i} e_{s}^{i} + \sum_{i = 1}^{I} e_{g}^{i^{r}} W_{g}^{i} e_{g}^{i}$
wobei:

C(x) ist die Kostenfunktion;
j-Frames gehören zum relevanten Satz von Bildern i;
T ist die Transponierung einer Matrix (z.B. GPS-Fehler, IMU-Fehler oder visueller Fehler) zum Zeitpunkt i;

e_{g}^{i}

W_{g}^{i}

e_{s}^{i}

W_{s}^{i}

e_{r}^{i}

W_{r}^{i}

Mit Hilfe der Methode des gleitenden Fensters und des Posendiagramms ist es möglich, das lokale Optimierungsproblem des Graphen zusammen mit der Zeit zu bilden. Jedes lokale Graphenoptimierungsproblem kann durch den Levenbergh-Marquardt-Algorithmus gelöst werden. Wie oben diskutiert, kann das Verfahren 100 Lidar-Sensoren verwenden. Das High-End-Fahrzeug 10 kann über eine Low-Level-Sicherung der RGB-XYZ-Daten verfügen, die eine vollständige Farbverteilung im 3D-Raum ermöglicht. Die Verschmelzung von visuell-lidarer Odometrie (VLO), IMU- und GPS-Daten bietet insgesamt eine robuste, nahtlose Kartendarstellung zur genauen Fahrzeuglokalisierung in schwierigen Umgebungen. Nach Block 122 geht das Verfahren 100 zu Block 124 über.
Im Block 124 erkennt (d.h. , erkennt) die Steuerung 34 das Low-End-Fahrzeug 11 anhand der Odometrie-Daten des Sensors 40 des High-End-Fahrzeugs 10. Das Low-End-Fahrzeug 11 kann als Fahrzeug B bezeichnet werden. Nach Block 124 geht das Verfahren 100 zu Block 126 über. Im Block 126 verfolgt die Steuerung 34 die Bewegung und den Standort des Low-End-Fahrzeugs 11, indem er die Odometrie-Daten, die georäumlichen Daten und die Inertial-Daten zusammenführt. Zum Beispiel kann der zweite Controller 34 einen erweiterten Kalman-Filter verwenden, um die Odometrie-Daten, die georäumlichen Daten und die Inertial-Daten zu fusionieren und dadurch das Low-End-Fahrzeug 11 zu verfolgen. Die Blöcke 124 und 126 können als das visuelle Fahrzeugverfolgungssystem 19 betrachtet werden (BILD 2). Im Block 126 kann die Steuerung 34 die sechs Grade der 10 des High-End-Fahrzeugs 10 (Fahrzeug A) zur Zeit wie folgt darstellen: $(\begin{matrix} x & α \\ y & β \\ z & γ \end{matrix}) |_{A}^{t}$
Im Block 126 kann die Steuerung 34 die sechs Freiheitsgrade des Low-End-Fahrzeugs 11 (Fahrzeug B) zum Zeitpunkt t wie folgt darstellen: $(\begin{matrix} x & α \\ y & β \\ z & γ \end{matrix}) |_{B}^{t}$
Der Abstand und der Winkel zwischen dem oberen Fahrzeug 10 und dem unteren Fahrzeug 11 zum Zeitpunkt t können wie folgt repräsentativ sein:

d(t)_A→B, d(t)_A→B

Die relative Position des High-End-Fahrzeugs 10 und des Low-End-Fahrzeugs 11 kann wie folgt angegeben werden: $[\begin{array}{l} d {(t)}_{A \to B} \\ θ {(t)}_{A \to B} \end{array}] = f ‖ {(\begin{matrix} x & α \\ y & β \\ z & γ \end{matrix})}_{A, t} - {(\begin{matrix} x & α \\ y & β \\ z & γ \end{matrix})}_{B, t} ‖$
wobei:

f ist eine Funktion der sechs Freiheitsgrade des Fahrzeugs und der sechs Freiheitsgrade des Low-End-Fahrzeugs 11.

Die beobachtete Position des Low-End-Fahrzeuges 11 im Laufe der Zeit könnte wie folgt angegeben werden: ${(\begin{array}{l} x \\ y \\ z \end{array})}_{A, t + 1} = R_{z (A)} {(\begin{array}{l} x \\ y \\ z \end{array})}_{A, t} + (\begin{array}{l} V_{x} \\ V_{y} \\ 0 \end{array}) dt$
wobei:

V_x ist die Geschwindigkeit auf dem Breitengrad;
V_y ist die Geschwindigkeit auf dem Längengrad; und
R_z(A) ist eine Rotationsmatrix für die Ego - Fahrzeug Kamera - domain.

Die Steuerung 34 nutzt das implizite Kalman-Filter (IFM) zur Behandlung des zeitlichen Fehlers sowohl im Systemzustandsraum St als auch im Messraum mt. Die Beziehung zwischen dem Systemzustand St und dem Messraum mt über die Entwicklung im Zeitbereich könnte wie folgt beschrieben werden: ${\begin{cases} S_{t + 1} = f (S_{t}) + u_{t} \\ m_{t} = h (S_{t}) + v_{t} \end{cases}$
wobei:

S_t+1 ist der Systemzustand zum Zeitpunkt t+1;
mt ist der Messraum;
St ist der Systemzustand zum Zeitpunkt t;
f und h sind zwei Funktionen;
u_t ist die i. d. d. Gaussian noise mit der Kovarianzmatrix P; and v_t ist eine andere i. d. d. Gaussion noise mit der Kovarianzmatrix Q.

Die Steuerung 34 könnte die Standard-Kalman-Filter-Lösung verwenden, um die Bewegungsbahn des Raupenfahrzeugs 11 zu glätten. Nach Block 126 geht das Verfahren 100 zu Block 128 über.
Im Block 128 befiehlt die Steuerung 34 dem Kommunikationssystem 36 des High-End-Fahrzeugs 10, die geschätzte aktuelle Position des High-End-Fahrzeugs 10, die geschätzte aktuelle Trajektorie des High-End-Fahrzeugs 10, die geschätzte aktuelle Position des Low-End-Fahrzeugs 11 und die geschätzte aktuelle Trajektorie des Low-End-Fahrzeugs 11 an das Low-End-Fahrzeug 11 zu übertragen. Dieser Block 128 kann als das Perception Sharing System 25a des High-End-Fahrzeugs 10 bezeichnet werden. Das Kommunikationssystem 36 übermittelt den geschätzten aktuellen Standort des High-End-Fahrzeugs 10, die geschätzte aktuelle Trajektorie des High-End-Fahrzeugs 10, den geschätzten aktuellen Standort des Low-End-Fahrzeugs 11 und die geschätzte aktuelle Trajektorie des Low-End-Fahrzeugs 11 an das Low-End-Fahrzeug 11 in absoluten Weltkoordinaten. Da die geschätzte Position mit sechs Freiheitsgraden des unteren Fahrzeugs 11 ein anderes Koordinatensystem haben könnte als die Position mit sechs Freiheitsgraden des oberen Fahrzeugs 10, gibt es Schritte, um das geschätzte relative Koordinatensystem in das absolute Weltreferenz-Koordinatensystem zu transformieren. Mit anderen Worten, die Lokalisierung und der Kartenabgleich können wie folgt durchgeführt werden: $\begin{array}{l} (\begin{matrix} x_{A} & α_{A} \\ y_{A} & β_{A} \\ z_{A} & γ_{A} \end{matrix}) |B \to (\begin{array}{l} x_{A} \\ y_{A} \\ α_{A} \end{array}) | B \\ (\begin{matrix} x_{B} & α_{B} \\ y_{B} & β_{B} \\ z_{B} & γ_{B} \end{matrix}) | A \to (\begin{array}{l} x_{B} \\ y_{B} \\ α_{B} \end{array}) | W \end{array}$
$(\begin{matrix} x_{A}^{'} \\ y_{A}^{'} \\ 1 \end{matrix}) | A = [\begin{matrix} cos α_{B} & - sin α_{B} & x_{B} \\ sin α_{B} & cos α_{B} & y_{B} \\ 0 & 0 & 1 \end{matrix}] (\begin{matrix} x_{A} \\ y_{A} \\ 1 \end{matrix}) | B$
wobei:

A und B sind das High-End-Fahrzeug 10 bzw. das Low-End-Fahrzeug 11;

(\begin{matrix} x_{A} & α_{A} \\ y_{A} & β_{A} \\ z_{A} & γ_{A} \end{matrix})

10

(\begin{matrix} x_{B} & α_{B} \\ y_{B} & β_{B} \\ z_{B} & γ_{B} \end{matrix})

11

10

11

Das Verfahren 100 geht dann zum Block 130 über. Im Block 130 empfängt das Steuergerät 35 des Low-End-Fahrzeugs 11 über das Perception-Sharing-System 25a und/oder das Kommunikationssystem des Low-End-Fahrzeugs 11 vom ersten Steuergerät 34 des High-End-Fahrzeugs 10 die geschätzte aktuelle Position des High-End-Fahrzeugs 10, die geschätzte aktuelle Trajektorie des High-End-Fahrzeugs 10, die geschätzte aktuelle Position des Low-End-Fahrzeugs 11 und die geschätzte aktuelle Trajektorie des Low-End-Fahrzeugs 11. Dann geht das Verfahren 100 zu Block 132 über.
Im Block 132 empfängt die Steuerung 35 zweite georäumliche Daten vom GPS-Gerät 40b. Dann geht das Verfahren 100 zu Block 134 über. In Block 134 bestimmt die Steuerung 35 des Low-End-Fahrzeugs 11 eine aktualisierte geschätzte aktuelle Position des Low-End-Fahrzeugs 11 unter Verwendung der zweiten georäumlichen Daten des zweiten GPS-Geräts 40b und der geschätzten aktuellen Position des Low-End-Fahrzeugs 11, die vom High-End-Fahrzeug 10 übertragen wird.
Die detaillierte Beschreibung und die Figuren oder Abbildungen sind eine unterstützende Beschreibung der gegenwärtigen Lehren, aber der Umfang der gegenwärtigen Lehren wird allein durch die Ansprüche definiert. Während einige der bevorzugten Ausführungsformen und andere Ausführungsformen zur Durchführung der vorliegenden Lehren ausführlich beschrieben wurden, gibt es verschiedene alternative Entwürfe und Ausführungsformen zur Ausübung der in den beigefügten Ansprüchen definierten vorliegenden Lehren.

Claims

Ein Verfahren zum Verfolgen und Lokalisieren eines Fahrzeugs, umfassend: Empfangen, durch eine erste Steuerung des ersten Fahrzeugs, von Odometrie-Daten von einem Sensor des ersten Fahrzeugs; Empfangen, durch die erste Steuerung des ersten Fahrzeugs, von georäumlichen Daten von einem GPS-Gerät, Global Positioning System, des ersten Fahrzeugs; Empfangen, durch die erste Steuerung des ersten Fahrzeugs, von Inertial-Daten von einer Inertial-Messeinheit, IMU, des ersten Fahrzeugs; Schätzen, durch die erste Steuerung des ersten Fahrzeugs, einer geschätzten aktuellen Position des ersten Fahrzeugs und einer geschätzten aktuellen Trajektorie des ersten Fahrzeugs unter Verwendung der Odometrie-Daten von dem Sensor, der georäumlichen Daten vom GPS-Gerät und der Inertial-Daten von der IMU des ersten Fahrzeugs; Eingeben der Inertial-Daten in ein Bayes'sches Netzwerk, um eine vorhergesagte Position des ersten Fahrzeugs und eine vorhergesagte Trajektorie des ersten Fahrzeugs zu bestimmen, wobei das Bayes'sche Netzwerk auf dem ersten Steuergerät des ersten Fahrzeugs läuft; und Aktualisieren des Bayes'schen Netzewerks unter Verwendung der geschätzten aktuellen Position und der geschätzten aktuellen Traj ektorie des ersten Fahrzeugs unter Verwendung der Odometrie-Daten und der georäumlichen Daten; Erkennen, durch die erste Steuerung des ersten Fahrzeugs, eines zweiten Fahrzeugs unter Verwendung der Odometrie-Daten des Sensors des ersten Fahrzeugs; Schätzen, durch die erste Steuerung des ersten Fahrzeugs, einer geschätzten aktuellen Position eines zweiten Fahrzeugs und einer geschätzten aktuellen Trajektorie des zweiten Fahrzeugs unter Verwendung der Odometrie-Daten von dem Sensor, der georäumlichen Daten vom GPS-Gerät und der Inertial-Daten von der IMU des ersten Fahrzeugs; und Übertragen der geschätzten aktuellen Position des ersten Fahrzeugs, der geschätzten aktuellen Trajektorie des ersten Fahrzeugs, der geschätzten aktuellen Position des zweiten Fahrzeugs und der geschätzten aktuellen Trajektorie des zweiten Fahrzeugs an das zweite Fahrzeug.
Das Verfahren nach Anspruch 1, ferner umfassend das Extrahieren, durch die erste Steuerung des ersten Fahrzeugs, von Merkmals-Daten aus den Odometrie-Daten, wobei die Merkmals-Daten Daten über Objekte und eine Anordnung der Objekte sind, die durch den Sensor erfasst werden, und die Merkmals-Daten eine Merkmals-Karte enthalten, die die Anordnung der durch den Sensor erfassten Objekte zeigt.
Das Verfahren nach Anspruch 2, ferner umfassend das Bestimmen, durch die erste Steuerung des ersten Fahrzeugs, von Merkmals-Kartierungspunkten unter Verwendung der von der GPS-Vorrichtung empfangenen georäumlichen Daten umfasst, wobei die Merkmals-Kartierungspunkte georäumliche Positionen von Merkmalen sind.
Das Verfahren nach Anspruch 3, ferner umfassend das Abgleichen der Merkmals-Karte mit den Merkmals-Kartenpunkten.
Das Verfahren nach Anspruch 4, wobei das Schätzen, durch die erste Steuerung des ersten Fahrzeugs, der geschätzten aktuellen Position des ersten Fahrzeugs und der geschätzten aktuellen Trajektorie des ersten Fahrzeugs die Verwendung eines Posendiagramm-Optimierungsprozesses einschließt.
Das Verfahren nach Anspruch 4, wobei das Schätzen, durch die erste Steuerung des ersten Fahrzeugs, der geschätzten aktuellen Position des ersten Fahrzeugs und der geschätzten aktuellen Trajektorie des ersten Fahrzeugs die Verwendung eines erweiterten Kalman-Filters umfasst.
Das Verfahren nach Anspruch 6, wobei das Schätzen, durch die erste Steuerung des ersten Fahrzeugs, der geschätzten aktuelle Position des ersten Fahrzeugs und der geschätzten aktuellen Trajektorie des ersten Fahrzeugs, die Verwendung eines erweiterten Kalman-Filters und die Verschmelzung der Odometrie-Daten, der georäumlichen Daten und der Inertial-Daten, um die geschätzte aktuelle Position des ersten Fahrzeugs und die geschätzte aktuelle Trajektorie des ersten Fahrzeugs zu bestimmen, umfasst.
Das Verfahren nach Anspruch 7, wobei das GPS-Gerät des ersten Fahrzeugs ein erstes GPS-Gerät ist; die georäumlichen Daten erste georäumliche Daten sind; das zweite Fahrzeug ein zweites GPS-Gerät und eine zweite Steuerung in Kommunikation mit dem zweiten GPS-Gerät enthält; und das Verfahren ferner das Empfangen, durch die zweite Steuerung des zweiten Fahrzeugs, der geschätzten aktuellen Position des ersten Fahrzeugs, der geschätzten aktuellen Trajektorie des ersten Fahrzeugs, der geschätzten aktuellen Position des zweiten Fahrzeugs und der geschätzten aktuellen Trajektorie des zweiten Fahrzeugs zum zweiten Fahrzeug von der ersten Steuerung des ersten Fahrzeugs, beinhaltet.
Das Verfahren nach Anspruch 8, ferner umfassend: Empfangen, durch die zweite Steuerung des zweiten Fahrzeugs, von zweiten georäumlichen Daten von dem zweiten GPS-Gerät des zweiten Fahrzeugs; und Bestimmen, durch die zweite Steuerung des zweiten Fahrzeugs, einer aktualisierten, geschätzten aktuellen Position des zweiten Fahrzeugs unter Verwendung der zweiten georäumlichen Daten des zweiten GPS-Geräts und der von dem ersten Fahrzeug übermittelten geschätzten aktuellen Position des zweiten Fahrzeugs.
Das Verfahren nach Anspruch 9, ferner umfassend das Bestimmen, durch die erste Steuerung des ersten Fahrzeugs, von semantischen Abbildungsdaten aus den Odometrie-Daten.