DE102021103774A1

DE102021103774A1 - Fahrzeugsensorfusion

Info

Publication number: DE102021103774A1
Application number: DE102021103774.3A
Authority: DE
Inventors: David Michael Herman; Aaron Lesky; Ronald Beras; Ashwin Arunmozhi
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-02-24
Filing date: 2021-02-17
Publication date: 2021-08-26
Also published as: CN113296111A; US20210263154A1; US11592559B2

Abstract

Die Offenbarung stellt eine Fahrzeugsensorfusion bereit. Ein Computer, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor ausgeführt werden sollen, um Geschwindigkeitslidarpunktwolkendaten zu erhalten, die mit einem frequenzmodulierten Dauerstrich-(FMCW-)Lidarsensor erfasst wurden, wobei die Geschwindigkeitslidarpunktwolkendaten eine Geschwindigkeit beinhalten, mit der sich ein Datenpunkt hinsichtlich des FMCW-Lidarsensors bewegt, Geschwindigkeitslidarpunktwolkendaten zu filtern, um statische Geschwindigkeitsdatenpunkte auszuwählen, wobei die statischen Geschwindigkeitsdatenpunkte jeweils einem Punkt auf einer Fahrbahn um ein Fahrzeug entsprechen. Die Anweisungen können weitere Anweisungen beinhalten, um FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden auf Grundlage der statischen Geschwindigkeitslidardatenpunkte zu bestimmen und FMCW-Lidarsensordrehungen und - verschiebungen in sechs Freiheitsgraden auf Grundlage der FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden zu bestimmen. Die Anweisungen können weitere Anweisungen beinhalten, um Fahrzeugdrehungen und -verschiebungen in sechs Freiheitsgraden auf Grundlage von Daten einer Trägheitsmesseinheit (IMU) zu bestimmen, eine Fehlausrichtung des FMCW-Lidarsensors auf Grundlage des Vergleichs der Drehungen und Verschiebungen des FMCW-Lidarsensors mit den Fahrzeugdrehungen und - verschiebungen zu bestimmen und den FMCW-Lidarsensor auf Grundlage der Fehlausrichtung des FMCW-Lidarsensors auszurichten. Die Anweisungen können ferner Anweisungen beinhalten, um ein Fahrzeug auf Grundlage des ausgerichteten FMCW-Lidarsensors zu betreiben.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren.
ALLGEMEINER STAND DER Methode
Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Daten bezüglich der Umgebung des Fahrzeugs zu erfassen und um das Fahrzeug auf Grundlage der Daten zu betreiben. Fahrzeugsensoren können Daten bereitstellen, die zu fahrende Strecken und zu vermeidende Objekte in der Umgebung des Fahrzeugs betreffen. Der Betrieb des Fahrzeugs kann sich auf das Erfassen genauer und aktueller Daten bezüglich Objekten in der Umgebung eines Fahrzeugs stützen, während das Fahrzeugs auf einer Fahrbahn betrieben wird.
KURZDARSTELLUNG
Fahrzeuge können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Unter einem halb- oder vollautonomen Modus wird ein Betriebsmodus verstanden, in dem ein Fahrzeug teilweise oder vollständig von einer Rechenvorrichtung als Teil eines Systems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann belegt oder unbelegt sein, wobei das Fahrzeug in beiden Fällen teilweise oder vollständig ohne Unterstützung eines Insassen gesteuert werden kann. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem jedes von Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung des Fahrzeugs durch einen oder mehrere Fahrzeugcomputer gesteuert wird; in einem teilautonomen Modus steuert/steuern der/die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. In einem nichtautonomen Modus wird keines von diesen durch einen Computer gesteuert.
Ein Fahrzeug kann auf Grundlage von Sensordaten betrieben werden, die von einer Vielzahl von Fahrzeugsensoren erfasst wurden, die einen Lidarsensor beinhalten. Das Betreiben des Fahrzeugs auf Grundlage von Sensordaten, die von einer Vielzahl von Sensoren erfasst wurden, die einen Lidarsensor beinhalten, kann durch das Ausrichten des Lidarsensors fortlaufend hinsichtlich des Fahrzeugs verbessert werden, wenn das Fahrzeug zum Beispiel auf einer Fahrbahn betrieben wird. Das Ausrichten des Lidarsensors ermöglicht, dass durch den Lidarsensor erfasste Punktwolkendaten mit anderen Sensormodalitäten kombiniert werden können, die Video- und Radarsensor beinhalten. Das Kombinieren von Sensordaten von verschiedenen Sensormodalitäten kann als Sensorfusion bezeichnet werden. Sensoren können erstmals ausgerichtet werden, wenn ein Fahrzeug gefertigt wird; Lidarsensoren können jedoch besonders empfindlich auf eine Fehlausrichtung reagieren, die durch Schwingung und/oder Erschütterung verursacht wird, die auftreten, wenn ein Fahrzeug auf einer Fahrbahn betrieben wird. In dieser Schrift beschriebene Methoden verbessern die Sensorfusion durch das Bestimmen einer Fehlausrichtung des Lidarsensors, während ein Fahrzeug auf einer Fahrbahn betrieben wird, auf Grundlage von Daten einer Trägheitsmesseinheit (inertial measurement unit - IMU) und das Ausrichten des Lidarsensors hinsichtlich eines Fahrzeugs in einem realen Koordinatensystem, um zu ermöglichen, dass Punktwolkendaten, die durch den Lidarsensor erfasst wurden, mit anderen Modalitätsdaten genau kombiniert werden.
In dieser Schrift ist ein Verfahren offenbart, das Folgendes beinhaltet: das Erfassen von Geschwindigkeitslidarpunktwolkendaten, die mit einem frequenzmodulierten Dauerstrich-(FMCW-)Lidarsensor erfasst wurden, wobei die Geschwindigkeitslidarpunktwolkendaten eine Geschwindigkeit beinhalten, mit der sich ein Datenpunkt hinsichtlich eines FMCW-Lidarsensors bewegt, und das Filtern der Geschwindigkeitslidarpunktwolkendaten, um statische Geschwindigkeitsdatenpunkte auszuwählen, wobei die statischen Geschwindigkeitsdatenpunkte jeweils einem Punkt auf einer Fahrbahn um ein Fahrzeug entsprechen, und das Bestimmen von FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden auf Grundlage der statischen Geschwindigkeitsdatenpunkte. FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden können auf Grundlage der FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden bestimmt werden, und das Bestimmen von Fahrzeugdrehungen und -verschiebungen in sechs Freiheitsgraden kann auf Daten einer Trägheitsmesseinheit (IMU) basieren. Die Fehlausrichtung des FMCW-Lidarsensors kann auf Grundlage des Vergleichens der FMCW-Lidarsensordrehungen und - verschiebungen mit den Fahrzeugdrehungen und -verschiebungen bestimmt werden, wobei das Ausrichten des FMCW-Lidarsensors auf der Fehlausrichtung des FMCW-Lidarsensors basieren kann und das Fahrzeug auf Grundlage des ausgerichteten FMCW-Lidarsensors betrieben werden kann. Das Erfassen von Geschwindigkeitslidarpunktwolkendaten kann auf einer Bewegung des FMCW-Lidarsensors basieren. Das Erfassen von Geschwindigkeitslidarpunktwolkendaten kann auf einer Doppler-Verschiebung basieren. Das Erfassen der Geschwindigkeitslidarpunktwolkendaten kann auf dem Erfassen von zwei Datenpunkten von einem Standort in einer Umgebung um den FMCW-Lidarsensor zu unterschiedlichen Zeiten basieren, um die Beschleunigung zu messen.
Das Filtern der Geschwindigkeitslidarpunktwolkendaten um die statischen Geschwindigkeitsdatenpunkte auszuwählen, kann auf dem Bereitstellen der Geschwindigkeitslidarpunktwolkendaten an ein erstes neuronales Netzwerk basieren. Die statischen Geschwindigkeitsdatenpunkte können durch das Filtern dynamischer Datenpunkte unter Verwendung eines zweiten neuronalen Netzwerkes ausgewählt werden, wobei die dynamischen Datenpunkte Datenpunkte sind, die von Objekten erfasst wurden, die sich hinsichtlich eines Hintergrunds bewegen. Dynamische Datenpunkte können durch das Durchführen einer räumlichen Filterung von Datenpunkten auf oder in der Nähe eines sich bewegenden Objekts mit dem zweiten neuronalen Netzwerk herausgefiltert werden. Die statischen Geschwindigkeitsdatenpunkte können auf Grundlage des Verarbeitens der statischen Geschwindigkeitsdatenpunkte mit einem Savitzky-Golay-Filter gefiltert werden, um die statischen Geschwindigkeitsdaten zu glätten, wobei der Savitzky-Golay-Filter die Geschwindigkeitsdatenpunkte mit einer Polynomfunktion faltet. Die FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden und die Fahrzeugdrehungen und -verschiebungen können auf Übertragungsfunktionen basieren, die auf Grundlage von Finite-Elemente-Analysesimulationen des FMCW-Lidarsensors und simulierten Fahrzeugdrehungen und -verschiebungen unter variierenden Lasteingaben mit variierenden Schwingungsmodi bestimmt werden. Die Übertragungsfunktionen können IMU-Verschiebungen und -Drehungen in sechs Freiheitsgraden beinhalten. Die Übertragungsfunktionen können mit einem zweiten neuronalen Netzwerk umgesetzt werden. Die Übertragungsfunktionen können Unterschiede in der variierenden Steifigkeit von Fahrzeugstrukturen berücksichtigen, an denen der FMCW-Lidarsensor und die IMU montiert sind. Das Fahrzeug kann durch das Bestimmen eines Fahrzeugwegs auf Grundlage von Punktwolkendaten betrieben werden, die von dem ausgerichteten FMCW-Lidarsensor erfasst werden. Das Fahrzeug kann durch das Steuern des Fahrzeugantriebsstrangs, der Fahrzeuglenkung und Fahrzeugbremsen betrieben werden, um zu veranlassen, dass das Fahrzeug entlang des Fahrzeugwegs fährt.
Ferner ist ein computerlesbares Medium offenbart, das Programmanweisungen zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte speichert. In dieser Schrift ist ferner ein Computer zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte offenbart, der eine Recheneinrichtung beinhaltet, der dazu programmiert ist, Folgendes zu beinhalten: das Erfassen von Geschwindigkeitslidarpunktwolkendaten, die mit einem frequenzmodulierten Dauerstrich-(FMCW-)Lidarsensor erfasst wurden, wobei die Geschwindigkeitslidarpunktwolkendaten eine Geschwindigkeit beinhalten, mit der sich ein Datenpunkt hinsichtlich eines FMCW-Lidarsensors bewegt, und das Filtern der Geschwindigkeitslidarpunktwolkendaten, um statische Geschwindigkeitsdatenpunkte auszuwählen, wobei die statischen Geschwindigkeitsdatenpunkte jeweils einem Punkt auf einer Fahrbahn um ein Fahrzeug entsprechen, und das Bestimmen von FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden auf Grundlage der statischen Geschwindigkeitsdatenpunkte. FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden können auf Grundlage der FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden bestimmt werden, und das Bestimmen von Fahrzeugdrehungen und - verschiebungen in sechs Freiheitsgraden kann auf Daten einer Trägheitsmesseinheit (IMU) basieren. Die Fehlausrichtung des FMCW-Lidarsensors kann auf Grundlage des Vergleichens der FMCW-Lidarsensordrehungen und -verschiebungen mit den Fahrzeugdrehungen und - verschiebungen bestimmt werden, wobei das Ausrichten des FMCW-Lidarsensors auf der Fehlausrichtung des FMCW-Lidarsensors basieren kann und das Fahrzeug auf Grundlage des ausgerichteten FMCW-Lidarsensors betrieben werden kann. Das Erfassen von Geschwindigkeitslidarpunktwolkendaten kann auf einer Bewegung des FMCW-Lidarsensors basieren. Das Erfassen von Geschwindigkeitslidarpunktwolkendaten kann auf einer Doppler-Verschiebung basieren. Das Erfassen der Geschwindigkeitslidarpunktwolkendaten kann auf dem Erfassen von zwei Datenpunkten von einem Standort in einer Umgebung um den FMCW-Lidarsensor zu unterschiedlichen Zeiten basieren, um die Beschleunigung zu messen.
Der Computer kann ferner dazu programmiert sein, die Geschwindigkeitslidarpunktwolkendaten zu filtern, um die statischen Geschwindigkeitsdatenpunkte auf Grundlage des Bereitstellens der Geschwindigkeitslidarpunktwolkendaten an ein erstes neuronales Netzwerk auszuwählen. Die statischen Geschwindigkeitsdatenpunkte können durch das Filtern dynamischer Datenpunkte unter Verwendung eines zweiten neuronalen Netzwerkes ausgewählt werden, wobei die dynamischen Datenpunkte Datenpunkte sind, die von Objekten erfasst wurden, die sich hinsichtlich eines Hintergrunds bewegen. Dynamische Datenpunkte können durch das Durchführen einer räumlichen Filterung von Datenpunkten auf oder in der Nähe eines sich bewegenden Objekts mit dem zweiten neuronalen Netzwerk herausgefiltert werden. Die statischen Geschwindigkeitsdatenpunkte können auf Grundlage des Verarbeitens der statischen Geschwindigkeitsdatenpunkte mit einem Savitzky-Golay-Filter gefiltert werden, um die statischen Geschwindigkeitsdaten zu glätten, wobei der Savitzky-Golay-Filter die Geschwindigkeitsdatenpunkte mit einer Polynomfunktion faltet. Die FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden und die Fahrzeugdrehungen und -verschiebungen können auf Übertragungsfunktionen basieren, die auf Grundlage von Finite-Elemente-Analysesimulationen des FMCW-Lidarsensors und simulierten Fahrzeugdrehungen und -verschiebungen unter variierenden Lasteingaben mit variierenden Schwingungsmodi bestimmt werden. Die Übertragungsfunktionen können IMU-Verschiebungen und -Drehungen in sechs Freiheitsgraden beinhalten. Die Übertragungsfunktionen können mit einem zweiten neuronalen Netzwerk umgesetzt werden. Die Übertragungsfunktionen können Unterschiede in der variierenden Steifigkeit von Fahrzeugstrukturen berücksichtigen, an denen der FMCW-Lidarsensor und die IMU montiert sind. Das Fahrzeug kann durch das Bestimmen eines Fahrzeugwegs auf Grundlage von Punktwolkendaten betrieben werden, die von dem ausgerichteten FMCW-Lidarsensor erfasst werden. Das Fahrzeug kann durch das Steuern des Fahrzeugantriebsstrangs, der Fahrzeuglenkung und Fahrzeugbremsen betrieben werden, um zu veranlassen, dass das Fahrzeug entlang des Fahrzeugwegs fährt.
Figurenliste

1 ist eine Darstellung eines beispielhaften Verkehrsinfrastruktursystems.
2 ist eine Darstellung eines beispielhaften Fahrzeugs, das Sensoren beinhaltet.
3 ist eine Darstellung beispielhafter sechsachsiger Koordinatenbezeichnungen.
4 ist eine Darstellung einer beispielhaften Trägheitsmesseinheit.
5 ist eine Darstellung eines beispielhaften externen Ausrichtungsziels.
6 ist ein Ablaufdiagramm eines beispielhaften Prozesses, um ein Fahrzeug unter Verwendung eines ausgerichteten Lidarsensors zu betreiben.

DETAILLIERTE BESCHREIBUNG
1 ist eine Darstellung eines Verkehrsinfrastruktursystems 100, das ein Fahrzeug 110 beinhaltet, das in einem autonomen („autonom“ für sich bedeutet in dieser Offenbarung „vollständig autonom“), einem teilautonomen und einem insassengesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Eine oder mehrere Rechenvorrichtungen 115 des Fahrzeugs 110 können von Sensoren 116 Daten bezüglich des Betriebs des Fahrzeugs 110 empfangen. Die Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem teilautonomen Modus oder einem nichtautonomen Modus betreiben.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen computerlesbarer Medien und speichert Anweisungen, die durch den Prozessor zum Durchführen unterschiedlicher Vorgänge ausgeführt werden können, was wie in dieser Schrift offenbart beinhaltet. Zum Beispiel kann die Rechenvorrichtung 115 Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Beschleunigungssteuerung in dem Fahrzeug 110 durch das Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimaregelung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrer derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten beinhaltet sind, z. B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., beinhalten oder z. B. über einen Fahrzeugübertragungsbus, wie nachfolgend ausführlicher beschrieben, kommunikativ mit dieser/diesen gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen für Übertragungen in einem Fahrzeugübertragungsnetzwerk eingerichtet, was z. B. einen Bus in dem Fahrzeug 110 beinhaltet, wie etwa ein Controller Area Network (CAN) oder dergleichen; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Übertragungsmechanismen, wie sie bekannt sind, beinhalten, z. B. Ethernet oder andere Übertragungsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Mitteilungen an verschiedene Vorrichtungen in dem Fahrzeug übermitteln und/oder Mitteilungen von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Aktoren, Sensoren usw. welche die Sensoren 116 beinhalten. Alternativ oder zusätzlich kann in Fällen, bei denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugübertragungsnetzwerk für Übertragungen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachfolgend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, der Rechenvorrichtung 115 Daten über das Fahrzeugübertragungsnetzwerk bereitstellen.
Zusätzlich kann die Rechenvorrichtung 115 dazu konfiguriert sein, über ein Netzwerk 130, das, wie nachfolgend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, über ein Netzwerk 130, wie etwa drahtloses Internet (WI-FI®) oder Mobilfunknetzwerke, mit einem Fernzugriffsservercomputer 120 zu kommunizieren, durch eine Fahrzeug-zu-Infrastruktur-(vehicle-to-infrastructure - V-to-I-)Schnittstelle 111 mit einem Fernzugriffsservercomputer 120 zu kommunizieren, z. B. einem Cloud-Server. Die V-to-I-Schnittstelle 111 kann dementsprechend Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien zu nutzen, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die V-to-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-(vehicle-to-vehicle - V-to-V-)Netzwerken z. B. gemäß dedizierter Nahbereichsübertragung (dedicated short range communications - DSRC) und/oder dergleichen, konfiguriert sein, die z. B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet außerdem einen nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Daten über das Speichern von Daten zum späteren Abrufen und Übermitteln über das Fahrzeugübertragungsnetzwerk und eine Fahrzeug-Infrastruktur-(V-to-I-)Schnittstelle 111 an einen Servercomputer 120 oder eine mobile Vorrichtung 160 eines Benutzers in nichtflüchtigem Speicher protokollieren. Der Servercomputer 120 kann auch als eine Rechenvorrichtung 115 fungieren, die in einem Edge-Computing-Knoten beinhaltet ist, wobei ein Edge-Computing-Knoten eine Rechenvorrichtung 115 ist, die Sensordaten erfasst und mit Fahrzeugen 110 in einem lokalen Abschnitt von einem oder mehreren von einer Fahrbahn, einem Parkplatz oder einem Parkhaus usw. kommuniziert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert und durch den Prozessor der Rechenvorrichtung 115 ausgeführt werden können, im Allgemeinen Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Bedieners beinhaltet. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. der Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer, um das Fahrzeug 110 zu betreiben, verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Zum Beispiel kann die Rechenvorrichtung 115 Folgendes beinhalten: eine Programmierung zum Regeln des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa Geschwindigkeit, Beschleunigung, Abbremsung, Lenkung usw., sowie des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens typischerweise auf eine Weise, die ein sicheres und effizientes Abfahren einer Strecke erreichen soll), wie etwa eine Entfernung zwischen Fahrzeugen und/oder eine Zeitspanne zwischen Fahrzeugen, Spurwechsel, der Mindestabstand zwischen Fahrzeugen, die Mindestzeit zur Wegquerung bei Linksabbiegung, die Zeit bis zur Ankunft an einem bestimmten Standort und an einer Kreuzung (ohne Ampel) die Mindestzeit bis zur Ankunft an der Kreuzung.
Steuerungen, als der in dieser Schrift verwendete Ausdruck, beinhalten Rechenvorrichtungen, die typischerweise dazu programmiert sind, ein konkretes Fahrzeugteilsystem zu überwachen und/oder zu steuern. Beispiele beinhalten eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie sie bekannt ist, die möglicherweise eine zusätzliche Programmierung wie in dieser Schrift beschrieben beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen von der Rechenvorrichtung 115 empfangen, um die Bremsen des Fahrzeugs 110 zu betreiben.
Die eine oder die mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen beinhalten, die als nichteinschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 beinhalten. Jede der Steuerungen 112, 113, 114 kann entsprechende Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Übertragungsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network-(CAN-)Bus oder einem Local-Interconnect-Network-(LIN-)Bus, um Anweisungen von der Rechenvorrichtung 115 zu empfangen und Aktoren auf Grundlage der Anweisungen zu steuern.
Die Sensoren 116 können eine Reihe von Vorrichtungen beinhalten, die für die Bereitstellung von Daten über den Fahrzeugübertragungsbus bekannt sind. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, eine Entfernung von dem Fahrzeug 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen, oder ein Sensor für ein globales Positionsbestimmungssystem (GPS), der in dem Fahrzeug 110 angeordnet ist, kann geografische Koordinaten des Fahrzeugs 110 bereitstellen. Die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte(n) Entfernung(en) und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 zum Beispiel autonom oder teilautonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein Landfahrzeug 110, das zu autonomem und/oder teilautonomem Betrieb fähig ist und das drei oder mehr Räder aufweist, z. B. ein PKW, ein Kleinlaster usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die Y-to-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten im Zusammenhang mit dem Fahrzeug 110 und der Umgebung erheben, in der das Fahrzeug 110 betrieben wird. Beispielhaft und nichteinschränkend können die Sensoren 116 z. B. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hallsensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter, usw. beinhalten. Die Sensoren 116 können verwendet werden, um die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird, z. B. können die Sensoren 116 Phänomene wie etwa Wetterbedingungen (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, den Standort einer Straße (z. B. unter Verwendung von Straßenrändern, Spurmarkierungen usw.) oder Standorte von Zielobjekten wie etwa Nachbarfahrzeugen 110 erfassen. Die Sensoren 116 können ferner verwendet werden, um Daten zu erheben, die dynamische Daten des Fahrzeugs 110 beinhalten, die sich auf Vorgänge des Fahrzeugs 110 beziehen, wie etwa Geschwindigkeit, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, der auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewandte Leistungspegel, Konnektivität zwischen Komponenten und eine genaue und rechtzeitige Leistung von Komponenten des Fahrzeugs 110.
2 ist eine Darstellung eines Fahrzeugs 110, das die Sensoren 116 beinhaltet. Einige Sensoren 116 können in einer Sensorgondel 202 an dem Fahrzeug montiert sein, die in diesem Beispiel an einem Dachabschnitt des Fahrzeugs 110 angebracht ist. Die Sensorgondel 202 ist eine physische Struktur, die an einem Abschnitt eines Fahrzeugs 110, wie etwa einem Dach, montiert, d. h. fest angebracht ist, und an der die Sensoren 204,206 montiert sein können und/oder in der die Sensoren 204,206 beinhaltet sein können. Die Gondel 202 kann einen oder mehrere Lidarsensoren 206 und Videosensoren 204a, 204b, 204c, 204e (gemeinsam Videosensoren 204) beinhalten. Das Montieren der Sensoren 116 in einer Sensorgondel 202 kann ermöglichen, dass die Sensoren 116 vor dem Montieren an dem Fahrzeug 110 anfänglich ausgerichtet werden. Die anfängliche Ausrichtung der Sensoren 116 beinhaltet das Bestimmen einer sechsachsigen Position und Ausrichtung für jeden der Sensoren. Die in einer Sensorgondel 202 beinhalteten Sensoren 116 können anfänglich hinsichtlich der Sensorgondel 202 und damit zueinander ausgerichtet werden, und dann, wenn die Sensorgondel 202 an dem Fahrzeug 110 angebracht ist, können die in der Sensorgondel 202 beinhalteten Sensoren 116 anfänglich an dem Fahrzeug 110 ausgerichtet werden. Das Fahrzeug 110 kann zusätzlich zu den Sensoren 116, die in einer Sensorgondel 202 beinhaltet sind, Sensoren 116 beinhalten. Das Fahrzeug 110 kann Radarsensoren 208a, 208b, 208c beinhalten, die gemeinsam die Radarsensoren 208 sind, die an Positionen an der Karosserie des Fahrzeugs 110 montiert sind. Diese Sensoren 116 können anfänglich nach der Montage an einem Fahrzeug 110 ausgerichtet werden. Die anfängliche Ausrichtung kann das Erfassen von Sensordaten von jedem Sensor beinhalten, der zum Beispiel einen Bezugsmarker beinhaltet. Sobald ein Fahrzeug 110 den Betrieb beginnt, können mechanische Bewegungen und Schwingungen die Sensoren 116 hinsichtlich des Fahrzeugs 110 und zueinander trotz der anfänglichen Ausrichtung falsch ausrichten. In dieser Schrift offenbarte Techniken können die Sensorausrichtung durch das Bestimmen verbessern, wann Sensoren 116 falsch ausgerichtet sind, und die Sensoren 116 neu ausrichten, während ein Fahrzeug 110 betrieben wird, ohne dass externe Ausrichtungsziele oder -prozesse erforderlich sind, die den Betrieb des Fahrzeugs 110 unterbrechen würden.
Der Lidarsensor 206 kann als ein frequenzmodulierter Dauerstrich-(FMCW-)Lidar betrieben werden. FMCW-Lidars geben optische Strahlung ab, typischerweise bei Infrarotwellenlängen als Dauerstrich und nicht als Impulse, wie sie einige Lidarsensoren abgeben. Impulsabgebende Lidarsensoren können Impulse optischer Energie mit kurzer Dauer (< eine Mikrosekunde) abgeben und die Zeit messen, die es braucht, bis der Impuls von Oberflächen in der Umgebung reflektiert wird und sich zurück zu dem zu erfassenden Sensor bewegt. FMCW-Lidars geben einen Dauerstrich optischer Energie ab, die mit einer Frequenz unterhalb der Frequenz der Lichtenergie selbst moduliert wird, zum Beispiel ungefähr ein Gigahertz. Ein FMCW-Lidar kann eine Phasenverschiebung der reflektierten und zurückgesendeten optischen Energie messen und dadurch eine Entfernung von dem Sensor zu der Fläche bestimmen, welche die optische Energie reflektiert hat. Ein FMCW-Lidar kann außerdem eine Frequenzverschiebung in dem zurückgesendeten Signal messen, um eine Doppler-Verschiebung zu bestimmen und dadurch die relative Bewegung des Sensors hinsichtlich der Oberfläche in der Umgebung zu bestimmen. Die Fähigkeit, Doppler-Verschiebungen zu messen, ermöglicht, dass ein FMCW-Lidar verwendet wird, um den Unterschied zwischen Hintergrunddatenpunkten zu bestimmen, zum Beispiel Lidardatenpunkten, die einer Fahrbahn um ein sich bewegendes Fahrzeug entsprechen, und Lidardatenpunkten, die durch sich bewegende Objekte um ein sich bewegendes Fahrzeug reflektiert werden, z. B. andere Fahrzeuge im Verkehr.
3 ist eine Darstellung von Posen-Koordinaten 300 mit sechs Freiheitsgraden (degrees of freedom - DoF). Jeder Sensor 116 kann mechanisch und elektronisch hinsichtlich x-, y-und z- Positionskoordinaten ausgerichtet sein, die hinsichtlich orthogonaler x-, y-und z-Achsen und Roll-, Nick-und Gierdrehkoordinaten bestimmt sind, die jeweils hinsichtlich einer x-, y-bzw. z- Achse bestimmt sind. Die Ausrichtung des Sensors 116 bestimmt eine Position und Ausrichtung für jeden Datenpunkt, der von einem Sensor hinsichtlich desselben realen Koordinatensystems erzeugt wird. Das reale Koordinatensystem kann ein globales Koordinatensystem, wie etwa Breitengrad, Längengrad und Höhe, oder ein lokales Koordinatensystem sein, das hinsichtlich orthogonaler x-, y-und z- Achsen bestimmt ist, die hinsichtlich eines Fahrzeugs 110 definiert sind. Zum Beispiel können die orthogonalen x-, y-und z- Achsen hinsichtlich eines ausgewählten Punkts an einem Fahrzeug 110 definiert sein, zum Beispiel des Schwerpunkts des Fahrzeugs 110, und dort, wo die x- Achse durch den Schwerpunkt parallel zur Fahrtrichtung des Fahrzeugs 110 mit geradlinig ausgerichteten lenkbaren Rädern verläuft, ist die y- Achse als senkrecht zur Fahrtrichtung definiert, wodurch die x- und y- Achse eine im Wesentlichen waagerechte Ebene definieren, wenn sich das Fahrzeug 110 auf einer im Wesentlichen flachen Oberfläche befindet, und die z- Achse senkrecht zu einer Fahrbahnoberfläche, die das Fahrzeug 110 trägt, d. h. gerade nach oben, das heißt im Wesentlichen senkrecht, wenn sich das Fahrzeug 110 auf einer im Wesentlichen flachen Oberfläche befindet.
4 ist eine Darstellung einer Trägheitsmesseinheit (IMU) 400. Eine Pose mit sechs DoF für ein Fahrzeug 110 kann durch eine IMU bestimmt werden, die an einem Fahrzeug 110 angebracht ist. Eine IMU kann eine Pose mit sechs DoF für ein Fahrzeug unter Verwendung von drei Beschleunigungsmessern und drei Gyroskopen bestimmen, um die Bewegung in sechs DoF-Koordinaten 300 zu messen. Das Integrieren von Beschleunigungsmessungen hinsichtlich sechs DoF-Koordinaten 300 im Zeitverlauf kann Verschiebungen in x,y und z und Drehungen in Rollen, Nickenund Gieren ergeben. Eine IMU 400 kann an einem Befestigungspunkt 402, 404, 406 an einem Fahrzeug 110 angebracht sein, der ein Bolzen sein kann, welche die IMU 400 an einer Fläche in dem Fahrzeug 110 befestigen. Die IMU 400 kann Ausrichtungsstifte 408, 410 beinhalten, die verwendet werden können, um die IMU 400 präzise an dem Fahrzeug 110 auszurichten. Der Ausrichtungsstift 410 ist der Punkt auf der IMU 400, der dem Schlagpunkt am nächsten liegt, der für die IMU 400 dem Ursprung für die drei Beschleunigungsmesserachsen entsprechen kann. Verschiebungs- und Drehungsdaten in sechs DoF können von der IMU 400 an eine Rechenvorrichtung 115, die in einem Fahrzeug 110 beinhaltet ist, über ein Kabel übertragen werden, das an dem Stecker 412 befestigt ist. Da die Ausrichtung der IMU 400 hinsichtlich des Fahrzeugs 110 genau bestimmt werden kann, können Sensoren 116, die Lidarsensoren 206, Videosensoren 204 und Radarsensoren 208 beinhalten, an der IMU 400 und somit an dem Fahrzeug 110 und dadurch aneinander ausgerichtet werden.
5 ist eine Darstellung eines externen Ausrichtungsziels 500. Ein externes Ausrichtungsziel 500 kann zum Beispiel eine Anzahl von ArUco-Bezugsmarkierungen 502 beinhalten. ArUco-Bezugsmarkierungen 502 sind zweidimensionale (2D) Muster aus einer Library von Bezugsmarkierungen, die auf www.uco.es/grupos/ava/node/26, „Aplicaciones de la Vision Artificial“, Universität von Cordoba, Spanien, 15. Mai 2019, beschrieben ist. ArUco-Bezugsmarkierungen können durch Software für maschinelles Sehen verarbeitet werden, die eine 3D-Pose mit sechs DoF in Pixelkoordinaten für jede ArUco-Bezugsmarkierung 502, die in einem externen Ausrichtungsziel 500 beinhaltet ist, durch das Verarbeiten von Daten des Sensors 116 bestimmen kann, die das externe Ausrichtungsziel 500 beinhalten. Durch das Bestimmen einer Pose mit sechs DoF für jede ArUco-Bezugsmarkierung 502, die in Sensordaten beinhaltet sind, die ein externes Ausrichtungsziel 500 beinhalten, kann die Software für maschinelles Sehen trotz fehlender Daten, die zum Beispiel durch das teilweise Verdecken des externen Ausrichtungsziels 500 hervorgerufen werden können, eine genaue Pose mit sechs DoF bestimmen. Der Lidarsensor 206 kann eine Position und Ausrichtung für ein externes Ausrichtungsziel 500 durch das Bestimmen der Positionen der Außenkanten des externen Ausrichtungsziels 500 und der Ausrichtung der vorderen Fläche bestimmen. Die Größe und die Beziehungen zwischen den vier Außenkanten des externen Ausrichtungsziels zusammen mit der Ausrichtung der vorderen Fläche können verwendet werden, um die Pose mit sechs DoF des externen Ausrichtungsziels 500 hinsichtlich eines Lidarsensors 206 zu bestimmen.
Ein externes Ausrichtungsziel 500 kann verwendet werden, um eine anfängliche Ausrichtung von Sensoren 116, die in einem Fahrzeug 110 beinhaltet sind, durch das Platzieren des externen Ausrichtungsziels 500 im Sichtfeld der Fahrzeugsensoren 116 und das Messen einer Position mit sechs DoF und einer Ausrichtung des externen Ausrichtungsziels 500 hinsichtlich jeden Sensors 116 durchzuführen. Durch das Vergleichen der Pose mit sechs DoF der Sensoren 116, die auf Grundlage der Verarbeitung des externen Ausrichtungsziels 500 bestimmt werden, und das Vergleichen der Pose mit sechs DoF jedes Sensors 116 mit der gemessenen Pose mit sechs DoF des Fahrzeugs 110 hinsichtlich des externen Ausrichtungsziels 500, können die Pose mit sechs DoF jedes Sensors 116 hinsichtlich des Fahrzeugs 110 und somit zueinander bestimmt werden. In der Praxis kann, da eine Pose mit sechs DoF des Fahrzeugs 110 auf Grundlage von durch eine IMU 400 erfassten Daten bestimmt wird, eine Pose mit sechs DoF für den Lidarsensor 206, die Videosensoren 204 und die Radarsensoren 208 hinsichtlich der IMU 400 bestimmt werden.
Der korrekte Betrieb der Software der Rechenvorrichtung 115, die Daten für den Betrieb eines Fahrzeugs 110 bereitstellt, kann von korrekten Ausrichtungsdaten für Sensoren 116 abhängen, die Daten bezüglich des Standorts von Objekten um ein Fahrzeug 110 erfassen. Das Bestimmen einer korrekten Pose, die den Standort und die Ausrichtung für Objekte beinhaltet, die Fahrzeuge und Fußgänger um ein Fahrzeug 110 beinhalten, kann vom Bestimmen ähnlicher Daten einer Pose mit sechs DoF von mehr als einem Sensor abhängen. Probleme können auftreten, da die Sensoren 116 während des Betriebs eines Fahrzeugs 110 fehlausgerichtet werden können. Tabelle 1 ist eine Tabelle mit beispielhaften Anforderungen für die Ausrichtung des Sensors 116, die durch die beispielhafte Software zur Bestimmung der Pose mit sechs DoF eines Objekt erforderlich ist. Die Tabelle 1 beinhaltet die Ausrichtungsanforderungen der IMU 400 an den Sensor 116 für die Sensoren 116,die den Lidarsensor 206, die Videosensoren 204 und die Radarsensoren 208 beinhalten in Millimetern für x, y und z und Milliradiant für Rollen, Nickenund Gieren. Tabelle 1. Anforderungen der Ausrichtung der IMU an dem Sensor

LIDAR VIDEO RADAR

IMU-Position 1 mm 1 mm 1 mm

IMU -Ausrichtung 1 mrad 0,597 mrad 3 mrad
In dieser Schrift beschriebene Methoden können einen Fahrzeugsensor 116 an einem Sensor der IMU 400 in einem Fahrzeug 110 ausrichten, während das Fahrzeug auf einer Fahrbahn innerhalb der in Tabelle 1 aufgelisteten Spezifikationen betrieben wird. Das Aufrechterhalten der Ausrichtung für einen FMCW-Lidarsensor 206 während des Fahrzeugbetriebs kann ein Problem sein, da die FMCW-Lidarsensoren 206 elektromechanische Komponenten beinhalten können, die eines oder mehrere von Galvanometern, rotierenden Spiegeln und rotierenden Prismen beinhalten, die einen optischen Energiestrahl abtasten, um Datenpunkte über Abschnitte einer Umgebung um ein Fahrzeug 110 herum zu beproben. Diese elektromechanischen Komponenten können anfällig für eine Fehlausrichtung sein, die durch Erschütterungen und Schwingungen verursacht wird, die von dem Fahrzeug 110 über die Halterung übertragen werden, die den FMCW-Lidarsensor 206 an dem Fahrzeug 110 anbringt. In dieser Schrift beschriebene Methoden können die Bestimmung der Pose mit sechs DoF für einen FMCW-Lidarsensor 206 durch das Bestimmen einer Fehlausrichtung des FMCW-Lidarsensors 206 hinsichtlich einer IMU 400 verbessern, ohne dass ein externes Ausrichtungsziel 500 erforderlich ist, das Fahrzeug 110 angehalten wird oder ein freies Sichtfeld erforderlich ist, das keine Objekte aufweist, die Fahrzeuge oder Fußgänger im Sichtfeld des FMCW-Lidarsensors 206 beinhaltet. Dies ermöglicht, dass der FMCW-Lidarsensor 206 häufiger und effizienter neu ausgerichtet wird, wodurch die Genauigkeit und Qualität von Punktwolkendaten verbessert wird, die durch den FMCW-Lidarsensor 206 erfasst werden, und dadurch die Fähigkeit einer Rechenvorrichtung 115 verbessert wird, ein Fahrzeug 110 zu betreiben.
In dieser Schrift erörterte Methoden messen die relative Radialgeschwindigkeit für eine Vielzahl von Punktwolkendatenpunkten, die von einem FMCW-Lidarsensor 206 erfasst werden. Die Punktwolkendatenpunkte werden gefiltert, um dynamische Datenpunkte zu entfernen, d. h. Datenpunkte, die durch Reflexionen von sich bewegenden Objekten im Gegensatz zu statischen Hintergrunddatenpunkten erzeugt werden. Die statischen und dynamischen Datenpunkte können erfasst werden, während sich der FMCW-Lidarsensor 206 hinsichtlich der statischen oder Hintergrunddatenpunkte bewegt. Die Datenpunkte, die nach dem Herausfiltern von dynamischen (sich bewegenden Objekt-) Datenpunkten übrig bleiben, werden unter Verwendung eines Glättungsfilters geglättet, wie etwa eines Savitzky-Golay-Filters. Die gefilterten Datenpunkte werden dann verarbeitet, um Beschleunigungen von sechs DoF zu berechnen. Die Beschleunigungen von sechs DoF werden verarbeitet, um Verschiebungen und Drehungen von sechs DoF zu berechnen. Die Verschiebungen und Drehungen von sechs DoF werden mit von der IMU 400 aufgezeichneten Verschiebungen und Drehungen von sechs DoF verglichen. Das Verwenden von Unterschieden zwischen Verschiebungen und Drehungen des FMCW-Lidarsensors 206 und Verschiebungen und Drehungen der IMU 400, um die Ausrichtung des FMCW-Lidarsensors 206 zu korrigieren.
FMCW-Lidarsensoren 206 können die relative Radialgeschwindigkeit direkt auf Grundlage von Doppler-Daten messen. Eine weitere Möglichkeit, die relative Radialgeschwindigkeit mit einem FMCW-Lidarsensor 206 zu messen, besteht darin, denselben Datenpunkt in zwei aufeinanderfolgenden Abtastungen des FMCW-Lidarsensors 206 zu messen und den Unterschied bezüglich des Standortes im Zeitverlauf zwischen den aufeinanderfolgenden Abtastungen zu berechnen, um die Geschwindigkeit des Datenpunkts zu berechnen. In beiden Beispielen kann sich der FMCW-Lidarsensor 206 hinsichtlich der statischen oder Hintergrunddatenpunkte bewegen. Die Datenpunktbeschleunigungen des FMCW-Lidarsensors 206 können durch das Teilen der Geschwindigkeiten durch die Zeit bestimmt werden, über welche die Geschwindigkeitsdaten erfasst wurden, wobei die Beschleunigung eines Datenpunkts a_lidar des FMCW-Lidarsensors 206 eine Funktion der Zeitbasis t , der Entfernung bis zum Datenpunkt α und eines Winkels θ des FMCW-Lidarsensors 206 ist und auf Grundlage der Geschwindigkeit V gemäß der folgenden Gleichung bestimmt wird: $a_{l i d a r} (t, α, θ) = \frac{Δ V}{Δ t}$
Die Beschleunigung von sechs DoF des FMCW-Lidarsensors 206 kann gefiltert werden, um Datenpunkte auf Grundlage sich bewegender Objekte durch das Filtern der Punktwolkendaten des FMCW-Lidarsensors 206 zu entfernen, um statische von dynamischen Datenpunkten zu trennen. Statische Datenpunkte sind Datenpunkte, die Datenpunkten aus einem sich nichtbewegenden Hintergrund um ein Fahrzeug entsprechen, zum Beispiel Datenpunkte, die einer Fahrbahn entsprechen. Daher behalten statische Datenpunkte im Zeitverlauf im Wesentlichen den gleichen Standort. Dynamische Datenpunkte, d. h. Datenpunkte, die sich hinsichtlich des Hintergrunds bewegen, weisen eine Geschwindigkeit auf, d. h. sie bewegen sich im Zeitverlauf, d. h. sie befinden sich im Gegensatz zu statischen oder Hintergrunddatenpunkten im Zeitverlauf an im Wesentlichen unterschiedlichen Stellen. Zum Beispiel würde ein Fahrzeug, das sich vor einem Fahrzeug 110 im Verkehr bewegt, dynamische Datenpunkte erzeugen, während die Fahrbahn vor dem Fahrzeug 110 statische Datenpunkte erzeugen würde.
Punktwolkendaten des FMCW-Lidarsensors 206 können gefiltert werden, um auf Grundlage des Filterns der Punktwolkendaten mit einem tiefen neuronalen Netzwerk zu bestimmen, welche Datenpunkte statische Datenpunkte sind und welche Datenpunkte dynamische Datenpunkte sind. Ein tiefes neuronales Netzwerk kann trainiert werden, um Objekte, die Fahrzeuge und Fußgänger beinhalten, in Punktwolkendaten des FMCW-Lidarsensors 206 zu identifizieren. Das tiefe neuronale Netzwerk kann trainiert werden, um die Punktwolkendaten auf Grundlage von Formen und Standorten von Objekten zu segmentieren, die Fahrzeugen und Fußgängern in dem Sichtfeld des FMCW-Lidarsensors 206 entsprechen. Das Segmentieren eines Bildes ist eine Bildverarbeitungsmethode, die durch ein tiefes neuronales Netzwerk durchgeführt werden kann, das zusammenhängende Bereiche von Datenpunkten auf Grundlage des Gruppierens von Datenpunkten gemäß ihrer Entfernung oder Reichweite von einem FMCW-Lidarsensor 206 identifiziert, die dreidimensionalen Objekten entsprechen. Zusätzlich zum Segmentieren der Punktwolkendaten des FMCW-Lidarsensors 206 in Hintergrunddatenpunkte, die statischen Datenpunkten entsprechen, und sich bewegende Objekte, die dynamischen Datenpunkten entsprechen, kann das tiefe neuronale Netzwerk eine räumliche Filterung von Datenpunkten in der Nähe von Objekten durchführen, die dynamischen Datenpunkten entsprechen, die in den Punktwolkendaten erfasst wurden. Die Punktwolkendaten können räumlich durch Erosion gefiltert werden, was eine Filtermethode ist, die Datenpunkte herausfiltert, die an erfasste Objekte grenzen, um sicherzustellen, dass die verbleibenden, ungefilterten Datenpunkte statische Datenpunkte sind, die über die vorstehende Gleichung (1) in Beschleunigungsdaten umgewandelt werden können.
Vor der Umwandlung in Beschleunigung können die Geschwindigkeitsdaten mit einem Savitzky-Golay-Filter gefiltert werden, um Grundrauschen zu entfernen. Ein Savitzky-Golay-Filter verwendet einen Faltungskern auf Grundlage einer Polynomfunktion, um Grundrauschen zu filtern, ohne das Signal zu verzerren, wodurch die Daten geglättet werden, ohne die zugrundeliegende Funktion zu ändern, die das Signal erzeugt. Die Geschwindigkeitsdaten werden dann unter Verwendung der vorstehenden Gleichung (1) in Beschleunigungsdaten a_lidar (t, α, θ) umgewandelt. Die Beschleunigungsdaten werden dann unter Verwendung einer Transformationsfunktion f, die auf die Beschleunigungen angewendet wird, in Daten der Pose mit sechs DoF für den FMCW-Lidarsensor 206 umgewandelt, um Verschiebungen und Drehungen von sechs DoF durch die folgende Gleichung zu bestimmen: $f (a_{l i d a r} (t, α, θ)) = {[\begin{array}{l} t_{x} & t_{y} & t_{z} \\ r_{x} & r_{y} & r_{z} \end{array}]}_{l i d a r}$
Verschiebungen t_x, t_y, t_z sind Verschiebungen entlang der x-, y-und z- Achse und r_x, r_y, r_z sind die Drehungen um die x-, y-und z- Achse, die Rollen, Nickenund Gieren entsprechen. Die Transformationsfunktion f, die Beschleunigungen in Verschiebungen und Drehungen von sechs DoF umwandelt, kann durch das Trainieren eines tiefen neuronalen Netzes unter Verwendung von Ground Truth berechnet werden, die durch das Ausführen einer Finite-Elemente-Analyse-(FEA-)Simulation eines FMCW-Lidarsensors 206 erzeugt wird, um Verschiebungen und Drehungen des FMCW-Lidarsensor 206 unter variierenden Lastimpuls- oder Schwingungsmodi zu simulieren. Die Ergebnisse der Finite-Elemente-Analyse können durch das physische Anwenden von Lasten und Schwingungen auf einen FMCW-Lidarsensor 206 und das empirische Messen von Verschiebungen und Drehungen von sechs DoF validiert werden. Verschiebungen und Drehungen von sechs DoF einer IMU 400 auf Grundlage von Beschleunigungen, die von der IMU 400 ausgegeben werden, können durch ein ähnlich ausgebildetes zweites tiefes neuronales Netzwerk bestimmt werden. Die Ground Truth zum Trainieren des zweiten tiefen neuronalen Netzes könnte aus einer FEA-Simulation oder aus empirischen Daten von einer IMU 400 stammen und könnte durch das Transformieren von Beschleunigungen der IMU 400 a_IMU (t, α, θ) gemäß der folgenden Gleichung berechnet werden: $f (a_{I M U} (t, α, θ)) = {[\begin{array}{l} t_{x} & t_{y} & t_{z} \\ r_{x} & r_{y} & r_{z} \end{array}]}_{I M U}$
wobei t, α, θ die Zeitbasis, die Beschleunigung bzw. der Winkel der IMU 400 sind und f die durch das zweite tiefe neuronale Netzwerk berechnete Übertragungsfunktion ist. Die Bezeichnugnen für Verschiebungen und Drehungen sind die gleichen wie vorstehend hinsichtlich Gleichung (2) erörtert, die auf die IMU 400 angewendet wird.
Auf diese Weise können Beschleunigungen, die sowohl durch den FMCW-Lidarsensor 206 als auch die IMU 400 gemessen werden, in Verschiebungen und Drehungen von sechs DoF umgewandelt werden, was ermöglicht, dass ein Unterschied zwischen den jeweiligen Verschiebungen und Drehungen durch die folgende Gleichung berechnet wird: ${[\begin{array}{l} t_{x} & t_{y} & t_{z} \\ r_{x} & r_{y} & r_{z} \end{array}]}_{l i d a r^{*}} = {[\begin{array}{l} t_{x} & t_{y} & t_{z} \\ r_{x} & r_{y} & r_{z} \end{array}]}_{l i d a r} - {[\begin{array}{l} t_{x} & t_{y} & t_{z} \\ r_{x} & r_{y} & r_{z} \end{array}]}_{I M U}$
Die Kennzeichnung Lidar * bezieht sich auf die bestimmte Fehlausrichtung des FMCW-Lidarsensors 206. Der Grund dafür, dass korrigierte Verschiebungen und Drehungen verwendet werden, anstatt nur Verschiebungen und Drehungen an der IMU 400 zu messen und diese auf den FMCW-Lidarsensor 206 anzuwenden, liegt darin, dass obwohl angenommen werden kann, dass die gleichen G-Kräfte oder Beschleunigungen und Schwingungen auf den FMCW-Lidarsensor 206 und die IMU 400 durch Kräfte angewendet werden, die auf das Fahrzeug 110 einwirken, während es auf der Fahrbahn betrieben wird, die Auswirkungen von Kräften auf den Sensor 206 und die IMU 400 unterschiedlich sein werden, da der FMCW-Lidarsensor 206 und die IMU 400 an unterschiedlichen Positionen in dem Fahrzeug 110 montiert sind und infolgedessen variierende Steifigkeit und Dämpfung der Strukturen aufweisen, auf denen sie montiert sind, und daher unterschiedlich auf dieselbe Erschütterung und die gleichen Schwingungen reagieren werden. Die Übertragungsfunktionen können Unterschiede in der variierenden Steifigkeit von Fahrzeugstrukturen berücksichtigen, an denen der FMCW-Lidarsensor und die IMU montiert sind. Die Übertragungsfunktionen in den Gleichungen (2) und (3) gleichen die Unterschiede aus, welche die Verschiebungen und Drehungen der jeweiligen Sensoren beeinflussen. Das Anwenden der durch die vorstehenden Methoden berechneten Verschiebungen und Drehungen der Lidar*-Fehlausrichtungen auf Punktwolkendaten, die durch den FMCW-Lidarsensor 206 erfasst werden, korrigiert die dynamische Fehlausrichtung, ohne dass ein externes Ausrichtungsziel 500 erforderlich ist oder der Betrieb eines Fahrzeugs 110 anderweitig unterbrochen wird, und dadurch wird die Ausrichtung eines FMCW-Lidarsensors 206 durch das Verbessern der Berechnung der Fehlausrichtung gemäß den vorstehenden Gleichungen (1)-(4) verbessert werden.
6 ist ein Ablaufdiagramm eines Prozesses 600, der bezüglich den 1-4 beschrieben ist, für einen Prozess 600 zum Betreiben eines Fahrzeugs auf Grundlage von Daten eines ausgerichteten FMCW-Lidarsensors. Der Prozess 600 kann durch einen Prozessor der Rechenvorrichtung umgesetzt werden, der zum Beispiel Informationen von Sensoren als Eingabe heranzieht und Befehle ausführt und Objektinformationen ausgibt. Der Prozess 600 beinhaltet mehrere Blöcke, die in der veranschaulichten Reihenfolge ausgeführt werden können. Der Prozess 600 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann die Blöcke in anderer Reihenfolge ausgeführt beinhalten.
Der Prozess 600 beginnt mit einem Block 602, bei dem eine Rechenvorrichtung 115 in einem Fahrzeug Punktwolkengeschwindigkeitsdaten des FMCW-Lidarsensors 206 erfasst, wie vorstehend bezüglich 5 erörtert.
Bei Block 604 werden die Punktwolkendaten des FMCW-Lidarsensors 206 unter Verwendung eines tiefen neuronalen Netzwerks, wie vorstehend bezüglich 5 erörtert, in statische und dynamische Daten gefiltert.
Bei Block 606 werden die Punktwolkengeschwindigkeitsdaten des FMCW-Lidarsensors 206 in Beschleunigungen umgewandelt, wie vorstehend bezüglich Gleichung (1) erörtert.
Bei Block 608 werden die Beschleunigungsdaten des FMCW-Lidarsensors 206 gemäß der vorstehenden Gleichung (2) in Verschiebungs- und Drehungsdaten von sechs DoF umgewandelt.
Bei Block 610 werden die Beschleunigungsdaten des der IMU 400 gemäß der vorstehenden Gleichung (3) in Verschiebungs- und Drehungsdaten von sechs DoF umgewandelt.
Bei Block 612 werden die Verschiebungs- und Drehungsdaten von sechs DoF der IMU 400 von Verschiebungs- und Drehungsdaten von sechs DoF des FMCW-Lidarsensors 206 gemäß der vorstehenden Gleichung (4) abgezogen, um korrigierte Verschiebungs- und Drehungsdaten des FMCW-Lidarsensors 206 zu bilden, die zum Korrigieren der Fehlausrichtung des FMCW-Lidarsensors 206 verwendet werden sollen.
Bei Block 614 verwendet eine Rechenvorrichtung 115 in einem Fahrzeug 110 die korrigierten FMCW-Lidarsensordaten 206, um das Fahrzeug 110 zu betreiben. Zum Beispiel kann die Rechenvorrichtung 115 ein Objekt, das ein Fahrzeug oder einen Fußgänger beinhaltet, in korrigierten FMCW-Lidarsensordaten 206 identifizieren und orten. Die Rechenvorrichtung 115 kann entsprechende Objekte in Video- und Radardaten bestimmen und auf Grundlage der Übereinstimmung einen Fahrzeugweg bestimmen, auf dem das Fahrzeug 110 betrieben werden soll, wobei der Fahrzeugweg eine Polynomfunktion ist. Die Rechenvorrichtung kann Befehle an die Steuerungen 112, 113, 114 ausgeben, um den Antriebsstrang, die Lenkung und die Bremsung des Fahrzeugs 110 zu steuern, um das Fahrzeug 110 entlang des Fahrzeugwegs zu betreiben, der durch die bestimmte Polynomfunktion gebildet wurde. Im Anschluss an Block 614 endet der Prozess 600.
Rechenvorrichtungen, wie etwa die in dieser Schrift erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausgeführt werden können. Die vorstehend erörterten Prozessblöcke können zum Beispiel als computerausführbare Befehle ausgeführt sein.
Computerausführbare Befehle können von Computerprogrammen zusammengestellt oder interpretiert werden, die unter Verwendung einer Reihe von Programmiersprachen und/oder -techniken erzeugt wurden, die ohne Einschränkung und entweder allein oder in Kombination Folgendes beinhalten: Java™, C, C++, Python, Julia, SCALA, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Befehle aus, wodurch ein oder mehrere Prozesse durchgeführt werden, die einen oder mehrere der in dieser Schrift beschriebenen Prozesse beinhalten. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Reihe von computerlesbaren Medien übermittelt werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Ein computerlesbares Medium beinhaltet ein beliebige Medium, das am Bereitstellen von Daten (z. B. Befehlen) beteiligt ist, die durch einen Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, die nichtflüchtige Medien, flüchtige Medien usw. beinhalten, ohne darauf beschränkt zu sein. Nichtflüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten und andere Dauerspeicher. Flüchtige Medien beinhalten dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der typischerweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift keine ausdrückliche gegenteilige Angabe erfolgt. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält.
Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte eine Bezugnahme auf ein „beispielhaftes Gerät“ einfach als Bezugnahme auf ein Beispiel für ein Gerät gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Bestimmung, eine Berechnung usw. von einer bzw. einem genau beschriebenen Geometrie, Entfernung, Messwert, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungszeit, Übertragungszeit usw. abweichen kann.
In den Zeichnungen geben die gleichen Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte oder Blöcke derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt werden die vorliegenden Beschreibungen von Prozessen zur Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung ist ein Computer bereitgestellt, der einen Prozessor und einen Speicher aufweist, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor ausgeführt werden können, um: Geschwindigkeitslidarpunktwolkendaten zu erhalten, die mit einem frequenzmodulierten Dauerstrich-(FMCW-)Lidarsensor erfasst wurden, wobei die Geschwindigkeitslidarpunktwolkendaten eine Geschwindigkeit beinhalten, mit der sich ein Datenpunkt hinsichtlich des FMCW-Lidarsensors bewegt; die Geschwindigkeitslidarpunktwolkendaten zu filtern, um statische Geschwindigkeitsdatenpunkte auszuwählen, wobei die statischen Geschwindigkeitsdatenpunkte jeweils einem Punkt auf einer Fahrbahn um ein Fahrzeug entsprechen; FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden auf Grundlage der statischen Geschwindigkeitsdatenpunkte zu bestimmen; FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden auf Grundlage der FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden zu bestimmen; Fahrzeugdrehungen und -verschiebungen in sechs Freiheitsgraden auf Grundlage von Daten einer Trägheitsmesseinheit (IMU) zu bestimmen; eine Fehlausrichtung des FMCW-Lidarsensors auf Grundlage des Vergleichens der Drehungen und Verschiebungen des FMCW-Lidarsensors mit den Fahrzeugdrehungen und -verschiebungen zu bestimmen; den FMCW-Lidarsensor auf Grundlage der Fehlausrichtung des FMCW-Lidarsensors auszurichten; und das Fahrzeug auf Grundlage des ausgerichteten FMCW-Lidarsensors zu betreiben.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um Geschwindigkeitslidarpunktwolkendaten auf Grundlage einer Doppler-Verschiebung zu erfassen.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um die Geschwindigkeitslidarpunktwolkendaten auf Grundlage des Erfassens von zwei Datenpunkten von einem Standort in einer Umgebung um den FMCW-Lidarsensor zu unterschiedlichen Zeiten zu erfassen, um die Beschleunigung zu messen.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um die Geschwindigkeitslidarpunktwolkendaten zu filtern, um die statischen Geschwindigkeitsdatenpunkte auf Grundlage des Bereitstellens der Geschwindigkeitslidarpunktwolkendaten an ein erstes neuronales Netzwerk auszuwählen.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um die statischen Geschwindigkeitsdatenpunkte durch das Filtern dynamischer Datenpunkte unter Verwendung eines zweiten neuronalen Netzwerkes auszuwählen, wobei die dynamischen Datenpunkte Datenpunkte sind, die von Objekten erfasst wurden, die sich hinsichtlich eines Hintergrunds bewegen.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um dynamische Datenpunkte durch das Durchführen einer räumlichen Filterung von Datenpunkten auf oder in der Nähe eines sich bewegenden Objekts mit dem zweiten neuronalen Netzwerk herauszufiltern.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um die statischen Geschwindigkeitsdatenpunkte auf Grundlage des Verarbeitens der statischen Geschwindigkeitsdatenpunkte mit einem Savitzky-Golay-Filter zu filtern, um die statischen Geschwindigkeitsdaten zu glätten, wobei der Savitzky-Golay-Filter die Geschwindigkeitsdatenpunkte mit einer Polynomfunktion faltet.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um die FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden und die Fahrzeugdrehungen und -verschiebungen auf Grundlage von Übertragungsfunktionen zu bestimmen, die auf Grundlage von Finite-Elemente-Analysesimulationen des FMCW-Lidarsensors und simulierten Fahrzeugdrehungen und -verschiebungen unter variierenden Lasteingaben mit variierenden Schwingungsmodi bestimmt werden.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um die Übertragungsfunktionen mit einem zweiten neuronalen Netzwerk umzusetzen.
Gemäß einer Ausführungsform berücksichtigen die Übertragungsfunktionen Unterschiede in der variierenden Steifigkeit von Fahrzeugstrukturen, an denen der FMCW-Lidarsensor und die IMU montiert sind.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um das Fahrzeug durch das Bestimmen eines Fahrzeugwegs auf Grundlage von Punktwolkendaten zu betrieben, die von dem ausgerichteten FMCW-Lidarsensor erfasst werden.
Gemäß einer Ausführungsform beinhalten die Anweisungen weitere Anweisungen, um das Fahrzeug durch das Steuern des Fahrzeugantriebsstrangs, der Fahrzeuglenkung und der Fahrzeugbremsen zu betreiben, um zu veranlassen, dass das Fahrzeug entlang des Fahrzeugwegs fährt.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: das Erfassen von Geschwindigkeitslidarpunktwolkendaten, die mit einem frequenzmodulierten Dauerstrich-(FMCW-)Lidarsensor erfasst wurden, wobei die Geschwindigkeitslidarpunktwolkendaten eine Geschwindigkeit beinhalten, mit der sich ein Datenpunkt hinsichtlich des FMCW-Lidarsensors bewegt; das Filtern der Geschwindigkeitslidarpunktwolkendaten, um statische Geschwindigkeitsdatenpunkte auszuwählen, wobei die statischen Geschwindigkeitsdatenpunkte jeweils einem Punkt auf einer Fahrbahn um ein Fahrzeug entsprechen; das Bestimmen von FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden auf Grundlage der statischen Geschwindigkeitsdatenpunkte; das Bestimmen von FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden auf Grundlage der FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden; das Bestimmen von Fahrzeugdrehungen und -verschiebungen in sechs Freiheitsgraden auf Grundlage von Daten einer Trägheitsmesseinheit (IMU); das Bestimmen einer Fehlausrichtung des FMCW-Lidarsensors auf Grundlage des Vergleichens der Drehungen und Verschiebungen des FMCW-Lidarsensors mit den Fahrzeugdrehungen und -verschiebungen; das Ausrichten des FMCW-Lidarsensors auf Grundlage der Fehlausrichtung des FMCW-Lidarsensors; und das Betreiben des Fahrzeugs auf Grundlage des ausgerichteten FMCW-Lidarsensors.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Erfassen von Geschwindigkeitslidarpunktwolkendaten auf Grundlage einer Doppler-Verschiebung.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Erfassen der Geschwindigkeitslidarpunktwolkendaten auf Grundlage des Erfassens von zwei Datenpunkten von einem Standort in einer Umgebung um den FMCW-Lidarsensor zu unterschiedlichen Zeiten, um die Beschleunigung zu messen.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Filtern der Geschwindigkeitslidarpunktwolkendaten, um die statischen Geschwindigkeitsdatenpunkte auf Grundlage des Bereitstellens der Geschwindigkeitslidarpunktwolkendaten an ein erstes neuronales Netzwerk auszuwählen.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Auswählen der statischen Geschwindigkeitsdatenpunkte durch das Filtern dynamischer Datenpunkte unter Verwendung eines zweiten neuronalen Netzwerkes, wobei die dynamischen Datenpunkte Datenpunkte sind, die von Objekten erfasst wurden, die sich hinsichtlich eines Hintergrunds bewegen.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Herausfiltern von dynamischen Datenpunkten durch das Durchführen einer räumlichen Filterung von Datenpunkten auf oder in der Nähe eines sich bewegenden Objekts mit dem zweiten neuronalen Netzwerk.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Filtern der statischen Geschwindigkeitsdatenpunkte auf Grundlage des Verarbeitens der statischen Geschwindigkeitsdatenpunkte mit einem Savitzky-Golay-Filter, um die statischen Geschwindigkeitsdaten zu glätten, wobei der Savitzky-Golay-Filter die Geschwindigkeitsdatenpunkte mit einer Polynomfunktion faltet.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Bestimmen der FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden und der Fahrzeugdrehungen und -verschiebungen auf Grundlage von Übertragungsfunktionen, die auf Grundlage von Finite-Elemente-Analysesimulationen des FMCW-Lidarsensors und simulierten Fahrzeugdrehungen und -verschiebungen unter variierenden Lasteingaben mit variierenden Schwingungsmodi bestimmt werden.

Claims

Verfahren, umfassend: das Erhalten von Geschwindigkeitslidarpunktwolkendaten, die mit einem frequenzmodulierten Dauerstrich-(FMCW-)Lidarsensor erfasst wurden, wobei die Geschwindigkeitslidarpunktwolkendaten eine Geschwindigkeit beinhalten, mit der sich ein Datenpunkt hinsichtlich des FMCW-Lidarsensors bewegt; Filtern der Geschwindigkeitslidarpunktwolkendaten, um statische Geschwindigkeitsdatenpunkte auszuwählen, wobei die statischen Geschwindigkeitsdatenpunkte jeweils einem Punkt auf einer Fahrbahn um ein Fahrzeug entsprechen; das Bestimmen von FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden auf Grundlage der statischen Geschwindigkeitsdatenpunkte; das Bestimmen von FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden auf Grundlage der FMCW-Lidarsensorbeschleunigungen in sechs Freiheitsgraden; das Bestimmen von Fahrzeugdrehungen und -verschiebungen in sechs Freiheitsgraden auf Grundlage von Daten einer Trägheitsmesseinheit (IMU); das Bestimmen einer Fehlausrichtung des FMCW-Lidarsensors auf Grundlage des Vergleichens der Drehungen und Verschiebungen des FMCW-Lidarsensors mit den Fahrzeugdrehungen und -verschiebungen; das Ausrichten des FMCW-Lidarsensors auf Grundlage der Fehlausrichtung des FMCW-Lidarsensors; und das Betreiben des Fahrzeugs auf Grundlage des ausgerichteten FMCW-Lidarsensors.
Verfahren nach Anspruch 1, ferner umfassend das Erfassen von Geschwindigkeitslidarpunktwolkendaten auf Grundlage einer Bewegung des FMCW-Lidarsensors.
Verfahren nach Anspruch 1, ferner umfassend das Erfassen von Geschwindigkeitslidarpunktwolkendaten auf Grundlage einer Doppler-Verschiebung.
Verfahren nach Anspruch 1, ferner umfassend das Erfassen der Geschwindigkeitslidarpunktwolkendaten auf Grundlage des Erfassens von zwei Datenpunkten von einem Standort in einer Umgebung um den FMCW-Lidarsensor zu unterschiedlichen Zeiten, um die Beschleunigung zu messen.
Verfahren nach Anspruch 1, ferner umfassend das Filtern der Geschwindigkeitslidarpunktwolkendaten, um die statischen Geschwindigkeitsdatenpunkte auf Grundlage des Bereitstellens der Geschwindigkeitslidarpunktwolkendaten an ein erstes neuronales Netzwerk auszuwählen.
Verfahren nach Anspruch 4, ferner umfassend das Auswählen der statischen Geschwindigkeitsdatenpunkte durch das Herausfiltern dynamischer Datenpunkte unter Verwendung eines zweiten neuronalen Netzwerkes, wobei die dynamischen Datenpunkte Datenpunkte sind, die von Objekten erfasst wurden, die sich hinsichtlich eines Hintergrunds bewegen.
Verfahren nach Anspruch 5, ferner umfassend das Herausfiltern von dynamischen Datenpunkten durch Durchführen einer räumlichen Filterung von Datenpunkten auf oder in der Nähe eines sich bewegenden Objekts mit dem zweiten neuronalen Netzwerk.
Verfahren nach Anspruch 1, ferner umfassend das Filtern der statischen Geschwindigkeitsdatenpunkte auf Grundlage des Verarbeitens der statischen Geschwindigkeitsdatenpunkte mit einem Savitzky-Golay-Filter, um die statischen Geschwindigkeitsdaten zu glätten, wobei der Savitzky-Golay-Filter die Geschwindigkeitsdatenpunkte mit einer Polynomfunktion faltet.
Verfahren nach Anspruch 1, ferner umfassend das Bestimmen der FMCW-Lidarsensordrehungen und -verschiebungen in sechs Freiheitsgraden und der Fahrzeugdrehungen und -verschiebungen auf Grundlage von Übertragungsfunktionen, die auf Grundlage von Finite-Elemente-Analysesimulationen des FMCW-Lidarsensors und simulierten Fahrzeugdrehungen und -verschiebungen unter variierenden Lasteingaben mit variierenden Schwingungsmodi bestimmt werden.
Verfahren nach Anspruch 1, wobei die Übertragungsfunktionen IMU-Verschiebungen und -Drehungen in sechs Freiheitsgraden beinhalten.
Verfahren nach Anspruch 8, ferner umfassend das Umsetzen der Übertragungsfunktionen mit einem zweiten neuronalen Netzwerk.
Verfahren nach Anspruch 1, wobei die Übertragungsfunktionen Unterschiede in der variierenden Steifigkeit von Fahrzeugstrukturen berücksichtigen, an denen der FMCW-Lidarsensor und die IMU montiert sind.
Verfahren nach Anspruch 1, ferner umfassend das Betreiben des Fahrzeugs durch das Bestimmen eines Fahrzeugwegs auf Grundlage von Punktwolkendaten, die von dem ausgerichteten FMCW-Lidarsensor erhalten werden.
Verfahren nach Anspruch 11, ferner umfassend das Betreiben des Fahrzeugs durch Steuern des Fahrzeugantriebsstrangs, der Fahrzeuglenkung und Fahrzeugbremsen, um zu veranlassen, dass das Fahrzeug entlang des Fahrzeugwegs fährt.
System, das einen Computer umfasst, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.