DE102021100101A1

DE102021100101A1 - Fahrzeugsensorkalibrierung

Info

Publication number: DE102021100101A1
Application number: DE102021100101.3A
Authority: DE
Inventors: Juan Enrique Castorena Martinez; Krishanth Krishnan; Yucong Lin; Gintaras Vincent Puskorius
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-01-13
Filing date: 2021-01-06
Publication date: 2021-07-15
Also published as: US20210215505A1; CN113188567A

Abstract

Diese Offenbarung stellt Fahrzeugsensorkalibrierung bereit. Ein Computer, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor zu Folgendem ausgeführt werden sollen: Empfangen von Initialisierungsdaten für Fahrzeugsensoren, die einen ersten Sensor, einen zweiten Sensor und einen dritten Sensor beinhalten, wobei der erste Sensor und der zweite Sensor eine gleiche Art von Sensor sind und wobei Initialisierungsdaten eine Messung von einem gemeinsamen Ort auf einem Bezugsziel sind, Bestimmen eines gemeinsamen Koordinatensystems durch eine paarweise Auswertung der Initialisierungsdaten zwischen dem ersten und dem zweiten Sensor, Sammeln von ersten, zweiten und dritten Sensordaten von dem ersten, zweiten bzw. dritten Sensor und Konvertieren der ersten, zweiten und dritten Sensordaten in das gemeinsame Koordinatensystem. Die Anweisungen können ferner Anweisungen zu Folgendem beinhalten: Bestimmen eines Fehlers in den ersten, zweiten und dritten Sensordaten auf Grundlage des gemeinsamen Koordinatensystems, Bestimmen einer Transformation, um die Fehler zu korrigieren, Kalibrieren eines oder mehrerer von dem ersten, zweiten und dritten Sensor in Bezug auf das gemeinsame Koordinatensystem auf Grundlage der bestimmten Transformation, um die Fehler zu entfernen, und Betreiben eines Fahrzeugs auf Grundlage von ersten, zweiten und dritten Sensordaten, die durch Kalibrieren des ersten, zweiten und dritten Sensors gesammelt sind.

Description

GEBIET DER TECHNIK
Die Offenbarung bezieht sich im Allgemeinen auf Fahrzeugsensoren und insbesondere auf eine Fahrzeugsensorkalibrierung.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Informationen bezüglich der Umgebung des Fahrzeugs zu sammeln und das Fahrzeug auf Grundlage der Informationen zu betreiben. Fahrzeugsensoren können Daten bezüglich zurückzulegenden Routen und zu umfahrenden Objekten in der Umgebung des Fahrzeugs bereitstellen. Der Betrieb des Fahrzeugs kann vom Sammeln genauer und aktueller Informationen bezüglich Objekten in der Umgebung eines Fahrzeugs während des Betriebs des Fahrzeugs auf einer Fahrbahn abhängen.
KURZDARSTELLUNG
Fahrzeuge können derart ausgestattet sein, dass sie sowohl in einem autonomen als auch in einem insassengesteuerten Modus arbeiten. Unter einem halb- oder vollautonomen Modus verstehen die Erfinder einen Betriebsmodus, in dem ein Fahrzeug teilweise oder vollständig von einer Rechenvorrichtung als Teil eines Informationssystems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann belegt oder unbelegt sein; doch in beiden Fällen kann das Fahrzeug teilweise oder vollständig ohne Unterstützung eines Insassen gesteuert werden. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, bei dem jedes von Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung des Fahrzeugs durch einen oder mehrere Fahrzeugcomputer gesteuert wird; in einem halbautonomen Modus steuert/steuern der/die Fahrzeugcomputer eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs. In einem nichtautonomen Fahrzeug wird keines von diesen durch einen Computer gesteuert.
Eine Rechenvorrichtung in einem Fahrzeug kann dazu programmiert sein, Daten zu der Außenumgebung eines Fahrzeugs zu sammeln und die Daten dazu zu verwenden, einen Fahrzeugweg zu bestimmen, auf dem ein Fahrzeug in einem autonomen oder halbautonomen Modus betrieben werden soll. Ein Fahrzeug kann auf Grundlage eines Fahrzeugwegs auf einer Fahrbahn fahren, indem Befehle bestimmt werden, die Antriebsstrang-, Brems- und Lenkungskomponenten zum Betreiben des Fahrzeugs zu steuern, sodass das Fahrzeug den Weg entlang fährt. Die Daten bezüglich der externen Umgebung können den Standort eines oder mehrerer sich bewegender Objekte, wie etwa Fahrzeuge und Fußgänger usw., in einer Umgebung um ein Fahrzeug herum beinhalten und können durch eine Rechenvorrichtung in dem Fahrzeug verwendet werden, um das Fahrzeug zu betreiben.
Das Betreiben des Fahrzeugs auf Grundlage des Sammelns von Daten bezüglich der externen Umgebung kann vom Sammeln der Daten unter Verwendung von Fahrzeugsensoren abhängen. Fahrzeugsensoren können Lidarsensoren, Radarsensoren und Videosensoren beinhalten, die in einem oder mehreren Frequenzbereichen von sichtbarem Licht oder Infrarotlicht arbeiten. Der Fahrzeugsensor kann zudem eines oder mehrere von einem globalen Positionsbestimmungssystem (global positioning system - GPS), einer Trägheitsmesseinheit (inertial measurement unit - IMU) und Radcodierern beinhalten. Das Sammeln genauer Daten in Bezug auf eine Umgebung um ein Fahrzeug unter Verwendung von Fahrzeugsensoren kann davon abhängen, dass die Fahrzeugsensoren genau kalibriert werden, um sicherzustellen, dass die gesammelten Daten genau kombiniert werden können. Das Kalibrieren der Fahrzeugsensoren bedeutet, dass Daten von jedem Sensor mit einer unabhängig bestimmten Messung verglichen werden, zum Beispiel einem externen Ziel mit Ground-Truth-Daten bezüglich der Stellen und der Größe des Ziels, die von einem menschlichen Bediener gemessen werden, oder, wie hierin erörtert, einer oder mehreren Messungen von Objekten, die sich in einer Umgebung um ein Fahrzeug befinden, gemessen durch einen oder mehrere andere Sensoren, und kann Umwandeln der Daten von jedem Fahrzeugsensor in globale Koordinaten beinhalten. Auf diese Weise können Daten, die Objekte betreffen, die von zwei oder mehr kalibrierten Sensoren betrachtet werden, zum Beispiel genau als das gleiche Objekt kombiniert werden. Objekte, die von den Fahrzeugsensoren betrachtet werden, können zum Beispiel andere Fahrzeuge und Fußgänger beinhalten.
Hierin ist ein Verfahren offenbart, das Folgendes beinhaltet: Empfangen von Initialisierungsdaten für Fahrzeugsensoren beinhaltet, die einen ersten Sensor, einen zweiten Sensor und einen dritten Sensor beinhalten, wobei der erste Sensor und der zweite Sensor eine gleiche Art von Sensor sind und wobei Initialisierungsdaten eine Messung von einem gemeinsamen Ort auf einem Bezugsziel sind, Bestimmen eines gemeinsamen Koordinatensystems durch eine paarweise Auswertung der Initialisierungsdaten zwischen dem ersten und dem zweiten Sensor und Sammeln von ersten, zweiten und dritten Sensordaten von dem ersten, zweiten bzw. dritten Sensor. Die ersten, zweiten und dritten Sensordaten können in das gemeinsame Koordinatensystem konvertiert werden, Fehler in den ersten, zweiten und dritten Sensordaten können auf Grundlage des gemeinsamen Koordinatensystems bestimmt werden und eine Transformation kann bestimmt werden, um die Fehler zu korrigieren. Einer oder mehrere von dem ersten, zweiten und dritten Sensor können in Bezug auf das gemeinsame Koordinatensystem auf Grundlage der bestimmten Transformation kalibriert werden, um die Fehler zu entfernen, und ein Fahrzeug kann auf Grundlage von ersten, zweiten und dritten Sensordaten betrieben werden, die durch Kalibrieren des ersten, zweiten und dritten Sensors gesammelt sind. Die paarweise Auswertung von Initialisierungsdaten kann ein Vergleichen der Initialisierungsdaten zwischen einem oder mehreren von dem ersten und zweiten Sensor, dem ersten und dritten Sensor und dem zweiten und dritten Sensor beinhalten.
Bestimmen der Initialisierungsdaten kann auf einem oder mehreren von einem globalen Positionsbestimmungssystem (GPS), einer Trägheitsmesseinheit (IMU) und Radcodierern beruhen. Das Bestimmen des gemeinsamen Koordinatensystems kann auf dem Sammeln von Sensordaten beruhen, die das Detektieren eines Bezugsziels in jeden von den ersten und den zweiten Sensorinitialisierungsdaten beinhalten. Das Bestimmen des gemeinsamen Koordinatensystems kann auf Initialisierungsdaten des dritten Sensors beruhen, indem ein Ort von Bezugsdaten in den Initialisierungsdaten des dritten Sensors bestimmt wird. Ein gemeinsames Merkmal in den ersten, zweiten und dritten Sensordaten kann bestimmt werden, wobei das gemeinsame Merkmal durch Lokalisieren eines Objekts in einer Umgebung um ein Fahrzeug mit Techniken von maschinellem Sehen bestimmt werden kann. Der Fehler kann durch Vergleichen der Stellen des Objekts in jeden der ersten, zweiten und dritten Sensordaten bestimmt werden. Die Transformation kann auf Grundlage von Minimieren der Fehler zwischen den Stellen des Objekts in ersten, zweiten und dritten Sensordaten bestimmt sein. Die Transformation kann aktualisiert werden und der erste, zweite und dritte Sensor können periodisch neu kalibriert werden, während das Fahrzeug betrieben wird. Die Transformation kann Konvertierungen in linearen x-, y- und z-Koordinaten und Rotationen in Roll-, Nick- und Gierwinkelkoordinaten beinhalten. Das gemeinsame Koordinatensystem kann auf Grundlage von Bestimmen von physischen Ausrichtungsdaten und Daten bezüglich Sichtfeldern des ersten und zweiten Sensors bestimmt werden. Die Transformationen können Sechs-Achs-Fehler zwischen dem ersten und dem zweiten Sensor minimieren. Das Betreiben des Fahrzeugs kann auf Lokalisieren eines oder mehrerer Objekte in den ersten, zweiten und dritten Sensordaten beruhen. Das Bestimmen von Fehlern in den ersten, zweiten und dritten Sensordaten kann zuerst ein Entkoppeln der Ausrichtung und Konvertierung beinhalten.
Ferner ist ein computerlesbares Medium offenbart, das Programmanweisungen zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte speichert. Ferner ist ein Computer offenbart, der zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte programmiert ist, einschließlich einer Computervorrichtung, die zu Folgendem programmiert ist: Empfangen von Initialisierungsdaten für Fahrzeugsensoren, die einen ersten Sensor, einen zweiten Sensor und einen dritten Sensor beinhalten, wobei der erste Sensor und der zweite Sensor eine gleiche Art von Sensor sind und wobei Initialisierungsdaten eine Messung von einem gemeinsamen Ort auf einem Bezugsziel sind, Bestimmen eines gemeinsamen Koordinatensystems durch eine paarweise Auswertung der Initialisierungsdaten zwischen dem ersten und dem zweiten Sensor und Sammeln von ersten, zweiten und dritten Sensordaten von dem ersten, zweiten bzw. dritten Sensor. Die ersten, zweiten und dritten Sensordaten können in das gemeinsame Koordinatensystem konvertiert werden, Fehler in den ersten, zweiten und dritten Sensordaten können auf Grundlage des gemeinsamen Koordinatensystems bestimmt werden und eine Transformation kann bestimmt werden, um die Fehler zu korrigieren. Einer oder mehrere von dem ersten, zweiten und dritten Sensor können in Bezug auf das gemeinsame Koordinatensystem auf Grundlage der bestimmten Transformation kalibriert werden, um die Fehler zu entfernen, und ein Fahrzeug kann auf Grundlage von ersten, zweiten und dritten Sensordaten betrieben werden, die durch Kalibrieren des ersten, zweiten und dritten Sensors gesammelt sind. Die paarweise Auswertung von Initialisierungsdaten kann ein Vergleichen der Initialisierungsdaten zwischen einem oder mehreren von dem ersten und zweiten Sensor, dem ersten und dritten Sensor und dem zweiten und dritten Sensor beinhalten.
Der Computer kann ferner dazu programmiert sein, Initialisierungsdaten zu bestimmen können auf einem oder mehreren von einem globalen Positionsbestimmungssystem (GPS), einer Trägheitsmesseinheit (IMU) und Radcodierern beruhen. Das Bestimmen des gemeinsamen Koordinatensystems kann auf dem Sammeln von Sensordaten beruhen, die das Detektieren eines Bezugsziels in jeden von den ersten und den zweiten Sensorinitialisierungsdaten beinhalten. Das Bestimmen des gemeinsamen Koordinatensystems kann auf Initialisierungsdaten des dritten Sensors beruhen, indem ein Ort von Bezugsdaten in den Initialisierungsdaten des dritten Sensors bestimmt wird. Ein gemeinsames Merkmal in den ersten, zweiten und dritten Sensordaten kann bestimmt werden, wobei das gemeinsame Merkmal durch Lokalisieren eines Objekts in einer Umgebung um ein Fahrzeug mit Techniken von maschinellem Sehen bestimmt werden kann. Der Fehler kann durch Vergleichen der Stellen des Objekts in jeden der ersten, zweiten und dritten Sensordaten bestimmt werden. Die Transformation kann auf Grundlage von Minimieren der Fehler zwischen den Stellen des Objekts in ersten, zweiten und dritten Sensordaten bestimmt sein. Die Transformation kann aktualisiert werden und der erste, zweite und dritte Sensor können periodisch neu kalibriert werden, während das Fahrzeug betrieben wird. Die Transformation kann Konvertierungen in linearen x-, y- und z-Koordinaten und Rotationen in Roll-, Nick- und Gierwinkelkoordinaten beinhalten. Das gemeinsame Koordinatensystem kann auf Grundlage von Bestimmen von physischen Ausrichtungsdaten und Daten bezüglich Sichtfeldern des ersten und zweiten Sensors bestimmt werden. Die Transformationen können Sechs-Achs-Fehler zwischen dem ersten und dem zweiten Sensor minimieren. Das Bestimmen von Fehlern in den ersten, zweiten und dritten Sensordaten kann zuerst ein Entkoppeln der Ausrichtung und Konvertierung beinhalten.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Verkehrsinfrastruktursystems.
2 ist eine Darstellung eines beispielhaften Fahrzeugs, einschließlich Sensoren.
3 ist eine Darstellung von Sichtfeldern eines beispielhaften Sensors.
4 ist ein Diagramm einer beispielhaften Bezugsmarkierung.
5 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Kalibrieren von Fahrzeugsensoren und Betreiben eines Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
1 ist eine Darstellung eines Verkehrsinfrastruktursystems 100, die ein Fahrzeug 110 beinhaltet, das in einem autonomen („autonom“ für sich bedeutet in dieser Offenbarung „vollautonom“), einem halbautonomen und einem insassengesteuerten (auch als nichtautonom bezeichneten) Modus betrieben werden kann. Eine oder mehrere Rechenvorrichtungen 115 des Fahrzeugs 110 können von Sensoren 116 Informationen bezüglich des Betriebs des Fahrzeugs 110 empfangen. Die Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem halbautonomen Modus oder einem nichtautonomen Modus betreiben.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Zudem beinhaltet der Speicher eine oder mehrere Arten computerlesbarer Medien und speichert Anweisungen, die durch den Prozessor dazu ausführbar sind, verschiedene Vorgänge durchzuführen, einschließlich der hierin offenbarten. Zum Beispiel kann die Rechenvorrichtung 115 eine Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Beschleunigungssteuerung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, Hybridmotor usw.), Lenkung, Klimaregelung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrer derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten beinhaltet sind, z.B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., beinhalten oder z.B. über einen Fahrzeugkommunikationsbus, wie weiter nachstehend beschrieben, kommunikativ mit dieser (diesen) gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk angeordnet, das z. B. einen Bus in dem Fahrzeug 110, wie etwa einen Controller Area Network (CAN) oder dergleichen, beinhaltet; das Netzwerk des Fahrzeugs 110 kann alternativ oder zusätzlich drahtgebundene oder drahtlose Kommunikationsmechanismen, wie sie bekannt sind, beinhalten, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Betätigungselemente, Sensoren usw. einschließlich der Sensoren 116. Alternativ oder zusätzlich kann in Fällen, bei denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk für Kommunikationen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, der Rechenvorrichtung 115 Daten über das Fahrzeugkommunikationsnetz bereitstellen.
Zusätzlich kann die Rechenvorrichtung 115 dazu konfiguriert sein, über ein Netzwerk 130, das, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, über ein Netzwerk 130, wie etwa drahtloses Internet (WLAN) oder Mobilfunknetzwerke, mit einem entfernten Servercomputer 120 zu kommunizieren, durch eine Fahrzeug-Infrastruktur-Schnittstelle (V-1-Schnittstelle) 111 mit einem entfernten Servercomputer 120, z.B. einem Cloud-Server, zu kommunizieren. Die Rechenvorrichtung 115 kann dazu konfiguriert sein, um über eine Fahrzeug-zu-Infrastruktur-(vehicle-to-infrastructure - V-to-I-)Schnittstelle 111 mit einem entfernten Servercomputer 120 über eine Kantenrechenvorrichtung zu kommunizieren, wobei eine Kantenrechenvorrichtung als eine Rechenvorrichtung definiert ist, die dazu konfiguriert ist, in Verbindung mit Sensoren und Fahrzeugen 110 in der Nähe eines Abschnitts einer Fahrbahn, eines Parkplatzes oder einer Parkstruktur usw. zu stehen. Die V-to-I-Schnittstelle 111 kann dementsprechend Prozessoren, Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetze zu verwenden. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die V-to-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-(V-to-V-)Netzwerken z. B. gemäß dedizierter Nahbereichskommunikation (dedicated short range communications - DSRC) und/oder dergleichen, konfiguriert sein, die z.B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet zudem einen nichtflüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Informationen protokollieren, indem sie die Informationen zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur(V-I)-Schnittstelle 111 an einen Servercomputer 120 oder eine mobile Vorrichtung 160 eines Benutzers in nichtflüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die in dem Speicher gespeichert und durch den Prozessor der Rechenvorrichtung 115 ausführbar sind, im Allgemeinen eine Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsen, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Bedieners enthalten. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. der Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Zum Beispiel kann die Rechenvorrichtung 115 eine Programmierung zum Regeln des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa Geschwindigkeit, Beschleunigung, Abbremsung, Lenken usw., und des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens auf eine Weise, die in der Regel ein sicheres und effizientes Abfahren einer Route erreichen soll), wie etwa einer Entfernung zwischen Fahrzeugen und/oder einer Zeit zwischen Fahrzeugen, Spurwechseln, des Mindestabstands zwischen Fahrzeugen, der Mindestzeit zur Wegquerung bei Linksabbiegung, der Zeit bis zur Ankunft an einem bestimmten Standort und der Mindestzeit bis zum Überqueren der Kreuzung an einer Kreuzung (ohne Ampel) beinhalten.
Im hierin verwendeten Sinne beinhaltet der Ausdruck Steuerungen Rechenvorrichtungen, die in der Regel dazu programmiert sind, ein konkretes Fahrzeugteilsystem zu überwachen und/oder zu steuern. Zu Beispielen gehören eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie sie bekannt ist, und möglicherweise eine zusätzliche Programmierung wie in dieser Schrift beschrieben beinhalten. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen umfassen, die als nichteinschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 umfassen. Jede der Steuerungen 112, 113, 114 kann jeweilige Prozessoren und Speicher und ein oder mehrere Betätigungselemente beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie zum Beispiel einem Controller-Area-Network-(CAN-)Bus oder einem Local-Interconnect-Network-(LIN-)Bus, um Anweisungen von der Rechenvorrichtung 115 zu empfangen und Betätigungselemente auf Grundlage der Anweisungen zu steuern.
Die Sensoren 116 können vielfältige Vorrichtungen beinhalten, die für die Bereitstellung von Daten über den Fahrzeugkommunikationsbus bekannt sind. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, eine Entfernung von dem Fahrzeug 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor für ein globales Positionsbestimmungssystem (global positioning system - GPS), der in dem Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Die durch das RADAR und/oder die anderen Sensoren 116 bereitgestellte(n) Entfernung(en) und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um das Fahrzeug 110 zum Beispiel autonom oder teilautonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein Landfahrzeug 110, das zu autonomem und/oder teilautonomem Betrieb fähig ist und das drei oder mehr Räder aufweist, z. B. ein PKW, ein Kleinlaster usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die F-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten in Bezug auf das Fahrzeug 110 und die Umgebung, in der das Fahrzeug 110 betrieben wird, sammeln. Beispielhaft und nicht einschränkend können die Sensoren 116 z. B. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hallsensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren wie etwa Schalter usw. beinhalten. Die Sensoren 116 können verwendet werden, um die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird, z. B. können die Sensoren 116 Phänomene wie etwa Wetterbedingungen (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, den Standort einer Straße (z. B. unter Verwendung von Straßenrändern, Spurmarkierungen usw.) oder Standorte von Zielobjekten wie etwa Nachbarfahrzeugen 110 erfassen. Die Sensoren 116 können ferner verwendet werden, um Daten, einschließlich dynamischer Daten des Fahrzeugs 110, die sich auf Vorgänge des Fahrzeugs 110 beziehen, wie etwa Geschwindigkeitsvektor, Gierrate, Lenkwinkel, Motordrehzahl, Bremsdruck, Öldruck, des auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewandten Leistungspegels, Konnektivität zwischen Komponenten und einer genauen und rechtzeitigen Leistung von Komponenten des Fahrzeugs 110, zu erheben.
2 ist eine Darstellung eines beispielhaften Fahrzeugs 110, das mit einem Sensorgehäuse 202 ausgestattet ist. Das Sensorgehäuse 202 ist an der Oberseite des Fahrzeugs 110 angebracht und beinhaltet Lidarsensoren 204, 206 und Videosensoren 208a, 208b, 208c, 208d, 208e (gemeinsam Videosensoren 208). Lidarsensoren 204, 206 und Videosensoren 208 können zum Beispiel auch um das Fahrzeug 110 verteilt sein und als Teil von Scheinwerfer- oder Rücklichtgehäusen beinhaltet sein, in denen die Lidarsensoren 204, 206 und Videosensoren 208 zumindest teilweise verborgen sein können. Lidarsensoren 204, 206 und Videosensoren 208 können von einer Rechenvorrichtung 115 in einem Fahrzeug 110 verwendet werden, um Daten in Bezug auf eine Umgebung um ein Fahrzeug 110 zu bestimmen. Zum Beispiel können die Lidarsensoren 204, 206 und Videosensoren 208 verwendet werden, um Objekte in einer Umgebung um ein Fahrzeug 110 zu bestimmen. Objekte in einer Umgebung um ein Fahrzeug 110 können zum Beispiel andere Fahrzeuge und Fußgänger beinhalten. Wie vorstehend erörtert, kann das Kombinieren von Sensordaten von zwei oder mehr Sensoren, auch Sensorfusion genannt, wobei die Sensoren unterschiedliche Modalitäten aufweisen können, d. h., eine Sensormodalität gibt ein Medium an, über das ein Sensor Daten erlangt, d. h. Sensoren unterschiedlicher Modalitäten erfassen Daten über unterschiedliche jeweilige Medien, z. B. verwendet Lidar Laserstrahlen, Kameras detektieren (sichtbares, Infrarot usw.) Licht, Radar verwendet Hochfrequenzübertragungen usw., die Fähigkeit verbessern, Objekte in einer Umgebung um ein Fahrzeug genau zu identifizieren und zu lokalisieren. Jede Sensormodalität weist unterschiedliche Stärken auf, die andere Modalitäten ergänzen, wenn sie kombiniert werden. Zum Beispiel weisen sowohl sichtbare als auch Infrarot-Sensoren eine hohe räumliche Auflösung auf, können jedoch die Entfernung nicht direkt messen. Lidarsensoren können die Entfernung zu Objekten direkt mit hoher Auflösung messen, weisen jedoch im Allgemeinen eine geringere räumliche Auflösung auf als Videosensoren. Radarsensoren messen die Objektbewegung sehr genau, können jedoch eine geringe absolute Entfernung und räumliche Auflösung aufweisen. Das Kombinieren von Sensordaten von verschiedenen Modalitäten kann Daten ergeben, die hinsichtlich des Orts, der Größe und der Bewegung von Objekten genauer sind als jede der Modalitäten allein.
Das Kombinieren von Sensordaten von Sensoren unterschiedlicher Modalitäten kann ermöglicht werden, indem zuerst die Daten von jedem Sensor in ein gemeinsames Koordinatensystem umgewandelt werden. Ein gemeinsames Koordinatensystem kann auf einem globalen Koordinatensystem beruhen, wie etwa Breite, Länge und Höhe, wobei Sechs-Achs-DoF-Daten als Konvertierungen in lineare x-, y- und z-Koordinaten und Rotationen in Roll-, Nick- und Gierwinkelkoordinaten in Bezug auf die x-, y- bzw. z-Achse ausgedrückt werden, wobei die x-, y- und z-Achse in Bezug auf die Erdoberfläche definiert sind. Lidar- und Videosensoren werden in Bezug auf ein gemeinsames Koordinatensystem kalibriert, wobei das gemeinsame Koordinatensystem in Bezug auf einen Ort auf dem Fahrzeug 110 definiert ist, anstatt auf ein globales Koordinatensystem, da sie an einem sich bewegenden Fahrzeug 110 montiert sind, das sich in Bezug auf das globale Koordinatensystem bewegt. Um Sensordaten in ein gemeinsames Koordinatensystem umzuwandeln, kann der Sensor zuerst ausgerichtet werden, wobei sich Ausrichtung auf das mechanische Anordnen des Sensors in Bezug auf die Plattform bezieht. Das Montieren von Lidar- und Videosensoren 204, 206, 208 in einem Sensorgehäuse 202 kann eine anfängliche mechanische Ausrichtung der Lidar- und Videosensoren 204, 206, 208 ermöglichen, bevor das Gehäuse 202 an dem Fahrzeug 110 montiert wird. In Beispielen, in denen die Lidar- und Videosensoren 204, 206, 208 auf verteilte Weise an dem Fahrzeug 110 montiert sind, wie vorstehend erörtert, können die Lidar- und Videosensoren 204, 206, 208 nach der Montage an dem Fahrzeug 110 zunächst mechanisch ausgerichtet werden.
Nach der anfänglichen mechanischen Ausrichtung können Sensoren kalibriert werden, wobei Kalibrierung als Bestimmen definiert ist, wo sich ein Sensorsichtfeld in Bezug auf ein gemeinsames Koordinatensystem befindet. Trotz der anfänglichen mechanischen Ausrichtung der Lidar- und Videosensoren 204, 206, 208 können Unterschiede bei der Ausrichtung der Lidar- und Videosensoren 204, 206, 208 mit sechs Freiheitsgraden (degree of freedom - DoF) erfordern, dass die Lidar- und Videosensoren 204, 206, 208 kalibriert werden, um zu ermöglichen, dass Sensordaten in einem gemeinsamen Koordinatensystem kombiniert werden. Zusätzlich kann eine normale Fehlausrichtung aufgrund von Verschleiß, Vibration und Drift in Sensorkomponenten erfordern, dass die Lidar- und Videosensoren 204, 206, 208 periodisch neu ausgerichtet werden, um eine genaue Sensorfusion sicherzustellen. Hierin beschriebene Techniken verbessern die multimodale Sensorkalibrierung und Rekalibrierung in einem gemeinsamen Koordinatensystem durch Bestimmen von Fehlern zwischen Sensorpaaren und Bestimmen von Transformationen, die Sensoren im laufenden Betrieb kalibrieren, während ein Fahrzeug 110 ohne Eingreifen des Bedieners oder die Verwendung externer Bezugsmarkierungen betrieben wird, die hierin als Bezugsziele bezeichnet werden. Fehler sind als Unterschiede in gemessenen Stellen von Objekten, einschließlich Bezugszielen in Sensordaten, die von zwei oder mehr Sensoren gesammelt sind, definiert.
3 ist ein Diagramm eines beispielhaften Bezugsziels 300. Das Bezugsziel 300 ist ein flaches Objekt mit einem Muster von Quadraten 302 mit unterschiedlichen Reflexionswerten, das auf eine Fläche des Bezugsziels 300 angewendet wird. Ein Bezugsziel 300 kann zur anfänglichen Kalibrierung der Lidar- und Videosensoren 204, 206, 208 verwendet werden, indem das Bezugsziel 300 an einer gemessenen Stelle in den Sichtfeldern der Lidar- und Videosensoren 204, 206, 208 platziert wird. Jeder von dem Lidar- und Videosensor 204, 206, 208 kann Bilder des Bezugsziels 300 bilden und eine Position des Bezugsziels 300 in Bezug auf ein Sichtfeld jedes der Lidar- und Videosensoren 204, 206, 208 unter Verwendung von Techniken von maschinellem Sehen bestimmen. Zum Beispiel können Techniken zum maschinellen Sehen die Videobilder in Bezug auf x- und y-Bildachsen unterscheiden und dann die Ränder zwischen den Quadraten 302 mit Subpixelgenauigkeit lokalisieren. Gleichermaßen können maschinelle Bildverarbeitungstechniken auf Lidar-Bilder angewendet werden, um den Ort der oberen, unteren, linken und rechten Kante des Bezugsziels 300 mit Subpixelgenauigkeit zu bestimmen. Andere Merkmale des Bezugsziels 300, die in Lidar- oder Videodaten unter Verwendung von Bildverarbeitungstechniken gemessen werden können, beinhalten Ecken, Kantenmittelpunkte und das Zentrum des Bezugsziels 300. Die Position des Bezugsziels 300 in Pixeln für jedes Bild kann mit dem gemessenen Ort des Bezugsziels 300 in Bezug auf eine Stelle an dem Fahrzeug 110 verglichen werden, und es kann eine Transformation bestimmt werden, die Pixelorte in gesammelten Bildern von jedem von Lidar- und Videosensoren 204, 206, 208 in gemeinsame Koordinaten in Bezug auf das Fahrzeug 110 umwandelt.
4 ist ein Diagramm von Sichtfeldern 404, 406, 408, die Lidarsensoren 204, 206 bzw. einem Videosensor 208 entsprechen. Lidarsensoren 204, 206 können Daten in Bezug auf Objekte in ihren jeweiligen Sichtfeldern 404, 406 gemäß den Techniken der maschinellen Sicht sammeln, wie vorstehend in Bezug auf 3 erörtert, um einen Massenmittelpunkt in Bezug auf die Punkte zu bestimmen, die bestimmt sind, um dem Objekt zu entsprechen. In 4 entspricht ein erstes Objekt 418 dem Objekt, das durch den Lidarsensor 204 abgebildet ist und aus Koordinaten, die relativ zu dem Lidarsensor 204 gemessen sind, in gemeinsame Koordinaten umgewandelt ist, und entspricht ein zweites Objekt 420 dem Objekt, das durch den Lidarsensor 206 abgebildet ist und aus Koordinaten, die relativ zu dem Lidarsensor 206 gemessen sind, in gemeinsame Koordinaten umgewandelt ist. Das erste und das zweite Objekt 418, 420 nehmen aufgrund von Kalibrierungsfehlern zwischen den beiden Lidarsensoren 204, 206 nicht die gleiche Position in gemeinsamen Koordinaten ein. Der durch den Pfeil in 4 veranschaulichte Fehler 422 entspricht der Differenz der gemeinsamen Koordinaten zwischen den bestimmten Massenschwerpunkten D₁L₁ 424 und D₂L₁ 426, die dem Lidarsensor 204 bzw. dem Lidarsensor 206 entsprechen.
Hier beschriebene Techniken bestimmen eine Transformation ${R_{L_{1}}^{L_{2}}, t_{L_{1}}^{L_{2}}},$
die den Rotations- (R) und Konvertierungs- (t) Sechs-Achs-Fehler oder Versatz zwischen dem ersten (L₁) und zweiten (L₂) Lidarsensor 204, 206 durch paarweisen Vergleich von Messungen von dem ersten (L₁) und zweiten (L₂) Lidarsensor 204, 206 minimiert. Ein paarweiser Vergleich vergleicht Daten von zwei ausgewählten Sensoren gleichzeitig, ohne Rücksicht auf Messungen von anderen nicht ausgewählten Sensoren. Hier erörterte Techniken berechnen paarweise Bewertungen von zwei oder mehr Sensorpaaren und kombinieren dann die paarweisen Bewertungen, um eine Kalibrierung für jeden Sensor zu bestimmen. Der Sechs-Achs-Fehler kann durch Vergleichen von zwei oder mehr gemeinsamen Merkmalen an einem Bezugsziel 300 im dreidimensionalen Raum bestimmt werden, die in gemeinsamen Koordinaten ausgedrückt und sowohl durch den ersten (L₁) als auch den zweiten (L₂) Lidarsensor 204, 206 gemessen werden. Das Vergleichen von gemessenen Stellen von zwei oder mehr gemeinsamen Punkten im Raum ermöglicht die Berechnung eines Rotations- (R) und Konvertierungs- (t) Sechs-Achs-Fehlers. Ein gemeinsames Merkmal an einem Bezugsziel 300 ist ein Ort an einem Bezugsziel 300, der durch zwei oder mehr Sensoren identifiziert werden kann, zum Beispiel Ecken, Kantenmittelpunkte oder das Zentrum des Bezugsziels 300. Die Technik aktualisiert dann die Transformationen ${R_{C_{1}}^{L_{1}}, t_{C_{1}}^{L_{1}}} und {R_{L_{2}}^{C_{1}}, t_{L_{2}}^{C_{1}}},$
die den Sechs-Achs-Fehler des Versatzes zwischen jedem Lidarsensor 204, 206 und dem Videosensor 208 (C_1\) charakterisieren. Die anfänglichen Schätzungen für ${R_{C_{1}}^{L_{1}}, t_{C_{1}}^{L_{1}}}$
und ${R_{L_{2}}^{C_{1}}, t_{L_{2}}^{C_{1}}}$
können aus anfänglichen Kalibrierungsdaten auf Grundlage der Abbildung eines Bezugsziels 300, wie vorstehend in Bezug auf 3 beschrieben, oder einer beliebigen anderen geeigneten bekannten Technik zur anfänglichen Kalibrierung erlangt werden. Zum Beispiel können anfängliche Schätzungen für ${R_{C_{1}}^{L_{1}}, t_{C_{1}}^{L_{1}}} und {R_{L_{2}}^{C_{1}}, t_{L_{2}}^{C_{1}}}$
auf Grundlage einer paarweisen Auswertung von Ausrichtungsdaten für den Videosensor 208 (C_1\) und Lidarsensoren 204, 206 bestimmt werden, die durch Sammeln von Sensordaten für gemeinsame Stellen auf einem Bezugsziel 300 erlangt werden. Anfängliche Ausrichtungsdaten für den Videosensor 208 (C_1\) und die Lidarsensoren 204, 206, die auf Grundlage des Sammelns von Daten von einem Bezugsziel 300 bestimmt sind, stellen Ausrichtungsdaten bereit, die es den hierin beschriebenen Techniken ermöglichen, eine Kalibrierung der drei Sensoren zu Zeiten nach der anfänglichen Kalibrierung durchzuführen, zum Beispiel, während ein Fahrzeug 110 auf einer Fahrbahn betrieben wird, und der Zugang zu einem Bezugsziel 300 undurchführbar wäre.
In 3 ist ein Bezugsziel 300 derart in der Szene platziert, dass die überlappenden Sichtfelder 404, 406, 408 das Ziel beinhalten. Daten von der Szene werden dann zusammengestellt und als Eingabe für einen Optimierungsprozess verwendet, der die extrinsischen Parameter bestimmt, die die Abstände zwischen aus dem Kamerabild des Ziels extrahierten Merkmalen und aus der erneuten Projektion von Lidarpunkten extrahierten Merkmalen minimieren. Diese Initialisierung wird zweimal auf Grundlage der Anzahl von Paaren von multimodalen Kombinationen durchgeführt: eine zum Initialisieren von ${R_{C_{1}}^{L_{1}^{0}}, t_{C_{1}}^{L_{1}^{0}}}$
und die andere für ${R_{L_{2}}^{C_{1}^{0}}, t_{L_{2}}^{C_{1}^{0}}}$
(d. h., um jeweils eine relative Position zwischen C₁, L₁ bzw. L₂, Ci zu initialisieren). Hier definieren wir die hochgestellte ⁰, um eine anfängliche Schätzung anzugeben, während das allgemeinere hochgestellte ^t ein Index ist, der Messungen oder Schätzungen zum Zeitpunkt t angibt. Angesichts der relativen Positionen zwischen den Paaren des Lidarsensors 204, 206 können wir die relative Position ${R_{L_{1}}^{L_{2}^{0}}, t_{L_{1}}^{L_{2}^{0}}}$
zwischen den Lidarsensoren 204, 206 L₁ und L₂ initialisieren, indem die Zykluskonsistenz bestimmt wird, die auf den folgenden Beziehungen beruht: $R_{L_{1}}^{L_{2}^{0}} = {(R_{C_{1}}^{L_{1}^{0}} \cdot R_{L_{2}}^{C_{1}^{0}})}^{T}$
$t_{C_{1}}^{L_{1}^{0}} = - (R_{L_{1}}^{L_{2}^{0}} t_{C_{1}}^{L_{1}^{0}} + {(R_{L_{2}}^{C_{1}^{0}})}^{T} t_{L_{2}}^{C_{1}^{0}})$
Sobald alle paarweisen relativen Positionskombinationen initialisiert wurden, kann eine Rechenvorrichtung 115 in einem Fahrzeug 110 damit beginnen, die Umgebung zu erfassen und Lidar-Daten im laufenden Betrieb unabhängig aus der Perspektive jedes Lidarsensors 204, 206 zu sammeln. Es ist zu beachten, dass diese Technik nicht auf ein Fahrzeug 110 beschränkt ist und auf eine beliebige mobile Plattform angewendet werden kann, die mit multimodalen Sensoren ausgestattet ist, einschließlich Drohnen, Boote usw. Wenn neue Lidar-Daten verfügbar werden, verwendet diese Technik die neuen Lidar-Daten und lernt eine bessere Schätzung von extrinsischen Kalibrierungsparametern, indem Fehler oder Fehlausrichtung zwischen den neuen Lidar-Daten und vorherigen Schätzungen der Kalibrierungsparameter minimiert werden. Die Bewertung von Fehlern oder Fehlausrichtungen erfolgt durch Vergleichen von Entfernungen zwischen entsprechenden Detektierungen, wobei die Übereinstimmung dazu vereinfacht wird, um durch Assoziationen mit den nächsten Nachbarn berechnet zu werden. Diese Assoziation ist gültig, vorausgesetzt, dass unsere Initialisierungsschätzungen oder vorherigen Schätzungen gut genug sind, um Daten von den Sensoren nahe an, aber nicht zu einer genauen Ausrichtung zu bringen.
Mathematisch ist das Problem des Lernens von extrinsischen Kalibrierungsparametern auf Grundlage von Korrekturen von Fehlern oder Fehlausrichtungen von Sensorsichtfeldern und vorherigen Schätzungen der Parameter folgendermaßen formuliert: $\begin{array}{l} {R_{L_{1}}^{L_{2}^{0}}, t_{L_{1}}^{L_{2}^{0}}} = \overset{arg min}{{R, t} \in S E (3)} {f ({R_{L_{1}}^{L_{2}^{t - 1}}, t_{L_{1}}^{L_{2}^{t - 1}}}, {R, t}) + λ_{1} Δ_{F} (R, R_{L_{1}}^{L_{2}^{t - 1}}) + \\ λ_{2} ‖ t_{L_{1}}^{L_{2}^{t - 1}} - t ‖_{l_{2}}^{^{2}}} \end{array}$
Hier ist der erste Term das Messen eines Fehlers oder einer Fehlausrichtung durch die Summe von Abständen zwischen Objektedetektionsdarstellungen, während der zweite und dritte Term und $Δ_{F} : {S O (3), S O (3)} \to ℝ^{+} und {‖ \cdot ‖}_{l_{2}} : ℝ^{3} \to ℝ^{+}$
R⁺Aktualisierungen auf R bzw. t beschränken, um glatt von seinen vorherigen Schätzungen abweichen, wobei SO(3) eine spezielle orthogonale Gruppe in drei Dimensionen bezeichnet, die Drehungen in drei Räumen entspricht.
Der Messfehler des ersten Terms der Fehlausrichtung kann wie folgt beschrieben werden: $\begin{array}{l} f ({R_{L_{1}}^{L_{2}^{t - 1}}, t_{L_{1}}^{L_{2}^{t - 1}}}, {R, t}) = \\ \sum_{l = 1}^{L} \sum_{k = 1}^{K} {‖ y_{1_{l, k}}^{t} ({R_{L_{1}}^{L_{2}^{t - 1}}, t_{L_{1}}^{L_{2}^{t - 1}}}, {R, t}) - y_{2_{l, k}}^{t} ‖}_{l_{2}}^{2} \end{array}$
wobei die Terme $y_{1_{l, k}}^{t} und y_{2_{l, k}}^{t}$
die entsprechenden Obj ektdetektionssignaturdarstellungen von L₁ bzw. L₂ zum Zeitpunkt t sind. Der Wert K bezeichnet eine Detektionsdarstellung: wenn K = 1, dann wird eine Schwerpunktdarstellung von Detektionen verwendet, wohingegen K > 1 eine gekennzeichnete Sensormessdarstellung bezeichnet (d. h., ein Objekt wird durch K gekennzeichnete Messungen dargestellt). Die Summierung über / stellt die Anzahl der detektierten Objekte dar, wobei / ein spezifisches Objekt indiziert und L die Gesamtanzahl der Objekte zu dem gegebenen Zeitpunkt t ist. Der zweite Term Δ_F schränkt die Rotationsaktualisierungen R so ein, dass sie innerhalb eines glatten Raums durch die von-Neumann-Divergenz begrenzt sind: $Δ_{F} (R, R_{L_{1}}^{L_{2}^{t - 1}}) = Tr (R log R - R log R_{L_{1}}^{L_{2}^{t - 1}} - R + R_{L_{1}}^{L_{2}^{t - 1}})$
Diese Funktion misst den Abstand zwischen zwei Drehungen und hat die Eigenschaft, im Verteiler von SO(3) differenzierbar zu sein. Es ist zu beachten, dass log: R^N×N → R^N×N der Matrixlogarithmus mit inverser Abbildung exp: R^N×N → R^N×N ist und Tr die Matrixkurve ist. Ferner, was Gleichung (3) betrifft, befindet sich der Suchraum über der speziellen euklidischen Gruppe, die durch SE(3) bezeichnet wird, wobei SE(3) eine spezielle euklidische Gruppe in drei Dimensionen ist und einem dreidimensionalen Standardvektorraum entspricht und die skalaren Parametern λ_1,λ₂ ∈ [0, 1] Gewichtungsfaktoren für jeden der entsprechenden Terme sind.
Hier erörterte Techniken vereinfachen eine Lösung von Gleichung (3), durch zuerst Entkoppeln der Ausrichtung und Konvertierung. Dies kann erreicht werden, indem zuerst die Signaturdetektionsdarstellungen zentriert werden. Hier bezeichnen wir die zentrierten Detektionsdarstellungen als ${\bar{y_{1}}}^{t}_{_{l, k}} u n d {\bar{y_{2}}}^{t}_{_{l, k}}$
von L1 bzw. L2, wobei diese Zentrierung einer einfachen Mittelwertbildung entspricht. Angesichts dieser zentrierten Version können wir Gleichung (3) vereinfachen, indem wir sie wie folgt entkoppeln: $\begin{array}{l} R_{L_{1}}^{L_{2}^{t}} = \\ \overset{arg min}{R \in S O (3)} {Δ_{F} (R, R_{L_{1}}^{L_{2}^{t - 1}}) + λ_{1} \sum_{l = 1} \sum_{k = 1}^{K} {‖ {\bar{y_{1}}}^{t}_{_{l, k}} (R_{L_{1}}^{L_{2}^{t - 1}}, R) - {\bar{y_{2}}}^{t}_{_{l, k}} ‖}_{l_{2}}^{2}} \\ t_{L_{1}}^{L_{2}^{t}} = \end{array}$
$\overset{arg min}{t \in ℝ} {{‖ R_{L_{1}}^{L_{2}^{t}} \cdot {\bar{y_{1}}}^{t}_{_{l, k}} - {\bar{y_{2}}}^{t}_{_{l, k}} - t ‖}_{l_{2}}^{t} + λ_{2} {‖ t_{L_{1}}^{L_{2}^{t - 1}} - t ‖}_{l_{2}}}$
Gleichung (6) kann durch einen iterativen Algorithmus gelöst werden, um (6) für Rotationen in der Riemannschen Mannigfaltigkeit R ∈ SO(3) zu lösen, die aus Matrix-potenzierten Gradientenabstiegsaktualisierungen besteht. Die Lösung für Gleichung (7) ist geschlossen und kann erlangt werden, indem der Gradient von Gleichung (7) berechnet wird, indem er gleich Null gesetzt wird und dann nach t aufgelöst wird.
Nach dem Aktualisieren der Kalibrierungsparameter zwischen den Lidarsensoren L1 und L2 kann die Aktualisierung auf Grundlage der Zykluskonsistenzbeschränkung für die Kalibrierungsparameter der verbleibenden multimodalen Kombinationen (d. h. L1-zu-C1 und L2-zu-C1) propagiert werden, wobei die Kalibrierungsparameter Schätzungen eines Sensorfehlers oder einer Fehlausrichtung sind. Eine derartige Aktualisierung wird propagiert, indem zwischen dem Aktualisieren von ${R_{C_{1}}^{L_{1}^{t}}, t_{C_{1}}^{L_{1}^{t}}}$
für die Zeitinstanz t und dem Aktualisieren von ${R_{L_{2}}^{C_{1}^{t + 1}}, t_{L_{2}}^{C_{1}^{t + 1}}}$
bei der nächsten Aktualisierung, die bei t + 1 erfolgt, gemäß den Gleichungen (8) und (9) gewechselt wird: ${R_{C_{1}}^{L_{1}^{t}}, t_{C_{1}}^{L_{1}^{t}}} = {{(R_{L_{2}}^{C_{1}^{t - 1}} R_{L_{1}}^{L_{2}^{t}})}^{T}, - {(R_{L_{1}}^{L_{2}^{t}})}^{T} ({(R_{L_{2}}^{C_{1}^{t - 1}})}^{T} t_{L_{2}}^{C_{1}^{t - 1}} + t_{L_{1}}^{L_{2}^{t}})}^{b e i : t}$
${R_{L_{2}}^{C_{1}^{t + 1}}, t_{L_{2}}^{C_{1}^{t + 1}}} = {{(R_{L_{1}}^{L_{2}^{t + 1}} R_{C_{1}}^{L_{1}^{t}})}^{T}, - R_{L_{2}}^{C_{1}^{t + 1}} (R_{L_{1}}^{L_{2}^{t + 1}} t_{C_{1}}^{L_{1}^{t}} + t_{L_{1}}^{L_{2}^{t + 1}})}^{b e i : t + 1}$
Hier beschriebene Techniken verbessern die Sensorkalibrierung, indem Schwierigkeiten im Zusammenhang mit der Ausrichtung von Daten mit mehreren Modalitäten und/oder mehreren Auflösungen bewältigt werden. Beispiele für diese Schwierigkeiten beinhalten das Auffinden von Merkmalen, die für jede Modalität invariant sind, und das Auffinden von Techniken, um entweder die Modalität mit höherer Auflösung herunterzusetzen oder die Modalität mit niedrigerer Auflösung hochaufzulösen, um Vergleiche durch Anpassen von Sensorauflösungen vorzunehmen. Hierin beschriebene Techniken verwenden räumliche und zeitliche Daten, um Ausrichtungen einzuschränken, was im Allgemeinen bessere Schätzungen von Kalibrierungsparametern ergibt. Zusätzlich sind die hierin beschriebenen Techniken in der Lage, sowohl eine Online- als auch eine Echtzeitüberprüfung der Kalibrierungsparameter durchzuführen und Fehlkalibrierungen ohne menschliches Eingreifen oder Bezugsziele 300, die nach der anfänglichen Kalibrierung in der Szene platziert sind, zu korrigieren. Die hierin beschriebenen Techniken sind vom Rechenstandpunkt her kostengünstig und bieten eine algorithmische Lösung für die Skalierbarkeit des Masseneinsatzes und verwenden Komponenten, die bereits in den meisten autonomen Fahrzeugen 110 und Verkehrsinfrastruktursystemen 100 verfügbar sind.
5 ist ein Ablaufdiagramm, das in Bezug auf die 1-4 beschrieben ist, für ein Verfahren 500 zum Betreiben eines Fahrzeugs auf Grundlage von Daten eines kalibrierten Multimodalsensors. Der Prozess 500 kann durch einen Prozessor der Rechenvorrichtung umgesetzt werden, der zum Beispiel Informationen von Sensoren als Eingabe heranzieht und Befehle ausführt und Objektinformationen ausgibt. Der Prozess 500 beinhaltet mehrere Blöcke, die in der veranschaulichten Reihenfolge ausgeführt werden können. Der Prozess 500 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann die Blöcke in anderer Reihenfolge ausgeführt beinhalten.
Der Prozess 500 beginnt bei Block 502, wo eine Rechenvorrichtung 115 anfängliche Kalibrierungsdaten von zwei oder mehr Fahrzeugsensoren sammelt, wobei mindestens zwei der Sensoren vom gleichen Typ sind. Anfängliche Kalibrierungsdaten können gesammelt werden, um ein Bezugsziel 300 in den Sichtfeldern der zwei oder mehr Sensoren zu beinhalten. Die Bezugsdaten können bestimmt werden, indem die gesammelten Daten von dem Bezugsziel 300 unter Verwendung von Bildverarbeitungsverfahren, wie vorstehend in Bezug auf 3 erörtert, verarbeitet werden und die Bezugsdaten verarbeitet werden, um eine Transformation zu bestimmen, die die Bezugsdaten in den gleichen Ort in einem gemeinsamen Koordinatensystem transformiert, und dadurch Sensorinitialisierungsdaten zu erzeugen.
Bei Block 504 verarbeitet die Rechenvorrichtung 115 die gesammelten Daten, um Stellen von Merkmalen, die dem Bezugsziel 300 entsprechen, unter Verwendung von Bildverarbeitungstechniken zu bestimmen. Die Stellen der Merkmale werden von Pixelkoordinaten relativ zu jedem Sensor auf Grundlage von anfänglichen Ausrichtungsdaten in ein gemeinsames Koordinatensystem umgewandelt. Die Sensoren können dann anfänglich kalibriert werden, indem die Transformationen modifiziert werden, die Pixelpositionen in gemeinsame Koordinatenpositionen mit sechs Achsen umwandeln, um zu bewirken, dass das gemeinsame Merkmal auf den Bezugszielen 300, wie vorstehend in Bezug auf 3 definiert, dieselben Stellen in gemeinsamen Koordinaten annimmt.
Bei Block 506 werden Sensordaten für zwei oder mehr Sensoren gesammelt und Merkmale, die in Sensordaten unter Verwendung von Techniken von maschinellem Sehen bestimmt werden, werden von jedem der Sensoren gesammelt und unter Verwendung der bei Block 504 bestimmten anfänglichen Transformationen in gemeinsame Koordinaten konvertiert. Die Merkmale, die in Sensordaten bestimmt sind, können die Stellen von Objekten in einer Umgebung um ein Fahrzeug 110 sein, einschließlich andere Fahrzeuge und Fußgänger.
Bei Block 508 werden Fehler durch Vergleichen der Sechs-Achsen-Stellen von Merkmalen in gemeinsamen Koordinaten zwischen Sensorpaaren bestimmt.
Bei Block 510 werden die Fehler verwendet, um Sechs-Achs-Transformationen zu bestimmen, die verwendet werden können, um die Sensoren auf Grundlage des Berechnens von Aktualisierungen der Kalibrierungstransformationen auf Grundlage der vorstehenden Gleichungen (1)-(9) zu kalibrieren. Dieser Prozess kann periodisch wiederholt werden, um die zwei oder mehr Sensoren periodisch neu zu kalibrieren, wenn das Fahrzeug 110 auf Straßen betrieben wird, um eine Fehlkalibrierung der Sensoren zu kompensieren, die durch Vibration, Schock oder andere Ursachen für eine Fehlausrichtung des Sensors, die auftreten kann, verursacht wird.
Bei Block 512 können gemeinsame Koordinatenstellen von Objekten, einschließlich anderer Fahrzeuge und Fußgänger, verwendet werden, um das Fahrzeug 110 zu betreiben. Zum Beispiel können gemeinsame Koordinatenstellen von Objekten einem Computer bereitgestellt werden, der das Fahrzeug 110 autonom oder halbautonom betreibt, z. B. gemäß bekannten Techniken. Zum Beispiel kann das Fahrzeug 110 einen Fahrzeugweg bestimmen, auf dem das Fahrzeug 110 betrieben werden soll, der einen Kontakt oder Beinahekontakt mit den bestimmten Objekten vermeidet. Das Fahrzeug 110 kann auf dem Fahrzeugweg betrieben werden, durch Steuern von Fahrzeugantriebsstrang, -lenkung, und - bremsen, um das Fahrzeug 110 dazu zu veranlassen, entlang des Wegs zu fahren und somit Kontakt mit den bestimmten Objekten zu vermeiden. Im Anschluss an Block 512 endet der Prozess 500.
Rechenvorrichtungen, wie etwa die hierin erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Die vorstehend erörterten Prozessblöcke können zum Beispiel als computerausführbare Befehle ausgeführt sein.
Computerausführbare Befehle können von Computerprogrammen zusammengestellt oder interpretiert werden, die unter Verwendung einer Vielzahl von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem, entweder allein oder in Kombination Java™, C, C++, Python, Julia, SCALA, Visual Basic, Java Script, Perl, HTML usw. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Befehle aus, wodurch er ein oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der hier beschriebenen Prozesse. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung vielfältiger computerlesbarer Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium beinhaltet jedes beliebige Medium, das am Bereitstellen von Daten (z. B. Befehlen) beteiligt ist, die durch einen Computer gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nichtflüchtiger Medien, flüchtiger Medien usw. Nichtflüchtige Medien beinhalten zum Beispiel optische oder magnetische Platten und andere Dauerspeicher. Flüchtige Medien beinhalten einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der in der Regel einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann.
Alle in den Patentansprüchen verwendeten Ausdrücke sollen ihre klare und gewöhnliche Bedeutung aufweisen, wie sie von einem Fachmann verstanden wird, sofern hierin nicht ausdrücklich das Gegenteil angegeben wird. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält.
Der Begriff „beispielhaft“ wird in der vorliegenden Schrift in dem Sinne verwendet, dass er ein Beispiel angibt, z. B. sollte ein Verweis auf ein „beispielhaftes Gerät“ einfach als Bezugnahme auf ein Beispiel für ein Gerät gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, ein Messwert, ein Wert, eine Bestimmung, eine Berechnung usw. von einer bzw. einem genau beschriebenen Geometrie, Abstand, Messwert, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Herstellung, Sensormessungen, Berechnungen, Verarbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen geben die gleichen Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte oder Blöcke derartiger Prozesse usw. zwar als gemäß einer bestimmten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt sein könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte, in dieser Schrift beschriebene Schritte ausgelassen werden können. Anders ausgedrückt werden die vorliegenden Beschreibungen von Prozessen zur Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.
Gemäß der vorliegenden Erfindung ist ein Computer bereitgestellt, der Folgendes aufweist: einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen speichert, die durch den Prozessor zu Folgendem ausführbar sind: Empfangen von Initialisierungsdaten für Fahrzeugsensoren, die einen ersten Sensor, einen zweiten Sensor und einen dritten Sensor beinhalten, wobei der erste Sensor und der zweite Sensor eine gleiche Art von Sensor sind, und wobei Initialisierungsdaten eine Messung eines gemeinsamen Orts auf einem Bezugsziel sind; Bestimmen eines gemeinsamen Koordinatensystems durch eine paarweise Auswertung der Initialisierungsdaten zwischen dem ersten und dem zweiten Sensor; Sammeln von ersten, zweiten und dritten Sensordaten von dem ersten, zweiten bzw. dritten Sensor; Konvertieren von ersten, zweiten und dritten Sensordaten in das gemeinsame Koordinatensystem; Bestimmen von Fehlern in den ersten, zweiten und dritten Sensordaten auf Grundlage des gemeinsamen Koordinatensystems; Bestimmen einer Transformation, um die Fehler zu korrigieren; Kalibrieren von einem oder mehreren des ersten, zweiten und dritten Sensors in Bezug auf das gemeinsame Koordinatensystem auf Grundlage der bestimmten Transformation, um die Fehler zu entfernen; und Betreiben eines Fahrzeugs auf Grundlage von ersten, zweiten und dritten Sensordaten, die durch kalibrierte erste, zweite und dritte Sensoren gesammelt sind.
Gemäß einer Ausführungsform beinhaltet die paarweise Auswertung von Initialisierungsdaten ein Vergleichen der Initialisierungsdaten zwischen einem oder mehreren von dem ersten und zweiten Sensor, dem ersten und dritten Sensor und dem zweiten und dritten Sensor.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen dazu, Initialisierungsdaten auf Grundlage von einem oder mehreren von einem globalen Positionsbestimmungssystem (GPS), einer Trägheitsmesseinheit (IMU) und Radcodierern zu bestimmen.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen zum Bestimmen des gemeinsamen Koordinatensystems auf Grundlage von Sammeln von Sensordaten, die das Detektieren eines Bezugsziels in jeden von den ersten und den zweiten Sensorinitialisierungsdaten beinhalten.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen zum Bestimmen des gemeinsamen Koordinatensystems auf Grundlage von Initialisierungsdaten des dritten Sensors, indem ein Ort von Bezugsdaten in den Initialisierungsdaten des dritten Sensors bestimmt wird.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen zum Bestimmen eines gemeinsamen Merkmals in den Daten des ersten, zweiten und dritten Sensors, wobei das gemeinsame Merkmal durch Lokalisieren eines Objekts in einer Umgebung um ein Fahrzeug mit maschinellem Sehen bestimmt ist.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen zum Bestimmen des Fehlers durch Vergleichen der Stellen des Objekts in jeden der ersten, zweiten und dritten Sensordaten.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch Anweisungen zum Bestimmen der Transformation auf Grundlage von Minimieren der Fehler zwischen den Stellen des Objekts in den ersten, zweiten und dritten Sensordaten.
Gemäß einer Ausführungsform ist die Erfindung ferner gekennzeichnet durch eine Anweisung, die Transformation zu aktualisieren und den ersten, zweiten und dritten Sensor periodisch neu zu kalibrieren, während das Fahrzeug betrieben wird.
Gemäß einer Ausführungsform beinhaltet die Transformation Konvertierungen in linearen x-, y- und z-Koordinaten und Rotationen in Roll-, Nick- und Gierwinkelkoordinaten.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Empfangen von Initialisierungsdaten für Fahrzeugsensoren, die einen ersten Sensor, einen zweiten Sensor und einen dritten Sensor beinhalten, wobei der erste Sensor und der zweite Sensor eine gleiche Art von Sensor sind, und wobei Initialisierungsdaten eine Messung eines gemeinsamen Orts auf einem Bezugsziel sind; Bestimmen eines gemeinsamen Koordinatensystems durch eine paarweise Auswertung der Initialisierungsdaten zwischen dem ersten und dem zweiten Sensor; Sammeln von ersten, zweiten und dritten Sensordaten von dem ersten, zweiten bzw. dritten Sensor; Konvertieren von ersten, zweiten und dritten Sensordaten in das gemeinsame Koordinatensystem; Bestimmen von Fehlern in den ersten, zweiten und dritten Sensordaten auf Grundlage des gemeinsamen Koordinatensystems; Bestimmen einer Transformation, um die Fehler zu korrigieren; Kalibrieren von einem oder mehreren des ersten, zweiten und dritten Sensors in Bezug auf das gemeinsame Koordinatensystem auf Grundlage der bestimmten Transformation, um die Fehler zu entfernen; und Betreiben eines Fahrzeugs auf Grundlage von ersten, zweiten und dritten Sensordaten, die durch kalibrierte erste, zweite und dritte Sensoren gesammelt sind.
In einem Aspekt der Erfindung beinhaltet die paarweise Auswertung von Initialisierungsdaten ein Vergleichen der Initialisierungsdaten zwischen einem oder mehreren von dem ersten und zweiten Sensor, dem ersten und dritten Sensor und dem zweiten und dritten Sensor.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen von Initialisierungsdaten auf Grundlage von einem oder mehreren von einem globalen Positionsbestimmungssystem (GPS), einer Trägheitsmesseinheit (IMU) und Radcodierern.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen des gemeinsamen Koordinatensystems auf Grundlage von Sammeln von Sensordaten, das ein Detektieren eines Bezugsziels in jeden der Initialisierungsdaten des ersten und zweiten Sensors beinhaltet.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen des gemeinsamen Koordinatensystems auf Grundlage von Initialisierungsdaten des dritten Sensors, indem ein Ort von Bezugsdaten in den Initialisierungsdaten des dritten Sensors bestimmt wird.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen eines gemeinsamen Merkmals in den Daten des ersten, zweiten und dritten Sensors, wobei das gemeinsame Merkmal durch Lokalisieren eines Objekts in einer Umgebung um ein Fahrzeug mit Techniken von maschinellem Sehen bestimmt ist.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen des Fehlers durch Vergleichen der Stellen des Objekts in jeden der ersten, zweiten und dritten Sensordaten.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen der Transformation auf Grundlage von Minimieren der Fehler zwischen den Stellen des Objekts in ersten, zweiten und dritten Sensordaten.
In einem Aspekt der Erfindung beinhaltet das Verfahren Aktualisieren der Transformation und Neukalibrieren des ersten, zweiten und dritten Sensors periodisch während das Fahrzeug betrieben wird.
In einem Aspekt der Erfindung beinhaltet die Transformation Konvertierungen in lineare x-, y- und z-Koordinaten und Rotationen in Roll-, Nick- und Gierwinkelkoordinaten.

Claims

Verfahren, das Folgendes umfasst: Empfangen von Initialisierungsdaten für Fahrzeugsensoren, die einen ersten Sensor, einen zweiten Sensor und einen dritten Sensor beinhalten, wobei der erste Sensor und der zweite Sensor eine gleiche Art von Sensor sind und wobei Initialisierungsdaten eine Messung eines gemeinsamen Orts auf einem Bezugsziel sind; Bestimmen eines gemeinsamen Koordinatensystems durch eine paarweise Auswertung der Initialisierungsdaten zwischen dem ersten und dem zweiten Sensor; Sammeln von ersten, zweiten und dritten Sensordaten von dem ersten, zweiten bzw. dritten Sensor; Konvertieren von ersten, zweiten und dritten Sensordaten in das gemeinsame Koordinatensystem; Bestimmen von Fehlern in den ersten, zweiten und dritten Sensordaten auf Grundlage des gemeinsamen Koordinatensystems; Bestimmen einer Transformation, um die Fehler zu korrigieren; Kalibrieren eines oder mehrerer des ersten, zweiten und dritten Sensors in Bezug auf das gemeinsame Koordinatensystem auf Grundlage der bestimmten Transformation, um die Fehler zu entfernen; und Betreiben eines Fahrzeugs auf Grundlage von ersten, zweiten und dritten Sensordaten, die durch den kalibrierten ersten, zweiten und dritten Sensor gesammelt sind.
Verfahren nach Anspruch 1, wobei die paarweise Bewertung von Initialisierungsdaten ein Vergleichen der Initialisierungsdaten zwischen einem oder mehreren des ersten und zweiten Sensors, des ersten und dritten Sensors und des zweiten und dritten Sensors beinhaltet.
Verfahren nach Anspruch 1, das ferner ein Bestimmen von Initialisierungsdaten auf Grundlage von einem oder mehreren eines globalen Positionsbestimmungssystems (GPS), einer Trägheitsmessungseinheit (inertial measurement unit - IMU) und Radcodierern umfasst.
Verfahren nach Anspruch 1, das ferner ein Bestimmen des gemeinsamen Koordinatensystems auf Grundlage von Sammeln von Sensordaten umfasst, das ein Detektieren eines Bezugsziels in jeden der Initialisierungsdaten des ersten und zweiten Sensors beinhaltet.
Verfahren nach Anspruch 4, das ferner ein Bestimmen des gemeinsamen Koordinatensystems auf Grundlage von Initialisierungsdaten des dritten Sensors durch Bestimmen eines Orts von Bezugsdaten in den Initialisierungsdaten des dritten Sensors umfasst.
Verfahren nach Anspruch 1, das ferner ein Bestimmen eines gemeinsamen Merkmals in den Daten des ersten, zweiten und dritten Sensors umfasst, wobei das gemeinsame Merkmal durch Lokalisieren eines Objekts in einer Umgebung um ein Fahrzeug mit Techniken von maschinellem Sehen bestimmt ist.
Verfahren nach Anspruch 6, das ferner ein Bestimmen des Fehlers durch Vergleichen der Stellen des Objekts in jeden der ersten, zweiten und dritten Sensordaten umfasst.
Verfahren nach Anspruch 7, das ferner ein Bestimmen der Transformation auf Grundlage von Minimieren der Fehler zwischen den Stellen des Objekts in ersten, zweiten und dritten Sensordaten umfasst.
Verfahren nach Anspruch 1, das ferner ein Aktualisieren der Transformation und Neukalibrieren des ersten, zweiten und dritten Sensors periodisch während das Fahrzeug betrieben wird umfasst.
Verfahren nach Anspruch 1, wobei die Transformation Konvertierungen in lineare x-, y-, und z-Koordinaten und Rotationen in Roll-, Neigungs- und Gierkoordinaten beinhaltet.
Verfahren nach Anspruch 1, das ferner Bestimmen des gemeinsamen Koordinatensystems auf Grundlage von Bestimmen von physischen Ausrichtungsdaten und Daten umfasst, die sich auf die Sichtfelder des ersten und zweiten Sensors beziehen.
Verfahren nach Anspruch 1, wobei die Transformationen Sechs-Achs-Fehler zwischen dem ersten und dem zweiten Sensor minimiert.
Verfahren nach Anspruch 1, wobei Betreiben des Fahrzeugs auf Lokalisieren eines oder mehrerer Objekte in den ersten zweiten und dritten Sensordaten beruht.
Verfahren nach Anspruch 1, wobei das Bestimmen von Fehlern in den ersten, zweiten und dritten Sensordaten ein erstes Entkoppeln der Ausrichtung und Konvertierung beinhaltet.
System, das einen Computer umfasst, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-14 durchzuführen.