-
Die Erfindung betrifft ein Verfahren zum Kalibrieren von Sensoren durch ein Steuergerät, ein Verfahren zum Detektieren einer Dekalibrierung durch eine Servereinheit, ein Steuergerät sowie eine Servereinheit.
-
Stand der Technik
-
Zum Ausführen von automatisierten Fahrfunktionen ist eine Lokalisierung von Fahrzeugen mit Hilfe von digitalen Karten notwendig. Die Lokalisierung erfolgt durch einen Abgleich von Messdaten der Umfeldsensoren mit Kartendaten.
-
Zum Erstellen von digitalen Karten werden Fahrzeuge zur Kartierung genutzt. Die Fahrzeuge nutzen dabei ihre Umfeldsensoren, um das Fahrzeugumfeld zu erfassen, relevante Merkmale zu extrahieren und die extrahierten Merkmale mittels Mobilfunk an eine Servereinheit zu übertragen. Die Servereinheit sammelt die von der Vielzahl von Fahrzeugen zur Verfügung gestellten Merkmale und erstellt daraus eine Merkmalskarte der entsprechenden Fahrumgebungen. Die Servereinheit kann die generierten Merkmalskarten anschließend einzelnen Fahrzeugen zum Durchführen einer Lokalisierung bereitstellen.
-
Für derartige Lokalisierungsverfahren ist eine korrekte Kalibrierung der Umfeldsensoren in den Fahrzeugen essentiell. Insbesondere müssen sowohl die Umfeldsensoren zur Erfassung und Kartierung des Straßennetzes als auch die Umfeldsensoren zum Durchführen einer Lokalisierung eine korrekte Kalibrierung aufweisen, da bereits ein geringer Fehler, beispielsweise in der Orientierung eines Sensors, zu großen Differenzen zwischen einer gemessenen und einer tatsächlichen Positionen führen kann.
-
Umfeldsensoren werden üblicherweise nur am Ende der Fahrzeugfertigung einmalig kalibriert. Da sich beispielsweise die Einbaulage der Umfeldsensoren durch Umwelteinflüsse und mechanische Einwirkungen über die Lebensdauer ändern kann, ist eine einmalige End-of-Line Kalibrierung der Umfeldsensoren unzureichend.
-
Offenbarung der Erfindung
-
Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren zum Gewährleisten eines kalibrierten Zustands von Sensoren bei einem Erstellen von Merkmalskarten und bei einem Nutzen von Merkmalskarten vorzuschlagen.
-
Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zum Kalibrieren von Sensoren durch ein Steuergerät bereitgestellt. In einem Schritt wird eine Merkmalskarte mit extrahierten Landmarken empfangen oder aufgerufen.
-
In einem weiteren Schritt werden Messdaten von mindestens einem Sensor empfangen und aus den empfangenen Messdaten Merkmale extrahiert. Beispielsweise können die Merkmale im Falle von Radarsensoren durch eine Gruppierung (Clustering) von Radarreflexpunkten extrahiert werden.
-
Es wird eine erste Position innerhalb der Merkmalskarte durch einen Abgleich der aus Messdaten extrahierten Merkmale mit den Landmarken der Merkmalskarte ermittelt. Dieser Schritt entspricht somit einer merkmalsbasierten Lokalisierung. In einem weiteren Schritt wird eine zweite Position durch Auswerten von Messdaten einer Odometriesensorik und/oder eines GNSS-Sensors ermittelt.
-
Alternativ oder zusätzlich kann neben einem Abgleich der ersten Position und der zweiten Position eine erste Orientierung und eine zweite Orientierung innerhalb der Merkmalskarte und durch Auswerten von Sensoren für eine Kalibrierung verwendet werden. Hierdurch können bis zu drei Translationsgrade und bis zu drei Rotationsgrade bei der Durchführung der Kalibrierung berücksichtigt werden.
-
Anschließend wird eine Kalibrierung des mindestens einen Sensors durch einen Vergleich der ersten Position mit der zweiten Position durchgeführt. Hierbei kann alternativ oder zusätzlich auch eine erste Orientierung mit einer zweiten Orientierung verglichen werden. Insbesondere kann durch einen derartigen Vergleich geprüft werden, ob die erste Position bzw. erste Orientierung korrekt ist oder Abweichungen aufweist. Beide Positionen entsprechen hierbei einer Einheit, wie beispielsweise einem Fahrzeug, wobei die Positionen bzw. Orientierungen durch unterschiedliche Lokalisierungsarten ermittelt wurden. Kann eine Abweichung zwischen der ersten Position und/oder ersten Orientierung und der zweiten Position und/oder zweiten Orientierung festgestellt werden, so wird eine korrekte Kalibrierung ausgeschlossen. Zum nachträglichen Durchführen einer Kalibrierung können Korrekturterme berechnet werden, welche die Differenz zwischen den beiden Positionen und/oder Orientierungen ausgleichen können.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Steuergerät, welches dazu eingerichtet ist, das erfindungsgemäße Verfahren zum Kalibrieren von Sensoren auszuführen, bereitgestellt.
-
Eine Kalibrierung von Sensoren kann eine Sensoreinbauposition und eine Sensoreinbaulage bzw. Sensorausrichtung umfassen.
-
Das Verfahren ist insbesondere für mobile Einheiten einsetzbar, welche gemäß der BASt Norm assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbar sein können. Insbesondere können derartige mobile Einheiten als Fahrzeuge, Roboter, Drohnen und dergleichen ausgestaltet sein.
-
Die Messdaten können durch mindestens einen Sensor gesammelt werden. Der mindestens eine Sensor einer Umfeldsensorik kann beispielsweise ein LIDAR-Sensor, Radarsensor, Ultraschallsensor, Kamerasensor, GNSS-Sensor und dergleichen sein.
-
Durch das Verfahren können die zur Verfügung gestellten Kartendaten einer Umgebung nicht nur zur Lokalisierung, sondern auch zur Kalibrierung von Sensoren verwendet werden. Hierdurch entsteht ein Mehrwert der eingesetzten Kartendaten.
-
Eine Merkmalskarte kann Positionen von charakteristischen Objekten, insbesondere von Landmarken, entlang eines Verlaufs einer Umgebung beinhalten. Diese Landmarken können auch von den Umfeldsensoren der Einheiten wahrgenommen werden, wenn sie in entsprechenden Gebieten messen. Beispielsweise kann ein Fahrzeug zu jedem Zeitpunkt sein Umfeld vermessen und aus den Sensordaten entsprechende Merkmale extrahieren. Die extrahierten Merkmale können mit den in den Merkmalskarten hinterlegten Landmarken abgeglichen werden, sodass sich das Fahrzeug relativ zur Merkmalskarte lokalisieren kann. Beispielsweise kann die Lokalisierung kontinuierlich erfolgen. Die aus den Messdaten der Sensoren extrahierten Merkmale können fortlaufend mit den Daten der empfangenen Merkmalskarte in Einklang gebracht werden. Durch eine solche zeitliche Integration lassen sich sehr hohe Lokalisierungsgenauigkeiten erreichen.
-
Bei einem dekalibrierten Sensor weichen die gemessenen Merkmalspositionen von tatsächlichen Merkmalspositionen ab. Ein Abgleich der gemessenen Merkmalspositionen mit den Landmarken der Karte würde folglich eine falsche Positionsbestimmung hervorrufen.
-
Durch eine zeitliche Verfolgung der geschätzten ersten Positionen durch Berechnen der zweiten Position können Kalibrationsfehler erkannt werden. Insbesondere können die ersten Positionen mit zweiten Positionen verglichen werden, welche basierend auf Messdaten einer Odometriesensorik und/oder Anwendung physikalischer Bewegungsmodelle erstellt wurden. Die Odometriesensorik kann beispielsweise Beschleunigungssensoren, Drehratensensoren, Radgeschwindigkeiten, Lenkwinkel, und dergleichen aufweisen. Des Weiteren können auch Messdaten eines GNSS-Sensors zum Bestimmen der zweiten Position verwendet werden.
-
Physikalische Bewegungsmodelle können vorzugsweise dazu eingesetzt werden, um Messdaten der Odometriesensorik und/oder des GNSS-Sensors zeitlich zu integrieren. Hierzu kann beispielsweise ein Kalman Filter eingesetzt werden.
-
Durch einen Abgleich der Positionen lässt sich eine tatsächliche Einbauposition und Einbaulage eines oder mehrerer Sensoren relativ zur Karte ermittelt werden.
-
Die über die Kartendaten generierten Kalibrationsinformationen können als ein weiterer Input zu einer sogenannten Online-Kalibrierung gesehen werden. Diese Karteninformationen können mit den typischerweise genutzten Informationen, wie beispielsweise Messdaten aus anderen fahrzeuginternen Sensoren wie Beschleunigungs- und Drehratensensoren, fusioniert werden. Hierdurch können auch Kalibrierungsparameter des Sensors besonders präzise geschätzt werden.
-
Gemäß einem weiteren Ausführungsbeispiel werden durch einen Vergleich der ersten Position mit der zweiten Position Abweichungen detektiert und Kalibrierungsparameter zum Korrigieren einer Auswertung der Messdaten des Sensors berechnet. Durch diese Maßnahme kann beispielsweise ein Offset eines Sensors durch abweichende oder sich verändernde Ausrichtung korrigiert werden. Die Kalibrierungsparameter können zusammen mit weiteren Berechnungen zur Online-Kalibration des Sensors genutzt werden.
-
Nach einem weiteren Aspekt der Erfindung wird ein Verfahren zum Detektieren einer Dekalibrierung durch eine Servereinheit bereitgestellt. Es werden aus Messdaten extrahierte Merkmale unterschiedlicher Einheiten zum Erstellen einer Merkmalskarte empfangen. Die Einheiten können hierbei Fahrzeuge, Roboter oder Drohnen sein, welche zum Erstellen von Merkmalskarten einsetzbar sind. Die Merkmale können hierbei durch die Einheiten oder durch die Servereinheit extrahiert werden.
-
Die Einheiten können über eine drahtlose Kommunikationsverbindung mit der Servereinheit Daten austauschen. Die Kommunikationsverbindung kann beispielsweise eine Mobilfunkverbindung oder eine WLAN-Verbindung sein. Die Servereinheit kann beispielsweise auf einer Cloud-Technologie basieren.
-
In einem weiteren Schritt werden die empfangenen Merkmale zum Erstellen von Landmarken zusammengefasst. Abweichende Merkmale werden bei dem Erstellen der Landmarken erkannt. Insbesondere können bei der Ausbildung der Landmarken Gruppen von Merkmalen identifiziert und zu Landmarken zusammengefasst werden. Weitere Merkmale, welche aus der Gruppe herausstechen, können hierdurch erkannt werden, wenn diese eine Abweichung außerhalb einer Toleranzschwelle aufweisen. Anschließend wird bei mindestens einem Sensor, welcher als Quelle für die abweichenden Merkmale dient, eine Dekalibrierung detektiert.
-
Gemäß einem weiteren Aspekt der Erfindung wird eine Servereinheit bereitgestellt, welche dazu eingerichtet ist, das Verfahren zum Detektieren einer Dekalibrierung durch eine Servereinheit auszuführen.
-
Durch das Verfahren kann eine Sensordekalibration von der Servereinheit bei der Kartenerstellung erkannt werden. Zur Kartenerstellung kann die Servereinheit eine Vielzahl von Merkmalen eines Umfelds sammeln, welche von verschiedenen Einheiten, wie beispielsweise Fahrzeugen einer Fahrzeugflotte, extrahiert und zur Verfügung gestellt werden. Bei der Aggregation der Merkmale zu Landmarken können „Ausreißer“ detektiert werden, welche aus einer Dekalibrierung von Sensoren resultieren können.
-
Wenn eine Einheit einen dekalibrierten Umfeldsensor aufweist, so kann die Servereinheit diese Dekalibrierung durch das Verfahren detektieren. Die Servereinheit kann anschließend eine entsprechende Mitteilung oder Warnung über die Dekalibrierung eines Sensors an die Einheit übermitteln.
-
Gemäß einer Ausführungsform werden die von einer Vielzahl von Fahrzeugen oder mobilen Einheiten gesammelten Messdaten zum Ermitteln von Merkmalen für eine Merkmalskarte ausgewertet und empfangen. Insbesondere kann das Verfahren bei Fahrzeugen eingesetzt werden, welche unterschiedliche Umgebungen befahren und von unterschiedlichen Umgebungen die Merkmale an die Servereinheit übermitteln. Somit können Merkmale entlang von Straßenverläufen effizient ermittelt und kartiert werden.
-
Nach einem weiteren Ausführungsbeispiel werden die Merkmale durch ein robustes Aggregationsverfahren zu Landmarken zusammengefasst. Durch ein Anwenden der robusten Aggregation kann die Servereinheit abweichende Merkmale bei der Erstellung oder Aktualisierung von Landmarken besonders effizient ermitteln.
-
Gemäß einem weiteren Ausführungsbeispiel werden die abweichenden Merkmale von der Bildung der Landmarken ausgeschlossen. Hierdurch können fehlerhafte Merkmale von der Aufnahme in die Merkmalskarte ausgeschlossen werden, um eine Genauigkeit der Merkmalskarte zu erhöhen. Insbesondere kann eine Verfälschung der erstellten Merkmalskarten durch Messdaten von fehlerhaft kalibrierten Sensoren ausgeschlossen werden.
-
Nach einer weiteren Ausführungsform werden durch einen Vergleich der abweichenden Merkmale mit den gebildeten Landmarken Kalibrierungsparameter zum Korrigieren einer Auswertung der Messdaten des mindestens einen Sensors berechnet. Die Kalibrierungsparameter können an die Einheit gesendet werden, von welcher die abweichenden Merkmale empfangen wurden, um eine korrigierte Auswertung der Messdaten zu erzielen. Insbesondere kann die Auswertung der Messdaten unter Berücksichtigung der Kalibrierungsparameter erfolgen. Alternativ oder zusätzlich können die Kalibrierungsparameter von der Servereinheit angewandt werden, um die abweichenden Merkmale in die Erstellung der Merkmalskarten einzubeziehen.
-
Die erfindungsgemäßen Verfahren sind nicht auf den automobilen Anwendungsbereich beschränkt. Insbesondere können die Verfahren bei automatisiert betreibbaren Robotern und Drohnen ebenfalls angewandt werden.
-
Das Verfahren kann für unterschiedliche Sensoren und insbesondere unterschiedliche Sensorkombinationen anwenden. Beispielsweise kann der mindestens eine Sensor als ein Radarsensor, LIDAR-Sensor, Ultraschallsensor, Kamerasensor und dergleichen ausgestaltet sein. Bei Radarsensoren können beispielsweise Reflexpunkte auf metallischen Objekten, wie Verkehrsschilder, Laternen, Ampelmasten oder Leitplanken, als Landmarken genutzt werden. Bei Kamerasensoren können beispielsweise Straßenmarkierungen als Landmarken dienen.
-
Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen
- 1 eine schematische Anordnung zum Veranschaulichen eines Verfahrens zum Kalibrieren von Sensoren und eines Verfahrens zum Detektieren einer Dekalibrierung,
- 2 einen Ablauf zum Verdeutlichen einer Lokalisierung mit Hilfe einer Merkmalskarte,
- 3 einen Ablauf zum Verdeutlichen einer Lokalisierung mit Hilfe einer Merkmalskarte bei fehlerhaft kalibrierten Sensoren,
- 4 ein schematisches Ablaufdiagramm zum Veranschaulichen eines Verfahrens zum Kalibrieren von Sensoren gemäß einer Ausführungsform und
- 5 einen schematischen Ablauf zum Veranschaulichen einer robusten Aggregation.
-
Die 1 zeigt eine schematische Anordnung 1 zum Veranschaulichen eines in 4 gezeigten Verfahrens 2 zum Kalibrieren von Sensoren 4 und eines Verfahrens 3 zum Detektieren einer Dekalibrierung von Sensoren 4. Die Anordnung 1 weist eine externe Servereinheit 6, mehrere Einheiten 8 zum Durchführen einer Kartierung bzw. Sammeln von Messdaten für Merkmalskarten und Einheiten 10 zum Empfangen von Merkmalskarten.
-
Die Einheiten 8, 10 sind beispielhaft als Fahrzeuge ausgestaltet. Insbesondere sind die Einheiten 8, 10 automatisiert betreibbar. Über Kommunikationsverbindungen 12 sind die Einheiten 8, 10 datenleitend mit der Servereinheit 6 verbunden. Die Einheiten 8, 10 weisen darüber hinaus eine Vielzahl von Sensoren 4 auf, wobei die Figuren der Übersicht halber anhand eines Radarsensors beschrieben werden.
-
Die Einheiten 8 sammeln Messdaten eines Umfelds U und extrahieren aus den Messdaten Merkmale 14, 15 (s. 5). Diese Merkmale 14, 15 werden an die Servereinheit 6 übermittelt. Diese Schritte können durch fahrzeuginterne Steuergeräte 16 ausgeführt werden.
-
Die Servereinheit 6 kann als eine Cloud ausgeführt sein und empfängt die Merkmale 14, 15 der Einheiten 8. Die empfangenen Merkmale 14, 15 bzw. in Datenform vorliegenden Merkmale 14, 15 weisen Positionsdaten und optionale Eigenschaftsdaten, wie beispielsweise Abmessungen, auf. Die empfangenen Merkmale 14, 15 werden durch die Servereinheit 6 aggregiert 18. Bei der Aggregation der Merkmale 14, 15 werden Merkmalskarten 20 mit Landmarken 34 erstellt. Die erstellten Merkmalskarten 20 werden anderen Einheiten 10 bereitgestellt 22. Die Einheiten 10 können die Merkmalskarten 20 empfangen und eine Lokalisierung 24 anhand der Merkmalskarten 20 durchführen.
-
Als Erweiterung der Lokalisierungsdienste nutzt das kartenempfangende Fahrzeug 10 die Merkmalskarten 20 zusätzlich zur Sensorkalibration 26.
-
In einer weiteren Systemausprägung kann durch die Servereinheit 6 eine Dekalibrierung 28 von Sensoren 4 erkannt und entsprechende Kalibrierungsparameter 30 zum Beseitigen der Dekalibrierung 28 zur Verfügung 32 gestellt werden.
-
In der 2 ist ein Ablauf zum Verdeutlichen einer Lokalisierung 24 mit Hilfe einer Merkmalskarte 20 dargestellt. Die durch eine Merkmalskarte 20 bereitgestellten Landmarken 34 werden durch die mobile Einheit 10 geladen bzw. aufgerufen. Anschließend werden Merkmale 14 innerhalb eines Umfelds U der Einheit 10 durch Auswerten von Messdaten der Sensoren 4 extrahiert.
-
Anschließend werden die extrahierten Merkmale 14 mit den Landmarken 34 der Merkmalskarte 20 verglichen, um eine Position und/oder Orientierung der Einheit 10 innerhalb der Merkmalskarte 20 zu ermitteln.
-
Die 3 zeigt einen Ablauf zum Verdeutlichen einer Lokalisierung 24 mit Hilfe einer Merkmalskarte 20 bei fehlerhaft kalibrierten Sensoren 4. Hierdurch führen die ermittelten Messdaten zu fehlerhaft extrahierten Merkmalen 36. Insbesondere entsteht durch eine Dekalibrierung der Sensoren 4 eine Abweichung A zwischen den realen bzw. tatsächlichen Merkmalen 14 und den fehlerhaft extrahierten Merkmalen 36. Eine mögliche Auswirkung einer derartigen Sensordekalibration auf die kartenempfangende Einheit 10 ist eine falsche Lokalisierung innerhalb der Merkmalskarte 20.
-
Die 4 zeigt ein schematisches Ablaufdiagramm zum Veranschaulichen eines Verfahrens 2 zum Kalibrieren von Sensoren 4 durch ein Steuergerät 16 gemäß einer Ausführungsform.
-
Hierzu wird eine Merkmalskarte 20 mit extrahierten Landmarken 34 empfangen oder aufgerufen 40.
-
Anschließend werden Messdaten von mindestens einem Sensor 4 empfangen 42 und aus den empfangenen Messdaten Merkmale 14 extrahiert 44. Es wird anschließend eine erste Position 46 und/oder erste Orientierung innerhalb der Merkmalskarte 20 durch einen Abgleich der aus Messdaten extrahierten Merkmale 14 mit den Landmarken 34 der Merkmalskarte 20 ermittelt.
-
Parallel hierzu wird eine zweite Position 48 und/oder zweite Orientierung durch Auswerten von Messdaten 50 einer Odometriesensorik und/oder eines GNSS-Sensors ermittelt.
-
In einem weiteren Schritt 52 erfolgt ein Vergleich der ersten Position 46 und/oder ersten Orientierung mit der zweiten Position 48 und/oder zweiten Orientierung. Bei einer festgestellten Abweichung A zwischen der ersten Position 46 bzw. der ersten Orientierung und der zweiten Position 48 bzw. der zweiten Orientierung wird eine Dekalibrierung festgestellt und eine Kalibrierung 54 durchgeführt.
-
Hierzu kann beispielsweise die Abweichung A zwischen den fehlerhaften Merkmalen 36 und den tatsächlichen Merkmalen 14 durch die abgeschätzte zweite Position 48 bzw. zweite Orientierung aufgedeckt und durch Berechnen von Kalibrierungsparametern 56 kompensiert bzw. korrigiert werden. Die berechneten Kalibrierungsparameter 56 können anschließend bei der Merkmalsextraktion 44 durch das Steuergerät 16 berücksichtigt werden.
-
Das Verfahren 3 zum Detektieren einer Dekalibrierung durch die Servereinheit 6 kann analog zum Verfahren 2 durchgeführt werden. In einem Schritt werden aus Messdaten 42 extrahierte Merkmale 14, 15 unterschiedlicher Einheiten 8 zum Erstellen einer Merkmalskarte 20 empfangen. Die empfangenen Merkmale 14, 15 werden zum Bilden von Landmarken 34 zusammengefasst bzw. aggregiert 18.
-
Bei der Aggregation 18 können von regulären Merkmalen 14 abweichende Merkmale 15 identifiziert und bestimmten Einheiten 9 zugeordnet werden. Der Vorgang der Aggregation 18 ist in der 5 veranschaulicht. Bei mindestens einem Sensor 4 bzw. einer Einheit 9, welche als Quelle für die abweichenden Merkmale 15 dient, wird anschließend eine Dekalibrierung detektiert 58.
-
Basierend auf der festgestellten Dekalibrierung 58 können Kalibrierungsparameter 30 bestimmt und der Einheit 9 zur Verfügung gestellt werden 32.
-
Die 5 zeigt einen schematischen Ablauf zum Veranschaulichen einer robusten Aggregation 18 von Umfeldmerkmalen 14, 15 zur Merkmalskartenerstellung 20. Es werden von verschiedenen Fahrzeugen bzw. Einheiten 8, 9 einer Flotte erkannte Merkmale 14, 15 zu Landmarken 34 aggregiert. Die Landmarken 34 werden aus allen Merkmalen 14 innerhalb eines Toleranzbereichs 35 erstellt. Nicht zuordenbare Umfeldmerkmale 15 bzw. Merkmale außerhalb des Toleranzbereichs 35 werden als „Ausreißer“ klassifiziert. Diese Information kann gemeinsam mit einer genaueren Schätzung der Kalibrieroffsets beispielsweise einem Flottenfahrzeug via Mobilfunk zur Verfügung gestellt werden.
