DE102018201154A1

DE102018201154A1 - Verfahren zur Kalibrierung von Sensoren und/oder von Sensoranordnungen

Info

Publication number: DE102018201154A1
Application number: DE102018201154.0A
Authority: DE
Inventors: Boris Klebanov
Original assignee: Hella GmbH and Co KGaA
Current assignee: Cariad SE
Priority date: 2018-01-25
Filing date: 2018-01-25
Publication date: 2019-07-25

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung von zumindest einem Sensor oder von Sensoren und/oder von zumindest einer Sensoranordnung und/oder von Sensoranordnungen, insbesondere von Sensoren und/oder von Sensoranordnungen von Kraftfahrzeugen, wobei eine auf zumindest einer vordefinierten Kalibrierung beruhende Kalibrierung durchgeführt wird.

Description

Technisches Gebiet
Die Erfindung betrifft ein Verfahren zur Kalibrierung von zumindest einem Sensor oder von Sensoren und/oder von zumindest einer Sensoranordnung und/oder von Sensoranordnungen, insbesondere von Sensoren und/oder von Sensoranordnungen von Kraftfahrzeugen.
Stand der Technik
Kraftfahrzeuge weisen immer häufiger Fahrerassistenzsysteme auf, welche den Fahrer beim Fahren des Kraftfahrzeugs unterstützen sollen und die Sicherheit und den Komfort erhöhen sollen. Dazu werden mittels Sensoren und Sensoranordnungen Daten erfasst und verarbeitet, um die Funktionen der Fahrerassistenzsysteme ausführen zu können.
Auch zum hochautomatisierten, vollautomatisierten bzw. autonomen Fahren eines Kraftfahrzeugs werden Daten von Sensoren, auch als Sensordaten benannt, verwendet, anhand welcher der Fahrzeugkontext, also die Fahrzeugumgebung und deren Eigenschaften, erfasst und je nach Funktionalität und Assistenzsystem Handlungen und Planungen durchgeführt werden. Um einen Sensor oder eine Sensoranordnung, auch Sensorsystem genannt, als Messgerät verwenden zu können, ist eine Kalibrierung des Sensors bzw. der Sensoranordnung unumgänglich. Dabei ist eine Voraussetzung für jegliche Interpretation von Messdaten eines Sensors, also Sensordaten, eine intrinsische Kalibrierung des Sensors durchzuführen. Darüber hinaus wird zur Umrechnung von Messdaten von einem Koordinatensystem des Sensors in ein anderes Koordinatensystem eine extrinsische Kalibrierung des Sensors benötigt.
Darüber hinaus üben Eigenschaften sowie die Lage des Sensors zur umgebenden Welt auch einen Einfluss auf die Ermittlung der Position bzw. Lage von Merkmalen oder Objekten aus.
Durch eine fehlende Rekalibrierung des Umfeldes und/oder der Sensoren des Kraftfahrzeugs bzw. der Sensoranordnung des Kraftfahrzeugs und dadurch entstehende Fehler steigen neben einer ungenauen Lokalisierung von Merkmalen oder Objekten auch die Risiken einer Fehldetektion oder Fehlklassifizierung, da für die Detektion und/oder Klassifizierung von Objekten oder Merkmalen häufig positionsabhängige Eigenschaften verwendet werden.
Bereits kleine Kalibrierfehler wirken sich daher negativ auf die Ergebnisse von Sensoren und Sensoranordnungen, wie Mehrsensoranordnungen, aus. Insbesondere die Sensordatenfusion als Datenzusammenführung und Auswertung von Sensordaten mehrerer Sensoren ist davon negativ betroffen.
Dabei ist es für die Sensordatenfusion eine Voraussetzung, dass Kenntnisse der relativen Position und Orientierung der einzelnen Sensoren zueinander vorliegen, was eine extrinsische Kalibrierung erfordert.
Ebenfalls für eine korrekte Sensordatenfusion vorteilhaft ist die Berücksichtigung von Latenzzeiten der Sensoren. Latenzzeiten können dabei beispielsweise durch einen asynchronen Systemaufbau der Sensoren, eine sensorinterne Vorverarbeitung und/oder durch die Kommunikation zwischen den Sensoren und Sensoranordnungen beispielsweise über Datenbussysteme entstehen. Dabei bedeutet eine Latenzzeit eine sensoreigene zeitliche Verzögerung, wobei die Latenzzeiten einzelner Sensoren bzw. Sensoranordnungen zueinander nicht synchronisiert sein müssen, was zu negativen Auswirkungen führen kann.
Im Stand der Technik sind Verfahren zur Lösung einzelner Kalibrierprobleme in verschiedenen Ausführungsformen bezogen auf unterschiedliche Sensoren bekannt. Dabei wird üblicherweise jeder einzelne Sensor für sich kalibriert. Dabei kann zwischen Verfahren, welche einerseits ausschließlich bei der Produktion in Werkstätten oder speziell ausgerüsteten Garagen durchgeführt werden können sowie andererseits zwischen Verfahren, welche eine Kalibrierung während der Fahrt des Kraftfahrzeugs durchführen können, unterschieden werden. Darüber hinaus sind im Stand der Technik Verfahren zur zeitlichen Kalibrierung und Offsetbestimmung unterschiedlicher Sensoren entwickelt worden.
Aus dem Stand der Technik geht jedoch nicht hervor, wie aus den einzelnen Verfahren zur Kalibrierung einzelner Sensoren eine gesamthafte kalibrierte Sensoranordnung von Sensoren erzeugt und aufrechterhalten werden kann.
Diese Aufgabe wird für den Fachmann dadurch erschwert, dass viele Verfahren das Vorhandensein anderer Kalibrierdaten für den erfolgreichen Einsatz des offenbarten Verfahrens voraussetzen, was nicht als gegeben vorausgesetzt werden kann.
Verfahren aus dem Stand der Technik, welche mehrere Kalibrierprobleme lösen, sind zudem sehr rechenaufwändig und in der Praxis daher nicht gut verwendbar. Sollen bei einer Sensoranordnung mit mehreren Sensoren alle Abhängigkeiten berücksichtigt werden, ist ein solches Kalibrierverfahren nicht mehr sinnvoll durchführbar. In vielen aktuellen Serienanwendungen wird daher auf eine hochpräzise Kalibrierung zu Lasten einer reduzierten Genauigkeit und einer höheren Fehlerquoten verzichtet.
Je mehr sicherheitskritische Funktionen durch eine Fahrsoftware in einem Kraftfahrzeug übernommen werden sollen, desto wichtiger wird jedoch der Aspekt der präziseren Kalibrierung ohne allzu starke Reduzierung der Genauigkeit und ohne allzu starke Erhöhung der Fehlerquote.
Darstellung der Erfindung, Aufgabe, Lösung, Vorteile
Es ist die Aufgabe der Erfindung, ein Verfahren zur Kalibrierung von zumindest einem Sensor zu schaffen, das gegenüber dem Stand der Technik verbessert ist.
Die Aufgabe zu dem Verfahren wird mit den Merkmalen von Anspruch 1 gelöst.
Ein Ausführungsbeispiel der Erfindung betrifft ein Verfahren zur Kalibrierung von zumindest einem Sensor oder von Sensoren und/oder von zumindest einer Sensoranordnung und/oder von Sensoranordnungen, insbesondere von Sensoren und/oder von Sensoranordnungen von Kraftfahrzeugen, wobei eine auf zumindest einer vordefinierten Kalibrierung beruhende Kalibrierung durchgeführt wird. Dadurch kann das Ergebnis der Kalibrierung verbessert werden.
Bei einem Ausführungsbeispiel ist es auch zweckmäßig, wenn die auf zumindest einer vordefinierten Kalibrierung beruhende Kalibrierung eine extrinsische Kalibrierung und/oder eine intrinsische Kalibrierung ist oder darauf beruht. Dadurch kann die Kalibrierung auf Basis einer extrinsischen und/oder intrinsischen Kalibrierung durchgeführt werden, die zuvor vorgenommen oder erhalten wurden, was insgesamt die Qualität des Ergebnisses der Kalibrierung verbessert.
Auch ist es vorteilhaft, wenn die extrinsische Kalibrierung unter Berücksichtigung und/oder unter Verwendung der intrinsischen Kalibrierung durchgeführt wird. Dabei beruht die extrinsische Kalibrierung auf Daten einer insbesondere zuvor durchgeführten intrinsischen Kalibrierung, was die Qualität verbessert.
So ist es auch vorteilhaft, wenn die extrinsische Kalibrierung aufbauend auf einer vordefinierten intrinsischen Kalibrierung vorgenommen wird. Auch dadurch wird die Qualität verbessert.
Bei einem weiteren Ausführungsbeispiel ist es besonders vorteilhaft, wenn bei der extrinsischen Kalibrierung zumindest eine vordefinierte initialisierte Kalibrierung, insbesondere zumindest ein Parameter und/oder Modell der vordefinierten initialisierten Kalibrierung verwendet wird bzw. werden, die während der Fahrt korrigiert wird bzw. werden. Dadurch wird aufgrund der Korrektur während der Fahrt die Qualität im Wesentlichen aktuell verbessert.
Dabei ist es vorteilhaft, wenn zumindest ein Parameter der vordefinierten initialisierten Kalibrierung durch die intrinsische Kalibrierung kalibriert wird.
Dabei können insbesondere vordefinierte initialisierte Werte und/oder zuvor ermittelte Parameter verwendet werden, um aktualisierte Parameter der Kalibrierung zu ermitteln. Dies bedeutet, dass eine Aktualisierung basierend auf initialisierten Werten oder auf zuvor ermittelten Parametern erfolgt, um eine Verbesserung der Qualität zu erreichen. Dabei kann beispielsweise ein Anfangsschritt der Aktualisierung auf Basis von initialisierten Werten durchgeführt werden und später in nachfolgenden Schritten können zuvor ermittelte Werte verwendet werden.
Bei einem weiteren Ausführungsbeispiel ist es auch vorteilhaft, wenn die Kalibrierung parameterweise vorgenommen wird. Dadurch kann jeder erwünschte Parameter bedarfsgerecht kalibriert werden.
Vorteilhaft ist es auch, wenn bei der parameterweisen Kalibrierung zunächst ein erster Kalibrierparameter ermittelt wird und anschließend ein zweiter Kalibrierparameter unter Verwendung des ersten Kalibrierparameters ermittelt wird. Dadurch kann die Qualität verbessert werden.
Bei einem weiteren Ausführungsbeispiel ist es auch vorteilhaft, wenn die zumindest eine vordefinierte Kalibrierung einen vordefinierten Wert des zweiten Kalibrierparameters umfasst. Dadurch kann beispielsweise bei einem beginnenden Schritt der Kalibrierung ein vordefinierter Wert herangezogen werden, wobei zu einem nachfolgenden Schritt beispielsweise ein kalibrierter Wert verwendbar ist.
Bei einem weiteren Ausführungsbeispiel ist es auch zweckmäßig, wenn Korrekturwerte der Lage von Sensoren gegenüber der angenommenen Lage der Sensoren zueinander oder zu einem ortsfesten Bezugssystem, insbesondere als Parameter der zumindest einen Kalibrierung, ermittelt werden. Dadurch kann eine relative Kalibrierung vorgenommen werden.
Vorteilhaft ist es auch, wenn zeitliche Verzögerungen von Sensorsignalen zueinander, insbesondere als Parameter der zumindest einen Kalibrierung, erfasst und ausgewertet werden. Dies kann berücksichtigen, dass die Sensoren beabstandet zueinander oder zu einem zu messenden Objekt angeordnet sind, um beispielsweise Laufzeitunterschiede nutzen zu können.
Vorteilhaft ist es auch, wenn das Verfahren zur Kalibrierung ausgeht von einem Kalibrierset, wie einem Datensatz, mittels welchem die Kalibrierung in einem ersten Zyklus durchgeführt wird, wobei aus der Kalibrierung aktualisierte Korrekturwerte ermittelt werden, mittels welchen das Kalibrierset korrigiert wird, so dass in einem zweiten Zyklus ein korrigiertes Kalibrierset verwendet wird.
Bei einem weiteren Verfahren ist es beispielsweise auch vorteilhaft, wenn das Kalibrierset zumindest eine Kalibrierung, insbesondere Parameter und/oder Modelle der Kalibrierung, enthält.
Auch ist es zweckmäßig, wenn die aktualisierten Korrekturwerte Werte zur Anpassung der Kalibrierung, insbesondere der Parameter und/oder Modelle der Kalibrierung und/oder eine angepasste Kalibrierung, insbesondere der Parameter und/oder Modelle der Kalibrierung sind.
Gemäß einem weiteren Gedanken ist es auch vorteilhaft, wenn zumindest einer oder zwei der folgenden Parameter gegebenenfalls getrennt kalibriert werden: Gierratenoffset, Gierratenverzögerung, Gier-, Wank-, Roll- und/oder Nickwinkel der Kamera.
Vorteilhaft ist es auch, wenn die Kalibrierung in einer Reihenfolge erfolgt: 1. Gierratenoffset, insbesondere im Stillstand kalibriert, 2. Gier- und Nickwinkel der Kamera, insbesondere bei im Wesentlichen gerader Fahrt, 3. Gierratenoffset, insbesondere bei im Wesentlichen gerader Fahrt und 4. Gierratenverzögerung, insbesondere bei einer Kurvenfahrt.
Innerhalb einer intrinsischen Kalibrierung werden kalibriert bzw. können vorteilhafterweise alle Eigenschaften eines Sensors kalibriert werden, welche sich beispielsweise ausschließlich auf den Sensor selbst beziehen. Dies betrifft insbesondere das Messverfahren. Die intrinsische Kalibrierung eines Sensors ermöglicht es also zu ermitteln, wie sich ein Messobjekt und/oder ein Messereignis auf das Messergebnis des Sensors oder der Sensoranordnung überträgt bzw. abbildet.
In der Praxis ist es möglich, mit den Daten der intrinsischen Kalibrierung eine Berechnung gemäß einem Sensormodell durchzuführen, welche eine Umrechnung eines Messereignisses und/oder Messobjekts in ein erwartetes Messergebnis vornimmt. Weiterhin ist es möglich oder vereinfacht, von einem Messergebnis auf ein das Vorhandensein eines konkreten Messereignisses und/oder Messobjekts zu schließen.
Erfindungsgemäß soll unter einer intrinsischen Kalibrierung einer Sensoranordnung eine Kalibrierung verstanden werden, welche einige oder alle Eigenschaften der Sensoranordnung kalibriert, welche sich ausschließlich auf die Sensoranordnung, insbesondere auf das Messverfahren der Sensoranordnung bezieht. Dabei ist es möglich, dass mehrere Sensoren Bestandteil der Sensoranordnung sind. In diesem Fall umfasst die intrinsische Kalibrierung neben oder anstelle von Modellen der Einzelsensoren auch ein Gesamtmodell der Sensoranordnung mit entsprechenden Parametern.
Vorteilhaft ist eine intrinsische Kalibrierung daher abhängig von Systemgrenzen zu verstehen und bezieht sich immer auf abgrenzbare Systeme. Dies ist insbesondere dann vorteilhaft, wenn die Zusammenhänge der Sensoren des Systems feststehen, also vorbekannt sind. Daher schlägt die Erfindung optional vor, eine intrinsische Kalibrierung vorzudefinieren. Es ist also vorteilhaft wenn das Modell und/oder die Parameter der intrinsischen Kalibrierung vordefiniert sind. Die Erfassung der intrinsischen Kalibrierung kann während der Entwicklung des Sensors oder Sensorsystems, bei der Produktion oder innerhalb eines vorgelagerten Verfahrens erfolgen. Dabei ist es vorteilhaft, wenn ein Zugriff auf das Modell und/oder die Parameter der intrinsischen Kalibrierung vorgesehen ist, damit diese durch nachgelagerte Verfahren verwendet werden können.
Anschließend wird vorteilhaft die extrinsische Kalibrierung vorgenommen. Unter einer extrinsischen Kalibrierung soll dabei optional das Herstellen eines Zusammenhangs zwischen dem Sensor und seiner Umgebung und/oder zu anderen Sensoren des Gesamtsystems verstanden werden. Dieser Zusammenhang ist insbesondere zeitlicher und/oder örtlicher Art und Weise. Dabei ist es vorteilhaft, wenn die zeitlichen und/oder örtlichen Parameter relativ zu einem Bezugssystem ermittelt werden. Als Bezugssysteme eignen sich insbesondere das Fahrzeug, die Straße, ein Referenzsensor oder externe Größen der Welt.
Besonders vorteilhaft ist es, wenn die extrinsische Kalibrierung aufbauend auf einer vordefinierten intrinsischen Kalibrierung vorgenommen wird. Damit wird die intrinsische Kalibrierung als Grundlage für die extrinsische Kalibrierung herangezogen, so dass die intrinsische Kalibrierung bereits mögliche Fehler korrigiert hat. Auf diese Weise kann die extrinsische Kalibrierung auf Basis von Messungen zumindest eines Sensors, für den eine Kalibrierung erfolgen soll, durchgeführt werden. Vorteilhaft werden für die Messungen die intrinsische Kalibrierung, wie insbesondere das Modell und Parameter der intrinsischen Kalibrierung, herangezogen.
Weiterhin ist es vorteilhaft, wenn als extrinsische Kalibrierung zunächst vordefinierte Werte angenommen werden, die während der Fahrt korrigiert werden. Bei der vordefinierten Kalibrierung kann es sich insbesondere um vordefinierte Parameter und das Modell der extrinsischen Kalibrierung, sowie eine Funktion zum Erhalt oder zur Verwendung der Kalibrierung handeln. Dadurch kann die Funktionalität des Systems vor und während der extrinsischen Kalibrierung, wie Online-Kalibrierung, sicher gestellt werden. Darüber hinaus wird die Durchführung der extrinsischen Kalibrierung vereinfacht. Dies erfolgt beispielsweise dadurch, dass die initialisierten Werte als Ausgangswert für die Suche nach dem korrekten Wert verwendet werden.
Auch ist es vorteilhaft, wenn die vordefinierten initialisierten Werte durch die extrinsische Kalibrierung korrigiert werden. Die Kalibrierung beginnt unter Verwendung vordefinierter Werte, die in weiteren Verfahrenszyklen korrigiert werden und dann wieder zur Grundlage der Kalibrierung werden. Dies bedeutet, dass anschließend die Kalibrierung unter Verwendung der korrigierten Kalibrierung vorgenommen wird, um eine aktualisierte korrigierte Kalibrierung zu erzeugen. Weiterhin kann parallel ein Verfahren auf Basis der durch die Sensoren ermittelten Daten unter Verwendung der jeweils aktuellen Kalibrierdaten durchgeführt werden. Bei der korrigierten Kalibrierung kann es sich insbesondere um die Parameter der extrinsischen Kalibrierung handeln.
Vorteilhaft ist es auch, wenn bei der extrinsischen Kalibrierung vordefinierte initialisierte Werte verwendet werden, die während der Fahrt korrigiert werden. Bei den Werten kann es sich insbesondere um die Parameter der extrinsischen Kalibrierung handeln. Dadurch können auch Zusammenhänge vom Sensor zur Umgebung sowie zwischen Sensoren für eine Kalibrierung genutzt und/oder überprüft werden.
Es ist auch vorteilhaft, wenn bei der extrinsischen Kalibrierung zuvor ermittelte und/oder korrigierte Werte verwendet werden, die während der Fahrt weiter aktualisiert werden.
Weiterhin ist es vorteilhaft, wenn die extrinsische Kalibrierung parameterweise durchgeführt wird. Dies ermöglicht eine Durchführung der Kalibrierung in Verfahrensschritten, welche gegenüber dem Gesamtproblem von geringerer Berechnungskomplexität sind. Weiterhin ist es möglich die Kalibrierung anhand von Sensordaten im Zusammenhang mit der Umgebung und/oder anderen Sensoren durchzuführen und zur Überprüfung zumindest einer Teilmenge von Parametern heranzuziehen.
Vorteilhaft ist es dabei, wenn zumindest eine erste Teilmenge der Parameter vor einer zweiten Teilmenge der Parameter kalibriert wird. Insbesondere können dabei zur Verwendung der ersten und der zweiten Teilmenge die aktuell gültigen Werte, wie insbesondere vordefinierte oder korrigierte Werte, zur Durchführung des Kalibrierverfahrens verwendet werden.
Vorteilhaft ist es auch, wenn vordefinierte initialisierte Werte und/oder zuvor ermittelte Kalibrierparameter verwendet werden, um aktualisierte Kalibrierparameter parameterweise zu ermitteln. Damit werden die Kalibrierparameter parameterweise und insbesondere zyklusweise aktualisiert bzw. korrigiert.
Besonders vorteilhaft ist es, wenn Korrekturwerte der Lage von Sensoren gegenüber der angenommenen Lage der Sensoren zueinander oder zu einem ortsfesten Bezugssystem ermittelt werden. Damit kann auch eine relative Lage der Sensoren kalibriert werden.
Besonders vorteilhaft ist es, wenn zeitliche Verzögerungen von Sensorsignalen zueinander erfasst und ausgewertet werden. Damit können zeitliche Abhängigkeiten bewusst genutzt werden, beispielsweise auch von Zyklus zu Zyklus.
Besonders vorteilhaft ist es, wenn das Verfahren zur Kalibrierung ausgeht von einem Kalibrierset, wie einem Datensatz, mittels welchem die Kalibrierung in einem ersten Zyklus durchgeführt wird, wobei aus der Kalibrierung aktualisierte Korrekturwerte ermittelt werden, mittels welchen das Kalibrierset korrigiert wird, so dass in einem zweiten Zyklus ein korrigiertes Kalibrierset verwendet wird.
Dadurch können der Fahrsoftware fortlaufend aktualisierte Kalibrierdaten zur Interpretation der Messungen zur Verfügung gestellt werden.
Bei einem Ausführungsbeispiel ist es vorteilhaft, wenn die folgenden Parameter gegebenenfalls getrennt kalibriert werden: Gierratenoffset, Gierratenverzögerung, Gier- und/oder Nickwinkel der Kamera.
Vorteilhaft ist es, wenn die Kalibrierung in einer Reihenfolge erfolgt: 1. Gierratenoffset, insbesondere im Stillstand kalibriert, 2. Gier- und Nickwinkel der Kamera, insbesondere bei im Wesentlichen gerader Fahrt, 3. Gierratenoffset, insbesondere bei im Wesentlichen gerader Fahrt und 4. Gierratenverzögerung, insbesondere bei einer Kurvenfahrt. Damit lassen sich zum Teil auch vorherrschende Abhängigkeiten entkoppeln oder umgehen.
Weitere vorteilhafte Ausgestaltungen sind durch die nachfolgende Figurenbeschreibung und durch die Unteransprüche beschrieben.
Figurenliste
Nachstehend wird die Erfindung auf der Grundlage zumindest eines Ausführungsbeispiels anhand der Zeichnungen näher erläutert. Es zeigen:

1 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
2 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
3 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
4 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
5 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
6 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
7 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
8 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
9 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung,
10 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung, und
11 eine Darstellung eines Blockschaltbilds zur Erläuterung der Erfindung.

Bevorzugte Ausführung der Erfindung
Die Erfindung betrifft ein Verfahren zur Kalibrierung von Sensoren und/oder Sensoranordnungen.
Die 1 zeigt ein Blockschaltbild 1 zur Erläuterung des erfindungsgemäßen Verfahrens. Das erfindungsgemäße Verfahren zur Kalibrierung von zumindest einem Sensor oder von Sensoren und/oder von zumindest einer Sensoranordnung oder von Sensoranordnungen schlägt vor, die extrinsische Kalibrierung aufbauend auf einer vordefinierten intrinsische Kalibrierung vorzunehmen und in einem Verfahren, welches vordefinierte initialisierte (Vorgabe)Werte verwendet, während der Fahrt zu korrigieren.
Die 2 zeigt, dass das Verfahren zur Kalibrierung ausgeht von einem so genannten Kalibrierset 2, also einem Datensatz, mit welchem die Kalibrierung durchgeführt wird. Mit diesem vordefinierten Datensatz 2 bzw. Kalibrierset wird die Kalibrierung in dem Verfahren zur Kalibrierung in Block 3 durchgeführt. Aus der Kalibrierung resultieren aktualisierte Korrekturwerte 4, die zu dem Datensatz bzw. Kalibrierset zurückgeführt werden, wobei damit der Datensatz bzw. das Kalibrierset korrigiert werden, so dass in einem nächsten Zyklus ein korrigierter Datensatz bzw. ein korrigiertes Kalibrierset verwendet werden. Weiterhin wird ein Verfahren vorgeschlagen, welches initialisierte (Vorgabe)Werte als Initialisierungswerte und zuvor ermittelte Kalibrierparameter verwendet, um aktualisierte Kalibrierparameter zu ermitteln. Die Initialisierungswerte gemeinsam mit den ergänzten Kalibrierparametern und/oder Korrekturwerten soll Kalibrierset genannt werden.
Ursächlich für die Notwendigkeit einer Kalibrierung bzw. Rekalibrierung sind Bewegungen und Veränderungen des Gesamtsystems bzw. der gesamten Sensoranordnung, welche sich auf den Sensor bzw. auf die Sensoranordnung auswirken. Es hat sich gezeigt, dass ein großes Potential um die Genauigkeit zu erhöhen darin besteht, dass die extrinsische Kalibrierung fortlaufend zur Welt durchgeführt wird.
Die Verfahrensweise sieht dabei vor, dass in einer ersten Initialisierungsphase vordefinierte Parameter für alle benötigten Kalibrierwerte geladen bzw. gesetzt werden, siehe Block 3 der 1. Diese vordefinierten Parameter können vordefinierte Werte, also Vorgabewerte, und/oder fahrzeug-, modell- und/oder flottenabhängige Konfigurationen und deren entsprechende Daten sein. Diese Daten werden entweder bereits vor oder während der Produktion dem Fahrzeug oder der Sensorik zur Verfügung gestellt oder anschließend an das Fahrzeug oder an den Sensor oder an die Sensoranordnung übertragen.
Das Verfahren schlägt dabei auch vor, ein bestehendes Kalibrierset 2 auf Konsistenz zu überprüfen und die bei der Überprüfung ermittelten Differenzen zwischen Istwerten und Sollwerten des Kalibriersets mittels eines Optimierungsverfahrens zu minimieren.
Hierfür kann ein Positionsmerkmal zunächst auf eine erste Art und Weise unter Verwendung eines Teils des Kalibriersets erfasst und für das Ermitteln einer Abweichung unter Verwendung der auf Konsistenz zu überprüfenden Größen neu berechnet werden.
Alternativ wird ein Merkmal auf zwei verschiedene Arten unter Verwendung von Werten des Kalibriersets erfasst, wobei unter Anpassung der auf Konsistenz zu überprüfenden Größen anschließend die Abweichung als Differenz mit Hilfe eines Optimierungsverfahrens minimiert wird, siehe 2. Ausgehend von dem Kalibrierset 12 wird auf Basis von vordefinierten Parametern inklusive eventueller Korrekturwerte eine erste Positionsmerkmalsberechnung in Block 13 durchgeführt und parallel dazu wird eine zweite Positionsmerkmalsberechnung in Block 14 durchgeführt. In Block 15 wird ein Vergleich der Positionsmerkmale der Blöcke 13 und 14 vorgenommen und es wird ein Anpassungswert bestimmt, welcher dem Kalibrierset 12 als aktualisierte Korrekturwerte zurückgeführt wird.
Der resultierende zumindest eine Anpassungswert wird abschließend im Kalibrierset 12 gespeichert und zur Erzeugung aktualisierter Werte des Kalibriersets 12 herangezogen und/oder anderweitig für eine weitere Verwendung zur Verfügung gestellt. Dadurch kann der Anpassungswert und/oder das aktualisierte Kalibrierset bzw. der aktualisierte Datensatz bei der folgenden Erkennung der Fahrzeugumgebung, wie von statischen und/oder dynamischen Objekten, berücksichtigt werden. Auch können die Korrekturwerte nachfolgenden Modulen zur Verfügung gestellt und/oder über spezielle Schnittstellen anderen Modulen zur Verfügung gestellt werden.
In einer Ausführungsform ist es vorteilhaft, wenn Positionsmerkmale zunächst auf eine erste Art und Weise unter Verwendung eines Teils des Kalibriersets anhand der Daten eines Sensors erfasst werden und für das Ermitteln einer Abweichung unter Verwendung der auf Konsistenz zu überprüfenden Größen unter Hinzunahme der Daten eines weiteres Sensors neu berechnet werden.
Alternativ können Merkmale auch auf zwei verschiedene Arten unter Verwendung von Werten des Kalibriersets und der Daten zumindest zweier Sensoren erfasst werden, wobei unter Anpassung der auf Konsistenz zu überprüfenden Größen anschließend die Abweichung als Differenz mit Hilfe eines Optimierungsverfahrens minimiert wird, siehe 3.
Ausgehend von dem Kalibrierset 22 wird auf Basis von vordefinierten Parametern inklusive eventueller Korrekturwerte eine erste Positionsmerkmalsberechnung in Block 23 auf Basis der Daten des Sensors 26 durchgeführt und parallel dazu wird eine zweite Positionsmerkmalsberechnung in Block 14 auf Basis der Daten des Sensors 27 durchgeführt. In Block 25 wird ein Vergleich der Positionsmerkmale der Blöcke 23 und 24 vorgenommen und es wird ein Anpassungswert bestimmt, welcher dem Kalibrierset 22 als aktualisierte Korrekturwerte zurückgeführt wird.
In einer weiteren Ausführungsform kann ein erstes Positionsmerkmal 33 unter Verwendung von Werten des Kalibriersets 32 auf Basis von Daten des Sensors 36, wie Sensordaten, ermittelt werden und anschließend unter Verwendung des ersten Positionsmerkmals 33 anhand der Daten eines weiteren Sensors 37 oder anhand anderer Daten des gleichen Sensors 36 neu berechnet werden, siehe 4.
Dabei ist es optional auch sinnvoll, wenn Positionsmerkmale 33, 34, die zu verschiedenen Zeitpunkten ermittelt sind, zur Ermittlung der Abweichung herangezogen werden. In einer weiteren vorteilhaften Ausführungsform schlägt die Erfindung daher vor, Positionsmerkmale zunächst auf eine erste Art und Weise unter Verwendung eines Teils des Kalibriersets anhand der der zu einem Zeitpunkt korrespondierenden Daten eines Sensors zu erfassen und zu einem späteren Zeitpunkt für das Ermitteln einer Abweichung unter Verwendung der auf Konsistenz zu überprüfenden Größen neu zu berechnen.
Alternativ dazu können auch Merkmale auf zwei verschiedene Arten zu verschiedenen Zeitpunkten unter Verwendung von Werten des Kalibriersets und der Daten zumindest zweier Sensoren erfasst werden, wobei unter Anpassung der auf Konsistenz zu überprüfenden Größen anschließend die Abweichung als Differenz mit Hilfe eines Optimierungsverfahrens minimiert wird.
Dafür ist ein Wiederauffinden der jeweiligen betrachteten Positionsmerkmale in den zu verschiedenen Zeitpunkten korrespondierenden Datensätzen notwendig. Daher ist es insbesondere vorteilhaft, wenn die betrachteten Zeitpunkte unmittelbar aufeinander folgen, so dass das Auffinden der relevanten Positionsmerkmale einfach ist, weil die erwartete Veränderung zwischen den betrachteten Zeitpunkten nicht sehr groß ist.
Die auf Basis der Abweichung zwischen zwei Sensoren ermittelten Anpassungswerte 35 können zur Umrechnung der Sensordaten in das Bezugssystem des jeweils anderen Sensors verwendet werden. In vielen Anwendungsfällen reicht dies aus. Soll jedoch ein Fehler in den Daten in Bezug auf die sensoreigene Messeinheit behoben werden oder eine Abweichung zu einem ein ortsunabhängiges Bezugssystem ermittelt werden, so sind weitere Informationen hilfreich.
Dies ist dadurch begründet, dass die Anteile der jeweiligen Sensoren an der Abweichung und somit am Anpassungswert bisher nicht bekannt sind, wenn nicht die Daten eines verwendeten Sensors bereits korrekt sind. Im Falle, dass dies nicht sichergestellt ist, kann der jeweilige Anteil am Korrekturwert gegebenenfalls auch geschätzt werden, indem er der wahrscheinlichsten Ursache zugewiesen wird. Dies kann pauschal oder aufgrund der vorliegenden Sensorgenauigkeiten und/oder des Fahrzeugmodells, wie beispielsweise eines Einspurmodells oder eines Zweispurmodells, geschehen. Als Einspurmodell wird dabei beispielsweise ein Motorrad und als Zweispurmodell wird beispielsweise ein Auto angenommen. Dabei kann beispielsweise angenommen werden, dass die Bewegungen des Fahrzeugs zu einem ortsfesten Bezugssystem groß im Vergleich zu den Bewegungen der Sensoren zum Fahrzeug sind.
Ein Vorteil der Verwendung des Verfahrens besteht darin, dass eine Ermittlung des tatsächlichen Fehlers sowohl vorgelagert als auch nachgelagert erfolgen kann. Auf diese Weise können zunächst auf einem konsistenten Datenstand, welcher eine hinreichende Fehlerkorrektur durchführt, Informationen ermittelt werden, welche anschließend zu einer vollständigen Fehlerkorrektur herangezogen werden können. Auf diese Weise wird eine Lösung der beidseitigen Abhängigkeit der Kalibrierverfahren und der Datenfusion auf vielfältige Art und Weise ermöglicht.
Die Erfindung schlägt daher in einem weiteren Ausführungsbeispiel vor, dass vordefinierte initialisierte (Vorgabe)Werte während der Fahrt derart korrigiert werden, dass zumindest eine Größe anhand eines ersten Verfahrens kalibriert wird und weitere Größen abhängig von den ersten Größen kalibriert werden. Dies kann für weitere Sensoren auf Basis der korrigierten Daten des ersten oder des zweiten Sensors fortgesetzt werden. Die 5 zeigt ein Blockdiagramm für ein solches Verfahren. Dabei wird ausgehend von dem ersten Kalibrierverfahren 41 auf Basis des Sensors 42 eine Kalibrierung 43 der zumindest einen Größe durchgeführt. Aus dieser Kalibrierung 43 wird eine Korrektur 44 aus der Abweichung vorgenommen, die zur Kalibrierung 46 einer weiteren Größe auf Basis des Sensors 45 herangezogen wird. Aus dieser Kalibrierung 46 kann weiterhin eine Korrektur 47 aus der Abweichung vorgenommen werden, die zur Kalibrierung 49 einer weiteren Größe auf Basis des Sensors 48 herangezogen werden kann.
Alternativ kann in einem Verfahren zumindest ein Korrekturwert zumindest einer zu überprüfenden Größe bezüglich zweier Sensoren ermittelt werden. Davon unabhängig kann in einem weiteren Verfahren der Fehler der Größen eines ersten Sensors bezüglich der sensoreigenen Messeinheit oder eines ortsfesten Bezugssystems ermittelt werden. Abschließend kann so der Fehler der Größen des zweiten Sensors aus der Abweichung und dem Fehler des ersten Sensors bestimmt werden. Dies kann dadurch erfolgen, dass der Kalibrierfehler bezüglich des zweiten Sensors als Differenz der Abweichung und des Fehlers bezüglich des ersten Sensors bestimmt wird. Dabei ist ggf. eine Umrechnung von Einheiten zu berücksichtigen.
Alternativ oder zusätzlich ist es vorteilhaft, wenn Korrekturparameter für initialisierte (Vorgabe)Werte während der Fahrt ermittelt werden und diese Korrekturwerte für ein erstes Verfahren verwendet werden und wobei in einem nachgelagerten Modul die Größen anhand weiterer Informationen in einem Fusionsmodul korrigiert werden. Dies kann insbesondere durch das Ermitteln einer Abweichung erfolgen, anhand welcher Korrekturparameter geschätzt werden und welche anschließend neu berechnet oder unter Berücksichtigung dieser ermittelten Abweichungen oder Korrekturwerte verbessert werden.
Bei den jeweiligen Verfahren werden zur Kalibrierung Bezugsgrößen verwendet, um die Kalibrierung durchführen zu können. Dabei können solche Bezugsgrößen beispielsweise sein: ein Fahrzeug, eine Straße, ein Horizont, die Welt, wie die Umgebung des Sensors oder der Sensoranordnung, eine Fahrzeugsensorik und/oder eine Umfeldsensorik.
Beim einem gemeinsamen Einsatz von Verfahren, welche unterschiedliche Bezugsgrößen verwenden, ist es auch vorteilhaft, wenn Transformationsregeln zwischen den jeweiligen Bezugsgrößen angewendet werden. Diese Transformationsregeln können beispielsweise aus Kartendaten oder durch andere Verfahren entnommen oder ermittelt werden.
Bei den Bewegungen des Fahrzeugs zu einem ortsfesten Bezugssystem können längerfristige Einflüsse, welche durch Beladung, Reifendruck oder Ähnliches entstehen, von kurzfristigen Einflüssen, welche durch die Fahrdynamik bedingt sind, unterschieden werden. Dabei wirken sich kurzfristige Veränderungen gegenüber längerfristigen Einflüssen als zufällige Fehler aus. Um dennoch systematische längerfristige Abweichungen feststellen zu können, ist es vorteilhaft, wenn solche zufälligen Fehler nicht berücksichtigt werden.
Um die Wirkung von zufälligen Fehlern der Positionsmerkmale und/oder der Fahrzeugdaten zu verringern, kann das Verfahren mehrere unterschiedliche Positionsmerkmale und/oder Fahrzeugdaten zur Bestimmung der Anpassungswerte heranziehen. Hierfür werden dann insbesondere mehrere Abweichungen ermittelt. Insbesondere kann das Verfahren zu verschiedenen Zeitpunkten korrespondierende Positionsmerkmale und Fahrzeugdaten verwenden.
Die 6 zeigt, wie ein erstes Positionsmerkmal 51 anhand von Daten/Informationen eines ersten Sensors 52 ermittelt wird und wie ein zweites Positionsmerkmal 53 anhand von Daten/Informationen eines zweiten Sensors 54 ermittelt wird und aus diesen Positionsmerkmalen eine Abweichung 55 zu einem ersten Zeitpunkt ermittelt wird. Zu einem zweiten Zeitpunkt wird ein erstes Positionsmerkmal 61 anhand von Daten/Informationen eines ersten Sensors 52 ermittelt und es wird ein zweites Positionsmerkmal 63 anhand von Daten/Informationen eines zweiten Sensors 54 ermittelt und aus diesen Positionsmerkmalen wird eine Abweichung 65 zum zweiten Zeitpunkt ermittelt. Zu einem dritten Zeitpunkt wird ein erstes Positionsmerkmal 71 anhand von Daten/Informationen eines ersten Sensors 52 ermittelt und es wird ein zweites Positionsmerkmal 73 anhand von Daten/Informationen eines zweiten Sensors 54 ermittelt und aus diesen Positionsmerkmalen wird eine Abweichung 75 zum zweiten Zeitpunkt ermittelt. Anschließend kann eine Optimierung 70 der Abweichung durchgeführt werden zur Bestimmung eines Anpassungswerts.
Alternativ kann ein Positionsmerkmal anhand der Daten/Informationen eines ersten Sensors zu einem ersten Zeitpunkt ermittelt werden und dieses unter Verwendung des ersten Positionsmerkmals und der Daten eines zweiten Sensors oder anderer Informationen des ersten Sensors zu einem zweiten Zeitpunkt oder der beiden vorangegangenen Zeitpunkte erneut ermittelt und zur Berechnung einer Abweichung herangezogen werden.
Die 7 zeigt, wie ein erstes Positionsmerkmal 81 anhand von Daten/Informationen eines ersten Sensors 82 zu einem ersten Zeitpunkt ermittelt werden und wie ein zweites Positionsmerkmal 83 anhand von Daten/Informationen des ersten Positionsmerkmals 81 und eines zweiten Sensors 84 zu einem zweiten Zeitpunkt ermittelt werden und aus diesen Positionsmerkmalen 91 des zweiten Zeitpunkts des ersten Sensors 82 und des zweiten Positionsmerkmals 83 des zweiten Zeitpunkts eine Abweichung 85 zu einem zweiten Zeitpunkt ermittelt wird. Dabei wird das erste Positionsmerkmal 91 anhand von Daten/Informationen des ersten Sensors 82 zu einem zweiten Zeitpunkt ermittelt und es wird ein zweites Positionsmerkmal 93 anhand von Daten/Informationen des ersten Positionsmerkmals 91 und des zweiten Sensors 84 zu einem dritten Zeitpunkt ermittelt und aus den Positionsmerkmalen 101 des dritten Zeitpunkts des ersten Sensors 82 und des zweiten Positionsmerkmals 93 des dritten Zeitpunkts wird eine Abweichung 95 zu einem dritten Zeitpunkt ermittelt. Das Positionsmerkmal 103 des zweiten Sensors 84 zu einem vierten Zeitpunkt wird mit dem ersten Positionsmerkmal 101 bestimmt.
Anschließend kann eine Optimierung 100 der Abweichung durchgeführt werden zur Bestimmung eines Anpassungswerts.
Für das Finden zumindest eines Anpassungswerts werden bei der Verwendung mehrerer Datensätze die zu überprüfenden Größen variiert und dahingehend innerhalb eines Optimierungsverfahrens optimiert, dass die Summe der Abweichungen 85, 95 minimal wird. Bei der Verwendung von zeitlich aufeinander folgenden Datensätzen kann aus diesen ein Verlauf ermittelt werden. Werden als Positionsmerkmale die 3D-Position statischer Objekte/Merkmale herangezogen, so entspricht der Verlauf einer Bewegungstrajektorie des aufzeichnenden Sensors.
Als Eingangsgrößen des Optimierungsverfahrens dienen die ermittelten Punkte von zwei abweichenden Verläufen. Diese können den ermittelten Positionsmerkmalen oder zusätzlich interpolierten Punkten entsprechen. Die zuvor erwähnten Abweichungen 85, 95 entsprechen den Abweichungen zweier korrespondierender Punkte des Verlaufs.
Als im Optimierungsverfahren unbekannte Optimierungsparameter können veränderte Werte der Positionsmerkmale, welche insbesondere durch einen veränderten Erfassungswinkel, wie Nickwinkel, Gierwinkel und/oder Wankwinkel, der Daten bedingt sind, herangezogen werden.
Durch die ermittelten Korrekturwerte werden die Verläufe der Positionsmerkmale so übereinander geschoben, dass sich die Punkte möglichst dicht beieinander befinden, so dass die Summe der Abstände minimiert wird. Außerdem können zeitliche Verschiebungen überprüft werden. In diesem Fall werden die Verläufe der Positionsmerkmale auf der Zeitachse gegeneinander verschoben, bis eine minimale Abweichung der beiden Kurven erreicht ist. Durch die Minimalisierung der Abweichung, welche durch Variation der Optimierungsparameter entsteht, werden also zu den Positions- und zeitlichen Abweichungen korrespondierende Korrekturwerte und ggf. Kalibrierparameter ermittelt.
Die Abweichungen der Verläufe der Positionsmerkmale sind durch systematische und zufällige Fehler bedingt. Würden die durch das Optimierungsverfahren gefundenen Kalibrierparameter während der Ermittlung oder Aufbereitung der Positionsmerkmale und Fahrzeugdaten berücksichtigt, so blieben nur zufällige Fehler enthalten. Liegen systematische Fehler zu Grunde, können diese auch zukünftig anhand des Optimierungsverfahrens gefundenen Kalibrierparameter korrigiert werden. Dies geschieht unter der Annahme dass sich die zu Grunde gelegten Rahmenbedingungen nicht oder nur sehr langsam verändern. Es ist daher sinnvoll, das Verfahren in regelmäßigen Abständen durchzuführen. Dadurch wird eine maximale, durch den Einsatz von Kalibrierparametern erreichbare Genauigkeit erzielt.
Durch ein solches Verfahren werden also mittel- bis längerfristige Korrekturwerte der Lage von Sensoren gegenüber der angenommenen Lage zueinander oder zu einem ortsfesten Bezugssystem ermittelt. Außerdem werden zeitliche Verzögerungen der Sensorsignale zueinander erfasst. Dies ermöglicht es, Berechnungen auf konsistenten Daten und ggf. von systematischen Störgrößen freien Daten durchzuführen.
Ausführungsbeispiel solcher Kalibrierverfahren korrigieren Abweichungen in Echtzeit. Diese hochdynamischen Kalibrierverfahren können beispielsweise auch ergänzend zum Einsatz kommen, beispielswiese um Ausreißer gegenüber den Werten zu überprüfen, die mit einem der oben beschriebenen Verfahren korrigiert wurden.
Mittels solcher Kalibrierverfahren kann auch ein Gesamtsystem mit mehreren Sensoren kalibriert werden. Dazu sind verschiedene Verfahrensweisen durchführbar.
Um anhand eines erfindungsgemäßen Verfahrens ein Gesamtsystem kalibrieren zu können, sind verschiedene Vorgehensweisen optional durchführbar. Dabei wird gleichzeitig der Vorzug der Erfindung deutlich, das Verfahren sowohl in einem zentralen Modul (Verfahrensweise c), als auch auf verschiedene Module aufgeteilt (Verfahrensweise a bzw. b) nutzen zu können. Die verwendete Architektur, siehe die Ausführungsbeispiele, ist abhängig vom Aufbau der Fahrsoftware.
Der Zweck des Verfahrens ist es insbesondere zumindest einen Sensor für eine Fahrsoftware nutzbar zu machen und dabei hohe Genauigkeiten fortlaufend zu gewährleisten. Besonderes Augenmerk ist dabei auf das Erfassen und Kalibrieren der Fahrzeugbewegungsinformation zu legen.
Üblicherweise wird bei der Betrachtung der Fahrzeugbewegung eine flache Welt Annahme zu Grunde gelegt. Bewegungen des Fahrzeugs in den verschiedenen Winkeln (Nick-, Gier-, und Wankwinkel) werden dann häufig innerhalb des Kalibrierverfahrens der Sensoren ermittelt. Sind die Sensoren jedoch fest mit dem Fahrzeug verbaut, so kann für eine Abweichung von korrekten sensorspezifischen Verbauungswinkeln die Annahme zu Grunde gelegt werden, dass sich bei mehreren Sensoren innerhalb der Kalibrierung gleiche Winkelabweichungen ergeben. Diese Annahme kann genutzt werden, um die Daten zu plausibilisieren oder ermittelte Korrekturwerte für dynamische Abweichungen für andere Sensoren nutzbar zu machen. Auch dabei zeigt sich der Vorteil des Verfahrens auf vordefinierte Werte zurückzugreifen. Insbesondere kann bei einem ersten Kalibrierzyklus auf initiale Werte, beispielsweise gemäß Werkeinstellungen, zurückgegriffen werden und bei weiteren Kalibrierzyklen auf vordefinierte Werte, also Werte aus vorherigen Zyklen, zurückgegriffen werden. Vorteilhaft ist dabei auch, wenn diese Informationen genutzt werden, um statische von dynamischen Veränderungen zu trennen.
Alternativ können im Fahrzeug hochwertige Winkelsensoren verbaut werden, welche diese Daten bereits liefern. Dann ist es optional sinnvoll, Verfahren nach der Feststellung der Sensorwinkel zur entsprechenden Überprüfung der Winkeldaten dann oder auch nur dann durchzuführen, wenn Inkonsistenzen auftreten. Eine Durchführung von Winkelkalibrierverfahren kann also abhängig von Bedingungen erfolgen.
Verfahrensweise a:
In einem ersten Modell greift ein Modul zur Ermittlung extrinsischer Kalibrierparameter auf Fahrzeugdaten und Daten oder Informationen jeweils eines Umgebungssensors zu. Dies hat den Vorteil, dass die zu Grunde liegende Architektur einfach gehalten werden kann und sicherheitskritische Zyklen vermieden werden.
In diesem Fall wird das Kalibrierset des betreffenden Umgebungssensors sowie ggf. das der Fahrzeugdaten herangezogen und während der Fahrt überprüft bzw. korrigiert. Es wird also zunächst eine Annahme über die Lage jedes einzelnen Umgebungssensors zu einem Bezugskoordinatensystem und dessen zeitlichem Verhalten getroffen. Dies ermöglicht es, das Verfahren und die Berechnungen durchzuführen, welche Inkonsistenzen aufzeigen, die zur Ermittlung von Korrekturen der Annahme herangezogen werden können. Basierend auf der Annahme werden hierfür Positionsmerkmale zunächst auf einer erste Art und Weise durch den Sensor erfasst und für das Ermitteln einer Abweichung unter Verwendung von Fahrzeugdaten neu berechnet. Alternativ werden Positionsmerkmale auf zwei verschiedene Arten unter Verwendung des Sensors und der Fahrzeugdaten erfasst, wobei unter Anpassung der auf Konsistenz zu überprüfenden Größen anschließend die Abweichung als Differenz mit Hilfe eines Optimierungsverfahrens minimiert wird.
Die aus der Abweichung oder der Summe der Abweichungen mit Hilfe des Verfahrens ermittelten Korrekturwerte werden anschließend zur Verwendung gespeichert und/oder anderweitig zur Verfügung gestellt. Weiterhin wird ggf. das Kalibrierset aktualisiert. Dadurch kann dieses bei der folgenden Erkennung der Fahrzeugumgebung wie statischen und dynamischen Objekten berücksichtigt werden. Weiterhin können die Korrekturwerte nachfolgenden Modulen geliefert oder über spezielle Schnittstellen anderen Modulen mitgeteilt werden.
Insbesondere können die Korrekturwerte an ein nachgelagertes Fusionsmodul übermittelt werden. Dieses ist dann in der Lage, ein Sensor- bzw. Fahrzeugmodell zu erzeugen, welches die Korrekturwerte aller Sensoren miteinbezieht und auf Konsistenz überprüft.
Weiterhin kann vorgesehen sein, dass die Korrekturwerte der jeweiligen Sensoren einem Modul zur Aufbereitung der Fahrzeugdaten oder anderen Modulen der Sensorkalibrierung zur Verfügung gestellt werden. Die Vorteile einer einfachen, zyklenfreien Architektur sind hierdurch nur noch bedingt gegeben. Es ist allerdings möglich, die Rückübermittlung der Werte zeitlich zu entkoppeln. In diesem Fall werden die Daten nicht in Echtzeit, beispielsweise periodisch, übermittelt. Dadurch können durch Zyklen entstehende Risiken vermieden werden.
Innerhalb dieses ersten Modells kann eine von der Umgebungssensorik unabhängige Fehlerermittlung der Fahrzeugsensorik wie eine von der Fahrzeugsensorik unabhängige Fehlerermittlung der betreffenden Umgebungssensorik vorab erfolgen. Insbesondere kann dies innerhalb des Sensorkalibriermoduls erfolgen. Vorteilhaft ist es alternativ die Fehlerermittlung der Fahrzeugsensorik innerhalb eines gesonderten Sensorkalibriermoduls vorzunehmen. Wird die Ausrichtung des Umgebungssensors relativ zur Fahrzeugbewegung unabhängig von der Fahrzeugsensorik parallel oder nachgelagert, beispielsweise innerhalb eines Egofusionsmoduls, bestimmt, kann der Fehlausrichtungsanteil des Umgebungssensors anschließend zur Ermittlung des Fehlers der Fahrzeugsensorik genutzt werden. Diese ergibt sich dann als Differenz des Gesamtfehlers und des Fehlers der Umgebungssensorausrichtung. In einem ersten Modell der Verfahrensweise a gemäß 8 greift ein Modul zur Ermittlung extrinsischer Kalibrierparameter auf Daten der Fahrzeugbewegung und/oder Fahrzeugdaten und Daten oder Informationen jeweils eines Umgebungssensors zu. Dieses Modell hat den Vorteil, dass die zu Grunde liegende Architektur einfach gehalten werden kann und sicherheitskritische Zyklen vermieden werden. Weiterhin können die Sensordaten so unmittelbar für Wahrnehmungszwecke genutzt werden. Auf diese Weise müssen nicht unabhängig voneinander sowohl Objekte für die Fahrsoftware selbst als auch Kalibrierobjekte ermittelt werden.
Im Modell gemäß Verfahrensweise a, siehe 8, wird das Kalibrierset des betreffenden Umgebungssensors sowie ggf. das der Fahrzeugbewegung bzw. der Fahrzeugdaten innerhalb zumindest eines intelligenten Sensormoduls herangezogen und während der Fahrt überprüft bzw. korrigiert.
Erfindungsgemäß wird zunächst eine Annahme, wie insbesondere vordefinierte, also initiale oder alte Daten, über die Lage jedes einzelnen Umgebungssensors zu einem Bezugskoordinatensystem und dessen zeitlichem Verhalten getroffen. Dies ermöglicht es Verfahren und Berechnungen mit Sensordaten der Umgebung, insbesondere fahrzeuginterne und externe Bewegungsdaten, durchzuführen, welche Inkonsistenzen aufzeigen, die zur Ermittlung von Korrekturen der Annahme herangezogen werden können. Basierend auf dieser Annahme werden vorteilhaft hierfür Positionsmerkmale zunächst auf einer erste Art und Weise durch den Sensor erfasst und für das Ermitteln einer Abweichung unter Verwendung von Fahrzeugdaten neu berechnet.
Alternativ können Positionsmerkmale auf zwei verschiedene Arten unter Verwendung des Sensors und der Fahrzeugdaten erfasst werden, wobei unter Anpassung der auf Konsistenz zu überprüfenden Größen anschließend die Abweichung bzw. Differenz der Positionsmerkmale mit Hilfe eines Optimierungsverfahrens minimiert wird.
Die aus der Abweichung oder der Summe der Abweichungen mit Hilfe des Verfahrens ermittelten Korrekturwerte werden anschließend vorteilhaft zur weiteren Verwendung gespeichert und/oder anderweitig zur Verfügung gestellt. Weiterhin wird ggf. das Kalibrierset aktualisiert. Dadurch kann dieses bei der zeitlich danach folgenden Erkennung der Fahrzeugumgebung wie statischen und dynamischen Objekten berücksichtigt werden. Weiterhin können die Korrekturwerte nachfolgenden Modulen geliefert und/oder über spezielle Schnittstellen anderen Modulen mitgeteilt bzw. zur Verfügung gestellt werden.
Insbesondere können die Korrekturwerte an ein nachgelagertes Fusionsmodul übermittelt werden. Diese ist dann in der Lage ein Sensor- bzw. Fahrzeugmodell zu erzeugen, welches die Korrekturwerte aller Sensoren mit einbezieht und auf Konsistenz überprüft.
Die Daten der Fahrzeugbewegung können dabei unmittelbar vom Fahrzeug als Fahrzeugdaten geliefert werden und einen unkalibrierten oder kalibrierten Zustand aufweisen. Insbesondere wenn die Daten einen unkalibrierten Zustand aufweisen, ist es besonders vorteilhaft wenn innerhalb einer nachgelagerten Überprüfung eine Ermittlung von sensorspezifischen Ausrichtungswinkeln sowie von Winkeln der Fahrzeugbewegung, beispielsweise aufgrund von Beladung und/oder Reifendruck ermittelt wird. Die Winkel der Fahrzeugbewegung können dabei insbesondere innerhalb eines Optimierungsverfahrens, beispielsweise als Werte mit der Summe der kleinsten Abweichungen von den sensorspezifischen Werten ermittelt werden. Die jeweiligen Abweichungen der Einzelsensorwerte können optional wieder zur Trennung der Fahrzeug- von den Sensoreinflüssen an die Sensormodule zurückgeliefert werden.
Zusätzlich oder alternativ kann eine initiale Kalibrierung der Fahrzeugdaten auch in einem gesonderten Modul erfolgen. Dieses Modul kann korrigierte Fahrzeugdaten oder Fahrzeugdaten mit vorgeschlagenen Korrekturparametern zur weiteren Analyse an die Sensorkalibriermodule übermitteln. In einem solchen Fall können auch die fahrzeugspezifischen, dynamischen Ausrichtungswinkel nach der Ermittlung innerhalb eines nachgelagerten Fusionsmoduls nicht an die Sensormodule, sondern ausschließlich an das Modul zur Fahrzeugdatenkalibrierung übermittelt werden. Auf diese Weise können Bewegungsdaten des Fahrzeugs auch bei unkalibrierten Fahrzeugdaten in guter Qualität an die Sensormodule übermittelt werden.
Weiterhin kann vorgesehen sein, die Korrekturwerte der jeweiligen Sensoren anderen Modulen der Sensorkalibrierung zur Verfügung zu stellen oder zukommen zu lassen. Insbesondere ist dies sinnvoll, wenn Sensoren nicht über ein eigenes oder um ein weniger genaues Kalibrierverfahren verfügen. Die Übermittlung der Daten kann von Bedingungen abhängig sein, wie Genauigkeiten oder Größe der Inkonsistenzen. Auf diese Weise können beispielsweise nur die wichtigsten Informationen ausgetauscht werden, welche eine diesbezügliche Bedingung erfüllen. Denn werden viele Informationen unter den Sensormodulen ausgetauscht, so sind die Vorteile einer einfachen, zyklenfreien Architektur nur noch bedingt gegeben. Es ist allerdings sinnvoll die Rückübermittlung der Werte zeitlich zu entkoppeln. In diesem Fall werden die Daten nicht in Echtzeit sondern beispielsweise periodisch oder in nur Sonderfällen übermittelt. Dadurch können durch Zyklen entstehende Risiken vermieden werden.
In dem dargestellten Ausführungsbeispiel der 8 sind beispielhaft drei intelligente Sensormodule 200, 201, 202 aufgeführt. Diese Sensormodule 200, 201, 202 nehmen keine reine Erfassung von Sensordaten vor, sondern führen bereits eine Kalibrierung und ggf. eine erste Wahrnehmung, wie Interpretation, der Sensordaten aus. Innerhalb der einzelnen Sensormodule 200, 201, 202 wird zumindest ein Teil des erfindungsgemäßen Verfahrens durchgeführt. Dabei können die Sensormodule 200, 201, 202 die erfindungsgemäße Kalibrierung aufteilen oder redundant ausführen. Insbesondere können die Parameter innerhalb unterschiedlicher Sensormodule kalibriert, also auf die Module aufgeteilt werden, oder in zumindest zwei Modulen redundant erfasst werden. Dadurch können zur Ermittlung unterschiedlicher Parameter unterschiedliche Sensoren, in Aufgabenteilung oder redundant, herangezogen werden.
Wie beispielhaft beim zweiten Modul von oben in 8 oder 9 gezeigt, sind die jeweiligen Module wiederum in Submodule und/oder Funktionen aufgeteilt. Dabei wird die Kalibrierung beispielhaft in drei Schritten vorgenommen. Alternativ können es zwei oder ein Schritt sein. Innerhalb des ersten Submoduls wird die initiale Kalibrierung vorgenommen. Hierbei kommen die vordefinierten Kalibrierparameter zum Einsatz. Dabei handelt es sich sowohl im vordefinierte intrinsische als auch um vordefinierte extrinsische Kalibrierparameter. Die Sensordaten können innerhalb des Moduls entweder anhand der Kalibrierparameter korrigiert werden, vorgenommen wird also im Falle einer Kamera beispielsweise zunächst eine Koordinatentransformation vom Bild- in die Kamerakoordinaten und ggf. eine weitere oder alternative vom Kamerakoordinatensystem in das Fahrzeugkoordinatensystem und/oder ein Fahrzeugexternes Koordinatensystem vorgenommen, oder es werden lediglich die korrekten Kalibrierparameter an die nachfolgenden Submodule übermittelt, beispielsweise über einen Datenstrom oder „get“-Methoden.
Die Kalibrierparameter können beispielsweise als Kalibrierset innerhalb dieses Moduls gespeichert sein oder durch ein anderes Modul von außen, beispielsweise über eine Datenleitung oder sogar über den Fahrzeugbus, übermittelt werden. Insbesondere kann innerhalb des Submoduls ein initialisierter Wert durch zumindest einen aktuellen Korrekturwert angepasst werden. Weiterhin kann innerhalb des Submoduls entschieden werden, wann ein Korrekturwert gültig oder wann dieser verworfen und wieder auf den Initialen, also vordefinierten Wert, zugegriffen werden kann.
In einem zweiten Submodul findet die Umgebungswahrnehmung durch den Sensor statt. Hierbei werden die für die Kalibrierung benötigten Daten, wie beispielsweise Positionsmerkmale, erfasst. Dafür findet üblicherweise eine Detektion, eine Klassifikation sowie ein Tracking statt. Die Klassifikation kann beispielsweise den Bewegungszustand, der Eignung als Positionsmerkmal oder den Objekttyp zuordnen. Für die Erfindung entscheidend ist jedoch nicht, wie Positionsmerkmale erfasst werden, sondern dass letztlich ein für die Kalibrierung geeignetes Positionsmerkmal übermittelt werden kann. Dies kann insbesondere zusammen mit seinem Bewegungsstatus und/oder Bewegungsprofil des Merkmals geschehen. Anhand dessen kann das Merkmal dann in den nachfolgenden Funktionen verarbeitet werden. Wie eingangs beschrieben, können Positionen und Bewegungen nur dann gemessen werden, wenn eine extrinsische Kalibrierung und möglichst eine intrinsische Kalibrierung, also der Zusammenhang zwischen Sensor und der Umgebung bekannt ist. Daher wird an dieses Modul die vordefinierte und ggf. die vordefinierte intrinsische Kalibrierung übermittelt. Wenn bereits zu einem vorherigen Zeitpunkt schon eine Kalibrierung vorgenommen wurde, kann auch bereits eine korrigierte externe Kalibrierung übermittelt werden. Insbesondere können auch einzelne Parameter und/oder Modelle der Kalibrierung übermittelt werden. Alternativ oder zusätzlich können Funktionen zur Durchführung der Kalibrierungskorrektur zur Verfügung gestellt werden. Beispielhaft für Erkennungsfunktionen sind in der Abbildung die Erkennung von Verkehrszeichen, Lichtquellen, Spurdaten, Objektdaten und Lokalisierungsinformationen in Block 203 aufgeführt. Besonders in diesem Fall ist es vorteilhaft, wenn die erfassten Merkmale oder Objekte einen nachgelagerten Fusionsmodul zugängig gemacht werden, da es sich in diesem Fall bereits um für die Fahrsoftware relevante Objekte handelt. Alternativ können jedoch auch abstrakte Merkmale, wie Ecken oder Kanten oder Zusammensetzungen von Ecken oder Kanten, ermittelt und zur Kalibrierung verwendet werden.
Weiterhin wird die Information zumindest einem der nachfolgenden Submodule, den Kalibriermodulen, zugängig gemacht. Im Modul „dynamische Kalibrierung“ 204 werden vorteilhaft die verfügbaren Positionsmerkmale sowie die Fahrzeugdaten zur Ermittlung von Kalibrierparametern herangezogen. Insbesondere kann dabei zunächst eine Teilemenge der Parameter kalibriert werden. Auch innerhalb dieses Moduls 204 wird die vordefinierte bzw. derzeit gültige extrinsische und ggf. intrinsische Kalibrierung benötigt und durch das Modul zur initialen Kalibrierung zur Verfügung gestellt. Innerhalb des Moduls zur dynamischen Kalibrierung wird der dynamische Kalibrierbedarf ermittelt bzw. behandelt.
Ein dynamischer Kalibrierbedarf liegt häufig in Bezug auf die Fahrzeugsensoren, wie insbesondere die Sensoren, welche die Eigenbewegung erfassen, vor, wenn sich nur diese dynamisch bewegen, so dass in diesem Schritt eine Kalibrierung dieser Sensoren bzw. von Parametern dieser Sensoren durchgeführt wird. Dies betrifft insbesondere systematische Fehler, also längerfristige Fehler, der angenommenen Fahrzeugwinkel, wie den Nick-, Wank-, und Gierwinkel.
Gleichzeitig oder optional kann in einem anderen Modul 205 ein Verfahren zur hochdynamischen Kalibrierung durchgeführt werden, also eine Feststellung der kurzfristigen Abweichungen. Dies ist insbesondere dann möglich und sinnvoll, wenn mehrere Kalibriermerkmale, wie beispielsweise Positionsmerkmale, pro Datensatz vorliegen und so eine Fehlerkorrektur, insbesondere zeitlich, unmittelbar erfolgen kann. Auf diese Weise wirken sich Ausreißer der Daten nicht als Fehler auf die, insbesondere hochdynamische, Kalibrierung aus. Die ermittelte hochdynamische Kalibrierung wird unmittelbar an das Wahrnehmungsmodul zur Verwendung zurückgesendet. Anhand der Werte kann das Tracking, sowie die Positions- und Bewegungsbestimmung, verbessert werden. Zusätzlich können diese Daten auch an das darauffolgende Fusionsmodul 206 weitergegeben werden.
Die aus den Kalibrierverfahren ermittelten Kalibrierungen, wie insbesondere Korrekturwerte der einzelnen Parameter, werden an das Submodul der initialen Kalibrierung 207 zurückgeliefert, um auf Basis dessen weitere Kalibrierzyklen durchführen zu können. Insbesondere betrifft dies dynamische, nicht hochdynamische, Korrekturwerte für Kalibrierparameter. Die hochdynamischen Kalibrierparameter können jedoch zur Überprüfung der dynamischen Kalibrierparameter herangezogen werden. Weiterhin können die Kalibrierdaten optional an andere intelligente Sensoren zur Verwendung für die Kalibrierung übergeben werden. Dies kann durch zumindest ein Kalibriersubmodul, wie insbesondere die initiale Kalibriersubmodul 207, erfolgen. Innerhalb der weiteren intelligenten Sensormodule würden die Kalibrierempfehlungen anderer Sensoren dann innerhalb der initialen Kalibrierung 207 verarbeitet und ggf. an die weiteren Submodule des entsprechenden Sensormoduls gegeben werden.
Alternativ zu der durch die Submodule dargestellten Ausführung können in Verfahrensweise a gemäß 9 im ersten intelligenten Sensormodul auch nur die Fahrzeugdaten analysiert und ohne Hinzunahme von Sensordaten vorkalibriert oder kalibriert werden. Dabei können insbesondere Offsetwerte, wie ein Gierratenoffset, festgestellt werden. Für die Kalibrierung von Offset-Korrekturwerten wird die aktuelle Situation, wie insbesondere Fahrsituation, anhand der Fahrzeugsensorik analysiert und darauf basierend ein Offsetwert bestimmt. Inwiefern eine solche Vorkalibrierung oder Kalibrierung sinnvoll bzw. notwendig ist, hängt von der Qualität der Fahrzeugsensoren bzw. der Fahrzeugdaten ab.
Verfahrensweise b:
In einem zweiten Modell greift ein Mastermodul zur extrinsischen Kalibrierung eines Sensorsystems auf Fahrzeugdaten und Daten oder Informationen zumindest eines Umgebungssensors zu und stellt die in Bezug auf die Fahrzeugdaten erzielten Korrekturwerte anderen Sensoren, den Clientsensoren, zur Verfügung. Besonders vorteilhaft ist diese Version, wenn innerhalb des Mastermoduls korrekte Fahrzeugdaten erzeugt werden, auf welchen die Kalibrierungen der Clientsensoren aufbauen können. Dennoch kann die zu Grunde liegende Architektur einfach gehalten werden und sicherheitskritische Zyklen können vermieden werden. Die Kalibrierinformation, welche den Clientsensoren zur Verfügung gestellt wird, kann dabei entweder korrigierte Fahrzeugdaten oder eine Kalibrierempfehlung enthalten. Diese kann aus den original Fahrzeugdaten und empfohlenen Korrekturparametern bestehen. Dies ist besonders dann vorteilhaft, wenn nachgelagerte Verfahren Kalibrierungen und Plausibilisierungen der Daten vornehmen möchten.
Weiterhin ist es, wie schon bei der Verfahrensweise a beschrieben, möglich, die Ausrichtung zumindest eines Umgebungssensors relativ zur Fahrzeugbewegung unabhängig von der Fahrzeugsensorik zu bestimmen. Bei der Verfahrensweise b ist dies besonders vorteilhaft, da die auf diese Weise gewonnene genaue Kalibrierinformation den Clientsensoren übermittelt werden kann. Daher eignen sich besonders Umgebungssensoren zur Verwendung innerhalb eines Mastermoduls, welche sowohl eine Bestimmung relativ zur Fahrzeugsensorik mit hoher Genauigkeit ermöglichen als auch eine Bestimmung unabhängig davon sicherstellen können. Solche Sensoren sind insbesondere eine Kamera und/oder ein Lidarsensor.
Im Falle, dass das Mastermodul mehrere Sensoren enthält, ist es möglich, die mittels der einzelnen Sensoren ermittelten Korrekturempfehlungen zu plausibilisieren. Hierfür kann das Verfahren zusätzlich anhand der beiden Sensoren durchgeführt werden. Hierfür greift das Verfahren auf die Daten und/oder Informationen eines Umgebungssensors und Daten oder Informationen eines anderen Umgebungssensors zu. Der so ermittelte Korrekturparameter spiegelt die relative Ausrichtung der beiden Sensoren zueinander wieder. Die Differenz zweier Korrekturparameter zur Fahrzeugsensorik sollte also der relativen Ausrichtung der Sensoren zueinander entsprechen. Bei großen Unterschieden sollte die Berechnung ggf. erneut durchgeführt werden
Die Clientsensoren greifen zur extrinsischen Kalibrierung dann auf korrigierte Fahrzeugdaten oder Fahrzeugdaten und ihre Korrekturempfehlung sowie auf eigene Daten bzw. Informationen zu. Dabei wird das Kalibrierset des betreffenden Clientsensoren herangezogen und unter Verwendung der Kalibrierinformation während der Fahrt nach dem oben beschriebenen Verfahren auf Konsistenz überprüft und ggf. kalibriert.
Das Verfahren kann dabei auf korrigierten Fahrzeugdaten basierend einen Korrekturfaktor für die Ausrichtung des Client Sensors ermitteln. Im Falle, dass die Korrekturwerte nicht zur Verfügung stehen, kann das Verfahren alternativ die Originaldaten heranziehen und den so ermittelten Gesamtkorrekturwert anhand der Korrekturempfehlung für die Fahrzeugdaten anpassen, sofern dieser plausibel ist. Dies hat den Vorteil, dass jegliche Datenkorrektur für die Clientmodule transparent ist und das Kalibrierverfahren des Clients nicht auf falschen Annahmen fußen kann. Weiterhin kann die Möglichkeit vorgesehen werden, dass die Clientsensoren dem Mastersensor im Falle bestehender Zweifel der Korrektheit der Kalibrierempfehlung eine Rückmeldung geben. Diese kann vorteilhafter Weise zeitlich entkoppelt oder alternativ auch zeitlich gekoppelt erfolgen.
In einem zweiten Modell gemäß 10 wird das Verfahren nach wie vor in unterschiedlichen Modulen ausgeführt. Dabei ist jedoch ein Modul 300 als Mastermodul ausgestaltet. Daher ist dieses in der Lage Konsistenzprüfungen vorzunehmen und validierte Daten an andere Sensormodule 301, 302 zu übermitteln. Beispielsweise greift dieses zur extrinsischen Kalibrierung eines Sensorsystems auf Daten der Fahrzeugbewegung bzw. Fahrzeugdaten und Daten oder Informationen zumindest eines Umgebungssensors zu und stellt die in Bezug auf die Fahrzeugdaten erzielten Korrekturwerte, wie Offsets und/oder Winkelabweichungen, anderen Sensoren, den Client-Sensoren, zur Verfügung. Ist der Winkel des Sensors zum Fahrzeug nicht bekannt, können entweder auch die Winkelkalibrierungen anderer Sensoren angefragt werden, um daraus eine konsistente plausible Fahrzeugposition zu ermitteln. Dies hat den Vorteil, dass weitere Abweichungen bzw. Korrekturwerte möglichst klein gehalten werden können.
Alternativ kann auch die Winkelposition des Mastersensors als Bezugsgröße ausgegeben werden. Dies vereinfacht das Vorgehen. Die Korrekturwerte können zur weiteren Verwendung vorteilhafter Weise eine Kennzeichnung aufweisen, der es ermöglicht zumindest einen der folgenden Informationen zu erkennen: auf welchen Sensor und Parameter er sich bezieht, wann er ermittelt wurde und wie lange er gültig ist, in Bezug auf welches System bzw. welche anderen Parameter er ermittelt wurde, mit welcher Unsicherheit er behaftet ist, gegenüber welchem Wert er plausibilisiert worden ist. Auf diese Weise können die Korrekturwerte korrekt eingesetzt werden. Besonders vorteilhaft ist die Verfahrensweise b wenn innerhalb des Mastermoduls korrekte Fahrzeugdaten erzeugt werden, auf welchen die Kalibrierungen der Client-Sensoren aufbauen können. Dennoch kann die zu Grunde liegende Architektur einfach gehalten werden und sicherheitskritische Zyklen können vermieden werden. Die Kalibrierinformation, welche den Client-Sensoren zur Verfügung gestellt wird, kann dabei entweder korrigierte Fahrzeugdaten oder in einer weiteren Ausführungsvariante eine Kalibrierempfehlung enthalten. Diese kann aus den original Fahrzeugdaten und empfohlenen Korrekturparametern bestehen. Dies ist besonders dann vorteilhaft, wenn nachgelagerte Verfahren Kalibrierungen und Plausibilisierungen der Daten vornehmen möchten.
In der Verfahrensweise b ist ein Einsatz eines Verfahrens, welches die Ausrichtung zumindest eines Umgebungssensors relativ zur Fahrzeugbewegung unabhängig von der Fahrzeugsensorik bestimmt vorteilhaft, da die auf diese Weise gewonnene genaue Kalibrierinformation den Client-Sensoren übermittelt werden kann. Daher eigenen sich besonders Umgebungssensoren zur Verwendung innerhalb eines Mastermoduls, welche sowohl eine Bestimmung relativ zur Fahrzeugsensorik mit hoher Genauigkeit ermöglichen, als auch eine Bestimmung unabhängig davon sicherstellen können. Solche Sensoren sind insbesondere Kamera bzw. Lidar.
Im Falle, dass das Mastermodul mehrere Sensoren enthält, ist es möglich, die mittels der einzelnen Sensoren ermittelten Korrekturempfehlungen unmittelbar innerhalb des Mastermoduls zu plausibilisieren. Hierfür kann das Verfahren zusätzlich anhand der beiden Sensoren durchgeführt werden. Hierfür greift das Verfahren auf die Daten bzw. Informationen eines Umgebungssensors und Daten oder Informationen eines anderen Umgebungssensors zu. Der so ermittelte Korrekturparameter spiegelt die relative Ausrichtung der beiden Sensoren zueinander wieder. Die Differenz zweier Korrekturparameter zur Fahrzeugsensorik kann wiederum zur Ermittlung der relativen Ausrichtung der Sensoren zueinander dienen. Bei großen Unterschieden sollte die Berechnung ggf. erneut durchgeführt werden.
Die Client-Sensoren greifen zur extrinsischen Kalibrierung dann auf genau Daten der Fahrzeugbewegung bzw. korrigierte Fahrzeugdaten oder Fahrzeugdaten und ihre Korrekturempfehlung, sowie auf eigene Daten bzw. Informationen zu. Alternativ greifen sie auf Daten, welche in Bezug auf ein Referenzsystem korrigiert worden sind, zu. Dabei wird das Kalibrierset des betreffenden Client-Sensors herangezogen und unter Verwendung der Kalibrierinformation während der Fahrt nach dem oben beschriebenen Verfahren auf Konsistenz überprüft und ggf. kalibriert.
Das Verfahren kann dabei auf korrigierten Fahrzeugdaten basierend einen Korrekturfaktor für die Ausrichtung des Client Sensors ermitteln. Im Falle dessen, dass die Korrekturwerte zur Verfügung stehen, kann das Verfahren alternativ die Originaldaten heranziehen und den so ermittelten Gesamtkorrekturwert anhand der Korrekturempfehlung für die Fahrzeugdaten anpassen, sofern dieser plausibel ist. Dies hat den Vorteil, dass jegliche Datenkorrektur für die Client-Module transparent ist und das Kalibrierverfahren des Client-Sensors nicht auf falschen Annahmen fußen kann. Weiterhin kann die Möglichkeit vorgesehen werden, dass die Client-Sensoren dem Mastersensor im Falle bestehender Zweifel der Korrektheit der Kalibrierempfehlung eine Rückmeldung geben. Diese kann vorteilhafter Weise zeitlich entkoppelt erfolgen.
In der 10 ist beispielhaft ein System mit drei Sensormodulen 300, 301, 302 dargestellt. Das Mastermodul 300 ist beispielhaft detaillierter anhand von Submodulen gezeigt. Die anderen Sensormodule 301, 302 können analog zu den Modulen der Verfahrensweise a der 8 bzw. 9 ausgestaltet sein. Zunächst erhalten das Submodul „Unisensor und initiale Kalibrierung“ 303 Fahrzeugdaten, welche auf die vorhandene Fahrsituation hin analysiert und für welche Korrekturwerte erfasst werden. Weiterhin erhält ein weiteres Submodul „Unisensor und initiale Kalibrierung“ 304 Sensordaten und führt eine Lageermittlung ohne Hinzunahme von Fahrzeugdaten zur Bestimmung erster Kalibrierparameter aus. Korrigierte Sensor- und Fahrzeugdaten oder Daten mit den dazugehörigen Korrekturwerten werden dem Submodul „Sensoren“ 305 zur Verfügung gestellt. In diesem Modul 305 erfolgt analog zum Ausführungsbeispiel der Verfahrensweise a das Erfassen der Positionsermittlung und in den Submodulen „dynamische Kalibrierung“ 306 und „hochdynamische Kalibrierung“ 307 die Kalibrierung. Die ermittelten Korrekturwerte werden vorteilhafter Weise entsprechend gekennzeichnet an das Submodul „Unisensor und initiale Kalibrierung“ 303 zurückgegeben. Alternativ kann die Initiale und dynamische Kalibierung 304 auch innerhalb eines Submoduls erfolgen.
Zusätzlich oder alternativ können zumindest einem Submodul Kalibrierdaten anderer Sensorkalibriermodule zur Verfügung gestellt werden. Wie schon in der Verfahrensweise a beschrieben, können diese dann plausibilisiert werden, nur dass dies diesmal nicht durch ein nachgelagertes Fusionsmodul sondern durch ein sensorspezifisches Mastermodul erfolgt. In diesem Fall werden durch das Mastermodul Bewegungsinformationen des Fahrzeugs an andere Sensormodule geliefert. Ggf. werden zusätzlich Korrekturwerte für die Lage der jeweiligen Sensoren ergänzt.
Verfahrensweise c:
In einer dritten Verfahrensweise findet die Erstellung eines Sensor- und Fahrzeugmodells, wie auch die Lokalisierung, innerhalb von zentralen Fusionskomponenten statt. Diese können gleichzeitig sowohl auf Fahrzeugwie Sensorinformationen, wie GPS, und fahrzeuginterne und/oder externe Karteninformationen zugreifen. Dies bedeutet, dass ausgehend von einem Kalibrierset die Kalibrierungen der zu kalibrierenden Sensoren in mehreren Schritten nacheinander und/oder parallel bestimmt werden, wobei im Falle, dass die Kalibrierung nacheinander erfolgt, das Ergebnis des vorherigen Kalibrierschritts beim nächsten Kalibrierverfahren mit berücksichtigt wird und wobei im Falle einer parallelen Abarbeitung auf die gleichen oder bereits konsistente Sensordaten zurückgegriffen wird.
Weiterhin können Unisensorkalibrierverfahren zur Plausibilisierung ergänzt werden. Innerhalb solcher Fusionsmodule können sich alternativ auch Subarchitekturen, wie in Version a oder b beschrieben, wiederfinden. Weiterhin können auch hier zunächst Korrekturwerte in Bezug auf mehrere Sensoren bestimmt werden, um diese dann anschließend anhand weiterer Informationen auf ein einheitliches Bezugssystem, insbesondere ein ortsfestes Bezugssystem, zu übertragen.
In einer dritten Verfahrensweise gemäß 11 findet die Erstellung eines Sensor- und Fahrzeugmodells und auch die Lokalisierung innerhalb von zentralen Fusionskomponenten statt. Diese können gleichzeitig sowohl auf Fahrzeug- wie Sensorinformationen, wie GPS-Informationen und/oder fahrzeuginterne Karteninformationen und/oder externe Karteninformationen zugreifen.
Dies bedeutet, dass ausgehend von einem Kalibrierset die Kalibrierungen der zu kalibrierenden Sensoren in mehreren Schritten nacheinander und/oder parallel zueinander bestimmt werden, wobei im Falle, dass die Kalibrierung nacheinander erfolgt, das Ergebnis des vorherigen Kalibrierschritts beim nächsten Kalibrierverfahren mit berücksichtigt wird und wobei im Falle einer parallelen Abarbeitung auf die gleichen und/oder bereits konsistente Sensordaten zurückgegriffen wird.
Weiterhin können Unisensorkalibrierverfahren zur Plausibilisierung ergänzt werden. Innerhalb solcher Fusionsmodule können sich alternativ auch Subarchitekturen wie in den Verfahrensweisen a oder b beschrieben wiederfinden. Weiterhin können auch hier zunächst Korrekturwerte in Bezug auf mehrere Sensoren bestimmt werden, um diese dann anschließend anhand weiterer Informationen auf ein einheitliches Bezugssystem, insbesondere ein ortsfestes Bezugssystem, zu übertragen.
In der dargestellten Ausgestaltungsvariante der Verfahrensweise c gemäß 11 führen die beispielhaft dargestellten drei Sensormodule 400, 401, 402 eine Wahrnehmung auf Basis der durch das zentrale Kalibriermodul übermittelten Kalibrierinformation. Diese werden optional innerhalb eines Submoduls „Kalibrierung“ 403 verwendet, um die Sensor- und Fahrzeugdaten 404 zu korrigieren und dem nachfolgenden Wahrnehmungsmodul 405 zur Verfügung zu stellen. Weiterhin ist es möglich, dass in diesem Submodul Kalibrierverfahren durchgeführt werden, welche von Fahrzeugdaten unabhängig sind. Darüber hinaus können in dem Submodul „hochdynamische Bewegung“ 405 weitere Verfahren zur hochdynamischen Kalibrierung durchgeführt werden und die ermittelten Parameter zur Umgebungserfassung im Submodul „Sensoren“ 404 genutzt werden.
Alternativ können auch bereits korrigierte Fahrzeugdaten, also Daten der Fahrzeugbewegung, unmittelbar an das Submodul „Sensoren“ 404 übermittelt werden. Weiterhin können auch Korrekturwerte der Sensordaten unmittelbar an das Sensormodul 404 übergeben werden, welches eine Anpassung, wie beispielsweise Transformation der Daten dann selbst durchführt. Ermittelte Positionsdaten, wie statische Objekte und/oder ermittelte Kalibrierinformationen können dem zentralen Kalibriermodul 403 zur Verfügung gestellt werden.
Das zentrale Kalibriermodul 403 kann über den Informationsaustausch mit den Sensormodulen 400, 401, 402 hinaus auch mit dem nachgelagerten Fusionsmodul 406 und ggf. mit dem Planungsmodul 407 Informationen austauschen oder zumindest Kalibrierinformationen verfügbar machen.
Besonders vorteilhaft ist das Kalibrierset im zentralen Kalibriermodul 403 gespeichert oder kann von dort aus verwaltet werden. Das Verwalten umfasst das strukturierte speichern, verrechnen und verwerfen von Kalibrierparametern.
Ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens schlägt vor, die extrinsische Kalibrierung parameterweise aufbauend auf einer vordefinierten intrinsische Kalibrierung vorzunehmen und in einem Verfahren vorzunehmen, welches vordefinierte initialisierte (Vorgabe)Werte verwendet, um diese während der Fahrt zu korrigieren. Weiterhin wird ein Verfahren vorgeschlagen, welches initialisierte (Vorgabe)Werte und zuvor ermittelte Kalibrierparameter verwendet, um aktualisierte Kalibrierparameter parameterweise zu ermitteln.
Für einen Kalibriervorgang werden beispielsweise mehrere Verfahren zur schrittweisen Ermittlung aller Kalibrierparameter durchgeführt. Dabei wird eine erste Teilmenge von Kalibrierparametern anhand insbesondere aller notwendiger initialisierten (Vorgabe)Werten und eventuell zuvor ermittelter Kalibrierparametern auf Konsistenz überprüft. Hierfür werden Positionsmerkmale zunächst auf eine erste Art und Weise erfasst und für das Ermitteln einer Abweichung bezüglich der ersten Teilmenge der Parameter unter Verwendung der benötigten Parameter des Kalibriersets neu berechnet. Alternativ werden Merkmale auf zwei verschiedene Arten unter Verwendung der benötigten Parameter des Kalibriersets erfasst, wobei unter Anpassung der auf Konsistenz zu überprüfenden ersten Teilmenge der Parameter anschließend die Abweichung als Differenz bezüglich der ersten Teilmenge der Parameter mit Hilfe eines Optimierungsverfahrens minimiert wird. Dies hat den Vorteil, dass das Optimierungsverfahren vereinfacht wird.
Es wird auch vorgeschlagen, dass die Kalibrierung schrittweise durchgeführt wird. Dabei kann in jedem Schritt eine Teilmenge der Parameter von zumindest zwei Sensoren, wie Umgebungs- und/oder Fahrzeugsensoren, auf Konsistenz überprüft werden. Auf Basis der dabei ermittelten Korrekturwerte kann zeitlich unmittelbar oder nachgelagert eine Kalibrierung durchgeführt werden.
Weiterhin können die Korrekturwerte zur Kalibrierung weiterer Parameter herangezogen werden. Dies ist insbesondere dann von Vorteil wenn diese aufgrund weiterer Informationen bereits auf ein einheitliches Bezugssystem, insbesondere ein ortsfestes Bezugssystem, gebracht wurden.
Eine weitere Verwendung zur Kalibrierung bedeutet, dass ausgehend von einem Kalibrierset die zu kalibrierenden Parameter im mehreren Schritten nacheinander und/oder parallel bestimmt werden, wobei im Falle, dass die Kalibrierung nacheinander erfolgt, das Ergebnis des vorherigen Kalibrierschritts beim nächsten Kalibrierverfahren mitberücksichtigt wird und wobei im Falle einer parallelen Abarbeitung auf die gleichen oder bereits konsistente Sensordaten zurückgegriffen wird. Dies hat den Vorteil, dass ein konsistenter Kalibrierstand des Gesamtsystems erzeugt werden kann und das Kalibrierverfahren in seiner Komplexität dennoch handhabbar bleibt.
Dabei ist zu beachten, dass beispielsweise nur Teilmengen von Parametern nacheinander kalibriert werden, deren Auswirkung auf die zu minimierende Abweichung unterschieden werden kann. Für einige Parameter ist eine geometrische Trennung möglich. So wirkt sich ein Fehler im Nickwinkel beispielsweise für einen nach vorne oder nach hinten gerichteten Sensor als Höhenabweichung aus, während ein Gierwinkel als horizontale Abweichung erfassbar ist.
Eine weitere Möglichkeit der Trennung des Einflusses verschiedener Parameter kann durch eine situationsabhängige Kalibrierung erreicht werden. Dies bedeutet, dass das Überprüfen der Konsistenz und/oder die Kalibrierung nur bei dem Vorliegen vorher festgelegter überprüfbarer Voraussetzungen durchgeführt wird. Die Situation sollte dabei so gewählt werden, dass ein Einfluss des zu kalibrierenden Parameters oder der auf Konsistenz zu überprüfenden Parameter auf die Messwerte insbesondere bestmöglich sichtbar wird. Dies bedeutet einerseits, dass sich der zu kalibrierende Parameter auf die Situation ausreichend stark auswirkt und andererseits, dass andere Parameter einen möglichst geringen störenden Einfluss haben. Analoges gilt für die auf Konsistenz zu überprüfenden Parameter. Ein Parameter wirkt sich dann ausreichend stark aus, wenn die Größe in ihrem Wert vom Rauschen des Signals abhebt und mit dem verwendeten Verfahren erfassbar ist. Die dafür notwendigen Wertebereiche lassen sich aus dem genutzten Verfahren einerseits und aus der Signalqualität andererseits ableiten. Wann sich ein Wert auswirkt ist dabei auch abhängig von der Art der Kalibrierung.
Beispielsweise:

- Offset/Versatz: wirkt sich immer aus, detektierbar durch bekannten Wert oder Vergleichswert.
- Drift: wirkt sich immer aus, detektierbar durch Wiederholungsmessungen.
- Delay, Zeitverzögerung: wirkt sich nur aus, wenn sich die Daten ändern.

Dafür sind Situationen besonders geeignet, in welchen störende Einflussgrößen Null sind. Weiterhin möglich sind Situationen, in welchen die störende Einflussgröße bekannt, konstant oder modellierbar ist. Dies ermöglicht, dass der Störeffekt kompensiert werden kann. Beispielsweise wirkt sich eine Gierratenverzögerung bei gerader Fahrt nicht aus, da sich der Winkel hierbei nicht ändert. Auf diese Weise kann auch eine Auswirkung noch nicht mit ausreichender Genauigkeit kalibrierter Sensorparameter auf das Berechnungsergebnis reduziert oder vermieden werden.
Andererseits können alle Kalibrierverfahren, welche Positionsmerkmale zu verschiedenen Zeitpunkten zur Ermittlung der Abweichung heranziehen, nicht in Stillstandssituationen durchgeführt werden.
Weiterhin können solche Verfahren nicht in Stillstandsituationen verwendet werden, welche zu verschiedenen Zeitpunkten korrespondierende Positionsmerkmale zur Erhöhung der Genauigkeit verwenden.
Die Größen anhand welcher die Situationsanalyse durchgeführt werden kann, können Größen der Fahrzeugumgebung oder Sensorparameter sein.
Zur Analyse der Situation werden die entsprechenden Sensordaten oder Berechnungen dieser Daten über mehrere Zeiteinheiten beobachtet und insbesondere statistisch ausgewertet. Zur Situationsanalyse können auch Daten anderer Sensoren herangezogen werden. Bei Detektion einer entsprechenden Situation wird eine Kalibrierung durchgeführt. Dabei kann die Kalibrierung entweder auf den bereits analysierten, also zeitlich zurückliegenden Daten erfolgen. Alternativ kann eine Prädiktion für zukünftig vorliegende Situationen durchgeführt werden und eine Kalibrierung anschließend auf den zukünftigen Daten erfolgen. Dies ist besonders für hochdynamische Kalibrierverfahren, welche Daten in Echtzeit liefern, interessant.
Ist eine Trennung der Parameter gewünscht, so ist die Durchführung der Kalibrierung, wie zuvor beschrieben, auf das Vorliegen bestimmter Voraussetzungen angewiesen.
Zur Durchführung der Kalibrierung können bei der Verwendung von Positionsmerkmalen darüber hinaus nur Situationen genutzt werden, in welchen mit dem entsprechenden Sensor erfassbare Positionsmerkmale enthalten sind.
Als Positionsmerkmale eignen sich besonders Merkmale, deren Positionen bekannt sind. Dies kann durch die vorherige Aufzeichnung einer Karte erfolgen. Sind solche Daten nicht verfügbar, so ist es jedoch auch ausreichend, wenn eine Positionsannahme relativ zur Fahrzeugbewegung erfolgen kann. Dies ist insbesondere bei statischen Positionsmerkmalen der Fall. Denn bei konstanten Größen in der Umgebung des Fahrzeugs, also bei statischen Objekten oder Merkmalen, entspricht deren Relativbewegung der Eigenbewegung des Fahrzeugs, wodurch sie sich zur Konsistenzermittlung mit der Fahrzeugsensorik gut eignen. Alternativ können modellierbare Bewegungsabläufe von Objekten oder Merkmalen, welche sich beispielsweise parallel oder orthogonal zur eigenen Bewegungsrichtung bewegen, verwendet werden.
Abhängig vom verwendeten Verfahren ist es vorteilhaft, eine Kalibrierung daher in solchen Situationen vorzunehmen, in welchen Positionsmerkmale mit dem entsprechenden Sensor erkannt und wenn notwendig wiedererkannt werden können. Eine ausreichende Erkennungsqualität von Positionsmerkmalen kann zusätzlich anhand von Schwellenwerten überprüft werden.
Ursächlich für die Notwendigkeit einer Kalibrierung oder Rekalibrierung sind Bewegungen und Veränderungen des Gesamtsystems, welche sich auf den Sensor auswirken. Eine Modellierung dieser Ursachen kann jedoch sehr komplex sein. Weiterhin ist eine Trennung von sich überlagernden Ursachen ohne zusätzliche Sensorik oder Algorithmen auch häufig nicht möglich.
So kann beispielsweise nicht unterschieden werden, ob sich die Befestigung des Sensors bei einer dynamischen Kalibrierung verändert hat oder ob eine veränderte Beladung des Fahrzeugs ursächlich ist.
Daher wird vorgeschlagen die Kalibrierung unabhängig von den Ursachen in mehreren Stufen durchzuführen.
Bezüglich der Fehlercharakteristik bzw. der zeitliche Anforderungen an die Kalibrierung lassen sich beispielsweise vier Kategorien unterscheiden:
Als konstant soll ein Kalibrierbedarf bezeichnet werden, welcher keinen oder vernachlässigbaren Veränderungsprozessen unterliegt. Einmal korrekt kalibriert, benötigen sie keine Rekalibrierung, also keine erneute Kalibrierung.
Die Werte können trotzdem produktionsbedingt variieren und so von Sensor zu Sensor unterschiedlich sein. Es handelt sich um systematische Fehler, bei welchen eine Veränderung nicht zu erwarten ist.
Als dynamisch soll ein Kalibrierbedarf bezeichnet werden, welcher geringen aber nicht zu vernachlässigenden Veränderungen unterliegt. Auch hierbei handelt es sich um systematische Abweichungen, welche jedoch einem Trend oder abrupten Veränderungen unterliegen können. Die Abweichungen für eine dynamische Kalibrierung können besonders gut fortlaufend über mehrere Daten erfasst und plausibilisiert werden. Dadurch sind auch bezogen auf einzelne Daten weniger genaue und robuste Verfahren für diesen Kalibrierbedarf geeignet. Zeitlich werden solche Kalibrierungen regelmäßig wiederholend, beispielsweise einmal pro Fahrt, vorgenommen.
Ein abhängiger Kalibrierbedarf ist einer, bei welchem die Fehlercharakteristik wiederkehrende Muster aufweist, welches dann bei der Wahl des Kalibrierzyklus berücksichtigt wird. Üblicherweise geschieht dies in Form einer Modellannahme. Alternativ ist es auch möglich, die Abhängigkeit auf den Wert einer anderen Kenngröße zurückzuführen und diese als Eingangsparameter des Modells zu verwenden. Es handelt sich also auch in diesem Fall um eine systematische, aber komplexe Fehlercharakteristik. In der Regel erfolgt die Kalibrierung eines abhängigen Kalibrierbedarfs mehrfach pro Fahrt. Das erfindungsgemäße Verfahren eignet sich dabei auch zur fortlaufenden Überprüfung der Datenkonsistenz und kann bei Abweichungen, welche einen Schwellenwert überschreiten oder dies für einen längeren Zeitraum tun, eine Ausgabe erzeugen, die eine Rekalibrierung auslöst.
Als hochdynamisch soll ein Kalibrierbedarf bezeichnet werden, der eine Fehlercharakteristik mit hoher Dynamik beheben soll. Eine hochdynamische Kalibrierung wird fortlaufend, also in Echtzeit, durchgeführt. Ein typisches Beispiel eines hochdynamischen Kalibrierbedarfs ist die Nickbewegung eines Fahrzeugs zur Welt, also zur Umgebung. Auch das erfindungsgemäße Verfahren eignet sich zum Einsatz in Echtzeit. Die Qualität kann in diesem Fall dadurch verbessert werden, dass mehrere Positionsmerkmale zu einem Zeitpunkt zur Bestimmung herangezogen werden.
Werden mehrere Kalibrierungen vorgenommen, ist es vorteilhaft, zunächst alle systematischen Fehler durch Kalibrierung zu beseitigen, bevor die zufälligen Fehler korrigiert werden. Dies ist in der Praxis allerdings nicht immer möglich. Dennoch sollte bei einer vorhandenen dynamischen Kalibrierung innerhalb des Kalibriersets zur Korrektur der (Vorgabe)Werte Parameter herangezogen werden, um darauf aufbauend möglichst geringe hochdynamisch zu ermittelnde Abweichungen bestimmen zu können.
Beispiele für Größen, von denen Kalibrierwerte abhängen können, sind die Temperatur, die Fahrzeugkonfiguration, die Fahrzeugbusauslastung und der Fahrwegszustand. Häufig sind diese Parameter nicht unmittelbar bestimmbar, sondern müssen aus anderen Informationen hergeleitet werden. Als Modell kann beispielsweise angenommen werden, dass eine bestimmte Temperatur erst nach einer gewissen Fahrtzeit vorliegt. Weiterhin kann angenommen werden, dass die Fahrzeugbusauslastung abhängig von der Aktivierung von datenintensiven Fahrerassistenzfunktionen ist.
Um nach dem erfindungsgemäßen Verfahren mehrere Sensoren kalibrieren zu können sollen Verfahren verwendet werden, welche einen Sensor oder eine Sensoranordnung unter Verwendung eines anderen Sensors oder einer anderen Sensoranordnung kalibrieren.
Eine Möglichkeit besteht darin, die zu kalibrierende Größe mit den jeweiligen Sensoren zu berechnen, so dass anschließend ein Direktvergleich möglich ist. Dies soll am Beispiel von zwei Sensoren S1 und S2 gezeigt werden. $\begin{array}{l} Sei M1 = g (S1) ein Merkmal, welches mit einer Funktion oder einem Verfahren \\ aus den Sensordaten S1 ermittelt werden kann . \end{array}$
$\begin{array}{l} Sei M2 = h (S2) ein Merkmal, welches mit einer Funktion oder einem Verfahren \\ aus den Sensordaten S2 ermittelt werden kann . \end{array}$
$\begin{array}{l} Wobei M1 * = f (M2) gilt, M1' ist dabei das durch die Funktion f aus M2 \\ bestimmte Merkmal M1 . f kann dabei auch eine Transformation von Einheiten \\ vornehmen . \end{array}$
Eine Abweichung A kann dann wie folgt bestimmt werden als $A = I (M1, M1*),$
wobei I die Differenzfunktion bezüglich des zu kalibrierenden Parameters ist.
Nehmen wir weiterhin an, dass sich das Merkmal von entweder S1 oder S2 korrekt ermitteln lässt, so kann anhand von A ein Kalibrierfehler von S1 bzw. S2 bestimmt werden.
Auch wenn keiner der beiden Merkmale der Sensoren S1 oder S2 sich korrekt bestimmen lassen, so kann durch ein etwaiges Kalibrierverfahren dennoch eine Konsistenz bezüglich der verwendeten Merkmalsberechnung erreicht werden. Der Kalibrierfehler kann hier einem der beiden Sensoren zugeschrieben oder nach einem vordefinierten Schlüssel verteilt werden.
In der Praxis ist es häufig nicht möglich derartige Merkmale wie M1 und M2 zu finden, welche sich mit hoher Genauigkeit bestimmen und ineinander umrechnen lassen. Daher wird die Verwendung eines Verfahrens vorgeschlagen, welches die Umrechnung der Merkmale über mehrere Zeitschritte hinweg ermöglicht.
Sei hierfür beispielsweise $\begin{array}{l} M1 (t1) = g (S1 (t1)) ein Merkmal, welches mit Hilfe des Sensors S1 zum \\ Zeitpunkt t1 ermittelbar ist und g eine Funktion oder ein Verfahren zum \\ Ermitteln dieses Merkmals . \end{array}$
Sei weiterhin $M1 (t2) = g (S1 (t2))$
das mit Hilfe des Sensors S1 zum Zeitpunkt t2 ermittelte Merkmal M1.
Sei weiterhin $\begin{array}{l} M2 = h (S2) ein Merkmal, welches mit Hilfe des Sensors S2 ermitteln lässt und \\ h eine Funktion oder ein Verfahren zum Ermitteln dieses Merkmals . h kann \\ dabei auch eine Transformation von Einheiten durchführen . M2 sei dabei so \\ gewählt, dass gilt: \end{array}$
$\begin{array}{l} M1* (t1) = f (M1 (t2), M2), M1* lässt sich also über zwei Zeitschritte hinweg aus \\ M2 und M1 bestimmen, wobei f eine Funktion oder ein Verfahren ist . \end{array}$
Dann ist eine Abweichung A zu bestimmen als $A = I (M1 (t1), M1* (t1))$
$A = I (g (S1 (t 1)), f (M1 (t2), M2))$
$A = I (g (S1 (t 1)), f (g (S1 (t2)), h (S2)))$
Die Funktion I ist dabei im einfachsten Fall eine Differenz oder eine Differenz bezüglich einer Dimension des Merkmals, welche dem zu kalibrierenden Parameter entspricht.
Schreiben wir I(g(S1 (t1)), f(g(S1 (t2)), h(S2))) als q(S1 (t1), S1 (t2), S2) so ist erkennbar, dass sich die Abweichung also als Funktion von S1 (t1), S1 (t2) und S2 ermitteln lässt.
Die Bedingung M1 *(t1) = f(M1 (t2), M2) ist dabei immer dann erfüllt, wenn M2 dem Differential von M1 (t) entspricht. Sind M1 und M2 also Größen, so ist dies gegeben wenn M2 dem Zuwachs oder der Größenveränderung von M1 zwischen den Zeitpunkten t1 und t2 entspricht. In diesem Fall führt die Funktion f eine Addition durch.
Beispiele hierfür können sein: $Position (t2) = Position (t1) + Bewegung zwischen t1 und t2,$
$\begin{array}{l} Größe (t2) = Größe (t1) + bewegungsbedingte Größenveränderung zwischen t1 \\ und t2, \end{array}$
$\begin{array}{l} Geschwindigkeit (t 2) = Geschwindigkeit (t1) + Beschleunigung zwischen t1 und \\ t2 . \end{array}$
Die Berechnung von M1* kann in jedem der oben genannten Beispiele sowohl im Koordinatensystem von S1 als auch in dem von S2 erfolgen. Weiterhin ist eine Berechnung in Weltkoordinaten möglich. In diesem Fall muss zusätzlich eine Abbildung des Merkmals auf das jeweilige Koordinatensystem erfolgen. Für die Ermittlung der Abweichung in S1 und die Berechnung in S2 sei T die Transformation von S1-Koordinaten nach S2-Koordinaten und T-1 die entsprechende Rücktransformation. Dann kann die Bedingung nun formuliert werden als: $M1* = T - 1 (f (M2)) bzw .M1* (t1) = T - 1 (f (T (M1 (t2), M2)))$
Im Falle eines Bildsensors ist auch eine Berechnung in 2D auf der Bildebene denkbar. In diesem Fall wird zusätzlich zur Koordinatentransformation eine Projektion auf die Bildebene durchgeführt.
Bei S1 und S2 kann es sich um beliebige Sensoren wie Umgebungs- oder Fahrzeugsensoren handeln. Weiterhin können S1 und S2 auch Sensorsysteme sein.
Darüber hinaus ist es möglich, dass zur Bestimmung von S1 Daten von S2 benötigt werden.
Sei also für diesen Fall $M1 = g (S1, S2)$
und
bzw. $M1 (t1) = g (S1 (t1), S2 (t1)) und M1 (t2) = g (S1 (t2), S2 (t2))$
Somit ergibt sich $M1* = f (g (S1, S2), M2) bzw .$
$M1* (t1) = f (g (S1 (t2), S2 (t2)), M2)$
Die Abweichung ergibt sich daher als: $A = I (g (S1, S2), f (g (S1, S2), M2)) bzw .$
$A = I (g (S1 (t1), S2 (t1)), f (g (S1 (t2), S2 (t2), h (S2)))$
wobei die Abweichung bevorzugt numerisch gelöst wird. Dies hat den Vorteil, dass in der Praxis vorkommende Ungenauigkeiten nicht das Erzielen eines Ergebnisses gefährden können.
In einem Anwendungsbeispiel sei: $\begin{array}{l} S1 ist eine Kamera, S2 ist ein Gierratensensor bzw . das Sensorsystem \\ Fahrzeugsensorik, M1 ist die 3D Position eines statischen Objekts und \\ M2 ist die Lateralbewegung des Objekts . \end{array}$
In der Praxis lässt sich eine Abweichung zwischen zwei Sensoren allerdings so gut wie nie anhand nur eines Merkmals bestimmen. Messunsicherheiten können hier zu Fehlern führen, welche in der Größenordnung der gesuchten Werte liegen. Für alle Kalibrierbedarfe, zu denen nicht in Echtzeit ein Ergebnis benötigt wird, ist es daher vorteilhaft, mehrere Merkmale zu verwenden. Dies kann eine Liste von Merkmalen M1 (t1),...Mn(t1) sein, welche sich zum selben Zeitpunkt in der Fahrzeugumgebung oder am Fahrzeug finden lassen. Alternativ können auch Merkmale M1,...Mn von verschiedenen Zeitpunkten in Historien gespeichert werden. In diesem Fall würde die Berechnung erst bei Vorliegen einer ausreichenden Anzahl von Merkmalen vorgenommen werden.
Bei der Ermittlung der Abweichung handelt es sich um ein Optimierungsproblem, welches numerisch bestimmt oder gelernt werden kann. Dabei kommen verschiedene bekannte Verfahren, wie Gradientenverfahren, Monte-Carlo-Verfahren oder systematische Suche in Frage. Als Gütekriterium eignen sich beispielsweise die Summe der Abweichungen oder der quadratischen Abweichungen.
Bei einem Ausführungsbeispiel kann ein Ablauf beispielsweise wie folgt beschrieben werden:

- Definition oder Ermittlung von Initialisierungswerten für die Kalibrierungen,
- Unisensor Online-Überprüfung und/oder Korrektur von Initialisierungswerten, insbesondere bei Stillstand oder gerader Fahrt,
- Ermittlung von Merkmalen und/oder Objekten in Sensordaten mit mindestens einer bekannten Positions- und/oder Bewegungseigenschaft unter Verwendung der bisherigen Kalibrierwerte der Sensor- und Fahrzeugdaten,
- Überprüfung der Kalibrierparameter anhand der ermittelten Merkmale über mehrere Erfassungszyklen unter Verwendung der Fahrzeugdaten, insbesondere bei gerader Fahrt,
- Überprüfen und Ermitteln von dynamischen Kalibrierwerten und Zeitverzögerungen, wie Delays, insbesondere bei einer Kurvenfahrt,
- hochdynamische Kalibrierung unter Verwendung genauer 3D-Positionsschätzungen und der Fahrzeugeigenbewegung.

Eine dynamische Kalibrierung der Kamera- und Egomotion-Parameter kann beispielsweise unter der Annahme einer statisch kalibrierten Kamera erfolgen, wobei Egomotion-Daten, wie Geschwindigkeit und Gierrate, verfügbar sind. Das Ziel ist dabei die dynamische Kalibrierung der Kamera- und Egomotion-Parameter, wie Gier- und Nickwinkel der Kamerakalibrierung, Gierratenoffset und/oder Gierratenverzögerung.
Das Verfahren kann beispielsweise wie folgt durchgeführt werden: Mit einer beweglichen Monokamera werden verschiedene Szenen mit statischen Objekten beobachtet und dabei werden die Historien für die Egomotion und für die Imagepositionen der Objekte während mehrerer Frames gespeichert.
Durch eine Analyse der Egomotion-Historie, wie von Geschwindigkeits- und Gierratendaten, werden die unterschiedlichen Szenen erfasst:

- Stillstand,
- im Wesentlichen gerade Fahrt,
- Kurvenfahrt.

Abhängig von der Szene bzw. der Betriebssituation werden die folgenden Parameter ggf. getrennt kalibriert: Gierratenoffset, Gierratenverzögerung, Gier- und/oder Nickwinkel der Kamera.
Eine vorteilhafte Reihenfolge der Kalibrierungen könnte sein:

1) Gierratenoffset, insbesondere im Stillstand;
2) Gier- und Nickwinkel der Kamera, insbesondere bei im Wesentlichen gerader Fahrt,
3) Temperaturabhängiger Gierratenoffset, insbesondere bei im Wesentlichen gerader Fahrt,
4) Gierratenverzögerung, insbesondere bei Kurvenfahrt.

Der Sinn dieser Vorgehensweise ist die bessere Trennung der Ermittlungen der o.g. Kamera- bzw. Egomotion-Parameter, die zum Teil sehr stark miteinander korrelieren.
Die Ermittlung und Kompensation des Gierratenoffsets, insbesondere im Stillstand, kann mittels des nachfolgenden Verfahrens mit den folgenden Schritten durchgeführt werden:

- Erfassen eines Stillstands des Fahrzeugs durch Analyse der Egomotion-Historie,
- Ermitteln des Offsetwerts während des Stillstands, und
- Korrigieren der Gierrate in Abhängigkeit von dem Offsetwert.

Die dynamische Kamerakalibrierung bzgl. des Gierwinkels und des Nickwinkels kann wie nachfolgend beschrieben durchgeführt werden: Voraussetzungen:

- der Gierratenoffset ist schon kompensiert, siehe oben
- statische Kamerakalibrierung;
- im Wesentlichen gerade Fahrt.

Das Verfahren kann mit den folgenden Schritten durchgeführt werden:

- Erfassen einer geraden Fahrt durch Analyse der Egomotion-Historie, um einen Einfluss einer Gierratenverzögerung auszuschließen,
- Ermitteln der Gierwinkel und/oder der Nickwinkel für mehrere statische Objekte durch Minimierung der Abweichungen der Rückprojektionen zu den entsprechenden gespeicherten Imagepositionen.

Zur Berechnung der Gierwinkel wird daher der horizontale Abstand zwischen der Rückprojektion und der Imageposition verwendet. Die Ermittlung des Nickwinkels wird analog zur Berechnung der Gierwinkel durchgeführt. Dabei wird aber der vertikale Abstand zwischen der Rückprojektion und der Imageposition verwendet:

- Ermitteln eines Gierwinkel oder eines Nickwinkels durch statistische Bearbeitung der Winkel von mehreren Objekten,
- Korrigieren der Kalibrierwinkel.

Die Ermittlung und Kompensation des temperaturabhängigen Gierratenoffsets kann wie folgt beschrieben werden:

Voraussetzungen:
- - kalibrierte Kamera;
- - im Wesentlichen gerade Fahrt.

Das Verfahren sieht die folgenden Schritte vor:

- Erfassen einer im Wesentlichen geraden Fahrt durch Analyse der Egomotion-Historie, um einen Einfluss der Gierratenverzögerung auszuschließen,
- Ermitteln des Gierratenoffsets für mehrere statische Objekte durch Minimierung der Abweichungen, horizontaler Abstand, der Rückprojektionen zu den entsprechenden gespeicherten Imagepositionen,
- Ermitteln eines Offsets durch statistische Bearbeitung der Offsetwerte von mehreren Objekten,
- Korrigieren der Gierrate in Abhängigkeit von dem Offsetwert.

Die Ermittlung und Kompensation der Gierratenverzögerung kann wie folgt beschrieben werden:

Voraussetzungen:
- - kalibrierte Kamera,
- - Gierratenoffset ist schon kompensiert,
- - Kurvenfahrt.

Das Verfahren sieht die folgenden Schritte vor:

- Erfassen einer Kurvenfahrt durch Analyse der Egomotion-Historie. Diese Szene ist relevant für die Schätzung der Gierratenverzögerung,
- Ermitteln der Gierratenverzögerung für mehrere statische Objekte durch Minimierung der Abweichungen, des horizontalen Abstands, der Rückprojektionen zu den entsprechenden gespeicherten Imagepositionen,
- Ermitteln einer Verzögerung durch statistische Bearbeitung der Verzögerungswerte von mehreren Objekten,
- Korrigieren des Zeitstempels der Gierrate in Abhängigkeit von der Gierratenverzögerung.

Bezugszeichenliste

1: Blockschaltbild
2: Kalibrierset bzw. Datensatz
3: Block
4: Korrekturwerte
12: Kalibrierset
13: Block
14: Block
15: Block
22: Kalibrierset
23: Block
24: Block
25: Block
26: Sensor
27: Sensor
32: Kalibrierset
33: Positionsmerkmal
34: Positionsmerkmal
35: Anpassungswert
36: Sensor
37: Sensor
41: Kalibrierverfahren
42: Sensor
43: Kalibrierung
44: Korrektur
45: Sensor
46: Kalibrierung
47: Korrektur
48: Sensor
49: Kalibrierung
51: erstes Positionsmerkmal
52: erster Sensor
53: zweites Positionsmerkmal
54: zweiter Sensor
55: Abweichung
61: erstes Positionsmerkmal
63: zweites Positionsmerkmal
65: Abweichung
70: Optimierung
71: erstes Positionsmerkmal
73: zweites Positionsmerkmal
75: Abweichung
81: erstes Positionsmerkmal
82: erster Sensor
83: zweites Positionsmerkmal
84: zweiter Sensor
85: Abweichung
91: erstes Positionsmerkmal
93: zweites Positionsmerkmal
95: Abweichung
100: Optimierung
101: erstes Positionsmerkmal
103: zweites Positionsmerkmal
200: Sensormodul
201: Sensormodul
202: Sensormodul
203: Block
204: dynamische Kalibrierung
205: Modul
206: Fusionsmodul
207: Kalibrierung
300: Mastermodul
301: Sensormodul
302: Sensormodul
303: Submodul „Unisensor und initiale Kalibrierung“
304: Submodul „Unisensor und initiale Kalibrierung“
305: Submodul „Sensoren“
306: Submodul „dynamische Kalibrierung“
307: Submodul „hochdynamische Kalibrierung“
400: Sensormodul
401: Sensormodul
402: Sensormodul
403: Submodul „Kalibrierung“
404: Sensor- und Fahrzeugdaten bzw. Submodul „Sensoren“
405: Wahrnehmungsmodul bzw. Submodul „hochdynamische Bewegung“
406: Fusionsmodul
407: Planungsmodul

Claims

Verfahren zur Kalibrierung von zumindest einem Sensor (26, 27, 36, 37, 42, 45, 48, 52, 54, 82, 84) oder von Sensoren (26, 27, 36, 37, 42, 45, 48, 52, 54, 82, 84) und/oder von zumindest einer Sensoranordnung und/oder von Sensoranordnungen, insbesondere von Sensoren (26, 27, 36, 37, 42, 45, 48, 52, 54, 82, 84) und/oder von Sensoranordnungen von Kraftfahrzeugen, wobei eine auf zumindest einer vordefinierten Kalibrierung beruhende Kalibrierung durchgeführt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die auf zumindest einer vordefinierten Kalibrierung beruhende Kalibrierung eine extrinsische Kalibrierung und/oder eine intrinsische Kalibrierung ist oder darauf beruht.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die extrinsische Kalibrierung unter Berücksichtigung und/oder unter Verwendung der intrinsischen Kalibrierung durchgeführt wird.
Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die extrinsische Kalibrierung aufbauend auf einer vordefinierten intrinsischen Kalibrierung vorgenommen wird.
Verfahren nach Anspruch 1, 2, 3 oder 4, dadurch gekennzeichnet, dass bei der extrinsischen Kalibrierung zumindest eine vordefinierte initialisierte Kalibrierung, insbesondere zumindest ein Parameter und/oder Modell der vordefinierten initialisierten Kalibrierung verwendet wird bzw. werden, die während der Fahrt korrigiert wird bzw. werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zumindest ein Parameter der vordefinierten initialisierten Kalibrierung durch die intrinsische Kalibrierung kalibriert wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass vordefinierte initialisierte Werte und/oder zuvor ermittelte Parameter verwendet werden, um aktualisierte Parameter der Kalibrierung zu ermitteln.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kalibrierung parameterweise vorgenommen wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass bei der parameterweisen Kalibrierung zunächst ein erster Kalibrierparameter ermittelt wird und anschließend ein zweiter Kalibrierparameter unter Verwendung des ersten Kalibrierparameters ermittelt wird.
Verfahren nach Anspruch 9, dadurch gekennzeichnet dass die zumindest eine vordefinierte Kalibrierung einen vordefinierten Wert des zweiten Kalibrierparameters umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Korrekturwerte der Lage von Sensoren (26, 27, 36, 37, 42, 45, 48, 52, 54, 82, 84) gegenüber der angenommenen Lage der Sensoren (26, 27, 36, 37, 42, 45, 48, 52, 54, 82, 84) zueinander oder zu einem ortsfesten Bezugssystem, insbesondere als Parameter der zumindest einen Kalibrierung, ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zeitliche Verzögerungen von Sensorsignalen zueinander, insbesondere als Parameter der zumindest einen Kalibrierung, erfasst und ausgewertet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zur Kalibrierung ausgeht von einem Kalibrierset (12, 22, 32), wie einem Datensatz, mittels welchem die Kalibrierung in einem ersten Zyklus durchgeführt wird, wobei aus der Kalibrierung aktualisierte Korrekturwerte ermittelt werden, mittels welchen das Kalibrierset (12, 22, 32) korrigiert wird, so dass in einem zweiten Zyklus ein korrigiertes Kalibrierset (12, 22, 32) verwendet wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass das Kalibrierset zumindest eine Kalibrierung, insbesondere Parameter und/oder Modelle der Kalibrierung, enthält.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die aktualisierten Korrekturwerte Werte zur Anpassung der Kalibrierung, insbesondere der Parameter und/oder Modelle der Kalibrierung und/oder eine angepasste Kalibrierung, insbesondere der Parameter und/oder Modelle der Kalibrierung sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest einer oder zwei der folgenden Parameter gegebenenfalls getrennt kalibriert werden: Gierratenoffset, Gierratenverzögerung, Gier-, Wank-, Roll- und/oder Nickwinkel der Kamera:
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kalibrierung in einer Reihenfolge erfolgt: 1. Gierratenoffset, insbesondere im Stillstand kalibriert, 2. Gier- und Nickwinkel der Kamera, insbesondere bei im Wesentlichen gerader Fahrt, 3. Gierratenoffset, insbesondere bei im Wesentlichen gerader Fahrt und 4. Gierratenverzögerung, insbesondere bei einer Kurvenfahrt.