DE102013222291A1

DE102013222291A1 - Verfahren und Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors

Info

Publication number: DE102013222291A1
Application number: DE201310222291
Authority: DE
Inventors: Axel Roth
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2013-11-04
Filing date: 2013-11-04
Publication date: 2015-05-07

Abstract

Die Erfindung betrifft ein Verfahren zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors (10) mit den folgenden Schritten: Erfassen einer lateralen und longitudinalen Beschleunigung (12, 14) des bildgebenden Sensors durch am oder im Sensor angeordnete Beschleunigungssensoren (16, 18) im Stillstand des Fahrzeugs, Ermitteln des Nick- und Rollwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen, und Abschätzen der Einbauwinkel des bildgebenden Sensors anhand der ermittelten Nick- und Rollwinkel. In einer Weiterbildung kann auch der Gierwinkel des bildgebenden Sensors während einer Beschleunigungsphase des Fahrzeugs ermittelt und zum Abschätzen de Einbauwinkel des bildgebenden Sensors herangezogen werden. Das erfindungsgemäße Verfahren ist für eine Online-Kalibrierung während des Betriebs eines Fahrzeugs geeignet.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors, insbesondere einer zur Umfelderfassung des Fahrzeugs vorgesehenen Kamera eines Fahrerassistenzsystems.
Fortgeschrittene Fahrerassistenzsysteme, auch kurz als ADAS (Advanced Driver Assistance System) bezeichnet, verwenden häufig zur Erfassung des Umfelds eines Fahrzeugs bildgebende Sensoren wie RADAR- oder LIDAR-Sensoren oder Kameras, die beispielsweise an der Frontscheibe oder im Bereich des Kühlergrills oder in den Frontscheinwerfern des Fahrzeugs montiert sind, um das Umfeld vor dem Fahrzeug zu erfassen. ADAS-Bildverarbeitungsalgorithmen werten die Daten solcher Sensoren aus, beispielsweise um Objekte vor dem Fahrzeug, Fahrbahnspuren etc. zu erkennen.
Da für derartige Funktionen häufig eine möglichst genaue und verzerrungsfreie Abbildung der Umgebung oder von Objekten erforderlich ist, müssen die Einbauwinkel von derartigen bildgebenden Sensoren aufwändig bei der Fahrzeugmontage kalibriert werden. Aus der deutschen Patentanmeldung DE 10 2008 010 805 A1 ist beispielsweise die Kalibrierung mittels einer Kalibriertafel bekannt, die vor einem Fahrzeug-Kamerasystem angeordnet wird. Hierdurch wird ein einfaches und robustes Kalibrieren eines Fahrzeug-Kamerasystems ermöglicht.
Aufgabe der vorliegenden Erfindung ist es nun, ein Verfahren und eine Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors vorzuschlagen, um eine verbesserte Kalibrierung des Sensors zu ermöglichen.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Eine der Erfindung zugrunde liegende Idee basiert darauf, mittels Beschleunigungssensoren im Stillstand eines Fahrzeugs die Einbauwinkel eines bildgebenden Sensors wie einer Kamera, einem Radar- oder Lidar-Sensor, abzuschätzen. Die so abgeschätzten Einbauwinkel können dann beispielsweise durch Fusion mit Daten des Sensors für eine verbesserte Kalibrierung des Sensors genutzt werden. Da die Beschleunigungen durch am oder im bildgebenden Sensor angeordnete Beschleunigungssensoren ermittelt werden, kann die Erfindung auch zur Einbauwinkelschätzung während einer Fahrt verwendet werden, da keine Zeitverzögerung bei der Beschleunigungsmessung auftritt, wie sie beispielsweise bei einer Übertragung von Beschleunigungsdaten über einen Fahrzeug-Bus auftreten kann. Dadurch können beispielsweise auch bei fehlenden Fahrbahnmarkierungen, die herkömmlicherweise für eine Einbauwinkelabschätzung durch einen bildgebenden Sensor genutzt werden, die Einbauwinkel des Sensors geschätzt werden.
Eine Ausführungsform der Erfindung betrifft nun ein Verfahren zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors mit den folgenden Schritten: Erfassen einer lateralen und longitudinalen Beschleunigung des bildgebenden Sensors durch am oder im Sensor angeordnete Beschleunigungssensoren im Stillstand des Fahrzeugs, Ermitteln des Nick- und Rollwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen, und Abschätzen der Einbauwinkel des bildgebenden Sensors anhand der ermittelten Nick- und Rollwinkel. Ein derartiges Verfahren kann beispielsweise als Funktion eines Algorithmus eines Fahrerassistenzsystems implementiert sein und vor allem in der Produktion des Fahrzeugs nach dem Einbau des bildgebenden Sensors für eine Kalibrierung genutzt werden, insbesondere indem die geschätzte Einbauwinkel mit den auf anderen Wege, beispielsweise mittels einer Kalibriertafel ermittelten Einbauwinkeln fusioniert werden, insbesondere durch eine Plausibilisierung. Generell kann die Erfindung aber auch autonom zum Kalibrieren der Einbauwinkel eines bildgebenden Sensors im Fahrzeug genutzt werden und daher eine Kalibriertafel ersetzen.
Das Verfahren kann ferner durch die folgenden Schritte gekennzeichnet sein: Erfassen einer lateralen und longitudinalen Beschleunigung des bildgebenden Sensors durch die am oder im Sensor angeordnete Beschleunigungssensoren während einer Beschleunigungsphase des Fahrzeugs, und Ermitteln des Gierwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen, und Abschätzen der Einbauwinkel des bildgebenden Sensors anhand des ermittelten Gierwinkels. Dadurch können die Einbauwinkel des bildgebenden Sensors noch genauer abgeschätzt werden, da neben Nick- und Rollwinkel auch der Gierwinkel ermittelt werden kann, so dass im Prinzip die vollständigen Einbauwinkel des Sensors im Fahrzeug bekannt ist. Eine Kalibrierung gemäß diesem Verfahren könnte beispielsweise in der Fahrzeugproduktion wie folgt ablaufen: zunächst werden Nick- und Rollwinkel bei Stillstand des Fahrzeugs gemessen, beispielsweise wenn das Fahrzeug genau horizontal ausgerichtet ist (die Ausrichtung des Fahrzeugs muss hierbei nicht genau horizontal, aber bekannt sein). In einer Beschleunigungsphase ohne Lenkeinschlag wird dann anschließend der Gierwinkel ermittelt. Die Kalibrierung des Gierwinkels kann ggf. während normaler Nutzung des Fahrzeugs erfolgen, somit ist ggf. kein Prozess während der Fertigung notwendig.
Weiterhin kann das Verfahren durch die folgenden Schritte gekennzeichnet sein: Erfassen einer lateralen und longitudinalen Beschleunigung des bildgebenden Sensors durch die am oder im Sensor angeordnete Beschleunigungssensoren während einer Benutzung des Fahrzeugs, entweder während eines Stillstands oder einer Fahrt des Fahrzeugs, und Ermitteln des Nick-, Roll- und Gierwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen, und Abschätzen der Einbauwinkel des bildgebenden Sensors anhand der ermittelten Nick-, Roll- und Gierwinkel. Hierdurch wird eine Einbauwinkelabschätzung auch im Betrieb des Fahrzeugs ermöglicht, wodurch die Kalibrierung des Sensors weiter verbessert werden kann, da die Einbauwinkel des Sensors sich beispielsweise abhängig von Beladungszuständen des Fahrzeugs ändern können. Hierbei ist es möglich, mit statistischen des Nick-, Roll- und Gierwinkeln des bildgebenden Sensors zu arbeiten, oder die während der Fahrt erfassten Messwerte von lateraler und longitudinaler Beschleunigung einer genaueren Signalanalyse zu unterziehen, um möglichst genaue Schätzungen der Kamera-Einbauwinkel zu ermitteln.
Eine weitere Ausführungsform der Erfindung betrifft eine Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors mit am oder im bildgebenden Sensor angeordnete Beschleunigungssensoren, ersten Mitteln zum Erfassen einer lateralen und longitudinalen Beschleunigung des bildgebenden Sensors durch die am oder im Sensor angeordnete Beschleunigungssensoren im Stillstand des Fahrzeugs, zweiten Mitteln zum Ermitteln des Nick- und Rollwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen und zum Abschätzen der Einbauwinkel des bildgebenden Sensors anhand der ermittelten Nick- und Rollwinkel.
Die Vorrichtung kann zum Ausführen eines Verfahrens nach der Erfindung und wie hierin beschrieben ausgebildet sein.
Die vorliegende Erfindung eignet sich insbesondere zum Einsatz in einem Fahrerassistenzsystem.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
Die Zeichnung(en) zeigt/zeigen in
1 eine Seitenansicht einer Kamera als bildgebender Sensor, die zwei Beschleunigungssensoren zur Schätzung der Einbauwinkel der Kamera in einem Fahrzeug aufweist;
2 eine Heckansicht der in 1 gezeigten Kamera;
3 eine Draufsicht auf die in 1 gezeigte Kamera;
4 ein Blockschaltbild eines Ausführungsbeispiels einer Vorrichtung zur Schätzung der Einbauwinkel einer in einem Fahrzeug montierten Kamera gemäß der Erfindung.
In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen.
1 bis 3 zeigen eine Kamera 10 als bildgebenden Sensor eines Fahrerassistenzsystems in einer Seitenansicht, einer Heckansicht und einer Draufsicht, die in einem Fahrzeug verbaut ist. Die Längs-, Quer- und Hochachse x, y bzw. z des Fahrzeugs sind durch das Koordinatensystem x-y-z dargestellt.
Die Kamera 10 ist mit zwei Beschleunigungssensoren ausgestattet: ein lateraler Beschleunigungssensor 16, der derart in oder an der Kamera 10 angeordnet ist, dass er die laterale Beschleunigung 12 (2) misst; und ein longitudinaler Beschleunigungssensor 18, der derart in oder an der Kamera 10 angeordnet ist, dass er die longitudinale Beschleunigung 14 misst.
Die Kamera 10 ist verkippt in Bezug auf die Längs-, Quer- und Hochachse x, y bzw. z des Fahrzeugs eingebaut, d. h. ihre vertikale Achse 24 und ihre Haupt-Achse 26 weisen jeweils einen Winkel ungleich 0° auf und verlaufen nicht parallel zur Hochsachse z bzw. Längsachse x.
Um die Einbauwinkel der Kamera 10 insbesondere für eine Kalibrierung abschätzen zu können, werden im Stillstand des Fahrzeugs, in dem die Lage des Fahrzeugs bekannt sein sollte, die longitudinale Beschleunigung 14 mit dem longitudinalen Beschleunigungssensor 18 und die laterale Beschleunigung 12 mit dem lateralen Beschleunigungssensor 16 erfasst bzw. gemessen, welche durch die Erdbeschleunigung erzeugt werden. Anhand der erfassten lateralen und longitudinalen Beschleunigungen 12 bzw. 14 (bzw. Beschleunigungskomponenten der Erdbeschleunigung 20) kann der Roll- bzw. Nickwinkel der Kamera 10 ermittelt werden. Befindet sich das Fahrzeug bei den Beschleunigungsmessungen auf einer nahezu, idealerweise exakt horizontalen Ebene, wie beispielsweise am Bandende einer Fahrzeug-Produktionsstraße, entsprechen die ermittelten Roll- und Nickwinkel ziemlich genau den Einbauwinkeln der Kamera 10 im Fahrzeug. Durch die Beschleunigungsmessungen und die daraus ermittelten Roll- und Nickwinkel können also im Stillstand des Fahrzeugs, möglichst auf einer horizontalen Ebene, die Einbauwinkel der Kamera 10 im Fahrzeug abgeschätzt werden. Die Einbauwinkelabschätzung kann dann für eine Kalibrierung der Kamera verwendet werden, insbesondere durch Fusion mit Kameradaten.
Wesentlich für die vorstehend beschriebene Einbauwinkelabschätzung ist, dass die Beschleunigungsmessungen im Stillstand des Fahrzeugs ermittelt werden, da dann nahezu ausschließlich die auf die beiden Beschleunigungssensoren 16 und 18 wirkenden Beschleunigungskomponenten des Erdbeschleunigung gemessen werden, die eine relativ genaue Ermittlung von Roll- und Nickwinkel der Kamera 10 und damit eine ziemlich genaue Schätzung der Einbauwinkel der Kamera 10 ermöglichen.
Eine weitergehende Einschätzung der Einbauwinkel der Kamera 10 kann durch eine Beschleunigung des Fahrzeugs in Longitudinalrichtung erreicht werden. Während dieser Beschleunigungsphase werden wieder die die longitudinale Beschleunigung 14 mit dem longitudinalen Beschleunigungssensor 18 und die laterale Beschleunigung 12 mit dem lateralen Beschleunigungssensor 16 erfasst bzw. gemessen. Aufgrund der Beschleunigung des Fahrzeugs in Longitudinalrichtung und die in Longitudinalrichtung wirkenden Beschleunigungskräfte werden andere Beschleunigungen als im Stillstand gemessen, in dem lediglich die in der Fahrzeug-Hochachse z wirkende Erdbeschleunigung auftritt. Die so gemessenen Beschleunigungen ermöglichen es, den Gierwinkel der Kamera 10 zu ermitteln, so dass daraus eine Verdrehung bzw. Verkippung der Kamera 10 um die Fahrzeug-Hochachse z als Einbauwinkel der Kamera 10 abgeschätzt werden kann. Die Ermittlung des Gierwinkels kann beispielsweise während einer kurzen Beschleunigungsphase des Fahrzeugs am Ende einer Produktionsstraße erfolgen, insbesondere wenn das Fahrzeug auf einer möglichst horizontalen Strecke beschleunigt wird, z. B. beim Herunterfahren des Fahrzeugs vom Band.
Die Erfassung der longitudinalen Beschleunigung 14 mit dem longitudinalen Beschleunigungssensor 18 und der lateralen Beschleunigung 12 mit dem lateralen Beschleunigungssensor 16 kann auch während einer Fahrt des Fahrzeugs erfolgen, so dass eine Kalibrierung der Kamera 10 im Betrieb des Fahrzeugs erfolgen kann, also auch nach Verlassen der Produktion. Da die Einbauwinkel der Kamera 10 im Betrieb des Fahrzeugs von verschiedenen Faktoren abhängt, wie beispielsweise dem Beladungszustand und der Ausrichtung der Fläche, auf der sich das Fahrzeug befindet (im alltäglichen Gebrauch des Fahrzeugs ist häufig nicht gewährleistet, dass das Fahrzeug auf einer nahezu oder gar exakt horizontalen Fläche steht), werden statistische Mittelwerte des Nick-, Roll- und Gierwinkels der Kamera 10 ermittelt, und die Einbaulage anhand dieser statistischen Mittelwerte abgeschätzt. Damit können zumindest größere Abweichungen der Kamera-Kalibrierung von der gewünschten Kalibrierung ermittelt werden.
4 ein Blockschaltbild einer Vorrichtung zur Schätzung der Einbauwinkel einer in einem Fahrzeug montierten Kamera 10, die eine lateralen und einen longitudinalen Beschleunigungssensor 16 bzw. 18 aufweist. Die Ausgangssignale der Beschleunigungssensoren 16 und 18 werden einer Beschleunigungsmesseinheit 28 zugeführt, welche die longitudinale und die laterale Beschleunigung misst und an eine Winkelberechnungseinheit 30 weitergibt. Die Einheit 30 berechnet aus den gemessenen Beschleunigungen den Nick- und den Roll-Winkel, d. h. den Winkel zwischen der Kamera-Haupt-Achse 26 und der Längs-Achse x bzw. den Winkel zwischen der vertikalen Kamera-Achse 24 und der Hoch-Achse z. Weiterhin kann die Einheit 30 aus den gemessenen Beschleunigungen den Gierwinkel der Kamera 10 berechnen. Für die Berechnung kann die Einheit 30 zwischen Fahrzeugstillstand, Beschleunigungsphase des Fahrzeugs und Betrieb des Fahrzeugs unterscheiden. Beispielsweise kann durch ein (nicht dargestelltes) externes Signal die Einheit 30 in einen Modus versetzt werden, in dem sie von einem Stillstand des Fahrzeugs oder einer Beschleunigungsphase oder einem laufenden Betrieb des Fahrzeugs ausgeht und entsprechend ihre Berechnungsroutinen anpassen.
Die ermittelten Nick-, Roll- und Gierwinkel sendet die Einheit 30 an eine Fusionseinheit 32, welche eine Fusion der Einbauwinkel der Kamera 10 im Fahrzeug mit anderen Daten zur Einbaulage der Kamera 10 fusioniert, beispielsweise Daten von einem ADAS (Fahrerassistenzsystem) oder anderen im Fahrzeug vorhandenen Daten. Die Einbauwinkel können beispielsweise mit Daten einer Kamera fusioniert werden, um eine Kalibrierung der Kamera durchzuführen. Eine Fusionierung kann alternativ auch auf anderen Ebenen geschehen. So könnten Ergebnisse der Bildverarbeitung mit den Sensor-Messdaten fusioniert/abgeglichen werden und erst anschließend eine (einzige) Schätzung der Einbaulage erfolgen.
Bezugszeichenliste

10: Kamera
12: laterale Beschleunigung
14: longitudinale Beschleunigung
16: lateraler Beschleunigungssensor
18: longitudinaler Beschleunigungssensor
20: Erdbeschleunigung
22: Fahrzeug-Beschleunigung
24: vertikale Kamera-Achse
26: Kamera-Haupt-Achse
28: Beschleunigungsmesseinheit
30: Winkelberechnungseinheit
32: Fusionseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008010805 A1 [0003]

Claims

Verfahren zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors (10) mit den folgenden Schritten: – Erfassen einer lateralen und longitudinalen Beschleunigung (12, 14) des bildgebenden Sensors durch am oder im Sensor angeordnete Beschleunigungssensoren (16, 18) im Stillstand des Fahrzeugs, – Ermitteln des Nick- und Rollwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen, und – Abschätzen der Einbauwinkel des bildgebenden Sensors anhand der ermittelten Nick- und Rollwinkel.
Verfahren nach Anspruch 1, ferner gekennzeichnet durch die folgenden Schritte: – Erfassen einer lateralen und longitudinalen Beschleunigung (12, 14) des bildgebenden Sensors (10) durch die am oder im Sensor angeordnete Beschleunigungssensoren (16, 18) während einer Beschleunigungsphase des Fahrzeugs, und – Ermitteln des Gierwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen, und – Abschätzen der Einbauwinkel des bildgebenden Sensors anhand des ermittelten Gierwinkels.
Verfahren nach Anspruch 1 oder 2, ferner gekennzeichnet durch die folgenden Schritte: – Erfassen einer lateralen und longitudinalen Beschleunigung (12, 14) des bildgebenden Sensors (10) durch die am oder im Sensor angeordnete Beschleunigungssensoren (16, 18) während einer Benutzung des Fahrzeugs, entweder während eines Stillstands oder einer Fahrt des Fahrzeugs, und – Ermitteln des Nick-, Roll- und Gierwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen, und – Abschätzen der Einbauwinkel des bildgebenden Sensors anhand der ermittelten Nick-, Roll- und Gierwinkel.
Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors (10) mit – am oder im bildgebenden Sensor angeordnete Beschleunigungssensoren (16, 18), – ersten Mitteln (28) zum Erfassen einer lateralen und longitudinalen Beschleunigung des bildgebenden Sensors durch die am oder im Sensor angeordnete Beschleunigungssensoren im Stillstand des Fahrzeugs, – zweiten Mitteln (30) zum Ermitteln des Nick- und Rollwinkels des bildgebenden Sensors anhand der ermittelten lateralen und longitudinalen Beschleunigungen und zum Abschätzen der Einbauwinkel des bildgebenden Sensors anhand der ermittelten Nick- und Rollwinkel.
Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass sie zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist.