-
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera gemäß dem Oberbegriff des Anspruchs 1.
-
Die Erfindung betrifft weiterhin ein Verfahren zur Justierung einer Kamera.
-
Aus der
DE 10 2019 000 438 A1 ist ein Verfahren zu einer Kalibrierung einer fahrzeugeigenen Kamera mittels eines optischen Musters bekannt. Dabei wird das optische Muster mittels einer fahrzeugeigenen Lichtquelle in eine Fahrzeugumgebung oder in einen Erfassungsbereich der fahrzeugeigenen Kamera projiziert und eine Projektionsfläche des optischen Musters wird mittels eines Lidarsensors vermessen. Mittels einer vermessenen Projektionsfläche werden Fehldarstellungen eines projizierten optischen Musters ermittelt und anhand der Fehldarstellungen wird die Kamera kalibriert.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Kalibrierung einer Kamera und ein neuartiges Verfahren zur Justierung einer Kamera anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Kalibrierung einer Kamera, welches die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren zur Justierung einer Kamera, welches die im Anspruch 3 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur Kalibrierung einer Kamera unter Berücksichtigung von mittels zumindest eines entfernungsauflösenden Sensors erfassten Daten wird erfindungsgemäß zumindest ein Kamerabild erfasst und in dem zumindest einen Kamerabild werden definierte Objekte segmentiert und segmentierte Objektsilhouetten gebildet. Die segmentierten Objektsilhouetten werden in einen dreidimensionalen Raum projiziert, wobei mittels des entfernungsauflösenden Sensors erfasste dreidimensionale Objektdaten der Objekte in dem dreidimensionalen Raum mit den segmentierten Objektsilhouetten überlagert werden. Mittels einer Fehlermetrik wird eine Deckungsgleichheit zwischen den segmentierten Objektsilhouetten und den jeweils zugehörigen dreidimensionalen Objektdaten ermittelt, wobei mit abnehmender Deckungsgleichheit eine zunehmende Dekalibrierung der Kamera ermittelt wird und mit zunehmender Deckungsgleichheit eine abnehmende Dekalibrierung der Kamera ermittelt wird.
-
In Fahrzeugen arbeiten Fahrerassistenzfunktionen, welche auf mittels einer Vielzahl unterschiedlicher Sensoren erfassten Daten aufbauen. Einer der Hauptsensoren, welcher sowohl während einer Fahrt der Fahrzeuge als auch während Parkvorgängen zum Einsatz kommt, stellt die Kamera dar. Diese kann neben einer zweidimensional basierten Objektdetektion und Objektklassifikation auch eine dreidimensionale Position von Objekten, wie beispielsweise Fußgängern, aber auch anderen Objekten auflösen. Für derartige Funktionsumfänge ist eine präzise intrinsische und extrinsische Kalibrierung der Kamera in Relation zum Fahrzeugkoordinatensystem erforderlich. Sämtliche Fehler im Rahmen dieser Kalibrierung propagieren in räumlichen Offsets der dreidimensionalen Objektposition, wodurch eine Funktionsgüte der Fahrerassistenzfunktionen, wie beispielsweise eines Notbremsassistenten, einer automatisierten Parkfunktion usw., deutlich degradiert.
-
Bei der Kalibrierung von Kamerasystemen im Fahrerassistenzkontext kann zwischen einer statischen Kalibrierung in einer Produktion des Fahrzeugs sowie einer Kalibrierung während eines Betriebs des Fahrzeugs im Rahmen einer Online-Kalibrierung differenziert werden.
-
Im Rahmen der statischen Kalibrierung wird die entsprechende Kamera im Laufe der Produktion des Fahrzeugs kalibriert. Hier kommt in aller Regel eine so genannte Zhang- oder auch Tsai-Kalibrierung zum Einsatz. Hierbei werden in einem kontrollierten Raum definierte Schachbrettmuster und/oder andere Muster mit bekannten Abmessungen in unterschiedlichen Positionen positioniert. Das Fahrzeug nimmt diese bekannten Muster mit der zu kalibrierenden Kamera auf, wodurch von dem Muster eine zweidimensionale Abbildung erzeugt wird. Somit ist eine 3D-zu-2D-Abbildung bekannt, welche auch als Homographie bezeichnet wird. Durch ein Optimierungsproblem kann nun eine Position der Kamera zu dem Muster sowie zum Fahrzeugursprung - in aller Regel die Mitte einer Hinterachse des Fahrzeugs - bestimmt werden, wodurch die Kamera extrinsisch kalibriert ist. Eine intrinsische Kalibrierung der Kamera erfolgt insbesondere bereits bei einem Kamerahersteller oder -lieferanten.
-
Im späteren Betrieb des Fahrzeugs kann es immer wieder zu einer Variation von Kalibrierinformationen, welche mittels der statischen Kalibrierung ermittelt wurden, kommen. Dies kann beispielsweise durch einen Versatz einer Spiegelkamera bei einem Ein- oder Ausfahren von Außenspiegel des Fahrzeugs oder bei starken Vibrationen usw. geschehen. Daraus leitet sich die Notwendigkeit ab, extrinsische Kalibrierparameter im Fahrbetrieb nachzukalibrieren bzw. online zu kalibrieren.
-
Das vorliegende Verfahren ermöglicht eine extrinsische Online-Kamerakalibrierung unter Berücksichtigung von mittels zumindest eines entfernungsauflösenden Sensors erfassten Daten, insbesondere dreidimensionalen Daten. Insbesondere gegenüber einer auf einer kameragestützten Segmentierung basierenden Kalibrierung, bei welcher Objekte mit bekannter Größe und bekanntem Abstand zur Kamera segmentiert werden, und einer auf einem Tracking von charakteristischen Merkmalen über die Zeit bei sich bewegendem Fahrzeug basierenden Kalibrierung ist mittels des vorliegenden Verfahrens eine präzise Kalibrierung im Stillstand oder Niedriggeschwindigkeitsbereich des Fahrzeugs möglich. Dabei ermöglicht das vorliegende Verfahren die Detektion einer Dekalibrierung der Kamera und daraus die Erfassung eines Erfordernisses zur Justierung der Kamera. Dabei ist in vorteilhafter Weise keine Bindung an definierte Objekte und zweidimensionale Merkmale erforderlich und eine so genannte Single-Frame-Kalibrierung mit geringem Zeitaufwand wird ermöglicht. Eine lange zurückgelegte Wegstrecke bzw. Distanz zu einer präzisen Bestimmung der extrinsischen Kameraparameter ist dabei nicht erforderlich. Auch ist das Verfahren auf eine weitere Fahrzeugsensorik flexibel erweiterbar.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch einen Ablauf eines Verfahrens zur Justierung einer Kamera,
- 2 schematisch mittels eines entfernungsauflösenden Sensors erfasste Daten,
- 3 schematisch mittels einer Kamera in einem Kamerabild erfasste Daten,
- 4 schematisch eine Segmentierung der Daten gemäß 3 und dabei gebildete Objektsilhouetten,
- 5 schematisch das Kamerabild gemäß 3 mit einem Brennpunkt der Kamera,
- 6 schematisch eine Projektion der Objektsilhouetten gemäß 4 in einen dreidimensionalen Raum,
- 7 schematisch eine Ermittlung einer Deckungsgleichheit zwischen den Objektsilhouetten und den jeweils zugehörigen dreidimensionalen Objektdaten gemäß 6 mittels einer Fehlermetrik,
- 8 schematisch eine Ermittlung eines globalen Maximums der Deckungsgleichheit durch Variation einer virtuellen Position einer Kamera und
- 9 schematisch eine Aktualisierung der virtuellen Position der Kamera.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein Ablauf eines Verfahrens zur Justierung einer in 6 näher dargestellten Kamera 1 eines in den 2 und 6 näher dargestellten Fahrzeugs 2 dargestellt.
-
Zu dieser Justierung wird zunächst eine Kalibrierung der Kamera 1 durchgeführt, in welcher eine Translation und Rotation der Kamera 1 zu einem Koordinatenursprung eines in den 7 und 8 dargestellten Fahrzeugkoordinatensystems K ermittelt werden. In diesem Rahmen wird ein Sensorverbund mit einer zu kalibrierenden Kamera 1, beispielsweise einer für einen Parkvorgang des Fahrzeugs 2 genutzten Surround-View-Kamera, und mindestens einem in 2 näher dargestellten weiteren Sensor 3, welcher eine 3D-Objektposition, insbesondere eine Entfernung, bestimmen kann, genutzt.
-
Hierbei wird in einem Verfahrensschritt VS1 eine statische Kalibrierung der Kamera 1 durchgeführt. Im Rahmen der statischen Kalibrierung wird die Kamera 1 beispielsweise im Laufe der Produktion des Fahrzeugs 2 oder während dessen Betrieb online intrinsisch und/oder extrinsisch kalibriert.
-
Weiterhin erfolgt während des Betriebs des Fahrzeugs 2, das heißt online, in einem weiteren Verfahrensschritt VS2 eine dreidimensionale Rekonstruktion zumindest eines mittels der Kamera 1 erfassten Umgebungsbereichs mittels des entfernungsauflösenden Sensors 3, beispielsweise eines Lidarsensors.
-
Weiterhin erfolgt in einem weiteren Verfahrensschritt VS3 eine Fahrzeugreferenzierung, in welcher in den mittels des Sensors 3 erfassten dreidimensionalen Daten vorhandene Objekte O1 bis On (dargestellt in 2) in einen dreidimensionalen Raum projiziert werden. Hierzu erfolgt eine Abbildung der Objekte O1 bis On in dem Fahrzeugkoordinatensystem K, dessen Koordinatenursprung insbesondere in der Mitte einer Hinterachse des Fahrzeugs 2 ist. Die Objekte 01 bis On sind beispielsweise Fußgänger, Fahrzeuge, Infrastruktur und/oder weitere definierte Strukturen.
-
Weiterhin erfolgt in einem weiteren Verfahrensschritt VS4 eine zweidimensionale Erfassung zumindest eines Erfassungsbereichs des weiteren Sensors 3 mittels der Kamera 1, so dass in einem in 3 dargestellten Kamerabild B eine zweidimensionale Darstellung der mittels des weiteren Sensors 3 erfassten Szene erfolgt.
-
Weiterhin werden in einem weiteren Verfahrensschritt VS5 in dem Kamerabild B definierte Objekte 01 bis On segmentiert und segmentierte Objektsilhouetten S1 bis Sn werden gebildet.
-
Weiterhin werden in einem weiteren Verfahrensschritt VS6 die segmentierten Objektsilhouetten S1 bis Sn anhand einer Bild-Welt-Transformation in den dreidimensionalen Raum projiziert. Die Projektion geht hierbei von einem in 5 näher dargestellten Brennpunkt F und einer Bildebene der Kamera 1 mit einem vorgegebenen Abstand vom Brennpunkt F aus.
-
Im dreidimensionalen Raum umschließen die projizierten Objektsilhouetten S1 bis Sn, auch als Wrapping bezeichnet, im Optimalfall nahtlos die mittels des entfernungsmessenden Sensors 3 erfassten Objekte O1 bis On unter der Voraussetzung einer korrekten Sensor-zu-Fahrzeug-Kalibrierung. Liegt hierbei ein Fehler in der Kamerakalibrierung vor, so liegt keine deckungsgleiche Projektion der Objektsilhouetten S1 bis Sn auf die dreidimensionalen Objekte 01 bis On vor.
-
Ein bei einer solchen Abweichung der Objektsilhouetten S1 bis Sn auf die dreidimensionalen Objekte O1 bis On auftretender Offset kann durch eine definierte und im Verfahrensschritt VS7 ermittelte Fehlermetrik abgebildet werden, beispielsweise einer so genannten orthogonalen L2-Distanz. Diese Fehlermetrik kann im Projektionskorridor zwischen dem Brennpunkt F der Kamera 1 und dem definierten Maximalabstand berechnet werden. Eine in 8 näher dargestellte virtuelle Position POS1 bis POS5 der Kamera 1 mit dem Minimum der Fehlermetrik wird entsprechend abgespeichert.
-
Darauffolgend wird in einer Verzweigung V überprüft, ob ein globales Minimum hinsichtlich der Fehlermetrik erreicht ist, das heißt, ob ein globales Maximum der Deckungsgleichheit aller segmentierten Objektsilhouetten S1 bis Sn und den jeweils zugehörigen dreidimensionalen Objektdaten vorliegt. Ist dies nicht der Fall, dargestellt durch einen Nein-Zweig N, erfolgt in einem weiteren Verfahrensschritt VS8 durch Translation und/oder Rotation eine virtuelle Änderung der Position POS1 bis POS5 der Kamera 1 und es wird wiederrum das Minimum der Fehlermetrik gespeichert. Demgemäß resultiert ein Optimierungsproblem, dessen Lösung die Position mit dem globalen Minimum und die korrekte virtuelle Position POS1 bis POS5 der Kamera 1 enthalten soll. Die Lösung des Optimierungsproblems wird solange durchgeführt, bis das globale Minimum hinsichtlich der Fehlermetrik erreicht ist. Jene Position wird dann als Kalibrierfile einer Objektdetektion zugeführt und entsprechend wird die Kamerakalibrierung aktualisiert.
-
Ist das globale Minimum hinsichtlich der Fehlermetrik erreicht, dargestellt durch einen Ja-Zweig J, wird die zugehörige virtuelle Position POS1 bis POS5 der Kamera 1 als aktualisierte extrinsische Kamerakalibrierung dem Gesamtsystem übergeben und somit die Kamera 1 justiert.
-
Das Verfahren ermöglicht eine Aktualisierung der extrinsischen Kamerakalibrierung und -justierung im Stand sowie im Niedriggeschwindigkeitsbereich des Fahrzeugs 2. Weiterhin ist eine initiale Festlegung auf einen definierten Objekttyp bzw. ein zweidimensionales Merkmal nicht erforderlich, wodurch die Kalibrierung in einem breiten Anwendungsspektrum möglich ist. Ferner kann durch das Verfahren grundsätzlich auch eine Information darüber gegeben werden, ob die Kamera 1 eine fehlerhafte extrinsische Kalibrierung aufweist und demgemäß online kalibriert und gegebenenfalls justiert werden muss.
-
2 zeigt mittels des entfernungsauflösenden Sensors 3 erfasste Daten gemäß dem Verfahrensschritt VS2, wobei die Daten dreidimensionale Objektdaten von Objekten O1 bis On in einem dreidimensionalen Raum umfassen.
-
3 zeigt mittels der Kamera 1 gemäß dem Verfahrensschritt VS4 erfasste Daten mit den Objekten O1 bis On in einem zweidimensionalen Kamerabild B, wobei ein in 9 dargestellter Erfassungsbereich E der Kamera 1 zumindest im Wesentlichen einem Erfassungsbereich des entfernungsauflösenden Sensors 3 entspricht.
-
In 4 sind eine Segmentierung gemäß dem Verfahrensschritt VS5 der Daten aus dem Kamerabild B gemäß 3 und dabei gebildete Objektsilhouetten S1 bis Sn dargestellt. Beispielsweise kann hierbei eine Anordnung von Objekten O1 bis On auf das Vorhandensein einer Parklücke hinweisen.
-
5 zeigt das Kamerabild B gemäß 3 mit dem Brennpunkt F der Kamera 1.
-
In 6 ist eine Projektion der Objektsilhouetten S1 bis Sn gemäß 4 in dem dreidimensionalen Raum dargestellt, wobei die mittels des entfernungsauflösenden Sensors 3 erfassten dreidimensionalen Objektdaten der Objekte O1 bis On in dem dreidimensionalen Raum mit den segmentierten Objektsilhouetten S1 bis Sn überlagert werden. Die Projektion erfolgt dabei als so genannte Bild-Welt-Projektion gemäß dem Verfahrensschritt VS6 ausgehend vom Brennpunkt F der Kamera 1.
-
7 zeigt eine Ermittlung der Deckungsgleichheit zwischen Objektsilhouetten S1, S1' und jeweils zugehörigen dreidimensionalen Objektdaten eines Objekts O1 mittels einer Fehlermetrik gemäß dem Verfahrensschritt VS7.
-
Beispielsweise werden hierbei eine erste Fehlermetrik an einer ersten Position in einer ersten orthogonalen L2-Distanz an der in den dreidimensionalen Raum projizierten Objektsilhouette S1 und eine zweite Fehlermetrik an einer zweiten Position in einer zweiten orthogonalen L2-Distanz an der in den dreidimensionalen Raum projizierten Objektsilhouette S1' berechnet. Hierbei wird mit abnehmender Deckungsgleichheit eine zunehmende Dekalibrierung der Kamera 1 und mit zunehmender Deckungsgleichheit eine abnehmende Dekalibrierung der Kamera 1 ermittelt.
-
In dem gezeigten Fahrzeugkoordinatensystem K ist eine virtuelle Änderung der Position POS1 bis POS3 der Kamera 1 dargestellt.
-
In 8 ist eine Ermittlung eines globalen Maximums der Deckungsgleichheit durch Variation, insbesondere virtuelle Translation und/oder Rotation der virtuellen Position POS1 bis POS5 der Kamera 1 gemäß dem Verfahrensschritt VS8 am Beispiel des Objekts 01 dargestellt.
-
Hierbei wird die Position POS1 bis POS5 der Kamera 1 so lange angepasst, bis das globale Minimum der Fehlermetrik, das heißt das globale Maximum der Deckungsgleichheit zwischen den segmentierten Objektsilhouetten S1 bis Sn und den jeweils zugehörigen dreidimensionalen Objektdaten der Objekte O1 bis On erreicht ist.
-
9 zeigt eine Aktualisierung der virtuellen Position POS1 bis POS5 der Kamera 1 gemäß dem Verfahrensschritt VS9 in der Art, dass das globale Minimum der Fehlermetrik erreicht wird. Somit erfolgt eine Anpassung eines ursprünglichen Erfassungsbereichs E' zu einem Erfassungsbereich E durch Justierung der Kamera 1 mittels Übergabe einer aktualisierten extrinsischen Kamerakalibrierung an das Gesamtsystem.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019000438 A1 [0003]
