-
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer hinter einer beheizbaren Fahrzeugscheibe angeordneten Kamera nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug mit einer solchen Kamera nach der im Anspruch 6 näher definierten Art.
-
Zunehmend weisen Fahrzeuge Kameras auf, welche von den Fahrzeugen zur Umgebungsüberwachung verwendet werden. Hierzu werden von den Kameras erzeugte Kamerabilder auf einer Recheneinheit ausgewertet, wodurch Informationen wie beispielsweise Abstandsinformationen zwischen Fahrzeug und Umgebungsobjekten gewonnen werden. Diese Informationen dienen als Eingangsgröße für Fahrerassistenzsysteme wie beispielsweise einen Abstandsregeltempomaten zur wenigstens teilautomatisierten Steuerung eines Fahrzeugs.
-
Damit die Kameras die Fahrzeugumgebung zuverlässig erfassen können, ist es erforderlich, dass die Kameras eine klare Sicht auf die Fahrzeugumgebung aufweisen. Hierzu werden die Kameras oftmals hinter Fahrzeugscheiben angeordnet, um die Kameras beispielsweise vor Witterungseinflüssen oder Verschmutzung zu schützen. Die Fahrzeugscheiben können im Winter beschlagen, zufrieren oder es kann sich eine Schneeschicht auf der Fahrzeugscheibe bilden. Aus diesem Grund sind oftmals Heizeinrichtungen vorgesehen, um die Fahrzeugscheiben im Winter abzutauen. Zur Ausbildung solcher Heizeinrichtungen sind typischerweise Heizfäden, beispielsweise aus Silber in die Fahrzeugscheibe integriert. Eine Nutzung solcher Heizfäden kann dazu führen, dass bei aktiver Heizeinrichtung von der Kamera erzeugte Kamerabilder verzerrt oder zumindest abschnittsweise verschoben erscheinen. In diesem Falle kann es passieren, dass fehlerhafte Informationen durch die Auswertung der Kamerabilder gewonnen werden oder einzelne Umgebungsobjekte nicht mehr erkannt werden können.
-
Aus der
DE 10 2014 214 983 A1 sind ein Verfahren und eine Vorrichtung zur Kalibrierung eines Kameramoduls bekannt. Die Druckschrift beschreibt, dass eine zur geometrischen Vermessung von Objekten oder zur Bilderkennung eingesetzte Kamera vor ihrem Einsatz kalibriert wird. Hierzu werden sogenannte Kalibriertargets, bei denen es sich um Tafeln mit Punktmustern oder Schachbrettmustern handelt, zu verschiedenen räumlichen Positionen von der Kamera erfasst. Die Kalibriertargets werden hierzu an verschiedenen Positionen platziert und mit der Kamera aufgenommen. Typischerweise werden 20 bis 100 vorgegebene Positionen verwendet. Eine solche Kalibrierung ist aufwendig und zeitintensiv und eignet sich damit nicht zur Kalibrierung von Kameras in Großserie, beispielsweise zur Kalibrierung von Fahrzeugkameras. Stattdessen wird mit Hilfe des offenbarten Verfahrens eine Referenzkamera kalibriert, welche wiederum zur Kalibrierung einer zu kalibrierenden Kamera, in der Druckschrift als Prüfling bezeichnet, dient. Hierzu werden mit dem Prüfling Kamerabilder von einer Auswahl der zur Kalibrierung der Referenzkamera genutzten Kalibriertargets an einigen wenigen ausgewählten Positionen erzeugt und eine für die jeweiligen Kalibriertargets und Positionen entsprechende Kalibrierung der Referenzkamera mit der Kalibrierung des Prüflings verglichen. Durch diesen Vergleich wird eine Funktion erstellt, mit der die Kalibrierung der Referenzkamera für das jeweilige Kalibriertarget und die Position auf den Prüfling übertragbar ist. Ist diese Funktion gefunden, so kann der Prüfling auch für die fehlenden Kalibriertargets zu den fehlenden Positionen einfach und schnell durch Anwenden der Funktion kalibriert werden.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Kalibrierung einer hinter einer beheizbaren Fahrzeugscheibe angeordneten Kamera anzugeben, mit dessen Hilfe ein zuverlässiger Einsatz der Kamera sowohl bei einer beheizten als auch bei einer nicht-beheizten Fahrzeugscheibe ermöglicht wird. Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein Fahrzeug mit einer solch kalibrierten Kamera anzugeben.
-
Erfindungsgemäß werden diese Aufgaben durch ein Verfahren zur Kalibrierung einer hinter einer beheizbaren Fahrzeugscheibe angeordneten Kamera mit den Merkmalen des Anspruchs 1 sowie ein Fahrzeug mit einer solchen Kamera mit den Merkmalen des Anspruchs 6 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Bei einem Verfahren zur Kalibrierung einer hinter einer beheizbaren Fahrzeugscheibe angeordneten Kamera werden zur Kalibrierung der Kamera Kamerabilder von wenigstens zwei unterschiedlichen Kalibriermustern erzeugt und ausgewertet. Erfindungsgemäß wird jeweils wenigstens ein Kamerabild eines Kalibriermusters bei deaktivierter und bei aktivierter Beheizung der Fahrzeugscheibe erzeugt. Daraufhin werden die jeweiligen Kamerabilder miteinander verglichen, um eine Positionsveränderung einzelner Bereiche eines Kalibriermusters zwischen den Kamerabildern festzustellen. Dann wird eine Zuordnung, wie sich die einzelnen Bereiche eines Kalibriermusters in Abhängigkeit einer aktivierten Beheizung der Fahrzeugscheibe verändern, ermittelt und gespeichert. Die Zuordnung wird anschließend zur Rückveränderung der entsprechenden verschobenen beziehungsweise verzerrten Kamerabildbereiche bei einem späteren Betrieb der Kamera bei aktivierter Beheizung der Fahrzeugscheibe verwendet.
-
Typischerweise wird eine Fahrzeugkamera für einen Betrieb mit einer uneingeschränkten Sicht auf einen zu erfassenden Kamerabildbereich kalibriert. Durch Entstehen eines Feuchtigkeitsbeschlags, Frost oder das sich Ansammeln einer Schneeschicht auf der Fahrzeugscheibe wird ein Blickbereich einer Fahrzeugkamera auf ein zu überwachendes Geschehen eingeschränkt. Mit Hilfe der Beheizung lässt sich eine solche störende Schicht entfernen. Ein von der Kamera erzeugtes Kamerabild wird dabei jedoch in Abhängigkeit einer betriebenen Beheizung der Fahrzeugscheibe zumindest Bereichsweise verzerrt und/oder verschoben. Hierdurch kommt es zu Positionsveränderungen einzelner Bereiche eines Kamerabilds zwischen einem Kamerabild, das bei einer deaktivierten Beheizung aufgenommen wurde, und einem Kamerabild, welches bei aktivierter Beheizung aufgenommen wurde. Mit Hilfe des erfindungsgemäßen Verfahrens wird eine Zuordnung hergestellt, wie sich die einzelnen Bereiche des Kamerabilds in ihrer Position verändern. Somit lassen sich verzerrte Kamerabilder bzw. einzelne Bereiche eines Kamerabilds, welche ihre Position geändert haben, bei einer aktivierten Beheizung der Fahrzeugscheibe so rücktransformieren, dass ein Kamerabild auch bei aktivierter Beheizung so erscheint, wie bei einer deaktivierten Beheizung der Fahrzeugscheibe. Somit wird eine sichere Betriebsweise der Kamera bei einem Fahrzeug mit beheizbarer Fahrzeugscheibe sichergestellt.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Zuordnung eine Information über eine die Positionsveränderung hervorrufende Heizsituation berücksichtigt. So kann es sein, dass sich die Positionsveränderung der einzelnen Bereiche eines Kalibriermusters zwischen den Kamerabildern in Abhängigkeit verschiedener Parameter ändert. So kann ein an einer festen Position angeordnetes festgelegtes Kalibriermuster in mehreren Kamerabildern zueinander abweichend erscheinen. Dabei können die Parameter, welche die Erscheinung des festgelegten Kalibriermusters in den verschiedenen Kamerabildern beeinflussen, erfasst werden und für die Positionsveränderung und damit Zuordnung berücksichtigt werden. Somit ist auch bei abweichenden Randbedingungen, sprich Heizsituationen, ein zuverlässiges Rücktransformieren der Kamerabildbereiche bei einer aktivierten Beheizung der Fahrzeugscheibe möglich. Beispielsweise können für eine spezifische Heizsituation charakteristische Kamerabildveränderungen tabellarisch abgespeichert werden.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird eine Heizsituation in Form einer von der Beheizung abgegebenen Heizleistung, einer Fahrzeugumgebungstemperatur, einer Fahrzeugscheibentemperatur, auf der Fahrzeugscheibe vorliegende flüssige und/oder feste Nässe und/oder einem zur Beheizung der Fahrzeugscheibe gewählten Heizzyklus berücksichtigt. So stellen die von der Beheizung abgegebene Heizleistung, die Fahrzeugumgebungstemperatur, die Fahrzeugscheibentemperatur, auf der Fahrzeugscheibe vorliegende flüssige und/oder feste Nässe sowie der zur Beheizung der Fahrzeugscheibe gewählte Heizzyklus besonders einflussreiche Parameter, welche sich auf die Positionsveränderung der einzelnen Kamerabildbereiche auswirken, dar. Werden diese Parameter erfasst und für die Zuordnung berücksichtigt, lässt sich die Kamera besonders zuverlässig kalibrieren, so dass ein zuverlässiger Betrieb der Kamera bei deaktivierter und aktivierter Beheizung der Fahrzeugscheibe möglich ist.
-
Eine weitere vorteilhafte Ausgestaltung des Verfahrens sieht ferner vor, dass eine Anzahl zur Kalibrierung der Kamera verwendete Kalibriermuster in Abhängigkeit einer Kameraauflösung und/oder einer Anzahl unterschiedlicher berücksichtigter Heizsituationen gewählt wird. Je größer bzw. feiner die Kameraauflösung einer verwendeten Kamera ist, desto mehr Möglichkeiten gibt es auch, wie sich die einzelnen Bereiche eines Kalibriermusters in ihrer Position in einem Kamerabild verändern können. Um diese Variantenvielfalt ausreichend abzudecken, kann eine vergleichsweise hohe Anzahl verwendeter Kalibriermuster gewählt werden. Entsprechend sind zur Kalibrierung einer Kamera mit einer vergleichsweise geringen Kameraauflösung auch nur das Erfassen von vergleichsweise wenigen Kalibriermustern erforderlich. Ebenso können mehr Kalibriermuster, und insbesondere an weiteren Positionen angeordnete Kalibriermuster verwendet werden, um eine höhere Anzahl unterschiedlicher Heizsituationen zu berücksichtigen. Hierdurch lässt sich eine Gefahr reduzieren, das eine bestimmte Heizsituation zu einer nicht vorhergesehenen Positionsveränderung eines Kalibriermusters in einem Kamerabild führt.
-
Bevorzugt wird die Zuordnung mit Hilfe eines Optimierungsalgorithmus, insbesondere einer Methode der kleinsten Fehlerquadrate optimiert. Hierdurch ist eine noch zuverlässigere Kalibrierung und damit auch Funktionsweise der Kamera im späteren Betrieb möglich. In Abhängigkeit einer vorliegenden Heizsituation kann ein und dasselbe Kalibriermuster unterschiedlich stark verzerrt werden bzw. einzelne Bereiche des Kalibriermusters unterschiedlich stark in ihrer Position in einem Kamerabild verändert werden. Mit Hilfe des Optimierungsalgorithmus lässt sich die Zuordnung optimieren, so dass eine Anzahl an fehlerhaft rücktransformierten bzw. rückveränderten Kamerabildbereichen reduziert werden.
-
Bei einem Fahrzeug mit einer beheizbaren Fahrzeugscheibe, wenigstens einer Kamera und einer Recheneinheit wurde erfindungsgemäß die Kamera mit Hilfe eines im Vorigen beschriebenen Verfahrens kalibriert. Dies erlaubt einen zuverlässigen und sicheren Betrieb der Kamera sowohl bei einer aktivierten, als auch bei einer deaktivierten Beheizung der Fahrzeugscheibe. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen PKW, LKW, Transporter, Bus oder dergleichen handeln.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Fahrzeugs umfasst die Fahrzeugscheibe zur Ausbildung der Beheizung Heizfäden. Mit Hilfe des erfindungsgemäßen Verfahrens ist somit auch ein zuverlässiger Betrieb einer Kamera hinter einer durch Heizfäden beheizten Fahrzeugscheibe möglich.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zur Kalibrierung einer hinter einer beheizbaren Fahrzeugscheibe angeordneten Kamera und des Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine schematische Darstellung eines Kamerabildausschnitts bei einer deaktivierten Fahrzeugscheibenbeheizung; und
- 2 eine schematische Darstellung des Kamerabildausschnitts aus 1 bei einer aktivierten Fahrzeugscheibenbeheizung.
-
1 zeigt einen Ausschnitt aus einem von einer entgegen einer Fahrtrichtung eines Fahrzeugs hinter einer beheizbaren Fahrzeugscheibe angeordneten Kamera erzeugten Kamerabild. Zur Beheizung der Fahrzeugscheibe umfasst die Fahrzeugscheibe mehrere Heizfäden 3, beispielsweise Silberfäden. Die Heizfäden 3 können dabei eine beliebige Orientierung aufweisen. Die Heizfäden 3 können wie in 1 gezeigt horizontal oder aber auch beispielsweise vertikal oder quer in oder auf der Fahrzeugscheibe verlaufen. Zu erkennen sind ein Kalibriermuster 1, hier in Form eines Schachbrettmusters. Es ist jedoch jedes beliebige und typischerweise zur Kalibrierung von Kameras eingesetzte Kalibriermuster 1 denkbar. So kann auch beispielsweise das Kalibriermuster 1 ein Punktmuster oder Pseudozufallsmuster sein. Insbesondere umfasst ein Kalibriermuster 1 verschiedene unterschiedlich eingefärbte oder einen zueinander abweichenden Kontrast aufweisende Flächenelemente 4 auf. Das Kamerabild wiederum setzt sich aus einer Vielzahl an Pixeln 5 zusammen. Dabei besteht eine feste Zuordnung einzelner Bereiche 2 des Kalibriermusters 1 zu den jeweiligen Pixeln 5.
-
2 zeigt, wie das in 1 dargestellte Kalibriermuster 1 bzw. der Ausschnitt aus dem Kalibriermuster 1 bei aktivierter Beheizung der Fahrzeugscheibe im Kamerabild erscheint. So erscheint das Kalibriermuster 1 bzw. die Bereiche 2 des Kalibriermusters 1 zu unterschiedlichen Positionen im Kamerabild. Durch Verschieben, Verzerren oder dergleichen wird eine Zuordnung der Bereiche 2 des Kalibriermusters 1 zu den entsprechenden Pixeln 5 verändert. So besteht bei einer deaktivierten Fahrzeugscheibenbeheizung eine Zuordnung des Bereichs 2.1 zum Pixel 5.1, welche sich bei aktivierter Fahrzeugscheibenbeheizung so ändert, dass der Bereich 2.1 im Pixel 5.2 erscheint. Dabei verschiebt sich der Bereich 2.1 horizontal um einen Betrag ΔX und vertikal um einen Betrag ΔY. Mit Hilfe eines erfindungsgemäßen Verfahrens wird für jeden Bereich 2 des Kalibriermusters 1 sowohl bei deaktivierter, als auch aktivierter Beheizung der Fahrzeugscheibe die Zuordnung der jeweiligen Bereiche 2 zu den Pixeln 5 ermittelt. Dies wird für mehrere Kalibriermuster 1, welche sich insbesondere zu verschiedenen geometrischen Positionen bzw. Relativabständen zur Kamera befinden, zu verschiedenen Heizsituationen durchgeführt. Bei einem späteren Betrieb der Kamera in einem Fahrzeug lassen sich hierdurch verzerrte beziehungsweise verschobene Kamerabilder so rücktransformieren, dass ein positionsunverändertes, sprich unverzerrtes oder unverschobenes Kamerabild erzeugt wird. Dieses kann dann von einem beliebigen Bilderkennungsalgorithmus zuverlässig ausgewertet werden. So ist ein sicherer Betrieb der Kamera und damit auch eines von der Kamera erzeugte Kamerabilder nutzenden Fahrerassistenzsystems sowohl bei deaktivierter, als auch aktivierter Beheizung der Fahrzeugscheibe möglich. Hierdurch kann eine erhöhte Verkehrssicherheit gewährleistet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014214983 A1 [0004]
