-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera.
-
Kamerasysteme für Fahrzeuge sind bekannt. Insbesondere sind Kamerasysteme bekannt, bei denen eine Frontkamera zur Erkennung verschiedenster Objekte in einem äußeren Umfeld des Fahrzeugs zum Einsatz kommt. Typische Anwendungen für derartige Kamerasysteme sind beispielsweise die Erkennung von Verkehrszeichen, Spurdetektion und Lichterkennung.
-
Die Fahrzeugkamera eines Kamerasystems ist in der Regel hinter einer Windschutzscheibe des Fahrzeugs angeordnet und blickt in Fahrtrichtung durch diese hindurch. Neben dem äußeren Umfeld des Fahrzeugs werden dabei üblicherweise auch Objekte, welche sich innerhalb des Fahrzeugs befinden, durch eine Reflexion an beiden Brechungskanten (an den Medien Luft-Glas-Luft) der Windschutzscheibe in von der Kamera aufgenommenen Bildern abgebildet. Diese Reflexbilder der Objekte überlagern sich mit dem eigentlichen Nutzsignal und stören die Detektion des äußeren Umfelds des Fahrzeugs. Zur Lösung dieses Problems werden typischerweise Streulichttrichter bzw. Streulichtblenden genutzt, welche diese Störungen ausblenden sollen. Allerdings können derartige Streulichtblenden dazu neigen, mögliches Gegenlicht direkt in die Fahrzeugkamera zu streuen. Mechanische Gegenmaßnahmen sind dabei begrenzt wirkungsvoll und können mit höheren Produktionskosten verbunden sein. Zusätzlich können diese mechanischen Gegenmaßnahmen auch ästhetische Auswirkungen haben, was sich negativ auf ein Design des Innenraums des Fahrzeugs auswirken kann.
-
Es sind weiterhin Verfahren bekannt, welche Kontrastverhältnisse aus einem vorherigen Bild schätzen und darauf basierend in einem nachfolgenden Bild eine lokale Kontrastverstärkung vorsehen, um auf diese Weise Streulicht aus dem nachfolgenden Bild zu entfernen.
-
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung der eingangs genannten Art bereitzustellen, welche insbesondere eine quasi homogene Aufhellung innerhalb eines Bilds durch eine Innenraumblende mit minimalen Nebenwirkungen ermöglichen.
-
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren.
-
Die vorliegende Erfindung schlägt eine rechnerische Lösung zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera vor, wobei diese rechnerische Lösung mit bekannter Hardware realisiert werden kann, z.B. mit einer im ISP integrierten lokalen Kontrastverstärkung oder eines Tone Mappings. Mittels der erfindungsgemäßen Lösung wird ermöglicht, dass mehrere Parameter überwacht und plausibilisiert werden können, um ein zugehöriges System zu stabilisieren und abzusichern.
-
Die Erfindung macht sich zu Nutze, dass es mehrere Arten Artefakte gibt, welche durch Gegenlicht in einer Kamera verursacht werden. Die vorliegende Erfindung wirkt insbesondere einer Aufhellung entgegen, die durch vorhandene Streulichtblenden verursacht wird. Andere Streulicht-Artefakte, wie etwa sogenannte „Lens Flares“, werden hingegen nicht behandelt.
-
Insbesondere wird berücksichtigt, dass in Kameraaufnahmen, in denen eine Sonne im Bild steht oder nahe am Bild steht, eine erhebliche Menge Licht über die Streulichtblende in die Kamera gestreut wird. Die Form des Streulichts wird dabei von einer Komponente dominiert, nämlich von einer additiven, an den Rändern abgedunkelten Gauß-ähnlichen Verteilung, deren Maximum im Bildverlauf konstant ist, und in einem direkten Bezug zu dem Sonnenstand steht. Dieses Verhältnis lässt sich auch dann beobachten, wenn die Sonne rechts oder links am Bildrand steht, obwohl eine erhebliche Randabdunklung die Einschätzung des Maximums erschwert, aber nicht ausschließt.
-
Es ist zu beachten, dass eine Schätzung von Streulicht stets von einem Inhalt des jeweiligen Bilds beeinflusst werden kann. Die vorliegende Erfindung erlaubt jedoch, dass Parameter geschätzt werden können, die zeitlich invariant sind oder prädiziert werden können, wodurch ermöglicht wird, eine Schätzung über die Zeit zu insbesondere zu plausibilisieren.
-
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera bereitgestellt.
-
Gemäß dem Verfahren wird ein Bild einer äußeren Umgebung eines Fahrzeugs mittels einer Fahrzeugkamera aufgenommen, welche in oder an dem Fahrzeug angeordnet ist. Die Blickrichtung der Fahrzeugkamera kann dabei beliebig gewählt werden. So kann die Fahrzeugkamera beispielsweise im Bereich einer Windschutzscheibe des Fahrzeugs angeordnet sein und durch diese in Fahrtrichtung hindurchblicken. Dies ist jedoch rein beispielhaft. Ebenso kann die Fahrzeugkamera beispielsweise im Bereich einer Heckscheibe des Fahrzeugs angeordnet sein und durch diese in Rückwärtsrichtung hindurchblicken. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen. Innerhalb des Bilds wird ein Verlauf der Streulichtintensität ermittelt, beispielsweise in horizontaler Richtung. Die Streulichtintensität wird dabei durch Streulicht verursacht, welches in den Erfassungsbereich der Fahrzeugkamera gelangt. Insbesondere wird das Streulicht durch Licht einer Sonne verursacht, welche im Bild steht oder nahe am Bild steht, wobei eine erhebliche Menge Sonnenlicht über die Streulichtblende in die Fahrzeugkamera gestreut wird.
-
Das Ermitteln des Verlaufs der Streulichtintensität kann beispielsweise mittels eines Minfilters, Erosion oder ähnlicher Methoden erfolgen, und zwar insbesondere über das ganze Bild, zeilenweise oder blockweise.
-
Es wird weiterhin eine Näherungsfunktion eines Verlaufs der unteren Begrenzung der Streulichtintensität geschätzt. Mit anderen Worten wird eine Näherungsfunktion bestimmt, welche die untere Begrenzung des Verlaufs der Streulichtintensität beschreibt. Unter dem Merkmal „untere Begrenzung der Streulichtintensität“ kann in diesem Zusammenhang insbesondere ein Intensitäts-Verlauf der Streulichtintensität in horizontaler Richtung verstanden werden, welcher nicht von der ermittelten Streulichtintensität unterschritten wird. Insbesondere kann die untere Begrenzung der Streulichtintensität unterhalb und im Wesentlichen parallel zu der ermittelten Streulichtintensität verlaufen. Je näher die geschätzte Näherungsfunktion dabei dem ermittelten tatsächlichen Verlauf der Streulichtintensität kommt, desto mehr Streulicht kann anschließend, wie im Folgenden beschrieben, korrekt aus dem aufgenommenen Bild entfernt werden.
-
Ferner wird die geschätzte Näherungsfunktion von dem ermittelten Verlauf der Streulichtintensität subtrahiert bzw. abgezogen, wobei das Subtrahieren bzw. Abziehen insbesondere zeilenweise erfolgt. Dabei kann die ermittelte Lichtintensität lokal, insbesondere an einer horizontalen Stelle in einer Zeile eines betreffenden Bilds, jeweils um einen Wert reduziert werden, welchen die geschätzte Näherungsfunktion an der betreffenden Stelle annimmt. Durch das Subtrahieren bzw. Abziehen (und insbesondere Wiederholen der vorstehend beschriebenen Vorgänge für mehrere, bevorzugt alle Zeilen des aufgenommenen Bilds) entsteht aus dem aufgenommenen Bild der Bildfolge ein verändertes Bild, aus dem Streulicht entfernt worden ist (streulichtkorrigiertes Bild). Dieses Bild kann ausgegeben, weiterverarbeitet und/oder angezeigt werden, z.B. auf einem Display innerhalb des Fahrzeugs.
-
Gemäß einer Ausführungsform wird als Näherungsfunktion der unteren Begrenzung der Streulichtintensität eine Gaußverteilung gewählt. Eine Gaußverteilung beschreibt die durch Sonnenlicht verursachte Streulichtintensität innerhalb des Bilds besonders genau.
-
Weiterhin kann vorteilhaft vorgesehen sein, dass das Ermitteln des Verlaufs der Streulichtintensität über das ganze Bild, zeilenweise oder blockweise erfolgt. Das Schätzen der Näherungsfunktion und das Subtrahieren der geschätzten Näherungsfunktion von dem ermittelten Verlauf der Streulichtintensität kann dabei ebenfalls entsprechend über das ganze Bild, zeilenweise oder blockweise erfolgen.
-
Gemäß einer weiteren Ausführungsform ist vorgesehen, dass zum Schätzen der Näherungsfunktion der unteren Begrenzung der Streulichtintensität bereichsweise interpoliert wird. Dies ist insbesondere in Situationen vorteilhaft, in denen eine Schätzung in Blöcken oder Zeilen fehlt oder fehlschlägt. Insbesondere kann eine Darstellung des Himmels oder einer Umgebung der Sonne eine Schätzung besonders stark stören.
-
Die Schätzung des Verlaufs der Näherungsfunktion der unteren Begrenzung der Streulichtintensität kann durch mehrere Bedingungen unterstützt und plausibilisiert werden, um das Risiko zu reduzieren, zu viel zu subtrahieren bzw. abzuziehen, oder unter einem Einfluss des Bildinhalts Fehler zu begehen. In diesem Sinne ist gemäß einer weiteren Ausführungsform vorgesehen, dass geprüft wird, ob entlang eines vertikalen Verlaufs des Bilds die Position des Maximums der ermittelten Streulichtintensität konstant ist. Sofern diese Prüfung ein positives Ergebnis liefert, d.h. dass entlang des vertikalen Verlaufs des Bilds die Position des Maximums konstant bleibt, kann davon ausgegangen werden, dass nicht zu viel Subtrahiert worden ist. Auf diese Weise können zu starke Schwankungen der Stärke oder der Lichtintensität entlang der Bildhöhe ausgeschlossen werden.
-
Alternativ oder zusätzlich kann weiterhin vorgesehen sein, dass geprüft wird, ob das Streulicht innerhalb des aufgenommenen Bilds die gleiche Farbe aufweist. Gemäß dieser Ausführungsform wird ausgenutzt, dass Streulicht überall die gleiche Farbe hat, nämlich die Farbe des Sonnenlichts. Insbesondere ist die Sonne gelblich weiß bis orange.
-
Die geschätzten Parameter (d.h. die Schätzung der Näherungsfunktion des Verlaufs der unteren Begrenzung der Streulichtintensität) können auch von Bild zu Bild getrackt werden. In diesem Sinne ist gemäß einer weiteren Ausführungsform vorgesehen, dass die geschätzte Näherungsfunktion des Verlaufs der unteren Begrenzung der Streulichtintensität innerhalb eines ersten Bilds in wenigstens einem nachfolgend aufgenommenen zweiten Bild der äußeren Umgebung des Fahrzeugs getrackt wird. Dabei wird ausgenutzt, dass sich eine Lage der Sonne unter Beachtung der Eigenbewegung des Fahrzeugs bzw. der Fahrzeugkamera über die Zeit sehr langsam verändert.
-
In diesem Zusammenhang kann unter Berücksichtigung der Eigenbewegung der Fahrzeugkamera, insbesondere mittels eines Filters, z.B. mittels eines Kalmanfilters, eine Position der Sonne, welche das Streulicht verursacht, in dem wenigstens einen nachfolgend aufgenommenen zweiten Bild der äußeren Umgebung des Fahrzeugs geschätzt werden. Dies ist insbesondere dann von Vorteil, wenn die Sonne verschwindet und anschließend wieder auftaucht, was z.B. bei Vorhandensein von Baumschatten, Gebäuden oder einer Unterführung der Fall sein kann. Dadurch wird zusätzlich ein bei bekannten Verfahren auftretendes Problem gelöst: Es müssen nicht alle Parameter von Bild zu Bild neu geschätzt werden, sondern lediglich die Stärke, wenn nur aus dem vorherigen ersten Bild ein Beitrag geschätzt werden muss.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird eine Vignettierung des Streulichts berücksichtigt. Dies ermöglicht, die Schätzung der unteren Begrenzung der Streulichtintensität robuster zu gestalten.
-
Gemäß einem zweiten Aspekt der Erfindung wird eine Vorrichtung zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera bereitgestellt. Die Vorrichtung umfasst eine Fahrzeugkamera und eine Prozessoreinheit, wobei die Fahrzeugkamera derart an einem Fahrzeug angeordnet werden kann, dass die Fahrzeugkamera wenigstens ein Bild einer äußeren Umgebung des Fahrzeugs aufnehmen kann, und wobei die Prozessoreinheit dazu eingerichtet ist, die Verfahrensschritte gemäß dem Verfahren nach dem ersten Aspekt der Erfindung auszuführen.
-
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt
- 1 eine Seitenansicht eines Fahrzeugs mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und
- 2 eine graphische Gegenüberstellung eines ermittelten Verlaufs einer Streulichtintensität, einer Näherungsfunktion eines Verlaufs einer unteren Begrenzung der Streulichtintensität und einer Differenz der vorgenannten Verläufe.
-
1 zeigt ein Fahrzeug 1, in dem gezeigten Ausführungsbeispiel ein Automobil. Das Fahrzeug 1 umfasst eine Vorrichtung 2 zur Entfernung einer durch Streulicht erzeugten Aufhellung aus einem Bild einer Fahrzeugkamera 3. Die Vorrichtung weist in dem gezeigten Ausführungsbeispiel eine Fahrzeugkamera 3 und eine Prozessoreinheit 4 auf.
-
Die Fahrzeugkamera 3 kann in einem Innenraum 5 des Fahrzeugs 1 angeordnet sein, und zwar insbesondere in einem Bereich hinter einer Windschutzscheibe des Fahrzeugs 1. Mittels der Fahrzeugkamera 3 kann durch die Windschutzscheibe ein Bild oder eine Bildfolge von einer äußeren Umgebung 6 des Fahrzeugs 1 aufgenommen werden, wobei die Bildfolge mehrere Außenaufnahmen umfassen kann, und wobei die Außenaufnahmen zeitlich aufeinanderfolgend gemacht werden.
-
2 zeigt ein Diagramm, wobei auf einer horizontalen Achse eine horizontale Position angegeben ist, und wobei auf einer vertikalen Achse eine lineare Intensität angegeben ist. In dem Diagramm sind für eine Zeile eines mittels der Fahrzeugkamera 3 aufgenommenen Bilds, welches die äußere Umgebung 6 des Fahrzeugs 1 abbildet, folgende drei Graphen aufgetragen: Ein erster Graph 7, welcher einem ermittelten Verlauf der Streulichtintensität entspricht, ein zweiter Graph 8, welcher einer geschätzten Näherungsfunktion eines Verlaufs einer unteren Begrenzung der Streulichtintensität entspricht, und ein dritter Graph 9, welcher für jede horizontale Position der Bildzeile einer Differenz zwischen dem ersten Graph 7 und dem zweiten Graph 8 entspricht.
-
Die Streulichtintensität wird durch Licht verursacht, welches in den Erfassungsbereich der Fahrzeugkamera 3 gelangt. Das Ermitteln des Verlaufs der Streulichtintensität kann mittels der Prozessoreinheit 4 erfolgen, z.B. mittels eines Minfilters, Erosion oder ähnlicher Methoden.
-
Der geschätzte Verlauf der unteren Begrenzung der Streulichtintensität (zweiter Graph 8) basiert in dem gezeigten Ausführungsbeispiel auf einer Gauß-Kurve und stellt einen zeilenweisen Intensitäts-Verlauf der Streulichtintensität in horizontaler Richtung dar, wobei die geschätzte Streulichtintensität nicht von der ermittelten Streulichtintensität (erster Graph 7) unterschritten wird. Zum Schätzen der Näherungsfunktion 8 der unteren Begrenzung der Streulichtintensität kann bereichsweise interpoliert werden, insbesondere dort, wo eine Schätzung fehlt oder fehlschlägt.
-
Die Schätzung der Näherungsfunktion kann durch mehrere Bedingungen unterstützt und plausibilisiert werden, um das Risiko zu reduzieren, zu viel zu subtrahieren bzw. abzuziehen, oder unter einem Einfluss des Bildinhalts Fehler zu begehen.
-
So kann zur Bewertung der Plausibilität der geschätzten Näherungsfunktion geprüft werden, ob entlang eines vertikalen Verlaufs des Bilds die Position des Maximums der ermittelten Streulichtintensität konstant ist. Sofern diese Prüfung ein positives Ergebnis liefert, d.h. dass entlang des vertikalen Verlaufs des Bilds die Position des Maximums konstant bleibt, kann davon ausgegangen werden, dass nicht zu viel subtrahiert worden ist. Auf diese Weise können zu starke Schwankungen der Stärke oder der Lichtintensität entlang der Bildhöhe ausgeschlossen werden. Alternativ oder zusätzlich kann zur Bewertung der Plausibilität der geschätzten Näherungsfunktion geprüft werden, ob das Streulicht innerhalb des aufgenommenen Bilds die gleiche Farbe aufweist.
-
Durch das Subtrahieren bzw. Abziehen für jede Bildzeile des Bilds (dritter Graph 9) entsteht aus dem aufgenommenen Bild der Bildfolge ein verändertes Bild, aus dem Streulicht entfernt worden ist (streulichtkorrigiertes Bild). Dieses Bild kann ausgegeben, weiterverarbeitet und/oder angezeigt werden, z.B. auf einem Display innerhalb des Fahrzeugs.
-
Die Schätzung des Verlaufs der unteren Begrenzung der Streulichtintensität, kann auch von Bild zu Bild getrackt werden. In diesem Sinne kann die geschätzte Näherungsfunktion der unteren Begrenzung der Streulichtintensität innerhalb eines ersten Bilds in wenigstens einem nachfolgend aufgenommenen zweiten Bild der äußeren Umgebung des Fahrzeugs getrackt werden. Dazu wird ausgenutzt, dass sich eine Lage der Sonne unter Beachtung der Eigenbewegung des Fahrzeugs bzw. der Fahrzeugkamera über die Zeit fast nicht verändert. In diesem Zusammenhang kann unter Berücksichtigung der Eigenbewegung der Fahrzeugkamera insbesondere mittels eines Filters, z.B. mittels eines Kalmanfilters, eine Position der Sonne, welche das Streulicht verursacht, in dem zweiten Bild geschätzt werden. Dies ist insbesondere dann von Vorteil, wenn die Sonne verschwindet und wieder auftaucht, was z.B. bei Vorhandensein von Baumschatten, Gebäuden oder einer Unterführung der Fall sein kann.
