DE102010030044A1

DE102010030044A1 - Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit

Info

Publication number: DE102010030044A1
Application number: DE102010030044A
Authority: DE
Inventors: Naoki Kariya-city Nitanda
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2009-06-15
Filing date: 2010-06-14
Publication date: 2011-03-24
Also published as: JP4807439B2; US8249303B2; US20100322478A1; JP2010287183A

Abstract

In einer Wiederherstellvorrichtung unterteilt eine Schätzeinheit ein aufgenommenes Originalbild in eine Mehrzahl von örtlichen Pixelblöcken und schätzt einen Helligkeitswert von Streulicht in jedem aus der Mehrzahl von örtlichen Pixelblöcken. Eine Recheneinheit berechnet direkt aus einem partikelbeeinflussten Helligkeitsmodell einen Helligkeitswert eines jeden Pixels in jedem aus der Mehrzahl von örtlichen Pixelblöcken in dem Originalbild, um damit auf der Grundlage des Helligkeitswerts eines jeden Pixels in jedem aus der Mehrzahl von örtlichen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen. Das partikelbeeinflusste Helligkeitsmodell drückt eine intrinsische Helligkeit eines Ziels aus, welches von einer Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Helligkeitswert von Streulicht und einem Auslöschkoeffizienten. Der Auslöschkoeffizient stellt die Partikelkonzentration in der Atmosphäre dar.

Description

QUERVERWEIS AUF ZUGEHÖRIGE ANMELDUNGEN
Diese Anmeldung basiert auf der japanischen Patentanmeldung 2009-142640 , angemeldet am 15. Juni 2009. Diese Anmedlung beansprucht die Priorität dieser japanischen Anmeldung und auf den dortigen Offenbarungsgehalt wird vollinhaltlich Bezug genommen.
GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft eine Wiederherstellvorrichtung zum Wiederherstellen von durch Wettereinflüsse verschlechterten Bildern, beispielsweise von durch Nebel beeinflussten Bildern, sowie ein Fahrerunterstützungssystem mit einer derartigen Vorrichtung. Derartige durch Wettereinflüsse verschlechterte Bilder werden bei ungünstigen Wetterbedingungen aufgenommen, beispielsweise bei Nebel, Dunst, Nieselregen, Sandstürmen, Regen etc.
HINTERGRUND DER ERFINDUNG
Bilder von Szenerien, welche unter schlechten Wetterbedingungen oder Wettereinflüssen aufgenommen werden, beispielsweise Nebel oder Sandsturm, können schlechten Kontrast und schlechte Farben haben. Verschiedene Arten von Techniken zum Wiederherstellen derartiger durch Wettereinflüsse verschlechterter Bilder sind bekannt; diese Techniken werden beispielsweise in Fahrerunterstützungssystemen verwendet, welche in Kraftfahrzeuge eingebaut sind.
Ein Beispiel einer derartigen Technik ist in der US-Patentanmeldung 2008/0317287 entsprechend der japanischen Patentanmeldungsveröffentlichung Nr. 2008-310509 beschrieben.
Die in der Veröffentlichung beschriebene Technik verwendet eine Kalman-Filterverarbeitung bei jedem aufeinander folgender, durch Nebel beeinflusster Bilder eines Ziels; diese aufeinanderfolgenden, durch Nebel beeinflussten Bilder werden von einer Kamera aufgenommen, die sich oberhalb einer Fahrbahnoberfläche befindet.
Der Kalman-Filter definiert als einen Mess-(Beobachtungs-)Vektor einen Luminanzpegel (entsprechend einem Lichtintensitätspegel) eines jeden Pixels eines vom Nebel beeinflussten Bilds (Eingangsbilds) und als einen Zustandsvektor einen intrinsischen Luminanzpegel eines jeden Pixels in dem Eingangsbild. Der Kalman-Filter definiert auch eine Beobachtungs-(Mess-)Matrix, die gebildet wird basierend auf Parametern (Verschlechterungsparametern), die den Grad einer Verschlechterung des Luminanzpegels eines jeden Pixels im Eingangsbild darstellen. Der Kalman-Filter definiert weiterhin eine Zustandsübergangsmatrix, welche Änderungen ausdrückt, die in dem Zustandsvektor während eines Intervalls zwischen der Erlangung aufeinander folgender, vom Nebel beeinflusster Bilder auftreten.
Insbesondere ist diese Technik so konfiguriert, dass die Kalman-Filterverarbeitung bei jedem der aufeinander folgenden, vom Nebel beeinflussten Bilder angewendet wird, um somit vorhergesagte Pegel des Zustandsvektors zu erhalten. Die vorhergesagten Pegel des Zustandsvektors bilden ein wiederhergestelltes Bild, bei dem die Effekte des Nebels im Wesentlichen entfernt sind.
ZUSAMMENFASSUNG DER ERFINDUNG
Die Erfinder haben erkannt, dass es einen Punkt gibt, der in der Technik gemäß der obigen Veröffentlichung einer Verbesserung bedarf.
Die bekannte Technik benötigt Berechnungen der Messmatrix und der Zustandsübergangsmatrix, um ein wiederhergestelltes Bild erzeugen zu können. Da einer der Verschlechterungsparameter als eine Funktion des Punkts (Fluchtpunkt) der Projektion des Horizonts der Fahrbahnoberfläche auf der Bildebene der Kamera ausgedrückt ist, benötigt diese Technik die Berechnung der Position des Fluchtpunktes, um die Messmatrix berechnen zu können.
Da weiterhin die Zustandsübergangsmatrix durch einen Bewegungsvektor zwischen zwei aufeinander folgender, von Nebel beeinflusster Bilder ausgedrückt wird, benötigt diese Technik die Berechnung des Bewegungsvektors, um die Zustandsübergangsmatrix berechnen zu können.
Die Belastung, die zur Berechnung des Fluchtpunkts und des Bewegungsvektors benötigt wird, ist so hoch, dass die Wiederherstellleistung dieser bekannten Technik durch die Berechnungsgenauigkeit des Fluchtpunkts und des Bewegungsvektors beeinflusst werden kann.
Angesichts der obigen Umstände hat es sich die vorliegende Erfindung zur Aufgabe gemacht, eine Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder, sowie ein Fahrerunterstützungssystem mit einer derartigen Wiederherstellvorrichtung zu schaffen, wobei diese Wiederherstellvorrichtung in der Lage sein soll, den gemäß obigen Darlegungen angesprochenen Punkt zu verbessern.
Insbesondere trachtet die vorliegende Erfindung danach, eine Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und ein Fahrerunterstützungssystem mit einer derartigen Wiederherstellvorrichtung zu schaffen, wobei die Wiederherstellvorrichtung in der Lage sein soll, Bilder aus durch Wettereinflüsse verschlechterten Bildern wiederherzustellen, wobei die hierzu nötige Rechenlast niedrig gehalten wird.
Gemäß einem Aspekt der vorliegenden Erfindung wird zur Lösung dieser Aufgabe eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild geschaffen, welches als ein Originalbild von einer Bildaufnahmevorrichtung aufgenommen wird. Die Wiederherstellvorrichtung enthält eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von lokalen Pixelblöcken zu unterteilen vermag und einen Luminanz-Pegel von Streulicht in jedem der Mehrzahl von lokalen Pixelblöcken zu schätzen vermag. Die Wiederherstellvorrichtung enthält eine Recheneinheit, welche aus einem partikelbeeinflussten Luminanzmodell einen Luminanzpegel eines jeden Pixels in jedem der Mehrzahl von lokalen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um somit basierend auf dem Luminanzpegel eines jeden Pixels in jedem aus der Mehrzahl von lokalen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen. Das partikelbeeinflusste Luminanzmodell drückt eine intrinsische Luminanz eines Ziels aus, welches von der Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Luminanzpegel des Streulichts und einem Auslöschkoeffizienten. Der Auslöschkoeffizient gibt die Konzentration von Partikeln in der Atmosphäre wieder.
Gemäß einem ersten alternativen Aspekt der vorliegenden Erfindung wird ein Fahrerunterstützungssystem zum Einbau in ein Fahrzeug geschaffen. Das Fahrerunterstützungssystem enthält eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, welches als ein Originalbild von einer Bildaufnahmevorrichtung in dem Fahrzeug aufgenommen wird. Die Wiederherstellvorrichtung enthält eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von lokalen Pixelblöcken zu unterteilen vermag und einen Luminanzpegel von Streulicht in jedem der Mehrzahl von lokalen Pixelblöcken zu schätzen vermag. Die Wiederherstellvorrichtung enthält eine Recheneinheit, welche aus einem partikelbeeinflussten Luminanzmodell einen Luminanzpegel eines jeden Pixels in jedem der Mehrzahl von lokalen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um somit basierend auf dem Luminanzpegel eines jeden Pixels in jedem aus der Mehrzahl von lokalen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen. Das partikelbeeinflusste Luminanzmodell drückt eine intrinsische Luminanz eines Ziels aus, welches von der Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Luminanzpegel des Streulichts und einem Auslöschkoeffizienten. Der Auslöschkoeffizient gibt die Konzentration von Partikeln in der Atmosphäre wieder. Das Fahrerunterstützungssystem enthält eine Anzeigeeinheit, welche das von der Wiederherstellvorrichtung erzeugte wiederhergestellte Bild anzuzeigen vermag.
Gemäß einem zweiten alternativen Aspekt der vorliegenden Erfindung wird ein Fahrerunterstützungssystem zum Einbau in ein Fahrzeug geschaffen. Das Fahrerunterstützungssystem enthält eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, aufgenommen von einer Bildaufnahmevorrichtung als ein Originalbild, die in einer bestimmten Position des Fahrzeugs liegt. Die Wiederherstellvorrichtung enthält eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von lokalen Pixelblöcken zu unterteilen vermag und einen Luminanzpegel von Streulicht in jedem der Mehrzahl von lokalen Pixelblöcken zu schätzen vermag. Die Wiederherstellvorrichtung enthält eine Recheneinheit, welche aus einem partikelbeeinflussten Luminanzmodell einen Luminanzpegel eines jeden Pixels in jedem der Mehrzahl von lokalen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um somit basierend auf dem Luminanzpegel eines jeden Pixels in jedem aus der Mehrzahl von lokalen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen. Das partikelbeeinflusste Luminanzmodell drückt eine intrinsische Luminanz eines Ziels aus, welches von der Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Luminanzpegel des Streulichts und einem Auslöschkoeffizienten. Der Auslöschkoeffizient gibt die Konzentration von Partikeln in der Atmosphäre wieder. Das Fahrerunterstützungssystem enthält eine Steuerung, welche so ausgelegt ist, dass sie zumindest eines oder einen entdeckt aus: einen Fußgänger um das Fahrzeug herum und Fahrspuren auf der Fahrbahn, auf der sich das Fahrzeug bewegt und steuert das Fahren des Fahrzeugs basierend auf wenigstens dem erkannten Fußgänger um das Fahrzeug herum oder den Fahrspuren.
Gemäß einem dritten alternativen Aspekt der vorliegenden Erfindung wird ein in ein Fahrzeug eingebautes Fahrerunterstützungssystem geschaffen. Das Fahrerunterstützungssystem enthält eine Bildaufnahmevorrichtung, die die an einer bestimmten Stelle des Fahrzeugs angeordnet ist, und eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, aufgenommen von der Bildaufnahmevorrichtung als ein Originalbild. Die Wiederherstellvorrichtung enthält eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von lokalen Pixelblöcken zu unterteilen vermag und einen Luminanzpegel von Streulicht in jedem der Mehrzahl von lokalen Pixelblöcken zu schätzen vermag. Die Wiederherstellvorrichtung enthält eine Recheneinheit, welche aus einem partikelbeeinflussten Luminanzmodell einen Luminanzpegel eines jeden Pixels in jedem der Mehrzahl von lokalen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um somit basierend auf dem Luminanzpegel eines jeden Pixels in jedem aus der Mehrzahl von lokalen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen. Das partikelbeeinflusste Luminanzmodell drückt eine intrinsische Luminanz eines Ziels aus, welches von der Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Luminanzpegel des Streulichts und einem Auslöschkoeffizienten. Der Auslöschkoeffizient gibt die Konzentration von Partikeln in der Atmosphäre wieder. Die Wiederherstellvorrichtung enthält einen Randbildgenerator, der basierend auf dem wiederhergestellten Bild ein Randbild mit verstärkten Rändern erzeugt, das in dem wiederhergestellten Bild enthalten ist. Das Fahrerunterstützungssystem enthält eine Steuerung, welche zumindest eines oder einen der folgenden erkennen kann: einen Fußgänger um das Fahrzeug herum und Verkehrsspuren auf der Fahrbahn, auf der sich das Fahrzeug bewegt und steuert ein Fahren des Fahrzeugs basierend auf wenigstens dem erkannten Fußgänger um das Fahrzeug herum oder den Verkehrsspuren.
Gemäß einem vierten alternativen Aspekt der vorliegenden Erfindung wird ein in ein Fahrzeug eingebautes Fahrerunterstützungssystem geschaffen. Das Fahrerunterstützungssystem enthält eine Bildaufnahmevorrichtung, die die an einer bestimmten Stelle des Fahrzeugs angeordnet ist, und eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, aufgenommen von der Bildaufnahmevorrichtung als ein Originalbild. Die Wiederherstellvorrichtung enthält eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von lokalen Pixelblöcken zu unterteilen vermag und einen Luminanzpegel von Streulicht in jedem der Mehrzahl von lokalen Pixelblöcken zu schätzen vermag. Die Wiederherstellvorrichtung enthält eine Recheneinheit, welche aus einem partikelbeeinflussten Luminanzmodell einen Luminanzpegel eines jeden Pixels in jedem der Mehrzahl von lokalen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um somit basierend auf dem Luminanzpegel eines jeden Pixels in jedem aus der Mehrzahl von lokalen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen. Das partikelbeeinflusste Luminanzmodell drückt eine intrinsische Luminanz eines Ziels aus, welches von der Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Luminanzpegel des Streulichts und einem Auslöschkoeffizienten. Der Auslöschkoeffizient gibt die Konzentration von Partikeln in der Atmosphäre wieder. Das Originalbild enthält aufeinander folgende Rahmen. Die Recheneinheit vermag den folgenden Prozess durchzuführen: Aktualisieren eines Werts des Auslöschkoeffizienten basierend auf einem der aufeinander folgenden Rahmen als momentaner Rahmen und dem wiederhergestellten Bild, das basierend auf einem Rahmen vor dem momentanen Rahmen erzeugt wurde; und direktes Berechnen, aus dem partikelbeeinflussten Luminanzmodell basierend auf dem Wert des Auslöschkoeffizienten, des Luminanzpegels eines jeden Pixels eines jeden aus der Mehrzahl von lokalen Pixelblöcken im momentanen Rahmen, um damit basierend auf dem Luminanzpegel eines je den Pixels aus der Mehrzahl von lokalen Pixelblöcken das wiederhergestellte Bild des momentanen Rahmens zu erzeugen. Das Fahrerunterstützungssystem enthält einen in das Fahrzeug eingebauten Nebelscheinwerfer und eine Steuerung, welche das Ein- und Ausschalten des Nebelscheinwerfers abhängig von einer Änderung des Werts des Auslöschkoeffizienten zu steuern vermag.
KURZE BESCHREIBUNG DER ZEICHNUNG
Weitere Einzelheiten und Aspekte der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsformen unter Bezugnahme auf die beigefügte Zeichnung. Es zeigt:
1 als Blockdiagramm schematisch ein Beispiel des Gesamtaufbaus eines Fahrerunterstützungssystems gemäß einer Ausführungsform der vorliegenden Erfindung;
2 als Blockdiagramm schematisch ein Beispiel der gesamten Funktionsstruktur einer Wiederherstellvorrichtung in dem Fahrerunterstützungssystem gemäß der Ausführungsform;
3 in einer schematischen Ansicht Parameter eines partikelbeeinflussten Licht intensitätsmodells zur Verwendung durch die Wiederherstellvorrichtung gemäß der Ausführungsform;
4A und 4B jeweils in grafischen Darstellungen die partikelbeeinflusste Luminanz, die an einer Kamera gemäß den 1 und 2 als Messpunkt empfangen (beobachtet) wird, gegenüber dem Auslöschkoeffizienten bei der Ausführungsform;
5A eine schematische Darstellung eines Beispiels eines Originalbilds, das bei der Ausführungsform von der Kamera bei Nebel aufgenommen wird;
5B eine schematische Darstellung eines Beispiels eines ungeglätteten Bilds basierend auf dem Originalbild von 5A;
5C eine schematische Ansicht eines Teils des Originalbilds von 5A bei der Ausführungsform in vergrößertem Maßstab;
5D eine schematische Darstellung eines Teils des ungeglätteten Bilds von 5B bei der Ausführungsform in vergrößertem Maßstab;
6A eine schematische Darstellung, wie ein Streulichtbild Pixelblock für Pixelblock bei der Ausführungsform geglättet wird;
6B eine schematische Darstellung, wie das Streulichtbild Pixel für Pixel bei der Ausführungsform geglättet wird;
7A eine schematische Darstellung eines Beispiels des ungeglätteten Bilds entsprechend 5B bei der Ausführungsform;
7B eine schematische Darstellung eines Beispiels des geglätteten Streulichtbilds basierend auf dem Originalbild von 5A bei der Ausführungsform;
7C eine schematische Darstellung eines Teils des ungeglätteten Bilds von 7A bei der Ausführungsform;
7D eine schematische Ansicht eines Teils des geglätteten Streulichtbilds von 7B in vergrößertem Maßstab bei der Ausführungsform;
8 ein Flussdiagramm, welches schematisch eine Auslöschkoeffizientsetzroutine zeigt, welche von einer Steuerung gemäß 1 der Ausführungsform durchgeführt wird;
9A eine schematische Darstellung eines Beispiels eines Bilds mit angelegtem partikelbeeinflussten Modell vor der Pegelkorrektur bei der Ausführungsform;
9B eine schematische Darstellung eines Beispiels des Bilds mit angelegtem partikelbeeinflussten Modell nach der Pegelkorrektur gemäß der Ausführungsform;
9C eine schematische Darstellung des Histogramms der Luminanzpegel in dem Bild mit angelegtem partikelbeeinflussten Modell gemäß 9B;
9D eine schematische Darstellung des Histogramms der Luminanzpegel des Bilds mit angelegtem partikelbeeinflussten Modell gemäß 9B;
10A eine schematische Darstellung eines Beispiels des von der Kamera bei der Ausführungsform im Nebel aufgenommenen Originalbilds;
10B eine schematische Darstellung eines Beispiels eines von der Wiederherstellvorrichtung basierend auf dem Originalbild von 10A bei der Ausführungsform erzeugten wiederhergestellten Bilds;
10C eine schematische Darstellung eines Beispiels eines Randbilds basierend auf dem Originalbild von 10A bei der ersten Abwandlung der Ausführungsform;
10D eine schematische Darstellung eines Beispiels eines Randbilds basierend auf dem wiederhergestellten Bild von 10B bei der ersten Abwandlung der Ausführungsform;
11A eine schematische Ansicht eines Beispiels des Originalbilds, aufgenommen von der Kamera bei Nieselregen gemäß der zweiten Abwandlung der Ausführungsform;
11B eine schematische Darstellung eines Beispiels eines wiederhergestellten Bilds, erzeugt von der Wiederherstellvorrichtung basierend auf dem Originalbild von 11A bei der zweiten Abwandlung der Ausführungsform;
11C eine schematische Darstellung eines Beispiels eines Randbilds, basierend auf dem Originalbild von 11A bei der zweiten Abwandlung der Ausführungsform; und
11D eine schematische Darstellung eines Beispiels eines Randbilds basierend auf dem wiederhergestellten Bild gemäß 11B bei der zweiten Abwandlung der Ausführungsform.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN DER ERFINDUNG
Eine Ausführungsform der vorliegenden Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung beschrieben. In der Zeichnung bezeichnen gleiche Bezugszeichen gleich oder einander entsprechende Teile.
Bei der dargestellten und beschriebenen Ausführungsform wird die vorliegende Erfindung bei einem Fahrerunterstützungssystem 1 angewendet, welches eine Wiederherstellvorrichtung 20 für durch Wettereinflüsse verschlechterte Bilder, insbesondere durch Nebel beeinflusste Bilder aufweist; dieses Fahrerunterstützungssystem 1 ist in ein Kraftfahrzeug eingebaut. Das Fahrerunterstützungssystem 1 dient dazu, die Sichtverhältnisse für den Fahrer zu verbessern.
Genauer gesagt, das Fahrerunterstützungssystem 1 ist dafür ausgelegt, auf einer Anzeigeeinheit 40 wiederhergestellte Bilder darzustellen, welche von der Wiederherstellvorrichtung 20 erzeugt werden und um Nebelscheinwerfer 50 abhängig von einem Auslöschkoeffizienten β ein- und auszuschalten. Der Auslöschkoeffizient β wird von der Wiederherstellvorrichtung 20 verwendet, wiederhergestellte Bilder zu erzeugen.
Bezug nehmend auf 1 umfasst das Fahrerunterstützungssystem 1 eine Kamera 10, die Wiederherstellvorrichtung 20, einen Anzeigeschalter 30 für ein wiederhergestelltes Bild, einen Nebelscheinwerferschalter 35, die Anzeigeeinheit 40, die Nebelscheinwerfer 50 und eine Steuerung 60. Bei dieser Ausführungsform sei die Kamera 10 ein Äquivalent zu einer Bildaufnahmevorrichtung.
Die Kamera 10 liegt an einer bestimmten Position der Fahrzeugkarosserie und ist mit der Wiederherstellvorrichtung 20 und der Steuerung 60 verbunden; die bestimmte Position erlaubt der Kamera 10, einen Bereich vorderhalb des Fahrzeugs aufzunehmen. Beispielsweise liegt die Kamera 10 in einem oberen mittigen Abschnitt der Windschutzscheibe des Fahrgastraums vom Fahrzeug.
Die Kamera 10 arbeitet, um sich bewegende Bilder und/oder Standbilder vom Bereich vorderhalb des Fahrzeugs aufzunehmen (zu erfassen) und die aufgenommenen Bilder in beispielsweise digitalem Format sowohl an die Wiederherstellvorrichtung 20 als auch die Steuerung 60 auszugeben. In der Ausführungsform sei die Kamera 10 in der Lage, sich bewegende Bilder und Standbilder mit 640×480 Pixeln in horizontaler und vertikaler Matrixanordnung (Reihen und Spalten) in Farbe aufzunehmen. Die Kamera 10 kann dafür ausgelegt sein, sich bewegende Bilder oder Standbilder gewünschter Größe in Farbe aufzunehmen oder monochrome sich bewegende Bilder und Standbilder einer gewünschten Größe aufzunehmen.
Die Wiederherstellvorrichtung 20 ist beispielsweise als eine normale Computerschaltung ausgelegt, bestehend aus beispielsweise CPU, einem Speicher mit beschreibbarem ROM und/oder einem RAM (Speicher mit wahlfreiem Zugriff), einer Eingabe/Ausgabeeinheit (I/O), weiteren Peripherieeinheiten und Bussen, welche diese Bestandteile der Computerschaltung verbinden. Die Wiederherstellvorrichtung 20 ist zusammen mit der Kamera 10 mit der Steuerung 60 verbunden.
Die Wiederherstellvorrichtung 20 empfängt als Originalbilder die von Kamera 10 ausgegebenen aufgenommenen Bilder, speichert die Originalbilder im Speicher, erzeugt wiederhergestellte Bilder basierend auf den im Speicher gespeicherten Originalbildern und gibt die wiederhergestellten Bilder an die Steuerung 60 aus. Ein konkretes Beispiel des Aufbaus der Wiederherstellvorrichtung 20 und ein bestimmter Programmablauf, der hiervon durchzuführen ist, um wiederhergestellte Bilder zu erzeugen, wird später noch unter Bezug auf die 2 bis 9 beschrieben.
Der Schalter 30 für die Darstellung wiederhergestellter Bilder ist beispielsweise ein Druckschalter und liegt an einer bestimmten Position im Fahrgastraum; diese bestimmte Person erlaubt es Insassen, insbesondere dem Fahrer im Fahrgastraum, den Schalter 30 zur Darstellung der wiederhergestellten Bilder zu betätigen. Der Schalter 30 ist weiterhin mit der Steuerung 60 verbunden. Beim Einschalten durch einen Insassen gibt der Anzeigeschalter 30 ein Signal betreffend diesen Ein-Zustand an die Steuerung 60 aus und bei Ausschalten durch einen Insassen gibt der Schalter 30 ein Signal betreffend diesen Ausschaltvorgang an die Steuerung 60 aus.
Der Nebelscheinwerferschalter 35 ist beispielsweise ein Druckschalter mit drei Schaltstellungen und liegt in einer bestimmten Position im Fahrgastraum; diese bestimmte Position erlaubt Insassen, insbesondere dem Fahrer im Fahrgastraum, den Nebelscheinwerferschalter 35 zu betätigen. Der Nebelscheinwerferschalter 35 ist ebenfalls mit der Steuerung 60 verbunden und in eine Position schaltbar, die einen automatischen Lichtsteuermodus angibt, eine Position EIN und eine Position AUS.
Wenn der Schalter von einem Benutzer in den automatischen Lichtsteuermodus geschaltet wird, gibt er ein Signal an die Steuerung 60 aus, welches die Einstellung dieses automatischen Steuermodus anzeigt. Beim Schalten in den Zustand EIN gibt der Nebelscheinwerferschalter 35 ein Signal an die Steuerung 60 aus, welches diesen Zustand EIN angibt. Beim Schalten in den Zustand AUS, gibt der Nebelscheinwerferschalter 35 ein Signal an die Steuerung 60 aus, das diesen Zustand AUS anzeigt.
Die Anzeigeeinheit 40 besteht beispielsweise aus einer LCD (Liquid Crystal Display) mit einem festgesetzten Graustufenbereich und liegt in einer bestimmten Position im Fahrgastraum, beispielsweise dem Anzeigebereich im Instrumentenbrett; die bestimmte Position erlaubt Insassen, beispielsweise dem Fahrer im Fahrgastraum, die Anzahleinheit 40 zu betrachten. Die Anzeigeeinheit 40 ist mit der Steuerung 60 verbunden; dies ermöglicht, dass die Originalbilder und/oder wiederhergestellten Bilder von der Steuerung 60 an die Anzeigeeinheit 40 eingegeben werden. Die Anzeigeeinheit 40 ist betreibbar, um die eingegebenen Originalbilder und/oder wiederhergestellten Bilder anzuzeigen.
Wenn eine Navigationsvorrichtung zur Bereitstellung wenigstens einer Route von der momentanen Position des Fahrzeugs zu einem vom Benutzer gewünschten Ziel in das Fahrzeug eingebaut ist, kann die Anzeige der Navigationsvorrichtung als Anzeigeeinheit 40 verwendet werden. Ein sogenanntes Head-Up-Display, welches Bilder auf die Windschutzscheibe des Fahrzeugs projiziert, kann ebenfalls als Anzeigeeinheit 40 verwendet werden.
Die Nebelscheinwerfer 50 werden bei ungünstigen Wetterbedingungen verwendet, dem Fahrer des Fahrzeugs während der Fahrt des Fahrzeugs unter ungünstigen Wetterbedingungen zusätzlich zu den Scheinwerfern des Fahrzeugs zu unterstützen; die Scheinwerfer beleuchten einen Bereich vorderhalb des Fahrzeugs. Insbesondere sind die Nebelscheinwerfer 50 an der Fahrzeugfront eingebaut und liefern einen breiten Strahl niedriger als der Beleuchtungsbereich der normalen Scheinwerfer; dieser breite niedrige Strahl kann Nebel und Regen besser durchdringen und damit die Fahrbahn, insbesondere die Fahrbahnränder beleuchten. Die Nebelscheinwerfer 50 sind mit der Steuerung 60 verbunden und werden unter Steuerung durch die Steuerung 60 ein- und ausgeschaltet. Die Steuerung 60 ist beispielsweise eine normale Computerschaltung bestehend aus beispielsweise einer CPU, einem Speicher mit einem beschreibbaren ROM und/oder RAM (Random Access Memory), einer Eingabe/Ausgabeeinheit (I/O), anderen Peripherieeinheiten und Busen, welche die Bestandteile der Computerschaltung verbinden.
Die Steuerung 60 enthält eine Anzeigebildschaltfunktion 60a und eine Fahrerunterstützungssteuerfunktion 60b. Genauer gesagt, der Speicher speichert wenigstens ein Programm, welches die CPU veranlasst, die Anzeigebildschaltfunktion 60a und die Fahrerunterstüzungssteuerfunktion 60b zu implementieren.
Wenn von dem Anzeigeschalter 30 für das wiederhergestellte Bild ein Signal empfangen wird, welches den Zustand EIN angibt, stellt die Anzeigebildschaltfunktion 60a auf der Anzeigeeinheit 40 wiederhergestellte Bilder dar, die von der Wiederherstellvorrichtung 20 ausgegeben werden. Wenn von dem Anzeigeschalter 30 das Signal empfangen wird, das den Zustand AUS angibt, stellt die Anzeigebildschaltfunktion 60a auf der Anzeigeeinheit 40 die von der Kamera 10 ausgegebenen Originalbilder dar.
Insbesondere schaltet, während ein Originalbild auf der Anzeigeeinheit 40 dargestellt wird, wenn das Signal für den Betrieb EIN vom Schalter 30 der Steuerung 60 eingegeben wird, die Anzeigebildschaltfunktion 60a das dargestellte Originalbild in ein wiederhergestelltes Bild um, dass von der Wiederherstellvorrichtung 20 ausgegeben wird. Auf ähnliche Weise, wenn während der Wiedergabe eines wiederhergestellten Bilds auf der Anzeigeeinheit 40 vom Schalter 30 an die Steuerung 60 ein Signal eingegeben wird, dass den Zustand AUS anzeigt, schaltet die Anzeigebildschaltfunktion 60a das dargestellte wiederhergestellte Bild auf das von der Kamera 10 ausgegebene Originalbild um.
Bei dieser Ausführungsform ist die Anzeigebildschaltfunktion 60a programmiert, ein auf der Anzeigeeinheit 40 dargestelltes Bild zwischen wiederhergestellten Bildern und Originalbildern gemäß Handbetätigungen des Anzeigeschalters 30 durch den Insassen umzuschalten.
Als ein alternatives Beispiel kann die Anzeigebildschaltfunktion 60a auch programmiert werden, um:
die wiederhergestellten Bilder auf der Anzeigeeinheit 40 darzustellen, wenn automatisch bestimmt wird, dass ein später noch zu beschreibender Auslöschkoeffizient β höher als ein festgesetzter Schwellenwert ist; und
die Originalbilder auf der Anzeigeeinheit 40 darzustellen, wenn automatisch bestimmt wird, dass der Auslöschkoeffizient β gleich oder niedriger als der festgesetzte Schwellenwert ist.
Bei diesem alternativen Beispiel kann der Anzeigeschalter 30 für das wiederhergestellte Bild weggelassen werden. Die Anzeigebildschaltfunktion 60a kann das Signal EIN oder AUS von Schalter 30 in Kombination mit der automatischen Bestimmung basierend auf dem Auslöschkoeffizient β verwenden, um damit das Schalten zwischen Originalbildern und wiederhergestellten Bildern zu steuern.
Bei Empfang eines Signals von dem Nebelscheinwerferschalter 35, dass der automatische Lichtsteuermodus gesetzt ist, schaltet die Fahrerunterstützungssteuerfunktion 60b automatisch das Ein- und Ausschalten der Nebelscheinwerfer 50. Genauer gesagt, die Fahrerunterstützungssteuerfunktion 60b schaltet automatisch die Nebelscheinwerfer 50 ein, wenn automatisch bestimmt wird, dass der Auslöschkoeffizient β höher als der festgesetzte Schwellenwert ist und schaltet automatisch die Nebelscheinwerfer 50 aus, wenn automatisch bestimmt wird, dass der Auslöschkoeffizient β gleich oder niedriger als der festgesetzte Schwellenwert ist.
Zusätzlich, wenn von dem Nebelscheinwerferschalter 35 das Signal empfangen wird, dass der EIN-Modus gesetzt ist, schaltet die Fahrerunterstützungssteuerfunktion 60b die Nebelscheinwerfer 50 ein und wenn das Signal vom Nebelscheinwerferschalter 35 empfangen wird, das den Zustand AUS angibt, schaltet die Fahrerunterstützungssteuerfunktion 60b die Nebelscheinwerfer 50 aus.
2 ist ein Blockdiagramm, welches ein Beispiel der Gesamtstruktur der Wiederherstellvorrichtung 20 zeigt.
Bezug nehmend auf 2 enthält die Wiederherstellvorrichtung 20 funktionell einen Bildseparator 22, einen Streulichtschätzer 23, einen Räumlichkeitsglätter 24 für Streulicht (”airlight spatial smoother”), einen partikelbeeinflussten Modellanwender 25 einen Auslöschkoeffizientenaktualisierer 26, einen Pegelkorrigierer 27 und eine Bildzusammensetzeinheit 28. Der Speicher der Wiederherstellvorrichtung 20 speichert wenigstens ein Programm, welches die CPU veranlasst, die Funktionen 22 bis 28 umzusetzen.
Wie oben beschrieben ist die Kamera 10 in der Lage, sich bewegende Bilder und/oder Standbilder des Bereichs vorderhalb des Fahrzeugs aufzunehmen. Es sei festzuhalten, dass ein sich bewegendes Bild äquivalent zu aufeinanderfolgend aufgenommenen Standbildern ist; diese Standbilder werden nachfolgend auch als ”Rahmen” bezeichnet.
Wenn ein Standbild des Bereichs vorderhalb des Fahrzeugs von der Kamera 10 aufgenommen wird, wird das Standbild dem Bildseperator 22 als Originalbild eingegeben. Ähnlich, wenn ein sich bewegendes Bild (Video, Film) von der Kamera 10 aufgenommen wird, wird eine Mehrzahl aufeinanderfolgender Rahmen (Standbilder) welche das aufgenommene sich bewegende Bild bilden, als aufeinanderfolgende Originalbilder dem Bildseparator 22 Rahmen für Rahmen eingegeben.
Der Bildseparator 22 arbeitet dahingehend, ein ihm eingegebenes Originalbild in eine Farbdifferenzkomponente und eine Luminanzkomponente zu zerlegen. Der Bildseparator 22 arbeitet dahingehend, an die Bildmischeinheit 28 ein Farbdifferenzoriginalbild, bestehend nur aus der Farbdifferenzkomponente auszugeben und an den Streulichtschätzer 23 und den Auslöschkoeffizientenaktualisierer 26 ein Luminanzoriginalbild auszugeben, das nur aus der Luminanzkomponente besteht.
Der Streulichtschätzer 23 arbeitet dahingehend, das Luminanzoriginalbild, das vom Bildseparator 22 ausgegeben wird, zu empfangen und das Luminanzoriginalbild in eine Mehrzahl von örtlichen Pixelblöcken zu unterteilen. Der Streulichtschätzer 23 arbeitet auch dahingehend, eine Streulichtintensität in jedem aus der Mehrzahl von lokalen Pixelblöcken abzuschätzen und an den Streulichträumlichkeitsglätter 24 ein Streulicht auszugeben, das aus einer Mehrzahl von Pixeln mit jeweils der Streulichtintensität besteht.
Der Streulichträumlichkeitsglätter 24 arbeitet dahingehend, dass vom Streulichtschätzer 23 ausgegebene Streulichtbild zu empfangen, das Streulichtbild räumlich zu glätten und das räumlich geglättete Streulichtbild an den partikelbeinflussten Modellanwender 25 auszugeben.
Der partikelbeinflusste Modellanwender 25 arbeitet dahingehend, dass von dem Streulichträumlichkeitsglätter 24 ausgegebene räumlich geglättete Streulichtbild zu empfangen und einen Wert des Auslöschkoeffizienten β von dem Auslöschkoeffizientenaktualisierer 26 aufzunehmen; der Auslöschkoeffizient β stellt die Konzentration von Partikeln in der Atmosphäre dar.
Der partikelbeeinflusste Modellanwender 25 arbeitet auch dahingehend, basierend auf den räumlich geglätteten Streulichtbild und dem Wert des Auslöschkoeffizienten β ein Bild, bei dem ein partikelbeeinflusstes Modell angewendet ist, auszugeben. Der partikelbeeinflusste Modelanwender 25 arbeitet weiter dahingehend, das Bild, bei dem ein partikelbeeinflusstes Modell angewendet wird, an den Pegelkorrigierer 27 auszugeben.
Nachfolgend werden die konkreten Arbeitsweisen des Streulichtschätzers 23, des Räumlichkeitsglätters 24 für das Streulicht, des partikelbeinflussten Modellanwenders 25, des Auslöschkoeffizientenaktualisierers 26 und des Pegelkorrigieres 27 näher beschrieben.
Die Wiederherstellvorrichtung 20 ist dafür ausgelegt, unter Verwendung eines partikelbeeinflussten Luminanzmodells, welches die Auswirkungen von Partikeln in der Atmosphäre auf die Helligkeit (Lichtintensität) eines jeden Pixels in einem Originalbild wiedergibt, ein wiederhergestelltes Bild zu erzeugen.
3 zeigt Parameter des partikelbeeinflussten Lichtintensitätsmodells und die 4A und 4B zeigen Grafiken einer partikelbeeinflussten Helligkeit I, die an der Kamera 10 als Messpunkt empfangen (beobachtet) wird gegenüber dem Auslöschkoeffizienten β.
Das partikelbeieinflusste Luminanzmodell, das bei dieser Ausführungsform verwendet wird, ist das Koschimiedersche Verschlechterungsmodell, welches die Dämpfung der Helligkeit eines jeden Pixels in einem Originalbild auf Grund von Streulicht angibt.
Wenn die intrinsische Helligkeit eines zu beobachtenden Ziels unter guten Wetterbedingungen als ”R” bezeichnet wird, die Intensität von Streulicht mit ”A” bezeichnet wird und der Abstand zwischen der Kamera 10 (Beobachtungspunkt) und dem Ziel als d bezeichnet wird, ist die partikelbeeinflusste Helligkeit I, die von der Kamera 10 zu messen ist, durch die folgende Gleichung [1] definiert (vergleiche 3): I = R·e^–β·d + A·(1 – e^–β·d) [1]
In dem partikelbeeinflussten Luminanzmodell, das in Gleichung [1] ausgedrückt ist, ist die partikelbeeinflusste Helligkeit I eines Ziels durch die Summe der intrinsischen Helligkeit des Ziels und einem Luminanzwert auf Grund von Absorption und/oder Diffusion von Licht an Partikeln, beispielsweise kleinen Wasserpartikeln (Wassertröpfchen) und Sandpartikeln in der Atmosphäre definiert.
Genauer gesagt, das partikelbeeinflusste Luminanzmodell gemäß [1] zeigt, dass, je höher der Auslöschkoeffizient β ist, das heißt, je dichter die Partikel vorliegen, um so mehr sich die partikelbeeinflusste Helligkeit I des Ziels an die Intensität A von Streulicht annähert.
4A zeigt die Änderungen der partikelbeeinflussten Helligkeit I mit der Änderungen des Auslöschkoeffizienten β, wenn die intrinsische Helligkeit R des Ziels, die Intensität A des Streulichts und der Abstand d auf 100 bzw. 200 bzw. 0.1 gesetzt sind. Im Gegensatz hierzu zeigt 4B die Änderung der partikelbeeinflussten Helligkeit I mit einer Änderung des Auslöschkoeffizienten β, wenn die intrinsische Helligkeit R des Ziels, die Intensität A von Streulicht und der Abstand d auf 240 bzw. 200 bzw. 0.1 gesetzt sind.
Es sei festzuhalten, dass bei dieser Ausführungsform von der Kamera 10 aufgenommene Bilder, Bilder mit einer 8-bit Grauabstufung (256 Graustufen) sind. Aus diesem Grund können die partikelbeeinflusste Helligkeit I, die intrinsische Helligkeit R des Ziels und die Intensität A von Streulicht einen Wert innerhalb des Bereichs von 0 bis 255 annehmen.
Ein Vergleich zwischen den 4A und 4B zeigt, dass, je dichter die Partikel vorliegen, umso mehr die partikelbeeinflusste Helligkeit I des Ziels sich der Intensität A von Streulicht annähert.
Zusätzlich zeigt das in Gleichung [1] ausgedrückte partikelbeeinflusste Luminanzmodell, dass, je größer der Abstand d wird, um so mehr sich die partikelbeeinflusste Helligkeit I des Ziels an die Intensität A von Streulicht annähert.
Eine Umformung von Gleichung [1] erlaubt, dass die intrinsische Helligkeit R des Ziels durch die folgende Gleichung [2] ausgedrückt wird: R = Iβ·e^β·d + A·(1 – e^β·d) [2]
Gleichung [2] zeigt, dass die Parameter von Abstand d, Intensität A von Streulicht und Auslöschkoeffizient β notwendig sind, um die partikelbeeinflusste Helligkeit I des Ziels zu erhalten. Mit anderen Worten, eine Abschätzung der Werte dieser Parameter ist notwendig, um wiederhergestellte Bilder zu erzeugen.
Genauer gesagt, der Streulichtschätzer 23 gemäß dieser Ausführungsform dividiert das Luminanzoriginalbild, aufgenommen von Bildseparator 22 in die Mehrzahl von lokalen Pixelblöcken, von denen jeder ausreichend klein ist. Beispielsweise teilt der Streulichtschätzer 23 bei dieser Ausführungsform das Luminanzoriginalbild, vom Bildseparator 22 in eine Mehrzahl von 3×3 Pixelblöcken.
Da jeder aus der Mehrzahl von 3×3 Pixelblöcken ausreichend klein ist, ist es möglich, die Wahrscheinlichkeit merklich zu verringern, dass eine Mehrzahl von Zielen zur Aufnahme durch die Kamera 10 in wenigstens einem aus der Mehrzahl von 3×3 Pixelblöcken enthalten ist. Dies führt dazu, dass Werte des Abstands d in jedem aus der Mehrzahl von 3×3 Pixelblöcken als konstant betrachtet werden können, sodass die zum Abstand d zugehörige Information beseitigt werden kann.
Wenn beispielsweise der Abstand b auf 1.0 gesetzt wird, kann die Gleichung [2] durch die folgende Gleichung [3] ausgedrückt werden: R = I·e^β + A·(1 – e^β) [3]
Gleichung [3] zeigt, dass die Parameter des Auslöschkoeffizienten β und die Intensität A von Streulicht notwendig sind, um die partikelbeeinflusste Helligkeit I des Ziels zu erhalten.
Die Wiederherstellvorrichtung 20 gemäß dieser Ausführungsform ist dafür ausgelegt, wiederhergestellte Bilder unter Verwendung des vereinfachten partikelbeeinflussten Luminanzmodells zu erzeugen, das in Gleichung [3] ausgedrückt ist.
Es sei festzuhalten, dass 3×3 Pixelblöcke als die lokalen Pixelblöcke bei dieser Ausführungsform verwendet werden, jedoch bei dieser Ausführungsform als lokale Pixelblöcke auch 5×5 Pixelblöcke verwendet werden können. Zusätzlich können Pixelblöcke jeweils mit gegebener Größe und Form bei dieser Ausführungsform als lokale Blöcke verwendet werden; Größe und Form eines jeden der Pixelblöcke machen es hierbei möglich, dass eine Mehrzahl von Zielen mit jeweils unterschiedlichen Abständen zur Kamera 10 als außerhalb eines jeden Pixelblocks betrachtet werden können.
Das Festlegen des Abstands b auf 1.0 vereinfacht das nebelbeeinflusste Modell bei dieser Ausführungsform zusätzlich, jedoch kann das Festsetzen des Abstands d auf einen beliebigen Wert das partikelbeeinflusste Luminanzmodell ebenfalls vereinfachen. Das heißt, der Abstand d kann auf einen gegebenen Wert mit Ausnahme von Null gesetzt werden, da Schwellenwerte und variable Aktualisierungswerte (inkrementierend/dekrementierend) für den Auslöschkoeffizienten β abhängig vom Wert des Abstands d gesetzt werden können; diese Schwellenwerten und variablen Aktualisierungswerte werden nachfolgend noch beschrieben.
Diese Ausführungsform verwendet das vereinfachte partikelbeeinflusste Luminanzmodell, das erhalten wird durch Vereinfachen des Koschimierderschen Verschlechterungsmodells, jedoch ist die vorliegende Erfindung nicht hierauf beschränkt. Insbesondere kann jegliches partikelbeeinflusste Luminanzmodell, das die Effekte von Partikeln in der Atmosphäre wiedergibt, an Stelle des vereinfachten partikelbeeinflussten Luminanzmodells verwendet werden. Insbesondere kann jegliches partikelbeeinflusste Luminanzmodell, welches den Einfluss von Partikeln in der Atmosphäre behandelt, an Stelle des vereinfachten partikelbeeinflussten Luminanzmodells verwendet werden; dieser Einfluss der Partikel auf die Atmosphäre gibt wieder, dass, je dichter die Partikel sind, umso mehr die partikelbeeinflusste Helligkeit des Ziels sich der Intensität von Streulicht annähert.
Nach der Unterteilung setzt der Streulichtschätzer 23 eine Durchschnittshelligkeit a_k aller Pixel in jedem der 3×3 Blöcke als einen Wert a_k der Intensität A des Streulichts eines entsprechenden der 3×3 Pixelblöcke; k ist hier bei 1, 2, ..., n und n ist die Gesamtzahl der 3×3 Pixelblöcke.
Der Streulichtschätzer 23 erzeugt das Streulichtbild bestehend aus der Mehrzahl von 3×3 Pixelblöcken, wobei jedes Pixel in jedem aus der Mehrzahl von 3×3 Pixelblöcken den Wert a_k der Intensität A des Streulichts eines entsprechenden der 3×3 Pixelblöcke hat. Dann gibt der Streulichtschätzer 23 das Streulichtbild an den Räumlichkeitsglätter 24 für das Streulicht aus.
Es sei festzuhalten, dass die Intensität A des Streulichts die Helligkeit des vom Horizont kommenden Lichts darstellt. Da jedoch die Helligkeit des Lichts, das vom Horizont kommt, nicht in der Mehrzahl von lokalen Pixelblöcken (3×3 Pixelblöcken) enthalten sein kann, ersetzt diese Ausführungsform die durchschnittliche Helligkeit aller aus der Mehrzahl von lokalen Pixelblöcken (3×3 Pixelblöcken) mit der Intensität A des Streulichts gemäß der bekannten Retinex-Theorie, welche verschiedene Algorithmen zur Luminanzabschätzung enthält. Wenn daher der Streulichtschätzer 23 die Helligkeit des vom Horizont kommenden Lichts berechnen kann, kann er die berechnete Lichthelligkeit, das vom Horizont kommt, als Intensität A des Streulichts verwenden.
Wie oben beschrieben schätzt der Steuerlichtschätzer 23 individuell den Pegel a_k die Intensität A des Streulichts in jedem der 3×3 Pixelblöcke ab. Aus diesem Grund können der Pegel a_k der Intensität A von Streulicht eines Pixelblocks und der Pegel a_k der Intensität A von Streulicht eines anderen Pixelblocks benachbart in dem einen Pixelblocks nicht miteinander kollationiert sein. Dies führ dazu, dass, wenn der partikelbeeinflusste Modellanwender 25 ein ungeglättetes Bild direkt basierend auf dem Streulichtbild erzeugen würde, welches von den Räumlichkeitsglätter 24 für das Streulicht nicht räumlich geglättet wurde, dann die Helligkeit des ungeglätteten Bilds an den Grenzen einander benachbarter 3×3 Pixelblöcke in dem ungeglätteten Bild diskontinuierlich werden würden.
5A zeigt ein Beispiel des Originalbilds, dass von der Kamera 10 bei Nebel aufgenommen wird und 5B zeigt ein Beispiel des ungeglätteten Bilds, das auf dem Originalbild von 5A basiert. Zusätzlich zeigt 5C einen Teil P1a des Originalbilds von 5A in vergrößertem Maßstab und 5D zeigt einen Teil P1b des ungeglätteten Bilds von 5B in vergrößertem Maßstab; P1b entspricht dem Teil P1a.
Wie aus dem Vergleich des Originalbilds von 5A mit dem ungeglätteten Bild von 5B hervorgeht, ist der Effekt von Nebel (kleinsten Wasserpartikeln) in dem ungeglätteten Bild stärker reduziert als derjenige im Originalbild. Wie jedoch aus einem Vergleich des vergrößerten Bilds von 5D mit dem vergrößerten Bild von 5C hervorgeht, wird die Helligkeit des ungeglätteten Bilds an den Grenzen einiger benachbarter 3×3 Pixelbereiche in dem ungeglätteten Bild diskontinuierlich.
Um gegen diese diskontinuierliche Helligkeit vorzugehen, glättet der Räumlichkeitsglätter 24 für Streulicht das Streulichtbild, das von dem Räumlichkeitsglätter für Streulicht empfangen worden ist, räumlich, um die Diskontinuität in der Helligkeit zwischen benachbarten 3×3 Pixelblöcken im empfangenen Streulichtbild zu mindern. Danach gibt der Räumlichkeitsglätter 24 für das Streulicht das räumlich geglättete Streulichtbild an den partikelbeeinflussten Modellanwender 25 aus.
In dieser Ausführungsform glättet der Räumlichkeitsglätter 24 das Streulichtbild in Reihenrichtung (horizontal) und Spaltenrichtung (Vertikal) unter Verwendung eines bekannten gleitenden Mittelwerts räumlich. Beispielsweise führt der Räumlichkeitsglätter 24 die erste Glättung des Streulichtbilds Pixelblock für Pixelblock durch und die zweite Glättung des Streulichtbildes Pixel für Pixel. Dieses zweistufige Glätten dient zum Abmildern der Diskontinuität in der Helligkeit zwischen benachbarten 3×3 Pixelblöcken im Tageslichtbild.
6A zeigt schematisch, wie das Tageslichtbild Pixelblock für Pixelblock geglättet wird und 6B zeigt schematisch, wie das Tageslichtbild Pixel für Pixel geglättet wird. In den 6A und 6B sind aus Gründen der Einfachheit drei aufeinanderfolgende Pixelblöcke B1, B2 und B3 in einer von horizontaler und vertikaler Richtung dargestellt. In den 6A und 6B stellen mit durchgezogenen Linien dargestellte Kreise die Luminanzwerte der aufeinanderfolgenden Pixelblöcke B1, B2 und B3 vor der Glättung dar, gestrichelt gezeichnete Kreise stellen die Luminanzwerte der aufeinanderfolgenden drei Pixelblöcke nach der Glättung dar und gestrichelte Linien stellen die Grenzen der aufeinanderfolgenden Pixelblöcke B1, B2 und B3 dar. In den 6A und 6B stellt die Anzahl der durch durchzogene Linien dargestellten Kreise in jedem der aufeinanderfolgenden drei Pixelblöcke B1, B2 und B3 die Anzahl von hierin enthaltenen Pixeln dar.
Zuerst wird das Glätten des Streulichtbilds Pixelblock für Pixelblock unter Bezugnahme auf 6A beschrieben.
Der Räumlichkeitsglätter 24 für das Streulicht verwendet ein zweidimensionales Fenster mit einer Größe von 3×3 Bereichen entsprechend 3×3 Pixelblöcken. Da 6A nur eindimensional aufeinanderfolgende Pixelblöcke zeigt, ist die Größe des Fensters 3 Bereiche. der Räumlichkeitsglätter 24 kann ein eindimensionales Fenster einer Größer von einem 3×1 Bereich und ein eindimensionales Fenster mit einer Größe von einem 1×3 Bereich entsprechend 3×3 Pixelblocken verwenden (siehe 6A).
Der Räumlichkeitsglätter 24 setzt den Mittenbereich des Fensters am Pixelblock (Zielpixelblock) B2 zwischen den Pixelblöcken B1 und B3 und setzt die verbleibenden 2 Bereiche auf die Pixelblöcke B1 und B3.
Der Räumlichkeitsglätter 24 berechnet einen Durchschnittswert von Luminanzwerten, die in dem Fenster enthalten sind und setzt als Luminanzwert des Zielpixelblocks B2 diesen Durchschnittswert. Der Räumlichkeitsglätter 24 führt die räumliche Glättung für den Zielpixelblock beispielsweise viermal als einen Satz einer Glättung durch und wendet diesen einen Satz der Glättung an alle Pixelblöcke als die Zielpixelblöcke in dem Streulichtbild an.
Nachfolgend wird das Glätten des Streulichtbilds Pixel für Pixel unter Bezugnahme auf 6B beschrieben.
Der Räumlichkeitsglätter 24 für das Streulicht verwendet ein zweidimensionales Fenster einer Größe von 3×3 Bereichen entsprechend 3×3 Pixeln. Da 6B nur eindimensional aufeinanderfolgende Pixel zeigt, beträgt die Größe des Fensters 3 Bereiche. Der Räumlichkeitsglätter 24 kann ein eindimensionales Fenster einer Größe von einem Bereich 3×1 und ein eindimensionales Fenster einer Größe von einem Bereich 1×3 entsprechend den 3×3 Pixeln verwenden (siehe 6B).
Der Räumlichkeitsglätter 24 setzt den Mittenbereich des Fensters auf eine Pixel (Zielpixel), dem das Bezugszeichen Pt zugeordnet ist, zwischen Pixeln (mit den Bezugszeichen Pt – 1 und Pt + 1). Der Räumlichkeitsglätter 24 setzt die verbleibenden zwei Bereiche auf die Pixel Pt – 1 bzw. Pt + 1.
Der Räumlichkeitsglätter 24 berechnet einen Durchschnittswert der Luminanzpegel der Pixel Pt, Pt – 1 und Pt + 1 in dem Fenster und setzt als Luminanzwert des Zielpixels Pt den Durchschnittswert. Der Räumlichkeitsglätter 24 führt die räumliche Glättung für das Zielpixel beispielsweise viermal als ein Satz einer Glättung durch und wendet den einen Satz der Glättung an alle Pixel als Zielpixel in dem Streulichtbild an.
7A zeigt ein Beispiel des ungeglätteten Bilds entsprechend 5B und 7B zeigt ein Beispiel des geglätteten Streulichtbilds basierend auf dem Originalbild von 5A. Zusätzlich zeigt 7C den Teil P1b des ungeglätteten Bilds gemäß 7A und 7D zeigt einen Teil P1c des geglätteten Streulichtbilds von 7B im vergrößerten Maßstab; dieser Teil P1c entspricht dem Teil P1b.
Wie aus dem Vergleich des vergrößerten Bilds von 7D mit dem vergrößerten Bild von 7C hervorgeht, ist die Diskontinuität in der Helligkeit zwischen benachbarten 3×3 Pixelbereichen in dem geglätteten Streulichtbild eingeschränkt.
Es sei festzuhalten, dass der Räumlichkeitsglätter 24 für das Streulicht bei dieser Ausführungsform das zweidimensionale Fenster mit 3×3 Bereichen oder eindimensionale Fenster mit 3×1 und 1×3 verwendet, jedoch auch ein zweidimensionales Fenster mit 5×5 Bereichen oder 7×7 Bereichen verwenden kann oder eindimensionale Fenster der Größe 5×1 und 1×5 beziehungsweise 7×1 und 1×7 verwenden kann.
Je größer die Anzahl (Größe) der Fenster ist, umso mehr lässt sich der Vorteil der Glättung erhöhen. Jedoch kann die Verwendung eines Fensters mit übergroßer Größer die Ränder in dem Streulichtbild zu stark glätten. Um eine derart übertriebene Glättung zu verhindern, verwendet der Räumlichkeitsglätter 24 für das Streulicht bei dieser Ausführungsform das Fenster mit 3×3 Bereichen.
Weiterhin führt der Räumlichkeitsglätter 24 bei dieser Ausführungsform die räumliche Glättung für einen Zielpixelblock (Zielpixel) viermal als ein Glättungssatz durch, kann jedoch auch die räumliche Glättung für einen Zielpixelblock (Zielpixel) achtmal oder einmal als einen Glättungssatz durchführen. Je Höher die Anzahl von Malen ist, um die der Räumlichkeitsglätter 24 die räumliche Glättung für einen Zielpixelblock (Zielpixel) durchführt, umso mehr können die Vorteile der Glättung verstärkt werden. Wenn jedoch die Anzahl von Malen, die der Räumlichkeitsglätter 24 die räumliche Glättung für einen Zielpixelblock (Zielpixel) durchführt, sehr hoch gemacht wird, können die Ränder im Streulichtbild zu stark geglättet werden. Um eine derart überhohe Glättung zu vermeiden, führt der Räumlichkeitsglätter 24 bei dieser Ausführungsform die räumliche Glättung an einen Zielpixelblock (Zielpixel) viermal als einen Glättungssatz durch.
Der Räumlichkeitsglätter 24 für das Streulicht bei dieser Ausführungsform führt die erste Glättung an dem Streulichtbild Pixelblock für Pixelblock und die zweite Glättung am Streulichtbild Pixel für Pixel durch, kann jedoch auch ein anderes Glättungsverfahren verwenden.
Genauer gesagt, der Räumlichkeitsglätter 24 kann eines aus einer Anzahl bekannter Glättungsverfahren durchführen, beispielsweise das Gaussche Filterverfahren, um die Diskontinuität in der Helligkeit zwischen benachbarten 3×3 Pixelblöcken im Streulichtbild zu mindern.
Der partikelbeeinflusste Modellanwender 25 übernimmt das räumlich geglättete Streulichtbild von dem Räumlichkeitsglätter 24 und übernimmt einen Wert des Auslöschkoeffizienten β vom Auslöschkoeffizientenaktualisierer 26.
Danach ersetzt der partikelbeeinflusste Modellanwender den Luminanzwert eines jeden der Pixel in dem räumlich geglätteten Streulichtbild als Intensität A des Streulichts in dem vereinfachten partikelbeeinflussten Luminanzmodell gemäß obiger Gleichung [3] und setzt den erhaltenen Wert des Auslöschkoeffizienten β in den vereinfachten partikelbeeinflussten Luminanzmodell gemäß obiger Gleichung [3] ein, sodass direkt ein Luminanzwert eines jeden Pixels in dem Bild berechnet wird, bei dem ein partikelbeeinflusstes Modell angewendet wird. Es sei festzuhalten, dass der gleiche Wert des Auslöschkoeffizienten β verwendet wird, den Luminanzwert eines jeden Pixels in diesem Bild zu berechnen, bei dem ein partikelbeeinflusstes Modell angewendet wird.
Der Auslöschkoeffizientenaktualisierer 26 empfängt das Originalbild (Luminanzoriginalbild) vom Bildseparator 22 und empfängt das Bild, bei dem das partikelbeeinflusste Modell angewendet wird, von dem partikelbeeinflussten Modellanwender 25. Sodann setzt der Auslöschkoeffizientenaktualisierer 26 den Auslöschkoeffizienten β (aktualisiert diesen) basierend auf den Intensitätswerten oder Intensitätspegeln der Ränder oder Rand sowohl in dem Originalbild als auch in dem Bild, bei dem das partikelbeeinflusste Modell angewendet wurde.
8 zeigt schematisch den Ablauf der Auslöschkoeffizientenfestsetzung (Aktualisierung), welche von dem Auslöschkoeffizientenaktualisierer 26 durchgeführt wird.
Bei Empfang des Originalbilds vom Bildseparator 22 und von dem Bild, bei dem das partikelbeeinflusste Modell angewendet wurde von dem partikelbeeinflussten Modellanwender 25, setzt der Auslöschkoeffizientenaktualisierer 26 einen ROI (Region of Interest) mit einer bestimmten Pixelgröße sowohl im Originalbild als auch in dem Bild, bei dem das partikelbeeinflusste Modell angewendet wurde im Schritt S10.
Genauer gesagt, der Auslöschkoeffizientenaktualisierer 26 setzt den ROI sowohl am Originalbild als auch am partikelbeeinflussten Bild so, dass der mittige Abschnitt (Pixel) sowohl im Originalbild als auch im partikelbeeinflussten Bild im ROI enthalten ist (Schritt S10).
Im Schritt S10, kann der Auslöschkoeffizientenaktuallisierer 26 den ROI sowohl des Originalbilds als auch des partikelbeeinflussten Bildes so setzen, dass der ROI nahe an der Position des Fluchtpunkts im Originalbild und partikelbeeinflussten Bild liegt. Bei dieser Festsetzung des ROI ist es ausreichend, die Position des Fluchtpunkts sowohl im Originalbild als auch im partikelbeeinflussten Bild grob zu berechnen und daher ist es unnötig, die Position des Fluchtpunkts mit hoher Genauigkeit zu berechnen.
Nach Festsetzung des ROI im Originalbild und im partikelbeeinflussten Bild geht der Auslöschkoeffizientenaktuallisierer 26 zum Schritt S20.
Im Schritt S20 legt der Auslöschkoeffizientenaktualisierer 26 an jedes Pixel im ROI des Originalbilds einen von verschiedenen Randerkennungsoperatoren an, beispielsweise einen Sobel-Operator bestehend aus 3×3 Sobel-Faltungskernen in vertikalen und horizontalen Richtungen. Dieses Anlegen erzeugt den Gradientenkomponenten (Kante) an jedem Pixel in vertikaler Richtung und erzeugt den Gradientenkomponenten (Kante) an jedem Pixel in horizontaler Richtung.
Im Schritt S20 berechnet der Auslöschkoeffizientenaktualisierer 26 die Summe (Quadratwurzelsumme) des Gradientenkomponenten in vertikaler Richtung und des Gradientenkomponenten in horizontaler Richtung an jedem Pixel, um damit eine Größe ψ an der Kante eines jeden Pixels im ROI des Originalbilds zu berechnen.
Der Auslöschkoeffizientenaktualisierer 26 berechnet einen Durchschnittswert der Randgrößen ψ und den jeweiligen Pixeln im ROI des Originalbilds. Der Durchschnittswert der Randgrößen ψ an den jeweiligen Pixeln im ROI des Ursprungsbilds oder Originalbilds wird nachfolgend als ”Randgröße ψ” bezeichnet. Danach geht der Auslöschkoeffizientenaktualisierer 26 zum Schritt S30 weiter.
Im Schritt S30 legt wie im Schritt S20 der Auslöschkoeffizientenaktualisierer 26 an jedes Pixel im ROI des partikelbeeinflussten Bilds den einen aus verschiedenen Randerkennungsoperatoren an, beispielsweise den Sobel-Operator. Diese Anwendung erzeugt den Gradientenkomponenten eines jeden Pixels in vertikaler Richtung und erzeugt den Gradientenkomponenten (Kante) an jedem Pixel in horizontaler Richtung.
Im Schritt S30 berechnet der Auslöschkoeffizientenaktualisierer 26 die Summe (Quadratwurzelsumme) der Gradientenkomponente in vertikaler Richtung und der Gradientenkomponente in horizontaler Richtung bei jedem Pixel um damit eine Größe Φ an der Kante eines jeden Pixels im ROI des partikelbeeinflussten Bilds zu berechnen.
Der Auslöschkoeffizientenaktualisierer 26 berechnet einen Durchschnittswert der Randgrößen Φ an den jeweiligen Pixeln im ROI des partikelbeeinflussten Bilds. Der Durchschnittswert der Randgrößen ψ an den jeweiligen Pixeln im ROI des partikelbeeinflussten Bilds wird nachfolgend als ”Randgröße Φ” bezeichnet.
Danach führt der Auslöschkoeffizientenaktualisierer 26 einige der Abläufe in den Schritten S40 bis S114 gemäß 8 durch, um damit: die Differenz Δ zwischen der Randgröße (ψ oder Φ) und eines festgesetzten Schwellenwerts (eines ersten festgesetzten Schwellenwerts Th1 oder eines zweiten festgesetzten Schwellenwertes Th2) zu berechnen und um den Auslöschkoeffizienten β gemäß einem von variablen Aktualisierungswerten (inkrementierend/dekremetierend) δL, δM und δS zu aktualisieren; der eine der variablen Aktualisierungswerten δL, δM und δS wird basierend auf dem Grad der Differenz Δ gewählt. Bei dieser Ausführungsform ist der erste Schwellenwert Th1 größer als der zweite Schwellenwert Th2, der Aktualisierungsvariablenwert δL ist höher als der Aktualisierungsvariablenwert δM und der Aktualisierungsvariablenwert δM ist höher als der Aktualisierungsvariablenwert δS.
yxc
Genauer gesagt, im Schritt S40 bestimmt der Auslöschkoeffizientaktualisierer 26, ob die Randgröße ψ größer als der erste Schwellenwert Th1 ist. Bei Bestimmung, dass die Randgröße ψ größer als der erste Schwellenwert Th1 ist (JA im Schritt S40) berechnet der Auslöschkoeffizientenaktualisierer 26 die Differenzen δ der Randgröße ψ zum ersten Schwellenwert Th1 im Schritt S50.
Nach Schritt S50 bestimmt der Auslöschkoeffizientenaktualisierer 26, ob die Differenz Δ der Randgröße ψ zum ersten Schwellenwert Th1 größer als ein dritter Schwellenwert Th3 ist (Schritt S60). Bei Bestimmung, dass die Differenz δ der Randgröße zum ersten Schwellenwert Th1 größer als der dritte Schwellenwert Th3 ist (JA im Schritt S60), erkennt der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße ψ wesentlich größer als eine Soll- oder Zielrandgröße (ZielRandgrößenbereich) ist.
Somit setzt der Auslöschkoeffizientenaktualisierer 26 den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnet durch Subtraktion des höchsten Aktualisierungsvariablenwerts δL vom vorhergehenden Wert des Auslöschkoeffizienten β im Schritt S61. Dieser Vorgang im Schritt S61 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert. Nach dem Ablauf im Schritt S61 verlässt der Auslöschkoeffizientenaktualisierer 26 die Auslöschkoeffizientenfestsetzung (Aktualisierung).
Ansonsten bestimmt bei Bestimmung, dass die Differenz Δ der Randgröße ψ zum ersten Schwellenwert Th1 kleinerer oder kleiner als der dritte Schwellenwert Th3 (NEIN im Schritt S60) der Auslöschkoeffizientenaktualisierer 26, ob die Differenz Δ der Randgröße ψ zum ersten Schwellenwert Th1 größer als ein vierter Schwellenwert Th4 ist (Schritt S62).
Bei Bestimmung das die Differenz Δ der Randgröße ψ zum ersten Schwellenwert Th1 größer als ein vierter Schwellenwert Th4 ist (JA im Schritt S62) erkennt der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße ψ größer als die Zielrandgröße ist. Somit setzt der Auslöschkoeffizientenaktualisierer 26, den vorherigen Wert des Auslöschkoeffizient β auf einen neuen Wert, berechnet durch Subtraktion des mittleren Aktualisierungsvariablenwerts δM vom vorhergehenden Wert des Auslöschkoeffizient β (Schritt S63). Dieser Vorgang im Schritt S63 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf den neuen Wert. Nach dem Ablauf im Schritt S63 verlässt der Auslöschkoeffizientenaktualisierer 26 den Vorgang des Auslöschkoeffizientefestsetzens(-aktualisierens).
Ansonsten erkennt bei Bestimmung, dass die Differenz Δ der Randgröße ψ zum ersten Schwellenwert Th1 gleich oder kleiner als der vierte Schwellenwert Th4 ist (NEIN im Schritt S62) der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße Φ etwas größer als die Zielrandgröße oder nahe bei der Zielrandgröße ist. Somit setzt der Auslöschkoeffizientenaktualisierer 26 den vorhergehenden Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnet durch Subtraktion des kleinsten Aktualisierungsvariablenwerts δS vom vorherigen Wert des Auslöschkoeffizienten β im Schritt S64 oder behält den vorherigen Wert des Auslöschkoeffizienten β als neuen Wert bei. Dieser Ablauf im Schritt S64 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf seinen neuen Wert. Nach dem Vorgang im Schritt S64 verlässt der Auslöschkoeffizientaktualisierer 26 den Ablauf der Auslöschkoeffizientenfestsetzung(-aktualisierung).
Ansonsten bestimmt bei Bestimmung, dass die Randgröße ψ gleich oder kleiner als der erste Schwellenwert Th1 ist (NEIN im Schritt S40) der Auslöschkoeffizientaktualisierer 26, ob die Randgröße Φ kleiner als der zweite Schwellenwert Th2 ist (Schritt S70).
Bei Bestimmung, dass die Randgröße Φ kleiner als der zweite Schwellenwert Th2 ist (JA im Schritt S70), berechnet der Auslöschkoeffizientaktualisierer 26 die Differenz Δ des zweiten Schwellenwerts Th2 zu der Randgröße Φ im Schritt S80.
Nach Schritt S80 bestimmt der Auslöschkoeffizientaktualisierer 26, ob die Differenz Δ des zweiten Schwellenwerts Th2 zur Randgröße Φ größer als der dritte Schwellenwert Th3 ist (Schritt S90). Bei Bestimmung, dass die Differenz Δ des zweiten Schwellenwerts Th2 zur Randgröße Φ größer als der dritte Schwellenwert Th3 ist (JA im Schritt S90), erkennt der Auslöschkoeffizientaktualisierer 26, dass die Randgröße Φ wesentlich kleiner als die Soll- oder Zielrandgrößer ist.
Somit setzt der Auslöschkoeffizientaktualisierer 26 den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnen durch Addition des höchsten Aktualisierungsvariablenwerts δL zum vorherigen Wert des Auslöschkoeffizienten β im Schritt S91. Dieser Vorgang im Schritt S91 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, nach dem Ablauf von Schritt S91 verlässt der Auslöschkoeffizientaktualisierer 26 den Ablauf der Auslöschkoeffizientenfestsetzung(-aktualisierung).
Ansonsten bestimmt bei Bestimmung, dass die Differenz Δ des zweiten Schwellenwerts Th2 zur Randgröße Φ gleich oder kleiner als der dritte Schwellenwert Th3 ist (NEIN im Schritt S90) der Auslöschkoeffizientaktualisierer 26, ob die Differenz Δ des zweiten Schwellenwerts Th2 zur Randgröße ψ größer als der vierte Schwellenwert Th4 ist (Schritt S92).
Bei Bestimmung, dass die Differenz Δ des zweiten Schwellenwerts Th2 zur Randgröße Φ größer als der vierte Schwellenwert Th4 ist (JA im Schritt S92), erkennt der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße Φ kleiner als die Zielrandgröße ist. Somit wird der Auslöschkoeffizientenaktualisierer 26, dem vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnet durch Addition des mittleren Aktualisierungsvariablenwerts δM zum vorherigen Wert des Auslöschkoeffizienten β im Schritt S93. Der Vorgang im Schritt S93 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert. Nach dem Vorgang im Schritt S93 verlässt der Auslöschkoeffizientenaktualisierer 26 den Ablauf der Auslöschkoeffizientenfestsetzung(-aktualisierung).
Ansonsten erkennt bei Bestimmung, dass die Differenz Δ des zweiten Schwellenwerts Th2 zur Randgröße Φ gleich oder kleiner als der vierte Schwellenwert Th4 ist (NEIN im Schritt S92) der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße Φ etwas kleiner als die Zielrandgröße oder nahe bei der Zielrandgröße ist. Somit setzt der Auslöschkoeffizientenaktualisierer 26 den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnet durch Addition des kleinsten Aktualisierungsvariablenwerts δS zum vorherigen Werts des Auslöschkoeffizienten β im Schritt S94 oder behält den vorherigen Wert des Auslöschkoeffizienten β als neuen Wert bei. Der Vorgang im Schritt S94 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert. Nach dem Ablauf im Schritt S94 verlässt der Auslöschkoeffizientenaktualisierer 26 den Vorgang der Auslöschkoeffizientenfestsetzung(-aktualisierung).
Ansonsten berechnet bei Bestimmung, dass die Randgröße Φ gleich oder größer als der zweite Schwellenwert Th2 ist (NEIN im Schritt S70) der Auslöschkoeffizientenaktualisierer 26 die Differenz Δ der Randgröße Φ zum zweiten Schwellenwert Th2 im Schritt S100.
Nach Schritt S100 bestimmt der Auslöschkoeffizientenaktualisierer 26, ob die Differenz Δ der Randgröße Φ zum zweiten Schwellenwert Th2 größer als der dritte Schwellenwert Th3 ist (Schritt S110). Bei Bestimmung, dass die Differenz Δ der Randgröße Φ zum zweiten Schwellenwert Th2 größer als der dritte Schwellenwert Th3 ist (JA im Schritt S110) erkennt der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße Φ wesentlich größer als die Soll- oder Zielrandgröße ist.
Somit setzt der Auslöschkoeffizientenaktualisierer 26 den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnet durch Subtraktion des höchsten Aktualisierungsvariablenwertes δL vom vorherigen Wert des Auslöschkoeffizienten β im Schritt S111. Dieser Vorgang im Schritt S111 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert. Nach dem Ablauf im Schritt S111 verlässt der Auslöschkoeffizientenaktualisierer 26 den Vorgang des Auslöschkoeffizientenfestsetzens(-aktualisierens).
Ansonsten bestimmt bei Bestimmung das die Differenz Δ der Randgröße Φ zum zweiten Schwellenwert Th2 gleich oder kleiner als der dritte Schwellenwert Th3 ist (NEIN im Schritt S110) der Auslöschkoeffizientenaktualisierer 26, ob die Differenz Δ der Randgröße Φ zum zweiten Schwellenwert Th2 größer als der vierte Schwellenwert Th4 ist (Schritt S112).
Bei Bestimmung, dass die Differenz Δ der Randgröße Φ zum zweiten Schwellenwert Th2 größer als der vierte Schwellenwert Th4 ist (JA im Schritt S112) erkennt der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße Φ größer als die Zielrandgröße ist. Somit setzt der Auslöschkoeffizientenaktualisierer 26 den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnet durch Subtraktion des mittleren Aktualisierungsvariablenwertes δM vom vorherigen Wert des Auslöschkoeffizienten β im Schritt S113. Diesen Vorgang im Schritt S113 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert. Nach dem Ablauf von Schritt S113 verlässt der Auslöschkoeffizientenaktualisierer 26 den Ablauf des Auslöschkoeffizientenfestsetzens(-aktualisierens).
Ansonsten erkennt bei Bestimmung, dass die Differenz Δ der Randgröße Φ zum zweiten Schwellenwert Th2 gleich oder kleiner als der vierte Schwellenwert Th4 ist (NEIN im Schritt S112) der Auslöschkoeffizientenaktualisierer 26, dass die Randgröße Φ etwas größer als die Zielrandgröße oder nahe bei der Zielrandgröße ist. Somit setzt der Auslöschkoeffizientenaktualisierer 26 dem vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert, berechnet durch Subtraktion des kleinsten Aktualisierungsvariablenwerts δS vom vorhergehenden Wert des Auslöschkoeffizienten β im Schritt S94 oder behält den vorherigen Wert des Auslöschkoeffizienten β als neuen Wert bei. Dieser Ablauf im Schritt S114 aktualisiert den vorherigen Wert des Auslöschkoeffizienten β auf einen neuen Wert. Nach dem Ablauf von Schritt S114 verlässt der Auslöschkoeffizientenaktualisierer 26 den Vorgang des Auslöschkoeffizientenfestsetzens(-aktualisierens).
Das heißt, es sei angenommen, dass das Luminanzoriginalbild (momentaner Rahmen) F(t) von dem aufgenommenen Originalbild als ein sich bewegendes Bild getrennt wird, sodass ein momentanes partikelbeeinflusstes Bild Al(t) basierend auf dem Luminanzoriginalbild von dem partikelbeeinflussten Modellanwender 25 erzeugt wird.
Wenn hierbei bestimmt wird, dass das Luminanzoriginalbild F(t) von Partikeln in der Atmosphäre wesentlich beeinflusst wird, da die Dichte der Partikel in der Atmosphäre zugenommen hat (NEIN im Schritt S40), jedoch die Randgröße Φ des momentanen partikelbeeinflussten Bilds Al(t) ausreichend klein ist (JA im Schritt S70) aktualisiert der Auslöschkoeffizientenaktualisierer 26 den Auslöschkoeffizienten β durch dessen Inkrementierung um einen der Aktualisierungsvariablenwerte δL, δM und δS (siehe Schritte S80 und S90 bis S94). Der Betreffende der Aktualisierungsvariablenwerte δL, δM und δS wird gewählt, sodass der Auslöschkoeffizient β sich an einen Wert annähert, der für die momentanen Wetterbedingungen geeignet ist.
Somit erzeugt der partikelbeeinflusste Modellanwender 25 ein nächstes partikelbeeinflusstes Bild Al(t + 1) basierend auf dem aktualisierten Wert des Auslöschkoeffizienten β und einem nächsten Rahmen F(t + 1). Da der aktualisierte Wert des Auslöschkoeffizienten β für das nächste partikelbeeinflusste Bild Al(t + 1) größer als der Wert des Auslöschkoeffizienten β für das momentane partikelbeeinflusste Bild Al(t) ist, ist es möglich, die Randgröße Φ des nächsten partikelbeeinflussten Bilds Al(t + 1) zu erhöhen.
Wenn im Gegensatz hierzu bestimmt wird, dass das Luminanzoriginalbild F(t) nur geringfügig durch Partikel in der Atmosphäre auf Grund einer Abnahme der Partikeldichte in der Atmosphäre beeinflusst wird (JA im Schritt S40) oder dass die Randgröße Φ des momentanen partikelbeeinflussten Bilds (Al(t)) ausreichend groß ist (NEIN im Schritt 70), aktualisiert der Auslöschkoeffizientenaktualisierer 26 den Auslöschkoeffizienten β durch dessen Dekrementierung um einen der Aktualisierungsvariblenwerte δL, δM und δS (siehe Schritte S50, S60 bis S64 oder S100, S111 bis S114). Der betreffende der Aktualisierungsvariblenwerte δL, δM und δS wird gewählt, damit der Auslöschkoeffizient β sich einem Wert annähert, der für den momentanen Wetterzustand geeignet ist.
Auf ähnliche Weise sei angenommen, dass ein Luminanzoriginalbild (momentaner Rahmen) F1(t) von einem aufgenommenen Originalbild als ein Standbild abgetrennt wird, sodass ein momentanes oder vorliegendes partikelbeeinflusstes Bild Al1(t) basierend auf dem Luminanzoriginalbild von dem partikelbeeinflussten Modellanwender 25 erzeugt wird.
Wenn hierbei bestimmt wird, dass das Luminanzoriginalbild F1(t) erheblich durch Partikel in der Atmosphäre auf Grund eines Anstiegs der Partikeldichte in der Atmosphäre beeinflusst ist (NEIN im Schritt S40), jedoch die Randgröße Φ des momentanen partikelbeeinflussten Bilds Al1(t) ausreichend klein ist (JA im Schritt S70), aktualisiert der Auslöschkoeffizientenaktualisierer 26 den Auslöschkoeffizienten β durch dessen Inkrementierung um einender Aktualisierungsvariablenwerte δL, δM und δS (siehe Schritte S80 und S90 bis S94). Der Betreffende der Aktualisierungsvariablenwerte δL, δM und δS wird so gewählt, dass der Auslöschkoeffizient β sich einem Wert annähert, der für die vorliegende Wetterbedingung geeignet ist.
Somit erzeugt der partikelbeeinflusste Modellanwender 25 ein nächstes Partikelbeeinflusstes Bild Al1(t) basierend auf dem aktualisierten Wert des Auslöschkoeffizienten β und des momentanen partikelbeeinflussten Bilds Al1(t) als nächsten Rahmen F1(t + 1). Da der aktualisierte Wert des Auslöschkoeffizienten β für das nächste partikelbeeinflusste Bild Al1(t + 1) größer als der Wert des Auslöschkoeffizienten β für das momentane partikelbeeinflusste Bild Al1(t) ist, ist es möglich, die Randgröße Φ des nächsten partikelbeeinflussten Bildes Al1(t + 1) zu erhöhen.
Wenn im Gegensatz hierzu bestimmt wird, dass das Luminanzoriginalbild F1(t) nur geringfügig durch Partikel in der Atmosphäre auf Grund einer Abnahme der Partikeldichte in der Atmosphäre beeinflusst ist (JA im Schritt S40) oder das die Randgröße Φ des momentanen partikelbeeinflussten Bilds Al1(t) ausreichend groß ist (NEIN im Schritt S70), aktualisiert der Auslöschkoeffizientenaktualisierer 26 den Auslöschkoeffizienten β durch dessen Dekrementierung um einen der Aktualisierungsvariablenwerte δL, δM und δS (siehe Schritte S50, S60 bis S64 oder S100, S111 bis S114). Derjenige der Aktualisierungsvariablenwerte δL, δM und δS wird gewählt, dass der Auslöschkoeffizient β sich einem Wert annähert, der für die momentane Wetterbedingung geeignet ist.
Das heißt, die Arbeitsweisen des Auslöschkoeffizientenaktualisierers 26 ändern den Auslöschkoeffizienten β und die Randgröße Φ auf geeignete Weise, um Wetteränderungen um das Fahrzeug herum zu folgen.
Es sei festzuhalten, dass der Auslöschkoeffizientenaktualisierer 26 gemäß dieser Ausführungsform die ersten bis vierten Schwellenwerte Th1 bis Th4 verwendet und einen der Aktualisierungsvariablenwerte δL, δM und δS auswählt, um den Auslöschkoeffizienten β gemäß dem Ergebnis eines Vergleichs zu aktualisieren zwischen: Randgröße ψ und erstem Schwellenwert Th1, Randgröße Φ und zweitem Schwellenwert Th2, jedem der dritten und vierten Schwellenwerte Th3 und Th4 und der Differenz δ der Randgröße ψ oder Φ zum ersten oder zweiten Schwellenwert Th1 oder Th2; und jedem der dritten und vierten Schwellenwerte Th3 und Th4 und die Differenz Δ des zweiten Schwellenwerts Th2 zur Randgröße Φ.
Als eine Abwandlung kann der Auslöschkoeffizientenaktualisierer 26 fünf oder mehr Schwellenwerte verwenden und kann eine von vier oder mehr Aktualisierungsvariablenwerte einschließlich der ersten und zweiten Schwellenwert Th1 oder Th2 wählen, um den Auslöschkoeffizienten β gemäß des Vergleichsergebnisses zu aktualisieren zwischen: wenigstens einem der fünf oder mehr Schwellenwerte und wenigstens einer von Randgröße ψ, Randgröße Φ und Differenz Δ der Randgröße zu dem ersten oder zweiten Schwellenwert Th1 oder Th2.
Diese Abwandlung erlaubt, dass der Auslöschkoeffizienten β und die Randgröße Φ schneller Wetteränderungen um das Fahrzeug herum folgen.
Der Auslöschkoeffizientenaktualisierer 26 gemäß dieser Ausführungsform kann nur einen Schwellenwert verwenden, den Auslöschkoeffizienten β um einen bestimmten Schritt inkrementieren, wenn die Randgröße Φ größer als der nur eine Schwellenwert ist und den Auslöschkoeffizienten β um einen festgesetzten Schritt dekrementieren, wenn die Randgröße Φ kleiner als der nur eine Schwellenwert ist.
Der Pegelkorrigierer 27 nimmt das Bild, bei dem ein partikelbeeinflusstes Modell angewendet wird von dem partikelbeeinflussten Modellanwender 25 und erweitert oder verengt die Verteilung der Luminanzpegel der Pixel des partikelbeeinflussten Bildes innerhalb eines Bereichs, der auf der Anzeigeeinheit 40 dargestellt werden kann.
9A zeigt ein Beispiel eines partikelbeeinflussten Bilds vor der Pegelkorrektur und 9B zeigt ein Beispiel des partikelbeeinflussten Bilds nach der Pegelkorrektur. 9C zeigt das Histogramm der Luminanzpegel des partikelbeeinflussten Bilds von 9A und 9D zeigt das Histogramm der Luminanzpegel des partikelbeeinflussten Bilds von 9B.
Bezug nehmend auf 9C, so berechnet der Pegelkorrigierer 27 das Histogramm der Luminanzpegel des partikelbeeinflussten Bilds von dem partikelbeeinflussten Modellanwender 25 und beseitigt die oberen 5 Prozent und die unteren 5 Prozent der Luminanzpegel in dem partikelbeeinflussten Bild. Nachfolgend erweitert gemäß 9D der Pegelkorrigierer 27 das Histogramm der Luminanzpegel des partikelbeeinflussten Bilds, sodass das Histogramm der Luminanzpegel des partikelbeeinflussten Bilds in Übereinstimmung mit dem Grauabstufungsbereich der Anzeigeeinheit 40 ist. Danach gibt der Pegelkorrigierer 27 an die Bildzusammensetzungseinheit 28 das partikelbeeinflusste Bild aus, dessen Luminanzpegel entsprechend korrigiert wurden.
Es sei festzuhalten, das der Pegelkorrigierer 27 die oberen 3 Prozent und die unteren 3 Prozent der Luminanzpegel des partikelbeeinflussten Bilds beseitigen kann oder das oberste Prozent und unterste Prozent der Luminanzpegel des partikelbeeinflussten Bilds. Insgesamt kann der Prozentsatz der Luminanzpegel des partikelbeeinflussten Bildes der zu beseitigen ist, so groß wie Ausreißer gemacht werden kann, die in einem Originalbild enthalten sind oder durch die Arbeitsweisen des partikelbeeinflussten Modellanwenders 25 erzeugt werden.
Die Bildzusammensetzeinheit 28 kombiniert das Farbdifferenzoriginalbild, das vom Bildseparator 22 kommt, mit dem Bild, bei dem ein partikelbeeinflusstes Modell angewendet wurde und das von dem Pegelkorrigierer 27 kommt, um somit endgültig ein wiederhergestelltes Bild zu erzeugen. Die Bildzusammensetzeinheit 28 gibt das wiederhergestellte Bild an die Steuerung 60 aus.
Wie oben beschrieben vermag die Wiederherstellvorrichtung 20 gemäß dieser Ausführungsform
ein Luminanzoriginalbild, das von einem Originalbild kommt, welches von der Kamera 10 aufgenommen wurde, in eine Mehrzahl von lokalen Pixelblöcken zu unterteilen; und
direkt den Luminanzwert eines jeden Pixels eines jeden lokalen Pixelblocks in dem Luminanzoriginalbild auf der Grundlage des vereinfachten partikelbeeinflussten Luminanzmodells zu berechnen, das in Gleichung [3] angegeben ist.
Genauer gesagt, die Wiederherstellvorrichtung 20 gemäß dieser Ausführungsform berechnet direkt den Luminanzwert eines jeden Pixels in dem Luminanzsoriginalbild basierend auf dem vereinfachten partikelbeeinflussten Luminanzmodell gemäß Gleichung [3], um damit ein wiederhergestelltes Bild zu erzeugen, ohne dass Fluchtpunkte und Bewegungsvektoren mit berechnet werden müssen.
Somit bietet die Wiederherstellvorrichtung 20 den Vorteil der Erzeugung wiederhergestellter Bilder aus durch Wettereinflüssen verschlechterten Bildern (Originalbilder) die von der Kamera 10 aufgenommen werden, wobei die Rechenlast niedrig gehalten wird; in diesen wiederhergestellten Bildern sind Auswirkungen von Partikeln, beispielsweise Nebel, Dunst, Nieselregen, Sand und Regen in der Atmosphäre im Wesentlichen entfernt. Die Wiederherstellvorrichtung 20 bringt auch den Vorteil, dass eine Verschlechterung wiederhergestellter Bilder auf Grund der Rechengenauigkeit von Fluchtpunkten und Bewegungsvektoren verhindert sind.
Da weiterhin die Wiederherstellvorrichtung 20 keine Berechnung von Bewegungsvektoren benötigt, ist die Wiederherstellvorrichtung 20 in der Lage, wiederhergestellte Bilder aus durch Wetterverschlechtertenstandbildern (Originalbildern) zusätzlich zu sich bewegenden Bildern zu erzeugen.
Um ein momentanes Bild, bei dem ein partikelbelastetes Modell angewendet wird, zu erzeugen, verwendet die Wiederherstellvorrichtung 20 gemäß dieser Ausführungsform die durchschnittliche Helligkeit aller Pixel in jedem der örtlichen oder lokalen Pixelblöcke als Intensitätspegel A des Streulichts und verwendet den Auslöschkoeffizienten β, der basierend auf dem momentanen Originalbild (Luminanzoriginalbild) und eines vorherigen partikelbeeinflussten Bildes bestimmt wurde.
Insbesondere setzt (aktualisiert) die Wiederherstellvorrichtung 20 den Auslöschkoeffizienten β basierend auf einem momentan vorliegendem Originalbild (Luminanzoriginalbild) und einem vorherigen partikelbeeinflussten Bild, um somit ein momentanes partikelbeeinflusstes Bild basierend auf dem bestimmten Auslöschkoeffizienten β zu erzeugen. Damit ist es möglich, partikelbeeinflusste Bilder zu erzeugen, welche jeweils an einen entsprechenden Wert des Auslöschkoeffizienten β angepasst sind (diesen erfüllen) mit anderen Worten an einen entsprechenden Wert der Konzentration von Partikeln in der Atmosphäre.
Die Wiederherstellvorrichtung 20 verwendet die ersten bis vierten Schwellenwerte Th1 bis Th4 und wählt einen der Aktualisierungsvariablenwerte δL, δM und δS gemäß entweder der Randgröße ψ des Luminanzoriginalbilds (Originalbilds) oder der Randgröße Φ eines partikelbeeinflussten Bilds, um damit den Auslöschkoeffizienten β basierend auf dem einen ausgewählten Aktualisierungsvariablenwert δL, δM oder δS zu aktualisieren.
Somit ändert die Wiederherstellvorrichtung 20 den Wert der Aktualisierungsvariablen (Inkrementierend/dekrementierend) abhängig von entweder der Randgröße ψ des Luminanzoriginalbilds (Originalbilds) oder der Randgröße Φ des partikelbeeinflussten Bilds. Diesen macht es möglich, die nachfolgende Fähigkeit wiederhergestellter Bilder mit Blick auf Wetteränderung um das Fahrzeug herum (Wiederherstellvorrichtung 20) zu verbessern.
Die Wiederherstellvorrichtung 20 gemäß dieser Ausführungsform glättet räumlich ein Streulichtbild in Reihenrichtung (horizontal) und Spaltenrichtung (vertikal) unter Verwendung eines bekannten gleitenden Durchschnitts. Insbesondere führt die Wiederherstellvorrichtung 20 des ersten Streulichtbilds Pixelblock für Pixelblock und die zweite Glättung des Streulichtbilds Pixel für Pixel durch. Dies mindert eine Diskontinuität in der Helligkeit zwischen benachbarten 3×3 Pixelblöcken in einem partikelbeeinflussten Bild basierend auf dem räumlich geglätteten Streulichtbild.
Die Wiederherstellvorrichtung 20 gemäß dieser Ausführungsform berechnet das Histogramm der Luminanzpegel eines partikelbeeinflussten Bilds von dem partikelbeeinflussten Modellanwender 25 und beseitigt die oberen 5 und die unteren 5 Prozent der Luminanzpegel des partikelbeeinflussten Bilds. Zusätzlich erweitert die Wiederherstellvorrichtung 20 das Histogramm der Luminanzpegel des partikelbeeinflussten Bilds, sodass das Histogramm der Luminanzpegel des partikelbeeinflussten Bilds in Übereinstimmung mit dem Graustufenbereich der Anzeigeeinheit 40 ist.
Somit ist es möglich, die Betrachtbarkeit eines wiederhergestellten Bilds basierend auf dem partikelbeeinflussten Bild, dessen Histogramm korrigiert wurde, zu erhöhen.
Die Steuerung 60 des Fahrerunterstützungssystems 1 stellt auf der Anzeigeeinheit 40 wiederhergestellte Bilder dar, die von der Wiederherstellvorrichtung 20 ausgegeben werden, wenn das Signal empfangen wird, das den Ein-Zustand von dem Anzeigeschalter 30 anzeigt und zeigt auf der Anzeigeeinheit 40 von der Kamera 10 ausgegebene Originalbilder, wenn das Signal von dem Anzeigeschalter 30 empfangen wird, welches den Zustand AUS anzeigt. Damit ist es möglich, die Sichtverhältnisse für den Fahrer abhängig von der Partikelkonzentration in der Atmosphäre effektiv zu unterstützen.
Wenn ein Signal von dem Nebelscheinwerferschalter 35 empfangen wird, welches den Automatiklichtsteuermodus anzeigt, steuert die Steuerung 60 automatisch das Ein- und Ausschalten der Nebelscheinwerfer 50. Genauer gesagt die Steuerung 60 schaltet die Nebelscheinwerfer 50 automatisch ein, wenn bestimmt wird, dass der Auslöschkoeffiziente β höher als der festegesetzte Schwellenwert ist und schaltet automatisch den Nebelscheinwerfer 50 aus, wenn automatisch bestimmt wird, dass der Auslöschkoeffiziente β gleich oder kleiner als der Schwellenwert ist. Damit ist es möglich, effektiv die Sichtverhältnisse für den Fahrer abhängig von der Partikelkonzentration in der Atmosphäre zu unterstützen.
10A zeigt ein Beispiel des Originalbilds, das von der Kamera 10 bei Nebel aufgenommen wird und 10B zeigt ein Beispiel des letztendlich wiederhergestellten Bilds, das auf dem Originalbild von 10A basiert.
Wie durch Vergleich des Originalbilds gemäß 10A mit dem wiederhergestellten Bild gemäß 10B zusehen ist, sind Kontrast und Randgröße der Fahrspuren in 10B erheblich gegenüber den Sichtverhältnissen bei 10A verbessert, was zu einer Verbesserung der Sichtverhältnisse für den Fahrer führt.
11A zeigt ein Beispiel eines von der der Kamera 10 bei Nieselregen aufgenommenen Originalbilds und 11B zeigt ein Beispiel des letztendlich wiederhergestellten Bilds, dass auf dem Originalbild von 11A basiert.
Wie aus dem Vergleich des Originalbilds von 11A mit dem wiederhergestellten Bild gemäß 11B hervorgeht, sind Kontrast- und Randgröße von vorausfahrendem Fahrzeug und Fahrspuren in 11B deutlich gegenüber dem Originalbild von 11A verbessert, was zu besseren Sichtverhältnissen für den Fahrer führt.
Das Fahrerunterstützungssystem 1 und die Wiederherstellvorrichtung 20 gemäß der vorliegenden Erfindung sind nicht auf die Ausgestaltungen der beschriebenen Ausführungsform beschränkt, sondern eine Vielzahl von Modifikationen und Abwandlungen kann im Rahmen der vorliegenden Erfindung gemacht werden.
Bei dem Fahrerunterstützungssystem 1 gemäß der vorliegenden Ausführungsform liegt die Kamera 10 in einer bestimmten Position der Fahrzeugkarosserie; die bestimmte Position erlaubt der Kamera, einen Bereich vorderhalb des Fahrzeugs aufzunehmen, jedoch ist die vorliegende Erfindung nicht hierauf beschränkt.
Insbesondere kann die Kamera 10 auch an einer anderen Position der Fahrzeugkarosserie angeordnet werden, wobei ihm diese Position erlaubt, dass die Kamera 10 den Bereich hinterhalb des Fahrzeugs aufnimmt.
Die als Fahrerunterstützungssystem 1 gemäß der Ausführungsform verwendet die Kamera 10, welche sich bewegende Bilder und Standbilder aufnehmen kann, jedoch kann die vorliegende Erfindung auch eine Kamera verwenden, die nur entweder sich bewegende Bilder (Video, Filme) oder Standbilder aufnehmen kann.
Da das Fahrerunterstützungssystem 1 gemäß der Ausführungsform die Kamera 10 verwendet, um Farbbilder (sich bewegende Bilder und Standbilder) aufzunehmen, benötigt die Wiederherstellvorrichtung 20 den Bildseparator 22 und die Bildzusammensetzeinheit 28. Wenn das Fahrerunterstützungssystem 1 eine Kamera 10 verwendet, die Graustufenbilder aufnehmen kann (sich bewegende Bilder und Standbilder), können der Bildseparator 22 und die Bildzusammensetzeinheit 28 in der Wiederherstellvorrichtung 20 weggelassen werden.
Das Fahrerunterstützungssystem 1 gemäß der Ausführungsform kann die Sichtverhältnisse für den Fahrer verbessern, indem auf der Anzeigeeinheit 40 ein wiederhergestelltes Bild (als ein Bild mit höherem Informationsgehalt) dargestellt wird, das von der Wiederherstellvorrichtung 20 erzeugt wird und/oder in dem automatisch die Nebelscheinwerfer 50 ein- und ausgeschaltet werden, jedoch ist die vorliegende Erfindung nicht auf derartige Fahrerunterstützungsmittel beschränkt.
Das Fahrerunterstützungssystem 1 gemäß einer ersten Abwandlung kann basierend auf wiederhergestellten Bildern die von der Wiederherstellvorrichtung 20 erzeugt werden, Fahrspuren auf der Straße oder Fahrbahn erkennen, auf der sich das Fahrzeug bewegt. Mit anderen Worten, das Fahrerunterstützungssystem 1 kann basierend auf den von der Wiederherstellvorrichtung 20 erzeugten wiederhergestellten Bildern die Form oder den Verlauf der Fahrbahn erkennen, auf der sich das Fahrzeug bewegt. Das Fahrerunterstützungssystem 1 gemäß der ersten Abwandlung kann basierend auf den erkannten Fahrspuren das Fahren des Fahrzeugs durch den Fahrer beziehungsweise für den Fahrer unterstützen, indem beispielsweise der Lenkwinkel des Lenkrads und/oder die Fahrgeschwindigkeit des Fahrzeugs eingestellt (beschränkt) werden.
Insbesondere ist das Fahrerunterstützungssystem 1 gemäß der ersten Abwandlung mit Sensoren 70 und Stellgliedern 80 (1) versehen. Die Sensoren 70 können Signale ausgeben, welche einen vom Fahrer erzeugten Lenkwinkel am Lenkrad und die Geschwindigkeit des Fahrzeugs angeben. Die Stellglieder 80 dienen zur Einstellung des Lenkwinkels vom Fahrzeug und zur Steuerung der Fahrzeuggeschwindigkeit.
In der ersten Abwandlung enthält die Bildwiederherstellvorrichtung 20 weiterhin einen Randbildgenerator 29 (2), um basierend auf dem wiederhergestellten Bild von der Bildzusammensetzeinheit 28 ein Randbild mit verbesserten Rändern in dem wiederhergestellten Bild zu erzeugen. Die Fahrerunterstützungssteuerfunktion 60b gemäß der ersten Abwandlung kann die Fahrspuren auf der Fahrbahn, wo sich das Fahrzeug bewegt, gemäß dem Randbild erkennen.
Die Fahrerunterstützungssteuerfunktion 60b gemäß der ersten Abwandlung vermag die vom Fahrer eingegebenen oder erzeugten Lenkwinken und die Geschwindigkeit des Fahrzeugs anhand der Signale von den Sensoren 70 zu überwachen und kann die Stellglieder 80 veranlassen, Lenkbewegungen durch den Fahrer zu unterstützen und/oder die Fahrzeuggeschwindigkeit zu regeln, und zwar anhand der erkannten Fahrspuren.
Das Fahrerunterstützungssystem 1 gemäß der zweiten Abwandlung kann basierend auf den wiederhergestellten Bildern von der Wiederherstellvorrichtung 20 wenigstens einen Fußgänger vorderhalb des Fahrzeugs erkennen und kann anhand der Erkennung dieses wenigstens einen Fußgängers den Fahrer beim Fahren des Fahrzeugs unterstützen, indem beispielsweise an den Fahrer ein Alarm ausgegeben wird.
Insbesondere ist das Fahrerunterstützungssystem 1 gemäß der zweiten Abwandlung mit den Stellglieder 80 versehen, die einen Lautsprecher enthalten. Der Lautsprecher kann unter Steuerung durch die Steuerung 60 einen hörbaren Alarm ausgeben.
Bei der zweiten Abwandlung enthält die Wiederherstellvorrichtung 20 weiterhin den Randbildgenerator 29. Die Fahrerunterstützungssteuerfunktion 60b gemäß der zweiten Abwandlung kann dem wenigstens einen Fußgänger anhand eines Randbilds erkennen.
Die Fahrerunterstützungssteuerfunktion 60b gemäß der zweiten Abwandlung kann bestimmen, ob anhand des Randbilds wenigstens ein Fußgänger erkannt wurde und kann den Lautsprecher veranlassen, hörbar eine Warnung auszugeben, beispielsweise ”VORSICHT FUSSGÄNGER”.
10C zeigt ein Beispiel eines Randbilds basierend auf dem Originalbild von 10A und 10D zeigt ein Beispiel eines Randbilds basierend auf dem wiederhergestellten Bild gemäß 10B.
Man sieht durch Vergleich des Randbilds von 10C mit dem Randbild von 10D, dass die Randgröße (Liniendicke) des Randbilds basierend auf dem wiederhergestellten Bild größer als in dem Randbild basierend auf dem Originalbild ist, obgleich das Bild bei Nebel aufgenommen wurde. Die Genauigkeit bei der Erkennung von Fahrspuren und/oder Fußgängern ist damit wesentlich verbessert.
11C zeigt ein Beispiel eines Randbilds basieren auf dem Originalbild von 11A und 11D zeigt ein Beispiel eines Randbilds basierend auf dem wiederhergestellten Bild von 11B.
Man sieht durch Vergleich des Randbilds von 11C mit dem Randbild von 11D, dass die Randgröße des Randbilds basierend auf dem wiederhergestellten Bild größer als in dem Randbild basierend auf dem Originalbild ist, obgleich das Originalbild bei Nieselregen aufgenommen wurde. Die Genauigkeit bei der Erkennung von Fahrspuren und/oder Fußgängern ist damit verbessert.
Die Ausführungsform verwendet das vereinfachte partikelbeeinflusste Luminanzmodell, welches Effekte von Partikeln in der Atmosphäre erfasst, jedoch kann die vorliegende Erfindung auch ein partikelbeeinflusstes Luminanzmodell verwenden, welches beschrieben wird durch: die Intensität des Streulichts und die Partikelkonzentration in der Atmosphäre.
Obgleich beschrieben wurde, was im Moment als Ausführungsform und Abwandlungen der Erfindung angesehen wird, versteht sich, dass im Rahmen der vorliegenden Erfindung, wie er durch nachfolgenden Ansprüche und deren Äquivalente definiert ist, eine Vielzahl von Modifikationen möglich ist, welche nicht beschrieben wurden
In einer Wiederherstellvorrichtung unterteilt eine Schätzeinheit ein aufgenommenes Originalbild in eine Mehrzahl von örtlichen Pixelblöcken und schätzt einen Helligkeitswert von Streulicht in jedem aus der Mehrzahl von örtlichen Pixelblöcken. Eine Recheneinheit berechnet direkt aus einem partikelbeeinflussten Helligkeitsmodell einen Helligkeitswert eines jeden Pixels in jedem aus der Mehrzahl von örtlichen Pixelblöcken in dem Originalbild, um damit auf der Grundlage des Helligkeitswerts eines jeden Pixels in jedem aus der Mehrzahl von örtlichen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen. Das partikelbeeinflusste Helligkeitsmodell drückt eine intrinsische Helligkeit eines Ziels aus, welches von einer Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Helligkeitswert von Streulicht und einem Auslöschkoeffizienten. Der Auslöschkoeffizient stellt die Partikelkonzentration in der Atmosphäre dar.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009-142640 [0001]
JP 2008-310509 [0004]

Claims

Eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, welches als ein Originalbild von einer Bildaufnahmevorrichtung aufgenommen wird, wobei die Wiederherstellvorrichtung aufweist: eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von örtlichen Pixelblöcken zu unterteilen und einen Luminanzwert von Streulicht in jedem aus der Mehrzahl von örtlichen Pixelblöcken zu schätzen vermag; und eine Recheneinheit, welche aus einem partikelbeeinflussten Helligkeitsmodell einen Helligkeitswert eines jeden Pixels für jeden aus der Mehrzahl von örtlichen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um damit basierend auf dem Helligkeitswert eines jeden Pixels eines jeden aus der Mehrzahl von örtlichen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen, wobei das partikelbeeinflusste Helligkeitsmodell eine intrinsische Helligkeit eines Ziels ausdrückt, welches durch die Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Helligkeitswert des Streulichts und einem Auslöschkoeffizienten, wobei der Auslöschkoeffizient die Partikelkonzentration in der Atmosphäre wiedergibt.
Die Wiederherstellvorrichtung nach Anspruch 1, wobei das partikelbeeinflusste Helligkeitsmodell ein vereinfachtes partikelbeeinflusstes Helligkeitsmodell ist, welches den intrinsischen Helligkeitswert des von der Bildaufnahmevorrichtung beobachteten Ziels als eine Funktion zwischen dem Helligkeitswert des Streulichts und dem Auslöschkoeffizient ausdrückt, ohne dass Informationen betreffend eines Abstands zwischen der Bildaufnahmevorrichtung und dem Ziel der konstant ist, notwendig sind.
Die Wiederherstellvorrichtung nach Anspruch 1, wobei die Schätzeinheit eine durchschnittliche Helligkeit aller Pixel eines jeden der örtlichen Pixelblöcke in dem Originalbild als dem Helligkeitswert des Streulichts in einem entsprechenden aus der Mehrzahl der örtlichen Pixelblöcke zu berechnen vermag.
Die Wiederherstellvorrichtung nach Anspruch 1, wobei das Originalbild aufeinanderfolgende Rahmen enthält und die Recheneinheit in der Lage ist, den folgenden Prozess durchzuführen: Aktualisieren eines Werts des Auslöschkoeffizienten basierend auf einem der aufeinanderfolgenden Rahmen als momentanem Rahmen und dem wiederhergestellten Bild, erzeugt basierend auf einem Rahmen vor dem momentanen Rahmen; direktes Berechnen aus dem partikelbeeinflussten Helligkeitsmodell basierend auf dem Wert des Auslöschkoeffizienten des Helligkeitswerts eines jeden Pixels eines jeden aus der Mehrzahl von örtlichen Pixelblöcken in dem momentanen Rahmen, um damit basierend auf dem Helligkeitswert eines jeden Pixels in jedem der Mehrzahl von örtlichen Pixelblöcken das wiederhergestellte Bild des momentanen Rahmens zu erzeugen.
Die Wiederherstellvorrichtung nach Anspruch 4, wobei der momentane Rahmen das wiederhergestellte Bild ist, das basierend auf dem vorherigem Rahmen erzeugt wurde und die Recheneinheit dem Prozess eine festgesetzte Anzahl von Malen durchführt.
Die Wiederherstellvorrichtung nach Anspruch 4, wobei die Recheneinheit als die Aktualisierung den folgenden Prozess durchzuführen vermag: Berechnen einer Randgröße eines festgesetzten Bereichs in jedem von Originalbild und wiederhergestelltem Bild; Vergleichen wenigstens eines aus einer Mehrzahl von Schwellenwerten mit wenigstens einer der Randgrößen in dem festgesetzten Bereich in dem Originalbild und der Randgröße in dem festgesetzten Bereich im wiederhergestellten Bild; Wählen eines aus einer Mehrzahl von Aktualisierungsvariablenwerten gemäß einem Vergleichsergebnis des wenigsten einen aus der Mehrzahl von Schwellenwerten mit wenigstens entweder der Randgröße des festgesetzten Bereichs im Originalbild oder der Randgröße im festgesetzten Bereich des wiederhergestelltem Bilds; und Aktualisieren des Werts des Auslöschkoeffizienten basierend auf dem Ausgewählten aus der Mehrzahl von Aktualisierungsvariablenwerten.
Die Wiederherstellvorrichtung nach Anspruch 3, wobei die Schätzeinheit in der Lage ist, um: ein Streulichtbild zu erzeugen, wobei das Streulichtbild die Mehrzahl von örtlichen Pixelblöcken aufweist, wobei jedes Pixel in jedem aus der Mehrzahl von örtlichen Pixelblöcken den Helligkeitswert des Streulicht in einem entsprechenden aus der Mehrzahl der örtlichen Pixelblöcke hat; und räumlich das Streulicht zu glätten, um damit als Helligkeitswert des Streulichts das räumlich geglättete Streulichtbild an die Recheneinheit auszugeben.
Die Wiederherstellvorrichtung nach Anspruch 1, wobei die Recheneinheit aufweist: eine Anzeigeeinheit mit einem Graustufenbereich; und einen Korrigierer, der ein Histogramm der Helligkeitswerte der Pixel der Mehrzahl von örtlichen Pixelblöcken so zu korrigieren vermag, dass das Histogramm in Übereinstimmung mit dem Graustufenbereich der Anzeigeeinheit ist.
Die Wiederherstellvorrichtung nach Anspruch 1, weiterhin aufweisend einen Randbildgenerator, der basierend auf dem wiederhergestellten Bild ein Randbild zu erzeugen vermag, welches in dem wiederhergestellten Bild enthalten ist und hervorgehobene Ränder hat.
Ein Fahrerunterstützungssystem zum Einbau in ein Fahrzeug, wobei das Fahrerunterstützungssystem aufweist: eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, welches als ein Originalbild von einer in dem Fahrzeug angeordneten Bildaufnahmevorrichtung aufgenommen wird, wobei die Wiederherstellvorrichtung aufweist: eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von örtlichen Pixelblöcken zu unterteilen und einen Luminanzwert von Streulicht in jedem aus der Mehrzahl von örtlichen Pixelblöcken zu schätzen vermag; eine Recheneinheit, welche aus einem partikelbeeinflussten Helligkeitsmodell einen Helligkeitswert eines jeden Pixels für jeden aus der Mehrzahl von örtlichen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um damit basierend auf dem Helligkeitswert eines jeden Pixels eines jeden aus der Mehrzahl von örtlichen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen, wobei das partikelbeeinflusste Helligkeitsmodell eine intrinsische Helligkeit eines Ziels ausdrückt, welches durch die Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Helligkeitswert des Streulichts und einem Auslöschkoeffizienten, wobei der Auslöschkoeffizient die Partikelkonzentration in der Atmosphäre wiedergibt; und eine Anzeigeeinheit, welche das von der Wiederherstelleinheit wiederhergestellte Bild anzuzeigen vermag.
Eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, welches als ein Originalbild von einer in einer bestimmten Position in dem Fahrzeug angeordneten Bildaufnahmevorrichtung aufgenommen wird, wobei die Wiederherstellvorrichtung aufweist: eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von örtlichen Pixelblöcken zu unterteilen und einen Luminanzwert von Streulicht in jedem aus der Mehrzahl von örtlichen Pixelblöcken zu schätzen vermag; eine Recheneinheit, welche aus einem partikelbeeinflussten Helligkeitsmodell einen Helligkeitswert eines jeden Pixels für jeden aus der Mehrzahl von örtlichen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um damit basierend auf dem Helligkeitswert eines jeden Pixels eines jeden aus der Mehrzahl von örtlichen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen, wobei das partikelbeeinflusste Helligkeitsmodell eine intrinsische Helligkeit eines Ziels ausdrückt, welches durch die Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Helligkeitswert des Streulichts und einem Auslöschkoeffizienten, wobei der Auslöschkoeffizient die Partikelkonzentration in der Atmosphäre wiedergibt; und eine Steuerung, welche: wenigstens entweder einen Fußgänger um das Fahrzeug herum oder Fahrspuren auf einer Fahrbahn, auf der sich das Fahrzeug bewegt, zu erkennen vermag; und ein Fahren des Fahrzeugs basierend auf wenigstens entweder dem Fußgänger um das Fahrzeug herum oder die Fahrspur zu steuern vermag.
Ein Fahrerunterstützungssystem, welches in ein Fahrzeug eingebaut ist, wobei das Fahrerunterstützungssystem aufweist: eine Bildaufnahmevorrichtung, die in einer bestimmten Position des Fahrzeugs eingebaut ist: eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, welches als ein Originalbild von der Bildaufnahmevorrichtung aufgenommen wird, wobei die Wiederherstellvorrichtung aufweist: eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von örtlichen Pixelblöcken zu unterteilen und einen Luminanzwert von Streulicht in jedem aus der Mehrzahl von örtlichen Pixelblöcken zu schätzen vermag; eine Recheneinheit, welche aus einem partikelbeeinflussten Helligkeitsmodell einen Helligkeitswert eines jeden Pixels für jeden aus der Mehrzahl von örtlichen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um damit basierend auf dem Helligkeitswert eines jeden Pixels eines jeden aus der Mehrzahl von örtlichen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen, wobei das partikelbeeinflusste Helligkeitsmodell eine intrinsische Helligkeit eines Ziels ausdrückt, welches durch die Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Helligkeitswert des Streulichts und einem Auslöschkoeffizienten, wobei der Auslöschkoeffizient die Partikelkonzentration in der Atmosphäre wiedergibt; und einen Randbildgenerator, um basierend auf dem wiederhergestellten Bild ein Randbild mit verstärkten Rändern zu erzeugen, das in dem wiederhergestellten Bild enthalten ist; und eine Steuerung, welche: wenigstens entweder einen Fußgänger um das Fahrzeug herum oder Fahrspuren auf einer Fahrbahn, auf der sich das Fahrzeug bewegt, zu erkennen vermag; und ein Fahren des Fahrzeugs basierend auf wenigstens entweder dem Fußgänger um das Fahrzeug herum oder die Fahrspur zu steuern vermag.
Ein Fahrerunterstützungssystem, welches in ein Fahrzeug eingebaut ist, wobei das Fahrerunterstützungssystem aufweist: eine Bildaufnahmevorrichtung, die in einer bestimmten Position des Fahrzeugs eingebaut ist: eine Wiederherstellvorrichtung für ein durch Wettereinflüsse verschlechtertes Bild, welches als ein Originalbild bei einer Bildaufnahmevorrichtung aufgenommen wird, wobei die Wiederherstellvorrichtung aufweist: eine Schätzeinheit, welche das Originalbild in eine Mehrzahl von örtlichen Pixelblöcken zu unterteilen und einen Luminanzwert von Streulicht in jedem aus der Mehrzahl von örtlichen Pixelblöcken zu schätzen vermag; und eine Recheneinheit, welche aus einem partikelbeeinflussten Helligkeitsmodell einen Helligkeitswert eines jeden Pixels für jeden aus der Mehrzahl von örtlichen Pixelblöcken in dem Originalbild direkt zu berechnen vermag, um damit basierend auf dem Helligkeitswert eines jeden Pixels eines jeden aus der Mehrzahl von örtlichen Pixelblöcken ein wiederhergestelltes Bild des Originalbilds zu erzeugen, wobei das partikelbeeinflusste Helligkeitsmodell eine intrinsische Helligkeit eines Ziels ausdrückt, welches durch die Bildaufnahmevorrichtung beobachtet wird, und zwar als eine Funktion zwischen dem Helligkeitswert des Streulichts und einem Auslöschkoeffizienten, wobei der Auslöschkoeffizient die Partikelkonzentration in der Atmosphäre wiedergibt, wobei das Originalbild aufeinander folgende Rahmen enthält und die Recheneinheit in der Lage ist, durchzuführen: Aktualisieren eines Werts des Auslöschkoeffizienten basierend auf einem der aufeinander folgenden Rahmen als momentaner Rahmen und dem wiederhergestellten Bild, das basierend auf einem Rahmen vor dem momentanen Rahmen erzeugt wurde; und direktes Berechnen, aus dem partikelbeeinflussten Luminanzmodell basierend auf dem Wert des Auslöschkoeffizienten, des Luminanzpegels eines jeden Pixels eines jeden aus der Mehrzahl von lokalen Pixelblöcken im momentanen Rahmen, um damit basierend auf dem Luminanzpegel eines jeden Pixels aus der Mehrzahl von lokalen Pixelblöcken das wiederhergestellte Bild des momentanen Rahmens zu erzeugen; einen in das Fahrzeug eingebauten Nebelscheinwerfer; und eine Steuerung, welche das Ein- und Ausschalten des Nebelscheinwerfers abhängig von einer Änderung des Werts des Auslöschkoeffizienten zu steuern vermag.