-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung und einem Verfahren nach Gattung der unabhängigen Ansprüche.
-
Zur Erkennung von Sichtbehinderungen in einem Fahrzeug, die insbesondere durch Nebel hervorgerufen werden, existieren im Stand der Technik einige Verfahren, um Nebel zu erkennen.
-
Aus der
EP 1498721 A1 ist eine Vorrichtung bekannt, die mittels einer Kamera in einem Fahrzeug in Fahrtrichtung Bilder aufnimmt. Ein Bild dieser Kamera wird dahingehend ausgewertet, ob es wenigstens ein Pixel gibt, das einen Helligkeitswert unterschreitet, d. h. dunkel ist. Durch die Streulichteffekte bei vorhandenem Nebel geht man davon aus, dass alle Pixel bei Vorhandensein von Nebel eine Mindesthelligkeit aufweisen und somit einen Rückschluss auf Nebel zulassen.
-
Bekannt sind weiterhin Kamerasysteme zum Einsatz im Fahrzeug zur Nebelerkennung, die ein aktives Element (z. B. Infrarot-LED) benötigen, z. B. die
EP 2020595 A1 .
-
Ein weiteres Verfahren ist die Nebeldetektion basierend auf der Erkennung von Objekten und gegebenenfalls deren Entfernung. Die
EP 1826648 A2 vergleicht die Kantenstärke von erkannten Objekten mit denen in einer Datenbank und kann daraus die Sichtverhältnisse bzw. Regen oder Nebel ableiten. Dies funktioniert nur, solange Objekte vorhanden sind und diese in der Datenbank beschrieben.
-
Ein detaillierteres Verfahren beschreibt die
EP 2056093 A1 , bei dem die Grauwertverteilung in einem bestimmten Bereich des Bildes, insbesondere am Horizont, betrachtet werden. Dieses Verfahren kann jedoch auch bei anderen Witterungsverhältnissen, die den gleichen physikalischen Effekt im Bild zur Folge haben, zur Fehldetektion führen, ein mögliches Beispiel hierfür wäre eine Schneedecke auf der Landschaft und Straße.
-
Des Weiteren gibt es umfangreiche Nicht-Patentliteratur, die sich auch dem Thema Nebelerkennung annimmt.
-
Jedoch scheint es bisher keine Nebeldetektion mittels bildgebenden Verfahren (Video) zu geben, ohne dass der Abstand (Sichtweite) bestimmt wird, insbesondere der Abstand zu anderen Objekten oder zumindest eine Hypothese über einen solchen.
-
Offenbarung der Erfindung
-
Das erfindungsgemäße Verfahren (Vorrichtung) mit den Merkmalen des unabhängigen Anspruchs hat demgegenüber den Vorteil, dass durch die Auswertung der spektralen Eigenschaften von Aerosolen ein Messverfahren möglich ist, das ohne aktive Beleuchtung, Bestimmung einer Entfernung oder Sichtweite oder spezielle Sensorik ausschließlich für die Aerosolerkennung auskommt. Die Beleuchtung kann passiv durch die Umgebungshelligkeit oder fremde Lichtquellen erfolgen.
-
Der zu Grunde liegende physikalische Effekt ist die erhöhte Absorption von Licht beim Durchdringen durch Aerosole, wo die Lichtstrahlen an den Partikel bzw. Molekülen (z. B. Wasser) absorbiert oder gebrochen werden. Diese Absorption und Dispersion ist jedoch wellenlängenabhängig, wie man beispielsweise daran erkennt, dass Nebel ein relativ kaltes Licht, d. h. hohe Farbtemperatur erzeugt. Durch Betrachtung der Farbanteile im Videobild kann dieser Effekt erkannt und daraufhin ausgewertet werden.
-
Vorteilhaft ist weiterhin, die diesem optischen Zusammenhang folgende Möglichkeit, Aerosole von anderen im Bild befindlichen Objekten oder Strukturen zu unterscheiden und weiterhin oder alternativ auch die Art und/oder die Dichte (Konzentration) des Aerosols zu bestimmen. Hiermit wird mittels eines durch ein bildgebendes Verfahren gewonnenen Bildes oder mehrerer Bilder das erfindungsgemäße Verfahren durchgeführt. Entweder liegen erfindungsgemäß wenigstens zwei Bilder mit unterschiedlicher Farbinformation vor, oder diese wird aus einem Bild ermittelt, beispielsweise mit bekannten farbextrahierenden Verfahren aus einem RGB-Bild oder beispielsweise bei einem mit einer R3I-Kamera gewonnenen Bild durch Maskierung der jeweiligen Rotpixel bzw. der Nicht-Rotpixel (Graupixel). Die Farbfilterung kann durch hardwaretechnische Maßnahmen (im Rahmen der Bildaufnahme) realisiert sein, wie beispielsweise einem entsprechenden Farbfilter vor dem Objektiv oder Teilen des Objektivs oder im Strahlengang oder durch eine Farbmaske über den Pixeln des Imagers. Eine Filterung kann weiterhin auch durch softwaretechnische (im Rahmen einer Bildbearbeitung) Maßnahmen realisiert werden, indem die gewünschten Farbkanäle oder Farbspektren aus einem Farbbild heraus extrahiert werden.
-
Das wenigstens eine auszuwertende Bild muss eine Szene aufnehmen, in der ein Aerosol erkannt werden kann, bzw. sichtbar ist und zwar derart, dass eine gewisse optische Tiefe gewährleistet ist, so dass Dispersions- und Absorptionseffekte mit ihren unterschiedlichen spektralen Eigenschaften in dem Maße zum Tragen kommen, dass sie sich in dem wenigstens einen Bild auswirken und messbar sind. So scheint eine Kameraausrichtung sinnvoller, die auf die Weite (z. B. des Horizonts/der Landschaft) ausgerichtet ist, anstatt z. B. auf den Boden, sofern zwischen der Kamera und dem Boden ein so geringer Abstand besteht, dass der Nebel nur unwesentlich sichtbar wäre. Das Verfahren eignet sich für die Anwendung in einem Kraftfahrzeug, in dem heutzutage für andere Fahrerassistenzfunktionen oftmals bereits eine Kamera eingebaut ist, die nun zusätzlich die erfindungsgemäße Aufgabe übernehmen kann, ohne dass für Hardware (wesentliche) zusätzliche Kosten entstehen.
-
Das wenigstens eine Bild soll nun derart gefiltert werden, dass am Ende wenigstens zwei (virtuelle) Bilder existieren, die unterschiedliche Farbinformationen beinhalten. Je nach optischen oder spektralen Eigenschaften der zu erkennenden Aerosole kann das zu filternde Farbband größer oder kleiner, gegebenenfalls auch auf eine einzelne Lichtfrequenz beschränkt sein. Das zweite (virtuelle) Bild muss in jedem Fall eine andere Farbinformation als das erste besitzen. Dementsprechend muss der Filter auch anders ausgebildet sein. Anstatt dessen kann auf die Verwendung eines zweiten Farbfilters auch verzichtet werden und gegebenenfalls sogar das ursprüngliche Bild mit aller Farbinformation (oder der Grauinformation) verwendet werden.
-
Falls die spektralen Unterscheidungsmerkmale des einen oder mehrerer Aerosole einer detaillierteren Farbspektroskopie bedürfen, so muss dieses Verfahren nicht zwangsläufig mit den beschriebenen zwei Bildern, bzw. nur zwei Farbfilterungen Anwendung finden, sondern kann entsprechend der Notwendigkeit und der Anzahl der zu analysierenden Farbbereiche vervielfacht werden. Aus diesen virtuellen Bildern, d. h. den Bildern nach der Farbfilterung, wird nun jeweils ein Farbparameter ermittelt, der der gleichen Art ist, aber die Eigenschaft hat, bei einem Aerosol, bzw. verschiedenen Aerosolen einen unterschiedlichen Wert bei der Extraktion aus dem jeweiligen Bild anzunehmen. Wenn möglich und geeignet, kann die Bestimmung des virtuellen Bildes auch entfallen, wenn sich der gewünschte Parameter auch ohne diesen Schritt ermitteln lässt, z. B. direkt aus dem Originalbild.
-
Die ermittelten Werte des Parameters werden in einer geeigneten Art und Weise miteinander verglichen, so dass es möglich ist, zu erkennen, ob, je nach Anwendungsfall, ein Aerosol überhaupt vorhanden ist, ein bestimmtes Aerosol vorhanden ist, welches Aerosol vorhanden ist und/oder welche Dichte (Konzentration) das Aerosol besitzt.
-
Vorteilhafter Weise kann, wenn Nebel bzw. ein Aerosol mit hoher Dispersion bzw. Rückstrahlung auftritt, eine Eigenblendung vermieden werden, die entstehen würde, wenn beispielsweise mit Fernlicht eine Nebelwand angeleuchtet wird und das reflektierende Licht den Fahrer blendet.
-
Vorteilhafter Weise kann mit dem erfindungsgemäßen Verfahren ein Aerosol genauer bestimmt werden und Fehlinterpretationen vermieden werden, wie sie bisher häufig vorkamen, wenn beispielsweise eine Schneedecke die Fahrbahn bedeckt, die Kamera diese aufnimmt und das Bild dann ähnlich aussieht wie die Sichtverhältnisse bei Nebel.
-
Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Verfahrens möglich.
-
Vorteilhaft kann das Verfahren für bestimmte Aerosole, z. B. Nebel, angewendet werden, indem die erste Farbfilterung einen Rotanteil im Bild bestimmt und eine zweite Farbfilterung nicht stattfindet, so dass hier der Grauanteil bestimmt wird. Der Rotfilter kann so ausgebildet sein, dass er nur für genau eine Wellenlänge im roten Bereich durchlässig ist, oder für ein ganzes Frequenzband, in dem sich zumindest ein Teil des roten Spektrums befindet. Das virtuelle Graubild mit dem Grauanteil kann je nach Vorrichtung direkt aus dem Ursprungsbild übernommen werden oder z. B. durch Löschung oder Mittelung der Farbinformation, falls ein Farbbild im Original vorliegt, ermittelt werden. Bei Vorrichtung wie beispielsweise einer R3I-Kamera kann dies durch Ausmaskieren der jeweiligen Pixel geschehen, wobei die eine Maske die roten Pixel filtert und die anderen ausblendet und die andere Maske die Graupixel filtert und die Rotpixel ausblendet, bzw. nicht vorhanden ist, da die Pixelsensoren den Grauwert direkt liefern.
-
Zusätzlich zu diesen beiden Farbfilterungen mögen noch weitere hier nicht erwähnte Filter- und Auswertemöglichkeiten hinzukommen. So wäre eine zusätzliche Blaufilterung denkbar, mittels der eine Plausibilisierung des Ergebnisses durchgeführt werden kann. So würde bei der Erkennung von Nebel der Rotanteil eine starke Filterung erfahren, da Nebel in diesem Frequenzbereich besonders stark absorbiert und hingegeben im Blaubereich entsprechend weniger absorbiert.
-
Vorteilhafter Weise wird als Parameter der mittlere Helligkeitswert der Pixel des Bildes gewählt. So kann die Lichtintensität (Helligkeit) zwischen dem auf die ein oder andere Weise farbgefilterten Bild bestimmt werden, um später damit den Vergleich durchzuführen. Da ein Aerosol üblicherweise als flächige diffuse Erscheinung auftritt und ein kontrastarmes Bild verursacht, wird der Mittelwert der Helligkeitswerte der Pixel gebildet. Dadurch wird die spektrale Intensitätsverteilung des Bildes mit dem vermeintlichen Aerosol ermittelt.
-
Alternativ kann als Parameter auch der mittlere Gradient der Pixel des Bildes gewählt werden. Der Gradient zweier Pixel bestimmt sich aus der Differenz ihrer Helligkeitswerte. Dieser Gradient wird nun gemittelt, um damit ein Maß zu erhalten, welches den Kontrast wiedergibt. Für Nebel typisch ist ein flacher Gradient. Ein hoher Gradient wäre ein Indiz dafür, dass sich in einer Teilfläche des Bildes ein angestrahltes Verkehrsschild o. ä. befindet. Das Vorhandensein solcher Objekte könnte zu einer fehlerhaften Nebeldetektion führen, sobald hohe Rotanteile (aufgrund deren Reflektionscharakteristik) in der Teilfläche vorhanden sind. Die Auswertung des Gradientenkriteriums verhindert dies dadurch, dass bei hohen Gradienten die Nebelmeldung unterdrückt wird. Die Gradientenbildung zwischen den Pixeln kann bekanntermaßen in eine oder zwei, gegebenenfalls auch mehrere Richtungen stattfinden (die dann z. B. gemittelt werden), um nicht nur den Kontrast in eine Richtung, sondern den Kontrast richtungsfrei bestimmen zu können.
-
Vorteilhafter Weise wird für dieses Verfahren eine verhältnismäßig geringe Rechenleistung benötigt, im Vergleich zu anderen Verfahren, die beispielsweise eine Objektbestimmung durchführen müssen oder eine Bildhistorie auswerten müssen.
-
Vorteilhafter Weise werden die wenigstens zwei Werte des Parameters durch die Bildung einer Differenz bewertet. Dadurch wird der beschriebene Vergleich der beiden Parameterwerte durchgeführt. Üblicherweise wird diese Differenz mit einem Schwellwert verglichen, bei dessen Über- bzw. Unterschreiten ein Aerosol erkannt oder nicht erkannt wird.
-
Die Differenz kann (gegebenenfalls ohne diskrete Schwellwertbetrachtung) auch ein Maß für die Dichte des Aerosols sein. Die Dichte (Konzentration) ist proportional zur Anzahl der Nebeltröpfchen pro Volumeneinheit.
-
Verschiedene Schwellwerte bzw. Wertebereiche der Differenz können eine Aussage über die Art des Aerosols und damit eine Klassifizierung liefern. Welche Schwellwerte, bzw. Grenzen, bzw. Zusammenhänge hierfür genau verwendet werden, hängt von den physikalischen Eigenschaften des jeweiligen Aerosols, das bestimmt werden soll, ab. Bei ausschließlicher Verwendung des Verfahrens bei Nacht, z. B. zur Verhinderung eines Aufblendens des Fernlichts bei Nebel, ist die Betrachtung der Differenz ausreichend.
-
Anstatt der Bildung einer Differenz ist auch die Bildung eines Quotienten aus den beiden Parameterwerten denkbar. Die Betrachtung des Quotienten hätte den Vorteil, dass ein Vergleich mit einem gegebenen Schwellwert auch bei unterschiedlichen Lichtverhältnissen (Tag/Nacht) erfolgen kann, da dieser eine Unabhängigkeit vom Helligkeitsbereich bewirkt, da das Helligkeitsniveau sich bei der Quotientenbildung quasi heraus kürzt. Der Quotient sagt somit aus, welchen Anteil einer Farbe im Graubild vorhanden ist.
-
Weiterhin kann auch die Varianz aus diesen Werten gebildet werden. Die Varianz kann als schnellere Bestimmung der Strukturiertheit des Bildes herangezogen werden. Sie ist definiert als das arithmetische Mittel der quadrierten Abstände einer Menge von Messwerten (hier: Pixel-Helligkeitswerte) zu ihrem Mittelwert. Es wäre somit sinnvoll, die Varianz der Helligkeitswerte der Pixel im Rotbild, sowie die Varianz der Pixel des Graubildes zu berechnen (bzw. die jedes gewünschten Farbkanals bei RGB). Wenn diese Werte größer als ein Schwellwert sind, so kann man eine strukturierte Szene annehmen, was ein Indiz dafür ist, dass es sich nicht um ein Aerosol handelt. Insbesondere ist hierbei die Varianz der Grauwerte zum Mittelwert ins Auge zu fassen, was der Frequenz im Bild entspricht.
-
Weiterhin kann ein Vergleich auch mittels einer Kombination der Grauwertverteilungsinformation durchgeführt werden. Es handelt sich um die Verteilung der Grau- bzw. Rotwerte (wenn man von einer Gauß'schen Verteilung ausgeht, so meint es die Varianz und den Mittelwert).
-
Für die Durchführung des Vergleiches gilt Analoges, wie oben am Beispiel der Differenz beschrieben.
-
Vorteilhafter Weise wird das Aerosol (bzw. das eventuell vorhandene Aerosol) mittels eines oder mehrerer Scheinwerfer angeleuchtet. Solche Lichtquellen besitzen ihre eigene spektrale Charakteristik, wodurch durch geschickte Wahl eines geeigneten Scheinwerfers aufgrund der ihm innewohnenden spektralen Charakteristik der bereits beschriebene physikalische Effekt zur Aerosolerkennung verstärkt wird und somit eine Erkennung erleichtert wird. Dies kann entweder passiv geschehen, indem lediglich ein geeigneter Scheinwerfer gewählt wird, oder aktiv, indem die spektrale Charakteristik des Scheinwerfers bei der Auswertung Berücksichtigung findet. Die spektrale Charakteristik des Scheinwerfers bezeichnet das Spektrum, das der Scheinwerfer aussendet, d. h. welche Wellenlängen in welchen Intensitäten. Die Berücksichtigung bei der Auswertung kann dadurch geschehen, dass z. B. Schwellwerte angepasst werden oder ein geeignetes Vergleichsverfahren gewählt wird, oder ein bestimmter Parameter bestimmt wird, der der speziellen Charakteristik des gewählten Scheinwerfers entgegenkommt.
-
Vorteilhafter Weise findet eine Faltung des Spektrums des gewählten Scheinwerfers mit der Absorptionscharakteristik eines zu erkennenden Aerosols statt. Das Spektrum des Scheinwerfers ist bekannt, genauso wie das Spektrum (oder invers die Absorptionscharakteristik) eines zu erkennenden Aerosols. Durch die Faltung (quasi eine Multiplizierung der Dämpfung der einzelnen Wellenlängen – aus der Signalverarbeitung bekannt) kann das zu erwartende Spektrum ermittelt werden, welches im Bild auftreten sollte, wenn ein entsprechendes Aerosol vorliegt. Für eine, wie beispielsweise beschrieben wurde, diskrete Auswertung können nun die Schwellwerte für einzelne Wellenlängen in Abhängigkeit des Aerosols und des Scheinwerfers ermittelt werden. Eine komplette Spektralauswertung ist natürlich genauso möglich. Durch Berücksichtigung der Scheinwerfercharakteristik kann eine genauere Bestimmung durchgeführt werden. Soll bestimmt werden, welcher Art das Aerosol im Bild ist, so muss für jedes möglicherweise vorkommende (bzw. zu erkennende) Aerosol diese Faltung mit dem Spektrum des Scheinwerfers durchgeführt werden, wodurch sich mehrere Schwellwerte und damit Klassen ergeben und der Vergleich mit dem tatsächlich auftretenden Spektrum im Bild eine Klassifikation ermöglicht.
-
Für die Nebelerkennung im Speziellen (gegebenenfalls auch für andere Aerosole) würden sich Xenonscheinwerfer oder Scheinwerfer, die aus LED-Elementen bestehen, gut eignen, da sie ein verstärkt bläuliches Spektrum besitzen, welches gefaltet mit dem Spektrum vom Nebel eine deutliche Dämpfung im roten Bereich aufzeigen würde. Diese Dämpfung ist deutlicher, als sie entstehen würde, wenn der Nebel mit weißem Licht angestrahlt werden würde.
-
Zweckmäßiger Weise wird die Ermittlung der Parameter nur unter Berücksichtigung eines Ausschnitts des Bildes durchgeführt. Gelingt die Wahl eines geeigneten aussagekräftigen Bildausschnitts, so verringern sich Rechenlast und Rechenzeit, und es werden Ressourceneinsparungen ermöglicht.
-
Vorteilhaft ist die Wahl des Ausschnitt des Bildes (Region of Interest – ROI) dann gelungen, wenn in diesem eine möglichst gute Ausleuchtung vom Scheinwerfer gegeben ist. Der zu beobachtende Effekt, d. h. der Unterschied zwischen mittleren Rot- und Grauwert ist dann am höchsten, wenn eine möglichst große Fläche der ROI möglichst stark angestrahlt wird. Deshalb sollte die Hell-Dunkel-Grenze möglichst außerhalb der ROI liegen. Die Hell-Dunkel-Grenze ist die Linie, die vom Scheinwerfer vorgegeben wird, in der der ausgeleuchtete Bereich in den dunklen unausgeleuchteten übergeht.
-
In einer Weiterbildung kann der Bildausschnitt nicht nur fix im Bild gewählt werden, sondern sich adaptiv den Umgebungsbedingungen anpassen. So ist denkbar, optional noch ein Fahrbahnmodell oder die Topologie (z. B. Kuren, Kuppen oder Senken) zu berücksichtigen und den Ausschnitt so zu wählen, dass die Aerosolerkennung in einem Bereich durchgeführt wird, der für den weiteren Fahrtverlauf sinnvoll ist. Da es sehr sinnvoll sein kann, den Ausschnitt in den oben beschriebenen ausgeleuchteten Bereich zu legen, bietet sich eine Nachführung des Ausschnitts an einen möglichen adaptiven Scheinwerfer (Leuchtweitenregelung, Kurvenlicht) an. Der Bildausschnitt kann sich auch gleichmäßig zum Lenkrad/Lenkwinkel bewegen, genauso wie es auch das adaptive Kurvenlicht tut. Hierbei wird die Grundidee unterstützt, wonach der Ausschnitt gewählt werden sollte, der am stärksten durch das Licht erhellt wird, da dort der höchste Effekt der spektralen Unterdrückung des Rotwertes (bei Nebel) ist.
-
Vorteilhaft ist die Plausibilisierung der erfindungsgemäß beschriebenen Aerosolerkennung mit weiteren Daten, die Aufschluss über ein vorhandenes Aerosol geben. Da eine Fehlerkennung nie zweifelsfrei auszuschließen ist bzw. störende Einflüsse, wie z. B. fremde Lichtquellen mit unbekanntem Spektrum, sich verfälschend auf das Ergebnis auswirken können, ist eine solche Maßnahme sinnvoll. Durch eine solche Plausibilisierung können Falsch-Positiv-Erkennungen von Aerosolen weiter eingeschränkt werden.
-
Eine Plausibilisierung kann mit bekannten Verfahren, beispielsweise mit denen im Stand der Technik beschriebenen durchgeführt werden oder anderen, wie z. B. einer Sichtweitenbestimmung, bei der ab einer bestimmten Sichtweite das Vorhandensein eines Aerosols ausgeschlossen wird. Weiterhin kann eine Plausibilisierung mittels einer Gradientenbestimmung stattfinden, wobei niemals auf ein Aerosol erkannt wird, wenn der mittlere Gradient im Bild (idealerweise Graubild) einen bestimmten Schwellwert überschreitet, was bedeutet, dass ein Kontrastreichtum (d. h. Struktur im Bild) vorhanden sein muss, der nicht mit einem Aerosol einer bestimmten Dichte in Einklang zu bringen ist. Weiterhin kann zur Plausibilisierung eine oder mehrere externe Lichtquellen erkannt werden und gegebenenfalls bestimmt werden, ob diese ein Halo oder Korona besitzen. Ist dies nicht der Fall, so kann kein Aerosol zwischen dieser Lichtquelle und der Kamera vorhanden sein.
-
Für die Erkennung, ob eine Blendung eine Eigenblendung, beispielsweise durch Nebel oder eine Fremdblendung, beispielsweise durch andere Fahrzeuge ist, kann z. B. eine Objekterkennung herangezogen werden, die gegebenenfalls die anderen Fahrzeuge erkennt. Auch eine Reflexion an angestrahlten Schildern könnte fälschlicherweise als Nebel erkannt werden. Auch hier würde eine Plausibilisierung beispielsweise mittels einer Objekterkennung helfen.
-
Vorteilhafter Weise kann die Erkennung eines Aerosols zu vielerlei Zwecken im Fahrzeug sinnvoll verwendet werden. Die Information über das Vorliegen eines Aerosols bzw. eines bestimmten Aerosols bzw. dessen Konzentration kann sinnvoller Weise dazu dienen, Sicherheits-/Komfort-/Fahrerassistenz- oder Anstriebsstrangfunktionen positiv zu beeinflussen.
-
Wird beispielsweise ein Sicht behinderndes Aerosol (z. B. Nebel) erkannt, so kann eine vorteilhafte Lichtverteilung (bei Nebel z. B. eine tiefe, breite Ausleuchtung vor dem Fahrzeug) aktiviert werden. Wenn dank des erfindungsgemäßen Verfahrens kein Nebel erkannt wird, obwohl beispielsweise das Bild eine geschlossene Schneedecke auf der Fahrbahn aufzeigt, die normalerweise nicht von einer Nebelwand unterschieden werden könnte, wird umgekehrt die Lichtverteilung nicht geändert bzw. so eingestellt, dass sie einer weiten Sicht dienlich ist. In diesem Fall könnte das Fernlicht aktiviert oder beibehalten werden, selbstverständlich unter Berücksichtigung weiterer bekannter Randbedingungen wie Vermeidung der Blendung des Gegenverkehrs, etc.
-
Die automatische Aktivierung und Deaktivierung einer Nebelschlussleuchte oder Nebelscheinwerfern ist ohne Weiteres denkbar.
-
Am Beispiel der Lichtsteuerung wird dargelegt, wie auch für die Aktivierung einer Fahrzeugfunktion eine Plausibilisierung ermöglicht wird. So kann auf eine Änderung der Scheinwerfereinstellung selbst bei erkanntem Nebel (schlechte Sicht) auf eine Änderung der Einstellung verzichtet werden, wenn es Tag und nicht Nacht ist. Dies kann z. B. mittels eines Lichtsensors (auch als Funktion mittels der beschriebenen Kamera realisierbar oder klassisch als eigenständiger Sensor) und einem Schwellwert ermittelt wird. Weiterhin kann eine Änderung der Scheinwerfereinstellung unterbleiben, wenn die Geschwindigkeit des Fahrzeugs gering ist und nicht über einem Schwellwert liegt. Falls das Verfahren zur Lichtsteuerung verwendet wird und gleichzeitig der unerwünschte Effekt einer Beleuchtung durch ein Entgegenkommen des Fahrzeugs eintritt, der eventuell die Nebelerkennung verfälschen würde, so hätte dies keine Auswirkungen, da in diesem Fall ohnehin abgeblendet werden sollte. Zumindest wäre die Lichtsteuerung daher teilimmun gegen solche unerwünschten Effekte.
-
Sicherheitssysteme wie Gurtstraffer, Airbags oder Bremsassistenten/Bremssysteme könnten in geeigneter Weise vorgespannt oder alarmiert werden, wenn von einem erhöhten Unfallpotential (wie bei schlechter Sicht) auszugehen ist.
-
Komfortsysteme könnten von Außenluft auf Umluft umschalten oder (Luft)filter aktivieren, wenn bestimmte Aerosole, z. B. Rauch, Industriegas, erkannt wurden.
-
Fahrerassistenzsysteme könnten die Daten, die sie aus dem Videobild ermitteln, unter schlechten Sichtverhältnissen als weniger relevant oder brauchbar einstufen als beispielsweise die Daten von anderen Sensoren (z. B. Radar, Ultraschall) einstufen.
-
Der Antriebsstrang kann dahingehend beeinflusst werden, dass beispielsweise die Drehzahl erhöht wird, um eine stärkere Motorbremsung zu ermöglichen oder ein lauteres Fahrgeräusch zu erzeugen, welches die Umgebung vor dem herannahenden Fahrzeug warnen könnte.
-
Geschwindigkeits- und/oder Lenkeingriffe können durchgeführt werden um lokalen Aerosolen auszuweichen oder bei Nebel die Geschwindigkeit zu senken oder eine Warnung auszugeben. Dies kann in Kombination mit Daten aus einem Navigationssystem stehen, welches Ausweichmöglichkeiten, bzw. die Befahrbarkeit von voraus liegendem Terrain beurteilen kann.
-
Abhängig von der Art des Aerosols kann auch eine Warnung vordem Aerosol oder ein Notruf abgesetzt werden, beispielsweise, wenn dieses giftig ist.
-
Begriffserläuterungen
-
Spektroskopie bzw. Spektrometrie ist eine Gruppe von Beobachtungsverfahren, die anhand des Spektrums (Farbzerlegung) von Lichtquellen (auch dem zu analysierenden Bild) untersuchen, wie elektromagnetische Strahlung und Materie in Wechselwirkung stehen. Man untersucht, bei welchen Frequenzen oder Wellenlängen eine Substanz Energie in Form von Lichtquanten bzw. elektromagnetischen Wellen aufnehmen (absorbieren) oder abgeben (emittieren) kann. Diese Farbzerlegung kann mittels einer oder mehrerer Filterungen durchgeführt werden.
-
Das für die Erfindung notwendige bildgebende Verfahren kann durch ein Kamerasystem mit folgenden Eigenschaften realisiert werden: Es muss Bilder liefern, die sich für eine Farbfilterung eignen. Dies kann eine klassische RGB-Kamera oder z. B. eine R3I-Kamera sein. Bei letzterer ist jedes 4. Pixel mit einer Rotmaske versehen, nimmt also nur den Rotanteil auf (selektive Pixelfärbung). Bei Betrachtung nur dieser Pixel, erhält man somit ein Rotbild, bei der Betrachtung der anderen Pixel ein Graubild. Alternativ kann auch ein Kamerasystem mit 2 Monokameras oder mehreren optischen Wegen mit unterschiedlicher Filterung zum Einsatz kommen, oder auch eine Stereokamera deren 2 Lichtwege durch unterschiedliche Filter laufen.
-
Ein Aerosol ist ein Gemisch aus festen oder/und flüssigen Schwebeteilchen und einem Gas, die unterschiedlichen Ursprungs sein können. Teilchen von primären Aerosolen stammen meistens aus mechanischen oder thermischen Prozessen. Bei den sekundären Aerosolen haben sich die Teilchen aus gasförmigen Stoffen durch chemische Reaktion und/oder durch Anlagerung der Reaktionsprodukte an Kondensationskerne gebildet. Aerosole können natürliche organische Anteile (Pollen, Sporen, Bakterien), natürliche anorganische Anteile (Staub, Feinstaub, Sand, Rauch, Seesalz, Wassertröpfchen), vom Menschen eingebrachte Verbrennungsprodukte (Rauch, Zigarettenrauch, Abgase, Industriegase, Qualm, Ruß oder Ölqualm (z. B. aus einem Autoauspuff), Asche oder Stäube) oder vom Menschen hergestellte Nanopartikel sein.
-
Der Begriff Hydrometeor ist der in der meteorologischen Fachsprache benutzte Oberbegriff für alle Formen kondensierten Wassers (Wortteil „Hydro”), die in der Atmosphäre beobachtet werden (Wortteil „Meteor”), also alle flüssigen und gefrorenen Teilchen aus Wasser. Andere feste und flüssige Bestandteile der Atmosphäre, bei deren Zusammensetzung Wasser keine oder zumindest fast keine Rolle spielt, werden als Aerosole bezeichnet. Ansammlungen von Hydrometeoren sind feuchter Dunst, Gischt, Kondensstreifen, Nebel, Nieselregen, Regen, Schneefegen, Wolken u. a.
-
Erfindungsgemäß werden Hydrometeore (oder deren Ansammlungen) auch beansprucht, wenn Aerosole erwähnt sind. Ob Hydrometeore von Aerosolen abgegrenzt werden oder eine Untermenge dieser darstellen, ist in der Literatur teilweise widersprüchlich.
-
Als Dämpfung bezeichnet man in der Physik die Umwandlung von Schwingungsenergie in eine andere Energieform. Dies äußert sich beispielsweise in einem Abklingen eines Signals, einer Schwingung oder einer Welle. Elektromagnetische Wellen werden in der Atmosphäre gedämpft. Bei der Absorption von Licht wird die aufgenommenen Energie nicht nur in Wärme umgewandelt, sondern kann durch andere Mechanismen wie Fluoreszenz, sowie durch Streuung an Aerosolen verlorengehen. Vorliegend haben die Begriffe Absorption und Dämpfung eine ähnliche Bedeutung. Die Transmissivität hingegen entspricht dem Inversen, nämlich der Durchlässigkeit für Licht (frequenzabhängig) in einem Aerosol.
-
(Quelle teilweise Online-Enzyklopädie Wikipedia)
-
Beschreibung der Zeichnungen
-
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
-
Es zeigen
-
1 ein von einer Kamera aufgenommenes Bild mit einem Nebelszenario,
-
2 ein Blockschaltbild zum Aufbau des erfindungsgemäßen Verfahrens (Vorrichtung),
-
3 eine Spektralanalyse mit und ohne Nebelszenario,
-
4 ein Ablaufdiagramm für eine Lichtsteuerung mittels der erfindungsgemäßen Nebelerkennung.
-
In 1 ist ein Bild 101 dargestellt, wie es von einer Kamera im Fahrzeug in Voraussicht aufgenommen sein könnte. Es ist ein Nebelszenario mit dem Nebel bzw. der Nebelwand 104 sichtbar, in das die Spurmarkierung 102 hinein verläuft und mit zunehmender Entfernung weniger sichtbar ist. Der Lichtkegel 103 führt nahe am Fahrzeug zu einer teilweise Erleuchtung der Szenerie und mit zunehmender Entfernung zu einer Erleuchtung des Nebels 104, wobei das Licht von diesem zurückgestreut wird und es zu einer Blendung, vor allem im Blendungsbereich 105 kommen kann. Mit der Sichtgrenze 107 ist eine virtuelle Linie definiert, bis zu der eine Ausleuchtung Sinn machen mag. In der Realität wird diese Linie aufgrund der kontinuierlichen optischen Eigenschaften des Nebels nicht scharf abzubilden sein. Die Anwendung des erfindungsgemäßen Verfahrens kann beispielsweise auf den Bildausschnitt der Messregion 106 (Region of Interest, ROI) beschränkt werden, der idealer Weise an der Sicht bzw. Hell-Dunkel-Grenze liegt bzw. diese beinhaltet.
-
In 2 ist der Aufbau des erfindungsgemäßen Verfahrens (Vorrichtung) erläutert, wobei ausgehend von der Videokamera K, die ein Bild 101 liefern kann, eine Filterung F1 durchgeführt wird, die ein (virtuelles) Farbbild mit einer gewünschten Farbinformation ergibt. F1 ist dabei in dieser Ausgestaltung ein Filter, dass vorzugsweise die Frequenzanteile, die nicht im roten Bereich liegen, ausfiltert. Man erhält durch die Filterung F1 ein sogenanntes Rotbild, bzw. den Rot-Anteil. Optional kann eine zweite Farbfilterung F2 Anwendung finden. In der beschriebenen Ausführung zur Nebelerkennung eignet sich jedoch auch das originale Graubild, so dass keine zweite Farbfilterung vorgenommen werden muss. Aus den beiden durch F1 bzw. F2 ermittelten Bildern werden nun jeweils die Werte des selben Parameters P ermittelt. Insbesondere kann das der mittlere Helligkeitswert der Pixel der Messregion 106 in ihrer jeweiligen farblichen Filterung F1 und F2 bzw. nur F1 sein. In diesem Fall würde sich jeweils ein skalarer Wert MG, MR ergeben, der die mittlere Helligkeit repräsentiert und in einem Vergleicher V zur Auswertung kommt, beispielsweise durch eine Differenzbildung D der beiden Skalare MG, MR und einer Prüfung, ob diese Differenz einen gewissen Schwellwert über- oder unterschreitet. Im Falle der Nebelerkennung würde, wenn die Differenz zwischen dem Mittelwert der Helligkeit des Graubildes und der Mittelwert der Helligkeit des Rotbildes einen bestimmten Wert überschreitet, das Vorhandensein von Nebel angenommen werden. Die Wahl eines geeigneten Schwellwerts ergibt sich aus empirischen Versuchen oder physikalischen Überlegungen. Wurde nun Nebel detektiert, so kann ein Steuergerät S, welches für die Lichtsteuerung zuständig ist, die Scheinwerfer L entsprechend ansteuern. Insbesondere, falls eine vermeintliche Blendung (d. h. eine hohe Helligkeit im Bild bzw. im Blendungsbereichs 105) auftritt, muss geprüft werden, ob Nebel vorhanden ist und somit eine Blendung vorliegt und nicht eine hell erleuchtete Szenerie, was wiederum gewünscht wäre. Bei Erkennung von Nebel könnte z. B. das Fernlicht deaktiviert und/oder Nebellicht aktiviert werden.
-
In 3 ist der physikalische Zusammenhang grafisch dargestellt. In Figurteil a) ist das Spektrum eines Xenonscheinwerfers dargestellt, dessen Intensität bzw. Helligkeit I im blauen Bereich, d. h. in Bereichen höherer Frequenz, bzw. kürzerer Wellenlänge λ höher ist als im niederfrequenten (roten) Bereich. Diesem Spektrum kann ein Mittelwert der Intensitäten über alle Frequenzen zugeordnet werden, was dem mittleren Grauwert MG entspricht. Eine erfindungsgemäße Rotfilterung kann derart ausgebildet sein, dass sie nur das Spektralband R berücksichtigt, das heißt im Wesentlichen alle Frequenzanteile, die nicht im Spektralband R liegen, ausfiltert. Auch den Helligkeitswerten in diesem Spektralband R kann ein mittlerer Helligkeitswert MR als Mittelwert der Intensitäten über alle Frequenzen im Band R zugeordnet werden. Die beiden spektralen Helligkeitswerte MG und MR unterscheiden sich durch eine Differenz D. Diese Differenz ändert sich abhängig vom Vorhandensein eines Nebels, wie im Folgenden dargestellt wird. Durch die Auswertung dieser Differenz wird der erfindungsgemäße Vergleich ermöglicht. Alternativ kann zwischen diesen mittleren Helligkeitswerten auch der Quotient oder andere in der Erfindung beschriebene Kombinationen gebildet werden.
-
In den Teilfiguren b) und d) ist nun die Fortführung des Szenarios im Falle des Vorhandenseins von Nebel und in den Figurteilen c) und e) die Fortführung des Verfahrens ohne Nebel dargestellt.
-
Im Figurteil b) ist die spektrale Transmissionscharakteristik von Nebel dargestellt, wobei eine höhere Dämpfung (geringere Transmissivität T) im niederfrequenten, z. B. dem roten Bereich und eine geringere Dämpfung für höhere Frequenzen auftritt. Im Figurteil c) ist der triviale Fall einer guten Sicht, d. h. keiner Dämpfung dargestellt.
-
Werden nun diese Absorptionscharakteristiken mit dem Scheinwerferspektrum in Figurteil a) gefaltet * so resultieren die in den Figurteilen d) und e) gezeigten Intensitätskurven, wobei die Kurve in Figurteil e) der ursprünglichen in Figurteil a) entspricht, da keinerlei Dämpfung (1/T) stattfand. Einflüsse durch das Bildmotiv oder andere Lichtquellen sind hier nicht berücksichtigt. Diese dürften sich aufgrund der dynamischen Bildänderungen während einer Fortbewegung herausmitteln.
-
Im Figurteil d) ist der im Bild der aufnehmenden Kamera festzustellende Spektralverlauf dargestellt, wenn mit einem Scheinwerfer entsprechend Figurteil a) bei Vorhandensein des Nebels mit einer Dämpfungscharakteristik wie im Figurteil b) das Bild aufgenommen wurde. Die hier durchgeführte Ermittelung der Mittelwerte der Helligkeit MG und MR wird entsprechend dem erfindungsgemäßen Verfahren aus dem Bild ermittelt.
-
Die im Figurteil a) für den Scheinwerfer auftretenden (unbeeinflussten) Mittelwerte der Helligkeit ergeben sich bereits aus der bekannten Charakteristik des Scheinwerfers und sind bekannt. Sie können, da sie ja im Betrieb nicht über die Kamera gemessen werden können, zur Auswertung hinterlegt/konfiguriert werden und das erfindungsgemäße Verfahren verbessern. So ist der Effekt des Nebels deutlich in einer Vergrößerung der Differenz der Mittelwerte V des Figurteils d) im Vergleich zum Figurteil a) sichtbar.
-
Im Figurteil f) hingegen ist die im Bild wahrgenommene Spektralverteilung dargestellt, wie sie gemessen werden würde, wenn die Charakteristik des Scheinwerfers nicht bekannt wäre bzw. keine übergewichteten spektralen Anteile besäße oder kein Scheinwerfer angeschaltet ist (z. B. bei Tag). Hierbei wäre die Differenz V der Mittelwerte der Helligkeiten zwar messbar, erkennbar ist aber die Verstärkung bzw. Vergrößerung der Differenz bei Verwendung entsprechender Scheinwerfer, wie in Figurteil a) und d) dargestellt. Durch den verstärkenden Effekt der Scheinwerfer mit bekannter Charakteristik können beispielsweise die Schwellwerte für eine Nebelerkennung größer gewählt werden, so dass weniger falsche Nebelerkennungen vorkommen. Umgekehrt muss berücksichtigt werden, dass solche Scheinwerfer bewirken können, dass eine im Bild aufgenommene Szenerie ohne Nebel auch verstärkt die spetrale Charakteristik der Scheinwerfer aufweisen kann, was diesen Effekt wieder dämpfen könnte. Empirische Untersuchungen haben jenen Vorteil jedoch bestätigen können.
-
In 4 ist ein Ablaufdiagramm dargestellt, wie es für eine Lichtsteuerung implementiert werden könnte, wobei das erfindungsgemäße Verfahren zur Nebelerkennung Anwendung findet. Es wird von einem Startpunkt 401 ausgegangen, der beispielsweise iterativ in bestimmten Zeitabständen aufgerufen werden kann. Die hier vorgestellten Elemente und Tests können auch selektiv verwendet werden, genauso können weitere sinnvolle Punkte in den Ablauf eingefügt bzw. die Reihenfolge des Ablaufs geändert werden.
-
Es wird eine Sichtweitenbestimmung 402 durchgeführt, die beispielsweise dadurch realisiert werden kann, indem z. B. geprüft wird, ob die Vorausschauweite einen Schwellwert überschreitet, und wenn ja, dann wird angenommen, dass kein Nebel vorhanden ist 410. Die Vorausschauweite kann z. B. durch deinen Spurerkennungsalgorithmus (Lane Detection) festgestellt Werden, wenn die Spur(markierung) noch in genügend weiter Entfernung sichtbar ist, dann ist die Sichtweite ausreichend gut.
-
Falls die Sichtweite für zu gering erachtet wird, wird eine Kontrastbestimmung 403 durchgeführt, die beispielsweise dadurch realisiert werden kann, dass eine Gradientenbestimmung durchgeführt wird, wobei der mittlere Gradient im Graubild einen gewissen Schwellwert überschreiten muss. Tut er dies, d. h. es ist ein entsprechender Kontrast vorhanden, so wird davon ausgegangen, dass kein Nebel 410 vorhanden ist. Falls trotzdem eine (Eigen)blendung auftritt, so kann diese von reflektierenden Schildern herrühren. Eine Unterscheidung der Ursache der Blendung ist somit möglich.
-
Ist hingegen auch der Kontrast zu gering, so kann weiterhin eine Lichtquellenerkennung 404 (externe Lichtquellen) durchgeführt werden und im Falle des Auftretens einer solchen geprüft werden, ob diese ein Halo oder Korona besitzt. Ist dies nicht der Fall, d. h. die Lichtquelle ist klar und deutlich sichtbar, so wird davon ausgegangen, dass kein Nebel 410 vorhanden ist.
-
Falls doch, so kann weiterführend das erfindungsgemäße Verfahren der spektroskopischen Nebelerkennung 405 Anwendung finden, welches, wie beschrieben, das Nichtvorhandensein von Nebel 410 oder das Vorhandensein von Nebel 406 erkennen kann. Bis zu diesem Schritt 406 wurde das Verfahren zur Nebelerkennung behandelt, im Folgenden folgt das Verfahren zur Lichtsteuerung.
-
Wenn Nebel 406 erkannt wurde, so prüft eine Nachterkennung 407, beispielsweise indem die Lichtmenge durch einen Lichtsensor einen bestimmten Schwellwert überschreitet, ob es gerade Nacht ist oder nicht. Falls es Tag ist, wird keine Scheinwerfereinstellung bzw. Änderung der Einstellung 411 durchgeführt, da, wenn das Licht aktiv ist, dies möglicherweise einen bewussten Wunsch/Einstellung des Fahrers darstellt.
-
Falls es Nacht ist, wird eine Geschwindigkeitsprüfung 408 durchgeführt, die quasi eine Sicherheitsschaltung darstellt, so dass bei geringen Geschwindigkeiten (z. B. < 50 km/h) keine Änderung der Scheinwerfereinstellung 411, insbesondere keine Aktivierung des Fernlichts erfolgt. Ist jedoch eine bestimmte Mindestgeschwindigkeit erreicht oder überschritten, so soll im Fall des Vorhandenseins von Nebel das Nebellicht aktiviert werden 412.
-
Wird kein Nebel 410 erkannt, so kann beispielsweise bei Vorliegen weiterer Randbedingungen (z. B. kein Gegenverkehr) Fernlicht aktiviert werden.
-
Schnelle Wechsel zwischen erkanntem Nebel bzw. nicht erkanntem Nebel können entprellt werden, so dass die Scheinwerfereinstellung sich nicht permanent ändert bzw. zu flackern beginnt. Eine Nebelschlussleuchte kann entsprechend gesteuert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 1498721 A1 [0003]
- EP 2020595 A1 [0004]
- EP 1826648 A2 [0005]
- EP 2056093 A1 [0006]