DE102017217072A1

DE102017217072A1 - Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs sowie Steuervorrichtung und Kraftfahrzeug

Info

Publication number: DE102017217072A1
Application number: DE102017217072.7A
Authority: DE
Inventors: Simon Schliecker; Nils Helling; Björn Herold
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2017-09-26
Filing date: 2017-09-26
Publication date: 2019-03-28
Anticipated expiration: 2037-09-27
Also published as: DE102017217072B4

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung (29) eines Kraftfahrzeugs (20), wobei die Umgebung (29) mittels einer Kamera (23) in zumindest einem Kamerabild (27) abgebildet wird und durch eine Steuervorrichtung (21) auf der Grundlage des zumindest einen Kamerabilds (27) zumindest eine Witterungseigenschaft (34) des Witterungsverhältnisses ermittelt wird. Die Erfindung sieht vor, dass durch die Steuervorrichtung (21) ein künstliches neuronale Netzwerk (19) betrieben wird und mittels des Netzwerks (19) für das zumindest eine Kamerabild (27) die zumindest eine Witterungseigenschaft (34) des Witterungsverhältnisses ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zum Erkennen eines Wetters oder Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs. Die Umgebung wird hierzu mittels einer Kamera erfasst oder abgebildet. Zu der Erfindung gehören auch eine Steuervorrichtung zum Durchführen des Verfahrens sowie ein Kraftfahrzeug mit der erfindungsgemäßen Steuervorrichtung.
Ein Verfahren der genannten Art ist beispielsweise aus der DE 10 2008 044 003 A1 bekannt. Dieser Stand der Technik sieht ein Kameramodul mit Mehrfachfunktion vor, wobei zum einen eine Umgebung eines Kraftfahrzeugs mit dem Kameramodul gefilmt wird und zum anderen ein Regensensor realisiert ist. Für die Funktion des Regensensors muss aber ein zusätzlicher Lichtleiter vorgesehen werden, welcher an der Windschutzscheibe des Kraftfahrzeugs befestigt sein muss, damit Wassertropfen an der Außenoberfläche der Windschutzscheibe mittels der Kamera erkannt werden können. Ohne Lichtleiter liegen nämlich Wassertropfen an der Außenoberfläche außerhalb des Fokus der Kamera, die ja in die Umgebung hinein fokussiert ist. Damit sind ohne den Lichtleiter Wassertropfen auf der Windschutzscheibe nicht zu erkennen.
Auch die DE 10 2011 055 343 A1 beschreibt ein Verfahren zur Regendetektion mittels einer Kamera, das eine zumindest anteilig auf die Frontscheibe fokussierte Objektiveinstellung erfordert. Die Bildverarbeitung arbeitet durch eine Kategorisierung der Kanten.
Aus der EP 2 965 956 A1 ist ebenfalls bekannt, mittels einer Kamera nicht nur die Umgebung eines Kraftfahrzeugs zu erfassen, sondern auch Regentropfen auf der Windschutzscheibe zu erkennen. Hierbei ist es allerdings notwendig, mittels einer zusätzlichen Lichtquelle Regentropfen auf der Windschutzscheibe anzustrahlen, um einen Streulicht-Effekt zu erhalten.
Die DE 10 2006 016 774 A1 beschreibt eine kamerabasierte Regenerkennung mittels Bildverarbeitung. Die Bildverarbeitung erkennt Änderungen des Streuungsgrades einzelner Pixel durch einfallende Regentropfen. Die Bildverarbeitung setzt einen aufwändigen musterbasierten Erkennungsalgorithmus um.
Der Erfindung liegt die Aufgabe zugrunde, mittels einer Kamera ohne aufwendig zu installierende zusätzliche Bauteile ein Wetter oder Witterungsverhältnis in einer Umgebung eines Kraftfahrzeugs zu erkennen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Durch die Erfindung ist ein Verfahren zum Erkennen eines Wetters oder Witterungsverhältnisses in einer Umgebung eines Kraftfahrzeugs bereitgestellt. Die Umgebung wird hierzu mittels einer Kamera in zumindest einem Kamerabild abgebildet. Mit anderen Worten erfasst die Kamera die Umgebung und erzeugt zumindest ein Kamerabild der Umgebung. Durch eine Steuervorrichtung wird auf der Grundlage des zumindest einen Kamerabilds das Wetter oder Witterungsverhältnis ermittelt.
Um dies erfindungsgemäß ohne zusätzliche Bauteile, wie beispielsweise einen Lichtleiter, zu ermöglichen, ist erfindungsgemäß vorgesehen, dass durch die besagte Steuerungsvorrichtung ein künstliches neuronales Netzwerk betrieben wird und mittels des Netzwerks (d.h. anhand einer statistischen Klassifikation) für das zumindest eine Kamerabild zumindest eine Witterungseigenschaft des Witterungsverhältnisses ermittelt wird. Mit anderen Worten wird keine spezielle Wechselwirkung von Wassertropfen auf der Oberfläche einer Windschutzscheibe zum Erkennen des Witterungsverhältnisses genutzt, sondern es wird der optische Eindruck der Umgebung selbst, wie er sich in dem zumindest einen Kamerabild ergibt, mittels eines künstlichen neuronalen Netzes einsortiert oder klassifiziert. Ein neuronales Netzwerk erkennt dabei zumindest eine vorbestimmte Klasse, d.h. zumindest eine vorbestimmtes Witterungsmerkmal. Eine Klasse ist also eine Aussage oder ein Erkennungsergebnis. Es können mehrere Klassen, das heißt mehrere Witterungseigenschaften als mögliches Erkennungsergebnis in dem Netzwerk bereitgehalten werden. Das neuronalen Netzwerk erzeugt dann bei einer statistischen Klassifikation für jede mögliche erkennbare Klasse (Witterungseigenschaft) einen Zuordnungswert. Der Zuordnungswert repräsentiert (in einer Ausprägung dieser Implementierung) die Intensität Witterungseigenschaft. Die Zuordnungsfunktion, die hierbei angewendet wird, ergibt sich durch ein sogenanntes Training des Netzwerks. Ein künstliches neuronales Netzwerk kann in dem Training dadurch konfiguriert werden, dass zu unterschiedlichen optischen Bildmerkmalen, die in Trainingsbildern abgebildet sein können, jeweils den Zuordnungswert einer zu erkennenden Soll-Klasse vorgegeben bekommt. Man gibt dem Netzwerk somit sowohl Testbilder also auch das darin zu erkennende Erkennungsergebnis vor. Jedes Erkennungsergebnis kann hierbei zumindest eine Witterungseigenschaft angeben, also z.B. das herrschende Wetter, wie beispielsweise Regen, Schnee oder Nebel. Die Witterungseigenschaft gibt also überhaupt das Vorhandensein des jeweiligen Wetters an. Eine Witterungseigenschaft kann aber auch beispielsweise eine vorbestimmte, spezifische Angabe zu einem bestimmten Wetter sein, wie beispielsweise die mittlere Tropfengröße. Wird nach dem Training das neuronale Netzwerk dann nur mit Eingangsdaten, also zumindest einem Kamerabild betrieben, ohne dass man ihm auch eine Soll-Klasse vorgibt, so führt das künstliche neuronale Netzwerk eine statistische Klassifikation aus, d.h. es führt die in das künstliche neuronale Netzwerk eintrainierte Zuordnung durch, wodurch sich ein Erkennungsergebnis in Form einer Aussage oder eines Kennwerts oder einer Klasse für zumindest eine Witterungseigenschaft ergibt.
Durch die Erfindung ergibt sich der Vorteil, dass die Steuerungsvorrichtung lediglich um einen Programmcode für ein künstliches neuronales Netzwerk ergänzt werden muss, um mittels einer Kamera nicht nur zumindest ein Kamerabild von der Umgebung bereitzustellen, sondern auch zusätzlich ein Wetter oder Witterungsverhältnis in der Umgebung zu erkennen. Es ist somit kein zusätzlicher Bauteilaufwand für beispielsweise eine zusätzliche Lichtquelle oder einen Lichtleiter nötig.
Die Erfindung umfasst auch Weiterbildungen, durch die sich jeweils zusätzliche Vorteile ergeben.
Eine Ausführungsform sieht vor, dass die zumindest eine Witterungseigenschaft für zumindest eines der folgenden Witterungsverhältnisse ermittelt wird: Regen, Nebel, Schneefall, trockenes Wetter. Die Witterungseigenschaft kann dabei in der einfachen Angabe des erkannten Witterungsverhältnisses (also zum Beispiel „Regen“ oder „Nebel“) bestehen. Die zumindest eine Witterungseigenschaft kann aber auch eine Detailangabe zu dem jeweiligen Wetter oder Witterungsverhältnis umfassen, wie beispielsweise die besagte Tropfengröße von Regen oder Nebel oder Regenmenge pro Zeiteinheit. Die besagten Witterungsverhältnisse lassen sich mit einem künstlichen neuronalen Netzwerk zuverlässig unterscheiden, da sie den optischen Eindruck oder zumindest ein optisches Bildmerkmal der Umgebung, wie es sich in dem zumindest einen Kamerabild ermitteln lässt, prägen oder sich je nach Witterungsverhältnis unterscheiden. So erscheint beispielsweise eine Umgebung bei Regen unscharf, bei Nebel unscharf und milchig getrübt, bei Schneefall weiß gefärbt und bei trockenem Wetter scharf abgebildet.
Eine Ausführungsform sieht vor, dass für jede Witterungseigenschaft ein Kennwert der Ausprägung oder Intensität bestimmt wird. Eine Zuordnung mittels eines künstlichen neuronalen Netzwerks ist nicht immer eindeutig, kann also für zumindest zwei vorgegebene, unterschiedliche Witterungseigenschaften für jede davon einen Kennwert der Ausprägung oder Intensität angeben. Dies kann man sich zunutze machen, um unterschiedliche Witterungseigenschaften zugleich zu bewerten.
Eine Ausführungsform sieht vor, dass für jede Witterungseigenschaft ein Konfidenzwert ermittelt wird. Es wird also eine Wahrscheinlichkeit oder eine Konfidenz angeben, wie zuverlässig in dem zumindest einen Kamerabild diese jeweilige Witterungseigenschaft erkannt wurde. Hierdurch kann durch eine Fahrzeugkomponente, die das Erkennungsergebnis nutzt, eingeschätzt werden, wie vertrauenswürdig oder zuverlässig das Erkennungsergebnis ist. Es kann somit z.B. entschieden werden, ob das Erkennungsergebnis genutzt werden soll oder nicht.
Eine Ausführungsform sieht vor, dass durch das Netzwerk das Witterungsverhältnis anhand von zumindest einem Bildmerkmal der in dem zumindest einen Kamerabild abgebildeten Umgebung erkannt wird. Ein jeweiliges Beispiel für ein Bildmerkmal sind Kanten, eine vorbestimmte geometrische Form (zum Beispiel ein Kreis, eine Welle, ein Rechteck), ein Schärfegrad der Abbildung, ein Farbkontrast, ein Helligkeitskontrast, eine Eigenschaft eines Bildhintergrundes (zum Beispiel die Farbe, die zum Beispiel bei Schneefall weiß sein kann). Das zumindest eine Bildmerkmal stellt also eine vom Bildinhalt unabhängige Eigenschaft des zumindest einen Kamerabilds dar. So können Kanten beispielsweise sowohl bei einem in dem zumindest einen Kamerabild abgebildeten Kraftfahrzeug als auch bei in dem zumindest einen Kamerabild abgebildeten Gebäuden vorhanden sein. Bei Regen oder Nebel ändern sich die Merkmale der im Kamerabild sichtbaren Kanten und sie sind z.B. unscharf abgebildet. Durch Erzeugen eines Erkennungsergebnisses zu zumindest einem Bildmerkmal ist man also vom Bildinhalt unabhängig.
Eine Ausführungsform sieht vor, dass nicht nur ein einzelnes Kamerabild, sondern mehrere Kamerabilder zu Grunde gelegt werden und dass das zumindest eine Bildmerkmal zumindest ein vorbestimmtes dynamisches Merkmal umfasst. Mit anderen Worten wird zumindest eine zeitliche Veränderung als dynamisches Merkmal zu Grunde gelegt. Eine solche zeitliche Veränderung kann zum Beispiel eine Bewegung und/oder eine Farbänderung und/oder eine Helligkeitsänderung sein. Hierdurch wird für die Erkennung des Witterungsverhältnisses auch Information genutzt, die in einem zeitlichen Verlauf enthalten ist.
Eine Ausführungsform sieht vor, dass dem Netzwerk eine Bildverarbeitungseinrichtung vorgeschaltet ist und durch die Bildverarbeitungseinrichtung Bildrohdaten der Kamera empfangen werden. Aus den empfangenen Bildrohdaten erzeugt die Bildverarbeitungseinrichtung mittels zumindest einer vorbestimmten Bildverarbeitungsfunktion zumindest ein vorverarbeitetes Kamerabild. Die Steuervorrichtung stellt dann das zumindest eine vorverarbeitete Kamerabild dem Netzwerk für das Erkennen des zumindest einen Witterungsverhältnisses bereit. In anderen Worten wird die Erkennung des zumindest einen Witterungsverhältnisses auf der Grundlage von zumindest einem vorverarbeiteten Kamerabild durchgeführt. Natürlich können hierbei auch die Bildrohdaten ebenfalls dem Netzwerk zusätzlich bereitgestellt werden. In dem zumindest einen vorverarbeiteten Kamerabild ist aber zumindest ein Bildmerkmal im Vergleich zu den Bildrohdaten markiert und/oder verstärkt und/oder auf eine bestimmte Normierung skaliert. Somit wird also das Netzwerk bei der Erkennung des Witterungsverhältnisses mittels der Bildverarbeitungseinrichtung unterstützt und zum Beispiel die Wiederverwendbarkeit der Implementierung auf einer anderen Kamera oder auf eine Kamera an einem abweichenden Einbauort verbessert oder zumindest der Anpassungsaufwand reduziert.
Eine Ausführungsform sieht vor, dass die hierbei verwendete zumindest eine Bildverarbeitungsfunktion zumindest eine der folgenden umfasst: ein Differenzbild, eine Erkennung von zumindest einer geometrischen Grundform (zum Beispiel ein Geradenstück, ein Kreis, eine Welle), eine Erkennung von zumindest einem vorbestimmten Objekt (zum Beispiel ein Fremdfahrzeug oder ein Passant), eine Berechnung von optischen Flussvektoren, eine zeitliche Korrelation von Bildbereichen. Dies sind nur Beispiele für mögliche Bildverarbeitungsfunktionen. Es können allgemein Bildverarbeitungsfunktionen aus dem Stand der Technik verwendet werden. Mittels einer Bildverarbeitungsfunktion kann gezielt ein Bildmerkmal hervorgehoben oder markiert werden, von welchen bekannt ist, dass es bei den verschiedenen zu erkennenden Witterungsverhältnisse unterschiedlich ausgeprägt ist. Somit wird die Erkennung durch das neuronalen Netzwerk auf dieses für das Witterungsverhältnis indikative Bildmerkmal konzentriert.
Eine Ausführungsform sieht vor, dass die Umgebung von der Kamera durch eine transparente Außenscheibe des Kraftfahrzeugs, beispielsweise eine Windschutzscheibe, hindurch erfasst wird und zumindest ein von der Außenscheibe beabstandetes Objekt in dem zumindest einen Kameraobjekt abgebildet wird. Ein solches Objekt kann ein anderes Kraftfahrzeug oder eine Randbebauung einer Straße oder eine Begrünung darstellen oder allgemein einen Bestandteil eines Bildhintergrunds. Ein spezifisches Objekt muss nicht erfasst werden. Objekte führen zu sichtbaren und/oder prozessierbaren Kanten. Mit anderen Worten ist die Kamera nicht auf die Außenscheibe fokussiert, also auf deren Außenoberfläche oder Außenseite. Stattdessen ist die Kamera auf zumindest ein Objekt fokussiert, das sich in einem Abstand größer als 0 zu der Außenscheibe in der Umgebung befindet. Der Abstand kann mindestens 1 m betragen. Wassertropfen auf der Außenscheibe sind somit aus dem Fokus der Kamera und nicht in dem zumindest einen Kamerabild erkennbar abgelichtet oder scharf abgebildet. Das Netzwerk führt die Erkennung des Witterungsverhältnisses auf der Grundlage eines jeweiligen Objektabbilds des zumindest einen von der Außenscheibe beabstandeten Objekts durch. Das zumindest eine Objekt ist als Bestandteil des Abbild der Umgebung als jeweiliges Objektabbild in dem zumindest einen Kamerabild enthalten oder abgebildet. Anhand dieses zumindest einen Objektabbilds wird dann also die Erkennung des Witterungsverhältnisses durchgeführt. Es muss somit der Kamera keine Information darüber zugeführt werden, ob sich Wassertropfen auf der Außenoberfläche der Außenscheibe befinden. Damit spart man sich beispielsweise die im Stand der Technik verwendeten Lichtleiter und/oder zusätzlichen Lichtquellen. Tropfen auf der Außenoberfläche der Außenscheibe machen sich allerdings in einem Objektabbild durch einen (im Vergleich zu einer trockenen Scheibe) verminderten Schärfegrad bemerkbar.
Bei starkem Nebel muss z.B. kein Objekt als solches erkennbar sein, aber aufgrund der allgemeinen Sichtbarkeit der Szene ist trotzdem der Nebel feststellbar. Eine Ausführungsform sieht daher vor, dass anhand des zumindest einen Kamerabilds ein optischer Gesamteindruck ausgewertet wird. Das Bild insgesamt wird ausgewertet, also insbesondere objektunabhängig und/oder szenenunabhängig. Somit kann auch z.B. aus einer Sichtbehinderung, wie Nebel oder Platzregen, ein Rückschluss auf eine Witterungseigenschaft geschlossen werden.
Wie bereits ausgeführt, muss durch das Netzwerk nicht ausschließlich eine Aussage zum Witterungsverhältnis, wie beispielsweise „Regen“ erkannt werden. Bevorzugt ist vorgesehen, dass zusätzlich zu den jeweiligen Witterungsverhältnis selbst durch das neuronalen Netzwerk auch eine Niederschlagsmenge (pro Zeiteinheit) und/oder eine Tröpfchengröße als jeweilige Witterungseigenschaft ermittelt und signalisiert wird. Hierdurch kann beispielsweise eine Steuerung für einen Scheibenwischer des Kraftfahrzeugs an das Witterungsverhältnis angepasst werden. Als eine Witterungseigenschaft kann auch eine Sichtweite (z.B. bei Nebel) ermittelt werden und in Abhängigkeit davon z.B. eine Nebelschlussleuchte geschaltet werden.
Um das neuronalen Netzwerk für das Erkennen eines Witterungsverhältnisses zu konfigurieren, ist gemäß einer Ausführungsform vorgesehen, dass dem Netzwerk in einem Training zumindest ein vorbestimmtes Trainingsbild zu zugeführt wird und für das zumindest eine Trainingsbild zumindest eine von dem Netzwerk zu erkennende Witterungseigenschaft dem Netzwerk vorgegeben wird, also eine Soll-Klasse. Somit kann mittels eines Algorithmus für das maschinelle Lernen das Netzwerk daraufhin konfiguriert werden, dass es für jedes zugeführte Trainingsbild die gewünschte, vorgegebene zumindest eine Witterungseigenschaft jeweils korrekt zuordnet.
Zur notwendigen Festlegung der Soll-Klassen und der Ausprägung der Witterungseigenschaften, dem sogenannten Labeling, können etablierte Messvorrichtungen verwendet werden, wie zum Beispiel Regensensoren gemäß Stand der Technik. Alternativ kann auch eine manuelle Auswertung des Kamerabilds erfolgen. Ebenso sind Kombinationen dieser Lösungen möglich. Dadurch sind der Aufwand in der Festlegung der Soll-Klassen und die Güte der Klassifikation gemäß der Anforderungen abwägbar und es kann ein für den Anwendungsfall optimiertes Vorgehen gewählt werden.
Zu der Erfindung gehört auch eine Steuervorrichtung für ein Kraftfahrzeug, die eine Recheneinrichtung aufweist, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Recheneinrichtung kann hierzu beispielsweise auf der Grundlage eines Mikroprozessors oder Mikrocontrollers oder eines Spezialprozessors für Bildverarbeitung und/oder die Berechnung von Neuronalen Netzen realisiert sein. Zum Durchführen des Verfahrens kann ein Programmcode bereitgestellt sein, der in einen Datenspeicher der Recheneinrichtung gespeichert sein kann. Bei Ausführen des Programmcodes durch die Recheneinrichtung führt diese dann die Ausführungsform des erfindungsgemäßen Verfahrens durch. Die Steuervorrichtung kann beispielsweise als ein Steuergerät des Kraftfahrzeugs ausgestaltet sein.
Schließlich gehört zu der Erfindung auch ein Kraftfahrzeug mit einer Kamera zum Erzeugen von Kamerabildern von einer Umgebung des Kraftfahrzeugs. Das erfindungsgemäße Kraftfahrzeug weist eine Ausführungsform der erfindungsgemäßen Steuervorrichtung auf. Das erfindungsgemäße Kraftfahrzeug kann beispielsweise als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, ausgestaltet sein.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen Steuervorrichtung während eines Trainings; und
2 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs mit einer darin betriebenen, fertig trainierten Steuervorrichtung.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
1 zeigt ein neuronales Netzwerk 10, das mittels einer Trainingsdatenbank 11 trainiert werden kann, damit es unterschiedliche Witterungsverhältnisse erkennt, beispielsweise unterschiedliche Wettertypen (zum Beispiel Regen, Nebel, klares Wetter, Schneefall) und/oder unterschiedliche Niederschlagsstärken. Die Datenbank 11 kann hierzu Trainingsbilder 12 enthalten oder gespeichert halten, in denen eine Umgebung bei einer Witterung mit einer vorbestimmten, bekannten Witterungseigenschaft dargestellt ist. Beispielhaft sind Trainingsbilder 12 bei klarem Wetter 13, Regen 14, Schneefall 15 und Nebel 16 dargestellt. Die Witterungseigenschaft kann dabei noch zusätzlich beispielsweise die Tröpfchengröße und/oder die Niederschlagsmenge umfassen. Zu den Trainingsbildern 12 können jeweils Labeldaten oder Annotationsdaten 17 mit in der Trainingsdatenbank 11 gespeichert sein. Die Annotationsdaten 17 geben zu jedem Trainingsbild 12 das zu erkennende Soll-Ergebnis an, also die tatsächlich darin abgebildete zumindest eine Witterungseigenschaft.
Auf Grundlage der Trainingsbilder 12 und der Annotationsdaten 17 kann das neuronalen Netzwerk 10 in einem Training 18 solange in an sich bekannter Weise konfiguriert und/oder angepasst werden, bis das neuronalen Netzwerk 10 selbstständig zu jedem Testbild 12 ein korrektes Erkennungsergebnis erzeugt, wie es durch die Annotationsdaten 17 vorgegeben ist. 1 veranschaulicht, dass am Ende des Trainings das fertig trainierte neuronale Netzwerk 19 bereitsteht. Das in 1 veranschaulichte Training 18 ist eine (hier gewählte) Möglichkeit des Trainings des Neuronalen Netzes durch „Backpropagation“.
In 1 ist eine Form des neuronalen Netzwerk 10 gezeigt, bei dem vier „Umgebungs“-Eingänge für vier unterschiedliche Umgebungen (13, 14, 15, 16) eingespeist werden. Dann braucht das neuronale Netzwerk 10 auch vier Ausgänge - für jede der Soll-Klassen einen. Es kann auch jede Umgebung/Eigenschaft separat trainiert und analysiert werden (also in eigenen separat berechneten Neuronalen Netzen), aber das ist dann Spezialfall, bei welchem die beschriebene Methode entsprechend mehrfach angewendet wird.
2 veranschaulicht, wie in einem Kraftfahrzeug 20 das trainierte neuronalen Netzwerk 19 in einem Steuergerät 21 betrieben werden kann, das hier eine Steuervorrichtung im Sinne der Erfindung repräsentiert. Eine Steuervorrichtung kann auch aus einem Verbund mehrerer Steuergeräte realisiert sein. Das Steuergerät 21 kann hierzu beispielsweise eine Recheneinrichtung 22 mit zumindest einem Mikroprozessor oder Mikrocontroller aufweisen.
Anstelle der Testbilder 12 kann das Steuergerät 21 dabei aus einer Kamera 23 des Kraftfahrzeugs Bildrohdaten 24 von zumindest einem Kamerabild 27 empfangen. Mittels einer Bildverarbeitungseinrichtung 25 kann das Steuergerät 21 auf die Bildrohdaten 24 zumindest eine Bildverarbeitungsfunktion 26 anwenden. Durch jede Bildverarbeitungsfunktion 26 kann eine Bildeigenschaft der Kamerabilder 27 verstärkt oder hervorgehoben oder markiert werden. Die Bildverarbeitungseinrichtung 25 kann beispielsweise auf der Grundlage eines Programmcodes für die Recheneinrichtung 22 bereitgestellt sein.
Die Kamera 23 kann dabei durch eine Außenscheibe 28 des Kraftfahrzeugs 20 hindurch eine Umgebung 29 des Kraftfahrzeugs 10 filmen oder erfassen und hierbei von der Außenscheibe 28 beabstandete Objekte 30, wie beispielsweise eine Straße und/oder einen Baum und/oder ein anderes Kraftfahrzeug und/oder die in der Luft befindlichen sichtbaren Elemente in dem zumindest einen Kamerabilder 27 abbilden. Aber auch die auf der Außenscheibe befindlichen sichtbaren Elemente beeinflussen das zumindest eine Kamerabild 27. Also auch die Regentropfen, die auf die Windsschutzscheibe 28 gefallen sind, beeinflussen den in dem zumindest einen Kamerabild 27 wiedergegebenen optischen Eindruck. Auch diese Information wird daher berücksichtigt.
Das zumindest eine Kamerabild 27 kann als Bildrohdaten 24 dem Steuergerät 21 bereitgestellt werden.
Die Bildverarbeitungseinrichtung 25 kann vorverarbeitete Kamerabilder 31 dem neuronalen Netzwerk 19 bereitstellen. Zusätzlich oder alternativ dazu können auch die Bildrohdaten 24 dem neuronalen Netzwerk 19 als Eingangsdaten bereitgestellt sein. Das neuronalen Netzwerk 19 ordnet nun z.B. in einer Zuordnung oder statistischen Klassifikation 32 in der an sich bekannten Art den Eingangsdaten, d.h. zumindest einem Kamerabild 27 (in seiner Rohdatenfassung oder als verarbeitetes Kamerabild 31) ein Erkennungsergebnis 33 zu, in welchem eine erkannte Witterungseigenschaft 34 oder mehrere erkannte Witterungseigenschaften 34 angegeben sein können. Beispielsweise können als Witterungseigenschaft 34 sowohl der Wettertyp (Regen, Schnee, Nebel, klares Wetter) als auch ein aktueller Kennwert des erkannten Witterungsverhältnisses (zum Beispiel Tröpfchengröße und/oder Niederschlagsmenge pro Zeiteinheit) angegeben sein oder für jeden bewerteten Wettertyp eigene Kennwerte.
Auf Grundlage des Erkennungsergebnisses 33, d.h. auf Grundlage der zumindest einen erkannten Witterungseigenschaft 34 kann dann eine Fahrzeugkomponente 35 gesteuert werden. Beispielsweise kann die Fahrzeugkomponente 35 ein Steuergerät zum Steuern eines Scheibenwischers des Kraftfahrzeugs 20 sein. Die Wischgeschwindigkeit kann dabei in Abhängigkeit von der erkannten Witterungseigenschaft 24 eingestellt werden. Die zumindest eine Fahrzeugkomponente 35 kann zusätzlich oder alternativ dazu beispielsweise ein Fahrerassistenzsystem zum Unterstützen eines Fahrers des Kraftfahrzeugs 20 in dem jeweiligen Witterungsverhältnis vorsehen. Beispielsweise kann eine Anti-Schlupfregelung in Abhängigkeit von der erkannten zumindest eine Witterungseigenschaft 34 konfiguriert werden. Hierdurch kann beispielsweise eine Konfiguration zur Vermeidung von Aquaplaning automatisiert aktiviert werden. Ebenso kann die Fahrzeugkomponente 35 zusätzlich oder alternativ eine Nebelschlussleuchte sein, die automatisch bei bestimmten Witterungsverhältnissen aktiviert wird.
Somit ist die Auswertung eines existierenden Kamerabildes 27 einer Kamera 23 eines Kraftfahrzeugs 20, beispielsweise einer Fahrzeugfrontkamera, ermöglicht, um zum Beispiel Regen (mit Regenmenge und/oder Tröpfchengröße) zu klassifizieren, um dann beispielsweise einen Scheibenwischer korrekt zu steuern.
Die Bestimmung des Witterungsverhältnisses, insbesondere inklusive Niederschlagsmenge und/oder Tröpfchengröße, erfolgt aus einem Kamerabild 27 oder einer Abfolge mehrerer Kamerabilder 27. Das hierzu nötige Training eines neuronalen Netzwerks 10 erfolgt mittels Trainingsbildern 12 von verschiedenen Regenzuständen und unter der Nutzung der Ergebnisse zur Klassifikation der Regenmenge, die in den Annotationsdaten 17 bereitgestellt sein können. Das hierbei verwendete neuronale Netzwerk 10 ist bevorzugt ein sogenanntes DNN (Deep Neural Network) oder auch ein RNN (Recurrent Neural Nework).
Man erspart sich bei dieser Lösung die Verwendung eines dedizierte Regensensors, was die Herstellungskosten für das Kraftfahrzeug 20 gesenkt. Die Verwendung eines neuronalen Netzwerks 10 anstelle einer determinierten Auswertung ermöglicht zudem auch das Auswerten solcher Situationen, die nicht in den Testbilder 12 repräsentiert sind, also unbekannter Situationen. Außerdem wird dadurch die kombinatorische Verarbeitung verschiedener Bildhinweise (zum Beispiel Hintergrund, Schärfe, Objekte, Kanten, Veränderungen) ermöglicht, was die Klassifikationsgüte verbessert.
Somit ist die Nutzung einer Kamera 23 des Kraftfahrzeugs anstelle eines separaten Regensensors möglich. Da eine solche Kamera 23 inklusive Mikroprozessor oder Spezialprozessor in einem Kraftfahrzeug 20 ohnehin für zumindest eine andere Fahrzeugfunktion bereitgestellt ist, entstehen keine zusätzlichen Teile kosten, sondern es muss lediglich für eine Recheneinrichtung 22 zusätzliche Software zum Betreiben des neuronalen Netzwerks 19 bereitgestellt werden.
Somit wird also die Regenerkennung mittels eines neuronalen Netzwerks eingeführt. Ein Algorithmus zum Betreiben eines trainierten neuronalen Netzwerks 19 kann auch auf nicht vorher spezifizierte Bildmerkmale trainiert werden. Die unterscheidungskräftigen Bildmerkmale stellen sich während des Trainings 18 selbständig heraus. Zudem kann eine verbesserte Klassifikationsleistung im Vergleich zu klassischer, deterministischer Bildverarbeitung erreicht werden.
Vorgegeben werden muss lediglich die Konfiguration der Struktur des neuronalen Netzwerks (wie viele Ebenen, Parameter, Verknüpfungen). Hierfür kann auf existierende und bewährte Strukturen aufgesetzt werden, die zur Optimierung des Rechenaufwands, des Trainingsaufwands oder der Klassifikationsleistung angepasst werden können. Dann erfolgt das Training 18 des neuronalen Netzes 10 (mittels gelabelter Daten, d.h. der Amputationsdaten 17). Schließlich kann die Nutzung des trainierten neuronalen Netzes 19 erfolgen.
Die für das Training 18 benötigten Testbilder 12 können auf Testfahrten erzeugt werden, die während unterschiedlicher Witterungsverhältnisse und optional anderer Umgebungsbedingungen, die Auswirkungen auf das erfasste Kamerabild haben, durchgeführt werden können. Mittels der gelabelten oder annotierten Daten 17 kann dann für jedes Testbild 12 das soll-Erkennungsergebnis vorgegeben werden. Die Annotation kann durch zumindest eine Bedienperson erfolgen.
Die Auswertung von Kamerabildern 27 ist dabei nicht nur auf das Witterungsverhältnis „Regen“ beschränkt, sondern es kann auch Nebel und/oder Schnee und/oder klares Wetter (zum Beispiel Sonnenschein und/oder niederschlagsfrei) erkannt werden.
Die in der Bildverarbeitungseinrichtung 25 bereitgestellte zumindest eine Bildverarbeitungsfunktion 26 kann zum Beispiel das Berechnen eines Differenzbilds oder eine Bildskalierung vorsehen. Generell kann aber hier auf Bildverarbeitungsfunktionen 26 aus dem Stand der Technik allgemein zurückgegriffen werden.
Mittels des neuronalen Netzwerks 19 kann dann eine Wiedererkennung von solchen Bildmerkmalen erfolgen, die sich während des Trainings 18 als geeignete Unterscheidungsmerkmale zum Erzeugen der korrekten Erkennungsergebnisse herausgestellt haben. Dies können Kanten und/oder andere Formen (zum Beispiel Kreise und/oder Wellen) und/oder Schärfegrade und/oder eine Eigenschaft eines Bildhintergrundes (Umwelt hinter konkreten Objekten 30) sein.
Ist die Kamera 23 direkt hinter der Außenscheibe 28 eingebaut, dann werden Tropfen unmittelbar auf eine Außenoberfläche der Außenscheibe 28 in der Regel von einer Kamera 23 für die Umgebungserfassung nicht scharf fokussiert. Sie haben auf ein Kamerabild 27 dagegen Einfluss zum Beispiel in Bezug auf die Schärfe und Konturen der darin abgebildeten Objekte 30 sowie der Schärfeeigenschaften im Gesamtbild.
Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Regenmenge erkannt und/oder eine Klassifikation durch Auswertung eines Kamerabildes in Software realisiert werden kann.
Bezugszeichenliste

10: Künstliches neuronales Netzwerk
11: Trainingsdatenbank
12: Trainingsbild
13: Klares Wetter
14: Regen
15: Schneefall
16: Nebel
17: Annotationsdaten
18: Training
19: Trainiertes neuronales Netzwerk
20: Kraftfahrzeug
21: Steuergerät
22: Recheneinrichtung
23: Kamera
24: Bildrohdaten
25: Bildverarbeitungseinrichtung
26: Bildverarbeitungsfunktion
27: Kamerabild
28: Außenscheibe
29: Umgebung
30: Objekt
31: Vorverarbeitetes Kamerabild
32: Statistische Klassifikation
23: Erkennungsergebnis
34: Witterungseigenschaft
35: Fahrzeugkomponente

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008044003 A1 [0002]
DE 102011055343 A1 [0003]
EP 2965956 A1 [0004]
DE 102006016774 A1 [0005]

Claims

Verfahren zum Erkennen eines Witterungsverhältnisses in einer Umgebung (29) eines Kraftfahrzeugs (20), wobei die Umgebung (29) mittels einer Kamera (23) in zumindest einem Kamerabild (27) abgebildet wird und durch eine Steuervorrichtung (21) auf der Grundlage des zumindest einen Kamerabilds (27) zumindest eine Witterungseigenschaft (34) des Witterungsverhältnisses ermittelt wird, dadurch gekennzeichnet, dass durch die Steuervorrichtung (21) ein künstliches neuronales Netzwerk (19) betrieben wird und mittels des Netzwerks (19) für das zumindest eine Kamerabild (27) die zumindest eine Witterungseigenschaft (34) des Witterungsverhältnisses ermittelt wird.
Verfahren nach Anspruch 1, wobei die zumindest eine Witterungseigenschaft (34) für zumindest eines der folgenden Witterungsverhältnisse ermittelt wird: Regen, Nebel, Schneefall, trockenes Wetter.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für jede Witterungseigenschaft ein Kennwert der Ausprägung oder Intensität bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für jede Witterungseigenschaft eines Witterungsverhältnisses ein Konfidenzwert ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei durch das Netzwerk (19) das Ermitteln der zumindest einen Witterungseigenschaft (34) anhand von zumindest einem Bildmerkmal der in dem zumindest einen Kamerabild (27) abgebildeten Umgebung (29) durchgeführt wird.
Verfahren nach Anspruch 5, wobei mehrere Kamerabilder (27) zugrunde gelegt werden und das zumindest eine Bildmerkmal zumindest ein vorbestimmtes dynamisches Merkmal umfasst.
Verfahren nach einem der Ansprüche 5 oder 6, wobei dem Netzwerk (19) eine Bildverarbeitungseinrichtung (25) vorgeschaltet ist und durch die Bildverarbeitungseinrichtung (25) Bildrohdaten (24) aus der Kamera (23) empfangen werden und aus den empfangen Bildrohdaten (24) mittels zumindest einer vorbestimmten Bildverarbeitungsfunktion (26) zumindest ein vorverarbeitetes Kamerabild (31) erzeugt und an das Netzwerk (19) für das Ermitteln der zumindest einen Witterungseigenschaft (34) bereitgestellt wird, wobei in dem zumindest einen vorverarbeiteten Kamerabild (31) das zumindest eine Bildmerkmal im Vergleich zu den Bildrohdaten (24) markiert und/oder verstärkt und/oder auf eine bestimmte Normierung skaliert ist.
Verfahren nach Anspruch 7, wobei die zumindest eine Bildverarbeitungsfunktion (26) zumindest eine der folgenden umfasst: ein Differenzbild, eine Erkennung von zumindest einer geometrischen Grundform, eine Kantendetektion, eine Objekterkennung von zumindest einem vorbestimmten Objekt (30), eine Berechnung von optischen Flussvektoren, eine zeitliche Korrelation von Bildbereichen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Umgebung (29) von der Kamera (23) durch eine transparente Außenscheibe (28) des Kraftfahrzeugs (20) hindurch erfasst wird und zumindest ein von der Außenscheibe (28) beabstandetes Objekt (30) in dem zumindest einen Kamerabild (27) abgebildet wird und das Netzwerk (19) das Ermitteln der zumindest einen Witterungseigenschaft (34) auf der Grundlage eines jeweiligen Objektabbilds des zumindest einen von der Außenscheibe (28) beabstandetes Objekts (30) durchführt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei anhand des zumindest einen Kamerabilds (27) ein optischer Gesamteindruck ausgewertet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als die zumindest eine Witterungseigenschaft (34) durch das Netzwerk (19) eine Niederschlagsmenge und/oder Tröpfchengröße ermittelt und signalisiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei dem Netzwerk (19) in einem Training zumindest ein vorbestimmtes Trainingsbild (12) zugeführt wird und zu dem zumindest einen Trainingsbild (12) die zumindest eine zu erkennende Witterungseigenschaft (34) vorgegeben wird.
Steuervorrichtung (21) für ein Kraftfahrzeug (29), wobei die Steuervorrichtung (21) eine Recheneinrichtung (22) aufweist, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kraftfahrzeug (20) mit einer Kamera (23) zum Erzeugen von Kamerabildern (27) von einer Umgebung (29) des Kraftfahrzeugs (20) und mit einer Steuervorrichtung (21) nach Anspruch 13.