-
Die Erfindung bezieht sich auf ein computerimplementiertes Verfahren zum maschinellen Lernen eines Wetters, ein Steuergerät für automatisierte Fahrfunktionen, ein Überwachungssystem für ein Fahrzeug und ein Verfahren und Computerprogrammprodukt zum Bestimmen eines Wetters.
-
Aus dem Stand der Technik sind Systeme für Fahrzeuge bekannt zum Bestimmen eines Wetters und Ableiten von Aktionen auf das bestimmte Wetter. Beispielsweise sind Regensensoren bekannt, die automatisiert Scheibenwischer ansteuern.
-
Der Erfindung hat die Aufgabe zugrunde gelegen, die Bestimmung des Wetters bei Fahrten mit Fahrzeugen zu verbessern.
-
Durch das erfindungsgemäße computerimplementierte Verfahren wird ein Wetter selbstständig mittels maschinellen Lernens gelernt. Das Verfahren umfasst die folgenden Verfahrensschritte:
- • Aufnehmen von Umgebungen eines Fahrzeuges während Fahrten des Fahrzeuges mit einer an dem Fahrzeug angebrachten Lichtlaufzeit-Kamera,
- • Messen der Helligkeiten dieser Aufnahmen mit der Lichtlaufzeit-Kamera und Bereitstellen dieser Messungen als Ist-Trainingsdaten,
- • in Abhängigkeit von mit diesen Aufnahmen jeweils erfassten Wettern Kennzeichnen der Aufnahme mit dem jeweiligen Wetter und Bereitstellen dieser Kennzeichen als Soll-Wetter,
- • Eingeben der Ist-Trainingsdaten in einen Klassifikator und Erhalten von Ist-Wettern, wobei der Klassifikator ausgeführt ist, Wetter in Abhängigkeit von Helligkeitswerten zu klassifizieren,
- • Eingeben von Paaren aus Ist-Wettern und den Soll-Wettern in den Klassifikator, um aus Helligkeitsmessungen der Lichtlaufzeit-Kamera das Wetter zu erhalten.
-
Wetter ist der kurzfristige lokale Zustand der Atmosphäre an der Erdoberfläche. Erscheinungsformen des Wetters sind beispielsweise Sonnenschein, Bewölkung oder Niederschlag. Die Erscheinungsformen des Wetters sind über Hellligkeitsänderungen erfassbar. Beispielsweise ist eine Umgebung bei Sonnenschein hell und bei Regen dunkel. Erfindungsgemäß wird zwischen den Erscheinungsformen auf Basis von Helligkeitsmessungen unterschieden.
-
Maschinelles Lernen bezeichnet den Lernprozess eines künstlichen Systems, Muster oder Gesetzmäßigkeiten anhand von Trainingsdaten zu erkennen inspiriert am Lernvorgang des menschlichen Gehirns, um insbesondere auf neue Informationen zweckgerichtet reagieren zu können. Nach der Trainingsphase können unbekannte Daten vorteilhafterweise beurteilt werden, ohne zunächst auswendig gelernt werden zu müssen.
-
Mit einer Lichtlaufzeit-Kamera, im Englischen time-of-flight (TOF) camera genannt, wird einfallendes Licht gesammelt und damit Helligkeiten gemessen. Durch die Helligkeitsmessungen mit der Lichtlaufzeit-Kamera wird erkannt, ob die Sonne scheint (hell), es regnet (dunkel) oder schneit (sehr dunkel) oder ob es bewölkt ist (Schwankungen zwischen hell und dunkelt). Zusätzlich wird ein Tiefenbild einer Umgebung über pixelweise Messung der Lichtlaufzeit erhalten. Damit wird die Umgebung dreidimensional erfasst. Die Helligkeitsmessungen und die Tiefeninformationen werden vorzugsweise mit einer Kamerasystem internen Auswertungseinheit bestimmt. Eine Lichtlaufzeit-Kamera umfasst eine Beleuchtungseinheit, um eine Szene für eine Tiefenmessung zu beleuchten. Vorzugsweise sendet die Beleuchtung im Infrarotbereich, damit die Umgebung nicht durch die Kamera gestört wird. Damit kann auch das Wetter bestimmt werden, wenn die Umgebung dunkel ist, beispielsweise bei Nacht. Eine separate Beleuchtung ist nicht notwendig. Ferner umfasst eine Lichtlaufzeit-Kamera eine Optik, um von der Umgebung reflektiertes Licht zu sammeln und auf einem Sensor abzubilden. Außerdem umfasst die Lichtlaufzeit-Kamera einen optischen Bandpassfilter, der nur die Wellenlängen durchlässt, mit der auch die Beleuchtung arbeitet. Somit wird ein großer Teil des störenden Hintergrundlichtes eliminiert. Bei Infrarot-Beleuchtung wird damit der sichtbare Bereich des Sonnenlichts eliminiert. Die Lichtlaufzeit-Kamera ist damit unempfindlich gegen Sonnenlicht. Damit kann das Wetter genauer bestimmt werden. Die Pixel des Sensors sammeln Licht in jeweils separaten Speichern, um über unterschiedliche Lichtlaufzeiten Entfernungen zu bestimmen. Eine Lichtlaufzeit-Kamera liefert damit im Vergleich zu einer gewöhnlichen Kamera zusätzlich Tiefeninformationen, mittels denen Wetter genauer bestimmt werden kann. Insbesondere wird die Art des Regens mit der Lichtlaufzeit-Kamera genau erfassbar, beispielsweise ist mit der Lichtlaufzeit-Kamera unterscheidbar zwischen Sprühregen, Hagel, starken Regen und Graupelregen.
-
Ein Klassifikator teilt Objekte oder Situationen in Klassen ein und erkennt Muster. Ein Klassifikator ist beispielsweise in einem Algorithmus implementiert. Der Klassifikator führt eine maschinelle Klassifikation durch. Die Klassifikation wird aus gegebenen Paaren von Ist-Wettern und Soll-Wettern gelernt. Das Ist-Wetter ist das Wetter, das der Klassifikator erhält. Das Soll-Wetter ist das tatsächliche Wetter, das in den Klassifikator in Form der Kennzeichen eingegeben wird. Die Kennzeichen werden auch features, targets oder labels genannt. Beispielsweise wird eine Aufnahme des Wetters Schnee, die durch eine sehr dunkle Helligkeitsmessung gekennzeichnet ist, mit der Metainformation „Die Aufnahme zeigt Schnee.“ gelabelt. Damit wird der gemessene Helligkeitswert mit der Wetterinformation Schnee in Relation gesetzt. Durch das Trainieren des Klassifikators mit den Ist-Wettern und den Soll-Wettern wird der Klassifikator optimiert, um aus Helligkeitsmessungen der Lichtlaufzeit-Kamera das Wetter zu erhalten. Dabei lernt der Klassifikator von selbst eine innere Struktur, um geringfügige Helligkeitsschwankungen dem jeweils tatsächlich zugrunde liegenden Wetter zuzuordnen.
-
Nach einem Aspekt der Erfindung werden die Umgebungen des Fahrzeuges bei abgeschalteter Beleuchtung der Lichtlaufzeit-Kamera aufgenommen, um Infrarot-Helligkeiten der Umgebungen zu messen. Damit können die Beleuchtungseinheit und der Bandpassfilter der Lichtlaufzeit-Kamera entfallen. Außerdem werden damit Temperaturschwankungen mit der Lichtlaufzeit-Kamera erfassbar. Damit sind Kälte, Wärme und/oder Winde vorteilhafterweise mit der Lichtlaufzeit-Kamera erfassbar.
-
Nach einem weiteren Aspekt der Erfindung wird eine Route wiederholt mit dem Fahrzeug befahren, um verschiedene Soll-Wetter auf dieser Route zu erhalten. Wenn immer die gleiche Route befahren wird, werden möglichst alle Wetterbedingungen auf der Route einmal aufgenommen. Damit wird erreicht, dass möglichst alle Wetterbedingungen bei sonst gleichen Bedingungen aufgenommen werden. Damit wird das Lernen verbessert und die Klassifikation genauer. Vorzugsweise wird die Route wiederholt bei abgeschalteter Beleuchtung der Lichtlaufzeit-Kamera abgefahren.
-
Nach einem weiteren Aspekt der Erfindung ist der Klassifikator ein Random Forest Klassifikator, eine Support Vector Machine oder ein künstlich neuronales Netzwerk ist.
-
Random Forest ist ein Klassifikator umfassend unkorrelierte Entscheidungsbäume, die nach einer bestimmten Randomisierung während eines Lernprozesses wachsen. Für eine Klassifikation darf jeder Baum in diesem Wald eine Entscheidung treffen und die Klasse mit den meisten Stimmen entscheidet die endgültige Klassifikation. Vorteile des Random Forest sind insbesondere, dass er relativ schnell trainiert aufgrund kurzen Trainings- und/oder Aufbauzeiten eines einzelnen Entscheidungsbaums, dass Evaluierungen aufgrund mehrerer Bäume parallelisierbar sind und dass wichtige Klassen, wie zum Beispiel Regen, erkannt werden können.
-
Eine Support Vector Machine ist ein Klassifikator, die eine Menge von Objekten derart in Klassen unterteilt, dass um Klassengrenzen herum ein möglichst breiter Bereich frei von Objekten bleibt. Eine Support Vector Machine ist insbesondere bei wiederholtem Befahren ein und derselben Route von Vorteil.
-
Ein künstlich neuronales Netzwerk ist eine Ansammlung von einzelnen Informationsverarbeitungseinheiten, Neuronen genannt, die schichtweise in einer Netzarchitektur angeordnet sind. Zu Beginn des Trainings hat jedes Neuron ein zufälliges Anfangsgewicht. Trainingsdaten werden in das künstliche neuronale Netzwerk in einem sogenannten forward pass eingespeist. Jedes Neuron gewichtet seine EingangsSignale mit seinem Gewicht und gibt das Ergebnis weiter an Neuronen anderer Schichten. In der Ausgangsschicht wird das Gesamtergebnis berechnet. Der Unterschied zwischen Ist-Wetter und Soll-Wetter wird berechnet in einer Rückwärtsspeisung, dem sogenannten backward pass. Dabei wird auch der Anteil berechnet, den jedes Neuron an diesem Unterschied hat, und dann das Gewicht jedes Neurons in die Richtung verändert, die den Fehler minimiert. Der Unterschied ist eine Funktion der Gewichte. Der Unterschied zwischen Ist-Wetter und Soll-Wetter, ausgedrückt durch das Ergebnis des Klassifikators, wird durch eine Kostenfunktion bewertet. Bei der Rückwärtsspeisung wird der Gradient des Fehlers nach den einzelnen Gewichten rückwärtsgespeist. So weiß man, ob und wie stark sich der Unterschied zwischen Ist-Wetter und Soll-Wetter minimiert, wenn man das jeweilige Gewicht vergrößert oder verkleinert. Durch Minimierung des Unterschieds in der Trainingsphase, zum Beispiel mittels der Methode der kleinsten Quadrate, der aus der Informationstheorie bekannten Kreuz-Entropie oder dem Gradientenabstiegsverfahren, werden damit die Gewichte geändert. Dann erfolgt der nächste Durchlauf, eine erneute Messung des Fehlers und Anpassung der Gewichte und so weiter. Damit lernt das künstliche neuronale Netzwerk zunehmend besser, von den Trainingsdaten auf die bekannten Soll-Wetter zu schließen. Das künstliche neuronale Netzwerk ist zum Beispiel ein vollständig verbundenes Netzwerk, im Englischen als Fully Connected Network bezeichnet. In einem vollständig verbundenen Netzwerk ist jedes Neuron einer Schicht mit allen Neuronen der vorausgehenden Schicht verbunden. Jede Verbindung hat ihr eigenes Gewicht. Vorzugsweise ist das künstliche neuronale Netzwerk ein Fully Convolutional Network. In einem konvolutionalen neuronalen Netzwerk wird ein Filter auf eine Schicht von Neuronen unabhängig von der Position mit den gleichen Gewichten angewendet. Das konvolutionale neuronale Netzwerk umfasst mehrere Poolingschichten zwischen den konvolutionalen Schichten. Poolingschichten verändern die Dimension einer zweidimensionalen Schicht in Breite und Höhe. Poolingschichten werden auch für höherdimensionale Schichten verwendet. Alternativ umfasst das künstliche neuronale Netzwerk eine dem Fachmann bekannte rekurrente Struktur mit einem long short term memory Aufbau.
-
Nach einem weiteren Aspekt der Erfindung werden nach der Trainingsphase alle Gewichte als sogenannter checkpoint gespeichert. Das künstliche neuronale Netzwerk kann dann jederzeit mit diesen optimierten Gewichten erneut gestartet werden. Während das Training oft sehr rechenintensiv ist und insbesondere bei Bildern als Input Daten meist eine GPU oder einen GPU Cluster erfordert, ist der eigentliche Betrieb eines trainierten neuronalen Netzes deutlich schlanker und schneller und kann z.B. auch auf Mobilgeräten oder normalen Laptops/PCs nahezu in Echtzeit erfolgen. Ein fertig trainiertes künstliches neuronales Netz kann mit Hilfe des Checkpoints auch jederzeit mit neuen Daten nachtrainiert werden. Dazu werden initial die bestehenden Werte aus dem Checkpoint in das Netz geladen, und die neuen Daten zum Training verwendet. Die neuen Daten sind beispielsweise Aufnahmen von Fußgängern und/oder Fremdfahrzeugen in der Umgebung des Fahrzeuges mit entsprechenden Labels. Damit kann der Klassifikator auch lernen, Objekte, beispielsweise Fußgänger oder Fremdfahrzeuge, zu erkennen und zu klassifizieren. Es ist auch möglich, ein vortrainiertes neuronales Netz als Basis für das Training mit eigenen Daten zu verwenden, indem z.B. der letzte Layer eines mit sehr vielen Bildern trainierten Netzes durch einen eigenen neuen Layer ersetzt wird, etwa zur Klassifizierung von eigenen Objekten. Damit kann beispielsweise ein auf Objekterkennung bereits trainierter Klassifikator verwendet werden, der mit Wetterdaten antrainiert wird, um zusätzlich zur Objekterkennung auch das Wetter bestimmen zu können.
-
Das erfindungsgemäße Steuergerät für automatisierte Fahrfunktionen umfasst wenigstens eine erste Schnittstelle zu einer an einem Fahrzeug anbringbaren Lichtlaufzeit-Kamera. Mittels der ersten Schnittstelle werden Aufnahmen der Lichtlaufzeit-Kamera erhalten. Ferner umfasst das Steuergerät eine Recheneinheit. Die Recheneinheit ist ausgeführt, einen nach einem erfindungsgemäße Verfahren trainierten Klassifikator auszuführen, um jeweils ein Wetter in Abhängigkeit der Aufnahmen der Lichtlaufzeit-Kamera zu bestimmen und in Abhängigkeit des Wetters ein Signal für eine Mensch-Maschinen-Benutzungsschnittstelle und/oder ein Fahrzeugsteuerungssystem zu bestimmen. Außerdem umfasst das Steuergerät eine eine zweite Schnittstelle, um das Signal der Mensch-Maschinen-Benutzungsschnittstelle und/oder dem Fahrzeugsteuerungssystem bereitzustellen.
-
Ein Steuergerät bereitet die Daten von Sensoren als Eingangssignale auf, verarbeitet diese mittels einer Recheneinheit, beispielsweise einem FGPA oder ASIC Baustein oder einer Computerplattform, und stellt Logik- und/oder Leistungspegel als Regel- oder Steuersignale bereit. Das bestimmte Signal ist ein Regel- oder Steuersignal. Mit dem bestimmten Signal werden über die zweite Schnittstelle Mensch-Maschinen-Benutzungsschnittstellen, auch human machine interface, abgekürzt HMI, genannt, zum Beispiel Anzeigevorrichtungen eines Infotainmentsystems, und/oder Fahrzeugaktuatoren eines Fahrzeugsteuerungssystems, insbesondere Aktuatoren für Längs- und/oder Quersteuerung und/oder Sicherheitssysteme, geregelt und gesteuert, um einen an das jeweilige Wetter adaptierten automatisierten oder autonomen Fahrbetrieb zu ermöglichen. Damit wird die Sicherheit bei wetterbedingtem Fahren erhöht. Beispielsweise wird bei Niederschlag die maximale Fahrgeschwindigkeit automatisch limitiert und/oder Scheibenwischer des Fahrzeuges aktiviert. Das Steuergerät ist signaltechnisch mit der Lichtlaufzeit-Kamera über die erste Schnittstelle verbunden. Der Datenaustausch erfolgt kabelgebunden oder kabellos, zum Beispiel über Funktechnologie, beispielsweise über einen WLAN Standard. Das Steuergerät ist nach einem weiteren Aspekt der Erfindung in ein Bordnetz des Fahrzeuges integriert, beispielsweise in einen CAN-Bus. Das Steuergerät ist insbesondere ein elektronisches Steuergerät für automatisierte Fahrfunktionen, im Englischen Domain ECU genannt, insbesondere eine ADAS/AD Domain ECU für assistiertes bis vollautomatisiertes, das heißt autonomes, Fahren.
-
Die erste Schnittstelle ist insbesondere eine Schnittstelle zu einem gigabit multimedia serial link serializer deserializer integrierten Schaltkreis, auch als GMSL SerDes IC bekannt. Damit wird eine Hochgeschwindigkeitsschnittstelle bereitgestellt, um große Datenvolumina der Lichtlaufzeit-Kamera in relativ kurzer Zeit zu übertragen. Vorzugsweise ist die Lichtlaufzeit-Kamera über ein abgeschirmtes Kabel mit verdrillten Adernpaaren, ein sogenanntes shielded twisted pair Kabel, mit der ersten Schnittstelle verbunden. Derartige Kabel bieten Schutz gegen störende äußere elektromagnetische Felder.
-
Die Recheneinheit des Steuergeräts ist beispielsweise als ein System-on-a-Chip realisiert mit modularem Hardwarekonzept, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip integriert und können modular erweitert werden. Der Chip ist in das Steuergerät integrierbar. Die Recheneinheit umfasst beispielsweise einen Mehrkernprozessor und Speichermodule. Der Mehrkernprozessor ist für einen Signal-/Datenaustausch mit Speichermodulen konfiguriert. Beispielsweise umfasst der Mehrkernprozessor ein Bussystem. Die Speichermodule bilden den Arbeitsspeicher. Die Speichermodule sind beispielsweise RAM, DRAM SDRAM oder SRAM. Bei einem Mehrkernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halbleiterbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Rechenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Die Recheneinheit umfasst vorzugsweise wenigstens einen zentralen Verarbeitungsprozessor, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet. Die Recheneinheit umfasst auch wenigstens einen Grafikprozessor, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Insbesondere umfasst ein Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor-und/oder Matrixmultiplikationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning. Die Recheneinheit umfasst vorzugsweise auch Hardware Beschleuniger für künstliche Intelligenz, insbesondere sogenannte Deep Learning Accelerators. Ferner ist die Recheneinheit oder das Steuergerät konfiguriert, modular mit mehreren, vorzugsweise mindestens vier, derartiger Chips erweitert zu werden.
-
Nach einem weiteren Aspekt der Erfindung führt die Recheneinheit einen der vorausgehend genannten Klassifikatoren aus. Insbesondere führt die Recheneinheit ein entsprechend trainiertes künstliches neuronales Netzwerk aus.
-
Das erfindungsgemäße Überwachungssystem für ein Fahrzeug umfasst eine Lichtlaufzeit-Kamera und ein erfindungsgemäßes Steuergerät. Zwischen der Lichtlaufzeit-Kamera und dem Steuergerät erfolgt ein Datenaustausch. Die Recheneinheit des Steuergeräts ist zur Computer Vision ausgeführt, um Objekte in den Aufnahmen zu erkennen.
-
Das Überwachungssystem ist ein Innenraumüberwachungssystem oder ein Außenraumüberwachungssystem. Überwachungssysteme sind Sensorsysteme zur Lokalisation und/oder Klassifikation von beispielsweise Fahrzeuginsassen, Fußgängern oder Objekten im und/oder außerhalb des Fahrzeuges, beispielsweise Fußgänger oder Fremdfahrzeuge. Das Innenraumüberwachungssystem liefert insbesondere Daten für sicherheitsrelevante Aspekte, zum Beispiel mit welcher Kraft Airbags und/oder Gurtstraffer ausgelöst werden sollen in Abhängigkeit einer Position eines Fahrzeuginsassen oder Innenraumtemperaturen. Das Innenraumüberwachungssystem bestimmt auch den Einsatz weiterer adaptiver Sicherheitsfunktionen. Die Lichtlaufzeit-Kamera des Innenraumüberwachungssystems ist nach außen ausrichtbar, um auch Umgebungen außerhalb des Fahrzeuginnenraums aufzunehmen. Das Außenraumüberwachungssystem steuert aktive Sicherheitssysteme, zum Beispiel Bremsen.
-
Computer Vision beschäftigt sich damit, wie Recheneinheiten oder Computer ein High-Level Verständnis von Bildern oder Videodaten erhalten. High-Level Merkmale sind Merkmale, die ein Mensch aus einem Bild gewinnt. Betrachtet ein Mensch beispielsweise ein Bild einer Straßenszene, das einen eine Überquerung passierenden Fußgänger mit einem vor dem Fußgänger anhaltenden Fahrzeug zeigt, identifiziert der Mensch diese Szene als Fahrzeug hält an und wartet, bis Fußgänger die Überquerung passiert hat. Low-Level Merkmale sind Merkmale, die beispielsweise ein deterministischer Bildverarbeitungsalgorithmus aus dem Bild gewinnt, zum Beispiel der Verlauf von Kanten oder Punkten. Die Recheneinheit lernt die High-Level Merkmale. Insbesondere führt die Recheneinheit ein künstliches neuronales Netzwerk aus mit mehreren versteckten Schichten, sogenannten hidden layers. Beispielsweise erfasst eine erste dieser Schichten Kanten in dem Bild. Eine zweite dieser Schichten erfasst Kurven, die Umrisse des Körpers des Fußgängers sind. Eine dritte dieser Schichten erfasst den Fußgänger vollständig.
-
Das erfindungsgemäße Verfahren zum Bestimmen eines Wetters umfasst die Verfahrensschritte
- • Aufnehmen von Umgebungen eines Fahrzeuges während Fahrten des Fahrzeuges mit einer an dem Fahrzeug angebrachten Lichtlaufzeit-Kamera,
- • Messen der Helligkeiten dieser Aufnahmen mit der Lichtlaufzeit-Kamera und Bereitstellen dieser Messungen als Eingangsdaten für einen nach dem erfindungsgemäßen Verfahren trainierten Klassifikator und
- • Erhalten des Wetters aus Helligkeitsmessungen der Lichtlaufzeit-Kamera, wobei zur Durchführung des Verfahrens ein erfindungsgemäßes Steuergerät oder ein erfindungsgemäßes Überwachungssystem verwendet wird.
-
Das erfindungsgemäße Computerprogramm zum Bestimmen eines Wetters umfasst Befehle, die bewirken, dass ein erfindungsgemäßes Steuergerät oder ein erfindungsgemäßes Überwachungssystem ein erfindungsgemäßes Verfahren ausführt, wenn das Computerprogramm auf dem Steuergerät läuft. Die Befehle sind beispielsweise als Softwarecodeabschnitte realisiert.
-
Die Erfindung wird anhand der in den Figuren dargestellten Ausführungsbeispiele erläutert. Es zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum maschinellen Lernen eines Wetters und
- 2 ein Ausführungsbeispiel eines erfindungsgemäße Steuergeräts.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile.
-
Ein künstliches neuronales Netzwerk als Beispiel eines Klassifikators ANN wird gemäß dem in 1 gezeigten Verfahren trainiert, ein Wetter zu bestimmen. Zunächst werden während Fahrten eines Fahrzeuges Umgebungen des Fahrzeuges aufgenommen mit einer an dem Fahrzeug angebrachten Lichtlaufzeit-Kamera 10. Dabei ist eine Beleuchtungseinheit der Lichtlaufzeit-Kamera 10 ausgeschaltet, sodass Infrarot-Helligkeiten der Umgebungen erhalten werden. Anschließend oder parallel mit dem Vorgang der Aufnahme werden Helligkeiten der Aufnahmen mit der Lichtlaufzeit-Kamera 10 gemessen.
-
Die Helligkeitsmessungen werden als Ist-Trainingsdaten bereitgestellt. Die Aufnahmen werden in Abhängigkeit von dem mit der Aufnahme jeweils erfassten Wetter gelabelt. Die Label werden als Soll-Wetter bereitgestellt. Die Ist-Trainingsdaten werden in den Klassifikator ANN eingegeben. Der Klassifikator ANN berechnet Ist-Wetter. Die Ist-Wetter werden mit den dazugehörigen Soll-Wettern paarweise in den Klassifikator ANN eingegeben, um aus Helligkeitsmessungen der Lichtlaufzeit-Kamera 10 das Wetter zu erhalten.
-
Das in 2 gezeigte Überwachungssystem 30 ist beispielsweise ein Innenraumüberwachungssystem. Die Lichtlaufzeit-Kamera 10 des Überwachungssystems 30 ist auf einen Fahrzeugaußenraum gerichtet.
-
Das Überwachungssystem umfasst ein Steuergerät 20. Das Steuergerät 20 ist eine ADAS/AD Domain ECU.
-
Das Steuergerät 20 umfasst eine erste Schnittstell 21. Über die erste Schnittstelle 21 erhält das Steuergerät Aufnahmen der Lichtlaufzeit-Kamera 10. Die Aufnahmen umfassen Helligkeitsmessungen und Tiefeninformationen.
-
Das Steuergerät 20 umfasst auch eine Recheneinheit 22. Die Recheneinheit 22 führt als einen Klassifikator ANN ein künstliches neuronales Netzwerk aus. Das künstliche neuronale Netzwerk ist nach dem in 1 gezeigten Verfahren trainiert. Das künstliche neuronale Netzwerk ist beispielsweise ein fully connected Netzwerk mit einer Eingangsschicht, einer Ausgangsschicht und zwei hidden layers. Jedes Neuron N einer Schicht ist über Neuronenverbindungen mit jedem Neuron N der folgenden Schicht verbunden. Die Neuronenverbindungen werden mit Gewichten G gewichtet. Während dem Training stellt sich dabei eine Neuronenverbindung stärker oder schwächer als eine andere Neuronenverbindung ein. Das künstliche neuronale Netzwerk bestimmt ein Wetter aus der erhaltenen Helligkeitsmessung und berechnet ein entsprechendes Signal beispielsweise für eine Fahrzeugsteuerungseinrichtung. Das Signal wird der Fahrzeugsteuerungseinrichtung über eine zweite Schnittstelle 23 bereitgestellt. Beispielsweise wird bei klassifiziertem Schneewetter der Fahrzeugsteuerungseinrichtung das Signal bereitgestellt, die Fahrzeuggeschwindigkeit auf 80km/h zu limitieren.
-
Bezugszeichenliste
-
- 10
- Lichtlaufzeit-Kamera
- 20
- Steuergerät
- 21
- erste Schnittstelle
- 22
- Recheneinheit
- 23
- zweite Schnittstelle
- 30
- Überwachungssystem
- ANN
- Klassifikator
- N
- Neuron
- G
- Gewicht
