DE102017123002A1

DE102017123002A1 - Mehrfachsensor-niederschlagsklassifizierung vorrichtung und verfahren

Info

Publication number: DE102017123002A1
Application number: DE102017123002.5A
Authority: DE
Inventors: Ramchandra Ganesh Karandikar; Nikhil Nagraj Rao; Scott Vincent Myers; Francois Charette
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-10-06
Filing date: 2017-10-04
Publication date: 2018-04-19
Also published as: US20180099646A1; CN107918311B; US10427645B2; MX2017012904A; CN107918311A

Abstract

Es wird ein Fahrzeug offenbart, das Daten von unterschiedlichen Arten von Sensoren an Bord verwendet, um zu bestimmen, ob meteorologischer Niederschlag in der Nähe des Fahrzeugs fällt. Das Fahrzeug kann eine Kamera an Bord beinhalten, die Bilddaten aufnimmt, und einen Beschleunigungsmesser an Bord, der Beschleunigungsmesserdaten erfasst. Die Bilddaten können einen Bereich vor oder hinter dem Fahrzeug kennzeichnen. Die Beschleunigungsmesserdaten können Vibrationen einer Windschutzscheibe des Fahrzeugs kennzeichnen. Ein künstliches neuronales Netz kann eine Computer-Hardware ausführen, die an Bord des Fahrzeugs getragen wird. Das künstliche neuronale Netz kann trainiert werden, um meteorologischen Niederschlag in einer Umgebung des Fahrzeugs unter Verwendung der Bilddaten und der Beschleunigungsmesserdaten als Eingaben zu klassifizieren. Die Klassifizierungen des künstlichen neuronalen Netzes können verwendet werden, um eine oder mehrere Funktionen des Fahrzeugs zu steuern, wie z.°B. Windschutzscheibenwischergeschwindigkeits- oder Traktionssteuerungseinstellungen oder der gleichen.

Description

GEBIET DER ERFINDUNG
Die Erfindung betrifft Fahrzeugsysteme und insbesondere Systeme und Verfahren zum Entwickeln, Trainieren und Anwenden von Algorithmen für die Klassifizierung von meteorologischem Niederschlag oder bestimmten Effekten davon in einer Fahrumgebung.
HINTERGRUND DER ERFINDUNG
Regen und anderer meteorologischer Niederschlag können die Funktionalität von Fahrzeugen beeinflussen. Beispielsweise kann Regen die Traktion verringern, die Blendung verstärken, die Sicht beeinträchtigen oder Ähnliches. Dementsprechend werden ein Fahrzeugsystem und -verfahren zum Erkennen und Reagieren auf Regen und anderen meteorologischen Niederschlag benötigt.
Figurenliste
Um die Vorteile der Erfindung ohne Weiteres zu verstehen, wird eine genauere Beschreibung der oben kurz beschriebenen Erfindung durch Verweis auf spezifische Ausführungsformen, welche in den beigefügten Zeichnungen veranschaulicht sind, bereitgestellt. Unter der Kenntnisnahme, dass diese Zeichnungen lediglich typische Ausführungsformen der Erfindung darstellen und daher nicht als den Geltungsbereich beschränkend aufzufassen sind, wird die Erfindung mit zusätzlicher Genauigkeit und Ausführlichkeit durch die Verwendung der begleitenden Zeichnungen beschrieben und erläutert, wobei:

1 ein schematisches Blockdiagramm ist, das eine Ausführungsform eines Systems gemäß der vorliegenden Erfindung veranschaulicht, das an Bord eines Fahrzeugs getragen ist;
2 ein schematisches Blockdiagramm ist, das eine Ausführungsform eines Systems gemäß der vorliegenden Erfindung veranschaulicht;
3 ein schematisches Blockdiagramm einer Ausführungsform eines Trainingsverfahrens gemäß der vorliegenden Erfindung ist;
4 ein schematisches Blockdiagramm eines zweidimensionalen Raums ist, der in eine Mehrzahl von Klassen unterteilt ist, wobei jede Klasse einer anderen Niederschlagsbedingung entspricht;
5 ein schematisches Blockdiagramm einer Ausführungsform eines Niederschlagserkennungsverfahrens gemäß der vorliegenden Erfindung ist;
6 ein schematisches Blockdiagramm einer Ausführungsform eines Niederschlagserkennungsverfahrens gemäß der vorliegenden Erfindung ist; und
7 ein schematisches Blockdiagramm einer zweiten alternativen Ausführungsform eines Niederschlagserkennungsverfahrens gemäß der vorliegenden Erfindung ist.

DETAILLIERTE BESCHREIBUNG
Es versteht sich ohne Weiteres, dass die Komponenten der vorliegenden Erfindung, wie sie hierin allgemein beschrieben und in den Figuren veranschaulicht sind, in einer großen Bandbreite unterschiedlicher Konfigurationen angeordnet und gestaltet sein können. Somit ist die folgende detailliertere Beschreibung der Ausführungsformen der Erfindung, wie sie in den Figuren dargestellt ist, nicht als den Geltungsumfang der beanspruchten Erfindung einschränkend, sondern als rein repräsentativ für bestimmte Beispiele von gegenwärtig in Erwägung gezogenen Ausführungsformen gemäß der Erfindung zu verstehen. Die gegenwärtig beschriebenen Ausführungsformen werden am besten unter Bezugnahme auf die Zeichnungen verstanden, wobei gleiche Teile durchgängig mit gleichen Bezugszeichen bezeichnet sind.
In Bezug auf 1 stellt die reale Welt eine Reihe von Bedingungen und Hindernissen dar, die sich beständig ändern,. Diese Realität erzeugt wesentliche Herausforderungen für fahrzeugbasierte Systeme, die eine autonome Steuerung bestimmter Fahrzeugfunktionen oder -dynamik und/oder autonomes Fahren bereitstellen. Um diese Herausforderungen zu überwinden, kann ein Fahrzeug 10 mit Sensoren ausgestattet sein, die Systemen davon ermöglichen, eine Umgebung und/oder die Auswirkungen der Umgebung auf das Fahrzeug 10 zu erfassen (und daher angemessen darauf zu reagieren). Darüber hinaus kann ein Fahrzeug 10 so mit einem vielfältigen Satz von Sensoren ausgestattet sein, dass die Schwäche oder „blinde Flecken“ von einem Sensor durch einen oder mehrere andere Sensoren abgedeckt oder verbessert werden können.
Beispielsweise kann ein System 12 gemäß der vorliegenden Erfindung einen oder mehrere Bildsensoren 14 beinhalten. Die Ausgabe solcher Sensoren 14 kann sehr nützlich bei der Klassifizierung von meteorologischem Niederschlag in einem Bereich um ein, oder in der Nähe eines Fahrzeugs 10 sein. Einer oder mehrere Bildsensoren 14 des Systems 12 können jedoch nicht alle Aspekte des meteorologischen Niederschlags kennzeichnen. Dementsprechend kann das System 12 einen oder mehrere andere Sensoren 16 beinhalten, die andere Aspekte von meteorologischem Niederschlag kennzeichnen. Durch die Verwendung der Daten von unterschiedlichen Arten von Sensoren 14, 16 kann ein System 12 gemäß der vorliegenden Erfindung robuster und genauer in seinen Klassifizierungen von meteorologischem Niederschlag sein.
In ausgewählten Ausführungsformen kann ein System 12 durch einen oder mehrere an Bord eines Fahrzeugs 10 getragene Bildsensoren 14 gesammelte oder erfasste Daten analysieren. Solche Bildsensoren 14 können eine oder mehrere Kameras, Lidar-Geräte, Radargeräte, Ultraschallabbildungsvorrichtungen oder dergleichen, oder Kombinationen oder Unterkombinationen davon beinhalten. Einer oder mehrere Bildsensoren 14 können vorwärts weisende Bildsensoren 14a, rückwärts weisende Bildsensoren 14b (z.°B. eine oder mehrere Rückfahrkameras), Fahrgastraum-Bildsensoren 14c (z.°B. eine oder mehrere Kameras, die einen Innenraum oder Fahrerblickpunkt und/oder durch eine Windschutzscheibe aufnehmen) oder dergleichen, oder eine Kombination oder Unterkombination davon sein.
In bestimmten Ausführungsformen können Lidar-, Kamera-, Radar, Ton- und vorherige Karten mit hoher Auflösung oder dergleichen von einem oder mehreren Bildsensoren 14 (z.°B. einer oder mehrere vorwärts weisende Bildsensoren 14a) fusioniert sein, um die Vorhersage der Niederschlagsintensität oder -rate zu ermöglichen sowie auch, wann eine entsprechende Sturmfront ein Fahrzeug 10 erreichen kann. Dies kann ein Feed-Forward-System aktivieren, das nicht warten muss, bis die Sicht eines Fahrers beeinträchtigt ist, sodass er einen oder mehrere Scheibenwischer einschaltet. Es kann auch eine bessere Schätzung der gewünschten Wischergeschwindigkeit bereitstellen. Alternativ oder zusätzlich dazu können Vorhersagen, wann eine entsprechende Sturmfront ein Fahrzeug 10 erreichen kann, zum Bereitstellen von Warnungen für einen entsprechenden Fahrer verwendet werden, und um für autonome Fahrzeuge einen Impuls zum Ändern einer Fahrtroute zugunsten einer oder mehrerer potenziell sichererer Routen bereitzustellen.
Die von einem oder mehreren Bildsensoren 14 erfassten (z.°B. Video) Bilddaten können durch ein System 12 als Einzelbilder oder Frames verarbeitet werden. Beispielsweise können einem künstlichen neuronalen Netz in einem System 12 durch einen oder mehrere Bildsensoren 14 erfasste Bilder oder Frames zugeführt werden. Dementsprechend kann das künstliche neuronale Netz solche Bilder oder Frames in Betracht ziehen, da es bestimmt, welche Klasse (z.°B. welche Niederschlagsbedingung einem geschlossenen Satz von Niederschlagsbedingungen entspricht) hierin dargestellt wird.
In ausgewählten Ausführungsformen kann ein künstliches neuronales Netz mit einem System 12 gemäß der vorliegenden Erfindung mehrere aufeinanderfolgende Bilder analysieren, die von einem Bildsensor 14 über einen kurzen Zeitraum (z.°B. mehrere Bilder, die über einen Zeitraum von wenigen Sekunden erfasst werden) erfasst werden. Wenn eine signifikante Mehrheit der Bilder eine erste Niederschlagsbedingung anzeigt (z.°B. Regen, der an oder nahe einer bestimmten Niederschlagsrate fällt), kann es wahrscheinlicher sein, dass ein System 12. das von der Analyse von Daten entsprechend einem oder mehreren anderen Sensoren 16 abhängig ist, bestimmt, dass die erste Niederschlagsbedingung 10 in der Umgebung des Fahrzeugs 10 vorhanden ist.
Andere, innerhalb des Systems 12 beinhaltete Sensoren 16 gemäß der vorliegenden Erfindung können einen oder mehrere Beschleunigungsmesser beinhalten (z.°B. einen oder mehrere Beschleunigungsmesser 16a, die zum Überwachen und Kennzeichnen von Vibrationen einer Windschutzscheibe eines Fahrzeugs 10 positioniert sind, die die Art und/oder Menge von meteorologischem Niederschlag angeben können, der auf das Fahrzeug 10 auftrifft), einer oder mehrere Antriebsstrangsensoren (z.°B. einer oder mehrere Sensoren 16b, die zum Überwachen und Kennzeichnen von Radschlupf, Reibungseingriff zwischen einem oder mehreren Reifen einer Fahrfläche oder dergleichen positioniert sind), einer oder mehrere Temperatursensoren (z.°B. einer oder mehrere Thermometer, die die Außentemperatur messen, die die Art des meteorologischen Niederschlags angibt, der auf das Fahrzeug 10 auftrifft), einer oder mehrere Drucksensoren (z.°B. einer oder mehrere Drucksensoren auf einer Windschutzscheibe, einem Fenster oder einer anderen Struktur eines Fahrzeugs 10 zum Überwachen oder Kennzeichnen der Windgeschwindigkeit, die verwendet werden kann, um eine bessere Handhabung von Fahrzeugen 10 bereitzustellen, die autonom sind), ein Tachometer oder dergleichen, oder eine Kombination oder Unterkombination davon. Dementsprechend kann ein künstliches neuronales Netz als eine Eingabe die von einem oder mehreren solcher Sensoren 16 abgeleiteten Signale oder Daten empfangen. Somit können die durch ein künstliches neuronales Netz hergestellten Klassifizierungen robust und präzise sein, da sie auf Daten basieren, die von einem oder mehreren Bildsensoren 14 und einem oder mehreren Nicht-Bildsensoren 16 gesammelt werden oder diesen entsprechen.
In bestimmten Ausführungsformen können die durch ein künstliches neuronales Netz ausgeführten Klassifizierungen in Echtzeit mit dem Erfassen der Sensordaten auftreten, worauf die Klassifizierung basiert. Das heißt, ein künstliches neuronales Netz kann die Übereinstimmung bestimmter Sensordaten (z.°B. Bilddaten, Beschleunigungssensordaten, Radschlupf oder Reibungsdaten, Temperaturdaten, Windgeschwindigkeitsdaten, Fahrzeuggeschwindigkeitsdaten oder dergleichen, oder eine Kombination oder Unterkombination davon) zu einer oder mehreren Klassen innerhalb einer sehr kurzen Zeit nach dem Erfassen der bestimmten Sensordaten von den bestimmten Sensoren 14, 16 quantifizieren, die einen Teil eines Systems 12 ausbilden. In ausgewählten Ausführungsformen kann der sehr kurze Zeitraum etwa 10 Sekunden oder weniger betragen.
In ausgewählten Ausführungsformen können Klassifizierungen oder Informationen, die Klassifizierungen kennzeichnen, von einem System 12 an Bord eines Fahrzeugs 10 an eine Hardware weitergeleitet oder übermittelt werden, die außerhalb des Fahrzeugs 10 positioniert ist. Das heißt, dass Klassifizierungsinformationen übergeben werden von Fahrzeug-zu-Fahrzeug (V2V), Fahrzeug-zu-Infrastruktur (V2I), Fahrzeug-zu-Allem (V2X) oder dergleichen, oder eine Kombination oder Unterkombination davon. Beispielsweise können durch ein System 12 an Bord eines Fahrzeugs 10a erzeugte Klassifizierungsinformationen zu einem oder mehreren Fahrzeugen 10b in der Nähe weitergeleitet werden. Dementsprechend können Klassifizierungen, die auf einem Fahrzeug 10a gemacht wurden (z.°B. ganz übernommen oder berücksichtigt), von Systemen 12 an Bord eines oder mehrerer anderer Fahrzeuge 10b verwendet werden.
In ausgewählten Ausführungsformen können Klassifizierungsinformationen direkt von einem Fahrzeug 10a an ein anderes Fahrzeug 10b (z.°B. über eine Funkübertragung) weitergeleitet 18 werden. Alternativ können Klassifizierungsinformationen möglicherweise durch ein System 12 an Bord eines Fahrzeugs 10a einem Kommunikationssystem 22 (z.°B. ein System 22, das eine stationäre Telekommunikations-Kommunikationsinfrastruktur umfasst) zugeführt 20 werden. Beispielsweise kann ein System 12 Klassifizierungsinformationen einem Mobiltelefonnetz durch Senden von einem oder mehreren Signalen zu einem nahe gelegenen Mobilfunkturm 24a zuführen 20. In ausgewählten Ausführungsformen können durch ein System 12 zugeführte 20 Klassifizierungsinformationen durch ein Kommunikationssystem 22 geleitet, und entsprechenden Systemen 12 von einem oder mehreren anderen Fahrzeugen 10b zugeführt werden. Alternativ können einem Kommunikationssystem 22 durch ein System 12 zugeführte 20 Klassifizierungsinformationen einem Computersystem 30 zugeführt 28 werden, durch das Computersystem 30 verarbeitet werden, durch das Computersystem 30 erneut dem Kommunikationssystem 22 zugeführt 32 werden, und entsprechenden Systemen 12 von einem oder mehreren anderen Fahrzeugen 10b zugeführt 26 werden.
Beispielsweise kann in ausgewählten Ausführungsformen ein Kommunikationssystem 18 ein Mobiltelefonnetz beinhalten, das einen ersten Mobilfunkturm 24a umfasst, der in der Nähe eines ersten Fahrzeugs 10a positioniert ist, einen zweiten Mobilfunkturm 24b, der in der Nähe eines zweiten Fahrzeugs 10b positioniert ist, und ein Netz 34, das den ersten Mobilfunkturm 24b mit dem zweiten Mobilfunkturm 24b verbindet. Ein Computersystem 30 kann auch mit dem Netz 34 verbunden sein. Dementsprechend können Klassifizierungsinformationen 20, die durch ein System 12 dem Mobiltelefonnetz zugeführt 20 werden, das dem ersten Fahrzeug 10a entspricht, möglicherweise durch das Computersystem 30 empfangen werden, sodass sie aufgezeichnet, verarbeitet, auf eines oder mehrere andere Fahrzeuge 10b verteilt werden können, oder dergleichen oder eine Kombination oder Unterkombination davon.
In ausgewählten Ausführungsformen kann die durch ein System 12 gemäß der vorliegenden Erfindung ausgeführte Klassifizierung agnostisch gegenüber einem bestimmten Merkmal sein, das in dem einen oder den mehreren Bildern enthalten ist, die von einem Bildsensor 14 erfasst werden, oder Sensordaten, die von einem oder mehreren anderen Sensoren 16 erfasst werden. Das heißt, dass ein künstliches neuronales Netz innerhalb eines Systems 12 nicht Daten entsprechend den unterschiedlichen Sensoren 14, 16 für ein bestimmtes Merkmal suchen kann. Vielmehr kann ein künstliches neuronales Netz beurteilen, ob die dadurch empfangenen Sensordaten als Ganzes genommen bezeichnender für eine Klasse oder eine andere sind.
Dieser Agnostizismus eines Systems 12 gemäß der vorliegenden Erfindung kann erhebliche Vorteile bieten. Beispielsweise kann jedes Bild in seinem „Ist“-Zustand geprüft oder analysiert werden. Das heißt, dass möglicherweise kein Bedarf für eine Bildvorverarbeitung für ein System 12 besteht, damit es korrekt funktioniert. Ferner ist nicht zwangsläufig eine zusätzliche Kalibrierung erforderlich. Zudem kann ein künstliches neuronales Netz eines oder mehrere Bilder in seinem Klassifizierungsverfahren ohne Rücksicht darauf verwenden, ob ein Bildsensor 14, der das eine oder die mehreren Bilder erfasst hat, an einer exakten Stelle fixiert war, mehr zum Himmel zeigte, mehr zur Straße zeigte, mehr nach vorn zeigte, mehr nach hinten zeigte oder dergleichen.
Unter Bezugnahme auf 2 kann ein System 12 gemäß der vorliegenden Erfindung die Klassifizierung von meteorologischem Niederschlag unter Verwendung von tiefem Lernen beinhalten oder unterstützen. Ein System 12 kann dies in jeder geeigneten Weise erreichen. Beispielsweise kann ein System 12 als Hardware, Software oder eine Kombination davon ausgeführt sein.
In ausgewählten Ausführungsformen kann ein System 12 Computer-Hardware und Computer-Software beinhalten. Die Computer-Hardware eines Systems 12 kann einen oder mehrere Prozessoren 36, einen Speicher 38, eine oder mehrere Benutzerschnittstellen 40, andere Hardware 42 oder Ähnliches oder eine Kombination oder Unterkombination davon beinhalten. In bestimmten Ausführungsformen können alle oder einige Untergruppen dieser Computer-Hardware Hardware sein, die bereits als Teil eines Fahrzeugs 10 beinhaltet ist. Das heißt, dass die Gesamtheit oder ein Teil der Computer-Hardware multifunktionell sein, und Aufgaben ausführen kann, die bereits dem Betrieb des Fahrzeugs 10 zugeordnet sind.
Der Speicher 38 eines Systems 12 gemäß der vorliegenden Erfindung kann betriebsfähig mit dem einen oder den mehreren Prozessoren 36 verbunden sein, und die Computer-Software speichern. Dies kann den einen oder die mehreren Prozessoren 36 dazu befähigen, die Computer-Software auszuführen. So kann ein System 12 die Funktionalität oder die Merkmale eines Fahrzeugs 10 durch Hinzufügen und/oder Ändern von Software, Hinzufügen von zusätzlicher Software zu dem Fahrzeug 10 oder eine Kombination davon erweitern.
Eine Benutzerschnittstelle 40 eines Systems 12 kann einen Ingenieur, einen Techniker, Fahrer oder dergleichen dazu befähigen, mit unterschiedlichen Aspekten eines Systems 12 zu interagieren, sie auszuführen, anzupassen oder sie zu steuern. In ausgewählten Ausführungsformen kann eine Benutzerschnittstelle 40 eines Systems 12 eines/eine/ein oder mehrere Tastenfelder, Tastaturen, Touchscreens, Zeigevorrichtungen oder Ähnliches, oder eine Kombination oder Unterkombination davon beinhalten. Alternativ oder zusätzlich dazu kann eine Benutzeroberfläche 40 einen Anschluss umfassen, durch den der eine oder die mehreren externen Computer mit einem System 12 kommunizieren können, oder eine oder mehrere Komponenten davon.
In ausgewählten Ausführungsformen kann der Speicher 38 eines Systems 12 (mindestens zeitweise) Sensordaten 44 (z.°B. eines oder mehrere Segmente der Signalausgabe von einem oder mehreren Sensoren 16, die an Bord eines Fahrzeugs 10 getragen werden), Video 46 (z.°B. eine oder mehrere Videodateien 46), die von einem oder mehreren Bildsensoren 14 gesammelt werden, die an Bord eines Fahrzeugs 10 getragen werden, eine oder mehrere Bilddateien 48, die eines oder mehrere Bilder enthalten, definieren oder diesen entsprechen, die von einem oder mehreren Bildsensoren 14 erfasst oder von einem Video extrahiert werden, das von einem oder mehreren Bildsensoren 14 oder dergleichen erfasst wird, oder eine Kombination oder Unterkombination davon.
Zusätzlich kann der Speicher 38 eines oder mehrere Software-Module speichern. Beispielsweise kann der Speicher 38 ein Filtermodul 50, Kommunikationsmodul 52, Bildextraktionsmodul 54, neuronales Netzmodul 56, Rückmeldemodul 58, andere Daten oder Software 60, oder dergleichen oder eine Kombination oder Unterkombinationen davon sein. Alternativ können eines oder mehrere von dem Filtermodul 50, Kommunikationsmodul 52, Bildextraktionsmodul 54, neuronalen Netzmodul 56 und Rückmeldemodul 58 als Hardware ausgeführt sein oder Hardware-Komponenten umfassen. Somit können, obwohl 2 das Filtermodul 50, Kommunikationsmodul 52, Bildextraktionsmodul 54, das neuronale Netzmodul 56 und das Rückmeldemodul 58 als reines Software-Modul darstellt, in der Tat eines oder mehrere dieser Module 50, 53, 54, 56, 58, die im Speicher 38 gespeichert sind, Hardware, Software oder eine Kombination davon umfassen.
Ein Filtermodul 50 kann einem System 12 das Filtern von Signalausgaben durch einen oder mehrere Sensoren 14, 16 je nach Wunsch oder Notwendigkeit ermöglichen. Beispielsweise kann die Signalausgabe von einem Beschleunigungsmesser 16a, der die Vibrationen einer Windschutzscheibe überwacht, laut sein. Dementsprechend kann das Filtermodul 50 das Signal filtern, um die Extraktion nützlicher Daten davon zu erleichtern. In ausgewählten Ausführungsformen kann ein Filtermodul 50 einen Tiefpassfilter die Signalausgabe von einem oder mehreren Beschleunigungsmessern (z.°B. einer oder mehrere Beschleunigungsmesser 16a, die auf einer Windschutzscheibe montiert sind und/oder die Vibrationen der Windschutzscheibe überwachen) zum Lokalisieren und Trennen der Variation bei Vibrationen anwenden, die durch meteorologische Niederschläge verursacht sind, die auf das entsprechende Fahrzeug 10 auftreffen.
Ein Kommunikationsmodul 52 kann es Daten, wie z.°B. einem oder mehreren Segmenten der Sensordaten 44, Videodateien 46, Bilddateien 48, Software-Komponenten (z.°B. eines oder mehrere Module 50, 52, 554, 56, 58 oder Updates dazu), Klassifizierungen (z.°B. Klassifizierungsinformationsausgaben durch das künstliche neuronale Netz eines Systems 12) oder dergleichen, oder Kombinationen von Unterkombinationen davon, in ein System 12 gemäß der vorliegenden Erfindung hinein oder daraus heraus weitergeleitet zu werden (z.°B. weiterzuleiten 18, 20, 26 mittels Funkwellen). Beispielsweise kann ein Kommunikationsmodul 52, das Teil eines an Bord eines Fahrzeugs 10b getragenen Systems 12 ist, ermöglichen, dass das System 12 von einem anderen Fahrzeug 10a erzeugte Klassifizierungsinformationen empfängt. Alternativ oder zusätzlich dazu kann ein Kommunikationsmodul 52 einem System 12 ermöglichen, eine Aktualisierung für sein neuronales Netzmodul 56 zu empfangen. Dementsprechend können außerhalb eines Fahrzeugs 10 entwickelte Verbesserungen an Bord gebracht werden, wie gewünscht oder notwendig.
Ein Bildextraktionsmodul 54 kann eines oder mehrere Bilder von Videos extrahieren, die von einem oder mehreren Bildsensoren 14 erfasst werden. Beispielsweise kann ein Bildextraktionsmodul 54 eines oder mehrere Bilder (z.°B. mehrere Bilder, die über einen Zeitraum von einigen Sekunden oder weniger erfasst werden) von einer Videodatei 46 extrahieren, die im Speicher 38 gespeichert ist, von einem Video, das von einem Bildsensor 14 ausgegeben wird, oder dergleichen. In ausgewählten Ausführungsformen kann ein Bildextraktionsmodul 54 eines oder mehrere Bilder speichern, die dadurch als Bilddateien 48 im Speicher 38 extrahiert werden.
Ein neuronales Netzmodul 56 kann ein künstliches neuronales Netz beinhalten oder unterstützen, das programmiert ist, um tiefes Lernen auszuführen oder anzuwenden. Das durch ein künstliches neuronales Netz ausgeführte oder angewandte tiefe Lernen kann einen oder mehrere Algorithmen verwenden, um Abstraktionen auf hoher Ebene in Daten entsprechend einem oder mehreren Bildern, anderen Sensordaten und/oder Kombinationen davon zu modellieren, die von den unterschiedlichen Sensoren 14, 16 eines Systems 12 gemäß der vorliegenden Erfindung gesammelt werden. In ausgewählten Ausführungsformen kann dies durch Verwenden mehrerer Verarbeitungsschichten erfolgen, die nichtlineare Transformationen umfassen.
Beispielsweise kann ein künstliches neuronales Netz, das einem neuronalen Netzmodul 56 entspricht, aufgeschaltete algorithmische Graphen mit Eingabeknoten, verborgenen Schichten und Ausgabeknoten umfassen. Nach Klassifizierungen, die Bilder beinhalten, können Pixelwerte eines eingegebenen Bildes, das einen Teil der Klassifizierung ausbildet, Eingabeknoten zugewiesen werden, und dann durch das Netz zugeführt werden, wobei eine Anzahl von nichtlinearen Transformationen durchlaufen wird. Am Ende der Berechnung ergeben die Ausgangsknoten einen Wert, der der Klasse entspricht, die von dem neuronalen Netz gefolgert wird.
Damit ein künstliches neuronales Netz, das einem neuronalen Netzmodul 56 entspricht, zwischen unterschiedlichen Klassen von meteorologischem Niederschlag unterscheiden kann, muss es basierend auf Beispielen trainiert werden. Dementsprechend muss zum Erstellen eines neuronalen Netzes, das in der Lage ist, eine Vielzahl von unterschiedlichen Arten und/oder Ebenen des meteorologischen Niederschlags zu klassifizieren, eine große Sammlung von beispielhaften Bildern und anderen Sensordaten (z.°B. Hunderte bis Tausende für jede Art und/oder jedes Niveau) verwendet werden, die bekannte (z.°B. gekennzeichnete) Niederschlagsbedingungen als Trainingsdaten aufweisen. So kann unter Verwendung von Zurückverteilung ein neuronales Netz trainiert werden.
Einmal trainiert, kann ein neuronales Netz, das einem neuronalen Netzmodul 56 entspricht, eine oder mehrere Eingaben (z.°B. Datenausgabe von, oder entsprechend einem oder mehreren Sensoren 14, 16) empfangen und diese Eingaben dahingehend klassifizieren, dass sie eine bestimmte numerische Affinität (z.°B. Prozentsatz „Punktzahl“) für jede Klasse aufweisen, für die das künstliche neuronale Netz trainiert wurde. Dementsprechend, wenn ein neuronales Netz auf zwanzig unterschiedliche Klassen von meteorologischem Niederschlag trainiert wird, dann kann das künstliche neuronale Netz zwanzig numerische Punktzahlen für eine oder mehrere Eingaben ausgeben. Jede dieser Punktzahlen kann bezeichnend für die Affinität der einen oder mehreren Eingaben (oder der physischen Realität sein, die durch eine oder mehrere Eingaben widergespiegelt wird) zu einer anderen Klasse von meteorologischem Niederschlag sein.
In einer entscheidenden oder klaren Klassifizierung können eine oder mehrere Eingaben eine starke Affinität zu einer Klasse von meteorologischem Niederschlag und schwache Affinität gegenüber allen anderen Klassen von meteorologischem Niederschlag zeigen. Bei einer nicht entscheidenden oder unklaren Klassifizierung können eine oder mehrere Eingaben keine bevorzugte Affinität gegenüber einer bestimmten Klasse von meteorologischem Niederschlag zeigen. Beispielsweise kann eine „Spitzen“-Punktzahl für eine bestimmte Klasse vorhanden sein, aber das Ergebnis kann in der Nähe von anderen Punktzahlen für andere Klassen liegen.
Dementsprechend kann ein neuronales Netzmodul 56 in ausgewählten Ausführungsformen einen oder mehrere Schwellenwertvergleiche oder Tests anwenden, um zu bestimmen, ob eine bestimmte Klassifizierung ausreichend entscheidend oder klar ist, damit darauf reagiert oder gebaut werden kann (z.°B. ob die Klassifizierung ausreichend entscheidend oder klar ist, um einige Funktionen eines Fahrzeugs 10 zur besseren Vorbereitung des Fahrzeugs 10 zur Bekämpfung der Auswirkungen des vorhergesagten oder wahrgenommenen meteorologischen Niederschlags zu verändern). Beispielsweise kann ein neuronales Netzmodul 56 eine Klassifizierung testen, um zu sehen, ob die Trennung zwischen einer Spitzenpunktzahl und allen anderen Punktzahlen einen bestimmten Trennungsschwellenwert erfüllt.
In bestimmten Ausführungsformen kann ein sich ausbildendes künstliches neuronales Netz, das unterstützt wird durch, oder in einem neuronalen Netzmodul 56 beinhaltet ist, an Bord eines Fahrzeugs 10 in einem Trainingsmodus oder einem Implementierungsmodus arbeiten. Im Trainingsmodus kann das künstliche neuronale Netz mit mehreren Trainingsbildern oder Sensordaten trainieren, die bekannten Klassen von meteorologischem Niederschlag entsprechen. Im Implementierungsmodus kann das künstliche neuronale Netz Bilddaten von einem oder mehreren Bildsensoren 14 (z.°B. ein einzelnes Bild, mehrere Bilder oder mehrere aufeinanderfolgende Bilder, die aus von einer Kamera aufgenommenen Videos extrahiert werden) und/oder Sensordaten analysieren, die durch einen oder mehrere Sensoren 16 erzeugt werden oder diesen entsprechen, um eine entsprechende Umgebung, die ein Fahrzeug 10 umgibt, dahingehend zu klassifizieren, dass sie sich in einer Niederschlagsbedingung oder einer anderen für einen Zeitraum befindet (z.°B. bis ein Bild und/oder Sensordaten klassifiziert werden, oder über einen Zeitraum von etwa 1 Sekunde, 3 Sekunden, 5 Sekunden, 10 Sekunden oder dergleichen).
Dementsprechend kann ein neuronales Netz, das einem neuronalen Netzmodul 56 entspricht, trainiert werden, während es innerhalb oder auf der Hardware eines Systems 12 betrieben wird, die an Bord als Teil der Ausrüstung von einem Serienfahrzeug 10 serienmäßig oder optional getragen wird. Alternativ kann ein neuronales Netz, das einem neuronalen Netzmodul 56 entspricht, während des Betriebs innerhalb oder auf der Hardware eines Nicht-Produktionssystems 12 (z.°B. ein bordexternes System 12 in einem Computerlabor, einem Nicht-Produktionssystem 12, das an Bord eines Versuchsfahrzeugs 10 speziell für die Zwecke des Trainings ausgeführt wird, und dergleichen), dann „geklont“ oder anderweitig kopiert oder in ein Produktionssystem 12 importiert werden, das einen Teil eines Serienfahrzeugs 10 ausbildet.
In bestimmten Ausführungsformen kann ein neuronales Netzmodul 56 ein einzelnes künstliches neuronales Allzwecknetz beinhalten oder unterstützen. Das künstliche neuronale Allzwecknetz kann alle verfügbaren oder gewünschten Eingaben (z.°B. alle Daten von Bildsensoren 14 und anderen Nicht-Bildsensoren 16) und Ausgaben aller Affinitätspunktzahlen für alle unterschiedlichen Klassen von meteorologischen Niederschlägen empfangen. In anderen Ausführungsformen kann jedoch ein neuronales Netzmodul 56 mehrere jobspezifische künstliche neuronale Netze oder eines oder mehrere künstliche neuronale Netze umfassen, beinhalten oder unterstützen, die weniger als alle verfügbaren Eingaben verarbeiten. Beispielsweise kann in bestimmten Ausführungsformen ein erstes bildspezifisches künstliches neuronales Netz Bilddaten entsprechend einem oder mehreren Bildsensoren 14 klassifizieren, während eines oder mehrere andere Verarbeitungssysteme oder Verfahren auf Beschleunigungsmesserdaten und/oder Daten von einem oder mehreren anderen Sensoren 16 angewandt werden können. So kann der Vorgang der Analyse und Klassifizierung durch ein neuronales Netzmodul 56 unter einem oder mehreren künstlichen neuronalen Netzen, anderen Verarbeitungs- oder Analysesystemen oder Kombinationen davon aufgeteilt werden.
In ausgewählten Ausführungsformen kann ein Rückmeldemodul 58 innerhalb eines Systems 12 beinhaltet sein, um das Trainieren eines neuronalen Netzes, das einem neuronalen Netzmodul 56 entspricht, an Bord zu unterstützen oder zu ermöglichen. Ein Rückmeldemodul 58 kann Informationen für ein neuronales Netzmodul 56 bereitstellen, die angeben, welche Klasse oder Bedingung welchen Sensordaten entspricht. Daher kann ein Rückmeldemodul 58 einem System 12 ermöglichen, Trainingsdaten zum Trainieren (oder Verbessern des Trainings) eines entsprechenden künstlichen neuronalen Netzes zu verbessern.
Das heißt, dass zum Trainieren eines künstlichen neuronalen Netzes Trainingsdaten einer bekannten Klasse durch das künstliche neuronale Netz analysiert werden. Es kann nicht genügend für ein System 12 sein, wenn Sensordaten von einem oder mehreren integrierten Sensoren 14, 16 an Bord gesammelt werden. Das System 12 muss möglicherweise auch wissen, welche dieser Sensordaten einer Klasse entsprechen und welche einer anderen entsprechen. Diese zusätzlichen Informationen können von einem Rückmeldemodul 58 gesammelt und bereitgestellt werden.
Beispielsweise kann ein Rückmeldemodul 58 bemerken, wenn ein menschlicher Fahrer die Scheibenwischer einschaltet, da dies einen Regenzustand angeben kann. Dementsprechend können Sensordaten an oder in der Nähe einer Zeit gesammelt oder erfasst werden, wenn es von einem Fahrer „bekannt“ sein kann, dass er die Scheibenwischer eingeschaltet hat, um einem Regenzustand zu entsprechen. Auf ähnliche Weise kann ein Rückmeldemodul 58 bemerken, wenn ein menschlicher Fahrer einen Strahl von Windschutzscheibenwaschfluid aktiviert, da dies einen Straßenspritzwasserzustand angeben kann. Dementsprechend können Sensordaten, die an oder in der Nähe einer Zeit gesammelt oder erfasst wurden, wenn der Strahl des Windschutzscheibenwaschfluids von einem Fahrer eingeschaltet wurde, „bekannt“ dafür sein, dass sie einem Straßenspritzwasserzustand entsprechen.“
In ausgewählten Ausführungsformen können mehrere Funktionen oder Fakten von einem Rückmeldemodul 58 überwacht werden, um Informationen zu sammeln, die einen aktuellen Zustand angeben. Beispielsweise kann anstatt nur festzustellen, wenn ein Fahrer die Scheibenwischer einschaltet, ein Rückmeldemodul 58 bemerken, wenn der Fahrer die Scheibenwischer einschaltet, ohne die Strahlen des Windschutzscheibenwaschfluids ebenfalls zu aktivieren. Letzteres kann Regen in der Umgebung um ein Fahrzeug 10 genauer als das erstere zugeordnet werden.
Andere Daten und/oder Software 60, die einem System 12 entsprechen, können den Betrieb dieses Systems 12 wie gewünscht oder notwendig unterstützen. In bestimmten Ausführungsformen kann andere Software 60 ein Steuermodul beinhalten, um eine oder mehrere Maßnahmen oder Funktionen basierend auf den durch ein neuronales Netzmodul 56 bestimmten Klassifikationen anzufordern, zu initiieren oder zu implementieren. Wenn beispielsweise ein neuronales Netzmodul 56 basierend auf bestimmten Sensordaten bestimmt, dass es bei einer bestimmten Niederschlagsrate regnet, kann ein Steuermodul Änderungen wie beispielsweise das Aktivieren bestimmter Wischerblätter oder Leuchten, Ändern (z.°B. Erhöhen oder Verringern) einer Geschwindigkeit von bestimmten Wischerblättern anfordern, initiieren oder implementieren, bestimmte Traktionssteuerungseinstellungen ändern oder auf andere Art ein entsprechendes Fahrzeug 10 darauf vorbereiten, mit Problemen mit dieser bestimmten Regenbedingung umzugehen.
Mit Bezug auf 3 kann ein bordexternes System 12 in einem Computerlabor, ein Nicht-Produktionssystem 12, das speziell für die Zwecke des Trainings an Bord eines Testfahrzeugs 10 getragen wird, oder dergleichen, einen Trainingsprozess 62 gemäß der vorliegenden Erfindung unterstützen, ermöglichen oder ausführen. In ausgewählten Ausführungsformen kann ein solcher Prozess 62 mit dem Empfangen 64a, 64b von Bilddaten (z.°B. Bildern oder dergleichen, die zu einem oder mehreren Bildsensoren 14 passen, oder modellieren, was dadurch gesammelt oder diesen entsprechen würde) und anderen Sensordaten (z.°B. Beschleunigungsmesserdaten, Radschlupf- oder Reibungsdaten, Temperaturdaten, Windgeschwindigkeitsdaten, Fahrzeuggeschwindigkeitsdaten oder dergleichen, oder eine Kombination oder Unterkombination davon, entsprechen, d.°h. zu einem oder mehreren anderen Sensoren 16 passen oder diesen entsprechen), von denen bekannt ist, dass sie einer ersten Niederschlagsbedingung entsprechen. Dies kann für unterschiedliche andere Niederschlagsbedingungen von Interesse wiederholt werden. Somit kann der Prozess 62 weiterhin mit dem Empfangen 66a, 66b von Bilddaten und anderen bekannten Sensordaten fortfahren, von denen bekannt ist, dass sie einer zweiten Niederschlagsbedingung entsprechen, Empfangen 68a, 68b von Bilddaten und anderen Sensordaten, von denen bekannt ist, dass sie einer dritten Niederschlagsbedingung entsprechen, usw., bis Bild- und Sensordaten, von denen bekannt ist, dass sie einer „N-ten“ (d.°h. finalen) Niederschlagsbedingung entsprechen, empfangen 70a, 70b werden.
Jede andere Niederschlagsbedingung kann einer anderen Klasse von meteorologischem Niederschlag entsprechen oder sein. Daher kann ein Prozess 62 das Empfangen von Bild- und anderen Sensordaten umfassen, die jeder Klasse von meteorologischem Niederschlag entsprechen, der klassifiziert werden soll. Ein künstliches neuronales Netz (z.°B. ein einzelnes künstliches neuronales Allzwecknetz oder eines oder mehrere datenspezifische neuronale Netze) können dann auf den empfangenen Bild- und/oder zweiten Daten trainieren 72.
Eines oder mehrere trainierte künstliche neuronale Netze (z.°B. eines oder mehrere künstliche neuronale Netze, die einen Satz von Klassifizierungsalgorithmen umfassen, die sich bei der Klassifizierung von meteorologischem Niederschlag basierend auf den Bild- und/oder anderen Sensordaten als wirksam erwiesen haben, können dann an ein Bordcomputersystem 12 eines Fahrzeugs 10 weitergeleitet 74 (z.°B. darauf gespeichert) werden. Das trainierte künstliche neuronale Netz oder die Netze 76 können dann diesen entsprechende Klassifizierungsalgorithmen auf Bild- und/oder andere Sensordaten anwenden, die durch einen und/oder mehrere Bild- und/oder andere Sensoren 14, 16 erfasst werden, die an Bord des Fahrzeugs 10 getragen werden.
Unter Bezugnahme auf 4 kann in ausgewählten Ausführungsformen ein künstliches neuronales Netz gemäß der vorliegenden Erfindung trainiert werden, um einen gewissen vorbestimmten Satz 78 von Klassen 80 von meteorologischem Niederschlag (z.°B. Affinitätspunktzahlen dafür erzeugen) zu erkennen. Die Anzahl von Klassen 80 innerhalb eines solchen Satzes 78 kann zwischen den Ausführungsformen variieren. In bestimmten Ausführungsformen kann die Anzahl von Klassen 80 relativ klein sein. Beispielsweise kann ein Satz 78 von Klassen 80 aus nur zwei Klassen 80 (z.°B. eine erste Klasse 80, die keinem Niederschlag oder unzureichendem Niederschlag oder Niederschlagseffekten entspricht, für die es sich lohnt, die Windschutzscheibenwischer einzuschalten, und einer zweiten Klasse 80, die ausreichendem Niederschlag oder Niederschlagseffekten entspricht, für die es sich lohnt, die Windschutzscheibenwischer einzuschalten) bestehen.
In anderen Ausführungsformen kann die Anzahl von Klassen 80 in einem Satz 78 wesentlich mehr sein. Beispielsweise kann eine erste Klasse 80a von meteorologischem Niederschlag innerhalb eines bestimmten Satzes 78 keinem nachweisbaren Niederschlag oder nicht nachweisbaren Niederschlagseffekten jeglicher Art entsprechen. Andere Klassen 80 von meteorologischem Niederschlag innerhalb dieses Satzes 78 können dann unterschiedlichen Paarungen von Niederschlagsart und Niederschlagsrate entsprechen. Diese Paarungen können somit spezifische Niederschlagsbedingungen definieren.
Beispielsweise kann eine erste Niederschlagsart Regen sein. Dementsprechend kann eine zweite Klasse 80b innerhalb des Satzes 78 Regen entsprechen, der im Bereich zwischen etwa 0 Zoll pro Stunde bis etwa 0,5 Zoll pro Stunde fällt. Eine dritte Klasse 80c innerhalb des Satzes 78 kann Regen entsprechen, der im Bereich zwischen etwa 0,5 Zoll pro Stunde bis etwa 2 Zoll pro Stunde fällt. Eine vierte Klasse 80d innerhalb des Satzes 78 kann Regen entsprechen, der mit etwa 2 Zoll pro Stunde oder mehr fällt. Auf diese Weise können unterschiedliche Paarungen von Niederschlagsart und Niederschlagsrate (z.°B. Bereiche von Niederschlagsraten) unterschiedliche Klassen 80 von meteorologischem Niederschlag definieren. Die Trennlinien zwischen den unterschiedlichen Niederschlagsraten können zwischen unterschiedlichen Arten von Niederschlag und unterschiedlichen Ausführungsformen variieren. Daher sind die spezifischen Ratenbereiche oben beispielhaft, und nicht mittels Einschränkung dargestellt.
Die Arten von Niederschlag oder Niederschlagseffekten, wofür Klassen 80 definiert werden können, können Regen, Schneeregen, Hagel, Schnee, Straßenspritzwasser oder dergleichen, oder eine beliebige Kombination oder Unterkombination davon beinhalten. Wie oben erwähnt, können diese Arten von Niederschlag oder Niederschlagseffekten mit bestimmten Frequenzbereichen gepaart werden, um spezifische Niederschlagsbedingungen zu definieren. Bei bestimmten Ausführungsformen kann die Akkumulationsrate weniger wichtig als andere Eigenschaften sein. Dementsprechend können in solchen Ausführungsformen Klassen 80 basierend auf diesen anderen Merkmalen, anstatt durch die Akkumulationsrate definiert werden.
Beispielsweise kann in ausgewählten Ausführungsformen eine „N-te“ Niederschlagsart Hagel sein. Für Hagel kann die Dynamik des Hagels wichtiger als die Akkumulationsrate sein. Dementsprechend können unterschiedliche Klassen 80e, 80f für Hagel in Bezug auf die Dynamik definiert werden. Somit kann Hagel, der auf ein Fahrzeug 10 mit weniger als einer gewissen Dynamik auftrifft (z.°B. eine Dynamik, die unzureichend ist, um das Fahrzeug 10 einzubeulen oder anderweitig zu beschädigen), als eine Klasse 80e betrachtet werden, während Hagel, der auf das Fahrzeug 10 mit mehr als einer gewissen Dynamik auftrifft (z.°B. eine Dynamik, die ausreichend ist, um das Fahrzeug 10 einzubeulen oder anderweitig zu beschädigen), als eine andere Klasse 80f in Betracht gezogen werden kann. Eine solche Organisation von Klassen 80e, 80f kann einem System 12 ermöglichen, Maßnahmen zu ergreifen, Warnungen bereitzustellen (z.°B. für den Fahrer des betreffenden Fahrzeugs 10a oder für Fahrer von in der Nähe befindlichen Fahrzeugen 10b) oder dergleichen, die den entstandenen Schaden oder erlebten Schaden verringern.
Unter Bezugnahme auf 5 kann in ausgewählten Ausführungsformen das Anwenden 76 der Klassifizierungsalgorithmen eines künstlichen neuronalen Netzes auf Bild- oder eine andere Sensordaten mit dem Erhalten 82 eines oder mehrerer nicht klassifizierter Bilder beginnen, und Erhalten 84 anderer nicht klassifizierter Sensordaten, die zu dem gleichen Zeitraum gehören (z.°B. Die alle in oder in der Nähe davon gesammelt werden). Das so erhaltene eine oder die mehreren unklassifizierten Bilder und anderen unklassifizierten Sensordaten können als die „Eingabedaten“ in Betracht gezogen werden. Dementsprechend können die Eingabedaten einem künstlichen neuronalen Netz 86 zugeführt werden, das Affinitätspunktzahlen (z.°B. Vertrauensprozentsätze) für jede Klasse 80 eines entsprechenden Satzes 78 erzeugt.
Wenn beispielsweise ein künstliches neuronales Netz trainiert wurde, um zwischen zwei Klassen 80 (z.°B. eine Niederschlagsbedingung und eine Kein-Niederschlag-Bedingung) zu differenzieren, dann kann das künstliche neuronale Netz 86 zwei Affinitätspunktzahlen erzeugen 86. Genauer gesagt kann das künstliche neuronale Netz einen ersten Prozentsatz ausgeben, der das Vertrauen angibt, dass die Eingabedaten einer ersten Klasse 80 entsprechen, und einen zweiten Prozentsatz. der das Vertrauen angibt, dass die Eingabedaten 80 einer zweiten Klasse 80 entsprechen.
Danach kann eine Bestimmung erfolgen 88, ob einer oder mehrere anwendbare Schwellenwerte erreicht wurden. Das heißt, abhängig von der Größenordnung der unterschiedlichen Affinitätspunktzahlen (z.°B., ob der prozentuale Anteil für eine Klasse 80 über einem bestimmten Schwellenwert liegt, die Prozentsätze für alle anderen Klassen 80 unterhalb eines bestimmten Schwellenwerts liegen, oder beides), kann die Differenz zwischen den unterschiedlichen Affinitätspunktzahlen (z.°B., ob die Differenz oder die Trennung zwischen dem Prozentsatz für eine Klasse 80 und die Prozentsätze für alle anderen Klassen 80 über einem bestimmten Schwellenwert liegt), oder dergleichen, oder einer Kombination davon, können die entsprechenden Eingabedaten als eine Klasse oder Zustand oder die/der andere klassifiziert werden.
Beispielsweise kann in einem einfachsten Fall ein Schwellenwert auf „50%“ gesetzt werden. Dementsprechend kann in einer Zweiklassensituation (z.°B. Niederschlag oder kein Niederschlag), wenn eine Klasse 80 einen Zähler aufweist, der höher als der andere ist, der Schwellenwert erreicht werden. Alternativ kann ein Schwellenwert auf etwas mehr als 50% eingestellt werden (z.°B. irgendwo im Bereich von etwa 55% bis etwa 85%). In solchen Ausführungsformen oder Situationen kann eine Gesamtbestimmung 88, ob eine Umgebung eine Klasse 80 angibt, nicht dadurch gelöst werden, welche Klasse 80 oder Bedingung die höchste Affinitätspunktzahl aufweist. Vielmehr kann der Schwellenwert, wie eine höhere Beweislast in einem Gerichtsverfahren sicherstellen, dass eine Klassifizierung eine Klasse 80 gegenüber allen anderen nicht nur begünstigt, sondern deutlich oder stark begünstigt. Dementsprechend können einer oder mehrere Schwellenwerte 80 eingestellt werden, um die Anzahl von falschen Positiven im Verhältnis zu einer oder mehreren Klassen 80 abzusenken.
Wenn eine Bestimmung 88 angibt, dass eine erste Klasse 80a oder eine „Kein-Niederschlag- oder Niederschlagseffekte-“ Bedingung vorhanden ist, kann ein neuronales Netzmodul 56 oder künstliches neuronales Netz davon erklären 90, dass eine Kein-Niederschlag- oder Niederschlagseffektebedingung (z.°B. Kein-Regen-Bedingung) vorhanden ist, und ein System 12 kann eine oder mehrere Maßnahmen ergreifen 92, die dieser Bedingung entsprechen.
Solche Maßnahmen können das Belassen eines Fahrzeugs 10 wie es ist, Deaktivieren bestimmter Wischerblätter oder Leuchten, Ändern bestimmter Traktionssteuerungseinstellungen oder auf andere Weise Vorbereiten eines entsprechendes Fahrzeugs 10 darauf, in einen „normalen“ Betriebszustand zurückzukehren, der keinem Niederschlag oder Niederschlagseffekten entspricht, beinhalten. Ein System 12 kann auch in eine Warteschleife eintreten und einige Zeit warten (z.°B. 10 Sekunden, 30 Sekunden, 1 Minute, 5 Minuten, 10 Minuten oder dergleichen), bevor neue Eingabedaten erhalten 82, 84 werden, und den Klassifizierungsprozess erneut starten.
Umgekehrt, wenn eine Bestimmung 88 angibt, dass eine andere Klasse 80 oder Niederschlagsbedingung innerhalb eines bestimmten Satzes 78 (z.°B. Regen, der mit zwischen etwa 0,5 und etwa 2 Zoll pro Stunde fällt) vorhanden ist, kann ein neuronales Netzmodul 56 oder ein künstliches neuronales Netz davon erklären 94, dass die bestimmte Niederschlagsbedingung vorhanden ist, und ein System 12 kann eine oder mehrere Maßnahmen ergreifen 96, die dieser Bedingung entsprechen.
Solche Maßnahmen können das Belassen eines Fahrzeugs 10a wie es ist, Aktivieren bestimmter Wischerblätter oder Leuchten, Ändern bestimmter Traktionssteuerungseinstellungen, Ausgeben einer oder mehrerer Warnungen an einen Fahrer, Mitteilen der speziellen Niederschlagsbedingung an ein Kommunikationssystem 22 oder ein anderes Fahrzeug 10b oder anderweitig Vorbereiten eines entsprechenden Fahrzeugs 10 beinhalten, sich an einen bestimmten Betriebszustand anzupassen, der der speziellen Niederschlagsbedingung entspricht. Ein System 12 kann auch in eine Warteschleife eintreten und einige Zeit warten (z. B. 10 Sekunden, 30 Sekunden, 1 Minute, 5 Minuten, 10 Minuten oder dergleichen), bevor neue Eingabedaten erhalten 82, 84 werden und der Klassifizierungsprozess wieder gestartet wird. In bestimmten Ausführungsformen können solche Maßnahmen das Öffnen eines speziell entwickelten Regenschirms oder eines Regenkleidungsfachs beinhalten, wenn feststeht, dass ein Benutzer eine Tür eines Fahrzeugs 10 öffnet und aus dem Fahrzeug 10 aussteigen will, wenn es regnet oder dergleichen.
Ein System 12 gemäß der vorliegenden Erfindung kann, während ein entsprechendes Fahrzeug 10 läuft, kontinuierlich oder periodisch Daten von einem oder mehreren Sensoren 14, 16 verarbeiten, um eine aktuelle Niederschlagsbedingung zu bestimmen. Alternativ kann ein System 12 Daten von einem oder mehreren Sensoren 14, 16 nur dann verarbeiten, um eine aktuelle Niederschlagsbedingung zu bestimmen, wenn bestimmte Voraussetzungen erfüllt sind. Beispielsweise kann ein System 12 solche Daten nur verarbeiten, wenn Wettervorhersageinformationen für den entsprechenden geografischen Standort die Möglichkeit für bestimmte Arten von meteorologischem Niederschlag angeben.
In ausgewählten Ausführungsformen, nachdem eine oder mehrere Maßnahmen durch ein System 12 ergriffen 92, 96 werden, kann ein Prozess 76 enden oder im Zyklus zurückgehen und erneut beginnen. Alternativ kann ein Prozess 76 fortfahren, um menschliche Rückmeldungen zur Verbesserung eines Systems 12 zu verwenden. Beispielsweise kann in bestimmten Ausführungsformen ein System 12 zu einem bestimmten Zeitpunkt innerhalb eines Prozesses 76 gemäß der vorliegenden Erfindung 98 eine Rückmeldung von einem Menschen (z.°B. ein menschlicher Fahrer) empfangen 98. Diese Rückmeldung kann angeben, welche Klasse 80 oder Bedingung welchen Eingabedaten entspricht. Dementsprechend können die Rückmeldung und die entsprechenden Eingabedaten Trainingsdaten werden, die zum Aktualisieren 100 und/oder erneuten Trainieren eines künstlichen neuronalen Netzes verwendet werden können. Alternativ oder zusätzlich dazu können solche Rückmeldungen verwendet werden, um einen oder mehrere Schwellenwerte anzupassen oder feinabzustimmen, die in dem Prozess 76 verwendet werden.
Unter Bezugnahme auf 6 können Bilddaten in ausgewählten Prozessen gemäß der vorliegenden Erfindung unter Verwendung eines künstlichen neuronalen Netzes verarbeitet werden, während andere Sensordaten unter Verwendung anderer Signalverarbeitungstechniken verarbeitet werden können. Beispielsweise können in dem veranschaulichten Prozess 102 eines oder mehrere Bilder, die durch eine vorwärts weisende Kamera 14a, rückwärts weisende Kamera 14b, Fahrgastraum-Kamera 14c aufgenommen werden), erhalten 82, und durch ein künstliches neuronales Netz verarbeitet werden, während Beschleunigungsmesserdaten (z.°B. Beschleunigungsmesserdaten, die Vibrationen einer Windschutzscheibe kennzeichnen), durch Filtern, Verwenden von Zählern und phasengeregelte Schleifen oder dergleichen oder Kombinationen davon erhalten 84 und verarbeitet werden.
In bestimmten Ausführungsformen, sobald erhalten 82, können eines oder mehrere Bilder unter Verwendung von anspruchsvollen Computersichttechniken mit wiederkehrenden neuronalen Netzen analysiert werden, um ein Niveau an Fahrersicht zu modellieren und vorherzusagen. Basierend auf einem oder mehreren Bildern, die von einer Fahrgastraumkamera 14c erhalten 82 werden, kann beispielsweise ein System 12 vorhersagen, wenn ein Fahrer die Windschutzscheibenwischer einschalten würde.
In ausgewählten Ausführungsformen kann ein System 12 eine Sequenz von Bildern erhalten 82 und verwenden, um Regen vorherzusagen. Dies kann das Anwenden von anpassbaren Schwellenwerttechniken beinhalten, die erfolgreich mit nur ein paar Bildern arbeiten. Dementsprechend können die erhaltenen 82 Bilder mit unterschiedlichen Kameraparametern (z.°B. Tiefenschärfe, Belichtungseinstellungen usw.) aufgenommen, und einem neuronalen Netz zugeführt werden, das eine Affinitätspunktzahl entsprechend jeder Klasse einer Vielzahl von Klassen erzeugen 104 kann. Irgendwann danach können einer oder mehrere Schwellenwerte mit den Affinitätspunktzahlen verglichen werden, um eine entsprechende Niederschlagsbedingung 80 zu bestimmen 106 (z.°B. bestimmen 106, ob es angemessen ist, eine bestimmte Niederschlagsbedingung 80 zu erklären).
In bestimmten Ausführungsformen können einer oder mehrere Beschleunigungssensoren auf der Windschutzscheibe des Fahrzeugs angebracht werden. Dementsprechend können die von Regentropfen, Hagel, Niederschlag oder anderen Niederschlagseffekten, die die Windschutzscheibe beeinflussen, erzeugten Schwingungen markante Signale auf dem Beschleunigungsmesser erzeugen. Die Signalausgabe von einem oder mehreren Beschleunigungsmessern kann gefiltert 108 werden (z.°B. über einen Tiefpassfilter), um die Variation zu lokalisieren und zu trennen, die durch Niederschlag oder Niederschlagseffekte erzeugt wird. Die Analyse 110 (z.°B. unter Verwendung von Zählern und Leistungsindikatoren und phasengeregelten Schleifen) dieses Signals kann eine Schätzung der Niederschlagsrate bereitstellen. Dementsprechend kann ein System 12 eine Niederschlagsvorhersage (z.°B. einen Hinweis, ob Niederschlag oder ein Niederschlagseffekt vorhanden ist), und/oder eine optimale Wischergeschwindigkeit erstellen oder bestimmen 112. Irgendwann danach können einer oder mehrere Schwellenwerte mit diesen Ausgaben verglichen werden, um eine entsprechende Niederschlagsbedingung 80 zu bestimmen 114 (z.°B. bestimmen 106, ob es angemessen ist, eine bestimmte Niederschlagsbedingung 80 zu erklären).
In ausgewählten Ausführungsformen, wenn die Bestimmung 106 entsprechend dem einem oder den mehreren Bildern, und die Bestimmung 114 entsprechend den Beschleunigungsmesserdaten beide eine bestimmte Niederschlagsbedingung 80 angeben, kann ein System 12 eine Maßnahme 116 ergreifen, die dieser Bedingung 80 entspricht. Beispielsweise kann ein System 12 einen oder mehrere Scheibenwischer anweisen 116, mit einer oder mehreren bestimmten Wischergeschwindigkeiten zu arbeiten. Umgekehrt, wenn eine oder beide der Bestimmungen 106, 114 nicht eindeutig eine bestimmte Niederschlagsbedingung 80 identifizieren, dann kann keine Maßnahme(z.°B. Ändern) ergriffen oder implementiert werden, bis andere Bilder und/oder Beschleunigungsmesserdaten eindeutig eine bestimmte Niederschlagsbedingung 80 angeben. Dies kann bei der Beseitigung von Fehlalarmen helfen, die lästiger oder störender auf einen Fahrer als ein System 12 wirken würden, das nichts unternimmt (z.°B. keine Änderungen an den Funktionen des Fahrzeugs 10 vornehmen).
Unter Bezugnahme auf 7 können Bilddaten in ausgewählten Prozessen gemäß der vorliegenden Erfindung unter Verwendung eines künstlichen neuronalen Netzes verarbeitet werden, während mehrere Arten anderer Sensordaten unter Verwendung anderer Signalverarbeitungstechniken verarbeitet werden können. Beispielsweise können in dem veranschaulichten Prozess 118 eines oder mehrere Bilder erhalten 82, und durch ein künstliches neuronales Netz verarbeitet werden, während Beschleunigungsmesserdaten erhalten 84a, und durch Filtern 108 unter Verwendung 110 von Zählern und phasengeregelten Schleifen oder dergleichen, oder Kombinationen und Reibungsdaten davon (z.°B. Daten, die Radschlupf, den Reibschluss oder Eingriff zwischen einem oder mehreren Reifen eines Fahrzeugs 10 und einer entsprechenden Fahrfläche oder dergleichen, oder eine Kombination davon), auf gewünschte Art erhalten 84b und verarbeitet 120 werden.
An einem Punkt können einer oder mehrere Schwellenwerte mit den Reibungsdaten verglichen werden, um eine entsprechende Niederschlagsbedingung 80 zu bestimmen 114 (z.°B. bestimmen 106, ob es angemessen ist, eine bestimmte Niederschlagsbedingung 80 zu erklären). Dementsprechend, wenn die Bestimmung 106 entsprechend dem einen oder den mehreren Bildern, die Bestimmung 114 entsprechend den Beschleunigungsmesserdaten, und die Bestimmung 122 entsprechend den Reibungsdaten alle eine bestimmte Niederschlagsbedingung 80 angeben, kann ein System 12 eine Maßnahme 116 ergreifen, die dieser Bedingung 80 entspricht (z.°B. Anweisen 116 von einem oder mehreren Wischern, mit einer oder mehreren bestimmten Wischergeschwindigkeiten zu arbeiten). Umgekehrt, wenn eine der Bestimmungen 106, 114, 122 nicht eindeutig eine bestimmte Niederschlagsbedingung 80 identifiziert, dann kann keine Maßnahme (z.°B. Ändern) ergriffen oder implementiert werden, bis andere Bilder, Beschleunigungsmesserdaten und Reibungsdaten eindeutig eine bestimmte Niederschlagsbedingung 80 angeben. Dies kann wiederum bei der Beseitigung von Fehlalarmen helfen.
In den Prozessen 62, 76, 102, 118 gemäß der vorliegenden Erfindung ist das den Bilddaten oder Klassifizierungen der Bilddaten verliehene Gewicht möglicherweise nicht gleich dem Gewicht, das anderen Sensordaten oder Bestimmungen basierend auf anderen Sensordaten verliehen wird. Auf ähnliche Weise kann das Gewicht, das einer Art von anderen Sensordaten (z.°B. Beschleunigungsmesserdaten) oder Bestimmungen basierend auf einer Art von anderen Sensordaten nicht gleich dem Gewicht sein, das einer anderen Art von anderen Sensordaten (z.°B. Reibungsdaten) verliehen wird, oder Bestimmungen, basierend auf einer anderen Art von anderen Sensordaten. Vielmehr können unterschiedliche Gewichte angewandt werden, um vorzugsweise Daten, Klassifizierungen, Bestimmungen oder dergleichen zu berücksichtigen, die nachweislich in bestimmten Situationen nützlicher sind.
Beispielsweise können Bilddaten (z.°B. von einer Kamera gesammelte Bilddaten) beim Erkennen des Vorhandenseins von Schnee (z.°B. fallender Schnee oder bereits auf dem Boden liegender Schnee) nützlicher sein. Dementsprechend können in ausgewählten Ausführungsformen oder Situationen, wenn ein Thermometer eine Temperatur anzeigt, die mit Schnee, Bilddaten oder den Klassifizierungen basierend auf Bilddaten kompatibel ist, stärker gewichtet werden als Beschleunigungsmesserdaten oder die auf Beschleunigungsmesserdaten basierenden Bestimmungen. In ausgewählten Ausführungsformen können solche anderen Gewichtungen mit dem Training eines künstlichen neuronalen Netzes „eingebacken“ werden (z.°B. ein einzelnes künstliches neuronales Allzwecknetz). In anderen Ausführungsformen können solche unterschiedlichen Gewichtungen basierend auf Erfahrungen oder Erwartungen manuell einprogrammiert werden.
Darüber hinaus stellen die Ablaufdiagramme in den 3 und 5-7 die Architektur, Funktionen und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß unterschiedlichen Ausführungsformen der vorliegenden Erfindung dar. In dieser Hinsicht kann jeder Block in den Ablaufdiagrammen ein Modul, ein Segment oder einen Abschnitt eines Codes darstellen, das bzw. der eine oder mehrere ausführbare Anweisungen zum Implementieren der spezifizierten logischen Funktion(en) umfasst. Es wird außerdem festgestellt, dass jeder Block der Ablaufdiagrammdarstellungen sowie Kombinationen der Blöcke in den Ablaufdiagrammdarstellungen von hardwarebasierten Systemen für spezielle Zwecke, welche die spezifizierten Funktionen oder Funktionen ausführen oder Kombinationen aus Hardware für spezielle Zwecke und Computeranweisungen implementiert werden können.
Außerdem ist anzumerken, dass in einigen alternativen Implementierungen die in den Blöcken vermerkten Funktionen in einer anderen als der in den Figuren dargestellten Reihenfolge auftreten können. In bestimmten Ausführungsformen können zwei Blöcke, die aufeinanderfolgend gezeigt sind, eigentlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in umgekehrter Reihenfolge ausgeführt werden, je nach der beteiligten Funktionalität. Alternativ können bestimmte Schritte oder Funktionen ausgelassen werden, wenn sie nicht benötigt werden.
In der vorangehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen spezifische Implementierungen zur Veranschaulichung gezeigt werden, in denen die Offenbarung ausgeübt werden kann. Es versteht sich, dass andere Implementierungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Patentschrift auf „eine Ausführungsform“, „ein Ausführungsbeispiel“, „ausgewählte Ausführungsformen“, „bestimmte Ausführungsformen“ usw. geben an, dass die beschriebene Ausführungsform oder die beschriebenen Ausführungsformen ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft einschließen kann bzw. können; nicht jede Ausführungsform muss jedoch notwendigerweise diese(s) bestimmte Merkmal, Struktur oder Eigenschaft einschließen. Darüber hinaus beziehen sich solche Ausdrücke nicht unbedingt auf dieselbe Ausführungsform. Wenn ein Merkmal, eine Struktur oder eine Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird davon ausgegangen, dass es innerhalb des Wissens eines Fachmanns liegt, das Merkmal, die Struktur oder die Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, unabhängig davon, ob dies ausdrücklich beschrieben wird oder nicht.
Implementierungen der hierin offenbarten Systeme, Vorrichtung und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware einschließt, wie etwa einen oder mehrere Prozessoren und einen Systemspeicher, wie hierin erörtert. Implementierungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem Datenträger und andere computerlesbare Medien zum Weiterleiten oder Speichern von von einem Computer ausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei solchen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen von einem Computer ausführbare Anweisungen gespeichert sind, handelt es sich um Computerspeichermedien (-geräte). Bei computerlesbaren Medien, die von einem Computer ausführbare Anweisungen weiterleiten, handelt es sich um Übertragungsmedien. Daher können Umsetzungen der Offenbarung beispielsweise und nicht einschränkend zumindest zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien (-geräte) und Übertragungsmedien.
Computerspeichermedien (-geräte) schließen RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives („SSDs“) (z. B auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM“), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder beliebige andere Medien ein, die verwendet werden können, um gewünschte Programmcodemittel in Form von von einem Computer ausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Implementierung der hierin offenbaren Vorrichtungen, Systemen und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netz“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netz oder eine andere Kommunikationsverbindung (entweder drahtgebunden, drahtlos oder eine Kombination aus drahtgebunden oder drahtlos) an einen Computer übertragen oder diesem bereitgestellt wird, betrachtet der Computer die Verbindung dementsprechend als ein Übertragungsmedium. Übertragungsmedien können ein Netz und/oder Datenverbindungen einschließen, die verwendet werden können, um gewünschte Programmcodemittel in Form von von einem Computer ausführbaren Anweisungen oder Datenstrukturen zu übertragen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden fallen ebenfalls in den Umfang computerlesbarer Medien.
Von einem Computer ausführbare Anweisungen umfassen z.°B. Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die von einem Computer ausführbaren Anweisungen können z.°B. Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die vorangehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
Der Fachmann wird verstehen, dass die Offenbarung in Netzwerkrechenumgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, einschließend einen Armaturenbrett-Fahrzeugcomputer, PCs, Desktop-Computer, Laptops, Nachrichtenprozessoren, Handgeräte, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Mainframe-Computer, Mobiltelefone, PDAs, Tablets, Pager, Router, Schalter, unterschiedliche Speichervorrichtungen und Ähnliches. Diese Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netz (entweder durch drahtgebundene Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus drahtgebundenen und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer verteilten Systemumgebung können Programmmodule sowohl auf lokalen als auch Remote-Speicherungsvorrichtungen angesiedelt sein.
Ferner können die hierin beschriebene Funktionen gegebenenfalls in einem oder mehreren von Folgenden durchgeführt werden: Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können z.°B. programmiert sein, um eins oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen. Bestimmte Ausdrücke werden in der Beschreibung und den Ansprüchen in Bezug auf bestimmte Systemkomponenten verwendet. Wie ein Fachmann verstehen wird, kann auf Komponenten durch die Verwendung unterschiedlicher Bezeichnungen Bezug genommen werden. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es sei angemerkt, dass die vorangehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um wenigstens einen Teil der Funktionen durchzuführen. Ein Sensor kann z.°B. Computercode beinhalten, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen werden hierin zu Veranschaulichungszwecken bereitgestellt und sollen nicht der Einschränkung dienen. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie einem Fachmann auf dem oder den Gebieten bekannt.
Wenigstens einige Ausführungsformen der Offenbarung betreffen Computerprogrammprodukte, die eine solche Logik (z.°B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Solche Software veranlasst, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
Während unterschiedliche Ausführungsformen der vorliegenden Offenbarung oben beschrieben wurden, versteht es sich, dass diese nur als Beispiel und nicht als Einschränkung dargestellt wurden. Es ist für den Fachmann auf dem Gebiet offensichtlich, dass unterschiedliche Änderungen in Form und Detail vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eines der vorangehend beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Ansprüche und ihrer Äquivalente definiert sein. Die vorangehende Beschreibung wurde zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie ist nicht als umfassend anzusehen und soll die Offenbarung nicht auf die spezifische offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der oben angegebenen Lehren möglich. Ferner ist angemerkt, dass eine beliebige oder alle der vorangehend genannten alternativen Implementierungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridimplementierungen der Offenbarung zu bilden.
Die vorliegende Erfindung kann in anderen spezifischen Formen ausgeführt sein, ohne von ihrem Gedanken oder wesentlichen Merkmalen abzuweichen. Die beschriebenen Ausführungsformen sind in jeder Hinsicht nur als veranschaulichend und nicht als begrenzend anzusehen. Der Umfang der Erfindung wird daher durch die beigefügten Ansprüche und nicht durch die vorstehende Beschreibung angegeben. Alle Änderungen, die innerhalb der Bedeutung und des Bereichs der Gleichwertigkeit der Ansprüche liegen, sind innerhalb ihres Umfangs einzubinden.

Claims

Fahrzeug, umfassend: eine Bilddaten ausgebende Kamera; eine Windschutzscheibe; einen Beschleunigungsmesser, der Beschleunigungsmesserdaten ausgibt, die Vibrationen der Windschutzscheibe kennzeichnen; ein künstliches neuronales Netz, das trainiert ist, um meteorologischen Niederschlag in einer Umgebung des Fahrzeugs unter Verwendung der Bilddaten und der Beschleunigungsmesserdaten als Eingaben zu klassifizieren; und mindestens ein Stellglied, das mindestens eine Funktion des Fahrzeugs basierend auf Klassifizierungen steuert, die durch das künstliche neuronale Netz erfolgen.
Fahrzeug nach Anspruch 1, wobei die Kamera an dem Fahrzeug befestigt und so ausgerichtet ist, dass sie vorwärts weist.
Fahrzeug nach Anspruch 1, wobei die Kamera an dem Fahrzeug befestigt und so ausgerichtet ist, dass sie rückwärts weist.
Fahrzeug nach Anspruch 1, wobei die Bilddaten mehrere aufeinanderfolgende Bilder umfassen, die von der Kamera über einen Zeitraum von weniger als zehn Sekunden aufgenommen werden.
Fahrzeug nach Anspruch 4, weiterhin umfassend mindestens einen Scheibenwischer, und wobei die mindestens eine Funktion eine Geschwindigkeit des mindestens einen Scheibenwischers umfasst.
Fahrzeug nach Anspruch 5, weiterhin umfassend einen Antriebsstrang, der einen oder mehrere Reifen aufweist.
Fahrzeug nach Anspruch 6, weiterhin umfassend einen Antriebsstrangsensor, der Reibungsdaten ausgibt, die den Reibschluss des einen oder der mehreren Reifen mit einer Fahrfläche kennzeichnen.
Fahrzeug nach Anspruch 7, wobei das künstliche neuronale Netz trainiert ist, um meteorologischen Niederschlag mindestens teilweise basierend auf jedem von den Bilddaten, den Beschleunigungsmesserdaten und den Reibungsdaten zu klassifizieren.
Fahrzeug nach Anspruch 4, weiterhin umfassend eine Antriebsschlupfregelung, und wobei die mindestens eine Funktion eine Einstellung des Antischlupfregelungssystems umfasst.
Fahrzeug nach Anspruch 1, weiterhin umfassend ein Kommunikationssystem, das eine oder mehrere Klassifizierungen des künstlichen neuronalen Netzes an Hardware außerhalb des Fahrzeugs übermittelt.
Fahrzeug nach Anspruch 1, wobei das künstliche neuronale Netz trainiert ist, um mindestens drei Klassen von meteorologischem Niederschlag zu klassifizieren, wobei die mindestens drei Klassen keinen Regen, Regen unter einer ersten Niederschlagsrate und Regen über einer zweiten Niederschlagsrate umfassen, die gleich oder größer als die erste Niederschlagsrate ist.
Verfahren, umfassend: Empfangen von Bilddaten, die von einer Kamera aufgenommen werden, die so ausgerichtet ist, dass sie im Verhältnis zu dem Fahrzeug vorwärts oder rückwärts weist, durch ein Computersystem an Bord ein Fahrzeugs, wobei die Bilddaten mindestens ein innerhalb eines Zeitraums von der Kamera aufgenommenes Bild umfassen; Empfangen von Beschleunigungsmesserdatenausgaben durch einen Beschleunigungsmesser, der an einer Windschutzscheibe des Fahrzeugs befestigt ist, durch das Computersystem, wobei die Beschleunigungsmesserdaten Vibrationen der Windschutzscheibe während des Zeitraums kennzeichnen; Empfangen der Bilddaten und der Beschleunigungsmesserdaten als Eingaben durch ein künstliches neuronales Netz, das auf dem Computersystem läuft; Erzeugen von Klassifizierungspunktzahlen basierend auf den Eingaben in Bezug auf mindestens drei Klassen von meteorologischem Niederschlag durch das künstliche neuronale Netz, wobei die mindestens drei Klassen keinen Regen, Regen unter einer ersten Niederschlagsrate und Regen über einer zweiten Niederschlagsrate umfassen, die gleich oder größer als die erste Niederschlagsrate ist; und Steuern von mindestens einer Funktion des Fahrzeugs durch das Computersystem basierend auf den durch das künstliche neuronale Netz erzeugten Klassifizierungspunktzahlen.
Verfahren nach Anspruch 12, wobei: die Bilddaten mehrere aufeinanderfolgende Bilder umfassen, die von der Kamera über den Zeitraum aufgenommen werden; und der Zeitraum weniger als 10 Sekunden beträgt.
Fahrzeug nach Anspruch 13, wobei das Fahrzeug mindestens einen Scheibenwischer umfasst, und wobei die mindestens eine Funktion eine Geschwindigkeit des mindestens einen Scheibenwischers umfasst.
Fahrzeug nach Anspruch 12, wobei das Fahrzeug einen Antriebsstrang umfasst, der einen oder mehrere Reifen aufweist.
Fahrzeug nach Anspruch 15, wobei das Fahrzeug weiterhin einen Antriebsstrangsensor umfasst, der Reibungsdaten ausgibt, die den Reibschluss des einen oder der mehreren Reifen mit einer Fahrfläche kennzeichnen.
Verfahren nach Anspruch 16, weiterhin umfassend das Empfangen der Bilddaten, der Beschleunigungsmesserdaten und der Reibungsdaten durch das künstliche neuronale Netz als die Eingaben.
Fahrzeug nach Anspruch 17, wobei das Fahrzeug weiterhin ein Antriebsschlupfregelungssystem umfasst, und wobei die mindestens eine Funktion eine Einstellung des Antischlupfregelungssystems umfasst.
Fahrzeug nach Anspruch 12, wobei das Fahrzeug weiterhin ein Kommunikationssystem umfasst, das eine oder mehrere Klassifizierungen des künstlichen neuronalen Netzes an Hardware außerhalb des Fahrzeugs übermittelt.
Verfahren nach Anspruch 19, wobei die Hardware außerhalb des Fahrzeugs einen Teil der stationären Telekommunikationsinfrastruktur oder eines anderen Fahrzeugs ausbildet.