DE102021116759A1

DE102021116759A1 - Verbesserter fahrzeugbetrieb

Info

Publication number: DE102021116759A1
Application number: DE102021116759.0A
Authority: DE
Inventors: Apurbaa MALLIK; Kaushik Balakrishnan; Vijay Nagasamy; Praveen Narayanan; Sowndarya Sundar
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-07-08
Filing date: 2021-06-29
Publication date: 2022-01-13
Also published as: US11772656B2; US20220009498A1; CN113911050A

Abstract

Die Offenbarung stellt einen verbesserten Fahrzeugbetrieb bereit. Ein System beinhaltet einen Computer, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen speichert, die durch den Prozessor ausführbar sind, um ein synthetisches Bild zu erzeugen, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von einem Fahrzeugsensor zu simuliertem Nebel angepasst werden, und das synthetische Bild in ein maschinelles Lernprogramm einzugeben, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen Fahrzeugsensoren.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge können mit Rechenvorrichtungen, Netzwerken, Sensoren und Steuerungen ausgestattet sein, um Daten bezüglich der Umgebung des Fahrzeugs zu erheben und um das Fahrzeug auf Grundlage der Daten zu betreiben. Fahrzeugsensoren können Daten hinsichtlich zu fahrender Routen und zu vermeidender Objekte in der Umgebung des Fahrzeugs bereitstellen. Der Betrieb des Fahrzeugs kann sich auf das Erfassen genauer und aktueller Daten zu Objekten in der Umgebung eines Fahrzeugs stützen, während das Fahrzeug auf einer Fahrbahn betrieben wird. Fahrzeuge können Rechenvorrichtungen verwenden, die dazu konfiguriert sind, Objekte aus Bilddaten zu identifizieren, die von den Fahrzeugsensoren erfasst werden.
KURZDARSTELLUNG
Ein System beinhaltet einen Computer, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen speichert, die durch den Prozessor ausführbar sind, um ein synthetisches Bild zu erzeugen, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von einem Fahrzeugsensor zu simuliertem Nebel angepasst werden, und das synthetische Bild in ein maschinelles Lernprogramm einzugeben, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren.
Die Anweisungen können ferner Anweisungen beinhalten, um ein Bild mit dem Fahrzeugsensor zu erfassen, das Bild in das maschinelle Lernprogramm einzugeben, aus dem maschinellen Lernprogramm den meteorologischen optischen Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel auszugeben und eine oder mehrere Fahrzeugkomponenten auf Grundlage des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel zu betätigen.
Die Anweisungen können ferner Anweisungen beinhalten, um eine der einen oder mehreren Fahrzeugkomponenten von einem autonomen Betrieb in einen manuellen Betrieb zu überführen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem Entfernungsschwellenwert liegt.
Die Anweisungen können ferner Anweisungen beinhalten, um ein Fahrzeug von einem autonomen Modus in einen manuellen Modus zu überführen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem zweiten Entfernungsschwellenwert liegt.
Die Anweisungen können ferner Anweisungen beinhalten, um eine erste Komponente zu betätigen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem ersten Schwellenwert liegt, und um eine zweite Komponente zu betätigen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem zweiten Schwellenwert liegt.
Die Anweisungen können ferner Anweisungen beinhalten, um aus dem maschinellen Lernprogramm ein Objekt in dem erfassten Bild auszugeben und die eine oder die mehreren Fahrzeugkomponenten auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts zu betätigen.
Die Anweisungen können ferner Anweisungen beinhalten, um ein Umgebungslicht des Referenzbildes zu identifizieren und die jeweiligen Farbwerte des einen oder der mehreren Pixel auf Grundlage des Umgebungslichts anzupassen.
Die Anweisungen können ferner Anweisungen beinhalten, um das Referenzbild mit dem meteorologischen optischen Bereich von dem Sensor zu dem simulierten Nebel zu annotieren.
Die Anweisungen können ferner Anweisungen beinhalten, um die Farbwerte eines der Pixel in dem Referenzbild anzupassen, indem die Farbwerte des einen der Pixel auf Grundlage eines Übertragungskoeffizienten von Licht durch Nebel verringert werden und ein Umgebungslicht des Pixels auf Grundlage des Übertragungskoeffizienten erhöht wird.
Die Anweisungen können ferner Anweisungen beinhalten, um eine anfängliche Entfernung von dem Fahrzeugsensor zu einem Objekt in einem der Pixel des Referenzbildes zu identifizieren und die Farbwerte des einen der Pixel auf Grundlage der anfänglichen Entfernung und des vorgegebenen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem simulierten Nebel anzupassen.
Die Anweisungen können ferner Anweisungen beinhalten, um jeweilige meteorologische optische Bereiche von dem Fahrzeugsensor zu dem tatsächlichen Neben für alle Pixel in einem Bild, das von dem Fahrzeugsensor erfasst wird, zu identifizieren und eine oder mehrere Fahrzeugkomponenten auf Grundlage eines minimalen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel zu betätigen.
Die Anweisungen können ferner Anweisungen beinhalten, um ein Objekt mit einem zweiten Fahrzeugsensor und eine Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt zu identifizieren und eine Betätigung einer oder mehrerer Fahrzeugkomponenten auf Grundlage des identifizierten Objekts zu unterdrücken, wenn die Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt den meteorologischen optischen Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel überschreitet.
Der meteorologische optische Bereich ist eine Entfernung, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt.
Ein Verfahren beinhaltet das Erzeugen eines synthetischen Bildes, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von einem Fahrzeugsensor zu simuliertem Nebel angepasst werden, wobei der meteorologische optische Bereich eine Entfernung ist, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt, und das Eingeben des synthetischen Bildes in ein maschinelles Lernprogramm, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren.
Das Verfahren kann ferner das Erfassen eines Bildes mit dem Fahrzeugsensor, das Eingeben des Bildes in das maschinelle Lernprogramm, das Ausgeben aus dem maschinellen Lernprogramm des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel und das Betätigen einer oder mehrerer Fahrzeugkomponenten auf Grundlage des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel beinhalten.
Das Verfahren kann ferner das Überführen einer der einen oder mehreren Fahrzeugkomponenten von einem autonomen Betrieb in einen manuellen Betrieb beinhalten, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem Entfernungsschwellenwert liegt.
Das Verfahren kann ferner das Überführen eines Fahrzeugs von einem autonomen Modus in einen manuellen Modus beinhalten, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem zweiten Entfernungsschwellenwert liegt.
Das Verfahren kann ferner das Betätigen einer ersten Komponente, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem ersten Schwellenwert liegt, und das Betätigen einer zweiten Komponente, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem zweiten Schwellenwert liegt, beinhalten.
Das Verfahren kann ferner das Ausgeben aus dem maschinellen Lernprogramm eines Objekts in dem erfassten Bild und das Betätigen der einen oder mehreren Fahrzeugkomponenten auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts beinhalten.
Das Verfahren kann ferner das Identifizieren eines Umgebungslichts des Referenzbildes und das Anpassen der jeweiligen Farbwerte des einen oder der mehreren Pixel auf Grundlage des Umgebungslichts beinhalten.
Das Verfahren kann ferner das Annotieren des Referenzbildes mit dem meteorologischen optischen Bereich von dem Sensor zu dem simulierten Nebel beinhalten.
Das Verfahren kann ferner das Anpassen der Farbwerte eines der Pixel in dem Referenzbild beinhalten, indem die Farbwerte des einen der Pixel auf Grundlage eines Übertragungskoeffizienten von Licht durch Nebel verringert werden und ein Umgebungslicht des Pixels auf Grundlage des Übertragungskoeffizienten erhöht wird.
Das Verfahren kann ferner das Identifizieren einer anfänglichen Entfernung von dem Fahrzeugsensor zu einem Objekt in einem der Pixel des Referenzbildes und das Anpassen der Farbwerte des einen der Pixel auf Grundlage der anfänglichen Entfernung und des vorgegebenen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem simulierten Nebel beinhalten.
Das Verfahren kann ferner das Identifizieren jeweiliger meteorologischer optischer Bereiche von dem Fahrzeugsensor zu dem tatsächlichen Neben für alle Pixel in einem Bild, das von dem Fahrzeugsensor erfasst wird, und das Betätigen einer oder mehrerer Fahrzeugkomponenten auf Grundlage eines minimalen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel beinhalten.
Das Verfahren kann ferner das Identifizieren eines Objekts mit einem zweiten Fahrzeugsensor und einer Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt und das Unterdrücken der Betätigung einer oder mehrerer Fahrzeugkomponenten auf Grundlage des identifizierten Objekts, wenn die Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt den meteorologischen optischen Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel überschreitet, beinhalten.
Ein System beinhaltet einen Fahrzeugsensor, Mittel zum Erzeugen eines synthetischen Bildes, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu simuliertem Nebel angepasst werden, wobei der meteorologische optische Bereich eine Entfernung ist, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt, Mittel zum Eingeben des synthetischen Bildes in ein maschinelles Lernprogramm, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren, Mittel zum Erfassen eines Bildes mit dem Fahrzeugsensor, Mittel zum Eingeben des Bildes in das maschinelle Lernprogramm, Mittel zum Ausgeben aus dem maschinellen Lernprogramm des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel und Mittel zum Betätigen einer oder mehrerer Fahrzeugkomponenten auf Grundlage des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel.
Das System kann ferner Mittel zum Überführen einer der einen oder mehreren Fahrzeugkomponenten von einem autonomen Betrieb in einen manuellen Betrieb beinhalten, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem Entfernungsschwellenwert liegt.
Das System kann ferner Mittel zum Ausgeben aus dem maschinellen Lernprogramm eines Objekts in dem erfassten Bild und Mittel zum Betätigen der einen oder mehreren Fahrzeugkomponenten auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts beinhalten.
Ferner ist eine Rechenvorrichtung offenbart, die dazu programmiert ist, beliebige der vorstehenden Verfahrensschritte auszuführen. Außerdem ist ein Fahrzeug offenbart, das die Rechenvorrichtung umfasst. Weiterhin ist ein Computerprogrammprodukt offenbart, das ein computerlesbares Medium umfasst, auf dem durch einen Computerprozessor ausführbare Anweisungen gespeichert sind, um beliebige der vorstehenden Verfahrensschritte auszuführen.
Figurenliste

1 ist ein Diagramm eines beispielhaften Systems zum Betreiben eines Fahrzeugs.
Die 2A-2C sind beispielhafte Bilder mit simuliertem Nebel.
3 ist ein Diagramm eines beispielhaften maschinellen Lernprogramms.
4 ist ein Diagramm eines beispielhaften Prozesses zum Trainieren eines maschinellen Lernprogramms.
5 ist ein Diagramm eines beispielhaften Prozesses zum Betreiben des Fahrzeugs mit einem maschinellen Lernprogramm.

DETAILLIERTE BESCHREIBUNG
Nebel kann Bilder verdecken, die von Fahrzeugsensoren erfasst werden. Das heißt, Nebel zwischen einem Objekt und einem Fahrzeugsensor kann das Objekt in dem durch den Fahrzeugsensor erfassten Bild undeutlich machen. Das Identifizieren einer Entfernung zu dem Objekt von dem Fahrzeugsensor kann in einem durch Nebel undeutlich gemachten Bild schwierig sein. Ein Fahrzeugcomputer kann ein Fahrzeug auf Grundlage von Daten von dem Fahrzeugsensor betreiben. Wenn die Daten durch Nebel verdeckt sind, kann der Fahrzeugcomputer Daten ignorieren, die über einen „meteorologischen optischen Bereich“ hinaus, d. h. eine Entfernung, bei der Licht unter einen vorbestimmten Schwellenwert abgeschwächt ist, wie nachstehend beschrieben, erfasst werden. Das heißt, die elektromagnetischen Wellen, die von dem Sensor von außerhalb des meteorologischen optischen Bereichs empfangen werden, können durch den Nebel abgeschwächt oder reduziert werden und diese abgeschwächten Wellen können Daten zu dem Objekt nicht genau oder präzise bereitstellen. Die Verwendung eines maschinellen Lernprogramms kann den meteorologischen optischen Bereich von Nebel in einem durch den Fahrzeugsensor erfassten Bild schneller identifizieren als z. B. ein Erfassungsalgorithmus mit dreidimensionaler Tiefe. Die schnellere Identifizierung des meteorologischen optischen Bereichs kann den Betrieb des Fahrzeugcomputers verbessern, indem die Entfernung aktualisiert wird, über die hinaus der Fahrzeugcomputer Daten ignorieren sollte, während das Fahrzeug entlang einer Route fährt.
1 veranschaulicht ein beispielhaftes System 100 zum Betreiben eines Fahrzeugs 101. Ein Computer 105 in dem Fahrzeug 101 ist dazu programmiert, erfasste Daten von einem oder mehreren Sensoren 110 zu empfangen. Beispielsweise können Daten des Fahrzeugs 101 einen Standort des Fahrzeugs 101, Daten zu einer Umgebung um ein Fahrzeug, Daten zu einem Objekt außerhalb des Fahrzeugs, wie etwa zu einem weiteren Fahrzeug, usw. beinhalten. Ein Standort des Fahrzeugs 101 wird üblicherweise in einer herkömmlichen Form bereitgestellt, z. B. als Geokoordinaten, wie etwa Breitengrad- und Längengradkoordinaten, die über ein Navigationssystem erhalten werden, welches das globale Positionsbestimmungssystem (Global Positioning System - GPS) verwendet. Weitere Beispiele für Daten können Messwerte von Systemen und Komponenten des Fahrzeugs 101 beinhalten, z. B. eine Geschwindigkeit des Fahrzeugs 101, eine Trajektorie des Fahrzeugs 101 usw.
Der Computer 105 ist im Allgemeinen für Kommunikationen auf einem Netzwerk des Fahrzeugs 101 programmiert, das z. B. einen herkömmlichen Kommunikationsbus des Fahrzeugs 101, wie etwa einen CAN-Bus, einen LIN-Bus usw. und/oder andere drahtgebundene und/oder drahtlose Technologien beinhaltet, z. B. Ethernet, WIFI usw. Über das Netzwerk, den Bus und/oder die anderen drahtgebundenen oder drahtlosen Mechanismen (z. B. ein drahtgebundenes oder drahtloses lokales Netzwerk in dem Fahrzeug 101) kann der Computer 105 Nachrichten an verschiedene Vorrichtungen in einem Fahrzeug 101, z. B. Steuerungen, Aktoren, Sensoren usw., einschließlich der Sensoren 110, übertragen und/oder Nachrichten von diesen empfangen. Alternativ oder zusätzlich kann in Fällen, in denen der Computer 105 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugnetzwerk für Kommunikationen zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 105 dargestellt sind. Zusätzlich kann der Computer 105 zum Kommunizieren mit dem Netzwerk 120 programmiert sein, das, wie nachstehend beschrieben, verschiedene drahtgebundene und/oder drahtlose Vernetzungstechnologien beinhalten kann, z. B. Mobilfunk, Bluetooth®, Bluetooth® Low Energy (BLE), drahtgebundene und/oder drahtlose Paketnetzwerke usw.
Der Speicher kann von einer beliebigen Art sein, z. B. Festplattenlaufwerke, Festkörperlaufwerke, Server oder beliebige flüchtige oder nicht flüchtige Medien. Der Speicher kann die von den Sensoren 110 gesendeten erfassten Daten speichern. Der Speicher kann eine von dem Computer 105 getrennte Vorrichtung sein und der Computer 105 kann durch den Speicher gespeicherte Informationen über ein Netzwerk in dem Fahrzeug 101 abrufen, z. B. über einen CAN-Bus, ein drahtloses Netzwerk usw. Alternativ oder zusätzlich kann der Speicher Teil des Computers 105 sein, z. B. als Speicher des Computers 105.
Die Sensoren 110 können eine Vielfalt von Vorrichtungen beinhalten. Zum Beispiel können verschiedene Steuerungen in einem Fahrzeug 101 als Sensoren 110 betrieben werden, um Daten über das Netz oder den Bus des Fahrzeugs 101 bereitzustellen, z. B. Daten bezüglich der Geschwindigkeit, Beschleunigung, Position des Fahrzeugs, des Status von Teilsystemen und/oder Komponenten usw. Ferner könnten andere Sensoren 110 Kameras, Bewegungsmelder usw. beinhalten, d.h. Sensoren 110 zum Bereitstellen von Daten zum Beurteilen einer Position einer Komponente, Beurteilen einer Neigung einer Fahrbahn usw. Die Sensoren 110 könnten zudem unter anderem Kurzstreckenradar, Langstreckenradar, LIDAR und/oder Ultraschallwandler beinhalten.
Erfasste Daten können eine Vielfalt von Daten beinhalten, die in einem Fahrzeug 101 erfasst werden. Beispiele für erfasste Daten sind vorstehend bereitgestellt und darüber hinaus werden Daten im Allgemeinen unter Verwendung eines oder mehrerer Sensoren 110 erfasst und können zusätzlich Daten beinhalten, die aus diesen in dem Computer 105 und/oder auf dem Server 125 berechnet werden. Im Allgemeinen können die erfassten Daten beliebige Daten beinhalten, die durch die Sensoren 110 erfasst und/oder aus derartigen Daten berechnet werden können.
Das Fahrzeug 101 kann eine Vielzahl von Fahrzeugkomponenten 115 beinhalten. In diesem Zusammenhang beinhaltet jede Fahrzeugkomponente 115 eine oder mehrere Hardwarekomponenten, die dazu ausgelegt sind, eine mechanische Funktion oder einen mechanischen Betrieb durchzuführen - wie etwa Bewegen des Fahrzeugs 101, Verlangsamen oder Anhalten des Fahrzeugs 101, Lenken des Fahrzeugs 101 usw. Nicht einschränkende Beispiele für Komponenten 115 beinhalten eine Antriebskomponente (die z.B. eine Brennkraftmaschine und/oder einen Elektromotor usw. beinhaltet), eine Getriebekomponente, eine Lenkkomponente (die z. B. eines oder mehrere von einem Lenkrad, einer Lenkungszahnstange usw. beinhalten kann), eine Bremskomponente, eine Einparkhilfekomponente, eine Komponente für adaptive Geschwindigkeitsregelung, eine Komponente für adaptives Lenken, einen beweglichen Sitz und dergleichen.
Zum Zwecke dieser Offenbarung kann das Fahrzeug 101 in einem von einem vollautonomen Modus, einem teilautonomen Modus oder einem nichtautonomen Modus betrieben werden. Ein vollautonomer Modus ist als ein Modus definiert, in dem jedes von dem Antrieb (üblicherweise über einen Antriebsstrang, der einen Elektromotor und/oder eine Brennkraftmaschine beinhaltet), der Bremsung und der Lenkung des Fahrzeugs 101 durch den Computer 105 gesteuert wird. Ein teilautonomer Modus ist ein Modus, in dem mindestens eines von dem Antrieb (üblicherweise über einen Antriebsstrang, der einen Elektromotor und/oder eine Brennkraftmaschine beinhaltet), der Bremsung und der Lenkung des Fahrzeugs 101 mindestens teilweise durch den Computer 105 und nicht durch einen menschlichen Fahrzeugführer gesteuert wird. In einem nichtautonomen Modus, d. h. einem manuellen Modus, werden der Antrieb, die Bremsung und die Lenkung des Fahrzeugs 101 durch den menschlichen Fahrzeugführer gesteuert.
Das System 100 kann ferner ein Netzwerk 120 beinhalten, das mit einem Server 125 verbunden ist. Der Computer 105 kann ferner dazu programmiert sein, mit einem oder mehreren entfernten Orten, wie etwa dem Server 125, über das Netzwerk 120 zu kommunizieren, wobei ein derartiger entfernter Ort möglicherweise einen Prozessor und einen Speicher beinhaltet. Das Netzwerk 120 stellt einen oder mehrere Mechanismen dar, über die ein Fahrzeugcomputer 105 mit einem entfernten Server 125 kommunizieren kann. Dementsprechend kann es sich bei dem Netzwerk 120 um einen oder mehrere verschiedener drahtgebundener oder drahtloser Kommunikationsmechanismen handeln, die eine beliebige gewünschte Kombination aus drahtgebundenen (z. B. Kabel und Glasfaser) und/oder drahtlosen (z. B. Mobilfunk, drahtlos, Satellit, Mikrowelle und Funkfrequenz) Kommunikationsmechanismen und eine beliebige gewünschte Netzwerktopologie (oder Netztopologien, wenn mehrere Kommunikationsmechanismen genutzt werden) beinhalten. Beispielhafte Kommunikationsnetzwerke beinhalten drahtlose Kommunikationsnetzwerke (z. B. unter Verwendung von Bluetooth®, Bluetooth® Low Energy (BLE), IEEE 802.11, Fahrzeug-zu-Fahrzeug (V2V), wie etwa dedizierte Nahbereichskommunikation (DSRC) usw.), lokale Netzwerke (local area network - LAN) und/oder Weitverkehrsnetzwerke (wide area network -WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Die 2A-2C veranschaulichen Bilder 200 mit simuliertem Nebel 205. Im Zusammenhang mit dieser Schrift ist „Nebel“ ein sichtbares Aerosol, das Wassertropfen oder Eiskristalle enthält, die in der Luft über einer Fahrbahn schweben und die Lichtdurchlässigkeit durch diese reduzieren oder blockieren können. Ferner ist „simulierter Nebel“ im Zusammenhang mit dieser Schrift eine Spezifikation von Farbwerten des Bildes 200, die üblicherweise ursprüngliche Farbwerte ändern, um die durch tatsächlichen Nebel verursachte Verdeckung nachzubilden. Das heißt, das Bild 200 kann eine Matrix sein, wobei jedes Element der Matrix ein Satz von Rot-Blau-Grün-(RGB-)Farbwerten oder ein Schwarz-Weiß-(SW- )Farbwert ist. Jedes Element der Matrix ist ein „Pixel“ des Bildes 200. Jedes Pixel kann einen Satz von Farbwerten aufweisen, d. h. Zahlen, die jeweilige Farbkomponenten darstellen, wie etwa rot-blau-grün, die eine Farbe für das Pixel vorgeben. Der simulierte Nebel 205 kann ein Satz von Pixeln sein, bei denen Farbwerte so angepasst werden, dass sie näher an einer weißen Farbe als die ursprünglichen RGB- oder SW-Werte liegen. Das heißt, in RGB ist ein Pixel weiß, wenn seine RGB-Werte 256-256-256 sind. Ein Pixel des simulierten Nebels 205 kann RBG-Farbwerte aufweisen, die zwischen einem ursprünglichen Satz von RGB-Werten des Pixels und der weißen Farbe 256-256-256 liegen. 2A veranschaulicht ein Referenzbild 200 ohne simulierten Nebel 205. 2B veranschaulicht das Referenzbild 200 mit simuliertem Nebel 205 in einer Entfernung r₁ von dem Sensor 110, wie nachstehend beschrieben. 2C veranschaulicht das Referenzbild 200 mit simuliertem Nebel 205 in einer Entfernung r₂ von dem Sensor 110, wie nachstehend beschrieben. Das „Referenzbild“ 200 kann ein Bild 200 sein, das zum Trainieren eines maschinellen Lernprogramms verwendet wird, wie nachstehend beschrieben.
Der Server 125 kann den simulierten Nebel 205 auf das Referenzbild 200 anwenden, indem er ein Farbänderungsmodell auf das Bild 200 anwendet: $F (x) = t (x) R (x) + L (1 - t (x))$
wobei x ein Pixel des Bildes 200 ist, F(x) eine Matrix ist, die das Bild 200 mit simuliertem Nebel 205 darstellt, R(x) eine Matrix ist, die das ursprüngliche Bild 200 darstellt, t(x) ein Übertragungskoeffizient ist, wie nachstehend beschrieben, und L ein Umgebungslicht ist, wie nachstehend beschrieben.
Der Übertragungskoeffizient t(x) ist eine Zahl zwischen 0 und 1, die eine Lichtmenge darstellt, die die Kamera 110 erreicht: $t (x) = e x p (- β \cdot s (x))$
wobei β ein Abschwächungskoeffizient ist und s(x) eine anfängliche Entfernung von der Kamera 110 zu einem Objekt in dem Referenzbild 200 ohne Nebel ist. Der Abschwächungskoeffizient β ist ein Wert, der den exponentiellen Abfall der Übertragung von Licht auf die anfängliche Entfernung s(x) zu dem Objekt quantifiziert. Insbesondere basiert der Abschwächungskoeffizient β auf einem meteorologischen optischen Bereich (meteorological optical range - MOR) r. Der meteorologische optische Bereich r ist eine Entfernung, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt. Der Helligkeitsschwellenwert ist ein vorbestimmter Wert, der durch eine Organisation, die Standards festlegt, z. B. die International Civil Aviation Organization, festgelegt wird. Zum Beispiel kann der Helligkeitsschwellenwert 5 % betragen. Somit kann der Server 125 Nebel 205 bei vorgegebenen MOR-Werten simulieren, um das maschinelle Lernprogramm zu trainieren. Der Abschwächungskoeffizient β kann somit gemäß dem Helligkeitsschwellenwert definiert werden, zum Beispiel: β = 2.996/r wenn der Helligkeitsschwellenwert 5 % beträgt.
Das Farbänderungsmodell kann Umgebungslicht L(1 - t(x)) verwenden, um den simulierten Nebel 205 anzuwenden. In diesem Zusammenhang ist „Umgebungslicht“ ein konstanter RBG-Wert, der atmosphärisches Licht darstellt, z. B. eine weiße Farbe mit einem RBG-Wert von 256-256-256. Das Umgebungslicht L wird somit auf das Referenzbild 200 angewendet, um Objekte in dem Referenzbild 200 zu verdecken. Das heißt, das Umgebungslicht L ändert die Farbwerte der Pixel x proportional zu 1 - t(x), wodurch der simulierte Nebel 205 erzeugt wird. Das heißt, wenn sich der Übertragungskoeffizient t(x) erhöht, reduziert sich die Menge an Umgebungslicht L, die zu dem Pixel x hinzugefügt wird, wodurch die Menge an simuliertem Nebel 205 in dem Pixel x reduziert wird.
Der Server 125 kann den simulierten Nebel 205 bei vorgegebenen MOR-r-Werten anwenden. Das heißt, der Server 125 kann für jedes Pixel x in dem Bild 200 die Farbwerte des Pixels x gemäß den vorstehenden Gleichungen 1-2 anpassen. Zum Beispiel kann der Server 125 den simulierten Nebel 205 bei einem MOR- r -Wert von r₁ anwenden, um den simulierten Nebel 205 aus 2B zu erzeugen. In einem anderen Beispiel kann der Server 125 den simulierten Nebel 205 bei einem MOR- r -Wert von r₂ anwenden, um den simulierten Nebel 205 aus 2C zu erzeugen. Alternativ oder zusätzlich kann der Server 125 den simulierten Nebel 205 bei einem anderen MOR-r-Wert anwenden, um simulierten Nebel 205 in dem MOR r zu erzeugen.
Der Server 125 kann ein synthetisches Bild erzeugen, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes 200 auf Grundlage eines vorgegebenen MOR r von dem Sensor 110 zu dem simulierten Nebel 205 angepasst werden. Ein „synthetisches Bild“ ist ein Bild, in dem ein oder mehrere Pixel durch ein Computerprogramm angepasst werden. Zum Beispiel kann das synthetische Bild ein Bild 200 sein, das von einer Kamera 110 erfasst wird, in dem simulierter Nebel 205 hinzugefügt wird. Das heißt, das Farbänderungsmodell kann ein synthetisches Bild F(x) ausgeben, wie vorstehend beschrieben. Der Server 125 kann eine Vielzahl von synthetischen Bildern erzeugen, wobei jedes synthetische Bild simulierten Nebel 205 in einem vorgegeben MOR rbeinhaltet.
Der Server 125 kann eine Vielzahl von synthetischen Bildern in ein maschinelles Lernprogramm eingeben. Der Server 125 kann das maschinelle Lernprogramm trainieren, um einen MOR r von dem Fahrzeugsensor 101 zu tatsächlichem Nebel mit den eingegebenen synthetischen Bildern zu identifizieren. Wie nachstehend beschrieben, kann der Server 125 die synthetischen Bilder mit dem MOR r annotieren, der zum Eingeben des simulierten Nebels 205 verwendet wird. Der Server 125 kann eine Differenz zwischen einem ausgegebenen MOR r des maschinellen Lernprogramms und der Annotation des MOR r in dem synthetischen Bild bestimmen. Der Server 125 kann die Differenz in eine Kostenfunktion (z. B. eine Gleichung der kleinsten Quadrate) eingeben. Der Server 125 kann unter Verwendung von Techniken, wie etwa Rückpropagierung und Gradientenabstieg, die Ausgabe des maschinellen Lernprogramms anpassen, bis die Kostenfunktion minimiert ist.
Das maschinelle Lernprogramm kann ein Objekt in dem erfassten Bild 200 ausgeben. Das heißt, das maschinelle Lernprogramm kann trainiert werden, um ein oder mehrere Objekte in dem Bild 200 zu identifizieren. Das maschinelle Lernprogramm kann mit Bildern 200 mit Annotationen von Objekten in dem Bild 200 trainiert werden. Das heißt, unter Verwendung einer Kostenfunktion, wie vorstehend beschrieben, zwischen der ausgegebenen Identifizierung von Objekten und den Annotationen in den Bildern 200 kann der Server 125 die Ausgabe des maschinellen Lernprogramms anpassen, um die Kostenfunktion zu minimieren. Der Computer 105 kann eine oder mehrere Fahrzeugkomponenten 115 auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts betätigen.
Der Computer 105 kann einen meteorologischen optischen Bereich r von tatsächlichem Nebel in einem Bild 200 bestimmen. Der Computer 105 kann ein Bild 200 mit einem Sensor 110, z. B. einer Kamera, erfassen. Der Computer 105 kann das Bild in das maschinelle Lernprogramm eingeben, wie vorstehend beschrieben. Das maschinelle Lernprogramm kann den MOR r von dem Sensor 110 zu dem tatsächlichen Nebel für jedes Pixel des Bildes 200 ausgeben. Der Computer 105 kann einen minimalen MOR r identifizieren, der ein kleinster MOR-r-Wert der MOR-r-Werte der Pixel in dem Bild 200 ist.
Der Computer 105 kann eine oder mehrere Fahrzeugkomponenten 115 auf Grundlage des minimalen MOR r von dem Sensor 110 zu dem tatsächlichen Nebel betätigen. Der MOR r ist eine Entfernung, über die hinaus der Computer 105 Daten von einem oder mehreren Sensoren 110 als unzuverlässig ignorieren kann, verglichen mit Daten, die von Sensoren 110 ohne Nebel erfasst werden, d. h. wo Daten von den Sensoren 110 in Abwesenheit von Nebel zuverlässig sein könnten. Das heißt, die durch die Sensoren 110 erfassten Daten können eine Entfernung beinhalten, in der die Daten erfasst wurden, z. B. eine Entfernung zu einem identifizierten Objekt. Wenn die Entfernung, in der die Daten erfasst wurden, den identifizierten MOR rüberschreitet, kann der Computer 105 die Daten ignorieren, wodurch die Verwendung der Daten zum Betätigen von Komponenten 115 unterdrückt wird. Wenn der Computer 105 zum Beispiel Daten empfängt, die angeben, dass eine Fahrbahn außerhalb des MOR r frei von Objekten ist, kann der Computer 105 die Daten ignorieren und zusätzliche Daten der Fahrbahn erfassen, wenn sich das Fahrzeug 101 innerhalb des MOR r der Fahrbahn bewegt. Somit kann der Computer 105 Komponenten 115 nur mit Daten betätigen, die innerhalb des MOR rerfasst werden.
Jede Komponente 115 kann eine Mindestentfernung von dem Fahrzeug 101 aufweisen, bei der die Sensoren 110 Daten für den autonomen Betrieb erfassen. Das heißt, jede Komponente 115 kann Daten von den Sensoren 110 verwenden und jede Komponente 115 kann eine Mindestentfernung von dem Fahrzeug 101 aufweisen, aus der Daten erfasst werden, um ohne manuelle Eingabe betrieben zu werden. Zum Beispiel kann eine Bremse eine Mindestentfernung von 60 Metern aufweisen, da beim Betätigen der Bremse eine Entfernung zum Verlangsamen eines Fahrzeugs 101 von einer Geschwindigkeit von 100 Kilometern pro Stunde bis zu einem Stillstand etwa 55 Meter beträgt. Somit kann der Computer 105 bestimmen, dass, wenn der MOR r weniger als 60 Meter beträgt, die Bremse durch manuelle Eingabe gesteuert werden sollte. In einem anderen Beispiel kann eine Lenkung eine Mindestentfernung von 30 Metern aufweisen.
Der Computer 105 kann eine oder mehrere Fahrzeugkomponenten 115 von einem voll- oder teilautonomen Betrieb in einen manuellen Betrieb überführen, wenn der MOR r unter einem Entfernungsschwellenwert liegt. Der Entfernungsschwellenwert kann die Mindestentfernung für den autonomen Betrieb sein, wie vorstehend beschrieben. Das heißt, eine oder mehrere Komponenten 115 können eine manuelle Eingabe erfordern, wenn der MOR r unter dem Entfernungsschwellenwert liegt und der Computer 105 kann die eine oder mehreren Komponenten 115 überführen, um die manuelle Eingabe zu akzeptieren. Wenn der MOR r zu dem tatsächlichen Nebel über die jeweiligen Mindestentfernungen der Komponenten 115 hinaus zunimmt, kann der Computer 105 die Komponenten 115 betätigen.
Zusätzlich oder alternativ kann der Computer 105 das Fahrzeug 101 auf Grundlage des MOR r , wie vorstehend beschrieben, von einem autonomen Modus in einen von einem teilautonomen Modus oder einem manuellen Modus überführen. Das heißt, anstatt die Fahrzeugkomponenten 115 auf Grundlage des MOR r einzeln in den manuellen Betrieb zu überführen, kann der Computer 105 das Fahrzeug 101 in den teilautonomen Modus oder den manuellen Modus überführen, wodurch eine oder mehrere Fahrzeugkomponenten 115, die in dem identifizierten MOR r immer noch autonom betrieben werden könnten, in den manuellen Betrieb überführt werden. Wenn der MOR r von dem Sensor 110 zu dem tatsächlichen Nebel unter einem zweiten Entfernungsschwellenwert liegt, kann der Computer 105 das Fahrzeug von dem autonomen Modus in den manuellen Modus überführen. Der zweite Entfernungsschwellenwert kann eine größte Mindestentfernung sein, wie vorstehend beschrieben, bei der eine der Komponenten 115 mit Daten von den Sensoren 110 autonom betrieben werden kann. Da die Mindestentfernung der Bremse größer als die Mindestentfernung der Lenkung ist, kann der Computer 105 den zweiten Schwellenwert als Mindestentfernung der Bremse definieren und kann bestimmen, das Fahrzeug 101 in den manuellen Modus zu überführen, wenn der MOR r geringer als der zweite Schwellenwert ist.
3 ist ein Diagramm eines beispielhaften maschinellen Lernprogramms. Das maschinelle Lernprogramm 300 kann ein tiefes neuronales Netzwerk (deep neural network - DNN) 300 sein, das trainiert werden könnte, um einen meteorologischen optischen Bereich r des tatsächlichen Nebels in einem Bild 200 zu identifizieren. Das DNN 300 kann beispielsweise ein Softwareprogramm sein, das in Speicher geladen werden kann und durch einen Prozessor, der in dem Infrastrukturserver 135 beinhaltet ist, ausgeführt werden kann. Das DNN 300 kann n Eingabeknoten 305 beinhalten, von denen jeder einen Satz von Eingaben i akzeptiert (d. h. jeder Satz von Eingaben i kann eine oder mehrere Eingaben X beinhalten). Das DNN 300 kann m Ausgabeknoten beinhalten (wobei m und n eine gleiche natürliche Zahl sein können, es üblicherweise jedoch nicht sind), um Sätze von Ausgaben o₁... o_m bereitzustellen. Das DNN 300 beinhaltet eine Vielzahl von Schichten, einschließlich einer Anzahl k an verborgenen Schichten, wobei jede Schicht einen oder mehrere Knoten 305 beinhaltet. Die Knoten 305 werden manchmal als künstliche Neuronen 305 bezeichnet, weil sie dazu ausgestaltet sind, biologische, z. B. menschliche Neuronen, zu emulieren. Der Neuronenblock 310 veranschaulicht Eingaben in ein beispielhaftes künstliches Neuron 305i und deren Verarbeitung. Ein Satz von Eingaben X₁ ... X_r in jedes Neuron 305 wird jeweils mit jeweiligen Gewichtungen w_i1 ... w_ir multipliziert, wobei die gewichteten Eingaben dann in einer Eingabefunktion Σ summiert werden, um, möglicherweise angepasst um eine Verzerrung b_i, eine Nettoeingabe a_i bereitzustellen, die dann einer Aktivierungsfunktion f bereitgestellt wird, die wiederum die Ausgabe Y_i des Neurons 605i bereitstellt. Bei der Aktivierungsfunktion f kann es sich um eine Vielfalt geeigneter Funktionen handeln, die üblicherweise auf Grundlage einer empirischen Analyse ausgewählt werden. Wie durch die Pfeile in 3 veranschaulicht, können die Ausgaben des Neurons 305 dann zur Aufnahme in einen Satz von Eingaben für ein oder mehrere Neuronen 305 in einer nächsten Schicht bereitgestellt werden.
Das DNN 300 kann trainiert werden, um als Eingabedaten z. B. Referenzbilder von einer Kamera anzunehmen und einen oder mehrere Parameter zum Identifizieren des meteorologischen optischen Bereichs r auszugeben. Zum Beispiel könnte das DNN 300 trainiert werden, um eine Entfernung zum tatsächlichen Nebel auszugeben.
Das heißt, das DNN 300 kann mit Ground-Truth-Daten trainiert werden, d. h. mit Daten zu einer/einem realen Bedingung oder Zustand. Die Gewichtungen w können zum Beispiel unter Verwendung einer Gaußschen Verteilung initialisiert werden und eine Verzerrung b für jeden Knoten 305 kann auf null gesetzt werden. Das Trainieren des DNN 300 kann das Aktualisieren von Gewichtungen und Verzerrungen über herkömmliche Techniken, wie etwa Rückpropagierung mit Optimierungen, beinhalten.
Ein Satz an Gewichtungen w für einen Knoten 305 ist zusammen ein Gewichtungsvektor für den Knoten 305. Gewichtungsvektoren für jeweilige Knoten 305 in einer gleichen Schicht des DNN 300 können kombiniert werden, um eine Gewichtungsmatrix für die Schicht zu bilden. Die Verzerrungswerte b für jeweilige Knoten 305 in einer gleichen Schicht des DNN 300 können kombiniert werden, um einen Verzerrungsvektor für die Schicht zu bilden. Die Gewichtungsmatrix für jede Schicht und der Verzerrungsvektor für jede Schicht können dann in dem trainierten DNN 300 verwendet werden.
Im vorliegenden Zusammenhang könnten die zum Trainieren des DNN 300 verwendeten Ground-Truth-Daten Bilddaten beinhalten, die zum Identifizieren des MOR r annotiert wurden. Zum Beispiel kann ein Sensor eine Vielzahl von Bildern erfassen, die simulierten Nebel beinhalten können, wie vorstehend beschreiben, und dann zum Trainieren des DNN 300 gekennzeichnet werden können, d. h. es können Tags vorgegeben werden, die den MOR r, wie soeben beschrieben, in den Bildern identifizieren. Das DNN 300 kann dann trainiert werden, um Datenwerte auszugeben, die mit dem MOR r korrelieren, und die ausgegebenen Datenwerte können mit den Annotationen verglichen werden, um eine Differenz zu identifizieren, d. h. eine Kostenfunktion der ausgegebenen Datenwerte und der eingegebenen annotierten Bilder. Die Gewichtungen w und die Verzerrungen b können angepasst werden, um die Ausgabe der Kostenfunktion zu reduzieren, d. h. um die Differenz zwischen den ausgegebenen Datenwerten und den eingegebenen annotierten Bildern zu minimieren. Wenn die Kostenfunktion minimiert ist, kann der Server 125 bestimmen, dass das DNN 300 trainiert ist.
4 ist ein Diagramm eines beispielhaften Prozesses 400 zum Trainieren eines maschinellen Lernprogramms für ein Fahrzeug 101. Der Prozess 400 beginnt in einem Block 405, in dem ein Server 125 ein Bild 200 einer Fahrbahn empfängt. Das Bild 200 kann z. B. durch eine Kamera 110 an einem Fahrzeug 101 auf der Fahrbahn erfasst werden. Das Bild 200 kann ein Rot-Blau-Grün-(RBG-)Farbbild sein. Alternativ kann das Bild 200 ein Schwarz-Weiß-(SW-)Bild sein.
Als nächstes wendet der Server 125 in einem Block 410 simulierten Nebel 205 auf das Bild 200 an. Der simulierte Nebel 205 ist eine Änderung der Farbwerte des Bildes 200, um die durch tatsächlichen Nebel verursachte Verdeckung nachzubilden. Der Server 215 kann den simulierten Nebel 205 mit einem Farbänderungsmodell anwenden, wie vorstehend beschrieben, das Farbwerte von Pixeln des Bildes 200 ändert. Das Farbänderungsmodell kann die Farbwerte der Pixel auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs (MOR) r ändern, d. h. einer Entfernung von einer Entfernung, bei der eine Helligkeit eines Lichtstrahls, der sich von einem Emitter (z. B. einer Lichtquelle an dem Sensor 110) erstreckt, unter einen Helligkeitsschwellenwert fällt. Der Helligkeitsschwellenwert ist ein vorbestimmter Wert, der durch eine Organisation, die Standards festlegt, z. B. die International Civil Aviation Organization, festgelegt wird. Zum Beispiel kann der Helligkeitsschwellenwert 5 % betragen.
Als nächstes kann der Server 125 in einem Block 415 das Bild 200 mit dem MOR r des simulierten Nebels 205 annotieren. Das heißt, für jedes Pixel, in das der Server 125 simulierten Nebel 205 einschließt, kann der Server 125 eine Kennzeichnung bereitstellen, die den MOR r angibt, der verwendet wird, um den simulierten Nebel 205 in das Pixel einzugeben.
Als nächstes gibt der Server 125 in einem Block 420 die Bilder 200 mit dem simulierten Nebel 205 in ein maschinelles Lernprogramm 300 ein, um einen MOR r auszugeben. Zum Beispiel kann das maschinelle Lernprogramm ein tiefes neuronales Netzwerk 300 sein, das trainiert ist, um den MOR r auf Grundlage von Annotationen von simuliertem Nebel 205 in einem Bild 200 auszugeben. Wenn das maschinelle Lernprogramm 300 trainiert ist, kann das maschinelle Lernprogramm 300 den MOR r von tatsächlichem Nebel in einem durch eine Fahrzeugkamera 110 erfassten Bild 200 ausgeben. Der Server 125 kann Gewichtungen von Knoten 305 des DNN 300 anpassen, um die Ausgabe einer Kostenfunktion zu reduzieren, d. h. die Differenz zwischen ausgegebenen Datenwerten und den eingegebenen annotierten Bildern 200 zu minimieren.
Als Nächstes bestimmt der Server 125 in einem Block 425, ob das maschinelle Lernprogramm trainiert ist. Der Server 125 kann bestimmen, dass das maschinelle Lernprogramm trainiert ist, wenn die Kostenfunktion minimiert ist. Das heißt, der Server 125 kann bestimmen, dass die Kostenfunktion minimiert ist, wenn das Eingeben zusätzlicher Bilder 200 die Ausgabe der Kostenfunktion nicht weiter reduziert. Wenn der Server 125 bestimmt, dass das Maschinenlernprogramm trainiert ist, endet der Prozess 400. Andernfalls kehrt der Prozess 400 zu dem Block 405 zurück, um ein weiteres Bild zu empfangen.
5 ist ein Diagramm eines beispielhaften Prozesses 500 zum Betreiben eines Fahrzeugs 101 gemäß einem maschinellen Lernprogramm 300, das wie in 4 beschrieben trainiert wird. Der Prozess 500 beginnt in einem Block 505, in dem ein Computer 105 des Fahrzeugs 101 ein Bild 200 von einer Kamera 110 empfängt. Wie vorstehend beschrieben, kann der Computer 105 die Kamera 110 betätigen, um ein Bild 200 einer Fahrbahn vor dem Fahrzeug 101 zu erfassen. Das Bild 200 kann z. B. ein RBG-Bild 200 sein.
Als Nächstes gibt der Computer 105 in einem Block 510 das Bild 200 in das maschinelle Lernprogramm 300 ein. Wie in 4 beschrieben, kann das maschinelle Lernprogramm 300 ein tiefes neuronales Netzwerk 300 mit einer Vielzahl von Schichten sein, das trainiert ist, um einen meteorologischen optischen Bereich (MOR) r von Nebel in dem Bild 200 auszugeben.
Als nächstes identifiziert der Computer 105 in einem Block 515 den MOR r von tatsächlichem Nebel in dem Bild 200. Wie vorstehend beschrieben, gibt das an Bildern 200 mit simuliertem Nebel 205 trainierte maschinelle Lernprogramm 300 MOR -r-Werte für jedes Pixel in dem Bild 200 aus. Der Computer 105 kann einen minimalen MORr identifizieren, das heißt den kleinsten MOR-r-Wert, der durch das maschinelle Lernprogramm 300 ausgegeben wird.
Als Nächstes bestimmt der Computer 105 in einem Block 520, ob der minimale MOR r in dem Bild 200 unter einem Schwellenwert liegt. Der Schwellenwert kann eine Mindestentfernung für den autonomen Betrieb sein, d. h. eine Mindestentfernung von dem Fahrzeug 101 aufweisen, aus der Daten erfasst werden können, um eine Komponente 115 ohne manuelle Eingabe zu betreiben. Zum Beispiel kann eine Bremse eine Mindestentfernung von 60 Metern aufweisen, da beim Betätigen der Bremse eine Entfernung zum Verlangsamen eines Fahrzeugs 101 von einer Geschwindigkeit von 100 Kilometern pro Stunde bis zu einem Stillstand etwa 55 Meter beträgt. Somit kann der Computer 105 bestimmen, dass, wenn der MOR r weniger als 60 Meter beträgt, die Bremse durch manuelle Eingabe gesteuert werden sollte. Wenn der MOR r unter dem Schwellenwert liegt, fährt der Prozess 500 in einem Block 525 fort. Andernfalls geht der Prozess 500 zu einem Block 530 über.
In dem Block 525 überführt der Computer 105 eine oder mehrere Komponenten 115 von einem autonomen Betrieb in einen manuellen Betrieb. Wie vorstehend beschrieben, basiert der Schwellenwert auf jeweiligen Mindestentfernungen zu Nebel, damit die Komponenten 115 betreiben werden können. Wenn zum Beispiel der MOR r 45 Meter beträgt, was größer als eine Mindestentfernung von 30 Metern für eine Lenkung 120, aber kleiner als ein Mindestentfernung von 60 Metern für eine Bremse 120 ist, kann der Computer 105 die Lenkung 120 in den manuellen Betrieb überführen und den autonomen Betrieb der Bremse 120 aufrechterhalten.
In dem Block 530 bestimmt der Computer 105, ob der Prozess 500 fortgesetzt werden soll. Zum Beispiel kann der Computer 105 bestimmen, den Prozess 500 bis zur Ankunft an einem Ziel und zum Abschalten des Fahrzeugs 101 fortzusetzen. Wenn der Computer 105 bestimmt, fortzusetzen, kehrt der Prozess 500 zu dem Block 505 zurück, um ein weiteres Bild 200 zu erfassen. Andernfalls endet der Prozess 500.
In dieser Schrift erörterte Rechenvorrichtungen, einschließlich des Computers 105, beinhalten Prozessoren und Speicher, wobei die Speicher im Allgemeinen jeweils Anweisungen beinhalten, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend identifizierten, und zum Ausführen vorstehend beschriebener Blöcke oder Schritte von Prozessen ausführbar sind. Computerausführbare Anweisungen können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt worden sind, die entweder allein oder in Kombination unter anderem Java™, C, C++, Visual Basic, Java Script, Python, Perl, HTML usw. beinhalten. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, die einen oder mehrere der in dieser Schrift beschriebenen Prozesse beinhalten. Derartige Anweisungen und andere Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden. Eine Datei in dem Computer 105 ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium gespeichert sind, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw.
Ein computerlesbares Medium beinhaltet ein beliebiges Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nicht flüchtige Medien, flüchtige Medien usw. Nicht flüchtige Medien umfassen beispielsweise optische oder magnetische Platten und sonstige Dauerspeicher. Flüchtige Medien beinhalten einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM), der üblicherweise einen Hauptspeicher darstellt. Gängige Formen computerlesbarer Medien schließen beispielsweise Folgendes ein: eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer gelesen werden kann.
Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. sollte es sich verstehen, dass, obwohl die Schritte derartiger Prozesse usw. als in einer bestimmten geordneten Sequenz erfolgend beschrieben worden sind, die beschriebenen Schritte bei der Ausführung derartiger Prozesse in einer Reihenfolge durchgeführt werden könnten, bei der es sich nicht um die in dieser Schrift beschriebene Reihenfolge handelt. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten. Zum Beispiel könnten im Prozess 400 ein oder mehrere der Schritte weggelassen werden oder könnten die Schritte in einer anderen Reihenfolge, als in 4 gezeigt, ausgeführt werden. Mit anderen Worten werden die Beschreibungen von Systemen und/oder Prozessen in dieser Schrift zum Zweck der Veranschaulichung bestimmter Ausführungsformen bereitgestellt und sollten in keiner Weise als den offenbarten Gegenstand einschränkend ausgelegt werden.
Dementsprechend versteht es sich, dass die vorliegende Offenbarung, welche die vorangehende Beschreibung und die beigefügten Figuren und nachfolgenden Patentansprüche beinhaltet, veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, werden dem Fachmann beim Lesen der vorstehenden Beschreibung ersichtlich. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorangehende Beschreibung bestimmt werden, sondern stattdessen unter Bezugnahme auf Ansprüche, die hier beigefügt sind und/oder in einer hierauf basierenden, nicht vorläufigen Patentanmeldung enthalten sind, gemeinsam mit dem vollständigen Umfang von Äquivalenten, zu welchen derartige Ansprüche berechtigen. Es ist davon auszugehen und beabsichtigt, dass es zukünftige Entwicklungen im in dieser Schrift erörterten Stand der Technik geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass der offenbarte Gegenstand modifiziert und variiert werden kann.
Der ein Substantiv modifizierende Artikel „ein(e)“ sollte dahingehend verstanden werden, dass er eine(n) oder mehrere bezeichnet, es sei denn, es ist etwas anderes angegeben oder der Zusammenhang erfordert etwas anderes. Der Ausdruck „auf Grundlage von“ bzw. „basierend auf“ schließt teilweise oder vollständig auf Grundlage von bzw. basierend auf ein.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das einen Computer aufweist, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen speichert, die durch den Prozessor zu Folgendem ausführbar sind: Erzeugen eines synthetischen Bildes, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von einem Fahrzeugsensor zu simuliertem Nebel angepasst werden; und Eingeben des synthetischen Bildes in ein maschinelles Lernprogramm, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um ein Bild mit dem Fahrzeugsensor zu erfassen, das Bild in das maschinelle Lernprogramm einzugeben, aus dem maschinellen Lernprogramm den meteorologischen optischen Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel auszugeben und eine oder mehrere Fahrzeugkomponenten auf Grundlage des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel zu betätigen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine der einen oder mehreren Fahrzeugkomponenten von einem autonomen Betrieb in einen manuellen Betrieb zu überführen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem Entfernungsschwellenwert liegt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um ein Fahrzeug von einem autonomen Modus in einen manuellen Modus zu überführen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem zweiten Entfernungsschwellenwert liegt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine erste Komponente zu betätigen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem ersten Schwellenwert liegt, und um eine zweite Komponente zu betätigen, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem zweiten Schwellenwert liegt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um aus dem maschinellen Lernprogramm ein Objekt in dem erfassten Bild auszugeben und die eine oder die mehreren Fahrzeugkomponenten auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts zu betätigen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um ein Umgebungslicht des Referenzbildes zu identifizieren und die jeweiligen Farbwerte des einen oder der mehreren Pixel auf Grundlage des Umgebungslichts anzupassen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um das Referenzbild mit dem meteorologischen optischen Bereich von dem Sensor zu dem simulierten Nebel zu annotieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um die Farbwerte eines der Pixel in dem Referenzbild anzupassen, indem die Farbwerte des einen der Pixel auf Grundlage eines Übertragungskoeffizienten von Licht durch Nebel verringert werden und ein Umgebungslicht des Pixels auf Grundlage des Übertragungskoeffizienten erhöht wird.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um eine anfängliche Entfernung von dem Fahrzeugsensor zu einem Objekt in einem der Pixel des Referenzbildes zu identifizieren und die Farbwerte des einen der Pixel auf Grundlage der anfänglichen Entfernung und des vorgegebenen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem simulierten Nebel anzupassen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um jeweilige meteorologische optische Bereiche von dem Fahrzeugsensor zu dem tatsächlichen Neben für alle Pixel in einem Bild, das von dem Fahrzeugsensor erfasst wird, zu identifizieren und eine oder mehrere Fahrzeugkomponenten auf Grundlage eines minimalen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel zu betätigen.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um ein Objekt mit einem zweiten Fahrzeugsensor und eine Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt zu identifizieren und eine Betätigung einer oder mehrerer Fahrzeugkomponenten auf Grundlage des identifizierten Objekts zu unterdrücken, wenn die Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt den meteorologischen optischen Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel überschreitet.
Gemäß einer Ausführungsform ist der meteorologische optische Bereich eine Entfernung, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt.
Gemäß einer Ausführungsform beinhaltet ein Verfahren Folgendes: Erzeugen eines synthetischen Bildes, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von einem Fahrzeugsensor zu simuliertem Nebel angepasst werden, wobei der meteorologische optische Bereich eine Entfernung ist, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt; und Eingeben des synthetischen Bildes in ein maschinelles Lernprogramm, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Erfassen eines Bildes mit dem Fahrzeugsensor, das Eingeben des Bildes in das maschinelle Lernprogramm, das Ausgeben aus dem maschinellen Lernprogramm des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel und das Betätigen einer oder mehrerer Fahrzeugkomponenten auf Grundlage des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Überführen einer der einen oder mehreren Fahrzeugkomponenten von einem autonomen Betrieb in einen manuellen Betrieb, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem Entfernungsschwellenwert liegt.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Ausgeben aus dem maschinellen Lernprogramm eines Objekts in dem erfassten Bild und das Betätigen der einen oder mehreren Fahrzeugkomponenten auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das Folgendes aufweist: einen Fahrzeugsensor, Mittel zum Erzeugen eines synthetischen Bildes, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu simuliertem Nebel angepasst werden, wobei der meteorologische optische Bereich eine Entfernung ist, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt, Mittel zum Eingeben des synthetischen Bildes in ein maschinelles Lernprogramm, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren, Mittel zum Erfassen eines Bildes mit dem Fahrzeugsensor, Mittel zum Eingeben des Bildes in das maschinelle Lernprogramm, Mittel zum Ausgeben aus dem maschinellen Lernprogramm des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel und Mittel zum Betätigen einer oder mehrerer Fahrzeugkomponenten auf Grundlage des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Mittel zum Überführen einer der einen oder mehreren Fahrzeugkomponenten von einem autonomen Betrieb in einen manuellen Betrieb, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem Entfernungsschwellenwert liegt, gekennzeichnet.
Gemäß einer Ausführungsform ist die Erfindung ferner durch Mittel zum Ausgeben aus dem maschinellen Lernprogramm eines Objekts in dem erfassten Bild und Mittel zum Betätigen der einen oder mehreren Fahrzeugkomponenten auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts gekennzeichnet.

Claims

Verfahren, umfassend: Erzeugen eines synthetischen Bildes, indem jeweilige Farbwerte eines oder mehrerer Pixel eines Referenzbildes auf Grundlage eines vorgegebenen meteorologischen optischen Bereichs von einem Fahrzeugsensor zu simuliertem Nebel angepasst werden, wobei der meteorologische optische Bereich eine Entfernung ist, bei der eine Helligkeit eines Lichtstrahls, der sich von dem Fahrzeugsensor erstreckt, unter einen Helligkeitsschwellenwert fällt; und Eingeben des synthetischen Bildes in ein maschinelles Lernprogramm, um das maschinelle Lernprogramm zu trainieren, um einen meteorologischen optischen Bereich von dem Fahrzeugsensor zu tatsächlichem Nebel zu identifizieren.
Verfahren nach Anspruch 1, ferner umfassend Erfassen eines Bildes mit dem Fahrzeugsensor, Eingeben des Bildes in das maschinelle Lernprogramm, Ausgeben aus dem maschinellen Lernprogramm des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel und Betätigen einer oder mehrerer Fahrzeugkomponenten auf Grundlage des meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel.
Verfahren nach Anspruch 2, ferner umfassend Überführen einer der einen oder mehreren Fahrzeugkomponenten von einem autonomen Betrieb in einen manuellen Betrieb, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem Entfernungsschwellenwert liegt.
Verfahren nach Anspruch 3, ferner umfassend Überführen eines Fahrzeugs von einem autonomen Modus in einen manuellen Modus, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel unter einem zweiten Entfernungsschwellenwert liegt.
Verfahren nach Anspruch 2, ferner umfassend Betätigen einer ersten Komponente, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem ersten Schwellenwert liegt, und Betätigen einer zweiten Komponente, wenn der meteorologische optische Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel über einem zweiten Schwellenwert liegt.
Verfahren nach Anspruch 2, ferner umfassend Ausgeben aus dem maschinellen Lernprogramm eines Objekts in dem erfassten Bild und Betätigen der einen oder mehreren Fahrzeugkomponenten auf Grundlage des durch das maschinelle Lernprogramm ausgegebenen Objekts.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend Identifizieren eines Umgebungslichts des Referenzbildes und das Anpassen der jeweiligen Farbwerte des einen oder der mehreren Pixel auf Grundlage des Umgebungslichts.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend Annotieren des Referenzbildes mit dem meteorologischen optischen Bereich von dem Sensor zu dem simulierten Nebel.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend Anpassen der Farbwerte eines der Pixel in dem Referenzbild, indem die Farbwerte des einen der Pixel auf Grundlage eines Übertragungskoeffizienten von Licht durch Nebel verringert werden und ein Umgebungslicht des Pixels auf Grundlage des Übertragungskoeffizienten erhöht wird.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend Identifizieren einer anfänglichen Entfernung von dem Fahrzeugsensor zu einem Objekt in einem der Pixel des Referenzbildes und Anpassen der Farbwerte des einen der Pixel auf Grundlage der anfänglichen Entfernung und des vorgegebenen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem simulierten Nebel.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend Identifizieren jeweiliger meteorologischer optischer Bereiche von dem Fahrzeugsensor zu dem tatsächlichen Neben für alle Pixel in einem Bild, das von dem Fahrzeugsensor erfasst wird, und Betätigen einer oder mehrerer Fahrzeugkomponenten auf Grundlage eines minimalen meteorologischen optischen Bereichs von dem Fahrzeugsensor zu dem tatsächlichen Nebel.
Verfahren nach einem der Ansprüche 1-6, ferner umfassend Identifizieren eines Objekts mit einem zweiten Fahrzeugsensor und einer Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt und Unterdrücken der Betätigung einer oder mehrerer Fahrzeugkomponenten auf Grundlage des identifizierten Objekts, wenn die Entfernung von dem zweiten Fahrzeugsensor zu dem Objekt den meteorologischen optischen Bereich von dem Fahrzeugsensor zu dem tatsächlichen Nebel überschreitet.
Computer, der dazu programmiert ist, das Verfahren nach einem der Ansprüche 1-6 durchzuführen.
Fahrzeug, umfassend den Computer nach Anspruch 13.
Computerprogrammprodukt, umfassend ein computerlesbares Medium, das Anweisungen speichert, die durch einen Computerprozessor ausführbar sind, um das Verfahren nach einem der Ansprüche 1-6 auszuführen.