DE102021134645A1

DE102021134645A1 - Erneutes trainieren von neuronalem netzwerk in echtzeit

Info

Publication number: DE102021134645A1
Application number: DE102021134645.2A
Authority: DE
Inventors: Sara DADRAS; Jinesh Jain; Shreyasha Paudel
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2020-12-29
Filing date: 2021-12-23
Publication date: 2022-06-30
Also published as: CN114758313A; US20220207348A1

Abstract

Ein System, das einen Computer umfasst, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen beinhaltet, sodass der Prozessor zu Folgendem programmiert ist: Bestimmen, ob eine Differenz zwischen einer Reibungskoeffizientenmarkierung und einem bestimmten Reibungskoeffizienten, der einem Bild entspricht, das eine Fläche darstellt, größer als ein Markierungschwellenwert ist; Modifizieren des bestimmten Reibungskoeffizienten, um der Reibungskoeffizientenmarkierung zu entsprechen, wenn die Differenz größer als der Markierungsschwellenwert ist; und erneutes Trainieren eines neuronalen Netzwerks unter Verwendung des Bilds und der Reibungskoeffizientenmarkierung.

Description

GEBIET DER TECHNIK
Die Offenbarung betrifft im Allgemeinen tiefe neuronale Netzwerke.
ALLGEMEINER STAND DER TECHNIK
Tiefe neuronale Netzwerke (deep neural networks - DNNs) können verwendet werden, um viele Aufgaben zum Verstehen von Bildern durchzuführen, einschließlich Klassifizierung, Segmentierung und Untertitelung. Zum Beispiel können neuronale Faltungsnetzwerke ein Bild als Eingabe verwenden, verschiedenen Aspekten/Objekten, die in dem Bild abgebildet sind, einen Wichtigkeitsgrad zuweisen und die Aspekte/Objekte voneinander abgrenzen.
KURZDARSTELLUNG
Autonome Fahrzeuge setzen in der Regel Wahrnehmungsalgorithmen ein, um die Umgebung um das Fahrzeug herum wahrzunehmen. Die Wahrnehmungsalgorithmen können ein oder mehrere tiefe neuronale Netzwerke zum Unterstützen des Klassifizierens von Objekten verwenden. Zum Beispiel kann ein tiefes neuronales Netzwerk dazu trainiert werden, Bilddaten von einem Fahrzeugsensor einzugeben, der dazu konfiguriert ist, Bilder einer Fahrbahn vor dem Fahrzeug zu beschaffen und einen geschätzten Reibungskoeffizienten für die Fahrbahn zu bestimmen. Eine Rechenvorrichtung in dem Fahrzeug kann den geschätzten Reibungskoeffizienten verwenden, um Entscheidungen bezüglich der Steuerung von Fahrzeugantriebsstrang-, Brems- und Lenkkomponenten zu treffen. Zum Beispiel kann die Rechenvorrichtung Grenzen der zulässigen Quer- und Längsbeschleunigung reduzieren, wenn ein bestimmter Reibungskoeffizient für eine Fahrbahn vor dem Fahrzeug eine erhöhte Schleuderwahrscheinlichkeit angibt. Andere Anwendungen von tiefen neuronalen Netzwerken beinhalten Bestimmen von Markierungen und Standorten für Objekte, wie etwa Fahrzeuge und Fußgänger, in einer Umgebung um ein Fahrzeug und Bestimmen der realen Position, Geschwindigkeit und Richtung für das Fahrzeug auf Grundlage der Verarbeitung einer Abfolge von Videoeinzelbildern.
Das Trainieren eines tiefen neuronalen Netzwerks zum Verarbeiten von Bilddateneingaben und zum Bestimmen von Ausgabedaten, wie etwa einem geschätzten Reibungskoeffizienten für eine Fahrbahn, kann eine Trainingsdatenbank erfordern, die Tausende von Bildern beinhaltet. Die Trainingsdatenbank kann auch Ground-Truth-Daten erfordern, die den Trainingsbildern entsprechen. Ground-Truth-Daten sind Daten, die der richtigen Antwort entsprechen, die durch das tiefe neuronale Netzwerk ausgegeben werden sollen, die durch Mittel erlangt werden, die unabhängig von dem tiefen neuronalen Netzwerk sind. Zum Beispiel kann ein Fahrzeug dazu ausgestattet sein, Daten bezüglich Raddrehung und Vorwärtsbewegung zu beschaffen. Das Bremsen kann angewendet werden und die Raddrehrate im Vergleich zur Vorwärtsbewegung verglichen werden, um den Radschlupf zu bestimmen. Ein Reibungskoeffizient für die Fahrbahn kann zum Beispiel auf Grundlage des Radschlupfs geschätzt werden. Der Trainingsdatensatz sollte Bilddaten beinhalten, die den realen Umgebungen und Erscheinungsformen von Fahrbahnoberflächen entsprechen, von denen erwartet wird, dass sie beim Betreiben des Fahrzeugs angetroffen werden. Das Beschaffen von Tausenden von Trainingsbildern und entsprechenden Ground-Truth-Daten kann sehr teuer und sehr zeitaufwändig sein. Es kann eine große Menge an Arbeit erforderlich sein, um die Ground-Truth-Daten zu beschaffen, und eine große Menge an Rechenressourcen kann erforderlich sein, um das tiefe neuronale Netzwerk unter Verwendung eines großen Trainingsdatensatzes zu trainieren.
Hierin erörterte Techniken können das Trainieren von tiefen neuronalen Netzwerken verbessern, indem bestimmt wird, wann ein trainiertes tiefes neuronales Netzwerk ein Eingabebild beschafft, das einem zuvor nicht gesehenen Szenario eines Reibungskoeffizienten entspricht. Ein zuvor nicht gesehenes Szenario des Reibungskoeffizienten bedeutet, dass das Erscheinungsbild der Fahrbahn in dem Bild nicht ähnlich genug zu den Bildern in dem Trainingsdatensatz ist, um es dem tiefen neuronalen Netzwerk zu ermöglichen, einen geschätzten Reibungskoeffizienten mit einer hohen Wahrscheinlichkeit, korrekt zu sein, zu bestimmen. Reibungskoeffizienten werden als ähnlich bestimmt, wenn sie innerhalb eines empirisch bestimmten Markierungsschwellenwerts liegen. Die Bestimmung des Schwellenwerts des Reibungskoeffizienten wird nachstehend in Bezug auf 4 erörtert. Wenn das tiefe neuronale Netzwerk bestimmt, dass ein Eingabebild keinen Bildern in der Trainingsdatenbank ähnelt, kann ein Reibungskoeffizient von anderen Fahrzeugsensoren eingegeben und zum erneuten Trainieren des tiefen neuronalen Netzwerks verwendet werden. Das tiefe neuronale Netzwerk kann auch erneut trainiert werden, wenn sich ein ausgegebener Reibungskoeffizient von einem durch andere Fahrzeugsensoren bestimmten Reibungskoeffizienten unterscheidet. Das erneut trainierte tiefe neuronale Netzwerk kann auf einen Cloud-basierten Server hochgeladen und mit anderen Fahrzeugen geteilt werden.
Hier erörterte Techniken können verwendet werden, um tiefe neuronale Netzwerke für andere Anwendungen als die Bestimmung des Reibungskoeffizienten erneut zu trainieren. Jede beliebige Anwendung, die Ground-Truth-Daten unabhängig von dem tiefen neuronalen Netzwerk erlangen kann, kann verwendet werden, um ein tiefes neuronales Netzwerk erneut zu trainieren. Zum Beispiel kann ein tiefes neuronales Netzwerk dazu trainiert werden, andere Fahrzeuge in dem Sichtfeld eines Fahrzeugs auf Grundlage von Bildsensordaten zu detektieren und zu lokalisieren. Ground-Truth-Daten bezüglich des Standorts anderer Fahrzeuge können aus Fahrzeug-zu-Fahrzeug-Kommunikationen oder aus Infrastruktur-zu-Fahrzeug-Kommunikationen erlangt und verwendet werden, um zu verifizieren, dass das tiefe neuronale Netzwerk Fahrzeuge korrekt identifiziert und lokalisiert.
Ein System, das einen Computer umfasst, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen beinhaltet, sodass der Prozessor zu Folgendem programmiert ist: Bestimmen, ob eine Differenz zwischen einer Reibungskoeffizientenmarkierung und einem bestimmten Reibungskoeffizienten, der einem Bild entspricht, das eine Fläche darstellt, größer als ein Markierungschwellenwert ist; Modifizieren des bestimmten Reibungskoeffizienten, um der Reibungskoeffizientenmarkierung zu entsprechen, wenn die Differenz größer als der Markierungsschwellenwert ist; und erneutes Trainieren eines neuronalen Netzwerks unter Verwendung des Bilds und der Reibungskoeffizientenmarkierung.
In anderen Merkmalen ist der Prozessor ferner dazu programmiert, ein Fahrzeug auf Grundlage des bestimmten Reibungskoeffizienten zu betreiben, indem eines oder mehrere von Fahrzeugbremsen, Fahrzeugantriebsstrang und Fahrzeuglenkung gesteuert werden.
In anderen Merkmalen ist der Prozessor ferner dazu programmiert, das Fahrzeug auf Grundlage des bestimmten Reibungskoeffizienten zu betreiben, der das Reduzieren zulässiger Quer- und Längsbeschleunigungen beinhaltet.
In anderen Merkmalen ist der Prozessor ferner dazu programmiert, die Reibungskoeffizientenmarkierung auf Grundlage von Fahrzeugsensordaten zu bestimmen.
In anderen Merkmalen ist der Prozessor ferner dazu programmiert, auf die Lookup-Tabelle zuzugreifen, die die Fahrzeugsensordaten mit der Reibungskoeffizientenmarkierung korreliert.
In anderen Merkmalen umfassen die Fahrzeugsensordaten Nichtbildsensordaten.
In anderen Merkmalen umfassen die Fahrzeugsensordaten mindestens eines von Daten, die eine Raddrehzahl, einen Reifenrollradius, eine Radträgheit, ein Antriebsdrehmoment, ein Bremsdrehmoment, eine Reifenrollwiderstandskraft oder eine Längskraft angeben.
In anderen Merkmalen ist der Prozessor ferner dazu programmiert, den Reibungskoeffizienten über das neuronale Netzwerk zu bestimmen.
In anderen Merkmalen ist der Prozessor ferner zu Folgendem programmiert: Empfangen des Bilds an dem neuronalen Netzwerk; und Bestimmen des Reibungskoeffizienten auf Grundlage des Bilds.
In anderen Merkmalen umfasst das neuronale Netzwerk ein neuronales Faltungsnetzwerk.
In anderen Merkmalen umfasst das neuronale Netzwerk eine Support-Vektor-Maschine (support vector machine - SVM).
In anderen Merkmalen wird das neuronale Netzwerk in Echtzeit oder in Nahe-Echtzeit erneut trainiert.
In anderen Merkmalen wird das neuronale Netzwerk erneut trainiert, wenn ein Fahrzeug betriebsbereit ist.
In anderen Merkmalen bestimmt das neuronale Netzwerk eine Markierung für die Fläche in dem Bild. Ein Verfahren umfasst Bestimmen, ob eine Differenz zwischen einer Reibungskoeffizientenmarkierung und einem bestimmten Reibungskoeffizienten, der einem Bild entspricht, das eine Fläche darstellt, größer als ein Markierungschwellenwert ist; Modifizieren des bestimmten Reibungskoeffizienten, um der Reibungskoeffizientenmarkierung zu entsprechen, wenn die Differenz größer als der Markierungsschwellenwert ist; und erneutes Trainieren eines neuronalen Netzwerks unter Verwendung des Bilds und der Reibungskoeffizientenmarkierung.
In anderen Merkmalen umfasst das Verfahren Bestimmen der Reibungskoeffizientenmarkierung auf Grundlage von Fahrzeugsensordaten.
In anderen Merkmalen umfasst das Verfahren Zugreifen auf die Lookup-Tabelle, die die Fahrzeugsensordaten mit der Reibungskoeffizientenmarkierung korreliert.
In anderen Merkmalen umfassen die Fahrzeugsensordaten Nichtbildsensordaten.
In anderen Merkmalen umfassen die Fahrzeugsensordaten mindestens eines von Daten, die eine Raddrehzahl, einen Reifenrollradius, eine Radträgheit, ein Antriebsdrehmoment, ein Bremsdrehmoment, eine Reifenrollwiderstandskraft oder eine Längskraft angeben.
In anderen Merkmalen umfasst das Verfahren Bestimmen der Reibungskoeffizientenmarkierung über das neuronale Netzwerk.
In anderen Merkmalen umfasst das Verfahren ferner Folgendes: Empfangen des Bilds an dem neuronalen Netzwerk und Bestimmen des Reibungskoeffizienten auf Grundlage des Bilds.
In anderen Merkmalen umfasst das neuronale Netzwerk ein neuronales Faltungsnetzwerk.
In anderen Merkmalen umfasst das neuronale Netzwerk eine Support-Vektor-Maschine (SVM).
In anderen Merkmalen wird das neuronale Netzwerk in Echtzeit oder in Nahe-Echtzeit erneut trainiert.
In anderen Merkmalen wird das neuronale Netzwerk erneut trainiert, wenn ein Fahrzeug betriebsbereit ist.
Figurenliste

1 ist ein Diagramm eines beispielhaften Systems, das ein Fahrzeug beinhaltet.
2 ist ein Diagramm eines beispielhaften Servers innerhalb des Systems.
3 ist ein Diagramm eines beispielhaften tiefen neuronalen Netzwerks.
4 ist eine Darstellung eines beispielhaften Systems zum erneuten Trainieren eines neuronalen Netzwerks.
5 ist ein Ablaufdiagramm, das einen beispielhaften Prozess zum Bestimmen, ob ein bestimmter Reibungskoeffizient mit einer Reibungskoeffizientenmarkierung modifiziert werden soll, veranschaulicht.

DETAILLIERTE BESCHREIBUNG
1 ist ein Blockdiagramm eines beispielhaften Fahrzeugsystems 100. Das System 100 beinhaltet ein Fahrzeug 105, bei dem es sich um ein Landfahrzeug, wie etwa ein Auto, einen Lastwagen usw., handelt. Das Fahrzeug 105 beinhaltet einen Computer 110, Fahrzeugsensoren 115, Betätigungselemente 120 zum Betätigen verschiedener Fahrzeugkomponenten 125 und ein Fahrzeugkommunikationsmodul 130. Über ein Netzwerk 135 ermöglicht das Kommunikationsmodul 130, dass der Computer 110 mit einem Server 145 kommuniziert.
Der Computer 110 beinhaltet einen Prozessor und einen Speicher. Der Speicher beinhaltet eine oder mehrere Formen von computerlesbaren Medien und speichert Anweisungen, die durch den Computer 110 zum Durchführen verschiedener Vorgänge, einschließlich der in dieser Schrift offenbarten, ausgeführt werden können.
Der Computer 110 kann ein Fahrzeug 105 in einem autonomen, einem halbautonomen oder einem nichtautonomen (manuellen) Modus betreiben und/oder überwachen, d. h., er kann den Betrieb des Fahrzeugs 105 steuern und/oder überwachen, einschließlich Steuern und/oder Überwachen von Komponenten 125. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als einer definiert, bei dem jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 105 durch den Computer 110 gesteuert wird; in einem teilautonomen Modus steuert der Computer 110 eines oder zwei von Antrieb, Bremsung und Lenkung des Fahrzeugs 105; in einem nicht autonomen Modus steuert ein menschlicher Fahrzeugführer jedes von Antrieb, Bremsung und Lenkung des Fahrzeugs 105.
Der Computer 110 kann eine Programmierung zum Betreiben eines oder mehrerer von Bremsen, Antrieb (z. B. Steuern der Beschleunigung in dem Fahrzeug durch Steuern eines oder mehrere von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimasteuerung, Innen- und/oder Außenbeleuchtung usw. des Fahrzeugs 105 und zum Bestimmen, ob und wann der Computer 110 derartige Vorgänge anstelle eines menschlichen Fahrzeugführers steuern soll, beinhalten. Des Weiteren kann der Computer 110 programmiert sein, um zu bestimmen, ob und wann ein menschlicher Fahrzeugführer derartige Vorgänge steuern soll.
Der Computer 110 kann mehr als einen Prozessor, der z.B. in elektronischen Steuereinheiten (electronic controller units - ECUs) oder dergleichen beinhaltet ist, die in dem Fahrzeug 105 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten 125 beinhaltet sind, z. B. eine Antriebsstrangsteuerung, eine Bremssteuerung, eine Lenkungssteuerung usw., beinhalten oder kommunikativ an diese gekoppelt sein, z. B. über das Kommunikationsmodul 130 des Fahrzeugs 105, wie nachstehend ausführlicher beschrieben. Ferner kann der Computer 110 über das Kommunikationsmodul 130 des Fahrzeugs 105 mit einem Navigationssystem kommunizieren, welches das globale Positionsbestimmungssystem (GPS) verwendet. Als ein Beispiel kann der Computer 110 Standortdaten des Fahrzeugs 105 anfordern und empfangen. Die Standortdaten können in einer bekannten Form vorliegen, z. B. in Geokoordinaten (Breiten- und Längenkoordinaten).
Der Computer 110 ist im Allgemeinen zur Kommunikation über das Kommunikationsmodul 130 des Fahrzeugs 105 und zudem mithilfe eines internen drahtgebundenen und/oder drahtlosen Netzwerks des Fahrzeugs 105, z. B. einem Bus oder dergleichen in dem Fahrzeug 105, wie etwa einem Controller Area Network (CAN) oder dergleichen, und/oder anderen drahtgebundenen und/oder drahtlosen Mechanismen angeordnet.
Über das Kommunikationsnetzwerk des Fahrzeugs 105 kann der Computer 110 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug 105 übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Fahrzeugsensoren 115, Betätigungselementen 120, Fahrzeugkomponenten 125, einer Mensch-Maschine-Schnittstelle (human machine interface - HMI) usw. Alternativ oder zusätzlich kann das Kommunikationsnetzwerk des Fahrzeugs 105 in Fällen, in denen der Computer 110 tatsächlich eine Vielzahl von Vorrichtungen umfasst, zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als der Computer 110 dargestellt sind. Ferner können, wie nachstehend erwähnt, verschiedene Steuerungen und/oder Fahrzeugsensoren 115 Daten an den Computer 110 bereitstellen.
Die Fahrzeugsensoren 115 können eine Vielfalt von Vorrichtungen beinhalten, die bekanntermaßen Daten an den Computer 110 bereitstellen. Zum Beispiel können die Fahrzeugsensoren 115 (einen) Sensor(en) zur optischen Abstands- und Geschwindigkeitsmessung (light detection and ranging - LIDAR) 115 usw. beinhalten, der/die auf einer Oberseite des Fahrzeugs 105, hinter einer Windschutzscheibe des Fahrzeugs 105, um das Fahrzeug 105 herum usw. angeordnet ist/sind und relative Standorte, Größen und Formen von Objekten und/oder Verhältnissen bereitstellen, die das Fahrzeug 105 umgeben. Als ein weiteres Beispiel können ein oder mehrere Radarsensoren 115, der/die an Stoßfängern des Fahrzeugs 105 befestigt ist/sind, Daten bereitstellen, um die Geschwindigkeit von Objekten (möglicherweise beinhaltend zweite Fahrzeuge) usw. in Bezug auf den Standort des Fahrzeugs 105 bereitzustellen und anzuordnen. Die Fahrzeugsensoren 115 können ferner (einen) Kamerasensor(en) 115 beinhalten, der/die z. B. nach vorne, zur Seite, nach hinten usw. gerichtet ist/sind und Bilder aus einem Sichtfeld innerhalb und/oder außerhalb des Fahrzeugs 105 bereitstellt/bereitstellen.
Die Betätigungselemente 120 des Fahrzeugs 105 sind über Schaltungen, Chips, Elektromotoren oder andere elektronische und/oder mechanische Komponenten umgesetzt, die verschiedene Fahrzeugteilsysteme gemäß geeigneten Steuersignalen, wie bekannt, betätigen können. Die Betätigungselemente 120 können dazu verwendet werden, Komponenten 125, einschließlich Bremsung, Beschleunigung und Lenkung eines Fahrzeugs 105, zu steuern.
Im Kontext der vorliegenden Offenbarung handelt es sich bei einer Fahrzeugkomponente 125 um eine oder mehrere Hardwarekomponenten, die dazu ausgelegt sind, eine(n) mechanische(n) oder elektromechanische(n) Funktion oder Vorgang durchzuführen - wie etwa Bewegen des Fahrzeugs 105, Abbremsen oder Anhalten des Fahrzeugs 105, Lenken des Fahrzeugs 105 usw. Nicht einschränkende Beispiele für die Komponenten 125 beinhalten Folgende: eine Antriebskomponente (die z. B. eine Brennkraftmaschine und/oder einen Elektromotor usw. beinhaltet), eine Getriebekomponente, eine Lenkkomponente (die z. B. eines oder mehrere von einem Lenkrad, einer Lenkzahnstange usw. beinhalten kann), eine Bremskomponente (wie nachstehend beschrieben), eine Parkassistenzkomponente, eine Komponente zur adaptiven Geschwindigkeitsregelung, eine Komponente zur adaptiven Lenkung, einen beweglichen Sitz usw.
Des Weiteren kann der Computer 110 dazu konfiguriert sein, über ein Fahrzeug-zu-Fahrzeug-Kommunikationsmodul oder eine Schnittstelle 130 mit Vorrichtungen außerhalb des Fahrzeugs 105, z. B. über drahtlose Kommunikation von Fahrzeug-zu-Fahrzeug (vehicle-to-vehicle - V2V) oder Fahrzeug-zu-Infrastruktur (vehicle-to-infrastructure - V2X) mit einem anderen Fahrzeug, mit einem Remote-Server 145 (in der Regel über das Netzwerk 135) zu kommunizieren. Das Modul 130 könnte einen oder mehrere Mechanismen beinhalten, durch die der Computer 110 kommunizieren kann, einschließlich einer beliebigen gewünschten Kombination aus drahtlosen (z. B. Mobilfunk-, Drahtlos-, Satelliten-, Mikrowellen- und Hochfrequenz-) Kommunikationsmechanismen und einer beliebigen gewünschten Netzwerktopologie (oder Netzwerktopologien, wenn eine Vielzahl von Kommunikationsmechanismen genutzt wird). Beispielhafte über das Modul 130 bereitgestellte Kommunikationen beinhalten Mobilfunk, Bluetooth®, IEEE 802.11, dedizierte Nahbereichskommunikation (dedicated short range communication - DSRC) und/oder Weitverkehrsnetze (wide area networks - WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Das Netzwerk 135 kann einer oder mehrere von verschiedenen drahtgebundenen oder drahtlosen Kommunikationsmechanismen sein, einschließlich jeder gewünschten Kombination aus drahtgebundenen (z. B. Kabel- und Glasfaser-) und/oder drahtlosen (z. B. Mobilfunk-, Drahtlos-, Satelliten-, Mikrowellen- und Hochfrequenz-) Kommunikationsmechanismen und jeder gewünschten Netzwerktopologie (oder -topologien, wenn mehrere Kommunikationsmechanismen genutzt werden). Beispielhafte Kommunikationsnetzwerke beinhalten drahtlose Kommunikationsnetzwerke (z. B. unter Verwendung von Bluetooth, Bluetooth Low Energy (BLE), IEEE 802.11, Fahrzeug-zu-Fahrzeug (V2V), wie etwa Nahbereichskommunikation (DSRC) usw.), lokale Netzwerke (local area network - LAN) und/oder Weitverkehrsnetzwerke (WAN), einschließlich des Internets, die Datenkommunikationsdienste bereitstellen.
Ein Computer 110 kann im Wesentlichen kontinuierlich, periodisch, und/oder wenn durch einen Server 145 usw. angewiesen, Daten von den Sensoren 115 empfangen und analysieren. Ferner können herkömmliche Reibungsschätztechniken verwendet werden, z. B. in einem Computer 110 auf der Grundlage von Daten von einem LIDAR-Sensor 115, einem Kamerasensor 115 usw., um eine Objektart, z. B. Fahrzeug, Person, Stein, Schlagloch, Fahrrad, Motorrad usw., sowie physische Merkmale von Objekten zu identifizieren.
2 ist ein Blockdiagramm eines beispielhaften Servers 145. Der Server 145 beinhaltet einen Computer 235 und ein Kommunikationsmodul 240. Der Computer 235 beinhaltet einen Prozessor und einen Speicher. Der Speicher beinhaltet eine oder mehrere Formen computerlesbarer Medien und speichert Anweisungen, die von dem Computer 235 ausgeführt werden können, um verschiedene Vorgänge, einschließlich der in dieser Schrift offenbarten, durchzuführen. Das Kommunikationsmodul 240 ermöglicht, dass der Computer 235 mit anderen Vorrichtungen, wie etwa dem Fahrzeug 105, kommuniziert.
3 ist eine schematische Darstellung eines beispielhaften tiefen neuronalen Netzwerks (DNN) 300. Das DNN 300 kann für ein oder mehrere hierin beschriebene neuronale Netzwerke repräsentativ sein. Das DNN 300 beinhaltet mehrere Knoten 305 und die Knoten 305 sind derart angeordnet, dass das DNN 300 eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Ausgabeschicht beinhaltet. Jede Schicht des DNN 300 kann eine Vielzahl von Knoten 305 beinhalten. Während 3 drei (3) verborgene Schichten veranschaulicht, versteht es sich, dass das DNN 300 zusätzliche oder weniger verborgene Schichten beinhalten kann. Die Eingabe- und Ausgabeschichten können auch mehr als einen (1) Knoten 305 beinhalten.
Die Knoten 305 werden manchmal als künstliche Neuronen 305 bezeichnet, weil sie dazu ausgestaltet sind, biologische, z. B. menschliche Neuronen, zu emulieren. Ein Satz von Eingaben (durch die Pfeile dargestellt) an jedem Neuron 305 wird jeweils mit den entsprechenden Gewichtungen multipliziert. Die gewichteten Eingaben können dann in einer Eingabefunktion summiert werden, um eine Nettoeingabe bereitzustellen, die möglicherweise um einen Bias angepasst ist. Die Nettoeingabe kann dann an der Aktivierungsfunktion bereitgestellt werden, die wiederum eine Ausgabe an einem verbundenen Neuron 305 bereitstellt. Bei der Aktivierungsfunktion kann es sich um eine Vielfalt von geeigneten Funktionen handeln, die üblicherweise auf Grundlage einer empirischen Analyse ausgewählt werden. Wie durch die Pfeile in 3 veranschaulicht, können die Ausgaben des Neurons 305 dann zur Aufnahme in einen Satz von Eingaben für ein oder mehrere Neuronen 305 in einer nächsten Schicht bereitgestellt werden.
Das DNN 300 kann dazu trainiert werden, Daten als Eingabe anzunehmen und eine Ausgabe auf Grundlage der Eingabe zu erzeugen. Das DNN 300 kann mithilfe von Ground-Truth-Daten trainiert werden, d. h. Daten über eine reale Bedingung oder einen realen Zustand. Zum Beispiel kann das DNN 300 durch einen Prozessor mit Ground-Truth-Daten trainiert oder mit zusätzlichen Daten aktualisiert werden. Die Gewichtungen können zum Beispiel unter Verwendung einer Gauß-Verteilung initialisiert werden und ein Bias für jeden Knoten 305 kann auf null gesetzt werden. Das Trainieren des DNN 300 kann das Aktualisieren von Gewichtungen und Verzerrungen durch geeignete Techniken beinhalten, wie etwa die Rückpropagierung mit Optimierungen. Ground-Truth-Daten können unter anderem Daten beinhalten, die einen Reibungskoeffizienten spezifizieren, der einer in einem Bild abgebildeten Fläche entspricht. Zum Beispiel können die Ground-Truth-Daten Daten bezüglich Oberflächenreibungskoeffizienten, die Oberflächenmarkierungen entsprechen, und Daten bezüglich Markierungsflächen in Bildern sein.
Rückpropagierung ist eine Technik, die Ausgaben von dem DNN 300 an die Eingabe zurückgibt, damit sie mit der Ground Truth entsprechend den Testbilddaten verglichen werden. In diesem Beispiel können während des Trainings eine Markierung und eine Blockierungswahrscheinlichkeit rückpropagiert werden, um mit der in den Ground-Truth-Daten beinhalteten Markierung und Blockierungswahrscheinlichkeit verglichen zu werden, um eine Verlustfunktion zu bestimmen. Die Verlustfunktion bestimmt, wie genau das DNN 300 das DNN 300 verarbeitet hat. Das DNN 300 kann eine Vielzahl von Malen auf Vordergrund- und Hintergrunddaten ausgeführt werden, während Parameter, die die Verarbeitung des DNN 300 steuern, variiert werden. Parameter, die korrekten Antworten entsprechen, wie durch eine Verlustfunktion bestätigt, welche die Ausgaben mit den Ground-Truth-Daten vergleicht, werden als mögliche Parameter gespeichert. Im Anschluss an die Testdurchläufe werden die Kandidatenparameter, die die meisten korrekten Ergebnisse produzieren, als die Parameter gespeichert, die verwendet werden können, um das DNN 300 während des Betriebs zu programmieren.Ground-Truth-Daten können unter anderem Daten beinhalten, die einen Reibungskoeffizienten spezifizieren, der einer in einem Bild abgebildeten Fläche entspricht. Das DNN 300 kann an dem Server 145 trainiert werden und dem Fahrzeug 105 über das Kommunikationsnetzwerk 135 bereitgestellt werden.
4 veranschaulicht ein beispielhaftes System 400 zum erneuten Trainieren eines neuronalen Netzwerks, das ein neuronales Netzwerk 405, einen Reibungsschätzer 410 und einen Datenannotator 415 beinhaltet. Das neuronale Netzwerk 405, der Reibungsschätzer 410 und der Datenannotator 415 können in dem Speicher des Computers 110 gespeichert und durch den Prozessor des Computers 110 ausgeführt werden.
Wie hierin erörtert, kann das neuronale Netzwerk 405 in Echtzeit oder nahezu in Echtzeit mit Daten trainiert werden, die zuvor nicht gesehen wurden. In einigen Umsetzungen wird das neuronale Netzwerk 405 erneut mit Daten trainiert, während das Fahrzeug 105 betriebsbereit ist. Anfangs kann das neuronale Netzwerk 405 unter Verwendung von Bildern trainiert werden, die mit einem Reibungskoeffizienten markiert sind. Ein Reibungskoeffizient ist das Reibungsausmaß zwischen einem oder mehreren Reifen des Fahrzeugs 105 und einer Fläche, auf der das Fahrzeug 105 fährt. Der Reibungskoeffizient kann statisch oder kinetisch sein und entspricht dem Kraftausmaß, das erforderlich ist, um zu bewirken, dass ein oder mehrere Reifen des Fahrzeugs 105 schleudern oder die Traktion brechen. Das neuronale Netzwerk 405 kann ein neuronales Faltungsnetzwerk (convolutional neural network - CNN), eine Support-Vektor-Maschine (SVM), ein neuronales Netzwerk mit Zufallsentscheidungs-Gesamtstrukturregression oder dergleichen umfassen. Das neuronale Netzwerk 405 kann anfänglich offline über den Server 145 trainiert und in dem Fahrzeug 105 eingesetzt werden.
Während des Betriebs kann das neuronale Netzwerk 405 Bilder von einem oder mehreren Sensoren 115 empfangen und bestimmt Reibungskoeffizienten, die einer Fläche entsprechen, die von dem Fahrzeug 105 überquert wird. Das neuronale Netzwerk 405 kann dem Computer 110 die Reibungskoeffizienten bereitstellen und der Computer 110 kann eine oder mehrere Fahrzeugaktionen bestimmen, die auf Grundlage der Reibungskoeffizienten durchzuführen sind. Zum Beispiel kann der Computer 110 einen Antrieb des Fahrzeugs 105 ändern. In einem anderen Beispiel kann der Computer 110 einen Fahrzeugpfad des Fahrzeugs 105 ändern.
Wie vorstehend erörtert, bestimmt das neuronale Netzwerk 405 einen Reibungskoeffizienten der Oberfläche. In einigen Umsetzungen kann das neuronale Netzwerk 405 eine während des Trainings erzeugte Korrelationstabelle verwenden, die Bilder mit reibungsbezogenen Daten korreliert, um das neuronale Netzwerk 405 zu trainieren. Die Korrelationstabelle kann Reibungskoeffizienten beinhalten, die zu dem Zeitpunkt gemessen oder geschätzt werden, zu dem die Bilder beschafft werden. Zum Beispiel können Reibungskoeffizienten durch einen menschlichen Beobachter auf Grundlage von zuvor zusammengestellten Tabellen geschätzt werden, die Reibungskoeffizienten für verschiedene Arten von Oberflächen beschreiben, z. B. trockenen Straßenbelag, mit Eis bedeckten Straßenbelag, nassen Straßenbelag, Straßenbelag mit stehendem Wasser usw. Die zuvor zusammengestellten Tabellen können durch das Testen der verschiedenen Arten von Oberflächen mit Fahrzeugen bestimmt werden, um die Kraftmenge zu bestimmen, die erforderlich ist, um zu bewirken, dass ein Fahrzeugrad schleudert oder die Traktion verliert. Reibungskoeffizienten können auch durch Schätzen der Reibungskoeffizienten unter Verwendung eines Reibungsschätzers 410 bestimmt werden, der Daten von in einem Fahrzeug 105 beinhalteten Sensoren 115 eingibt und einen geschätzten Reibungskoeffizienten ausgibt.
Der Reibungsschätzer 410 empfängt Daten des Sensors 115, z. B. von einem oder mehreren Fahrzeugbussen, und bestimmt den Reibungskoeffizienten auf Grundlage der Daten des Sensors 115. In einer beispielhaften Umsetzung können die Daten des Sensors 115 Daten sein, die eine Raddrehzahl, einen Reifenrollradius, eine Radträgheit, ein Antriebsdrehmoment, ein Bremsdrehmoment, eine Reifenrollwiderstandskraft, eine Längskraft oder dergleichen angeben. Der Reibungsschätzer 410 kann eine zuvor zusammengestellte Tabelle von Reibungskoeffizienten beinhalten, wie vorstehend erörtert, die die Daten des Sensors 115 mit einem Reibungskoeffizienten korreliert. In diesem Beispiel würde die zuvor zusammengestellte Tabelle Reibungskoeffizienten beinhalten, die durch Testen der Kraftmenge bestimmt werden, die erforderlich ist, um ein Schleudern eines Fahrzeugreifens mit Daten des Sensors 115 zu korrelieren. Wenn zum Beispiel die Raddrehzahl mal der Reifenumfang nicht gleich der Geschwindigkeit des Fahrzeugs 105 ist, folgt, dass der Reifen schleudert. Die Geschwindigkeit, mit der der Reifen zu schleudern beginnt, kann mit der Quer- und Längsbeschleunigung kombiniert werden, um einen Reibungskoeffizienten für die Oberfläche zu bestimmen. Die Reibungsschätzungseinrichtung 410 gibt Reibungskoeffizientenmarkierungen aus, die den empfangenen Daten des Sensors 115 entsprechen.
Der Datenannotator 415 empfängt die durch den Reibungsschätzer 410 erzeugten Reibungskoeffizientenmarkierungen und die Bilder und die entsprechenden bestimmten Reibungskoeffizienten von dem neuronalen Netzwerk 405. Der Datenannotator 415 vergleicht die durch den Reibungsschätzer 410 erzeugten Reibungskoeffizientenmarkierungen und die bestimmten Reibungskoeffizienten von dem neuronalen Netzwerk 405, um zu bestimmen, ob ein Unterschied einen Markierungsschwellenwert überschreitet. Zum Beispiel vergleicht der Datenannotator 415 den bestimmten Reibungskoeffizienten, der einem erzeugten Bild entspricht, mit einer entsprechenden Reibungskoeffizientenmarkierung, die durch den Reibungsschätzer 410 erzeugt wird. Der Markierungsschwellenwert ist eine Metrik, z. B. eine empirisch bestimmte Metrik, die während des Trainings des neuronalen Netzwerks 405 bestimmt wird und eine zulässige Differenz zwischen den Reibungskoeffizientenmarkierungen, die durch den Reibungsschätzer 410 erzeugt werden, und den bestimmten Reibungskoeffizienten aus dem neuronalen Netzwerk 405 darstellt. Der Markierungsschwellenwert kann durch Schätzen einer Vielzahl von Reibungskoeffizienten unter Verwendung eines Reibungsschätzers 410 auf Grundlage ähnlicher Daten des Sensors 115 und Bestimmen einer Standardabweichung für die Reibungskoeffizientenschätzungen bestimmt werden. Der Markierungsschwellenwert kann zum Beispiel als eine Standardabweichung von der Schätzung des mittleren Reibungskoeffizienten bestimmt werden.
Wenn die Differenz den Markierungsschwellenwert überschreitet, modifiziert der Datenannotator 415 die bestimmten Reibungskoeffizienten, die dem Bild entsprechen, derart, dass sie gleich der Reibungskoeffizientenmarkierung sind, sodass das Bild mit der Reibungskoeffizientenmarkierung markiert ist. Somit entspricht das Bild der Reibungskoeffizientenmarkierung, die durch den Reibungsschätzer 410 erzeugt ist, und nicht dem bestimmten Reibungskoeffizienten, der durch das neuronale Netzwerk 405 erzeugt ist. Der Datenannotator 415 kann unter Verwendung von Zeitstempeln bestimmen, welches Bild der Reibungskoeffizientenmarkierung entspricht. Zum Beispiel kann der Datenannotator 415 ein Bild mit einer Reibungskoeffizientenmarkierung abgleichen, wenn ein Zeitstempel des Bildes innerhalb eines vorbestimmten Zeitbereichs eines Zeitstempels der Reibungskoeffizientenmarkierung liegt. Der Datenannotator 415 stellt das Bild und die Reibungskoeffizientenmarkierung dem neuronalen Netzwerk 405 bereit. Nach dem Empfangen des Bilds und der Reibungskoeffizientenmarkierung kann das neuronale Netzwerk 405 in eine Trainingsphase eintreten, in der das neuronale Netzwerk 405 mit dem Bild und der Reibungskoeffizientenmarkierung erneut trainiert wird.
Der Reibungskoeffizient, der dem durch das neuronale Netzwerk 405 ausgegebenen Bild entspricht, kann von einem Computer 110 verwendet werden, um ein Fahrzeug 105 zu betreiben, indem Signale an Betätigungselemente 120 übertragen werden, die zum Beispiel den Antriebsstrang, die Lenkung und die Bremsen des Fahrzeugs steuern. Zum Beispiel kann das neuronale Netzwerk 405 auf Grundlage eines Eingabebilds bestimmen, dass die Fahrbahnoberfläche direkt vor dem Fahrzeug 105 einen reduzierten Reibungskoeffizienten beinhaltet. Der reduzierte Reibungskoeffizient kann zum Beispiel auf Wasser oder Eis auf der Fahrbahnoberfläche zurückzuführen sein. Der Computer 105 kann ein Fahrzeug 105 betreiben, indem er einen Fahrzeugpfad auf Grundlage eines Wegpolynoms bestimmt, d. h. eine oder mehrere Polynomfunktionen, die einen vorhergesagten Pfad beschreiben, den das Fahrzeug 105 zurücklegen soll. Die Polynomfunktionen können durch Berechnen von Quer- und Längsbeschleunigungen bestimmt werden, die auf das Fahrzeug anzuwenden sind, indem der Antriebsstrang, die Lenkung und die Bremsen des Fahrzeugs gesteuert werden. Die Quer- und Längsbeschleunigung können Höchstgrenzen auf Grundlage von Beschleunigungen beinhalten, die Schleudern oder Traktionsverlust zwischen den Rädern des Fahrzeugs und der Fahrbahn verursachen würden. Wenn ein reduzierter Reibungskoeffizient durch das neuronale Netzwerk 405 detektiert wird, kann der Computer 105 die maximalen Quer- und Längsbeschleunigungen reduzieren, die beim Bestimmen der in dem Fahrzeugpfad beinhalteten Polynomfunktionen zulässig sind. Das Bestimmen eines Reibungskoeffizienten durch Verarbeiten von Bildern mit einem neuronalen Netzwerk 405 kann den Betrieb eines Fahrzeugs 105 verbessern, indem die zulässigen Quer- und Längsbeschleunigungen reduziert werden und dadurch eine Neigung des Fahrzeugs 105 zum Schleudern bei Bedingungen mit reduziertem Reibungskoeffizienten reduziert wird.
5 ist ein Ablaufdiagramm, das einen beispielhaften Prozess 500 zum Bestimmen, ob ein bestimmter durch das neuronale Netzwerk 405 erzeugter Reibungskoeffizient mit einer durch den Reibungsschätzer 410 bestimmten Reibungskoeffizientenmarkierung modifiziert werden soll, veranschaulicht. Blöcke des Prozesses 500 können durch den Computer 110 ausgeführt werden. Der Prozess 500 beginnt bei Block 505, in dem bestimmt wird, ob ein Bild empfangen wurde. Das Bild beinhaltet ein oder mehrere Pixel, die eine Umgebung darstellen, die von dem Fahrzeug 105 durchquert wird und von einem oder mehreren Sensoren 115 aufgenommen wird. Wenn kein Bild empfangen worden ist, kehrt der Prozess 500 zu 505 zurück.
Wenn das Bild empfangen wurde, bestimmt das neuronale Netzwerk 405 bei Block 510 einen oder mehrere Reibungskoeffizienten, die einer Fläche entsprechen, die durch das Fahrzeug 105 überquert wird. Wie vorstehend erörtert, kann das neuronale Netzwerk 405 eine oder mehrere herkömmliche neuronale Faltungsnetzwerktechniken auf das Bild anwenden. Das neuronale Netzwerk 405 kann eine mathematische Beziehung zu dem gefalteten Bild mit einem entsprechenden Reibungskoeffizienten korrelieren oder anwenden. Bei Block 515 bestimmt die Reibungsschätzungseinrichtung 410 eine Reibungskoeffizientenmarkierung auf Grundlage von Daten des Sensors 115. In einer beispielhaften Umsetzung kann der Reibungsschätzer 410 die Reibungskoeffizientenmarkierung mit Nicht-Bildsensordaten 115 bestimmen, wie etwa Daten des Sensors 115, die über einen oder mehrere Fahrzeugbusse empfangen werden.
Bei Block 520 bestimmt der Datenannotator 415, ob eine Differenz zwischen dem Reibungskoeffizienten, der durch das neuronale Netzwerk 405 bestimmt ist, und der Reibungskoeffizientenmarkierung, die durch den Reibungsschätzer 410 erzeugt ist, einen Markierungsschwellenwert überschreitet. Wenn die Differenz den Markierungsschwellenwert nicht übersteigt, endet der Prozess 500. Wenn die Differenz den Markierungsschwellenwert überschreitet, modifiziert der Datenannotator 415 den Reibungskoeffizienten, der dem Bild entspricht, derart, dass der Reibungskoeffizient gleich der Reibungskoeffizientenmarkierung bei Block 525 ist. Das neuronale Netzwerk 405 wird bei Block 530 mit dem Bild und der Reibungskoeffizientenmarkierung erneut trainiert. In einer oder mehreren Umsetzungen wird das neuronale Netzwerk 405 in Echtzeit oder in Nahe-Echtzeit erneut trainiert. In einigen Umsetzungen kann das neuronale Netzwerk 405 erneut trainiert werden, sobald sich das Fahrzeug 105 nicht mehr bewegt. Der Prozess 500 endet dann.
Im Allgemeinen können die beschriebenen Rechensysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Computerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Anwendung Ford Sync®, der Middleware AppLink/Smart Device Link, des Betriebssystems Microsoft Automotive®, des Betriebssystems Microsoft Windows®, des Betriebssystems Unix (z. B. des Betriebssystems Solaris@, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), des Betriebssystems AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, des Betriebssystems Linux, der Betriebssysteme Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, des BlackBerry OS, vertrieben durch die Blackberry, Ltd. in Waterloo, Kanada, und des Betriebssystems Android, entwickelt durch die Google, Inc. und die Open Handset Alliance, oder QNX® CAR Platform for Infotainment, angeboten durch QNX Software Systems. Beispiele für Rechenvorrichtungen beinhalten unter anderem Folgendes: einen Fahrzeugbordcomputer, einen Computerarbeitsplatz, einen Server, einen Desktop-, Notebook-, Laptop- oder Handheld-Computer oder ein anderes Rechensystem und/oder eine andere Rechenvorrichtung.
Computer und Rechenvorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder ausgewertet werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt werden, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Perl, HTML usw. Einige dieser Anwendungen können auf einer virtuellen Maschine zusammengestellt und ausgeführt werden, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der hierin beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung vielfältiger computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein Speicher kann ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhalten, das ein beliebiges nicht transitorisches (z. B. materielles) Medium beinhaltet, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) ausgelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nicht flüchtiger Medien und flüchtiger Medien. Nicht flüchtige Medien können zum Beispiel Bild- und Magnetplatten und sonstige dauerhafte Speicher beinhalten. Flüchtige Medien können zum Beispiel einen dynamischer Direktzugriffsspeicher (dynamic random-access memory - DRAM) beinhalten, der üblicherweise einen Hauptspeicher darstellt. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Koaxialkabeln, Kupferdraht und Glasfaser, einschließlich der Drähte, aus denen ein Systembus besteht, der mit einem Prozessor einer ECU gekoppelt ist. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel Folgendes: eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer gelesen werden kann.
Datenbanken, Datendepots oder andere Datenspeicher, die in dieser Schrift beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedene(n) Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, eines Satzes von Dateien in einem Dateisystem, einer Anwendungsdatenbank in einem proprietären Format, eines relationalen Datenbankverwaltungssystems (relational database management system - RDBMS) usw. Jeder derartige Datenspeicher ist im Allgemeinen in einer Rechenvorrichtung enthalten, die ein Computerbetriebssystem einsetzt, wie etwa eines der vorstehend erwähnten, und es wird auf eine oder mehrere von vielfältigen Weisen über ein Netzwerk darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem zugegriffen werden und es kann Dateien beinhalten, die in verschiedenen Formaten gespeichert sind. Ein RDBMS setzt im Allgemeinen die Structured Query Language (SQL) zusätzlich zu einer Sprache zum Erzeugen, Speichern, Editieren und Ausführen gespeicherter Prozeduren ein, wie etwa die vorangehend erwähnte PL/SQL-Sprache.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt sein, die auf diesen zugeordneten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sind. Ein Computerprogrammprodukt kann derartige auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
Hinsichtlich der hierin beschriebenen Medien, Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer gewissen geordneten Abfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden können, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse in dieser Schrift beschriebene Schritte weggelassen werden können. Anders ausgedrückt dienen die Beschreibungen von Prozessen in dieser Schrift dem Zweck der Veranschaulichung gewisser Ausführungsformen und sollten keinesfalls dahingehend ausgelegt werden, dass sie die Patentansprüche einschränken.
Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die bereitgestellten Beispiele handelt, werden dem Fachmann beim Lesen der vorstehenden Beschreibung ersichtlich. Der Umfang der Erfindung sollte nicht unter Bezugnahme auf die vorstehende Beschreibung festgelegt werden, sondern stattdessen unter Bezugnahme auf die beigefügten Patentansprüche in Zusammenhang mit dem vollständigen Umfang von Äquivalenten, zu denen solche Patentansprüche berechtigen. Es ist davon auszugehen und beabsichtigt, dass es zukünftige Entwicklungen im hierin erörterten Stand der Technik geben wird und dass die offenbarten Systeme und Verfahren in derartige zukünftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass die Erfindung modifiziert und variiert werden kann und ausschließlich durch die folgenden Patentansprüche eingeschränkt ist.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass ein oder mehrere der aufgeführten Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt.
Gemäß der vorliegenden Erfindung ist ein System bereitgestellt, das einen Computer aufweist, der einen Prozessor und einen Speicher beinhaltet, wobei der Speicher Anweisungen beinhaltet, sodass der Prozessor zu Folgendem programmiert ist: Bestimmen, ob eine Differenz zwischen einer Reibungskoeffizientenmarkierung und einem bestimmten Reibungskoeffizienten, der einem Bild entspricht, das eine Fläche darstellt, größer als ein Markierungschwellenwert ist; Modifizieren des bestimmten Reibungskoeffizienten, um der Reibungskoeffizientenmarkierung zu entsprechen, wenn die Differenz größer als der Markierungsschwellenwert ist; und erneutes Trainieren eines neuronalen Netzwerks unter Verwendung des Bilds und der Reibungskoeffizientenmarkierung.
Gemäß einer Ausführungsform wird ein Fahrzeug auf Grundlage des bestimmten Reibungskoeffizienten durch Steuern von einem oder mehreren von Fahrzeugbremsen, Fahrzeugantriebsstrang und Fahrzeugsteuerung betrieben.
Gemäß einer Ausführungsform beinhaltet Betreiben des Fahrzeugs auf Grundlage des bestimmten Reibungskoeffizienten Reduzieren der erlaubten Quer- und Längsbeschleunigung.
Gemäß einer Ausführungsform ist der Prozessor ferner dazu programmiert, die Reibungskoeffizientenmarkierung auf Grundlage der Fahrzeugsensordaten zu bestimmen.
Gemäß einer Ausführungsform ist der Prozessor ferner dazu programmiert, auf die Lookup-Tabelle zuzugreifen, die die Fahrzeugsensordaten mit der Reibungskoeffizientenmarkierung korreliert.
Gemäß einer Ausführungsform umfassen die Fahrzeugsensordaten Nichtbildsensordaten.
Gemäß einer Ausführungsform umfassen die Fahrzeugsensordaten mindestens eines von Daten, die eine Raddrehzahl, einen Reifenrollradius, eine Radträgheit, ein Antriebsdrehmoment, ein Bremsdrehmoment, eine Reifenrollwiderstandskraft oder eine Längskraft angeben.
Gemäß einer Ausführungsform ist der Prozessor ferner dazu programmiert, den Reibungskoeffizienten über das neuronale Netzwerk zu bestimmen.
Gemäß einer Ausführungsform ist der Prozessor ferner zu Folgendem programmiert: Empfangen des Bilds an dem neuronalen Netzwerk; und Bestimmen des Reibungskoeffizienten auf Grundlage des Bilds.
Gemäß einer Ausführungsform umfasst das neuronale Netzwerk ein neuronales Faltungsnetzwerk.
Gemäß einer Ausführungsform umfasst das neuronale Netzwerk eine Support-Vektor-Maschine (SVM).
Gemäß einer Ausführungsform wird das neuronale Netzwerk in Echtzeit oder in Nahe-Echtzeit erneut trainiert.
Gemäß einer Ausführungsform wird das neuronale Netzwerk erneut trainiert, wenn ein Fahrzeug betriebsbereit ist.
Gemäß der vorliegenden Ausführungsform beinhaltet ein Verfahren Folgendes: Bestimmen, ob eine Differenz zwischen einer Reibungskoeffizientenmarkierung und einem bestimmten Reibungskoeffizienten, der einem Bild entspricht, das eine Fläche darstellt, größer als ein Markierungschwellenwert ist; Modifizieren des bestimmten Reibungskoeffizienten, um der Reibungskoeffizientenmarkierung zu entsprechen, wenn die Differenz größer als der Markierungsschwellenwert ist; und erneutes Trainieren eines neuronalen Netzwerks unter Verwendung des Bilds und der Reibungskoeffizientenmarkierung.
In einem Aspekt der Erfindung wird ein Fahrzeug auf Grundlage des bestimmten Reibungskoeffizienten durch Steuern von einem oder mehreren von Fahrzeugbremsen, Fahrzeugantriebsstrang und Fahrzeugsteuerung betrieben.
In einem Aspekt der Erfindung beinhaltet Betreiben des Fahrzeugs auf Grundlage des bestimmten Reibungskoeffizienten ein Reduzieren der erlaubten Quer- und Längsbeschleunigung.
In einem Aspekt der Erfindung beinhaltet das Verfahren das Bestimmen der Reibungskoeffizientenmarkierung auf Grundlage von Fahrzeugsensordaten.
In einem Aspekt der Erfindung beinhaltet das Verfahren Zugreifen auf die Lookup-Tabelle, die die Fahrzeugsensordaten mit der Reibungskoeffizientenmarkierung korreliert.
In einem Aspekt der Erfindung umfassen die Fahrzeugsensordaten Nichtbildsensordaten.
In einem Aspekt der Erfindung umfassen die Fahrzeugsensordaten mindestens eines von Daten, die eine Raddrehzahl, einen Reifenrollradius, eine Radträgheit, ein Antriebsdrehmoment, ein Bremsdrehmoment, eine Reifenrollwiderstandskraft oder eine Längskraft angeben.

Claims

Verfahren, das Folgendes umfasst: Bestimmen, ob eine Differenz zwischen einer Reibungskoeffizientenmarkierung und einem bestimmten Reibungskoeffizienten, der einem Bild entspricht, das eine Fläche darstellt, größer als ein Markierungsschwellenwert ist; Modifizieren des bestimmten Reibungskoeffizienten, um der Reibungskoeffizientenmarkierung zu entsprechen, wenn die Differenz größer als der Markierungsschwellenwert ist; und erneutes Trainieren eines neuronalen Netzwerks unter Verwendung des Bilds und der Reibungskoeffizientenmarkierung.
Verfahren nach Anspruch 1, wobei ein Fahrzeug auf Grundlage des bestimmten Reibungskoeffizienten durch Steuern von einem oder mehreren von Fahrzeugbremsen, Fahrzeugantriebsstrang und Fahrzeugsteuerung betrieben wird.
Verfahren nach Anspruch 2, wobei Betreiben des Fahrzeugs auf Grundlage des bestimmten Reibungskoeffizienten ein Reduzieren der erlaubten Quer- und Längsbeschleunigung beinhaltet.
Verfahren nach Anspruch 1, wobei der Prozessor ferner dazu programmiert ist, die Reibungskoeffizientenmarkierung auf Grundlage von Fahrzeugsensordaten zu bestimmen.
Verfahren nach Anspruch 4, wobei der Prozessor ferner dazu programmiert ist, auf die Lookup-Tabelle zuzugreifen, die die Fahrzeugsensordaten mit der Reibungskoeffizientenmarkierung korreliert.
Fahrzeug nach Anspruch 4, wobei die Sensordaten Nichtbildsensordaten umfassen.
Fahrzeug nach Anspruch 4, wobei die Fahrzeugsensordaten mindestens eines von Daten umfassen, die eine Raddrehzahl, einen Reifenrollradius, eine Radträgheit, ein Antriebsdrehmoment, ein Bremsdrehmoment, eine Reifenrollwiderstandskraft oder eine Längskraft angeben.
Verfahren nach Anspruch 1, wobei der Prozessor ferner dazu programmiert ist, den Reibungskoeffizienten über das neuronale Netzwerk zu bestimmen.
Verfahren nach Anspruch 8, das ferner Empfangen des Bilds an dem neuronalen Netzwerk und Bestimmen des Reibungskoeffizienten auf Grundlage des Bilds umfasst.
Verfahren nach Anspruch 8, wobei das neuronale Netzwerk ein neuronales Faltungsnetzwerk umfasst.
Verfahren nach Anspruch 8, wobei das neuronale Netzwerk eine Support-Vektor-Maschine (support vector machine - SVM) umfasst.
Verfahren nach Anspruch 1, wobei das neuronale Netzwerk in Echtzeit oder Nahe-Echtzeit erneut trainiert wird.
Verfahren nach Anspruch 1, wobei das neuronale Netzwerk erneut trainiert wird, wenn ein Fahrzeug betriebsbereit ist.
Verfahren nach Anspruch 1, wobei das neuronale Netzwerk eine Markierung für die Fläche in dem Bild bestimmt.
System, das einen Computer umfasst, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.