-
Vorliegend werden ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer autonomen Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs, ein Computerprogrammprodukt sowie ein Kraftfahrzeug beschrieben.
-
Verfahren, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten autonom fahrenden Kraftfahrzeuge sind in den vergangenen Jahren zur Serienreife gelangt. Autonom fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrtziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbstständig reagieren. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens der Verkehrsteilnehmer hoch komplex ist, gilt es als nahezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und Regeln zu programmieren.
-
Stattdessen ist es bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln, die einerseits maßvoller auf kritische Verkehrssituationen reagieren können als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz möglich, die Algorithmen im Alltag durch ständiges Lernen weiterzuentwickeln.
-
Die
DE 10 2015 007 493 A1 offenbart ein Verfahren zum Trainieren eines in einem Steuergerät eines Kraftfahrzeugs eingesetzten, auf maschinellem Lernen basierenden Entscheidungsalgorithmus, wobei der Entscheidungsalgorithmus in Abhängigkeit von den aktuellen Betriebszustand und/oder die aktuelle Fahrsituation beschreibenden Eingangsdaten zur Steuerung des Betriebs des Kraftfahrzeugs zu berücksichtigende Ausgangsdaten und einen die Verlässlichkeit der Ausgangsdaten beschreibenden Zuverlässigkeitswert ermittelt und vor der Nutzung in dem Kraftfahrzeug anhand eines Basistrainingsdatensatzes trainiert wurde, wobei bei einem einen Schwellwert unterschreitenden Zuverlässigkeitswert die der Ermittlung der dem Zuverlässigkeitswert zugeordneten Ausgangsdaten zugrundeliegenden Eingangsdaten als Beurteilungseingangsdaten gespeichert und zu einem späteren Zeitpunkt einer menschlichen Beurteilungsperson dargestellt werden, wonach Ausgangsdaten entsprechende Beurteilungsausgangsdaten durch eine Bedieneingabe der Beurteilungsperson entgegengenommen werden und der Entscheidungsalgorithmus anhand eines aus den Beurteilungseingangsdaten und den zugeordneten Beurteilungsausgangsdaten gebildeten Verbesserungstrainingsdatensatzes trainiert wird.
-
Hallerbach, Xia, Eberle & Koester (03.04.2018), Simulation-based Identification of Critical Scenarios for Cooperative and Automated Vehicles, SAE 2018-01-1066, beschreiben eine Reihe von Hilfsmitteln zur simulationsbasierten Entwicklung von kritischen Szenarien. Der Prozess beinhaltet Simulation des dynamischen Verhaltens von Kraftfahrzeugen sowie Simulation von Verkehrssituationen und eine Simulation von kooperativem Verhalten virtueller Verkehrsteilnehmer. Kritische Situationen werden anhand von Metriken erkannt, z.B. Sicherheitsmetriken oder Verkehrsqualitätsmetriken.
-
Aus der
DE 11 2016 003 350 T5 ist ein selbstlernendes neuronales Netzwerk und ein Verfahren zum Trainieren des Selben bekannt.
-
Ferner wird in der
DE 10 2017 115 393 A1 ein Verfahren zum Erzeugen von Trainingsdaten offenbart, mit denen ein künstliches neuronales Netzwerk einer autonomen Steuerung für bestimmte Fahrzeugfunktionen trainiert werden kann.
-
Nachteilig an den bekannten Verfahren ist, dass die Entwicklung serienreifer Algorithmen für autonom fahrende Kraftfahrzeuge aufwendig ist und sehr lange dauert.
-
Somit stellt sich die Aufgabe, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass autonome Fahrfunktion schneller und mit höherer Qualität als bisher in autonom fahrende Kraftfahrzeuge implementiert werden können.
-
Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs gemäß Anspruch 1, ein Computerprogrammprodukt gemäß dem nebengeordneten Anspruch 9 sowie ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 11. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
-
Nachfolgend wird ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs beschrieben, wobei das Steuergerät zur Umsetzung einer autonomen Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte:
- a) Bereitstellen eines Computerprogrammproduktmoduls für die autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trainierenden Algorithmus und das selbstlernende neuronale Netz enthält;
- b) Bereitstellen wenigstens einer Metrik und einer Belohnungsfunktion für die autonome Fahrfunktion;
- c) Einbetten des Computerprogrammproduktmoduls in eine Simulationsumgebung zur Simulation wenigstens einer für die autonome Fahrfunktion relevanten Verkehrssituation, wobei die Simulationsumgebung auf Kartendaten einer realen Umgebung sowie auf einem digitalen Fahrzeugmodell des Kraftfahrzeugs basiert, sowie Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln einer Güte, wobei die Güte ein Resultat einer Gütefunktion der wenigstens einen Metrik ist, bis ein erstes Gütemaß erfüllt ist;
- d) Einbetten des trainierten Computerprogrammproduktmoduls in das Steuergerät des Kraftfahrzeugs zur Simulation von für die autonome Fahrfunktion relevanten Verkehrssituationen, wobei die Simulation in einer Simulationsumgebung auf Kartendaten realen Umgebung durchgeführt wird, sowie Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln einer Güte, bis ein zweites Gütemaß erfüllt ist, wobei das zweite Gütemaß strenger ist als das erste Gütemaß, wobei
- e)
- (i) wenn die Güte in Schritt d) schlechter ist als das erste Gütemaß, das Verfahren ab Schritt c) fortgesetzt wird, oder
- (ii) wenn die Güte in Schritt d) besser ist als das erste Gütemaß und schlechter ist als das zweite Gütemaß, das Verfahren ab Schritt d) fortgesetzt wird.
-
Mithilfe des zuvor beschriebenen Verfahrens kann ein sich durch ein selbstlernendes neuronales Netz entwickelnder Algorithmus zur Umsetzung einer autonomen Fahrfunktion schneller und sicherer entwickelt werden als mit herkömmlichen Verfahren.
-
Dadurch, dass das System in einem frühen Schritt in einer rein virtuellen Umgebung trainiert wird, kann der Algorithmus bereits zu einer gewissen Reife gelangen, bevor das selbstlernende neuronale Netz den Algorithmus in einem nächsten Schritt auf durch das reale Kraftfahrzeug komplexere Situation in einer sicheren virtuellen Umgebung anpassen kann. Die gesteigerte Komplexität resultiert zum Beispiel aus der Varianz von Sensoreingangssignalen realer Sensoren, Verzögerungen in der Signalkette, Temperaturabhängigkeiten und ähnlichen Phänomenen.
-
Durch die Einführung des Gütemaßes für den Algorithmus, an der die ermittelte Metrik gemessen wird, kann bei Untauglichkeit des Algorithmus in der höheren Realitätsstufe in Schritt d) ein langer Lernprozess vermieden werden, indem der Lernprozess vorerst in die weniger komplexe vollständige Simulation in Schritt c) zurückgesetzt wird und der Algorithmus dort weiterentwickelt wird.
-
Entsprechende Metriken können beispielsweise durchschnittliche Anzahl von Unfällen pro Strecke, Anzahl von Gefährdungssituation pro Strecke, Anzahl der Missachtung von Verkehrsregeln pro Strecke etc. sein. Aus den Metriken kann eine Güte ermittelt werden, die an Gütemaßen gemessen werden. Strengere Gütemaße bedeuten dann zum Beispiel weniger Unfälle pro Strecke, weniger Gefährdungssituationen pro Strecke etc. Erst wenn die Gütemaße nicht mehr unterschritten werden, kann das Training in der nächsten Stufe weitergeführt werden. Dadurch kann verhindert werden, dass unstabile Algorithmen lange Lernzeiten benötigen und es kann früher eine höhere Qualität Algorithmus erreicht werden.
-
Eine erste mögliche weiterführende Ausgestaltung sieht vor, dass
- f) eine Simulation von für die autonome Fahrfunktion relevanten Verkehrssituationen in einer gemischt-realen Umgebung sowie ein Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln der Güte vorgenommen werden, bis ein drittes Gütemaß erfüllt ist, wobei das dritte Gütemaß strenger ist als das zweite Gütemaß, wobei
- g) wenn die Güte in Schritt f) schlechter ist als das zweite Gütemaß, das Verfahren ab Schritt e) fortgesetzt wird.
-
Gemäß dieser Ausführungsform kann in einem nächsten Schritt ein Weiterbilden des Algorithmus durch das selbstlernende neuronale Netz in einer gemischt-realen Umgebung, in der die Gefahr für Verkehrsteilnehmer minimiert ist, erfolgen. Durch die Prüfung der Güte anhand des Gütemaßes und gegebenenfalls Rückkehr zu einer früheren Stufe der Entwicklung des Algorithmus kann ebenfalls der Lernprozess beschleunigt werden.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass
- h) eine Simulation von für die autonome Fahrfunktion relevanten Verkehrssituationen in einer realen Umgebung sowie ein Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln der Güte vorgenommen werden, bis ein viertes Gütemaß erfüllt ist, wobei das vierte Gütemaß strenger ist als das dritte Gütemaß, wobei,
- i) wenn die Güte in Schritt h) schlechter ist als das dritte Gütemaß, das Verfahren ab Schritt g) fortgesetzt wird oder wenn die Güte in Schritt h) schlechter ist als das zweite Gütemaß, das Verfahren ab Schritt e) fortgesetzt wird.
-
Gemäß dieser Ausführungsform kann in einem nächsten Schritt ein Weiterbilden des Algorithmus durch das selbstlernende neuronale Netz in einer realen Umgebung erfolgen. Zu diesem Zeitpunkt ist davon auszugehen, dass der Algorithmus bereits soweit stabil ist, dass die Sicherheit im Straßenverkehr nicht mehr gefährdet ist. Durch die Prüfung der Güten und gegebenenfalls Rückkehr zu einer früheren Stufe der Entwicklung des Algorithmus kann ebenfalls der Lernprozess beschleunigt werden.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass, wenn die Metrik das vierte Gütemaß erfüllt, das Computerprogrammproduktmodul für die Verwendung im Straßenverkehr freigegeben wird.
-
Zu diesem Zeitpunkt ist davon auszugehen, dass der Algorithmus stabil genug ist, um im regulären Straßenverkehr Verwendung zu finden.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass die Verfahrensschritte f) und/oder h) von Sicherheitsfahrern durchgeführt werden.
-
Hierdurch kann das Risiko für andere Verkehrsteilnehmer weiterhin reduziert werden, da die Sicherheitsfahrer angewiesen sind, stets kurzfristig die Kontrolle über das autonom fahrende Kraftfahrzeug zu übernehmen.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass die Metrik ein Maß Unfälle-pro-Streckeneinheit und/oder Zeit-zur-Kollision und/oder Zeit-zum-Bremsen und/oder Benötigte-Verzögerung aufweist.
-
Entsprechende Metriken sind leicht zu Ermitteln.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass das neuronale Netz nach dem „Bestärkendes Lernen“-Verfahren lernt.
-
Bestärkendes Lernen, oder Reinforcement Learning, steht für eine Reihe von Methoden des maschinellen Lernens, bei denen ein Agent, hier das selbstlernende neuronale Netz, selbst ständig eine Strategie erlernt, um erhaltene Belohnungen zu maximieren. Dabei wird dem Agenten nicht vorgezeigt, welche Aktion in welcher Situation die beste ist, sondern er erhält zu bestimmten Zeitpunkten eine Belohnung, die auch negativ sein kann. Anhand der Belohnungen approximiert der Agent eine Nutzenfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder eine bestimmte Aktion hat. Mithilfe der entsprechenden Lernmethoden kann das selbstlernende neuronale Netz den Algorithmus ständig weiterentwickeln.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass das neuronale Netz Variationen zum bestehenden Algorithmus nach dem Zufallsprinzip ausprobiert.
-
Hierdurch kann erreicht werden, dass in dem hochdimensionalen Raum, in dem der Algorithmus angewendet wird, verschiedene Strategien getestet werden, die zum gewünschten Ergebnis führen.
-
Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer autonomen Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, wobei die Vorrichtung dazu eingerichtet ist, folgende Schritte durchzuführen:
- a) Bereitstellen eines Computerprogrammproduktmoduls für die autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trainierenden Algorithmus und das selbstlernende neuronale Netz enthält;
- b) Bereitstellen wenigstens einer Metrik und einer Belohnungsfunktion für die autonome Fahrfunktion;
- c) Einbetten des Computerprogrammproduktmoduls in eine Simulationsumgebung zur Simulation wenigstens einer für die autonome Fahrfunktion relevanten Verkehrssituation, wobei die Simulationsumgebung auf Kartendaten einer realen Umgebung sowie auf einem digitalen Fahrzeugmodell des Kraftfahrzeugs basiert, sowie Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln einer Güte, wobei die Güte ein Resultat einer Gütefunktion der wenigstens einen Metrik ist, bis ein erstes Gütemaß erfüllt ist;
- d) Einbetten des trainierten Computerprogrammproduktmoduls in das Steuergerät des Kraftfahrzeugs zur Simulation von für die autonome Fahrfunktion relevanten Verkehrssituationen, wobei die Simulation in einer Simulationsumgebung auf Kartendaten realen Umgebung durchgeführt wird, sowie Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln der Metrik, bis ein zweites Gütemaß erfüllt ist, wobei das zweite Gütemaß strenger ist als das erste Gütemaß, wobei
- e)
- (i) wenn die Güte in Schritt d) schlechter ist als das erste Gütemaß, das Verfahren ab Schritt c) fortgesetzt wird, oder
- (ii) wenn die Güte in Schritt d) besser ist als das erste Gütemaß und schlechter ist als das zweite Gütemaß, das Verfahren ab Schritt d) fortgesetzt wird.
-
Eine erste mögliche weiterführende Ausgestaltung sieht vor, dass die Vorrichtung weiterhin dazu eingerichtet ist, dass
- f) eine Simulation von für die autonome Fahrfunktion relevanten Verkehrssituationen in einer gemischt-realen Umgebung sowie ein Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln der Güte vorgenommen wird, bis ein drittes Gütemaß erfüllt ist, wobei das dritte Gütemaß strenger ist als das zweite Gütemaß, wobei
- g) wenn die Güte in Schritt f) schlechter ist als das zweite Gütemaß, das Verfahren ab Schritt e) fortgesetzt wird.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass die Vorrichtung weiterhin dazu eingerichtet ist, dass
- h) eine Simulation von für die autonome Fahrfunktion relevanten Verkehrssituationen in einer realen Umgebung sowie ein Trainieren des selbstlernenden neuronalen Netzes durch Simulieren von kritischen Szenarien und Ermitteln der Güte vorgenommen wird, bis ein viertes Gütemaß erfüllt ist, wobei das vierte Gütemaß strenger ist als das dritte Gütemaß, wobei, wenn die Güte in Schritt h) schlechter ist als das dritte Gütemaß, das Verfahren ab Schritt g) fortgesetzt wird oder wenn die Güte in Schritt h) schlechter ist als das zweite Gütemaß, das Verfahren ab Schritt e) fortgesetzt wird.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass die Vorrichtung weiterhin dazu eingerichtet ist, wenn die Güte das vierte Gütemaß erfüllt, das Computerprogrammproduktmodul für die Verwendung im Straßenverkehr freigegeben wird.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass die Vorrichtung dazu eingerichtet ist, dass die Verfahrensschritte f) und/oder h) von Sicherheitsfahrern durchgeführt werden können.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass die Vorrichtung dazu eingerichtet ist, als Metrik ein Maß Unfälle-pro-Streckeneinheit und/oder Zeit-zur-Kollision und/oder Zeit-zum-Bremsen und/oder Benötigte-Verzögerung zu verwenden.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass das neuronale Netz dazu eingerichtet ist, nach dem „Bestärkendes Lernen“-Verfahren zu lernen.
-
Eine andere mögliche weiterführende Ausgestaltung sieht vor, dass das neuronale Netz dazu eingerichtet ist, Variationen zum bestehenden Algorithmus nach dem Zufallsprinzip auszuprobieren.
-
Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von einer Recheneinheit ausgeführt werden, bewirken, dass die Recheneinheit dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.
-
Eine erste weiterführende Ausgestaltung des Computerprogrammprodukts sieht vor, dass die Befehle das Computerprogrammproduktmodul der zuvor beschriebenen Art aufweist.
-
Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einer Recheneinheit und einem computerlesbaren Speichermedium, wobei auf dem Speichermedium ein Computerprogrammprodukt der zuvor beschriebenen Art gespeichert ist.
-
Eine erste weiterführende Ausgestaltung sieht vor, dass die Recheneinheit Bestandteil des Steuergeräts ist.
-
Eine andere weiterführende Ausgestaltung sieht vor, dass die Recheneinheit mit Umgebungssensoren vernetzt ist.
-
Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegenstand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:
- 1 ein Kraftfahrzeug, das zum autonomen Fahren eingerichtet ist;
- 2 ein Computerprogrammprodukt für das Kraftfahrzeug aus 1, sowie
- 3 ein Ablaufdiagramm des Verfahrens.
-
1 zeigt ein Kraftfahrzeug 2, das zum autonomen Fahren eingerichtet ist.
-
Das Kraftfahrzeug 2 weist ein Kraftfahrzeugsteuergerät 4 mit einer Recheneinheit 6 und einem Speicher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, dass im Nachfolgenden insbesondere im Zusammenhang 2 und 3 eingehender beschrieben ist.
-
Das Kraftfahrzeugsteuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssituation erlauben. Hierzu zählen Umgebungssensoren 10,12 an der Front des Kraftfahrzeugs 2, Umgebungssensoren 14, 16 am Heck des Kraftfahrzeugs 2, eine Kamera 18 sowie ein GPS-Modul 20. Je nach Ausgestaltung können weitere Sensoren vorgesehen sein, zum Beispiel Raddrehzahlsensoren, Beschleunigungssensoren etc., die mit dem Kraftfahrzeugsteuergerät 4 verbunden sind.
-
Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen kann, die jeweils mit dem Kraftfahrzeugsteuergerät 4 verbunden sind.
-
2 zeigt ein Computerprogrammprodukt 28 mit einem Computerprogrammproduktmodul 30.
-
Das Computerprogrammprodukt 30 weist ein selbstlernendes neuronales Netz 32 auf, das einen Algorithmus 34 trainiert. Das selbstlernende neuronale Netz 32 lernt nach Methoden des bestärkenden Lernens, d. h. das neuronale Netz 32 versucht durch Variation des Algorithmus 34, Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Kriterien oder Maßstäbe, also für Verbesserungen des Algorithmus 34 zu erhalten.
-
Der Algorithmus 34 kann im Wesentlichen ein komplexer Filter mit einer Matrix aus Werten, oft Gewichte genannt, bestehen, die eine Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert.
-
Die Überwachung der Güte des Algorithmus 34 wird von einem weiteren Computerprogrammproduktmodul 36 vorgenommen, das Eingangsgrößen und Ausgangsgrößen überwacht, daraus Metriken ermittelt und die Einhaltung der Güte durch die Funktionen anhand der Metriken kontrolliert. Gleichzeitig kann das Computerprogrammproduktmodul 36 negative wie positive Belohnungen für das neuronale Netz 32 geben.
-
3 zeigt ein Ablaufdiagramm des Verfahrens.
-
In einem ersten Schritt wird das Computerprogrammproduktmodul und eine Lernumgebung bereitgestellt.
-
In einer rein virtuellen Umgebung wird sowohl das Kraftfahrzeug als Modell als auch die Umgebung virtuell bereitgestellt. Das Modell des Kraftfahrzeugs entspricht dem späteren realen Modell hinsichtlich seiner Parameter, Sensorik, Fahreigenschaften und seinem Verhalten. Das Modell der Umgebung beruht auf Kartendaten einer realen Umgebung, um das Modell so realistisch wie möglich zu gestalten.
-
In dieser rein virtuellen Umgebung findet ein Training so lange statt, bis eine Güte GM besser ist als ein vorgegebenes Gütemaß G1. Die Güte GM resultiert aus einer Gütefunktion G(M), die eine Funktion wenigstens einer Metrik M ist. Eine entsprechende Metrik M kann ein Maß wie Unfälle-pro-Streckeneinheit und/oder Zeit-zu-Kollision und/oder Zeit-zum-Bremsen sein und/oder ähnliche Messgrößen aufweisen, beispielsweise benötigte Verzögerungen, Querbeschleunigung, Unterschreiten von Sicherheitsabständen, Verstöße gegen geltende Verkehrsregeln etc.
-
Solange die Güte GM nicht ausreichend ist, um das erste Gütemaß G1 zu überschreiten, wird das Training fortgesetzt.
-
Erst wenn die Güte GM so hoch ist, dass das erste Gütemaß G1 überschritten werden, wird in die nächste Phase des Trainings gewechselt, in der das Computerprogrammprodukt in das Kraftfahrzeugsteuergerät 4 eines realen Kraftfahrzeugs übertragen und dort weiter trainiert wird.
-
Das Training findet anhand eines realen Kraftfahrzeugs in einer virtuellen Umgebung statt. Durch die Verwendung eines realen Kraftfahrzeugs, dass sich unter Umständen anders verhält als sein virtuelles Modell aus dem ersten Trainingsabschnitt, kann der Algorithmus 34 so weiterentwickelt werden, dass er dem Verhalten des realen Kraftfahrzeugs 2 Rechnung tragen kann. Unterschiede können beispielsweise durch die Verwendung realer Sensoren entstehen, die unterschiedliche Signalhöhen, Rauschen etc. aufweisen können.
-
Während des Trainings wird stets die Gütefunktion G(M) überwacht. Ziel ist es, dass die Güte GM besser als ein zweites Gütemaß G2 ist. Das zweite Gütemaß G2 ist strenger als das erste Gütemaß G1.
-
Beim Wechsel auf das reale Kraftfahrzeug 2 kann es vorkommen, dass die Güte GM unter das erste Gütemaß G1 fällt. In diesem Fall wird zurück in die rein virtuelle Umgebung gewechselt und das Training so lange fortgesetzt, bis der Algorithmus 34 das erste Gütemaß G1 überschreitet und das Training mit dem realen Kraftfahrzeug 2 fortgesetzt wird.
-
Erst wenn die Güte GM das zweite Gütemaß G2 nicht mehr unterschreitet, kann das Training im nächsten Schritt fortgesetzt werden.
-
Sodann wird in eine teils reale, teils virtuelle Umgebung gewechselt, in der das zuvor beschriebene Prinzip fortgesetzt wird. Sollte die Gütefunktion den Schwellwert des zweiten Gütemaßes G2 unterschreiten, wird das Verfahren auf den vorherigen Trainingsschritt zurückgesetzt. Sollte die Gütefunktion sogar den Schwellwert des ersten Gütemaßes G1 unterschreiten, wird das Verfahren auf den anfänglichen Trainingsschritt zurückgesetzt.
-
Das gleiche Prinzip wird im nächsten Schritt fortgesetzt, indem das neuronale Netz in einer realen Umgebung trainiert wird. Dieser und der vorherige Schritt können durch Sicherheitsfahrern durchgeführt werden, die in kritischen Situationen schnell auf einen manuellen Fahrmodus zurück wechseln können.
-
Sobald eine Güte GM besser ist als das vierte G4, kann eine Freigabe des Algorithmus 34 für den freien Verkehr erfolgen.
-
Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 2
- Kraftfahrzeug
- 4
- Kraftfahrzeugsteuergerät
- 6
- Recheneinheit
- 8
- Speicher
- 10
- Umgebungssensor
- 12
- Umgebungssensor
- 14
- Umgebungssensor
- 16
- Umgebungssensor
- 18
- Kamera
- 20
- GPS-Modul
- 22
- Lenkung
- 24
- Motorsteuerung
- 26
- Bremse
- 28
- Computerprogrammprodukt
- 30
- Computerprogrammproduktmodul
- 32
- neuronales Netz
- 34
- Algorithmus
- 36
- Computerprogrammproduktmodul
- G(M)
- Gütefunktion
- GM
- Güte
- G1
- erstes Gütemaß
- G2
- zweites Gütemaß
- G3
- drittes Gütemaß
- G4
- viertes Gütemaß
- M
- Metrik
