-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung eines Kl-Moduls, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet.
-
Bei der Entwicklung von Funktionen für das teil-automatische oder automatische Fahren ist die Benutzung von KI-Modulen für die Bewältigung hoch komplexer Situationen unumgänglich. Um diese Funktionen nachhaltig zu entwickeln und einzusetzen ist eine Überwachung der Ausführung der KI-Module zwingend erforderlich. Dies gilt sowohl für die Trainingsphase der KI-Module, bei der man Ausnahmefälle, sogenannte Corner Cases, also typische Situationen eingeschränkter Korrektheit der Modulausgabe, sucht, als auch im Produktiveinsatz, wenn man im Rahmen von Redundanz- und Systemüberwachungen die Vertrauenswürdigkeit von Kl-Modulentscheidungen einschätzen muss.
-
Momentan wird für die Redundanz- und Systemüberwachung im Wesentlichen auf modelintrinsische Konfidenzen, also Interpretation von Softmaxanregungen, oder auf Plausibilisierungen durch analytische Methoden zurückgegriffen. Die Identifikation von Ausnahmefällen, also Corner Cases, entsteht vor allem aus Funktionsabsprüngen, also Fällen, bei denen ein KI-Modul oder die entsprechende Funktion abbricht, oder Soll-Ist-Vergleichen.
-
Modelintrinsische Konfidenzen unterliegen einem Trainingsbias und können sehr inkorrekt sein, was bedeutet, dass adverseriale Beispiele, nämlich kleine Änderungen am Datensignal, die zu einer Änderung der Modellausgabe führen, zu Fehlklassifikationen mit hoher intrinsischer Konfidenz führen.
-
Ferner setzen Plausibilisierungen durch analytische Methoden hochpotente Plausibilisierungsfunktionen voraus. Diese sind entweder extrem defensiv und verhindern so einen hochfrequenten Einsatz der KI-Module, oder sind nicht realistisch konstruierbar.
-
Die Druckschrift
US 2016/0335536 A1 betrifft ein hierarchisches neuronales Netzwerk sowie ein klassifizierendes Lernverfahren und ein diskriminierendes Verfahren basierend auf dem hierarchischen neuronalen Netzwerk. Dabei umfasst eine hierarchische neuronale Netzwerkvorrichtung eine gewichtslernende Einheit zum Generieren lose gekoppelter Teile durch das Ausbilden von Kopplungen zwischen partiellen Knoten in dem hierarchischen Netzwerk basierend auf einer Überprüfungsmatrix eines fehlerkorrigierenden Codes und zum Lernen von Gewichten zwischen den gekoppelten Knoten. Ferner umfasst die Vorrichtung das hierarchische neuronale Netzwerk mit einer Eingabeschicht, mindestens einer Zwischenschicht und einer Ausgabeschicht, wobei jede dieser Schichten Knoten aufweist, sowie einen Diskriminierungsprozessor, um Klassifikationsprobleme oder Regressionsprobleme unter der Verwendung des hierarchischen neuronalen Netzwerks zu lösen, dessen Gewichte zwischen den Knoten durch diejenigen Gewichte, die durch die gewichtslernende Einheit gelernt wurde, auf den neuesten Stand gebracht werden.
-
Die Druckschrift
US 2016/0071024 A1 betrifft eine multimodale Datenanalyse-Einrichtung umfassend Instruktionen, die in einem oder mehreren nichtflüchtigen maschinenlesbaren Speichermedium verkörpert sind, wobei die multimodale Datenanalyse-Einrichtung mittels eines Computersystems mit einem oder mehreren Computer-Einrichtungen bewirkt, dass auf eine Menge von zeitvariablen Instanzen von multimodalen Daten mit mindestens zwei unterschiedlichen Modalitäten zugegriffen wird, wobei jede Instanz der multimodalen Daten eine unterschiedliche zeitliche Komponente aufweist und algorithmisch eine Merkmalsrepräsentation der zeitlichen Komponente der multimodalen Daten unter Verwendung einer Deep-learning Architektur lernt.
-
In der Veröffentlichung von I. J. Goodfellow et.al.: „Generative Adversarial Nets", NIPS 2014 (https://papers.nips.cc/paper/5423-generative-adversial-nets), wird ein Verfahren zum Bewerten generativer Modelle durch einen kontradiktorischen Prozess beschrieben, wobei simultan zwei Modelle trainiert werden, nämlich ein generierendes Modell G, welches Daten einer Datenverteilung erzeugt, und einem diskriminierenden Modell D, welches die Wahrscheinlichkeit bestimmt, dass ein zu diskriminierender Datensatz zu Trainingsdaten anstelle von Daten des generierenden Models gehört. Mit anderen Worten, das Verfahren umfasst zwei neuronale Netzwerke, die ein Nullsummenspiel durchführen. Ein Netzwerk, der Generator, erstellt Kandidaten und das zweite neuronale Netzwerk, der Diskriminator, bewertet die Kandidaten. Typischerweise bildet der Generator von einem Vektor aus latenten Variablen auf den gewünschten Ergebnisraum ab. Das Ziel des Generators ist es zu lernen, Ergebnisse nach einer bestimmten Verteilung zu erzeugen. Der Diskriminator wird hingegen darauf trainiert, die Ergebnisse des Generators von den Daten aus der echten, vorgegebenen Verteilung zu unterscheiden. Die Zielfunktion des Generators besteht dann darin, Ergebnisse zu erzeugen, die der Diskriminator nicht unterscheiden kann. Dadurch soll sich die erzeugte Verteilung nach und nach der echten Verteilung angleichen.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur verbesserten Überwachung eines KI-Moduls, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, zu schaffen.
-
Dies Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, ein Verfahren mit den Merkmalen des Anspruchs 5 sowie durch eine Vorrichtungen mit den Merkmalen des Anspruchs 4 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 8 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Ein erstes erfindungsgemäßes Verfahren zur Überwachung des Eingangsdatenstroms eines Kl-Moduls, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, durch ein Überwachungsmodul, welches durch ein generatives kontradiktorisches Netz umfassend einen Generator und einen Diskriminator gebildet wird, wobei das Verfahren eine Trainingsphase und eine Inferenzphase aufweist, und
- - in der Trainingsphase, auch als Lernphase bezeichnet, ein Trainieren des Überwachungsmoduls durch reale Trainingsdaten und generierte unechte, vom Generator erzeugte Trainingsdaten erfolgt, die beide dem Diskriminator zugeführt werden, welcher eine Distanz zwischen den echten Trainingsdaten und den generierten Trainingsdaten als Ausgabe lernt,
und
- - in der Inferenzphase eine Überprüfung des KI-Moduls durch das Überwachungsmodul erfolgt, indem aus dem realen Eingangsdatenstrom das trainierte KI-Modul für die Fahrfunktion geeignete Ausgabesignale erzeugt und parallel dazu der reale Eingangsdatenstrom dem Diskriminator des trainierten Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur Beurteilung des Eingangsdatenstroms und zur Überprüfung der Ausgabesignale des KI-Moduls herangezogen werden.
-
Dabei wird der die Distanz ausdrückende Zahlenwert, der eine reelle Zahl darstellt, als Distanz der Eingangsdaten zum Trainingsdatensatz interpretiert, so dass die dem realen Eingangsdatenstrom der Inferenzphase zugrunde liegende Situation anhand dieses Zahlenwertes beurteilt werden kann.
-
Mit anderen Worten, ist beispielsweise der Zahlenwert einer Distanz d auf das Intervall [0, 1] normiert, so könnte ein Zahlenwert der Distanz von d ≤ 0,5 bedeuten, dass die Eingabedaten „echt“ sind, während eine Zahlenwert von d > 0,5 bedeutet, dass die Eingangsdaten sozusagen „unecht“ sind, also nicht zum Trainingsdatensatz gehört haben. Letzteres deutet auf eine nicht trainierte oder gelernte Umfeldsituation hin, beispielsweise einen Corner Case. Dabei ist die Definition des Werteintervalls nicht auf das oben genannte Intervall beschränkt, sondern andere Intervalle und Zuordnungen der Distanz d zu dem jeweiligen Intervall sind möglich, es muss nur aus der Distanz d erkennbar sein, ob die aktuell bewertete Situation typisch für die gelernten Trainingsdatensätze ist oder nicht, d.h. ein Fall vorliegt, der von den gelernten Trainingsdatensätzen abweicht.
-
Vorzugsweise erzeugt der Generator mittels einer Hintergrunddatenquelle die unechten Trainingsdaten, die dem Diskriminator zugeführt werden. Die Hintergrunddatenquelle kann beispielsweise durch einen geeigneten Zufallsgenerator gebildet werden.
-
Weiter bevorzugt wird aus der Distanz ein Trainingsverlust bezüglich der realen Trainingsdaten ermittelt, der zum Trainieren des Generators und des Diskriminators des Überwachungsmoduls dient.
-
Eine erste erfindungsgemäße Vorrichtung zur Überwachung des Eingangsdatenstroms eines Kl-Moduls, wobei die Vorrichtung zur Durchführung des oben erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst
- - ein KI-Modul, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, und auf realen Eingangssignalen basierend Ausgabesignale zur Verwendung in der Fahrfunktion erzeugt, und
- - ein Überwachungsmodul, das anhand realer Eingangssignale ein Differenzsignal erzeugt, welches zur Überwachung des Eingangsdatenstroms des KI-Moduls verwendet wird.
-
Ein zweites erfindungsgemäßes Verfahren zur Überwachung des Eingangsdatenstroms und des Ausgangsdatenstrom eines Kl-Moduls, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, umfasst drei Überwachungsmodule, welche jeweils durch ein generatives kontradiktorisches Netz umfassend einen Generator und einen Diskriminator gebildet werden, wobei das Verfahren eine Trainingsphase und eine Inferenzphase aufweist und in der Trainingsphase
- - das erste Überwachungsmodul zur Überwachung des Eingangsdatenstroms des KI-Moduls durch reale Trainingsdaten und unechte, vom Generator des ersten Überwachungsmoduls erzeugte unechte generierte Trainingsdaten trainiert wird und erste Differenzsignale erzeugt,
- - das KI-Modul durch reale Trainingsdaten und Ground-Truth-Daten trainiert wird, und Ausgabesignale erzeugt,
- - das zweite Überwachungsmodul zur Überwachung des Ausgangsdatenstroms des KI-Moduls durch Ausgangsdaten des KI-Moduls und unechte, vom Generator des zweiten Überwachungsmoduls erzeugte unechte generierte Ausgangsdaten trainiert wird, und ein zweites Differenzsignal erzeugt,
- - das dritte Überwachungsmodul zur Überwachung des Ausgangsdatenstroms des KI-Moduls durch Ground-Truth-Daten und unechte, vom Generator des dritten Überwachungsmoduls erzeugte unechte generierte Ground-Truth-Daten trainiert wird, und ein drittes Differenzsignal erzeugt,
und in der Inferenzphase eine Überwachung sowohl des Eingangsdatenstroms in das KI-Modul als auch des Ausgabedatenstroms aus dem KI-Modul erfolgt, indem
- - ein realer Eingangsdatenstrom dem Diskriminator des trainierten ersten Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur Beurteilung des Eingangsdatenstroms verwendet werden, und
- - der Ausgangsdatenstrom dem Diskriminator des trainierten zweiten Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur Beurteilung des Ausgangsdatenstroms verwendet werden, und/oder
- - der Ausgangsdatenstrom dem Diskriminator des trainierten dritten Überwachungsmoduls zugeführt wird, der daraus Distanzen ermittelt, die zur Beurteilung des Ausgangsdatenstroms verwendet werden.
-
In der Inferenzphase dient die erste Distanz daher zur Bewertung der Typikalität des realen Eingangsdatenstroms, beispielsweise eines Umfeldsensorik, relativ zu den Trainingsdaten der Trainingsphase, die zweite Distanz zur Bewertung der Typikalität der Ausgabe des KI-Moduls relativ zur der Ausgabe des Trainings und die dritte Distanz zur Bewertung der Typikalität der Ausgabe des KI-Moduls relativ zu gesehener Ground-Truth aus dem Training. Hinsichtlich der drei Distanzen gilt das für die Distanz im ersten Verfahren gesagte. Mit anderen Worten, die Distanzen sind ein Maß dafür, ob der betrachtete Datenstrom den Datenströmen im Training ähnlich ist oder davon abweicht. Ist also die Abweichung außerhalb einer Vorgabe, so kann auf eine nicht trainierte Situation geschlossen werden, auf die entsprechend zu reagieren ist.
-
Vorzugsweise erzeugen die Generatoren mittels einer jeweiligen Hintergrunddatenquelle unechte Trainingsdaten, die den Diskriminatoren der jeweiligen Überwachungsmodule zugeführt werden.
-
Weiter bevorzugt werden während der Trainingsphase aus den drei Distanzen jeweils Trainingsverluste bezüglich der jeweiligen Trainingsdaten ermittelt, die zum Trainieren der Generatoren und Diskriminatoren des jeweiligen Überwachungsmoduls dienen.
-
Eine zweite erfindungsgemäße Vorrichtung zur Überwachung des Eingangsdatenstroms und des Ausgangsdatenstrom eines Kl-Moduls, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, wobei die Vorrichtung zur Durchführung des im Vorangegangenen erläuterten Verfahrens eingerichtet und ausgelegt ist, umfasst
- - ein KI-Modul, welches einen Bestandteil einer Verarbeitungskette einer teilautomatischen oder automatischen Fahrfunktion eines Fahrzeugs bildet, und auf realen Eingangssignale basierend Ausgabesignale für die Fahrfunktion erzeugt, und
- - drei Überwachungsmodule, die anhand realer Eingangssignale und der Ausgabesignale des KI-Moduls jeweilige Distanzsignale erzeugen, welche zur Überwachung des Eingangsdatenstroms und des Ausgabedatenstroms des KI-Moduls verwendet werden.
-
Zusammenfassend ist zentraler Gegenstand der Erfindung eine generativ-diskriminative Situationsbewertung, welche einen Kontrollmechanismus für KI-Module entlang der Verarbeitungskette einer automatischen Fahrfunktion darstellt. Der Kontrollmechanismus wird dabei durch eine Überwachungseinheit zur Überwachung von Ein- und Ausgabedaten eines durch eine KI-Modul realisierten Steuerungsmoduls des teilautomatischen oder automatischen Fahrens realisiert.
-
Diese Situationsbewertung, also der Kontrollmechanismus, misst den in ein KI-Modul hinein- und herausfließenden Datenstrom und misst eine Distanz der Referenzdatenverteilung mit der das KI-Modul ursprünglich entwickelt und trainiert wurde.
-
Dabei bedient sich die Situationsbewertung einem vorzugsweise dreifachen generativ-diskriminativen Ansatz, der in der Entwicklungsphase des Kl-Models entwickelt und im Folgenden allgemein beschrieben wird.
-
Das Entwickeln und überwachte Trainieren von KI-Modulen geschieht durch ein iteratives Vorgehen, bei dem einem Modul Referenzdaten präsentiert und die entstandene Modulausgabe mit einer Grundwahrheit, genannt Ground Truth, verglichen wird. Aus der Differenz der beiden letzten Werte wird ein Verlustwert, der Loss, berechnet und das Modul diesem Loss entsprechend angepasst.
-
Die Steuereinheit zur Überwachung des KI-Moduls besteht vorzugsweise aus drei unabhängigen Überwachungsmodulen, den sogenannten generativ-diskriminativen Distanzmessmodulen zur Messung der Distanz zum Trainingsinput, der Distanz zum Trainingsoutput und der Distanz zum Trainings-Ground Truth. Dabei besteht jedes der drei Einzelmodule aus einem Generator und einem Diskriminator. Die Aufgabe des Generators ist dabei das Erstellen von möglichst realistischen Daten, nämlich Input, Output und Ground-Truth. Die Aufgabe des Diskriminators hingegen ist das Unterscheiden von echten Daten und generierten Daten. Seine Ausgabe ist folglich das Lernen eines Maßes zur Unterscheidung von typischen und atypischen Ein- und Ausgabedaten. Dieses Maß wird dann als eine Distanz zu den echten Daten interpretiert und verwendet
-
Der Diskriminator eines Distanzmessmoduls ist ein KI-Modul, dessen Training während des Trainings des eigentlichen KI-Moduls der Fahrfunktion durchlaufen wird. Dabei werden die im Training verwendeten und entstehenden Daten, nämlich Input, Output oder Ground Truth, als Trainingsdaten für den jeweiligen Diskriminator verwendet. Weitere Trainingsdaten für den Diskriminator werden vom Generator bereitgestellt. Der Generator wiederum bedient sich eine Hintergrunddatenquelle, genannt Latent Space, und generiert daraus unechte Trainingsdaten. Er kann ebenfalls selbst ein KI-Modul sein, wie beispielsweise ein GAN-Ansatz aus dem Bereich Maschine Learning, aber auch eine Simulation oder eine Bildersuche auf dem Internet.
-
Zum Zeitpunkt der Ausführung, genannt Inferenz, werden von der erfindungsgemäßen Steuereinheit lediglich die Diskriminatoren verwendet. Sie bewerten und überwachen dann zur Laufzeit die Distanz des eingehenden und ausgehenden Datenstromes im eigentlichen KI-Modul der Fahrfunktion zum Referenzdatensatz.
-
Es kann im Sinne der Recheneffizienz oder bei extrem gut trainierten KI-Modulen der Fahrfunktion auf einen der beiden Distanzmessmodule zur Überwachung des Ausgangsstroms verzichtet werden.
-
Für eine möglichst gute Überwachung der korrekten Funktionalität von KI-Modulen sollten auch Beziehungen zwischen der Typikalität einer aktuellen Modulausgabe in Hinsicht auf Referenz-Ground-Truth-Daten auf der einen und Referenz-Trainingsausgaben auf der anderen Seite berücksichtigt werden. Dies kann potentiell Aufschluss auf eine Generalisierungsfähigkeit des KI-Moduls liefern.
-
Das Distanzmessmodul, welches für den Eingangsdatenstrom des KI-Moduls zuständig ist, kann auch allein betrieben werden. Mit anderen Worten, in der einfachsten Ausführungsform der Steuereinheit umfasst diese nur das Distanzmessmodul für den Eingangsdatenstrom, was allerdings zu einer verringerten Performanz führt.
-
Der ganzheitliche Ansatz des erfindungsgemäßen Steuergeräts mit mindestens zwei Distanzmessmodulen erlaubt die Überwachung von Beziehungen zwischen eingehenden und ausgehenden Datenströmen. Da das Trainieren der Einzelmodule parallel und ohne wesentlichen technischen Mehraufwand mit dem Training des eigentlichen KI-Moduls der Fahrfunktion durchführbar ist, stellt dies ein erhebliches Einsparpotential gegenüber momentan bekannten Lösungen dar.
-
Eine bevorzugte Ausführungsform der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Dabei zeigt
- 1 ein Beispiel der Trainingsphase eines generativen kontradiktorischen Netzes angewandt auf Eingangssignale,
- 2 die Inferenzphase, d.h. die Betriebsphase, einer Kl-Anwendung mit dem trainierten Diskriminator der 1,
- 3 die Trainingsphase eines generativen kontradiktorischen Netzes einschließlich der KI-Anwendung, wobei Eingangssignale und Ausgangssignale der Kl-Anwendung überwacht werden,
- 4 die Inferenzphase der Kl-Anwendung mit den trainierten Diskriminatoren der 3, und
- 5 eine Anwendung generativen kontradiktorischen Netzes in der Verarbeitungskette einer Fahrfunktion in schematischer Darstellung.
-
1 zeigt ein sogenanntes generativ-diskriminatives-Distanzmessmodul M_IN, welches eine Distanz zwischen Trainingsdaten TD und künstlich erzeugten Daten bestimmt. Dabei wird das Modul M_IN durch ein generatives kontradiktorisches Netz, kurz GAN für den Fachbegriff „Generative Adversarial Network“, gebildet, welches beispielsweise in dem oben genannten Artikel von I.J. Goodfellow beschrieben ist. Das Modul M_IN umfasst einen Generator G_IN, der aus einer Hintergrunddatenquelle L_IN, dem sogenannten „Latent Space für Input-Daten“, unechte Trainingsdaten generiert, wobei dem Generator G_IN die Aufgabe zufällt, möglichst realistische Trainingsdaten zu generieren. Diese vom Generator G_IN generierten unechten Trainingsdaten werden einem Diskriminator D_IN zusammen mit den echten Trainingsdaten TD zugeführt. Aufgabe des Diskriminators D_IN ist es nun zwischen den unechten Trainingsdaten des Generators G_IN und den echten Trainingsdaten zu unterscheiden. Dazu wird eine Distanz Dist_IN zwischen den echten und den unechten Trainingsdaten bestimmt, die ein Maß für die Distanz der Trainingsdaten TD zu den generierten Daten darstellt. Aus dieser Distanz Dist_IN wird dann eine Größe Trainingsverlust TL_IN bestimmt, die zum Trainieren des Moduls M_IN dient, so dass aufgrund des Trainingsverlusts TL_IN der Generator G_IN Daten generiert, die den Trainingsdaten TD ähnlicher werden und der Diskriminator D_IN die Unterscheidung zwischen echten und unechten Daten verbessert. Sowohl der Diskriminator D_IN als auch der Generator G_IN können als KI-Module ausgelegt sein.
-
2 zeigt die Anwendung des in 1 trainierten Diskriminators D_IN des Moduls M_IN in einem KI-Modul KI, beispielsweise einem KI-Modul eines Fahrzeugs. Ein realer Input IN wird einem KI-Modul KI zugeführt, welches einen Output OUT erzeugt. Dabei wird der Input IN üblicherweise durch Sensorsignale eines oder mehrerer Umfeldsensoren gebildet, die im KI-Modul verarbeitet werden. Das KI-Modul KI erzeugt aus diesen Eingangssignalen IN folglich Ausgangssignale OUT, die in der Steuerung beim automatischen Fahren weiter verarbeitet werden. So können die Eingangssignale IN beispielsweise die Signale einer Kamera (nicht dargestellt) und/oder eines Radarsensors sein.
-
Handelt es sich bei dem KI-Modul KI um eine Modul zur Objekterkennung, so soll das KI-Modul KI aus den erhaltenen Signalen IN die Objekte in der Umgebung des Fahrzeugs erkennen und bestimmen, so dass als Ausgabe OUT des KI-Moduls die Objekte in der Umgebung des Fahrzeugs, deren räumliche Anordnung sowie die Art der Objekte, also beispielsweise Fahrzeug, Fußgänger oder Zweiradfahrer, ausgegeben werden, wobei die Art der Objekte eine Wahrscheinlichkeitsaussage darstellt. Diese Ausgabe OUT kann dann einer Szenenerkennung und Szenenvorhersage (nicht dargestellt) zugeführt werden, so dass letztlich eine automatische Fahrfunktion (nicht dargestellt) angesteuert werden kann.
-
Bei dem KI-Modul KI kann es sich auch um ein Modul zur Fahrspurerkennung handeln, welches aus den Signalen IN der Umfeldsensoren die Fahrspuren der Fahrbahn als Ausgabe OUT bestimmt, auf der sich das Fahrzeug befindet, so dass diese Ergebnisse bei einer Fusionierung mit den Ergebnissen einer Objekterkennung feststellen kann, welches Objekt sich auf welcher Fahrbahn befindet. Die Aufzählung des Einsatzes von KI-Modulen beim automatischen Fahren ist nur als beispielhaft und nicht als vollständig zu betrachten.
-
Die Eingangssingale IN werden in der Anwendung der 2 nicht nur dem KI-Modul KI zugeführt, sondern parallel dazu dem Diskriminator D_IN des trainierten Distanzmessmoduls M_IN. Der trainierte Diskriminator bestimmt aus den Eingangssignalen IN eine Distanz Dist_IN, die die Entfernung der Eingangssignale IN von bekannten trainierten Situationen angibt, so dass sich aus dem so ermittelten Distanzsignalen IN die Aussage ableiten lässt, ob die Umfeldsituation einer bekannten Situation entspricht. Auf diese Weise können über die Ausgabe Dist_IN Abweichungen der Eingangssignale von bekannten Situationen bestimmt und das KI-Modul überwacht werden
-
3 zeigt die Trainingsphase einer Steuereinheit zur vollständigen generativ-diskriminativen Situationsbewertung in schematischer Darstellung, welche einen Kontrollmechanismus für KI-Module entlang der Verarbeitungskette einer automatischen Fahrfunktion darstellt, wobei der Kontrollmechanismus ein Programm bzw. eine Steuereinheit zur Überwachung von Ein- und Ausgabedaten eines KI-Steuerungsmoduls des teilautomatischen bzw. automatischen Fahrens ist.
-
Die dargestellte Steuereinheit ST mit KI-Modul KI umfasst neben dem KI-Modul KI drei generativ-diskriminative Distanzmessmodule, nämlich das Modul M_IN zum Bestimmen einer Distanz zu einem Trainingsinput, das Modul M_OUT zum Bestimmen einer Distanz zu einem Trainingsoutput und das Modul M_GT zum Bestimmen einer Distanz zu einem Trainings-Ground-Truth, wobei die Module nachfolgend im Einzelnen erläutert werden.
-
Das Distanzmessmodul M_IN umfasst einen Generator G_IN, der möglichst realistische unechte Eingangs-Trainingsdaten erzeugt, wobei zur Erzeugung der unechten Trainingsdaten der Generator G_IN sich einer Hintergrunddatenquelle L_IN, dem sogenannten Latent Space, bedient. Weiter umfasst das Modul M_IN einen Diskriminator G_IN, der die vom Generator G_IN erzeugten unechten Trainingsdaten mit realen Trainingsdaten TD vergleicht und eine Distanz Dist_IN als Ausgabe des Distanzmessmoduls M_IN ausgibt, wobei die Distanz Dist_IN die Distanz der unechten Trainingsdaten zu den echten Trainingsdaten darstellt, also ein Maß für die erwartete Zugehörigkeit des aktuellen unechten Datums zur Menge der generierten unechten Daten ist. Aus der Distanz Dist_IN und den dazugehörigen Daten wird eine Funktion genannt Trainingsverlust TL_IN bestimmt, die zum Trainieren des Distanzmessmoduls M_IN mit dem Generator G_IN und dem Diskriminator D_IN dient.
-
Da es zum Beurteilen des Verhaltens und der Funktionalität eines KI-Moduls KI einer teil- oder vollautomatischen Fahrfunktion, wie beispielsweise einem Parkassistenten oder dergleichen, nicht ausreichend ist nur Eingangsdaten, beispielsweise der Umfeldsensorik, zu betrachten, erfolgt ferner eine Überwachung des KI-Moduls KI hinsichtlich seiner Ausgabe sowie bezüglich sogenannter Ground-Truth-Daten.
-
So werden die Trainingsdaten TD ebenfalls dem KI-Modul KI zugeführt, welches daraus eine Ausgabe OUT erzeugt, die beispielsweise für die Steuerung einer Fahrfunktion zuständig ist. Diese Ausgabe OUT des KI-Moduls KI wird dem Diskriminator D_OUT eines zweiten generativ-diskriminativen Distanzmessmodul M_OUT zugeführt. Dabei umfasst das zweite Modul M_OUT einen Generator G_OUT, der mit Hilfe einer weiteren Hintergrunddatenquelle L_OUT unechte Trainingsdaten erzeugt, die dem Diskriminator D_OUT zugeführt werden. Aus den echten Ausgabedaten OUT des KI-Moduls KI und den unechten, vom Generator G_OUT erzeugten Trainingsdaten erzeugt der Diskriminator D_OUT eine Distanz Dist_OUT, wobei die Distanz Dist_OUT die Distanz der unechten Trainingsdaten zu der echten Ausgabe OUT des KI-Moduls KI darstellt, also ein Maß für die erwartete Zugehörigkeit des aktuellen unechten Datums zur Menge der generierten unechten Daten ist. Aus der Distanz Dist_OUT und den dazugehörigen Daten wird eine Funktion genannt Trainingsverlust TL_OUT bezüglich der Ausgabe OUT des KI-Moduls KI bestimmt, die zum Trainieren des Distanzmessmoduls M_OUT mit dem Generator G_OUT und dem Diskriminator D_OUT dient.
-
Zum Trainieren des KI-Moduls KI selbst wird die Ausgabe OUT mit Ground-Truth-Daten GT verknüpft, so dass sich eine zum Trainieren des KI-Moduls verwendbare Verlustfunktion TL ergibt, wobei TL für „Training Loss“ steht.
-
Die genannten Ground-Truth-Daten GT werden dem Diskriminator D_GT eines dritten generativ-diskriminativen Distanzmessmoduls M_GT zugeführt. Dabei umfasst das dritte Modul M_GT einen Generator G_GT, der mit Hilfe einer dritten Hintergrunddatenquelle L_GT unechte Trainingsdaten erzeugt, die dem Diskriminator D_GT zugeführt werden. Aus den echten Ground-Truth-Daten GT und den unechten, vom Generator G_GT erzeugten Trainingsdaten erzeugt der Diskriminator D_GT eine Distanz Dist_GT, wobei die Distanz Dist_GT die Distanz der unechten Trainingsdaten zu echten Ground-Truth-Daten GT darstellt, also ein Maß für die erwartete Zugehörigkeit des aktuellen unechten Datums zur Menge der generierten unechten Daten ist. Aus der Distanz Dist_GT und den dazugehörigen Daten wird eine Verlustfunktion TL_GT bezüglich der Ground-Truth-Daten GT bestimmt, die zum Trainieren des Distanzmessmoduls M_GT mit dem Generator G_GT und dem Diskriminator D_GT dient.
-
4 zeigt die Inferenzphase, also die Anwendungsphase, der Steuereinheit ST mit KI-Modul KI, wobei in der Inferenzphase nur die Diskriminatoren D_IN, D_OUT und D_GT der drei Module M_IN, M_OUT und M_GT verwendet werden.
-
Die Eingangssignale, beispielsweise einer Umfeldsensorik, werden als reale Eingabe IN sowohl dem KI-Modul KI zur Bearbeitung als auch dem Diskriminator D_IN des Moduls M_IN, welches für die Beurteilung der Eingangssignale zuständig ist, zugeführt. Aus dem Eingangssignal IN wird vom Diskriminator D_IN eine erste Distanz Dist_IN bezüglich der Eingangssignale IN ermittelt. Die von dem KI-Modul KI aufgrund des Eingangssignals bestimmte Modulausgabe OUT, die innerhalb der Verarbeitungskette der Fahrfunktion weiterverarbeitet wird, was durch den Pfeil symbolisiert wird, wird sowohl dem Diskriminator D_OUT des zweiten Distanzmessmoduls M_OUT bezüglich dem Ausgabesignal OUT als auch dem dritten Distanzmessmodul M_GT bezüglich der Ground-Truth GT zugeführt. Dadurch werden Distanzen Dist_OUT bezüglich des Ausgabesignals OUT des KI-Moduls KI und Dist_GT bezüglich der In 3 dargestellten Ground-Truth GT erzeugt.
-
Die von den drei Distanzmessmodulen M_IN, MOUT und M_GT erzeugten Distanzen Dist_IN, Dist_OUT und Dist_GT überwachen die in das KI-Modul KI hinein und hinaus fließenden Datenströme IN und OUT und geben daher Auskunft über das Verhalten den KI-Moduls, insbesondere wenn der Datenstrom Eingabe IN eine nicht trainierte Situation ist, sodass die Ausgabe OUT des KI-Moduls ebenfalls keiner trainierten Situation entspricht, was sich in den Distanzen Dist_OUT und Dist_GT der beiden Diskriminatoren D_OUT und D_GT bemerkbar macht. Auf diese Weise ist es beispielsweise beim Betrieb der Steuereinheit zur Überwachung eines KI-Moduls KI einer Fahrfunktion sogenannte Corner Cases, also Grenzfälle, zu bestimmen, die in der Simulation, also der Erzeugung entsprechender Trainingsdaten, nicht berücksichtigt wurden, da bekanntlich eine Berücksichtigung aller möglichen Situationen bei einer teil- oder vollautomatischen Fahrfunktion kaum möglich ist.
-
5 zeigt eine Anwendung der Steuereinheit ST bestehend aus dem KI-Modul KI und der Überwachungseinheit ÜW in einer teilautomatischen Fahrfunktion eines Fahrzeugs, hier als nicht einschränkendes Beispiel in der Objekterkennung der Fahrfunktion „Einparkassistent“. Die durch das KI-Modul (KI) realisierte Objekterkennung erhält Eingangsdaten IN einer Umfeldsensorik US, die Kameras, Radar, Lidar, Ultraschallsensoren oder dergleichen umfassen kann. Das als Objekterkennung dienende KI-Modul KI erkennt aus den ihm zugeführten Eingangsdaten IN Objekte, beispielsweise andere Fahrzeuge, Fußgänger, Verkehrszeichen, Bäume, Randsteine etc., im Umfeld des Fahrzeugs und gibt diese Objekte mit entsprechenden Eigenschaften, wie Relativgeschwindigkeit, Position relativ zum Fahrzeug, etc., als Ausgabedaten (OUT) zur Weiterverarbeitung durch weitere Instanzen (nicht dargestellt) aus.
-
Der Eingabedatenstrom IN in das KI-Modul KI und der Ausgabedatenstrom OUT aus dem KI-Modul KI wird von der Überwachungseinheit ÜW überwacht, wobei die Überwachungseinheit ÜW durch die drei Diskriminatoren D_IN, D_OUT und D_GT der in den 3 und 4 beschriebenen Distanzmessmodulen M_IN, M_OUT und M_GT gebildet wird. Die Diskriminatoren D_IN, D_OUT, D_GT erzeugen Distanzen Dist_IN, Dist_OUT und Dist_GT, die die Typikalität des Eingangsdatenstroms und des Ausgabedatenstrom des KI-Moduls KI gegenüber den entsprechenden Trainingsdaten zeigen. Dabei sind im Überwachungsmodul in einer einfacheren Form nicht beide Diskriminatoren D_OUT und D_GT für die Überwachung des Ausgabedatenstroms OUT des KI-Moduls notwendig, bei einem genügend guten Training kann auf einen der genannten Diskriminatoren verzichtet werden.
-
Für jede der drei von den Diskriminatoren D_IN, D_OUT, D_GT gemessenen Distanzen Dist_IN, Dist_OUT und Dist_GT lässt sich nun eine jeweilige Schwelle S_IN, S_OUT und S_GT mit folgenden Maßgaben festlegen:
- Dist_IN ≤ S_IN : Eingangsdatenstrom IN „echt“ im Sinn von bekannt, d.h. trainiert,
- Dist_IN > S_IN : Eingangsdatenstrom IN „unbekannt“ im Sinn von nicht trainiert,
- Dist_OUT ≤ S_OUT : Ausgangsdatenstrom OUT „echt“,
- Dist_OUT > S_OUT : Ausgangsdatenstrom OUT „unbekannt“,
- Dist_GT ≤ OUT: Ausgangsdatenstrom OUT „echt“,
- Dist_GT > OUT : Ausgangsdatenstrom OUT „unbekannt“.
-
Bezugszeichenliste
-
- ST
- Steuereinheit mit KI-Modul
- ÜW
- Überwachungsmodul
- M_IN
- Modul zur Bestimmung der Distanz von Input-Daten
- G_IN
- Generator Input-Daten
- D_IN
- Diskriminator Input-Daten
- L_IN
- Latent Space Input-Daten
- TD
- Trainingsdaten
- Dist_IN
- Distanz Input-Daten
- TL_IN
- Trainingsverlust Input-Daten
- IN
- realer Input
- KI
- KI-Modul
- OUT
- Ausgabe bzw. Output des KI-Moduls
- M_OUT
- Modul zur Bestimmung der Distanz von Output-Daten
- G_OUT
- Generator Output-Daten
- D_OUT
- Diskriminator Output-Daten
- L_OUT
- Latent Space Output-Daten
- Dist_OUT
- Distanz Output-Daten
- TL_OUT
- Trainingsverlust Output-Daten
- M_GT
- Modul zur Bestimmung der Distanz von Ground-Truth-Daten
- G_GT
- Generator Ground-Truth-Daten
- D_GT
- Diskriminator Ground-Truth-Daten
- GT
- Ground-Truth-Daten
- L_GT
- Latent Space Ground-Truth-Daten
- TL
- Trainingsverlust OUT und GT
- Dist_GT
- Distanz Ground-Truth-Daten
- TL_GT
- Trainingsverlust Ground-Truth-Daten
- US
- Umfeldsensorik
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2016/0335536 A1 [0006]
- US 2016/0071024 A1 [0007]
-
Zitierte Nicht-Patentliteratur
-
- I. J. Goodfellow et.al.: „Generative Adversarial Nets“, NIPS 2014 [0008]