-
Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft maschinelles Lernen. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zum Trainieren eines maschinellen Lernsystems zur Quantifizierung von Unsicherheiten, ein Verfahren zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems, ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie ein Fahrzeug, umfassend ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten.
-
Hintergrund
-
Maschinelles Lernen ist in vielen Bereichen zu einem wertvollen Werkzeug geworden. Dabei kommt es in zunehmendem Maße auch auf eine zuverlässige Schätzung von Unsicherheiten der Ausgaben von maschinellen Lernsystemen an.
-
So ist beispielsweise beim autonomen Fahren eine zuverlässige Schätzung der Unsicherheiten in Klassifikationsausgaben ein sicherheitsrelevanter Aspekt. Unfälle können in diesem Fall vermieden werden, indem Situationen erkannt werden, bei denen sich das System unsicher ist, und die Kontrolle an den Fahrer übergeben oder die Geschwindigkeit verringert wird.
-
Insbesondere bei Convolutional Neural Networks ist die Schätzung der Unsicherheiten ein herausforderndes Problem, da hier der Klassifikationsfehler aufgrund der Nichtlinearitäten des Convolutional Neural Networks nicht mit der tatsächlichen Unsicherheit korreliert. Je komplexer dabei die Convolutional Neural Networks sind, beispielsweise durch Hinzunahme von weiteren Schichten mit nichtlinearen Aktivierungsfunktionen oder durch Normierungsmethoden, wird dieser Effekt verstärkt.
-
Bekannte Verfahren zur Berechnung von Unsicherheiten sind die Monte-Carlo Dropout Methode und die Ensemble Methode. Beide Verfahren beruhen auf dem Prinzip einer statistischen Modellierung der Streuung der Klassifikationsergebnisse, indem mehrere Ergebnisse für ein Eingangssignal erzeugt werden. Je mehr sich diese Ergebnisse unterscheiden, desto höher ist die Unsicherheit. Bei der Monte-Carlo Dropout Methode werden hierzu zufällig Netzwerkgewichte abgeschaltet, wohingegen bei der Ensemble Methode eine Ausgabe pro Ensembleteilnehmer erzeugt wird. Für eine repräsentative Statistik wird dabei eine signifikante Anzahl an Ergebnissen benötigt. Die hierzu notwendige hohe Berechnungskomplexität führt dazu, dass diese Methoden im Allgemeinen nicht für den Einsatz in echtzeitfähigen Systemen geeignet sind. Des Weiteren benötigt die Ensemble-Methode einen hohen Speicheraufwand.
-
Zusammenfassung
-
Es ist daher die Aufgabe der Erfindung, ein Verfahren bereitzustellen, das mit moderatem Berechnungsaufwand Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems quantifiziert. Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung.
-
Ein Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines maschinellen Lernsystems zur Quantifizierung von Unsicherheiten von Ausgabedaten. Dabei werden Trainingsdaten bereitgestellt, die Trainings-Eingabedaten und Trainings-Zielwerte umfassen. Die Trainings-Zielwerte sind dabei den jeweiligen Trainings-Eingabedaten zugeordnet. Die Trainings-Zielwerte wurden dabei beispielsweise manuell für die einzelnen Trainings-Eingabedaten erstellt und stellen beispielsweise eine Klassifikation der Trainings-Eingabedaten dar.
-
Mittels der Trainingsdaten wird das maschinelle Lernsystem trainiert, d.h., Parameter des maschinellen Lernsystems werden derart angepasst, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabedaten Ausgabedaten, die den Trainings-Zielwerten ähnlich sind, erzeugt. Die Parameter umfassen beispielsweise bei neuronalen Netzen die Gewichtungen zwischen einzelnen Eingabewerten und Neuronen. Das Trainieren des maschinellen Lernsystems erfolgt dabei mittels eines überwachten Lernverfahrens, wobei eine Vielzahl an Lernverfahren bekannt ist. So kann beispielsweise für das Trainieren eines neuronalen Netzes das Backpropagation-Verfahren verwendet werden. Im Laufe des Trainierens werden dabei die Parameter des maschinellen Lernsystems derart angepasst, dass ein Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten möglichst klein wird. Der Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten wird dabei beispielsweise über den Abstand zwischen den Ausgabedaten und den Trainings-Zielwerten und eine entsprechende Metrik für Ausgabedaten bestimmt. Hierbei ist zu beachten, dass eine Überanpassung vermieden wird, was beispielsweise mittels einer Betrachtung des Fehlers zwischen aus Test-Eingabedaten erzeugten Ausgabedaten und den zugehörigen Test-Zielwerten erreicht wird. Die Test-Zielwerte sind dabei den Test-Eingabedaten zugeordnet und die Test-Eingabedaten und Test-Zielwerte werden nicht für die Anpassung der Parameter des maschinellen Lernsystems verwendet.
-
Des Weiteren werden mittels der Trainingsdaten Parameter des maschinellen Lernsystems derart angepasst, dass das maschinelle Lernsystem Rekonstruktionsdaten erzeugt. Dabei stellen die Rekonstruktionsdaten ein Maß der Bekanntheit von Trainingsdaten dar. In dem Fall, dass für Eingabedaten, die mit dem trainierten Lernsystem zu verarbeiten sind, Trainingsdaten bekannt sind, ist die Unsicherheit der Ausgabedaten des maschinellen Lernsystems gering. Sind jedoch für Eingabedaten, die mit dem trainierten Lernsystem zu verarbeiten sind, kaum oder keine Trainingsdaten bekannt, dann ist die Unsicherheit der Ausgabedaten des maschinellen Lernsystems hoch. Über die Rekonstruktionsdaten kann also die Unsicherheit der Ausgabedaten des maschinellen Lernsystems quantifiziert werden. Der Berechnungsaufwand ist dabei moderat, wobei der zusätzliche Berechnungsaufwand zur Berechnung der Rekonstruktionsdaten höchstens etwa dem Berechnungsaufwand zur Berechnung der Ausgabedaten entspricht. Des Weiteren erfolgt die Berechnung der Rekonstruktionsdaten auf Grundlage der schon vorhandenen Trainingsdaten, hier sind also keine weiteren Eingaben nötig.
-
Die Rekonstruktionsdaten können dabei als eine weitere Ausgabe des maschinellen Lernsystems, das die Ausgabedaten erzeugt, erzeugt werden. Alternativ dazu kann das maschinelle Lernsystem zwei Teilsysteme umfassen, wobei das erste Teilsystem die Ausgabedaten erzeugt und das zweite Teilsystem die Rekonstruktionsdaten erzeugt. Im Fall, dass die Ausgabedaten und die Rekonstruktionsdaten von zwei Teilsystemen des maschinellen Lernsystems erzeugt werden ist es dabei wichtig, dass das Training beider Teilsysteme auf den gleichen Trainingsdaten basiert, da nur so die Rekonstruktionsdaten das Maß der Bekanntheit von denselben Trainingsdaten darstellen, die für die Erzeugung der Ausgabedaten verwendet wurden.
-
In einigen Ausführungsformen sind die Rekonstruktionsdaten den Trainings-Eingabedaten ähnlich. Das heißt, die Parameter des maschinellen Lernsystems werden derart angepasst, dass ein Fehler zwischen den Rekonstruktionsdaten und den Trainings-Eingabedaten möglichst klein wird. Mit anderen Worten werden über die Rekonstruktionsdaten die Eingabedaten rekonstruiert.
-
In einigen Ausführungsformen sind die Rekonstruktionsdaten den Trainings-Zielwerten ähnlich und eine Abweichung der Rekonstruktionsdaten von den Trainings-Zielwerten ist geringer als eine Abweichung der Ausgabedaten von den Trainings-Zielwerten. Das heißt, die Parameter des maschinellen Lernsystems werden derart angepasst, dass ein Fehler zwischen den Rekonstruktionsdaten und den Trainings-Zielwerten kleiner ist als ein Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten. Da die Parameter des maschinellen Lernsystems schon derart angepasst wurden, dass ein Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten unter Vermeidung einer Überanpassung möglichst gering ist, bedeutet dies, dass für die Erzeugung der Rekonstruktionsdaten eine Überanpassung des maschinellen Lernsystems erfolgt.
-
In einigen Ausführungsformen werden zur Erzeugung der Rekonstruktionsdaten die Trainings-Eingabedaten als Eingabe verwendet. Dies ist sowohl für den Fall, dass die Rekonstruktionsdaten als weitere Ausgabe des maschinellen Lernsystems, das die Ausgabedaten erzeugt, erzeugt werden, als auch für den Fall, dass die Rekonstruktionsdaten von einem zweiten Teilsystem des maschinellen Lernsystems erzeugt werden, möglich. Alternativ oder zusätzlich dazu können die Ausgabedaten als Eingabe zur Erzeugung der Rekonstruktionsdaten verwendet werden. Da hierfür zunächst die Ausgabedaten zur Verfügung stehen müssen, ist dies nur für den Fall, dass die Rekonstruktionsdaten von einem zweiten Teilsystem des maschinellen Lernsystems erzeugt werden, möglich. Die Ausgabe des ersten Teilsystems des maschinellen Lernsystems wird dann also als Eingabe für das zweite Teilsystem des maschinellen Lernsystems verwendet.
-
In einigen Ausführungsformen ist das maschinelle Lernsystem ein neuronales Netz. Neuronale Netze eignen sich dabei besonders gut für das beschriebene Verfahren, da sie einfach angepasst werden können. Das neuronale Netz ist dabei insbesondere ein Convolutional Neural Network. Die Nichtlinearität des Convolutional Neural Networks stellt dabei für die Verwendbarkeit des beschriebenen Verfahrens kein Problem dar.
-
Das beschriebene Verfahren kann aber auch mit anderen maschinellen Lernsystemen verwendet werden, beispielsweise mit Entscheidungsbaum-Lernen, mit Support Vector Machines, Regressionsanalyse oder Bayesschen Netzen. Des Weiteren ist es möglich, das beschriebene Verfahren in einem Multi-Task-Klassifikationssystem zu verwenden. Das Multi-Task-Klassifikationssystem umfasst dabei beispielsweise einen Encoder und eine Vielzahl an Decodern. Dabei werden für jeden Decoder Rekonstruktionsdaten erzeugt und die Parameter des maschinellen Lernsystems dementsprechend angepasst. Ferner ist es möglich, das maschinelle Lernsystem in mehrere Untersysteme zu unterteilen. Dabei weist jedes der Untersysteme die Funktionalität des hier beschriebenen maschinellen Lernsystems auf, die Untersysteme unterscheiden sich allerdings voneinander, beispielsweise in der Art des maschinellen Lernsystems oder in der Auswahl der Trainingsdaten. Mittels der Untersysteme erzeugte Ausgabedaten können dann kombiniert werden, um eine verbesserte Ausgabe zu erhalten.
-
In einigen Ausführungsformen umfassen die Eingabedaten Sensordaten, insbesondere Bilddaten, Radardaten und/oder Lidardaten. Im beispielhaften Fall von Bilddaten stellen die Rekonstruktionsdaten, wenn die Rekonstruktionsdaten den Trainings-Eingabedaten ähnlich sind, eine Rekonstruktion des ursprünglichen Bildes dar. Je genauer dabei das ursprüngliche Bild wieder rekonstruiert werden kann, desto bekannter sind die Trainingsdaten für dieses Bild und desto geringer ist die Unsicherheit der Ausgabedaten.
-
Die Eingabedaten können dabei Sensordaten eines Fahrzeugs sein. Die Ausgabedaten sind dann beispielsweise Klassifikationen der mittels der Sensordaten erfassten Objekte. So lässt sich das beschriebene Verfahren für die Quantifizierung der Unsicherheiten der Ausgabedaten für autonome Fahrsysteme verwenden.
-
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems, das nach einem Verfahren zum Trainieren eines maschinellen Lernsystems gemäß der vorangegangenen Beschreibung trainiert wurde.
-
Das maschinelle Lernsystem kann also beispielsweise ein Entscheidungsbaum-Lernsystem, eine Support Vector Machine, ein auf einer Regressionsanalyse basierendes Lernsystem, ein Bayessches Netz, ein neuronales Netz oder ein Convolutional Neural Network sein. Des Weiteren kann das maschinelle Lernsystem ein Multi-Task-Klassifikationssystem sein. Ferner kann das maschinelle Lernsystem zwei Teilsysteme umfassen.
-
Von dem maschinellen Lernsystem werden aus Eingabedaten Ausgabedaten erzeugt. Die Eingabedaten können dabei beispielsweise Sensordaten, insbesondere Bilddaten, Radardaten und/oder Lidardaten sein und können zum Beispiel von einem Fahrzeug erfasst werden. Die Ausgabedaten können Klassifikationen der Eingabedaten, insbesondere also Klassifikationen der von den Sensordaten erfassten Objekten sein.
-
Des Weiteren werden von dem maschinellen Lernsystem Rekonstruktionsdaten erzeugt. Aus den Rekonstruktionsdaten und den Rekonstruktionsdaten entsprechenden Daten wird dann mittels einer Metrik ein Abweichungswert erzeugt. Dieser Abweichungswert ist dabei ein Maß für die Bekanntheit von Trainingsdaten für die Eingabedaten. Der Abweichungswert quantifiziert daher die Unsicherheit der Ausgabedaten und wird den Ausgabedaten zugeordnet.
-
Die Quantifizierung der Unsicherheit wird also durch Anwendung des trainierten maschinellen Lernsystems erzielt, wobei hierfür der Berechnungsaufwand höchstens etwa dem Berechnungsaufwand zur Berechnung der Ausgabedaten entspricht.
-
Die hierfür zu verwendende Metrik hängt davon ab, welche Daten die Rekonstruktionsdaten und die den Rekonstruktionsdaten entsprechenden Daten sind. Beispiele für solche Metriken sind Abstandsmetriken oder Ähnlichkeitsmaße, beispielsweise der mittlere quadratische Fehler, mittlere absolute Fehler, structural similarity index oder binary cross entropy.
-
Ferner kann die Güte der Unsicherheitsschätzungen bestimmt werden. Bekannte Verfahren hierzu finden sich beispielsweise in „Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles“ von B. Lakshminarayanan, A. Pritzel und C. Blundell (arXiv:1612.01474, 2017) oder in „On Calibration of Modern Neural Networks“ von C. Guo, G. Pleiss, Y. Sun und K. Weinberger (arXiv: 1706.04599, 2017).
-
In einigen Ausführungsformen sind die den Rekonstruktionsdaten entsprechenden Daten die Eingabedaten. Das maschinelle Lernsystem wurde dabei derart trainiert, dass die beim Training erhaltenen Rekonstruktionsdaten den Trainings-Eingabedaten ähnlich sind. Mittels der Metrik wird also aus den Rekonstruktionsdaten und den Eingabedaten der Abweichungswert erzeugt. Falls es Trainings-Eingabedaten gab, die den Eingabedaten ähnlich waren, werden die Rekonstruktionsdaten auch ähnlich zu den Eingabedaten sein und damit der Abweichungswert klein sein. Da es in diesem Fall Eingabedaten gab, die den Trainings-Eingabedaten ähnlich waren, sind auch Rekonstruktionsdaten mit geringem Fehler zu erwarten, so dass der kleine Abweichungswert auf gute Ausgabedaten und damit eine geringe Unsicherheit in den Ausgabedaten schließen lässt. Gab es hingegen keine Trainings-Eingabedaten, die den Eingabedaten ähnlich waren, dann wird es eine größere Abweichung zwischen den Rekonstruktionsdaten und den Eingabedaten geben, so dass der Abweichungswert groß ist. Dies entspricht der größeren Unsicherheit, die eben daher stammt, dass den Eingabedaten keine der Trainings-Eingabedaten entsprechen.
-
In einigen Ausführungsformen sind die den Rekonstruktionsdaten entsprechenden Daten die aus den Eingabedaten erzeugten Ausgabedaten. Das maschinelle Lernsystem wurde dabei derart trainiert, dass die beim Training erhaltenen Rekonstruktionsdaten den Trainings-Zielwerten ähnlich sind, wobei die Abweichung der Rekonstruktionsdaten von den Trainings-Zielwerten geringer war als die Abweichung der aus den Trainings-Eingabedaten erzeugten Ausgabedaten von den Trainings-Zielwerten. Ist nun die mittels der Metrik ermittelte Abweichung der Rekonstruktionsdaten von den Ausgabedaten gering, so deutet dies darauf hin, dass es Trainings-Eingabedaten gab, die den Eingabedaten ähnlich waren und somit auch die Unsicherheit der Ausgabedaten gering ist. Ist hingegen die mittels der Metrik ermittelte Abweichung der Rekonstruktionsdaten von den Ausgabedaten groß, so deutet dies darauf hin, dass es keine Trainings-Eingabedaten gab, die den Eingabedaten ähnlich waren, was eine entsprechend große Unsicherheit in den Ausgabedaten bedeutet.
-
In dem Fall, dass die mittels der Metrik ermittelte Abweichung der Rekonstruktionsdaten von den Ausgabedaten gering ist, können die Rekonstruktionsdaten zu einer Verbesserung der Ausgabe des maschinellen Lernsystems verwendet werden. Hierzu können beispielsweise anstatt der Ausgabedaten die Rekonstruktionsdaten ausgegeben werden, die aufgrund des Trainings des maschinellen Lernsystems ein noch genaueres Ergebnis als die Ausgabedaten darstellen können. Alternativ dazu können beispielsweise anstatt der Ausgabedaten ein Mittelwert der Ausgabedaten und Rekonstruktionsdaten ausgegeben werden, der ebenfalls ein noch genaueres Ergebnis als die Ausgabedaten darstellen kann.
-
In einigen Ausführungsformen werden zur Erzeugung der Rekonstruktionsdaten die Eingabedaten verwendet. Alternativ oder zusätzlich dazu werden zur Erzeugung der Rekonstruktionsdaten die aus den Eingabedaten erzeugten Ausgabedaten verwendet. Welche Daten dabei zur Erzeugung der Rekonstruktionsdaten verwendet werden richtet sich dabei danach, welche Daten beim Trainieren des maschinellen Lernsystems zur Erzeugung der Rekonstruktionsdaten verwendet wurden.
-
In einigen Ausführungsformen wird die Metrik nur auf einen Teil der Rekonstruktionsdaten und der den Rekonstruktionsdaten entsprechenden Daten angewandt. So kann die Metrik beispielsweise nur auf einen Teil eines Bildes angewandt werden, der zum Beispiel durch eine bounding box begrenzt ist und insbesondere ein erkanntes Objekt enthält. Dann wird die Unsicherheit in der Klassifizierung dieses Objekts separat quantifiziert. Als weiteres Beispiel kann die Metrik auch auf das gesamte Bild in einer geringeren Auflösung angewandt werden, wenn beispielsweise kleine Details als eher unwichtig betrachtet werden sollen.
-
In einigen Ausführungsformen wird für Ausgabedaten, deren Unsicherheit einen vorbestimmten Wert überschreitet, eine Unsicherheitswarnung ausgegeben. Diese Unsicherheitswarnung kann von dem die Ausgabedaten verwendenden System entsprechend berücksichtigt werden. So können beispielsweise beim autonomen Fahren, für das mittels des maschinellen Lernsystems anhand von Sensordaten erkannte Objekte von entscheidender Bedeutung sind, bei einer erhöhten Unsicherheit der Ausgabedaten des maschinellen Lernsystems entsprechende Sicherheitsmaßnahmen eingeleitet werden, zum Beispiel eine Reduzierung der Geschwindigkeit oder eine Übergabe der Fahrzeugsteuerung an einen Fahrer.
-
In einigen Ausführungsformen werden für Ausgabedaten, deren Unsicherheit einen vorbestimmten Wert überschreitet, die Eingabedaten zum weiteren Trainieren des maschinellen Lernsystems gespeichert. Für die so gespeicherten Eingabedaten werden dann entsprechende Zielwerte erzeugt, beispielsweise durch eine Klassifizierung durch einen Benutzer. Diese neuen Paare von Eingabedaten und Zielwerten werden dann beim Trainieren des maschinellen Lernsystems verwendet, so dass das maschinelle Lernsystem dann auch aus Eingabedaten, die den neuen Eingabedaten ähnlich sind, zuverlässige Ausgabedaten erzeugen kann.
-
Ein weiterer Aspekt der Erfindung betrifft ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems. Dieses System umfasst eine Eingabeeinheit, eine Rechnereinheit und eine Ausgabeeinheit. Die Eingabeeinheit ist dabei zum Empfangen von Eingabedaten ausgebildet, beispielsweise als Schnittstelle zu Sensoren. Die Rechnereinheit ist zum Ausführen des Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems gemäß der vorangegangenen Beschreibung ausgebildet. Dabei wurde das maschinelle Lernsystem schon mittels des Verfahrens zum Trainieren eines maschinellen Lernsystem gemäß der vorangegangenen Beschreibung trainiert. Die Rechnereinheit erzeugt also aus den Eingabedaten Ausgabedaten und erzeugt Rekonstruktionsdaten. Aus den Rekonstruktionsdaten und den den Rekonstruktionsdaten entsprechenden Daten erzeugt die Rechnereinheit zudem den Abweichungswert, der die Unsicherheit der Ausgabedaten quantifiziert. Die Ausgabeeinheit ist zum Ausgeben der von der Rechnereinheit erzeugten Ausgabedaten sowie der Unsicherheit der Ausgabedaten und/oder der auf dieser Unsicherheit basierten Unsicherheitswarnung ausgebildet. Die Ausgabeeinheit ist beispielsweise eine Schnittstelle zu einem die Ausgabedaten weiterverarbeitenden System.
-
Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, welches ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten gemäß der vorangegangenen Beschreibung umfasst. Werden erhöhte Unsicherheiten in von dem maschinellen Lernsystem erzeugten Ausgabedaten erkannt, so können entsprechende Maßnahmen, im Falle des autonomen Fahrens beispielsweise eine Reduzierung der Geschwindigkeit oder eine Übergabe der Fahrzeugsteuerung an den Fahrer, die Sicherheit deutlich erhöhen.
-
Zur weiteren Verdeutlichung wird die Erfindung anhand von in den Figuren abgebildeten Ausführungsformen beschrieben. Diese Ausführungsformen sind nur als Beispiel, nicht aber als Einschränkung zu verstehen.
-
Figurenliste
-
Dabei zeigen:
- 1a ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
- 1b ein Flussdiagramm eines zum Ausführungsbeispiel der 1a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
- 2a ein Flussdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
- 2b ein Flussdiagramm eines zum Ausführungsbeispiel der 2a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
- 3a ein Flussdiagramm eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
- 3b ein Flussdiagramm eines zum Ausführungsbeispiel der 3a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
- 4a ein Flussdiagramm eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
- 4b ein Flussdiagramm eines zum Ausführungsbeispiel der 4a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
- 5a ein Flussdiagramm eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
- 5b ein Flussdiagramm eines zum Ausführungsbeispiel der 5a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten; und
- 6 eine schematische Darstellung eines Ausführungsbeispiels eines Fahrzeugs mit einem System zur Quantifizierung von Unsicherheiten von Ausgabedaten.
-
Detaillierte Beschreibung von Ausführungsformen
-
1a zeigt ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems 1 und 1 b ein Flussdiagramm eines zum Ausführungsbeispiel der 1a passenden Verfahrens zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y'.
-
Zum Trainieren des maschinellen Lernsystems 1, das beispielsweise ein Entscheidungsbaum-Lernsystem, eine Support Vector Machine, ein auf einer Regressionsanalyse basierendes Lernsystem, ein Bayessches Netz, ein neuronales Netz oder ein Convolutional Neural Network ist, werden Trainings-Eingabedaten X und Trainings-Zielwerte Y bereitgestellt. Mittels des maschinellen Lernsystems 1 werden aus den Trainings-Eingabedaten X Ausgabedaten Y' sowie Rekonstruktionsdaten X', die den Trainings-Eingabedaten X ähnlich sind, erzeugt. Ziel des Trainings ist es, dass die Ausgabedaten Y' den Trainings-Zielwerten Y so ähnlich wie möglich sind, ohne eine Überanpassung vorzunehmen, und dass die Rekonstruktionsdaten X' den Trainings-Eingabedaten X so ähnlich wie möglich sind. Dazu wird aus den erzeugten Ausgabedaten Y' sowie Rekonstruktionsdaten X' und den Trainings-Zielwerten Y sowie den Trainings-Eingabedaten X mittels einer Fehlerfunktion 2 die noch vorhandenen Abweichungen zwischen den Ausgabedaten Y' und den Trainings-Zielwerten Y sowie zwischen den Rekonstruktionsdaten X' und den Trainings-Eingabedaten X ermittelt. Diese Abweichungen werden über eine Backpropagation 3 zu einer Anpassung von Parametern des maschinellen Lernsystems 1 verwendet. Dies wird so lange wiederholt, bis eine vorgegebene Übereinstimmung erzielt worden ist oder bis Anzeichen einer Überanpassung auftreten.
-
Mittels des so trainierten maschinellen Lernsystems 1 werden dann, wie in 1b dargestellt, aus Eingabedaten X Ausgabedaten Y' und Rekonstruktionsdaten X' erzeugt. Die Abweichung der Rekonstruktionsdaten X' von den Eingabedaten X wird dann mittels einer Metrik 4 bestimmt. Der so bestimmte Abweichungswert quantifiziert die Unsicherheit U der Ausgabedaten Y'.
-
Als Beispiel seien die Eingabedaten X Bilddaten eines Bildes und die Ausgabedaten Y' Klassifikationsdaten, die auf dem Bild dargestellten Objekten entsprechen. Ist es nun möglich, mittels des maschinellen Lernsystems 1 ein rekonstruiertes Bild X' zu erzeugen, das dem ursprünglichen Bild X ähnlich ist, dann deutet das darauf hin, dass beim Trainieren des maschinellen Lernsystems 1 schon ähnliche Eingabedaten X vorhanden waren, so dass die Unsicherheit U der Ausgabedaten Y' gering ist. Ist jedoch das rekonstruierte Bild X' stark vom ursprünglichen Bild X verschieden, dann deutet dies darauf hin, dass keine ähnlichen Eingabedaten X zum Trainieren des maschinellen Lernsystems 1 verwendet wurden und demnach die Unsicherheit U der Ausgabedaten Y' groß ist.
-
Die in 2a und 2b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' unterscheiden sich von den in 1a und 1b gezeigten Verfahren dadurch, dass die Erzeugung der Ausgabedaten Y' und der Rekonstruktionsdaten X' nicht von einem gemeinsamen maschinellen Lernsystem 1, sondern von einem ersten Teilsystem 1.1 bzw. einem zweiten Teilsystem 1.2 des maschinellen Lernsystems 1 erzeugt werden. Hieraus folgt, dass das Trainieren des zweiten Teilsystems 1.2 beispielsweise auch nach dem Trainieren des ersten Teilsystems 1.1 erfolgen kann, wobei beachtet werden muss, dass die gleichen Trainings-Eingabedaten X verwendet werden müssen. Ansonsten entsprechen die Verfahren denen aus 1a und 1b. Selbstverständlich sind die Fehlerfunktionen 2 und die Backpropagation 3 auf das jeweilige Teilsystem 1.1 bzw. 1.2 des maschinellen Lernsystems 1 angepasst.
-
Bei dem in 3a und 3b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' weist das maschinellen Lernsystems 1 wiederum zwei Teilsysteme 1.1 und 1.2 auf. Das Teilsystem 1.1 erzeugt aus den Eingabedaten X Ausgabedaten Y' und wird vor dem Teilsystem 1.2 trainiert. Auf die Darstellung des Trainierens des Teilsystems 1.1 wird aus Gründen der Übersichtlichkeit hier verzichtet. Das Teilsystem 1.2 erhält die vom Teilsystem 1.1 erzeugten Ausgabedaten Y' als Eingabe und erzeugt hieraus Rekonstruktionsdaten Y'', die den Trainings-Zielwerten Y ähnlich sind. Zum Trainieren des Teilsystems 1.2 werden dabei die erzeugten Rekonstruktionsdaten Y'' mit den Trainings-Zielwerten Y verglichen und die Parameter des Teilsystems 1.2 über die Backpropagation 3 so angepasst, dass die Rekonstruktionsdaten Y'' den Trainings-Zielwerten Y möglichst ähnlich sind.
-
Für die Quantifizierung der Unsicherheit U der Ausgabedaten Y' wird sodann die Abweichung der Ausgabedaten Y' von den Rekonstruktionsdaten Y'' mittels der Metrik 4 bestimmt. Eine starke Ähnlichkeit zwischen den Ausgabedaten Y' und den Rekonstruktionsdaten Y'' deutet dabei darauf hin, dass es Trainings-Eingabedaten X gab, die den Eingabedaten X ähnlich sind, so dass die Unsicherheit U der Ausgabedaten Y' als klein angenommen wird. Ein großer Unterschied zwischen den Ausgabedaten Y' und den Rekonstruktionsdaten Y'' deutet hingegen darauf hin, dass es keine Trainings-Eingabedaten X gab, die den Eingabedaten X ähnlich sind, so dass die Unsicherheit U der Ausgabedaten Y' als groß quantifiziert wird.
-
Die in 4a und 4b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' unterscheiden sich von den in 3a und 3b gezeigten Verfahren dadurch, dass das zweite Teilsystem 1.2 zusätzlich zu den Ausgabedaten Y' des ersten Teilsystems 1.1 auch die Trainings-Eingabedaten X bzw. Eingabedaten X als Eingabe verwendet. Hierdurch wird die Bestimmung der Unsicherheit U der Ausgabedaten Y' nochmals verbessert.
-
Schließlich unterscheiden sich die in 5a und 5b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' von den in 3a und 3b bzw. 4a und 4b gezeigten Verfahren dadurch, dass das zweite Teilsystem 1.2 die den Eingabedaten X entsprechenden Rekonstruktionsdaten X' und nicht die den Ausgabedaten Y' entsprechenden Rekonstruktionsdaten Y'' erzeugt. Die Verwendung der Trainings-Eingabedaten X bzw. Eingabedaten X als Eingabe für das zweite Teilsystem 1.2 ist dabei optional und daher gestrichelt gekennzeichnet.
-
6 zeigt ein Ausführungsbeispiel eines Fahrzeugs 5 mit einem System 6 zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y'. Das System 6 umfasst dabei eine Eingabeeinheit 7, eine Rechnereinheit 8 und eine Ausgabeeinheit 9. Die Eingabeeinheit 7 empfängt dabei Eingabedaten X von Sensoren 10 des Fahrzeugs 5, beispielsweise von Bildsensoren, Radarsensoren oder Lidarsensoren. Die empfangenen Eingabedaten X werden dann zur Rechnereinheit 8 weitergeleitet, die ein Verfahren zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' ausführt. Die so erzeugten Ausgabedaten Y' und Unsicherheiten U werden dann über die Ausgabeeinheit 9 an weitere Systeme 11 des Fahrzeugs 5 weitergeleitet, beispielsweise an Systeme 11 zum autonomen Fahren. Zusammen mit den Ausgabedaten Y' kann auch eine Unsicherheitswarnung weitergegeben werden, die dann ausgegeben wird, wenn die Unsicherheit U einen vorbestimmten Wert überschreitet.
-
Ist die Unsicherheit U zu groß bzw. wurde eine Unsicherheitswarnung ausgegeben, dann kann beispielsweise das System 11 zum autonomen Fahren die Geschwindigkeit des Fahrzeugs 5 reduzieren oder die Fahrzeugkontrolle an einen Fahrer übergeben.
