DE102021213392A1 - Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems - Google Patents

Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems Download PDF

Info

Publication number
DE102021213392A1
DE102021213392A1 DE102021213392.4A DE102021213392A DE102021213392A1 DE 102021213392 A1 DE102021213392 A1 DE 102021213392A1 DE 102021213392 A DE102021213392 A DE 102021213392A DE 102021213392 A1 DE102021213392 A1 DE 102021213392A1
Authority
DE
Germany
Prior art keywords
data
training
machine learning
learning system
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021213392.4A
Other languages
English (en)
Inventor
Armin Staudenmaier
Karl Matthias Nacken
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Priority to DE102021213392.4A priority Critical patent/DE102021213392A1/de
Priority to PCT/DE2022/200275 priority patent/WO2023093953A1/de
Publication of DE102021213392A1 publication Critical patent/DE102021213392A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Trainieren eines maschinellen Lernsystems (1) zur Quantifizierung von Unsicherheiten (U) von Ausgabedaten (Y'). Dabei werden Trainingsdaten (X, Y), die Trainings-Eingabedaten (X) und Trainings-Zielwerte (Y) umfassen, bereitgestellt. Mittels dieser Trainingsdaten (X, Y) werden Parameter des maschinellen Lernsystems (1) derart angepasst, dass das maschinelle Lernsystem (1) bei Eingabe der Trainings-Eingabedaten (X) Ausgabedaten (Y'), die den Trainings-Zielwerten (Y) ähnlich sind, erzeugt; und Rekonstruktionsdaten (X'; Y''), die ein Maß der Bekanntheit von Trainingsdaten (X, Y) darstellen, erzeugt. Des Weiteren betrifft die Erfindung ein Verfahren zur Quantifizierung von Unsicherheiten (U) von Ausgabedaten (Y') eines maschinellen Lernsystems (1), das nach dem zuvor beschriebenen Verfahren trainiert wurde. Dabei werden von dem maschinellen Lernsystem (1) aus Eingabedaten (X) Ausgabedaten (Y') erzeugt und von dem maschinellen Lernsystem (1) Rekonstruktionsdaten (X'; Y'') erzeugt. Mittels einer Metrik (4), den Rekonstruktionsdaten (X'; Y'') und den Rekonstruktionsdaten (X'; Y'') entsprechenden Daten (X; Y') wird ein Abweichungswert erzeugt, wobei der Abweichungswert ein Maß für die Bekanntheit von Trainingsdaten (X, Y) für die Eingabedaten (X) ist, die Unsicherheit (U) der Ausgabedaten (Y') quantifiziert und den Ausgabedaten (Y') zugeordnet wird.

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft maschinelles Lernen. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zum Trainieren eines maschinellen Lernsystems zur Quantifizierung von Unsicherheiten, ein Verfahren zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems, ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie ein Fahrzeug, umfassend ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten.
  • Hintergrund
  • Maschinelles Lernen ist in vielen Bereichen zu einem wertvollen Werkzeug geworden. Dabei kommt es in zunehmendem Maße auch auf eine zuverlässige Schätzung von Unsicherheiten der Ausgaben von maschinellen Lernsystemen an.
  • So ist beispielsweise beim autonomen Fahren eine zuverlässige Schätzung der Unsicherheiten in Klassifikationsausgaben ein sicherheitsrelevanter Aspekt. Unfälle können in diesem Fall vermieden werden, indem Situationen erkannt werden, bei denen sich das System unsicher ist, und die Kontrolle an den Fahrer übergeben oder die Geschwindigkeit verringert wird.
  • Insbesondere bei Convolutional Neural Networks ist die Schätzung der Unsicherheiten ein herausforderndes Problem, da hier der Klassifikationsfehler aufgrund der Nichtlinearitäten des Convolutional Neural Networks nicht mit der tatsächlichen Unsicherheit korreliert. Je komplexer dabei die Convolutional Neural Networks sind, beispielsweise durch Hinzunahme von weiteren Schichten mit nichtlinearen Aktivierungsfunktionen oder durch Normierungsmethoden, wird dieser Effekt verstärkt.
  • Bekannte Verfahren zur Berechnung von Unsicherheiten sind die Monte-Carlo Dropout Methode und die Ensemble Methode. Beide Verfahren beruhen auf dem Prinzip einer statistischen Modellierung der Streuung der Klassifikationsergebnisse, indem mehrere Ergebnisse für ein Eingangssignal erzeugt werden. Je mehr sich diese Ergebnisse unterscheiden, desto höher ist die Unsicherheit. Bei der Monte-Carlo Dropout Methode werden hierzu zufällig Netzwerkgewichte abgeschaltet, wohingegen bei der Ensemble Methode eine Ausgabe pro Ensembleteilnehmer erzeugt wird. Für eine repräsentative Statistik wird dabei eine signifikante Anzahl an Ergebnissen benötigt. Die hierzu notwendige hohe Berechnungskomplexität führt dazu, dass diese Methoden im Allgemeinen nicht für den Einsatz in echtzeitfähigen Systemen geeignet sind. Des Weiteren benötigt die Ensemble-Methode einen hohen Speicheraufwand.
  • Zusammenfassung
  • Es ist daher die Aufgabe der Erfindung, ein Verfahren bereitzustellen, das mit moderatem Berechnungsaufwand Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems quantifiziert. Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung.
  • Ein Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines maschinellen Lernsystems zur Quantifizierung von Unsicherheiten von Ausgabedaten. Dabei werden Trainingsdaten bereitgestellt, die Trainings-Eingabedaten und Trainings-Zielwerte umfassen. Die Trainings-Zielwerte sind dabei den jeweiligen Trainings-Eingabedaten zugeordnet. Die Trainings-Zielwerte wurden dabei beispielsweise manuell für die einzelnen Trainings-Eingabedaten erstellt und stellen beispielsweise eine Klassifikation der Trainings-Eingabedaten dar.
  • Mittels der Trainingsdaten wird das maschinelle Lernsystem trainiert, d.h., Parameter des maschinellen Lernsystems werden derart angepasst, dass das maschinelle Lernsystem bei Eingabe der Trainings-Eingabedaten Ausgabedaten, die den Trainings-Zielwerten ähnlich sind, erzeugt. Die Parameter umfassen beispielsweise bei neuronalen Netzen die Gewichtungen zwischen einzelnen Eingabewerten und Neuronen. Das Trainieren des maschinellen Lernsystems erfolgt dabei mittels eines überwachten Lernverfahrens, wobei eine Vielzahl an Lernverfahren bekannt ist. So kann beispielsweise für das Trainieren eines neuronalen Netzes das Backpropagation-Verfahren verwendet werden. Im Laufe des Trainierens werden dabei die Parameter des maschinellen Lernsystems derart angepasst, dass ein Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten möglichst klein wird. Der Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten wird dabei beispielsweise über den Abstand zwischen den Ausgabedaten und den Trainings-Zielwerten und eine entsprechende Metrik für Ausgabedaten bestimmt. Hierbei ist zu beachten, dass eine Überanpassung vermieden wird, was beispielsweise mittels einer Betrachtung des Fehlers zwischen aus Test-Eingabedaten erzeugten Ausgabedaten und den zugehörigen Test-Zielwerten erreicht wird. Die Test-Zielwerte sind dabei den Test-Eingabedaten zugeordnet und die Test-Eingabedaten und Test-Zielwerte werden nicht für die Anpassung der Parameter des maschinellen Lernsystems verwendet.
  • Des Weiteren werden mittels der Trainingsdaten Parameter des maschinellen Lernsystems derart angepasst, dass das maschinelle Lernsystem Rekonstruktionsdaten erzeugt. Dabei stellen die Rekonstruktionsdaten ein Maß der Bekanntheit von Trainingsdaten dar. In dem Fall, dass für Eingabedaten, die mit dem trainierten Lernsystem zu verarbeiten sind, Trainingsdaten bekannt sind, ist die Unsicherheit der Ausgabedaten des maschinellen Lernsystems gering. Sind jedoch für Eingabedaten, die mit dem trainierten Lernsystem zu verarbeiten sind, kaum oder keine Trainingsdaten bekannt, dann ist die Unsicherheit der Ausgabedaten des maschinellen Lernsystems hoch. Über die Rekonstruktionsdaten kann also die Unsicherheit der Ausgabedaten des maschinellen Lernsystems quantifiziert werden. Der Berechnungsaufwand ist dabei moderat, wobei der zusätzliche Berechnungsaufwand zur Berechnung der Rekonstruktionsdaten höchstens etwa dem Berechnungsaufwand zur Berechnung der Ausgabedaten entspricht. Des Weiteren erfolgt die Berechnung der Rekonstruktionsdaten auf Grundlage der schon vorhandenen Trainingsdaten, hier sind also keine weiteren Eingaben nötig.
  • Die Rekonstruktionsdaten können dabei als eine weitere Ausgabe des maschinellen Lernsystems, das die Ausgabedaten erzeugt, erzeugt werden. Alternativ dazu kann das maschinelle Lernsystem zwei Teilsysteme umfassen, wobei das erste Teilsystem die Ausgabedaten erzeugt und das zweite Teilsystem die Rekonstruktionsdaten erzeugt. Im Fall, dass die Ausgabedaten und die Rekonstruktionsdaten von zwei Teilsystemen des maschinellen Lernsystems erzeugt werden ist es dabei wichtig, dass das Training beider Teilsysteme auf den gleichen Trainingsdaten basiert, da nur so die Rekonstruktionsdaten das Maß der Bekanntheit von denselben Trainingsdaten darstellen, die für die Erzeugung der Ausgabedaten verwendet wurden.
  • In einigen Ausführungsformen sind die Rekonstruktionsdaten den Trainings-Eingabedaten ähnlich. Das heißt, die Parameter des maschinellen Lernsystems werden derart angepasst, dass ein Fehler zwischen den Rekonstruktionsdaten und den Trainings-Eingabedaten möglichst klein wird. Mit anderen Worten werden über die Rekonstruktionsdaten die Eingabedaten rekonstruiert.
  • In einigen Ausführungsformen sind die Rekonstruktionsdaten den Trainings-Zielwerten ähnlich und eine Abweichung der Rekonstruktionsdaten von den Trainings-Zielwerten ist geringer als eine Abweichung der Ausgabedaten von den Trainings-Zielwerten. Das heißt, die Parameter des maschinellen Lernsystems werden derart angepasst, dass ein Fehler zwischen den Rekonstruktionsdaten und den Trainings-Zielwerten kleiner ist als ein Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten. Da die Parameter des maschinellen Lernsystems schon derart angepasst wurden, dass ein Fehler zwischen den Ausgabedaten und den Trainings-Zielwerten unter Vermeidung einer Überanpassung möglichst gering ist, bedeutet dies, dass für die Erzeugung der Rekonstruktionsdaten eine Überanpassung des maschinellen Lernsystems erfolgt.
  • In einigen Ausführungsformen werden zur Erzeugung der Rekonstruktionsdaten die Trainings-Eingabedaten als Eingabe verwendet. Dies ist sowohl für den Fall, dass die Rekonstruktionsdaten als weitere Ausgabe des maschinellen Lernsystems, das die Ausgabedaten erzeugt, erzeugt werden, als auch für den Fall, dass die Rekonstruktionsdaten von einem zweiten Teilsystem des maschinellen Lernsystems erzeugt werden, möglich. Alternativ oder zusätzlich dazu können die Ausgabedaten als Eingabe zur Erzeugung der Rekonstruktionsdaten verwendet werden. Da hierfür zunächst die Ausgabedaten zur Verfügung stehen müssen, ist dies nur für den Fall, dass die Rekonstruktionsdaten von einem zweiten Teilsystem des maschinellen Lernsystems erzeugt werden, möglich. Die Ausgabe des ersten Teilsystems des maschinellen Lernsystems wird dann also als Eingabe für das zweite Teilsystem des maschinellen Lernsystems verwendet.
  • In einigen Ausführungsformen ist das maschinelle Lernsystem ein neuronales Netz. Neuronale Netze eignen sich dabei besonders gut für das beschriebene Verfahren, da sie einfach angepasst werden können. Das neuronale Netz ist dabei insbesondere ein Convolutional Neural Network. Die Nichtlinearität des Convolutional Neural Networks stellt dabei für die Verwendbarkeit des beschriebenen Verfahrens kein Problem dar.
  • Das beschriebene Verfahren kann aber auch mit anderen maschinellen Lernsystemen verwendet werden, beispielsweise mit Entscheidungsbaum-Lernen, mit Support Vector Machines, Regressionsanalyse oder Bayesschen Netzen. Des Weiteren ist es möglich, das beschriebene Verfahren in einem Multi-Task-Klassifikationssystem zu verwenden. Das Multi-Task-Klassifikationssystem umfasst dabei beispielsweise einen Encoder und eine Vielzahl an Decodern. Dabei werden für jeden Decoder Rekonstruktionsdaten erzeugt und die Parameter des maschinellen Lernsystems dementsprechend angepasst. Ferner ist es möglich, das maschinelle Lernsystem in mehrere Untersysteme zu unterteilen. Dabei weist jedes der Untersysteme die Funktionalität des hier beschriebenen maschinellen Lernsystems auf, die Untersysteme unterscheiden sich allerdings voneinander, beispielsweise in der Art des maschinellen Lernsystems oder in der Auswahl der Trainingsdaten. Mittels der Untersysteme erzeugte Ausgabedaten können dann kombiniert werden, um eine verbesserte Ausgabe zu erhalten.
  • In einigen Ausführungsformen umfassen die Eingabedaten Sensordaten, insbesondere Bilddaten, Radardaten und/oder Lidardaten. Im beispielhaften Fall von Bilddaten stellen die Rekonstruktionsdaten, wenn die Rekonstruktionsdaten den Trainings-Eingabedaten ähnlich sind, eine Rekonstruktion des ursprünglichen Bildes dar. Je genauer dabei das ursprüngliche Bild wieder rekonstruiert werden kann, desto bekannter sind die Trainingsdaten für dieses Bild und desto geringer ist die Unsicherheit der Ausgabedaten.
  • Die Eingabedaten können dabei Sensordaten eines Fahrzeugs sein. Die Ausgabedaten sind dann beispielsweise Klassifikationen der mittels der Sensordaten erfassten Objekte. So lässt sich das beschriebene Verfahren für die Quantifizierung der Unsicherheiten der Ausgabedaten für autonome Fahrsysteme verwenden.
  • Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems, das nach einem Verfahren zum Trainieren eines maschinellen Lernsystems gemäß der vorangegangenen Beschreibung trainiert wurde.
  • Das maschinelle Lernsystem kann also beispielsweise ein Entscheidungsbaum-Lernsystem, eine Support Vector Machine, ein auf einer Regressionsanalyse basierendes Lernsystem, ein Bayessches Netz, ein neuronales Netz oder ein Convolutional Neural Network sein. Des Weiteren kann das maschinelle Lernsystem ein Multi-Task-Klassifikationssystem sein. Ferner kann das maschinelle Lernsystem zwei Teilsysteme umfassen.
  • Von dem maschinellen Lernsystem werden aus Eingabedaten Ausgabedaten erzeugt. Die Eingabedaten können dabei beispielsweise Sensordaten, insbesondere Bilddaten, Radardaten und/oder Lidardaten sein und können zum Beispiel von einem Fahrzeug erfasst werden. Die Ausgabedaten können Klassifikationen der Eingabedaten, insbesondere also Klassifikationen der von den Sensordaten erfassten Objekten sein.
  • Des Weiteren werden von dem maschinellen Lernsystem Rekonstruktionsdaten erzeugt. Aus den Rekonstruktionsdaten und den Rekonstruktionsdaten entsprechenden Daten wird dann mittels einer Metrik ein Abweichungswert erzeugt. Dieser Abweichungswert ist dabei ein Maß für die Bekanntheit von Trainingsdaten für die Eingabedaten. Der Abweichungswert quantifiziert daher die Unsicherheit der Ausgabedaten und wird den Ausgabedaten zugeordnet.
  • Die Quantifizierung der Unsicherheit wird also durch Anwendung des trainierten maschinellen Lernsystems erzielt, wobei hierfür der Berechnungsaufwand höchstens etwa dem Berechnungsaufwand zur Berechnung der Ausgabedaten entspricht.
  • Die hierfür zu verwendende Metrik hängt davon ab, welche Daten die Rekonstruktionsdaten und die den Rekonstruktionsdaten entsprechenden Daten sind. Beispiele für solche Metriken sind Abstandsmetriken oder Ähnlichkeitsmaße, beispielsweise der mittlere quadratische Fehler, mittlere absolute Fehler, structural similarity index oder binary cross entropy.
  • Ferner kann die Güte der Unsicherheitsschätzungen bestimmt werden. Bekannte Verfahren hierzu finden sich beispielsweise in „Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles“ von B. Lakshminarayanan, A. Pritzel und C. Blundell (arXiv:1612.01474, 2017) oder in „On Calibration of Modern Neural Networks“ von C. Guo, G. Pleiss, Y. Sun und K. Weinberger (arXiv: 1706.04599, 2017).
  • In einigen Ausführungsformen sind die den Rekonstruktionsdaten entsprechenden Daten die Eingabedaten. Das maschinelle Lernsystem wurde dabei derart trainiert, dass die beim Training erhaltenen Rekonstruktionsdaten den Trainings-Eingabedaten ähnlich sind. Mittels der Metrik wird also aus den Rekonstruktionsdaten und den Eingabedaten der Abweichungswert erzeugt. Falls es Trainings-Eingabedaten gab, die den Eingabedaten ähnlich waren, werden die Rekonstruktionsdaten auch ähnlich zu den Eingabedaten sein und damit der Abweichungswert klein sein. Da es in diesem Fall Eingabedaten gab, die den Trainings-Eingabedaten ähnlich waren, sind auch Rekonstruktionsdaten mit geringem Fehler zu erwarten, so dass der kleine Abweichungswert auf gute Ausgabedaten und damit eine geringe Unsicherheit in den Ausgabedaten schließen lässt. Gab es hingegen keine Trainings-Eingabedaten, die den Eingabedaten ähnlich waren, dann wird es eine größere Abweichung zwischen den Rekonstruktionsdaten und den Eingabedaten geben, so dass der Abweichungswert groß ist. Dies entspricht der größeren Unsicherheit, die eben daher stammt, dass den Eingabedaten keine der Trainings-Eingabedaten entsprechen.
  • In einigen Ausführungsformen sind die den Rekonstruktionsdaten entsprechenden Daten die aus den Eingabedaten erzeugten Ausgabedaten. Das maschinelle Lernsystem wurde dabei derart trainiert, dass die beim Training erhaltenen Rekonstruktionsdaten den Trainings-Zielwerten ähnlich sind, wobei die Abweichung der Rekonstruktionsdaten von den Trainings-Zielwerten geringer war als die Abweichung der aus den Trainings-Eingabedaten erzeugten Ausgabedaten von den Trainings-Zielwerten. Ist nun die mittels der Metrik ermittelte Abweichung der Rekonstruktionsdaten von den Ausgabedaten gering, so deutet dies darauf hin, dass es Trainings-Eingabedaten gab, die den Eingabedaten ähnlich waren und somit auch die Unsicherheit der Ausgabedaten gering ist. Ist hingegen die mittels der Metrik ermittelte Abweichung der Rekonstruktionsdaten von den Ausgabedaten groß, so deutet dies darauf hin, dass es keine Trainings-Eingabedaten gab, die den Eingabedaten ähnlich waren, was eine entsprechend große Unsicherheit in den Ausgabedaten bedeutet.
  • In dem Fall, dass die mittels der Metrik ermittelte Abweichung der Rekonstruktionsdaten von den Ausgabedaten gering ist, können die Rekonstruktionsdaten zu einer Verbesserung der Ausgabe des maschinellen Lernsystems verwendet werden. Hierzu können beispielsweise anstatt der Ausgabedaten die Rekonstruktionsdaten ausgegeben werden, die aufgrund des Trainings des maschinellen Lernsystems ein noch genaueres Ergebnis als die Ausgabedaten darstellen können. Alternativ dazu können beispielsweise anstatt der Ausgabedaten ein Mittelwert der Ausgabedaten und Rekonstruktionsdaten ausgegeben werden, der ebenfalls ein noch genaueres Ergebnis als die Ausgabedaten darstellen kann.
  • In einigen Ausführungsformen werden zur Erzeugung der Rekonstruktionsdaten die Eingabedaten verwendet. Alternativ oder zusätzlich dazu werden zur Erzeugung der Rekonstruktionsdaten die aus den Eingabedaten erzeugten Ausgabedaten verwendet. Welche Daten dabei zur Erzeugung der Rekonstruktionsdaten verwendet werden richtet sich dabei danach, welche Daten beim Trainieren des maschinellen Lernsystems zur Erzeugung der Rekonstruktionsdaten verwendet wurden.
  • In einigen Ausführungsformen wird die Metrik nur auf einen Teil der Rekonstruktionsdaten und der den Rekonstruktionsdaten entsprechenden Daten angewandt. So kann die Metrik beispielsweise nur auf einen Teil eines Bildes angewandt werden, der zum Beispiel durch eine bounding box begrenzt ist und insbesondere ein erkanntes Objekt enthält. Dann wird die Unsicherheit in der Klassifizierung dieses Objekts separat quantifiziert. Als weiteres Beispiel kann die Metrik auch auf das gesamte Bild in einer geringeren Auflösung angewandt werden, wenn beispielsweise kleine Details als eher unwichtig betrachtet werden sollen.
  • In einigen Ausführungsformen wird für Ausgabedaten, deren Unsicherheit einen vorbestimmten Wert überschreitet, eine Unsicherheitswarnung ausgegeben. Diese Unsicherheitswarnung kann von dem die Ausgabedaten verwendenden System entsprechend berücksichtigt werden. So können beispielsweise beim autonomen Fahren, für das mittels des maschinellen Lernsystems anhand von Sensordaten erkannte Objekte von entscheidender Bedeutung sind, bei einer erhöhten Unsicherheit der Ausgabedaten des maschinellen Lernsystems entsprechende Sicherheitsmaßnahmen eingeleitet werden, zum Beispiel eine Reduzierung der Geschwindigkeit oder eine Übergabe der Fahrzeugsteuerung an einen Fahrer.
  • In einigen Ausführungsformen werden für Ausgabedaten, deren Unsicherheit einen vorbestimmten Wert überschreitet, die Eingabedaten zum weiteren Trainieren des maschinellen Lernsystems gespeichert. Für die so gespeicherten Eingabedaten werden dann entsprechende Zielwerte erzeugt, beispielsweise durch eine Klassifizierung durch einen Benutzer. Diese neuen Paare von Eingabedaten und Zielwerten werden dann beim Trainieren des maschinellen Lernsystems verwendet, so dass das maschinelle Lernsystem dann auch aus Eingabedaten, die den neuen Eingabedaten ähnlich sind, zuverlässige Ausgabedaten erzeugen kann.
  • Ein weiterer Aspekt der Erfindung betrifft ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems. Dieses System umfasst eine Eingabeeinheit, eine Rechnereinheit und eine Ausgabeeinheit. Die Eingabeeinheit ist dabei zum Empfangen von Eingabedaten ausgebildet, beispielsweise als Schnittstelle zu Sensoren. Die Rechnereinheit ist zum Ausführen des Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems gemäß der vorangegangenen Beschreibung ausgebildet. Dabei wurde das maschinelle Lernsystem schon mittels des Verfahrens zum Trainieren eines maschinellen Lernsystem gemäß der vorangegangenen Beschreibung trainiert. Die Rechnereinheit erzeugt also aus den Eingabedaten Ausgabedaten und erzeugt Rekonstruktionsdaten. Aus den Rekonstruktionsdaten und den den Rekonstruktionsdaten entsprechenden Daten erzeugt die Rechnereinheit zudem den Abweichungswert, der die Unsicherheit der Ausgabedaten quantifiziert. Die Ausgabeeinheit ist zum Ausgeben der von der Rechnereinheit erzeugten Ausgabedaten sowie der Unsicherheit der Ausgabedaten und/oder der auf dieser Unsicherheit basierten Unsicherheitswarnung ausgebildet. Die Ausgabeeinheit ist beispielsweise eine Schnittstelle zu einem die Ausgabedaten weiterverarbeitenden System.
  • Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, welches ein System zur Quantifizierung von Unsicherheiten von Ausgabedaten gemäß der vorangegangenen Beschreibung umfasst. Werden erhöhte Unsicherheiten in von dem maschinellen Lernsystem erzeugten Ausgabedaten erkannt, so können entsprechende Maßnahmen, im Falle des autonomen Fahrens beispielsweise eine Reduzierung der Geschwindigkeit oder eine Übergabe der Fahrzeugsteuerung an den Fahrer, die Sicherheit deutlich erhöhen.
  • Zur weiteren Verdeutlichung wird die Erfindung anhand von in den Figuren abgebildeten Ausführungsformen beschrieben. Diese Ausführungsformen sind nur als Beispiel, nicht aber als Einschränkung zu verstehen.
  • Figurenliste
  • Dabei zeigen:
    • 1a ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
    • 1b ein Flussdiagramm eines zum Ausführungsbeispiel der 1a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
    • 2a ein Flussdiagramm eines weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
    • 2b ein Flussdiagramm eines zum Ausführungsbeispiel der 2a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
    • 3a ein Flussdiagramm eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
    • 3b ein Flussdiagramm eines zum Ausführungsbeispiel der 3a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
    • 4a ein Flussdiagramm eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
    • 4b ein Flussdiagramm eines zum Ausführungsbeispiel der 4a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten;
    • 5a ein Flussdiagramm eines nochmals weiteren Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems;
    • 5b ein Flussdiagramm eines zum Ausführungsbeispiel der 5a passenden Verfahrens zur Quantifizierung von Unsicherheiten von Ausgabedaten; und
    • 6 eine schematische Darstellung eines Ausführungsbeispiels eines Fahrzeugs mit einem System zur Quantifizierung von Unsicherheiten von Ausgabedaten.
  • Detaillierte Beschreibung von Ausführungsformen
  • 1a zeigt ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zum Trainieren eines maschinellen Lernsystems 1 und 1 b ein Flussdiagramm eines zum Ausführungsbeispiel der 1a passenden Verfahrens zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y'.
  • Zum Trainieren des maschinellen Lernsystems 1, das beispielsweise ein Entscheidungsbaum-Lernsystem, eine Support Vector Machine, ein auf einer Regressionsanalyse basierendes Lernsystem, ein Bayessches Netz, ein neuronales Netz oder ein Convolutional Neural Network ist, werden Trainings-Eingabedaten X und Trainings-Zielwerte Y bereitgestellt. Mittels des maschinellen Lernsystems 1 werden aus den Trainings-Eingabedaten X Ausgabedaten Y' sowie Rekonstruktionsdaten X', die den Trainings-Eingabedaten X ähnlich sind, erzeugt. Ziel des Trainings ist es, dass die Ausgabedaten Y' den Trainings-Zielwerten Y so ähnlich wie möglich sind, ohne eine Überanpassung vorzunehmen, und dass die Rekonstruktionsdaten X' den Trainings-Eingabedaten X so ähnlich wie möglich sind. Dazu wird aus den erzeugten Ausgabedaten Y' sowie Rekonstruktionsdaten X' und den Trainings-Zielwerten Y sowie den Trainings-Eingabedaten X mittels einer Fehlerfunktion 2 die noch vorhandenen Abweichungen zwischen den Ausgabedaten Y' und den Trainings-Zielwerten Y sowie zwischen den Rekonstruktionsdaten X' und den Trainings-Eingabedaten X ermittelt. Diese Abweichungen werden über eine Backpropagation 3 zu einer Anpassung von Parametern des maschinellen Lernsystems 1 verwendet. Dies wird so lange wiederholt, bis eine vorgegebene Übereinstimmung erzielt worden ist oder bis Anzeichen einer Überanpassung auftreten.
  • Mittels des so trainierten maschinellen Lernsystems 1 werden dann, wie in 1b dargestellt, aus Eingabedaten X Ausgabedaten Y' und Rekonstruktionsdaten X' erzeugt. Die Abweichung der Rekonstruktionsdaten X' von den Eingabedaten X wird dann mittels einer Metrik 4 bestimmt. Der so bestimmte Abweichungswert quantifiziert die Unsicherheit U der Ausgabedaten Y'.
  • Als Beispiel seien die Eingabedaten X Bilddaten eines Bildes und die Ausgabedaten Y' Klassifikationsdaten, die auf dem Bild dargestellten Objekten entsprechen. Ist es nun möglich, mittels des maschinellen Lernsystems 1 ein rekonstruiertes Bild X' zu erzeugen, das dem ursprünglichen Bild X ähnlich ist, dann deutet das darauf hin, dass beim Trainieren des maschinellen Lernsystems 1 schon ähnliche Eingabedaten X vorhanden waren, so dass die Unsicherheit U der Ausgabedaten Y' gering ist. Ist jedoch das rekonstruierte Bild X' stark vom ursprünglichen Bild X verschieden, dann deutet dies darauf hin, dass keine ähnlichen Eingabedaten X zum Trainieren des maschinellen Lernsystems 1 verwendet wurden und demnach die Unsicherheit U der Ausgabedaten Y' groß ist.
  • Die in 2a und 2b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' unterscheiden sich von den in 1a und 1b gezeigten Verfahren dadurch, dass die Erzeugung der Ausgabedaten Y' und der Rekonstruktionsdaten X' nicht von einem gemeinsamen maschinellen Lernsystem 1, sondern von einem ersten Teilsystem 1.1 bzw. einem zweiten Teilsystem 1.2 des maschinellen Lernsystems 1 erzeugt werden. Hieraus folgt, dass das Trainieren des zweiten Teilsystems 1.2 beispielsweise auch nach dem Trainieren des ersten Teilsystems 1.1 erfolgen kann, wobei beachtet werden muss, dass die gleichen Trainings-Eingabedaten X verwendet werden müssen. Ansonsten entsprechen die Verfahren denen aus 1a und 1b. Selbstverständlich sind die Fehlerfunktionen 2 und die Backpropagation 3 auf das jeweilige Teilsystem 1.1 bzw. 1.2 des maschinellen Lernsystems 1 angepasst.
  • Bei dem in 3a und 3b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' weist das maschinellen Lernsystems 1 wiederum zwei Teilsysteme 1.1 und 1.2 auf. Das Teilsystem 1.1 erzeugt aus den Eingabedaten X Ausgabedaten Y' und wird vor dem Teilsystem 1.2 trainiert. Auf die Darstellung des Trainierens des Teilsystems 1.1 wird aus Gründen der Übersichtlichkeit hier verzichtet. Das Teilsystem 1.2 erhält die vom Teilsystem 1.1 erzeugten Ausgabedaten Y' als Eingabe und erzeugt hieraus Rekonstruktionsdaten Y'', die den Trainings-Zielwerten Y ähnlich sind. Zum Trainieren des Teilsystems 1.2 werden dabei die erzeugten Rekonstruktionsdaten Y'' mit den Trainings-Zielwerten Y verglichen und die Parameter des Teilsystems 1.2 über die Backpropagation 3 so angepasst, dass die Rekonstruktionsdaten Y'' den Trainings-Zielwerten Y möglichst ähnlich sind.
  • Für die Quantifizierung der Unsicherheit U der Ausgabedaten Y' wird sodann die Abweichung der Ausgabedaten Y' von den Rekonstruktionsdaten Y'' mittels der Metrik 4 bestimmt. Eine starke Ähnlichkeit zwischen den Ausgabedaten Y' und den Rekonstruktionsdaten Y'' deutet dabei darauf hin, dass es Trainings-Eingabedaten X gab, die den Eingabedaten X ähnlich sind, so dass die Unsicherheit U der Ausgabedaten Y' als klein angenommen wird. Ein großer Unterschied zwischen den Ausgabedaten Y' und den Rekonstruktionsdaten Y'' deutet hingegen darauf hin, dass es keine Trainings-Eingabedaten X gab, die den Eingabedaten X ähnlich sind, so dass die Unsicherheit U der Ausgabedaten Y' als groß quantifiziert wird.
  • Die in 4a und 4b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' unterscheiden sich von den in 3a und 3b gezeigten Verfahren dadurch, dass das zweite Teilsystem 1.2 zusätzlich zu den Ausgabedaten Y' des ersten Teilsystems 1.1 auch die Trainings-Eingabedaten X bzw. Eingabedaten X als Eingabe verwendet. Hierdurch wird die Bestimmung der Unsicherheit U der Ausgabedaten Y' nochmals verbessert.
  • Schließlich unterscheiden sich die in 5a und 5b gezeigten Verfahren zum Trainieren eines maschinellen Lernsystems 1 bzw. zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' von den in 3a und 3b bzw. 4a und 4b gezeigten Verfahren dadurch, dass das zweite Teilsystem 1.2 die den Eingabedaten X entsprechenden Rekonstruktionsdaten X' und nicht die den Ausgabedaten Y' entsprechenden Rekonstruktionsdaten Y'' erzeugt. Die Verwendung der Trainings-Eingabedaten X bzw. Eingabedaten X als Eingabe für das zweite Teilsystem 1.2 ist dabei optional und daher gestrichelt gekennzeichnet.
  • 6 zeigt ein Ausführungsbeispiel eines Fahrzeugs 5 mit einem System 6 zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y'. Das System 6 umfasst dabei eine Eingabeeinheit 7, eine Rechnereinheit 8 und eine Ausgabeeinheit 9. Die Eingabeeinheit 7 empfängt dabei Eingabedaten X von Sensoren 10 des Fahrzeugs 5, beispielsweise von Bildsensoren, Radarsensoren oder Lidarsensoren. Die empfangenen Eingabedaten X werden dann zur Rechnereinheit 8 weitergeleitet, die ein Verfahren zur Quantifizierung von Unsicherheiten U von Ausgabedaten Y' ausführt. Die so erzeugten Ausgabedaten Y' und Unsicherheiten U werden dann über die Ausgabeeinheit 9 an weitere Systeme 11 des Fahrzeugs 5 weitergeleitet, beispielsweise an Systeme 11 zum autonomen Fahren. Zusammen mit den Ausgabedaten Y' kann auch eine Unsicherheitswarnung weitergegeben werden, die dann ausgegeben wird, wenn die Unsicherheit U einen vorbestimmten Wert überschreitet.
  • Ist die Unsicherheit U zu groß bzw. wurde eine Unsicherheitswarnung ausgegeben, dann kann beispielsweise das System 11 zum autonomen Fahren die Geschwindigkeit des Fahrzeugs 5 reduzieren oder die Fahrzeugkontrolle an einen Fahrer übergeben.

Claims (15)

  1. Verfahren zum Trainieren eines maschinellen Lernsystems (1) zur Quantifizierung von Unsicherheiten (U) von Ausgabedaten (Y'), wobei Trainingsdaten (X, Y), die Trainings-Eingabedaten (X) und Trainings-Zielwerte (Y) umfassen, bereitgestellt werden und mittels der Trainingsdaten (X, Y) Parameter des maschinellen Lernsystems (1) derart angepasst werden, dass das maschinelle Lernsystem (1) bei Eingabe der Trainings-Eingabedaten (X) Ausgabedaten (Y'), die den Trainings-Zielwerten (Y) ähnlich sind, erzeugt; und Rekonstruktionsdaten (X'; Y''), die ein Maß der Bekanntheit von Trainingsdaten (X, Y) darstellen, erzeugt.
  2. Verfahren nach Anspruch 1, wobei die Rekonstruktionsdaten (X') den Trainings-Eingabedaten (X) ähnlich sind.
  3. Verfahren nach Anspruch 1, wobei die Rekonstruktionsdaten (Y'') den Trainings-Zielwerten (Y) ähnlich sind und eine Abweichung der Rekonstruktionsdaten (Y'') von den Trainings-Zielwerten (Y) geringer ist als eine Abweichung der Ausgabedaten (Y') von den Trainings-Zielwerten (Y).
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei zur Erzeugung der Rekonstruktionsdaten (X'; Y'') die Trainings-Eingabedaten (X) und/oder die Ausgabedaten (Y') als Eingabe verwendet werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei das maschinelle Lernsystem (1) ein neuronales Netz, insbesondere ein Convolutional Neural Network, ist.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die Eingabedaten (X) Sensordaten, insbesondere Bilddaten, Radardaten und/oder Lidardaten, ganz insbesondere eines Fahrzeugs, umfassen.
  7. Verfahren zur Quantifizierung von Unsicherheiten (U) von Ausgabedaten (Y') eines maschinellen Lernsystems (1), das nach einem Verfahren zum Trainieren eines maschinellen Lernsystems (1) nach einem der Ansprüche 1 bis 6 trainiert wurde, wobei von dem maschinellen Lernsystem (1) aus Eingabedaten (X) Ausgabedaten (Y') erzeugt werden; von dem maschinellen Lernsystem (1) Rekonstruktionsdaten (X'; Y'') erzeugt werden; und mittels einer Metrik (4), den Rekonstruktionsdaten (X'; Y'') und den Rekonstruktionsdaten (X'; Y'') entsprechenden Daten (X; Y') ein Abweichungswert erzeugt wird, wobei der Abweichungswert ein Maß für die Bekanntheit von Trainingsdaten (X, Y) für die Eingabedaten (X) ist, die Unsicherheit (U) der Ausgabedaten (Y') quantifiziert und den Ausgabedaten (Y') zugeordnet wird.
  8. Verfahren nach Anspruch 7, wobei die den Rekonstruktionsdaten (X') entsprechenden Daten die Eingabedaten (X) sind.
  9. Verfahren nach Anspruch 7, wobei die den Rekonstruktionsdaten (Y'') entsprechenden Daten die aus den Eingabedaten (X) erzeugten Ausgabedaten (Y') sind.
  10. Verfahren nach einem der Ansprüche 7 bis 9, wobei zur Erzeugung der Rekonstruktionsdaten (X'; Y'') die Eingabedaten (X) und/oder die aus den Eingabedaten (X) erzeugten Ausgabedaten (Y') verwendet werden.
  11. Verfahren nach einem der Ansprüche 7 bis 10, wobei die Metrik (4) nur auf einen Teil der Rekonstruktionsdaten (X'; Y'') und der den Rekonstruktionsdaten (X'; Y'') entsprechenden Daten (X; Y')V angewandt wird.
  12. Verfahren nach einem der Ansprüche 7 bis 11, wobei für Ausgabedaten (Y'), deren Unsicherheit (U) einen vorbestimmten Wert überschreitet, eine Unsicherheitswarnung ausgegeben wird.
  13. Verfahren nach einem der Ansprüche 7 bis 12, wobei für Ausgabedaten (Y'), deren Unsicherheit (U) einen vorbestimmten Wert überschreitet, die Eingabedaten (X) zum weiteren Trainieren des maschinellen Lernsystems (1) gespeichert werden.
  14. System zur Quantifizierung von Unsicherheiten (U) von Ausgabedaten (Y') eines maschinellen Lernsystems (1), umfassend eine Eingabeeinheit (7) zum Empfangen von Eingabedaten (X); eine Rechnereinheit (8), die zum Ausführen des Verfahrens nach einem der Ansprüche 7 bis 13 ausgebildet ist; und eine Ausgabeeinheit (9) zum Ausgeben der von der Rechnereinheit (8) erzeugten Ausgabedaten (Y') sowie der Unsicherheit (U) der Ausgabedaten (Y') und/oder der Unsicherheitswarnung.
  15. Fahrzeug, umfassend ein System (6) zur Quantifizierung von Unsicherheiten (U) von Ausgabedaten (Y') nach Anspruch 14.
DE102021213392.4A 2021-11-29 2021-11-29 Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems Pending DE102021213392A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021213392.4A DE102021213392A1 (de) 2021-11-29 2021-11-29 Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems
PCT/DE2022/200275 WO2023093953A1 (de) 2021-11-29 2022-11-24 Verfahren und system zur quantifizierung von unsicherheiten von ausgabedaten eines maschinellen lernsystems sowie verfahren zum trainieren eines maschinellen lernsystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021213392.4A DE102021213392A1 (de) 2021-11-29 2021-11-29 Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems

Publications (1)

Publication Number Publication Date
DE102021213392A1 true DE102021213392A1 (de) 2023-06-01

Family

ID=84767043

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021213392.4A Pending DE102021213392A1 (de) 2021-11-29 2021-11-29 Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems

Country Status (2)

Country Link
DE (1) DE102021213392A1 (de)
WO (1) WO2023093953A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209565A1 (de) 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209565A1 (de) 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHIHASHI, R., et al.: Classification-reconstruction learning for open-set recognition. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. S. 4016-4025. [online abrufbar über https://openaccess.thecvf.com/content_CVPR_2019/papers/Yoshihashi_Classification-Reconstruction_Learning_for_Open-Set_Recognition_CVPR_2019_paper.pdf]

Also Published As

Publication number Publication date
WO2023093953A1 (de) 2023-06-01

Similar Documents

Publication Publication Date Title
DE3854154T2 (de) Vorrichtung und Verfahren zur Erzeugung von Daten für einen Druckvorgang, und ein Drucker, in Kombination mit der Vorrichtung, zur Ausführung des Druckvorganges.
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102018109835A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes
DE102020001541A1 (de) Verfahren zur Transformation erfasster Sensordaten aus einer ersten Datendomäne in eine zweite Datendomäne
DE102017209262A1 (de) Verfahren und Vorrichtung zur automatischen Gestenerkennung
DE102007006616B3 (de) Verfahren zur Optimierung eines elektronisch gesteuerten automatisch schaltenden Getriebes für ein Kraftfahrzeug
WO2019081241A1 (de) Verfahren, vorrichtung und computerprogramm zur erstellung eines tiefen neuronalen netzes
DE102018220941A1 (de) Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten
EP3460727A1 (de) Verfahren zur untersuchung eines funktionsverhaltens eines technischen systems und auswerteeinheit
DE102021213392A1 (de) Verfahren und System zur Quantifizierung von Unsicherheiten von Ausgabedaten eines maschinellen Lernsystems sowie Verfahren zum Trainieren eines maschinellen Lernsystems
DE4121453C2 (de) Näherungsschlußfolgerungsvorrichtung
DE4409169A1 (de) Verfahren und Anordnung zur Fuzzy-Regelung
EP3786853A1 (de) Komprimieren eines tiefen neuronalen netzes
DE102019115896A1 (de) Begrenzte zeitsteuerungsanalyse von fahrzeuginterner kommunikation
DE102019206049A1 (de) Erkennung und Behebung von Rauschen in Labels von Lern-Daten für trainierbare Module
DE102008026825B4 (de) Verfahren zum Schätzen einer ein Änderungspotential aufweisenden physikalischen Größe durch eine elektronische Recheneinheit
DE102020201600A1 (de) Verfahren zum Ermitteln von Prioritäten von Basisereignissen in einer Fehlerbaumanalyse eines technischen Systems
DE102019115092A1 (de) Bestimmen einer Objekterkennungsrate eines künstlichen neuronalen Netzes zur Objekterkennung für ein automatisiertes Kraftfahrzeug
DE102019113958A1 (de) Verfahren zur Leistungssteigerung eines Fahrzeugsystems mit einem neuronalen Netz zum Steuern einer Fahrzeugkomponente
DE102019211095A1 (de) Fahrevaluierungssystem, Fahrevaluierungsverfahren, Programm und Medium
DE102019200828A1 (de) Hauptobjektauswahl für eine Assistenzfunktion oder automatisierte Fahrfunktion eines Fahrerassistenz- oder Fahrsystems eines Kraftfahrzeugs
DE102018216172A1 (de) Verfahren zum automatischen Erzeugen eines Labels zum Trainieren eines selbstlernenden Systems sowie Kraftfahrzeug
DE102021204343A1 (de) Steuergerät zum Erzeugen von Trainingsdaten zum Trainieren eines Algorithmus des maschinellen Lernens
LU504988B1 (de) Ein Verfahren zur Klassifizierung von integrierten Ungleichgewichtsdaten mit Unterabtastung auf der Grundlage von Fuzzy-C-Mittelwert-Clustering
DE102022203000A1 (de) Prüfung synthetischer Messdaten auf Verwendbarkeit als Trainings-Messdaten für einen Klassifikator und/oder Regressor

Legal Events

Date Code Title Description
R081 Change of applicant/patentee

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTINENTAL AUTOMOTIVE GMBH, 30165 HANNOVER, DE

R163 Identified publications notified