DE102020205542A1

DE102020205542A1 - Aufbereiten von Lern-Datensätzen mit verrauschten Labeln für Klassifikatoren

Info

Publication number: DE102020205542A1
Application number: DE102020205542.4A
Authority: DE
Inventors: William Harris Beluch; Maximilian Autenrieth; Jan Mathias Koehler
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-04-30
Filing date: 2020-04-30
Publication date: 2021-11-04
Also published as: CN113591894A; US20210342650A1

Abstract

Verfahren (100) zum Aufbereiten von Lern-Datensätzen (2) für einen Klassifikator (1), mit den Schritten:• Lern-Eingangsgrößenwerte (11a) mindestens eines Lern-Datensatzes (2) werden von einem oder mehreren bis zu einer Epoche E2trainierten Klassifikatoren (1, 1a-1c) mehrmals in nicht deckungsgleicher Weise verarbeitet (110), so dass sie auf unterschiedliche Ausgangsgrößenwerte (13) abgebildet werden;• aus den Abweichungen dieser Ausgangsgrößenwerte (13) voneinander wird ein Maß für die Unsicherheit (13b) dieser Ausgangsgrößenwerte (13) ermittelt (120); in Antwort darauf, dass die Unsicherheit (13b) ein vorgegebenes Kriterium erfüllt (130), wird aus einem oder mehreren weiteren Ausgangsgrößenwerten (14), auf welche der oder die Klassifikatoren (1, 1a-1c) die Lern-Eingangsgrößenwerte (11a) nach Zurücksetzen auf einen früheren Trainingsstand mit Epoche E1< E2abbilden, mindestens ein aktualisierter Lern-Ausgangsgrößenwert (13a*) für den Lern-Datensatz (2) ermittelt (140).

Description

Die vorliegende Erfindung betrifft die Aufbereitung von Trainingsdaten, die für das Training von Klassifikatoren beispielswiese auf die Erkennung von Objekten in einem Fahrzeugumfeld benötigt werden.
Stand der Technik
Das Führen eines Fahrzeugs im Straßenverkehr durch einen menschlichen Fahrer wird in der Regel trainiert, indem ein Fahrschüler im Rahmen seiner Ausbildung immer wieder mit einem bestimmten Kanon an Situationen konfrontiert wird. Der Fahrschüler muss auf diese Situationen jeweils reagieren und bekommt durch Kommentare oder gar ein Eingreifen des Fahrlehrers eine Rückmeldung, ob seine Reaktion richtig oder falsch war. Dieses Training mit einer endlichen Anzahl von Situationen soll den Fahrschüler dazu befähigen, beim eigenständigen Führen des Fahrzeugs auch unbekannte Situationen zu meistern.
Um Fahrzeuge ganz oder teilweise automatisiert am Straßenverkehr teilnehmen zu lassen, wird angestrebt, diese mit in ganz ähnlicher Weise trainierbaren Modulen zu steuern. Diese Module erhalten beispielsweise Sensordaten aus dem Fahrzeugumfeld als Eingangsgrößen und ermitteln eine Klassifikation von Objekten im Umfeld des Fahrzeugs, um so zu einer maschinell verarbeitbaren Darstellung der Verkehrssituation zu gelangen.
Für dieses Training wird eine hinreichende Menge an Lern-Datensätzen benötigt, die jeweils Lern-Eingangsgrößenwerte und zugehörige Lern-Ausgangsgrößenwerte umfassen. Beispielsweise können die Lern-Eingangsgrößenwerte Bilder umfassen und mit der Information, welche Objekte in den Bildern enthalten sind, als Lern-Ausgangsgrößenwerte „gelabelt“ sein. Das „Labeln“ erfordert typischerweise menschliche Arbeit und ist daher teuer. Die DE 10 2017 219 269 A1 offenbart ein Verfahren, mit dem diejenigen Lern-Datensätze identifiziert werden können, deren „Labeln“ den größten Zugewinn an Genauigkeit bei der Klassifikation verspricht.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zum Aufbereiten von Lern-Datensätzen für einen Klassifikator entwickelt. Das Verfahren geht davon aus, dass bereits eine Menge von Lern-Datensätzen vorhanden ist. Die Lern-Datensätze umfassen Lern-Eingangsgrößenwerte sowie zugehörige Lern-Ausgangsgrößenwerte, auf die der Klassifikator die Lern-Eingangsgrößenwerte nominell abbilden soll. Die Lern-Eingangsgrößenwerte umfassen Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden. Durch das Training mit den Lern-Datensätzen soll der Klassifikator in die Lage versetzt werden, auch Eingangsgrößenwerte, die nicht Gegenstand des Trainings waren, auf im Sinne der jeweiligen Anwendung zutreffende Ausgangsgrößenwerte abzubilden.
Beispielsweise können die Messdaten Kamerabilder, Wärmebilder, Radardaten, LIDAR-Daten oder Ultraschalldaten repräsentieren. Die Ausgangsgrößenwerte können Klassen einer vorgegebenen Klassifikation repräsentieren, die den Messdaten jeweils zugeordnet werden sollen. Die Klassen können beispielsweise Objekte oder Zustände, die es zu detektieren gilt, repräsentieren.
Dabei sind die Begriffe „Eingangsgrößenwert“ und „Ausgangsgrößenwert“ jeweils nicht auf Skalare beschränkt, sondern können auch beispielsweise Vektoren und Matrizen umfassen.
Im Rahmen des Verfahrens werden Lern-Eingangsgrößenwerte mindestens eines Lern-Datensatzes von einem oder mehreren bis zu einer Epoche E₂ trainierten Klassifikatoren mehrmals in nicht deckungsgleicher Weise verarbeitet, so dass sie auf unterschiedliche Ausgangsgrößenwerte abgebildet werden. Hierbei ist der Begriff „Epoche“ im Sinne der Fachsprache zu trainierbaren Klassifikatoren als ein Abschnitt des Trainings zu verstehen, in dem die komplette verfügbare Menge der Lern-Datensätze vom jeweiligen Klassifikator verarbeitet wird und der Klassifikator basierend auf dem Vergleich der erhaltenen Ausgangsgrößenwerte mit den jeweiligen Lern-Ausgangsgrößenwerten angepasst wird.
Wie im Folgenden noch weiter erläutert werden wird, lässt sich eine mehrmalige Verarbeitung ein und desselben Lern-Eingangsgrößenwerts in nicht deckungsgleicher Weise zu unterschiedlichen Ausgangsgrößenwerten beispielsweise realisieren, indem für jede Verarbeitung ein anderer Klassifikator verwendet wird. Alternativ oder in Kombination hierzu kann beispielsweise der Verarbeitungsprozess ein und desselben Klassifikators bei jeder Verwendung abgewandelt werden, beispielsweise mit stochastischem Dropout.
Aus den Abweichungen der erhaltenen Ausgangsgrößenwerte voneinander wird ein Maß für die Unsicherheit dieser Ausgangsgrößenwerte ermittelt. In Antwort darauf, dass die Unsicherheit ein vorgegebenes Kriterium erfüllt, wird aus einem oder mehreren weiteren Ausgangsgrößenwerten, auf welche der oder die Klassifikatoren die Lern-Eingangsgrößenwerte nach Zurücksetzen auf einen früheren Trainingsstand mit Epoche E₁ < E₂ abbilden, mindestens ein aktualisierter Lern-Ausgangsgrößenwert für den Lern-Datensatz ermittelt. Das Kriterium kann insbesondere beispielsweise umfassen, dass die Unsicherheit einen vorgegebenen Schwellwert übersteigt.
Es wurde erkannt, dass ein auf diese Weise erhaltener aktualisierter Lern-Ausgangsgrößenwert in der Regel in Bezug auf die jeweilige Anwendung zutreffender ist als ein aktualisierter Lern-Ausgangsgrößenwert, der auf der Basis des Trainingsstandes mit der Epoche E₂ ermittelt wird. Ursache hierfür ist, dass das Training des Klassifikators in der Regel daraufhin optimiert wird, dass die Lern-Eingangsgrößenwerte im Mittel möglichst genau auf die zugehörigen Lern-Ausgangsgrößenwerte abgebildet werden. Wenn einige dieser Lern-Ausgangsgrößenwerte verrauscht oder falsch sind, treten hierbei Widersprüche auf. So kann beispielsweise ein und dasselbe Objekt nicht gleichzeitig ein Fahrzeug und ein Nutztier sein. Für Widersprüche dieser Art sucht die Optimierung eine Kompromisslösung. Dabei kann eine bei einer ersten Epoche E₁ noch einigermaßen zutreffende Lösung beim weiteren Training „verschlimmbessert“ werden und bei der Epoche E₂ zwar ein guter Kompromiss im Sinne der für die Optimierung verwendeten Kostenfunktion entstehen, der aber nicht als aktualisierter Lern-Ausgangsgrößenwert brauchbar ist.
Wenn ein Klassifikator trainiert wird, werden die Parameter, die sein Verhalten charakterisieren und beim Training optimiert werden, typischerweise mindestens am Ende einer jeden Epoche abgespeichert. Diese Parameter können beispielsweise die Gewichte eines neuronalen Netzwerks im Klassifikator umfassen. Somit ist das Zurücksetzen auf den früheren Trainingsstand mit Epoche E₁ durch Einlesen der abgespeicherten Parameter schnell zu realisieren.
In einer besonders vorteilhaften Ausgestaltung werden die Lern-Ausgangsgrößenwerte von mehreren Abwandlungen eines Klassifikators auf unterschiedliche Ausgangsgrößenwerte abgebildet. Diese Abwandlungen unterscheiden sich so weit voneinander, dass sie bei fortschreitendem Training nicht deckungsgleich ineinander überführt werden. Sie bilden also ein Ensemble. Die innerhalb dieses Ensembles ermittelten unterschiedlichen Ausgangsgrößenwerte lassen einen statistisch gut motivierten Rückschluss auf die Unsicherheit der Ausgangsgrößenwerte zu. Zugleich können die nach dem Zurücksetzen der Klassifikatoren des Ensembles auf die Epoche E₁ gewonnenen weiteren Ausgangsgrößenwerte in einsichtiger und statistisch gut motivierter Weise zu einem aktualisierten Lern-Ausgangsgrößenwert verrechnet werden.
Beispielsweise kann in einer weiteren besonders vorteilhaften Ausgestaltung für den von jeder Abwandlung des Klassifikators ermittelten Ausgangsgrößenwert eine separate Unsicherheit ermittelt werden. Es kann dann nur eine festgelegte Zahl derjenigen Abwandlungen, die die Ausgangsgrößenwerte mit den geringsten Unsicherheiten erzeugt haben, zum Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts beitragen. Mit anderen Worten, aus einer Menge von N Abwandlungen kommen nur die Top-K, mit 1 < K < N, Abwandlungen zu Wort, deren Vorschläge für den Ausgangsgrößenwert mit der größten Wahrscheinlichkeit zutreffend sind.
Damit werden also effektiv die Unsicherheiten der Vorschläge der Ensemblemitglieder untereinander gewichtet. Dass der auf diese Weise ermittelte aktualisierte Lern-Ausgangsgrößenwert für die Anwendung des Klassifikators wahrscheinlich zutreffender ist als ein einzelner Vorschlag eines Ensemblemitglieds, wird unmittelbar einsichtig, wenn man zum Vergleich den etablierten Prozess für die Festlegung der offiziellen Werte physikalischer Naturkonstanten betrachtet. Die vom Committee on Data for Science and Technology (CODAT) ermittelten Werte sind optimale Schätzungen auf der Basis einer Vielzahl von Messungen verschiedener Labore, die untereinander mit dem Kehrwert der Quadrate ihrer jeweiligen Standard unsicherheiten gewichtet werden. Auch Versuche der Erfinder haben bestätigt, dass gerade bei Klassifikationsproblemen mit einer größeren Anzahl verfügbarer Klassen (etwa dem ImageNet-Datensatz mit 1000 Klassen) die Berücksichtigung der Top-K Abwandlungen, anstatt nur der Top-1 Abwandlung, einen deutlich zutreffenderen aktualisierten Lern-Ausgangsgrößenwert liefert. Wenn die Lern-Datensätze für den letztendlich genutzten Klassifikator mit derartigen aktualisierten Werten aufgewertet werden, liefert dieser Klassifikator bei Tests mit Test- oder Validierungs-Datensätzen Ausgangsgrößenwerte, die besser mit den jeweiligen Soll-Ausgangsgrößenwerten übereinstimmen.
In einer weiteren besonders vorteilhaften Ausgestaltung wird für jede Abwandlung des Klassifikators ein eigener aktualisierter Lern-Ausgangsgrößenwert festgelegt. In diesen verschiedenen Lern-Ausgangsgrößenwerten können insbesondere die Unsicherheiten der von den verschiedenen Abwandlungen gelieferten Ausgangsgrößenwerte untereinander verkörpert sein.
Das bedeutet, dass beim Training des letztendlich für die Klassifikation zu nutzenden Klassifikators nicht mehr nur ein einzelner Klassifikator, sondern ein Ensemble von Abwandlungen trainiert wird, wobei dann jede Abwandlung mit Lern-Ausgangsgrößen trainiert wird, die zum Teil für alle diese Abwandlungen identisch sind und zum Teil für jede Abwandlung individuell festgelegt wurden.
Dementsprechend werden auch bei der späteren Nutzung des Klassifikators die Eingangsgrößenwerte allen trainierten Abwandlungen des Ensembles zugeführt, und die von diesen Abwandlungen gelieferten Ausgangsgrößenwerte werden miteinander verrechnet.
Ganz allgemein können die Lern-Eingangsgrößenwerte bei dem früheren Trainingsstand mit Epoche E₁ von dem oder den Klassifikatoren mehrmals in nicht deckungsgleicher Weise zu Ausgangsgrößenwerten verarbeitet werden. Es kann dann eine zusammenfassende Statistik, wie beispielsweise ein Mittelwert oder ein Median, über diese Ausgangsgrößenwerte ermittelt werden. Die Lern-Eingangsgrößenwerte verschiedenen Abwandlungen zuzuführen ist nur ein möglicher Weg, eine mehrmalige nicht deckungsgleiche Verarbeitung sicherzustellen. Alternativ oder auch in Kombination hierzu kann diese Verarbeitung selbst auch probabilistisch ausgeführt sein. Beispielsweise können in dem Klassifikator, bzw. der Abwandlung, Gewichte oder andere Parameter, die das Verhalten des Klassifikators bzw. der Abwandlung charakterisieren, bei jeder Verwendung aufs Neue aus einer Verteilung gezogen werden.
Die zusammenfassende Statistik kann beispielsweise unmittelbar als aktualisierter Lern-Ausgangsgrößenwert festgelegt werden. Es kann aber auch beispielsweise jeder Abwandlung des Klassifikators ein aktualisierter Lern-Ausgangsgrößenwert zugewiesen werden, der den Lern-Eingangsgrößenwerten genau eine der verfügbaren Klassen der vorgegebenen Klassifikation zuordnet. Die Lern-Ausgangsgrößenwerte können dann so auf die Abwandlungen verteilt werden, dass das Ensemblemittel über die Abwandlungen die zusammenfassende Statistik reproduziert.
In einem einfachen Beispiel umfasst die vorgegebene Klassifikation fünf Klassen von 0 bis 4, und es werden fünf Abwandlungen des zu trainierenden Klassifikators verwendet, um die gleichen Lern-Eingangsgrößenwerte mehrmals in nicht deckungsgleicher Weise zu Ausgansgrößenwerten zu verarbeiten. Diese Ausgangsgrößenwerte sind Vektoren mit jeweils fünf Elementen, die zu den fünf verfügbaren Klassen korrespondieren. Sei nun beispielsweise beim Trainingsstand mit der Epoche E₁ zu einem bestimmen Lern-Eingangsgrößenwert der Mittelwert der Ausgangsgrößenwerte über die fünf Ensemblemitglieder der Vektor [0,6, 0,2, 0,2, 0, 0]. Den ersten drei Abwandlungen wird der Vektor [1, 0, 0, 0, 0] als Lern-Ausgangsgrößenwert zugewiesen. Der vierten Abwandlung wird der Vektor [0, 1, 0, 0, 0] als Lern-Ausgangsgrößenwert zugewiesen. Der fünften Abwandlung wird der Vektor [0, 0, 1, 0, 0] als Lern-Ausgangsgrößenwert zugewiesen. Bei der Verarbeitung des Lern-Eingangsgrößenwerts durch das Ensemble aus den fünf Abwandlungen ist es nun für jede der fünf Abwandlungen gleich wahrscheinlich, dass genau diese Abwandlung zum Zuge kommt. Wenn nach Abschluss des Trainings eine der drei ersten Abwandlungen zum Zuge kommt, wird der Lern-Eingangsgrößenwert auf den Vektor [1, 0, 0, 0, 0] abgebildet. Die Wahrscheinlichkeit hierfür ist 3/5 = 0,6. Wenn die vierte Abwandlung zum Zuge kommt, wird der Lern-Eingangsgrößenwert auf den Vektor [0, 1, 0, 0, 0] abgebildet. Die Wahrscheinlichkeit hierfür ist 1/5 = 0,2. Wenn die fünfte Abwandlung zum Zuge kommt, wird der Lern-Eingangsgrößenwert auf den Vektor [0, 0, 1, 0, 0] abgebildet. Die Wahrscheinlichkeit hierfür ist 1/5 = 0,2. Somit ist das Ensemblemittel für den Ausgangsgrößenwert, auf den der besagte Lern-Eingangsgrößenwert abgebildet wird, [0,6, 0,2, 0,2, 0, 0]. Dieses Ensemblemittel wird durch das Setzen der besagten aktualisierten Lern-Ausgangsgrößenwerte [1, 0, 0, 0, 0], [0, 1, 0, 0, 0] und [0, 0, 1, 0, 0] also in weitere Epochen fortgetragen.
Zum Verständnis dieser Vorgehensweise ist es hilfreich, Parallelen zum Verfahren der multiplen Imputation in der mathematischen Statistik zu betrachten. Bei der multiplen Imputation werden für jeden fehlenden Wert in einer statistischen Erhebung mehrere Schätzwerte ermittelt, und diese Schätzwerte werden zu einem Schätzwert aggregiert, etwa durch Mittelung.
Ein wichtiger Vorteil dieser Vorgehensweise liegt darin, dass die Möglichkeit, dass die nicht-dominante Klasse im Ensemblemittel der Ausgangsgrößenwerte tatsächlich die zutreffende Klasse für die Aktualisierung des Lern-Ausgangsgrößenwerts ist, nicht frühzeitig ausgeschlossen wird. In dem oben dargestellten Beispiel wird also nicht frühzeitig aus dem Wert 0,6 im Ensemblemittel [0,6, 0,2, 0,2, 0, 0] der Ausgangsgrößenwerte geschlossen, dass die zutreffende Klasse für die Aktualisierung des Lern-Ausgangsgrößenwerts nur die Klasse 0 sein kann.
In einer weiteren besonders vorteilhaften Ausgestaltung werden die Lern-Eingangsgrößenwerte von mindestens einem Klassifikator mehrfach verarbeitet. Dabei werden zufallsgesteuert ein oder mehrere Neuronen und/oder andere Verarbeitungseinheiten des Klassifikators deaktiviert. Beispielsweise kann die Verarbeitung durch Monte-Carlo-Dropout probabilistisch gemacht werden.
Wie zuvor erläutert, sind Ausgangsgrößenwerte, die ein Klassifikator für Lern-Eingangsgrößenwerte mit einem verrauschten oder falschen Lern-Ausgangsgrößenwert liefert, bei einer früheren Epoche E₁ möglicherweise zutreffender als bei einer späteren Epoche E₂, bei der möglicherweise schon der besagte Kompromiss zur Minimierung der Kostenfunktion eingegangen wurde. Daher wird in einer weiteren besonders vorteilhaften Ausgestaltung eine Genauigkeit, mit welcher der oder die Klassifikatoren Test- oder Validierungs-Eingangsgrößenwerte auf zugehörige Test- oder Validierungs-Ausgangsgrößenwerte abbilden, in Abhängigkeit des Trainingsstandes des oder der Klassifikatoren ermittelt. Eine Epoche, bei der diese Genauigkeit ein Maximum annimmt, wird als Epoche E₁ für das Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts gewählt.
Indem die Unsicherheit der von dem oder den Klassifikatoren gelieferten Ausgangsgrößenwerte nicht nur bei der Erkennung verrauschter oder falscher Lern-Ausgangsgrößenwerte berücksichtigt wird, sondern auch beim Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts, wird die Wahrscheinlichkeit erhöht, dass die aktualisierten Lern-Ausgangsgrößenwerte im Kontext der Anwendung des Klassifikators zutreffender sind als die ursprünglichen Lern-Ausgangsgrößenwerte. Wenn für einen Lern-Eingangsgrößenwert (etwa ein Bild) immer wieder ein unzutreffender neuer Lern-Ausgangsgrößenwert (etwa eine falsche Klasse, der das Bild tatsächlich nicht angehört) festgelegt wird, kann die Lernfähigkeit des Netzwerks insgesamt leiden.
Wie zuvor erläutert, können der oder die Klassifikatoren unter Nutzung des Lern-Datensatzes, der mit dem mindestens einen aktualisierten Lern-Ausgangsgrößenwert aufgewertet wurde, weiter trainiert werden. Das Verfahren zum Aufbereiten der Lern-Datensätze kann also in das Training des Klassifikators integriert werden.
Es kann auch beispielsweise zwischen Trainingsphasen und Aufbereiten der Lern-Datensätze abgewechselt werden. Beispielsweise kann zunächst ein Training mit den ursprünglichen Lern-Datensätzen durchgeführt werden. Anschließend können die Lern-Datensätze wie vorher beschrieben aufbereitet werden. Mit diesen neuen Lern-Datensätzen kann das Training dann wiederholt werden. Dieser Zyklus kann wiederholt werden, bis ein beliebiges Abbruchkriterium erfüllt ist.
Das Abbruchkriterium kann insbesondere beispielsweise umfassen, dass nur bei höchstens einem vorgegebenen Prozentsatz der Lern-Datensätze die Unsicherheit der aus den Lern-Eingangsgrößenwerten ermittelten Ausgangsgrößenwerte einen vorgegebenen Schwellwert überschreitet.
Alternativ oder in Kombination hierzu kann das Abbruchkriterium beispielsweise umfassen, dass der Klassifikator bei einem Test mit Test- oder Validierungs-Datensätzen die jeweiligen Test-Eingangsgrößenwerte, bzw. Validierungs-Eingangsgrößenwerte, mindestens mit einer vorgegebenen Genauigkeit auf die jeweils zugehörigen Test-Ausgangsgrößenwerte, bzw. Validierungs-Ausgangsgrößenwerte, abbildet. Die Test-Ausgangsgrößenwerte, bzw. die Validierungs-Ausgangsgrößenwerte, sind also bei einem solchen Test als Soll-Ausgangsgrößenwerte anzusehen.
Indem für den aktualisierten Lern-Ausgangsgrößenwert auch mehrere Klassen gleichzeitig zugelassen werden, sei es durch Zuweisen verschiedener Klassen an verschiedene Abwandlungen oder durch Bilden eines einzigen Lern-Ausgangsgrößenwerts, der mehrere Klassen enthält, wird insgesamt die Tendenz verstärkt, die Lern-Ausgangsgrößenwerte in den Lern-Datensätzen überhaupt zu ändern. Hierbei besteht grundsätzlich immer das Risiko, dass der aktualisierte Lern-Ausgangsgrößenwert im Kontext der Anwendung des Klassifikators ebenfalls nicht völlig zutreffend ist. Jedoch ist insbesondere bei vorgegebenen Klassifikationen mit einer Vielzahl von Klassen die Wahrscheinlichkeit hoch, dass der aktualisierte Lern-Ausgangsgrößenwert zumindest deutlich zutreffender ist als der ursprüngliche Lern-Ausgangsgrößenwert.
Eine tieferliegende Ursache hierfür liegt darin, dass vorgegebene Klassifikationen mit einer Vielzahl von Klassen häufig semantische Hierarchien von Klassen enthalten. So gibt es beispielsweise in der ImageNet-Klassifikation mit ihren 1000 Klassen viele Klassen, die sich auf verschiedene Hunderassen beziehen, und viele Klassen, die sich auf verschiedene Pflanzenarten beziehen. Wenn nun beispielsweise ein Schäferhund, der zuvor mit dem falschen Lern-Ausgangsgrößenwert „Kaktus“ gelabelt war, in die Klasse „Eskimohund“ eingeordnet, ist dies zwar immer noch nicht völlig richtig, aber der Schäferhund wird zumindest schon einmal als Hund erkannt. Indem der aktualisierte Lern-Ausgangsgrößenwert auch mehrere Klassen angeben kann, ist es weiterhin auch gut möglich, dass auch die richtige Klasse „Schäferhund“ einen von Null verschiedenen Beitrag erhält. Bei weiterem Fortsetzen des Trainings, insbesondere beim Abwechseln zwischen Trainingsphasen und Aufbereiten der Lern-Datensätze, kann dieser Beitrag noch anwachsen.
Das beschriebene Verfahren zum Aufbereiten von Lern-Datensätzen verringert die Anzahl derjenigen Datensätze, deren Lern-Ausgangsgrößenwerte im Kontext der Anwendung des Klassifikators nicht zu den jeweiligen Lern-Eingangsgrößenwerten passen. Dies wirkt sich besonders vorteilhaft beim Training von Klassifikatoren aus, die gegen solche falschen Zuordnungen in den Lern-Datensätzen besonders empfindlich sind.
Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren eines Klassifikators anhand von Lern-Datensätzen. Die in diesen Lern-Datensätzen jeweils enthaltenen Lern-Eingangsdaten umfassen Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden. Zusätzlich enthalten die Lern-Datensätze jeweils Lern-Ausgangsgrößenwerte, auf die der Klassifikator die Lern-Eingangsgrößenwerte nominell abbilden soll.
Im Rahmen des Verfahrens wird zunächst ein Vorklassifikator darauf trainiert, Lern-Datensätze, deren jeweiligen Lern-Eingangsgrößenwerten korrekte Lern-Ausgangsgrößenwerte zugeordnet sind, von Lern-Datensätzen zu unterscheiden, deren jeweiligen Lern-Eingangsgrößenwerten verrauschte oder falsche Lern-Ausgangsgrößenwerte zugeordnet sind. Dieser Vorklassifikator kann vergleichsweise einfach aufgebaut sein und beispielsweise die Zuordnung der Lern-Ausgangsgrößenwerte zu den Lern-Eingangsgrößenwerten in eine von zwei oder mehr Qualitätsklassen einteilen, je nachdem, wie korrekt diese Zuordnung im Kontext der Anwendung des Klassifikators ist.
Die Lern-Datensätze werden mit dem Vorklassifikator klassifiziert. Lern-Datensätze, in denen die Zuordnung der Lern-Ausgangsgrößenwerte zu den Lern-Eingangsgrößenwerten nach dem Urteil des Vorklassifikators zutreffend ist, werden in eine Menge bevorzugter Lern-Datensätze aufgenommen.
Mindestens ein Lern-Datensatz, dessen Lern-Ausgangsgrößenwerte nach dem Urteil des Vorklassifikators verrauscht oder falsch sind, wird mit dem zuvor beschriebenen Verfahren mit mindestens einem aktualisierten Lern-Ausgangsgrößenwert versehen. Der solchermaßen bearbeitete Lern-Datensatz wird in die Menge der bevorzugten Lern-Datensätze aufgenommen.
Der eigentliche Klassifikator wird schließlich mit den Lern-Datensätzen in der Menge der bevorzugten Datensätze trainiert. Dieser Klassifikator kann insbesondere eine vergleichsweise komplexe Architektur aufweisen, die zwar eine höhere Genauigkeit verspricht, dafür jedoch empfindlich gegen verrauschte oder falsche Lern-Ausgangsgrößenwerte ist.
Die Vorfilterung durch den Vorklassifikator hat in diesem Zusammenhang die Wirkung, dass verrauschte oder falsche Lern-Ausgangsgrößenwerte vom Training des eigentlichen Klassifikators ausgeschlossen werden und das Ergebnis des Trainings nicht beeinträchtigen können. Gleichzeitig bewirkt das Aufbereiten der verrauschten oder falschen Lern-Ausgangsgrößenwerte mit dem zuvor beschriebenen Verfahren, dass durch das Ausschließen der verrauschten oder falschen Lern-Ausgangsgrößenwerte nicht zu viele gelabelte Lern-Datensätze endgültig verlorengehen. Es lässt sich also ein Teil dieser Lern-Datensätze noch „retten“. Wie zuvor erläutert, sind Lern-Datensätze eine knappe Ressource, da das Labeln typischerweise menschliche Arbeit erfordert.
In einer besonders vorteilhaften Ausgestaltung wird der Lern-Datensatz mit dem aktualisierten Lern-Ausgangsgrößenwert erneut dem Vorklassifikator zugeführt. Dieser Lern-Datensatz wird dann nur in die Menge bevorzugter Lern-Datensätze aufgenommen, wenn er vom Vorklassifikator als ein Lern-Datensatz klassifiziert wird, dessen Lern-Eingangsgrößenwerten korrekte Lern-Ausgangsgrößenwerte zugeordnet sind. Es wird also der Erfolg des „Relabelns“ konkret überprüft, bevor das Ergebnis für das weitere Training genutzt wird.
Im weitesten Sinne kann die Kombination aus der Vorfilterung mit dem Vorklassifikator und dem Training des eigentlichen Klassifikators als eine Art „Student-Teacher-Verfahren“ angesehen werden. Die Analogie besteht darin, dass der Vorklassifikator („Teacher“) alle Lern-Datensätze zugeführt bekommt, während der eigentliche Klassifikator („Student“) nur mit einem Teil der Lern-Datensätze trainiert wird.
Wie zuvor erläutert, wird mit der zuvor beschriebenen Aufbereitung der Lern-Datensätze letztendlich der Erfolg erzielt, dass ein unter Heranziehung der aufbereiteten Lern-Datensätze trainierter Klassifikator Messdaten im Kontext der jeweiligen Anwendung des Klassifikators zutreffender klassifiziert. Werden auf der Basis der vom Klassifikator gelieferten Ausgangsgrößenwerte also technische Systeme angesteuert, ist die Wahrscheinlichkeit erhöht, dass die damit ausgelöste Aktion der aktuellen Situation, in der sich das technische System befindet, angemessen ist. Diese aktuelle Situation ist in den Eingangsgrößenwerten des Klassifikators verkörpert.
Daher bezieht sich die Erfindung auch auf ein weiteres Verfahren, das die Wirkkette vom Training bis zur Ansteuerung technischer Systeme vervollständigt.
Bei diesem Verfahren wird zunächst ein Klassifikator anhand von mit dem zuerst beschriebenen Verfahren aufbereiteten Lern-Datensätzen, und/oder mit dem danach beschriebenen Trainingsverfahren, trainiert.
Anschließend wird der Klassifikator betrieben, indem ihm Eingangsgrößenwerte zugeführt werden. Diese Eingangsgrößenwerte umfassen Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden. Beispielsweise können fotorealistische Bilder von Situationen mittels rechnerischer Verfolgung von Lichtstrahlen („Raytracing“) oder auch mit neuronalen Generatornetzwerken (etwa Generative Adversarial Networks, GAN) erzeugt werden. Hierbei lassen sich auch beispielsweise Erkenntnisse aus der Simulation eines technischen Systems, wie etwa Positionen bestimmter Objekte, als Nebenbedingungen einbringen. Das Generatornetzwerk kann darauf trainiert werden, gezielt Bilder zu erzeugen, die diesen Nebenbedingungen genügen (etwa Conditional GAN, cGAN).
Abhängig von den vom Klassifikator gelieferten Ausgangsgrößenwerten wird ein Ansteuersignal gebildet. Ein Fahrzeug, und/oder ein System für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System für die medizinische Bildgebung, wird mit diesem Ansteuersignal angesteuert.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zum Aufbereiten von Lern-Datensätzen 2;
2 Abhängigkeit der Klassifikationsgenauigkeit A von der Epochenzahl e eines Trainings mit unverrauschten (Kurve a) und verrauschten (Kurve b) Labels;
3 Verbesserung der in 2 gezeigten Klassifikationsgenauigkeit A durch Berücksichtigung der Top-3-Klassifikatoren 1a-1c eines Ensembles;
4 Ausschnitt aus der Verwechslungsmatrix für Bilder des ImageNet-Datensatzes nach Training mit Aufbereiten der Lern-Datensätze 2 durch das Verfahren 100;
5 Ausführungsbeispiel des Verfahrens 200 zum Trainieren eines Klassifikators 1;
6 Ausführungsbeispiel des Verfahrens 300 mit vollständiger Wirkkette bis zur Ansteuerung technischer Systeme 50, 60, 70.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Aufbereiten von Lern-Datensätzen 2 für einen Klassifikator 1. Die Lern-Datensätze 2 umfassen Lern-Eingangsgrößenwerte 11a und zugehörige Lern-Ausgangsgrößenwerte 13a, auf die der Klassifikator die Lern-Eingangsgrößenwerte 11a nominell abbilden soll. Die Lern-Eingangsgrößenwerte 11a umfassen Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden.
In Schritt 110 des Verfahrens 100 werden Lern-Eingangsgrößenwerte 11a mindestens eines Lern-Datensatzes 2 von einem oder mehreren bis zu einer Epoche E₂ trainierten Klassifikatoren 1, 1a-1c mehrmals in nicht deckungsgleicher Weise verarbeitet. Dadurch entstehen zu den gleichen Lern-Eingangsgrößenwerten 11a mehrere unterschiedliche Ausgangsgrößenwerte 13. Zu diesem Zweck können beispielsweise gemäß Block 111 mehrere Abwandlungen 1a-1c eines Klassifikators verwendet werden, die sich so weit voneinander unterscheiden, dass sie bei fortschreitendem Training nicht deckungsgleich ineinander überführt werden.
In Schritt 120 wird aus den Abweichungen der Ausgangsgrößenwerte 13 voneinander ein Maß für die Unsicherheit 13b dieser Ausgangsgrößenwerte 13 ermittelt. In Antwort darauf, dass diese Unsicherheit 13b ein vorgegebenes Kriterium 130 erfüllt (Wahrheitswert 1), wird aus einem oder mehreren weiteren Ausgangsgrößenwerten 14, auf welche der oder die Klassifikatoren 1, 1a-1c die Lern-Eingangsgrößenwerte 11a nach Zurücksetzen auf einen früheren Trainingsstand mit Epoche E₁ < E₂ abbilden, mindestens ein aktualisierter Lern-Ausgangsgrößenwert 13a* für den Lern-Datensatz 2 ermittelt.
In Schritt 150 können der oder die Klassifikatoren 1, 1a-1c unter Nutzung des Lern-Datensatzes 2 mit dem mindestens einen aktualisierten Lern-Ausgangsgrößenwert 13a* weiter trainiert werden.
Dabei kann insbesondere beispielsweise gemäß Block 121 für den von jeder Abwandlung 1a-1c ermittelten Ausgangsgrößenwert 13 eine separate Unsicherheit 13c ermittelt werden. Es kann dann gemäß Block 122 nur eine festgelegte Zahl derjenigen Abwandlungen 1a-1c, die die Ausgangsgrößenwerte 13 mit den geringsten Unsicherheiten 13c erzeugt haben, zum Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts 13a* beitragen. Das heißt, die Top-K Ausgangsgrößenwerte 13 mit den geringsten Unsicherheiten 13c werden für die Bildung des aktualisierten Lern-Ausgangsgrößenwerts 13a* herangezogen. Für die Prüfung des Kriteriums 130 können die Einzel-Unsicherheiten 13c beispielsweise zu einer einzigen Unsicherheit 13b verrechnet werden. Das Kriterium 130 kann aber auch beispielsweise direkt in den Einzel-Unsicherheiten 13c ausgedrückt sein.
Gemäß Block 141 kann insbesondere beispielsweise für jede Abwandlung 1a-1c ein eigener aktualisierter Lern-Ausgangsgrößenwert 13a* ermittelt werden. Die Abwandlungen 1a-1c können dann im Folgenden unabhängig voneinander weiter trainiert werden.
Weiterhin können gemäß Block 142 die Lern-Eingangsgrößenwerte 11a bei dem früheren Trainingsstand mit Epoche E₁ von dem oder den Klassifikatoren 1, 1a-1c mehrmals in nicht deckungsgleicher Weise zu Ausgangsgrößenwerten 14 verarbeitet werden. Dies kann beispielsweise durch Verwendung mehrerer Abwandlungen 1a-1c des Klassifikators 1 erreicht werden, aber alternativ oder auch in Kombination hierzu auch durch probabilistische Ausgestaltung des Verarbeitungsprozesses selbst, etwa Monte-Carlo-Dropout oder Ziehen von Parametern des Klassifikators 1, 1a-1c aus einer Verteilung. Gemäß Block 143 kann dann eine zusammenfassende Statistik 14a über diese Ausgangsgrößenwerte 14 ermittelt werden.
Diese zusammenfassende Statistik 14a kann beispielsweise gemäß Block 144 unmittelbar als aktualisierter Lern-Ausgangsgrößenwert 13a* festgelegt werden.
Es kann aber auch beispielsweise gemäß Block 145 für jede Abwandlung 1a-1c ein eigener aktualisierter Lern-Ausgangsgrößenwert 13a* ermittelt werden, der den Lern-Eingangsgrößenwerten 11a genau eine Klasse zuordnet. Diese aktualisierten Lern-Ausgangsgrößenwerte 13a* können gemäß Block 146 so auf die Abwandlungen 1a-1c verteilt werden, dass das Ensemblemittel über die Abwandlungen 1a-1c die zusammenfassende Statistik 14a reproduziert.
Allgemein können gemäß den Blöcken 117 und 147 bei der mehrfachen Verarbeitung der Lern-Eingangsgrößenwerte 11a von mindestens einem Klassifikator 1, 1a-1c zufallsgesteuert jeweils ein oder mehrere Neuronen und/oder andere Verarbeitungseinheiten des Klassifikators 1, 1a-1c deaktiviert werden (Monte-Carlo-Dropout).
Um die optimale Epoche E₁ für das Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts 13a* zu finden, kann gemäß Block 148 eine Genauigkeit, mit welcher der oder die Klassifikatoren 1, 1a-1c Test- oder Validierungs-Eingangsgrößenwerte auf zugehörige Test- oder Validierungs-Ausgangsgrößenwerte abbilden, in Abhängigkeit des Trainingsstandes des oder der Klassifikatoren 1, 1a-1c ermittelt werden. Eine Epoche, bei der diese Genauigkeit ein Maximum annimmt, kann dann als Epoche E₁ für das Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts 13a* gewählt werden.
Die Motivation hinter dieser Methode für das Ermitteln der Epoche 1 ist in 2 veranschaulicht. Hier ist die an Test- oder Validierungsdaten ermittelte Klassifikationsgenauigkeit A eines Klassifikators 1 für Bilder aus dem ImageNet-Datensatz über der Epochenzahl e des Trainingsstandes dieses Klassifikators 1 aufgetragen. Kurve a wurde für den Fall erstellt, dass alle Lern-Ausgangsgrößenwerte (Labels) 13a korrekt sind. Kurve b wurde für den Fall erstellt, dass ein Anteil von 40 % der Labels verrauscht oder falsch ist. Um die Genauigkeit A zu ermitteln, wurde jeweils die vom Klassifikator 1 für am wahrscheinlichsten erachtete Klasse (d.h., die Klasse mit dem maximalen Softmax-Score) mit der korrekten Klasse verglichen.
Die für korrekte Labels erstellte Kurve a steigt gegen Ende des Trainings bis auf kleinere Rücksetzer kontinuierlich bis zu einem Endwert an. Die für verrauschte Labels erstellte Kurve b hat hingegen bei der Epochenzahl e=25 und einer Genauigkeit A von etwa 0,8 (80 %) ein Maximum und nimmt dann wieder ab. Hier zeigt sich der zuvor angesprochene Effekt, dass die Optimierung im Sinne der Kostenfunktion bei widersprüchlichen Informationen aus den Labels Kompromisslösungen produziert, welche die Genauigkeit A beim weiteren Training „verschlimmbessern“.
Die gleiche Tendenz zeigt sich qualitativ auch in 3, in der eine analog zu 2 ermittelte Genauigkeit A aufgetragen ist. Im Unterschied zu 2 wurde die Genauigkeit A hier jedoch daran gemessen, inwieweit die Top-3 der von Klassifikatoren 1a-1c eines Ensembles gelieferten Ausgangsgrößen 13 mit den geringsten Unsicherheiten 13c die korrekte Klasse angeben. Quantitativ ist im verrauschten Fall (Kurve b) die bei der Epochenzahl e=25 gemessene Genauigkeit A mit etwa 0,95 (95 %) deutlich besser als in 2. Somit erscheint es vielversprechend, aktualisierte Lern-Ausgangsgrößenwerte 13a* nicht anhand der Top-1-Vorhersage eines einzelnen Klassifikators 1, 1a-1c zu ermitteln, sondern anhand der Top-K-Vorhersagen mehrerer Ensemblemitglieder 1a-1c.
4 zeigt einen Ausschnitt einer anhand von Test- bzw. Validierungsdaten ermittelten Verwechslungsmatrix. In dieser Verwechslungsmatrix gibt jede Zeile an, mit welchen Wahrscheinlichkeiten bzw. Konfidenzen Bilder der jeweils links neben der Zeile gezeigten Objekte

• Flugzeug,
• PKW,
• Vogel,
• Katze,
• Elch,
• Hund,
• Frosch,
• Pferd,
• Schiff und
• LKW

Die Verwechslungsmatrix wurde gebildet, nachdem eine Menge von Lern-Datensätzen mit ursprünglich 40 % verrauschten Lern-Ausgangsgrößenwerten (Labels) 13a einmal mit dem in 1 dargestellten Verfahren 100 aufbereitet und der Klassifikator 1 anschließend weiter trainiert worden war.
In dieser Verwechslungsmatrix ist auffällig, dass die Fehlzuordnungen hauptsächlich zwischen den Klassen „Hund“ und „Katze“ konzentriert sind. Dies liegt darin begründet, dass Hunde und Katzen vergleichsweise ähnlich zueinander sind.
5 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren eines Klassifikators 1 anhand von gegebenen Lern-Datensätzen 2 mit Lern-Eingangsgrößenwerten 11a und Lern-Ausgangsgrößenwerten 13a. Analog zum Verfahren 100 umfassen die Lern-Eingangsgrößenwerte 11a Messdaten.
In Schritt 210 wird ein Vorklassifikator 1d darauf trainiert, Lern-Datensätze 2, deren jeweiligen Lern-Eingangsgrößenwerten 11a korrekte Lern-Ausgangsgrößenwerte 13a zugeordnet sind (d.h., Lern-Datensätze 2 mit „sauberen“ Labels 13a), von Lern-Datensätzen 2 zu unterscheiden, deren jeweiligen Lern-Eingangsgrößenwerten 11a verrauschte oder falsche Lern-Ausgangsgrößenwerte 13a zugeordnet sind (verrauschte Labels 13a).
Mit diesem trainierten Vorklassifikator werden die Lern-Datensätze 2 in Schritt 220 klassifiziert, und Lern-Datensätze 2 mit „sauberen“ Labels 13a werden in eine Menge 2* bevorzugter Lern-Datensätze 2 aufgenommen, auf der später der eigentliche Klassifikator 1 trainiert werden soll.
Wie zuvor erläutert, gehen hierdurch etliche der ursprünglichen Lern-Datensätze 2 „verloren“. Gelabelte Lern-Datensätze 2 sind jedoch ein knappes und teures Gut. Daher werden in Schritt 230 Lern-Datensätze 2 mit verrauschten Labels 13a mit dem im Zusammenhang mit 1 näher erläuterten Verfahren 100 aufbereitet. Hierbei bekommt mindestens ein Lern-Datensatz 2 einen aktualisierten Lern-Ausgangsgrößenwert 13a*, d.h. er wird „relabelt“.
Dieser „relabelte“ Lern-Datensatz 2 wird in Schritt 240 erneut dem Vorklassifikator 1d zugeführt. In Schritt 250 wird geprüft, ob der Lern-Datensatz 2 nach dem „Relabeln“ nunmehr als Lern-Datensatz 2 mit „sauberem“ Label 13a anerkannt werden kann. Ist dies der Fall (Wahrheitswert 1), wird dieser Lern-Datensatz 2 in Schritt 260 der Menge 2* der bevorzugten Lern-Datensätze 2 hinzugefügt. In Schritt 270 wird der eigentliche Klassifikator 1, der beliebige Eingangsgrößenwerte 11 durch seine Ausgangsgrößenwerte 13 in die Klassen der vorgegebenen Klassifikation einteilen soll, mit den in der Menge 2* enthaltenen Lern-Datensätzen 2 trainiert.
6 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 300 mit der vollständigen Wirkkette.
In Schritt 310 wird mindestens ein Klassifikator anhand von mit dem Verfahren 100 aufbereiteten Lern-Datensätzen 2, und/oder mit dem Trainingsverfahren 200, trainiert.
Der trainierte Klassifikator 1 wird in Schritt 320 betrieben, indem ihm Eingangsgrößenwerte 11 zugeführt werden. Diese Eingangsgrößenwerte 11 umfassen Messdaten.
In Schritt 330 wird abhängig von den vom Klassifikator 1 gelieferten Ausgangsgrößenwerten 13 ein Ansteuersignal 330a gebildet. Mit diesem Ansteuersignal wird ein Fahrzeug 50, und/oder ein System 60 für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System 70 für die medizinische Bildgebung, angesteuert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017219269 A1 [0004]

Claims

Verfahren (100) zum Aufbereiten von Lern-Datensätzen (2) für einen Klassifikator (1), wobei diese Lern-Datensätze (2) Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, als Lern-Eingangsgrößenwerte (11a) umfassen, wobei die Lern-Datensätze (2) zusätzlich Lern-Ausgangsgrößenwerte (13a) umfassen, auf die der Klassifikator (1) die Lern-Eingangsgrößenwerte (11a) nominell abbilden soll, mit den Schritten: • Lern-Eingangsgrößenwerte (11a) mindestens eines Lern-Datensatzes (2) werden von einem oder mehreren bis zu einer Epoche E₂ trainierten Klassifikatoren (1, 1a-1c) mehrmals in nicht deckungsgleicher Weise verarbeitet (110), so dass sie auf unterschiedliche Ausgangsgrößenwerte (13) abgebildet werden; • aus den Abweichungen dieser Ausgangsgrößenwerte (13) voneinander wird ein Maß für die Unsicherheit (13b) dieser Ausgangsgrößenwerte (13) ermittelt (120); • in Antwort darauf, dass die Unsicherheit (13b) ein vorgegebenes Kriterium erfüllt (130), wird aus einem oder mehreren weiteren Ausgangsgrößenwerten (14), auf welche der oder die Klassifikatoren (1, 1a-1c) die Lern-Eingangsgrößenwerte (11a) nach Zurücksetzen auf einen früheren Trainingsstand mit Epoche E₁ < E₂ abbilden, mindestens ein aktualisierter Lern-Ausgangsgrößenwert (13a*) für den Lern-Datensatz (2) ermittelt (140).
Verfahren (100) nach Anspruch 1, wobei die Lern-Eingangsgrößenwerte (11a) von mehreren Abwandlungen (1a-1c) eines Klassifikators (1), die sich so weit voneinander unterscheiden, dass sie bei fortschreitendem Training nicht deckungsgleich ineinander überführt werden, auf unterschiedliche Ausgangsgrößenwerte (13) abgebildet werden (111).
Verfahren (100) nach Anspruch 2, wobei für den von jeder Abwandlung (1a-1c) ermittelten Ausgangsgrößenwert (13) eine separate Unsicherheit (13c) ermittelt wird (121) und wobei nur eine festgelegte Zahl derjenigen Abwandlungen (1a-1c), die die Ausgangsgrößenwerte (13) mit den geringsten Unsicherheiten (13c) erzeugt haben, zum Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts (13a*) beiträgt (122).
Verfahren (100) nach einem der Ansprüche 2 bis 3, wobei für jede Abwandlung (1a-1c) ein eigener aktualisierter Lern-Ausgangsgrößenwert (13a*) ermittelt wird (141).
Verfahren (100) nach einem der Ansprüche 1 bis 4, wobei die Lern-Eingangsgrößenwerte (11a) bei dem früheren Trainingsstand mit Epoche E₁ von dem oder den Klassifikatoren (1, 1a-1c) mehrmals in nicht deckungsgleicher Weise zu Ausgangsgrößenwerten (14) verarbeitet werden (142) und wobei eine zusammenfassende Statistik (14a) über diese Ausgangsgrößenwerte (14) ermittelt wird (143).
Verfahren (100) nach Anspruch 5, wobei die zusammenfassende Statistik (14a) als aktualisierter Lern-Ausgangsgrößenwert (13a*) festgelegt wird (144).
Verfahren (100) nach Anspruch 4 und 5, wobei der aktualisierte Lern-Ausgangsgrößenwert (13a*) für jede Abwandlung (1a-1c) den Lern-Eingangsgrößenwerten (11a) genau eine Klasse zuordnet (145) und wobei diese Lern-Ausgangsgrößenwerte (13a*) so auf die Abwandlungen (1a-1c) verteilt werden (146), dass das Ensemblemittel über die Abwandlungen (1a-1c) die zusammenfassende Statistik (14a) reproduziert.
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei die Lern-Eingangsgrößenwerte (11a) von mindestens einem Klassifikator (1, 1a-1c) mehrfach verarbeitet werden, wobei zufallsgesteuert jeweils ein oder mehrere Neuronen und/oder andere Verarbeitungseinheiten des Klassifikators (1, 1a-1c) deaktiviert werden (117, 147).
Verfahren (100) nach einem der Ansprüche 1 bis 8, wobei eine Genauigkeit, mit welcher der oder die Klassifikatoren (1, 1a-1c) Test- oder Validierungs-Eingangsgrößenwerte auf zugehörige Test- oder Validierungs-Ausgangsgrößenwerte abbilden, in Abhängigkeit des Trainingsstandes des oder der Klassifikatoren (1, 1a-1c) ermittelt wird (148) und wobei eine Epoche, bei der diese Genauigkeit ein Maximum annimmt, als Epoche E₁ für das Ermitteln des aktualisierten Lern-Ausgangsgrößenwerts (13a*) gewählt wird (149).
Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei der oder die Klassifikatoren (1, 1a-1c) unter Nutzung des Lern-Datensatzes (2) mit dem mindestens einen aktualisierten Lern-Ausgangsgrößenwert (13a*) weiter trainiert werden (150).
Verfahren (200) zum Trainieren eines Klassifikators (1) anhand von Lern-Datensätzen (2), wobei diese Lern-Datensätze (2) Messdaten, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden, als Lern-Eingangsgrößenwerte (11a) umfassen, wobei die Lern-Datensätze (2) zusätzlich Lern-Ausgangsgrößenwerte (13a) umfassen, auf die der Klassifikator (1) die Lern-Eingangsgrößenwerte (11a) nominell abbilden soll, mit den Schritten: • ein Vorklassifikator (1d) wird darauf trainiert (210), Lern-Datensätze (2), deren jeweiligen Lern-Eingangsgrößenwerten (11a) korrekte Lern-Ausgangsgrößenwerte (13a) zugeordnet sind, von Lern-Datensätzen (2) zu unterscheiden, deren jeweiligen Lern-Eingangsgrößenwerten (11a) verrauschte oder falsche Lern-Ausgangsgrößenwerte (13a) zugeordnet sind; • die Lern-Datensätze (2) werden mit dem trainierten Vorklassifikator (1d) klassifiziert, und Lern-Datensätze (2), deren jeweiligen Lern-Eingangsgrößenwerten (11a) korrekte Lern-Ausgangsgrößenwerte (13a) zugeordnet sind, werden in eine Menge (2*) bevorzugter Lern-Datensätze (2) aufgenommen (220); • mindestens ein Lern-Datensatz (2), dessen Lern-Eingangsgrößenwerten (11a) verrauschte oder falsche Lern-Ausgangsgrößenwerte (13a) zugeordnet sind, wird mit dem Verfahren (100) nach einem der Ansprüche 1 bis 10 mit mindestens einem aktualisierten Lern-Ausgangsgrößenwert (13a*) versehen (230); • der solchermaßen bearbeitete Lern-Datensatz (2) wird in die Menge (2*) der bevorzugten Lern-Datensätze aufgenommen (260); • der Klassifikator (1) wird mit den Lern-Datensätzen (2) in der Menge (2*) der bevorzugten Lern-Datensätze (2) trainiert (270).
Verfahren (200) nach Anspruch 11, wobei der Lern-Datensatz (2) mit dem aktualisierten Lern-Ausgangsgrößenwert (13a*) erneut dem Vorklassifikator (1d) zugeführt wird (240) und wobei dieser Lern-Datensatz (2) nur dann in die Menge (2*) bevorzugter Lern-Datensätze (2) aufgenommen wird, wenn er vom Vorklassifikator (1d) als ein Lern-Datensatz (2) klassifiziert wird (250), dessen Lern-Eingangsgrößenwerten (11a) korrekte Lern-Ausgangsgrößenwerte (13a) zugeordnet sind.
Verfahren (300) mit den Schritten: • mindestens ein Klassifikator (1) wird anhand von mit dem Verfahren (100) aufbereiteten Lern-Datensätzen (2), und/oder mit dem Verfahren (200), trainiert (310); • der Klassifikator (1) wird betrieben, indem ihm Eingangsgrößenwerte (11) zugeführt werden (320), wobei diese Eingangsgrößenwerte (11) Messdaten umfassen, die durch einen physikalischen Messprozess, und/oder durch eine teilweise oder vollständige Simulation eines solchen Messprozesses, und/oder durch eine teilweise oder vollständige Simulation eines mit einem solchen Messprozess beobachtbaren technischen Systems, erhalten wurden; • abhängig von den vom Klassifikator (1) gelieferten Ausgangsgrößenwerten (13) wird ein Ansteuersignal (330a) gebildet (330); • ein Fahrzeug (50), und/oder ein System (60) für die Qualitätskontrolle von in Serie gefertigten Produkten, und/oder ein System (70) für die medizinische Bildgebung, wird mit dem Ansteuersignal (330a) angesteuert (340).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200, 300) nach einem der Ansprüche 1 bis 13 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 14.
Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 14, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 15.